[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

WO2020261549A1 - 機械学習装置、機械学習プログラム、及び機械学習方法 - Google Patents

機械学習装置、機械学習プログラム、及び機械学習方法 Download PDF

Info

Publication number
WO2020261549A1
WO2020261549A1 PCT/JP2019/025880 JP2019025880W WO2020261549A1 WO 2020261549 A1 WO2020261549 A1 WO 2020261549A1 JP 2019025880 W JP2019025880 W JP 2019025880W WO 2020261549 A1 WO2020261549 A1 WO 2020261549A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
input
output
layer
machine learning
Prior art date
Application number
PCT/JP2019/025880
Other languages
English (en)
French (fr)
Inventor
一紀 中田
Original Assignee
Tdk株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tdk株式会社 filed Critical Tdk株式会社
Priority to PCT/JP2019/025880 priority Critical patent/WO2020261549A1/ja
Publication of WO2020261549A1 publication Critical patent/WO2020261549A1/ja
Priority to US17/558,129 priority patent/US20220114418A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks

Definitions

  • the present invention relates to a machine learning device, a machine learning program, and a machine learning method.
  • Non-Patent Documents 1-3 As a method of performing machine learning of time series data, a method using a recurrent neural network (recurrent neural network) is known (see Non-Patent Documents 1-3).
  • One aspect of the present invention is machine learning that performs machine learning of input data of one dimension or more arranged in a predetermined order by using a recursive neural network having a plurality of nodes connected to each other by weighted edges.
  • the recursive neural network is an apparatus, the input layer having one or more input nodes, a first intermediate layer having one or more first intermediate nodes, and a second intermediate having one or more second intermediate nodes. It has a layer and an output layer having one or more output nodes, and the input node, the first intermediate node, the second intermediate node, and the output node are among the plurality of nodes.
  • the weights assigned to the edges that are different from each other and connect the first intermediate nodes are fixed to a predetermined size, and the machine learning device has the input layer having the one dimension or more.
  • the output data generation process and the weight update process are performed, and the output data generation process receives the input data of one dimension or more received by the input layer from the input layer.
  • the first intermediate that outputs the first intermediate data to the first intermediate layer and the first intermediate data of one dimension or more corresponding to the input data of the one dimension or more input to the first intermediate layer by the first process.
  • the second process of outputting from the layer to the second intermediate layer and the second intermediate data of one dimension or more corresponding to the first intermediate data of one dimension or more input to the second intermediate layer by the second process.
  • the third process of outputting from the second intermediate layer to the output layer and the output data of one dimension or more corresponding to the second intermediate data of one dimension or more input to the output layer by the third process are generated.
  • the fourth process is a process in which the first process, the second process, the third process, and the fourth process are performed in this order, and the weight update process includes an expression derived based on the extended Kalman filter method and an expression.
  • the time change of the output data output from the machine learning device 1 in the period after the machine learning device 1 is machine-learned about the time change of the displacement of the second weight in the X-axis direction in the double pendulum shown in FIG.
  • FIG. 1 is a diagram showing an example of the configuration of the machine learning device 1 according to the embodiment.
  • the machine learning device 1 performs machine learning of P-dimensional input data.
  • P may be any integer as long as it is an integer of 1 or more.
  • the machine learning device 1 performs such machine learning by using a recurrent neural network having a plurality of nodes.
  • the plurality of nodes are connected to each other by weighted edges.
  • the P-dimensional input data is data that correlates with each other. Further, the P-dimensional input data is data arranged in a predetermined order. In the following, as an example, a case where the predetermined order is in chronological order will be described.
  • the P-dimensional input data is P-dimensional time series data.
  • the P-dimensional time series data is, for example, data acquired from P sensors in chronological order.
  • the P sensors may be P type sensors, or some or all of them may be P sensors of the same type.
  • the predetermined order may be another order such as a spatially arranged order instead of the time series order.
  • the time indicating the time series order is indicated by the discretized time t.
  • t is, for example, an integer, but is not limited to this, and may be another number such as a real number.
  • the data D1 at the time t when a certain data D1 is associated with the time t, the data D1 associated with the time t will be referred to as the data D1 at the time t.
  • another data D2 calculated based on the data D1 at the time t will be referred to as the data D2 at the time t. That is, the data D2 is the data associated with the time t.
  • the data D1 and the data D2 given as examples here indicate some data among the data described below.
  • the recurrent neural network according to the embodiment has at least an input layer L1, a first intermediate layer L2, a second intermediate layer L3, and an output layer L4.
  • FIG. 2 is a diagram showing an example of the configuration of the recurrent neural network according to the embodiment.
  • the recurrent neural network according to the embodiment will be referred to as a deep FORCE learner.
  • each node means the operation itself between the data flowing in the neural network. Therefore, each node means a function that performs the operation in the neural network realized by software. In addition, each node means an element that performs the calculation in the neural network realized by hardware.
  • an edge connecting between a certain node N1 and another node N2 indicates a data flow from the node N1 to the node N2.
  • the data flowing from node N1 to node N2 is multiplied by the weight assigned to the edge connecting between node N1 and node N2. That is, the data after the weight is multiplied by passing through the edge is input to the node N2 from the edge. Therefore, in the neural network realized by software, the edge means a function that performs such weight multiplication. Further, the edge means an element that performs such weight multiplication in the neural network realized by hardware.
  • the input layer L1 has an input node.
  • the input layer L1 may have the same number of input nodes as the number of dimensions of the P-dimensional input data, or may have a number of input nodes different from the number of dimensions of the P-dimensional input data.
  • the number of these input nodes may be less than P and more than P. It may be.
  • a weighted linear sum of P-dimensional input data is input to these input nodes.
  • a certain input node accepts the input data associated with the input node among the input data.
  • the p-th input node among the P input nodes receives the p-th input data among the P-dimensional time series data.
  • p is any integer of 1 or more and P or less. That is, p is a number (label) that identifies each of the P input nodes.
  • the input layer L1 outputs each of the P-dimensional input data received by the P input nodes to the first intermediate layer L2.
  • the first intermediate layer L2 has a plurality of first intermediate nodes. Further, the first intermediate layer L2 receives each of the P-dimensional input data output by the input layer L1. More specifically, the first intermediate layer L2 receives each of the P-dimensional input data output by the input layer L1 by a part or all of the plurality of first intermediate nodes. The first intermediate layer L2 outputs Q-dimensional first intermediate data corresponding to the received P-dimensional input data to the second intermediate layer L3. Q may be any integer as long as it is an integer of 1 or more. Therefore, the first intermediate layer L2 has at least Q first intermediate nodes that output each of the Q-dimensional first intermediate data to the second intermediate layer L3.
  • the q-th first intermediate node among the Q first intermediate nodes outputs the q-th first intermediate data among the Q-dimensional first intermediate data to the second intermediate layer L3.
  • q is any integer of 1 or more and Q or less.
  • q is a number (label) that identifies each of the Q first intermediate nodes with each other, and is also a number (label) that identifies each of the first intermediate data of the Q dimension.
  • a first intermediate node when one or more input data is received, a first intermediate node generates an output value obtained when the sum of the received one or more input data is input to the first activation function.
  • the first activation function may be any function as long as it is a non-linear function.
  • the first intermediate node outputs the generated output value to another node connected to the first intermediate node by the edge.
  • the generated output value is output to the second intermediate layer L3 as the first intermediate data.
  • Each first intermediate node included in the first intermediate layer L2 generates such an output value.
  • the first intermediate layer L2 is, for example, a reservoir in reservoir computing. Therefore, the weight in the first intermediate layer L2 is determined in advance by a random number. Then, the weight is not updated in the first intermediate layer L2. In other words, the weight assigned to the edge connecting the first intermediate nodes is fixed to a predetermined size (that is, a size determined by a random number). In addition, the first intermediate layer L2 may be another intermediate layer in which the weight is not updated in the layer instead of the reservoir.
  • the second intermediate layer L3 has R second intermediate nodes.
  • R may be any integer as long as it is an integer of 1 or more.
  • the second intermediate layer L3 receives Q-dimensional first intermediate data from the first intermediate layer L2 by these R second intermediate nodes.
  • the second intermediate layer L3 outputs the R-dimensional second intermediate data corresponding to the received Q-dimensional first intermediate data to the output layer L4. That is, the r-th second intermediate node of the R second intermediate nodes outputs the r-th second intermediate data of the R-dimensional second intermediate data to the output layer L4.
  • r is any integer of 1 or more and R or less.
  • r is a number (label) that identifies each of the R second intermediate nodes with each other, and is also a number (label) that identifies each of the second intermediate data of the R dimension.
  • a second intermediate node when one or more first intermediate data is received, a second intermediate node generates an output value obtained when the sum of the received one or more first intermediate data is input to the second activation function. To do. The second activation function will be described later. Then, the second intermediate node outputs the generated output value to another node connected to the second intermediate node by the edge. As a result, the second intermediate node outputs the output value as the second intermediate data to the output layer L4. The individual second intermediate nodes of the second intermediate layer L3 generate such an output value. Of the processes performed by the second intermediate node, other processes such as bias addition will not be described.
  • the second intermediate layer L3 is an intermediate layer in the feedforward neural network.
  • the second intermediate layer L3 may have a multi-layer structure instead of the one-layer structure shown in FIG. 2.
  • a plurality of layers existing between the first intermediate layer L2 and the output layer L4 are collectively referred to as a second intermediate layer L3.
  • the second intermediate layer L3 may be composed of n layers from the 21st intermediate layer to the 2nd n intermediate layer.
  • n is an integer of 2 or more.
  • the second intermediate layer L3 receives the Q-dimensional first intermediate data by each of the plurality of nodes of the 21st intermediate layer.
  • the second intermediate layer L3 outputs the R-dimensional second intermediate data from the second n intermediate layer to the output layer L4.
  • the output layer L4 has S output nodes.
  • S may be any integer as long as it is an integer of 1 or more.
  • the output layer L4 receives R-dimensional second intermediate data from the second intermediate layer L3 by these S output nodes.
  • the output layer L4 generates and outputs S-dimensional output data corresponding to the received R-dimensional second intermediate data. That is, the sth output node among the S output nodes generates the sth output data among the S-dimensional output data.
  • s is any integer of 1 or more and S or less.
  • s is a number (label) that identifies each of the S output nodes from each other, and is also a number (label) that identifies each of the S-dimensional output data from each other.
  • a certain output node when a certain output node accepts one or more second intermediate data, it generates an output value obtained when the sum of the received one or more second intermediate data is input to the third activation function. As a result, the output node outputs the output value as output data.
  • the third activation function will be described later.
  • the individual output nodes of the output layer L4 generate such output values. Of the processes performed by the output node, other processes such as bias addition and output of the output value will not be described.
  • the deep FORCE learner has a first intermediate layer L2 which is a reservoir and a second intermediate layer L3 which is an intermediate layer in the feedforward neural network in this example. Therefore, the deep FORCE learner is, in this example, a recurrent neural network that combines reservoir computing and a feedforward neural network.
  • the input node, the first intermediate node, the second intermediate node, and the output node are different nodes among the plurality of nodes of the deep FORCE learner, and do not overlap with each other.
  • the data D1 from the input node X11 to the first intermediate node X12 is output, the data D1 is multiplied by the weight assigned to the edge connecting the input node X11 and the first intermediate node X12. Will be done. Then, the data D1 after the weight is multiplied is input to the first intermediate node X12.
  • the data D2 when some data D2 is output from a certain first intermediate node X21 to another first intermediate node X22, the data D2 is assigned to an edge connecting the first intermediate node X21 and the first intermediate node X22. The weights are multiplied. Then, the data D2 after the weight is multiplied is input to the first intermediate node X22.
  • the data D3 from the first intermediate node X31 to the second intermediate node X32 is output, the data D3 is assigned to the edge connecting the first intermediate node X31 and the second intermediate node X32. The weights are multiplied. Then, the data D3 after the weight is multiplied is input to the second intermediate node X32.
  • the data D4 from the second intermediate node X41 to the output node X42 is output, the data D4 is multiplied by the weight assigned to the edge connecting the second intermediate node X41 and the output node X42. Node. Then, the data D4 after the weight is multiplied is input to the output node X42.
  • the weights in the first intermediate layer L2 are not updated, in the deep FORCE learner, the weights are updated with the weights assigned to the edges connecting the first intermediate node and the second intermediate node and the second intermediate. It is done for the weight assigned to the edge that connects the node and the output node. Further, the weight is not updated for the weight assigned to the edge connecting the input node and the first intermediate node. Therefore, in the following, for convenience of explanation, unless it is necessary to distinguish between the weights for which these weights are updated, they will be collectively referred to as update target weights.
  • each " ⁇ ” shown in FIG. 2 indicates a node. That is, each " ⁇ " included in the input layer L1 indicates an input node. Further, “ ⁇ ” included in the first intermediate layer L2 indicates the first intermediate node, respectively. Further, “ ⁇ ” included in the second intermediate layer L3 indicates a second intermediate node, respectively. Further, “ ⁇ ” included in the output layer L4 indicates an output node, respectively.
  • the arrows connecting the nodes shown in FIG. 2 are drawn to clearly represent the image of the connection mode by the edges between the nodes in the deep FORCE learner, and are drawn in order to clearly represent the actual deep FORCE learner. It is different from the connection mode by the edge between each node in.
  • the input of the input data to the input layer L1 and the output of the output data from the output layer L4 may be performed by a known method or may be performed by a method to be developed in the future. Is omitted.
  • the machine learning device 1 uses such a deep FORCE learner to perform machine learning of the above-mentioned P-dimensional input data. More specifically, the machine learning device 1 performs output data generation processing every time the input layer L1 receives P-dimensional input data in chronological order (that is, every time the input data is received in a predetermined order). Performs weight update processing.
  • the output data generation process is a process in which the first process, the second process, the third process, and the fourth process are performed in the order of the first process, the second process, the third process, and the fourth process.
  • the first process is a process of outputting the P-dimensional input data received by the input layer L1 from the input layer L1 to the first intermediate layer L2.
  • the second process is a process of outputting the Q-dimensional first intermediate data corresponding to the P-dimensional input data input to the first intermediate layer L2 by the first process from the first intermediate layer L2 to the second intermediate layer L3. is there.
  • the third process is a process of outputting the R-dimensional second intermediate data corresponding to the Q-dimensional first intermediate data input to the second intermediate layer L3 by the second process from the second intermediate layer L3 to the output layer L4. is there.
  • the third treatment is composed of n layers from the 21st intermediate layer to the 2nd n intermediate layer as described above, the third treatment is input to the 21st intermediate layer of the second intermediate layer L3 by the second treatment.
  • This is a process of outputting the R-dimensional second intermediate data corresponding to the Q-dimensional first intermediate data from the second n intermediate layer of the second intermediate layer L3 to the output layer L4.
  • the fourth process is a process of generating S-dimensional output data corresponding to the R-dimensional second intermediate data input to the output layer L4 by the third process.
  • the output data generation process is the same as the process for generating output data in a general feedforward neural network. Therefore, further detailed description of the output data generation process will be omitted.
  • the Q-dimensional first intermediate data, the S-dimensional output data, and the formula derived based on the extended Kalman filter method are used to perform the above-mentioned update target weight (that is, the first intermediate node and the second intermediate).
  • This is a process of updating the weight assigned to each edge connecting the nodes and the weight assigned to each edge connecting the second intermediate node and the output node.
  • the machine learning device 1 includes an arithmetic unit 11, a memory 12, and a network interface 13.
  • the machine learning device 1 may be configured to include other circuits and other devices.
  • the machine learning device 1 may be configured to include an input device such as a keyboard and a mouse.
  • the machine learning device 1 may be configured to include an output device such as a display.
  • the machine learning device 1 may be configured to include an interface for connecting at least one of the input device and the output device.
  • the arithmetic unit 11 is a processor, for example, an FPGA (Field Programmable Gate Array).
  • the arithmetic unit 11 may be a CPU (Central Processing Unit) instead of the FPGA, may be a combination of the FPGA and the CPU, or may be another processor.
  • CPU Central Processing Unit
  • the arithmetic unit 11 is an FPGA. Therefore, the arithmetic unit 11 realizes a deep FORCE learner by the hardware (for example, an integrated circuit or the like) possessed by the FPGA, and performs machine learning on the p-dimensional input data.
  • the arithmetic unit 11 is a CPU
  • the arithmetic unit 11 may be configured to perform the machine learning by combining the hardware possessed by the CPU and the software executed by the CPU.
  • the arithmetic unit 11 may be configured by near memory, memory logic, or the like, as will be described later. In other words, the arithmetic unit 11 may be composed of hardware including at least one of near memory and memory logic.
  • the memory 12 stores, for example, various information used by the arithmetic unit 11.
  • the memory 12 includes, for example, SSD (Solid State Drive), HDD (Hard Disk Drive), EEPROM (Electrically Erasable Programmable Read-Only Memory), ROM (Read-Only Memory), RAM (Random Access Memory), and the like.
  • the memory 12 may be an external storage device connected by a digital input / output port such as USB, instead of the one built in the arithmetic unit 11.
  • the network interface 13 is an interface that connects to an external device such as a sensor via a network.
  • the weight update process performed by the machine learning device 1 will be described.
  • the weight update process described below is a process based on the extended Kalman filter method.
  • sequential calculation is performed according to the time series order indicated by the discretized time t. Therefore, the time t that appears as an argument of the function, vector, matrix, etc. described below indicates the time series order in such sequential calculation.
  • the following formulation by the extended Kalman filter method is only an example, and may be another formulation.
  • the weight updated in the weight update process was the above-mentioned update target weight. Therefore, in the embodiment, the first intermediate layer L2 whose weight is not updated in the layer is virtually considered as a part of the input layer L1. Based on this idea, the above-mentioned first intermediate data can be treated as a substitute for the input data. Therefore, the Q-dimensional vector having the first Q-dimensional intermediate data as a component can be expressed by the following equation (1).
  • Each component of the vector y I represented by the above equation (1) represents the first intermediate data of the Q dimension.
  • t in the equation (1) is a time indicating the time series order in the sequential calculation as described above. That is, y I (t) indicates the Q-dimensional first intermediate data (that is, the first intermediate data at time t) output by the first intermediate layer L2 according to the input data at time t.
  • the Q-dimensional first intermediate data output by the first intermediate layer L2 according to the input data at time t was output by the first intermediate layer L2 when the input data at time t was received by the input layer L1. It is the first intermediate data of Q dimension. Therefore, y I (t) does not indicate the first intermediate data calculated at time t.
  • the S-dimensional output data generated by the output layer L4 according to the input data at time t can be expressed by the following equation (2).
  • the S-dimensional output data output by the output layer L4 according to the input data at time t is the S-dimensional output data generated by the output layer L4 when the input data at time t is received by the input layer L1. That is.
  • Each component of the vector y O represented by the above equation (2) indicates S-dimensional output data. That is, y O (t) indicates the S-dimensional output data (that is, the output data at time t) generated by the output layer L4 immediately after the input data at time t is received by the input layer L1. Therefore, y O (t) does not indicate the output data calculated at time t.
  • the R-dimensional second intermediate data output by the second intermediate layer L3 according to the input data at time t can be expressed by the following equation (3).
  • the R-dimensional second intermediate data output by the second intermediate layer L3 according to the input data at time t was output by the second intermediate layer L3 when the input data at time t was received by the input layer L1. It is the second intermediate data of R dimension.
  • Each component of the vector y H represented by the above equation (3) represents the second intermediate data of the R dimension. That is, y H (t) indicates the R-dimensional second intermediate data (that is, the second intermediate data at time t) output by the second intermediate layer L3 according to the input data at time t. Therefore, y H (t) does not indicate the second intermediate data calculated at time t.
  • the qth first intermediate node and the R second intermediate node among the Q first intermediate nodes that output the first intermediate data are received.
  • the weight assigned to the edge connecting the r-th second intermediate node can be expressed by the following equation (4).
  • Each component of the vector w HI represented by the above equation (4) has the qth first intermediate node among the Q first intermediate nodes and the R second intermediate node that output the first intermediate data.
  • the weight assigned to the edge connecting with the r-th second intermediate node is shown. That is, each component of w HI (t) indicates the weight corresponding to the input data at time t (that is, the weight at time t).
  • the r-th second intermediate node among the R second intermediate nodes and the S output nodes that output the second intermediate data can be expressed by the following equation (5).
  • Each component of the vector w OH represented by the above equation (5) is the r-th second intermediate node among the R second intermediate nodes that output the second intermediate data, and the s-th among the S output nodes. Shows the weight assigned to the edge that joins the output node of. That is, each component of w OH (t) indicates the weight corresponding to the input data at time t (that is, the weight at time t).
  • the teacher data at time t in the deep FORCE learner can be expressed by the following equation (6).
  • Each component of the vector d (t) represented by the above equation (6) indicates teacher data corresponding to each of the S-dimensional output data at time t.
  • the s-th output data of the S-dimensional output data shown in the above equation (2) is based on the following equations (7) and (8) based on the equations (3) and (5). ) Can be expressed as.
  • the r-th second intermediate data of the R-dimensional second intermediate data shown in the above equation (3) is based on the following equations (1) and (4), and the following equations (9) and It can be expressed as in equation (10).
  • each of the second activation function and the third activation function is a function satisfying a predetermined condition.
  • the predetermined condition is that it is an odd function (that is, it is a non-linear function having symmetry with respect to 180 ° rotation about the origin).
  • a function satisfying such a predetermined condition is, for example, a hyperbolic tangent function.
  • either one or both of the second activation function and the third activation function may be another nonlinear function satisfying a predetermined condition instead of the hyperbolic tangent function.
  • the deep FORCE learner can be represented by the nonlinear vector functions shown in the following equations (11) and (12).
  • the vector ⁇ (t) in the above equation (11) is a vector calculated by the equation (12), and is a weight vector having an update target weight as a component as shown in the equation (12).
  • the vector ⁇ (t) in the above equation (11) indicates a modeling error with respect to the vector ⁇ (t). That is, the vector ⁇ (t) is derived by an algorithm that represents the deep FORCE learner by some non-linear function.
  • the extended Kalman filter method is adopted as such an algorithm, in the above equation (11), the first term on the right side of the equation (11) is used as the estimated weight vector, and the left side of the equation (11) is used as the predicted weight vector. It can be re-expressed as equations (13) to (15).
  • the estimated weight vector is an estimated value of the above-mentioned weight vector in the extended Kalman filter method. Further, the predicted weight vector is a predicted value of the weight vector in the extended Kalman filter method.
  • the " ⁇ ” attached above the vector ⁇ in the above equation (13) indicates that the vector ⁇ with the " ⁇ ” is an estimated weight vector. Further, in the equation (13), the “ ⁇ ” attached above the vector ⁇ indicates that the vector ⁇ with the “ ⁇ ” is the predicted weight vector. Further, the vector e (t) in the equation (13) indicates the difference between the output data at the time t and the teacher data at the time t, as shown in the equation (15). Then, the matrix K in the equation (13) shows the Kalman gain matrix in the extended Kalman filter method. That is, the matrix K (t) represents the Kalman gain matrix at time t.
  • the matrix K (t) is a matrix of (Q ⁇ R + S ⁇ R) rows and columns.
  • the estimated weight vector shown on the left side of the equation (13) is a (Q ⁇ R + S ⁇ R) dimensional vector
  • the vector e (t) is an S dimensional vector.
  • the matrix K (t) at time t is expressed by the following equations (16) to (19).
  • the " ⁇ " above the matrix U (t) in the above equation (16) means that the matrix U (t) with the " ⁇ " is the predicted value in the extended Kalman filter method for the covariance matrix. Is shown. Further, the matrix A (t) in the equation (16) indicates the scaling factor at time t. This matrix A (t) is calculated by the equation (17). Further, the matrix W (t) in the equation (17) shows a covariance matrix for the modeling error at time t. Further, the matrix V (t) of the equation (18) is a matrix having components corresponding to the error distribution given in advance, and shows an error with respect to the matrix U (t-1) with “ ⁇ ”.
  • the matrix U (t-1) with " ⁇ ” indicates the estimated value of the covariance matrix in the extended Kalman filter method.
  • the matrix U (t) with " ⁇ ” is calculated by the equation (19). That is, the matrix U (t) with " ⁇ ” is calculated by sequential calculation by the equations (18) and (19). Further, the matrix H (t) in the equation (16) shows the Jacobian in the extended Kalman filter method.
  • the matrix H (t) is calculated by the equation (20).
  • the matrix H (t), or Jacobian corresponds to the observation matrix in control engineering.
  • the machine learning device 1 updates the update target weight by sequential calculation using the above equations (13) to (20).
  • the Jacobian is represented by two block matrices, as shown on the right side of equation (20). Then, each component of these two block matrices is represented by the following equations (21) and (22).
  • each component of the block matrix shown in the above equation (21) can be expanded as in the following equation (23) by using the above equations (7) to (10).
  • each component of the block matrix shown in the above equation (22) can be expanded as in the following equation (24) by using the above equations (7) to (10).
  • each component of the two block matrices shown on the right side of the above equation (20) can be calculated based on the above equations (23) and (24).
  • the Jacobian described above can be calculated, initial values are given to each of the above-mentioned matrix U (t) with " ⁇ ", the matrix V (t), and the matrix W (t). Therefore, the machine learning device 1 can calculate the matrix K (t) which is a Kalman gain matrix. As a result, the machine learning device 1 can update the update target weight based on the above equations (13) to (15).
  • FIG. 3 is a diagram showing an example of the flow of the weight update process performed by the machine learning device 1.
  • the machine learning device 1 processes the flowchart shown in FIG. 3 every time the input layer L1 receives P-dimensional input data in chronological order.
  • the machine learning device 1 waits until the output data generation process is completed (step S110).
  • the machine learning device 1 determines that the output data generation process is completed (step S110-YES), the above equations (7) to (10) and the above equations (20) to (24) and the above-mentioned second activity
  • the Jacobian described above is calculated based on the conversion function and the third activation function (for example, both functions are bicurve tangent functions) (step S120).
  • the machine learning device 1 receives the first intermediate data output from the first intermediate layer L2, the second intermediate data output from the second intermediate layer L3, the output data generated by the output layer L4, and the output data.
  • the Jacobian is calculated using the update target weight.
  • the machine learning device 1 calculates the above-mentioned Kalman gain matrix based on the equations (16) to (19) and the Jacobian calculated in step S120 (step S130).
  • the process of step S130 is a calculation process for minimizing the matrix U with “ ⁇ ” shown in the above equation (19).
  • the machine learning device 1 when the processing of the first step S130 is performed, the machine learning device 1 includes a matrix U (t) with three matrices “ ⁇ ”, a matrix V (t), and a matrix W (t).
  • the Kalman gain matrix is calculated using the initial values given in advance by the user for each.
  • the machine learning device 1 includes the above equations (13) to (15), a vector ⁇ (t) which is a modeling error, a matrix K (t) calculated in step S130, and teacher data. Based on the output data generated by the output layer L4 and the update target weight, the update target weight is updated (step S140), and the process ends.
  • the machine learning device 1 performs the weight update process.
  • the machine learning device 1 does not perform the inverse matrix operation as described above.
  • the machine learning device 1 merely performs sequential calculation using an equation derived in advance by analytical calculation in the process. Therefore, the machine learning device 1 can reduce the calculation cost of the process as compared with the process of performing the inverse matrix operation.
  • the machine learning device 1 can perform online learning by the deep FORCE learner shown in FIG. 2 by the processing.
  • the machine learning device 1 can be mounted on the edge device, for example, as a device for performing machine learning by the deep FORCE learning device.
  • the deep FORCE learner can be implemented in an edge device or the like as hardware including at least one of near memory and memory logic.
  • the memory access speed, calculation speed, and the like of the deep FORCE learner mounted on the edge device or the like as the hardware differ depending on the design of the data flow in the weight update process. Under these circumstances, when a deep FORCE learner is mounted on an edge device or the like as hardware including at least one of near memory and memory logic, it is necessary to consider an efficient data flow.
  • FIG. 4 is a diagram showing an example of the overall configuration of the data flow in the weight update process. As shown in FIG. 4, the data flow in the weight update process is roughly divided into six blocks, blocks B1 to B6. Each of the six blocks indicates hardware including at least one of near memory and memory logic. In FIG. 4, the time series order in the data flow is shown by the time t.
  • Block B1 is a block that calculates the above-mentioned predicted weight vector by processing based on the above equation (14).
  • a vector ⁇ (t) and a vector ⁇ (t) with “ ⁇ ” are input to the block B1.
  • the block B1 calculates the vector ⁇ (t) with “ ⁇ ”, that is, the predicted weight vector.
  • the block B1 outputs the calculated predicted weight vector to the block B2.
  • Block B2 is a block that calculates the predicted value in the extended Kalman filter method for the covariance matrix by the processing based on the above equation (18).
  • a matrix U (t-1) with " ⁇ ” and a matrix V (t) are input to the block B2.
  • block B2 calculates a predicted value for the covariance matrix, that is, a matrix U (t) with " ⁇ ".
  • the block B2 outputs the calculated matrix U (t) with “ ⁇ ” to each of the block B4 and the block B6.
  • Block B3 is a block that updates the estimated weight vector by processing based on the above equation (13).
  • a vector e (t), a vector ⁇ (t) with “ ⁇ ” output from the block B1, and a matrix K (t) output from the block B6, which will be described later, are input to the block B3.
  • the block B3 calculates an estimated weight vector, that is, a vector ⁇ (t + 1) with “ ⁇ ”.
  • Block B3 outputs the calculated vector ⁇ (t + 1) with “ ⁇ ”.
  • Block B4 is a block that calculates an estimated value in the extended Kalman filter method for the covariance matrix by processing based on the above equation (19).
  • a matrix U (t) with " ⁇ " output from block B2 a matrix H (t) output from block B5 described later, and a matrix K (t) output from block B6 described later ) And is entered.
  • the block B4 calculates the estimated value, that is, the matrix U (t) with " ⁇ ”.
  • Block B4 outputs the calculated matrix U (t) with " ⁇ ”.
  • the block B5 is a block for calculating the Jacobian by the processing based on the above equations (7) to (10).
  • the vector y I (t) is input to the block B5.
  • block B5 calculates the Jacobian, that is, the matrix H (t).
  • the block B5 outputs the calculated matrix H (t) to each of the block B4 and the block B6.
  • the block B5 also performs the output data generation process described above. The data flow inside the block B5 will be described later.
  • Block B6 is a block for calculating the Kalman gain matrix by the processing based on the above equations (16) and (17).
  • the matrix U (t) with " ⁇ " output from the block B2 the matrix H (t) output from the block B5, and the matrix W (t) are input.
  • the block B6 calculates the Kalman gain matrix, that is, the matrix K (t).
  • Block B6 outputs the calculated matrix K (t).
  • the block B6 also outputs the matrix K (t) to the block B3.
  • FIG. 5 is a diagram showing the simplest concrete example of the data flow inside the block B5.
  • the data flow shown in FIG. 5 holds for any function as long as each of the second activation function and the third activation function adopted in the deep FORCE learner satisfies the above-mentioned predetermined conditions. Data flow to do. Further, the data flow shown in FIG. 5 also includes the data flow in the above-mentioned output data generation process.
  • the data flow shown in FIG. 5 is roughly divided into eight blocks, blocks B51A to B51H. Each of the eight blocks indicates hardware including at least one of near memory and memory logic. In FIG. 5, the time series order in the data flow is shown by the time t.
  • Block B51A is a block that performs the calculation of the above equation (10). That is, the vector y I (t) and the vector w HI (t) are input to the block B51A.
  • the block B51A calculates the act r (t), and outputs the calculated act r (t). More specifically, the block B51A outputs the calculated act r (t) to each of the block B51B and the block B51E.
  • the block B51B is a block for performing the calculation of the above equation (9). That is, the act r (t) output from the block B51A is input to the block B51B.
  • the block B51B calculates a vector y H (t), and outputs the calculated vector y H (t). More specifically, block B51B the calculated vector y H (t), and outputs the respective blocks B51C and blocks B51H.
  • the block B51C is a block for performing the calculation of the above equation (8). That is, the vector y H (t) output from the block B51B and the vector w OH (t) are input to the block B51C.
  • the block B51C calculates the act s (t), and outputs the calculated act s (t). More specifically, the block B51C outputs the calculated act s (t) to each of the block B51D and the block B51F.
  • the block B51D is a block for performing the calculation of the above equation (7). That is, the act s (t) output from the block B51C is input to the block B51D.
  • the block B51D calculates a vector y O (t), and outputs the calculated vector y O (t).
  • the data flow that flows in the order of block B51A, block B51B, block B51C, and block B51D is the data flow in the output data generation process.
  • the block B51E is a block for calculating f H '(act r (t)) in the above equation (23). That is, the act r (t) output from the block B51A is input to the block B51E. Then, the block B51E calculates f H '(act r (t)) and outputs the calculated f H '(act r (t)) to the block B51G.
  • the block B51F is a block for calculating f O '(act s (t)) in the above equations (23) and (24). That is, the act s (t) output from the block B51C is input to the block B51F.
  • the block B51F is, f O 'calculates (act s (t)), the calculated f O' outputs the (act s (t)). More specifically, the block B51F outputs the calculated f O '(act s (t)) to each of the block B51G and the block B51H.
  • the block B51G is a block that performs the calculation of the above equation (23). That is, the block B51G includes a vector y I (t), and the vector w OH (t), f H that is output from the block B51E '(act r (t) ) and, f O output from the block B51F' (Act s (t)) is input. Then, the block B51G calculates each component on the left side of the equation (23).
  • the block B51H is a block for performing the calculation of the above equation (24). That is, the vector y H (t) output from the block B51B and the f O '(act s (t)) output from the block B51F are input to the block B51H. Then, the block B51G calculates each component on the left side of the equation (24).
  • the values output from each of the block B51G and the block B51H are none other than Jacobian, that is, each component of the matrix H (t).
  • the process of calculating act r (t) and act s (t) is standardized in the output data generation process and the Jacobian calculation process. That is, the data flow is a data flow in which the arithmetic processing in a part of the output data generation processing and a part of the weight update processing is standardized.
  • the machine learning device 1 can mount a deep FORCE learner on an edge device or the like as hardware including at least one of near memory and memory logic. As a result, the machine learning device 1 can increase the speed of memory access, the calculation speed, and the like without using a special function as each of the second activation function and the third activation function.
  • FIG. 6 is a diagram showing another specific example of the data flow inside the block B5.
  • the data flow shown in FIG. 6 is a data flow that is established when the second activation function f H is a bicurve tangent function and the third activation function f O is an identity function. Further, the data flow shown in FIG. 6 also includes the data flow in the above-mentioned output data generation process.
  • the data flow shown in FIG. 6 is roughly divided into six blocks, block B51A and blocks B52A to B52E. Each of the six blocks indicates hardware including at least one of near memory and memory logic.
  • the time series order in the data flow is shown by the time t.
  • a block having the same function as the block shown in FIG. 5 that is, block B51A
  • the block B51A outputs the act r (t) to the block B52A.
  • the block B52A is a block for performing the calculation of the above equation (9). However, block B52A uses a hyperbolic tangent function as the second activation function to perform the calculation.
  • the act r (t) output from the block B51A is input to the block B52A.
  • the block B52A calculates the vector y H (t) using the hyperbolic tangent function as the second activation function, and outputs the calculated vector y H (t). More specifically, the block B52A outputs the calculated vector y H (t) to each of the block B51C and the block B52C.
  • the block B52B is a block for performing the calculation of the above equation (8). That is, the vector y H (t) output from the block B51B and the vector w OH (t) are input to the block B52B. Then, the block B52B calculates act s (t).
  • the third activation function is an identity function. That is, in FIG. 6, the block corresponding to the block B51D shown in FIG. 5 is unnecessary, and the act s (t) calculated by the block B52B becomes the vector y O (t).
  • the block B52C is a block for calculating f H '(act r (t)) in the above equation (23).
  • the second activation function f H is a hyperbolic tangent function.
  • f H '(act r (t)) can be written down by the square of the vector y H (t) as shown in the following equation (25).
  • the data flow shown in FIG. 6 can include block B52C instead of block B51E shown in FIG.
  • the block B52C can be, for example, a look-up table. This is one of the benefits of being able to write down f H '(act r (t)) by the square of the vector y H (t).
  • the vector y H (t) output from the block B52A is input to the block B52C.
  • the block B52C calculates (or specifies) f H '(act r (t)).
  • the block B52C outputs the calculated f H '(act r (t)) to the block B52D.
  • the block B52D is a block that performs the calculation of the above equation (23). That is, the vector y I (t), the vector w OH (t), and f H '(act r (t)) output from the block B 52C are input to the block B 52D. Then, the block B52D calculates each component on the left side of the equation (23). The block B52D outputs the calculated components.
  • the third activation function f O is an identity function. Therefore, the f O '(act s (t)) used in the block B52D is equal to 1.
  • the block B52E is a block for performing the calculation of the above equation (24). That is, the vector y H (t) output from the block B52A is input to the block B52E. Then, the block B52E calculates each component on the left side of the equation (24).
  • the third activation function f O is an identity function. Therefore, f O '(act s (t)) used in the block B52E is equal to 1.
  • the number of blocks can be reduced as compared with the data flow shown in FIG. 6
  • the machine learning device 1 is designed more simply when the deep FORCE learner is mounted on an edge device or the like as hardware including at least one of the near memory and the memory logic based on the data flow shown in FIG. It means that you can do it.
  • the machine learning device 1 can reduce the power consumption and increase the speed of memory access, the calculation speed, and the like.
  • FIG. 7 is a diagram showing still another specific example of the data flow inside the block B5.
  • the second activation function f H is a piecewise linear function shown in the following equations (26) and (27), and it is identity when the third activation function f O is differentiated. It is a data flow that holds when it is a non-linear function that becomes a function.
  • ⁇ in the above equations (26) and (27) is a parameter that determines the gain (or slope) of the second activation function.
  • the data flow shown in FIG. 7 also includes the data flow in the above-mentioned output data generation process.
  • the data flow shown in FIG. 7 is roughly divided into seven blocks, blocks B51A to B51D, and blocks B52A to B52C.
  • Each of the seven blocks indicates hardware including at least one of near memory and memory logic.
  • the time series order in the data flow is shown by the time t.
  • the blocks having the same functions as the blocks shown in FIG. 5 that is, blocks B51A to B51D
  • the block B51A outputs the act r (t) to the block B53A.
  • FIG. 6 the block B51A outputs the act r (t) to the block B53A.
  • the block B51B outputs the vector y H (t) to each of the block B51C and the block B53C. Further, in FIG. 6, the block B51C outputs act s (t) to each of the block B51D, the block B53B, and the block B53C, respectively.
  • the block B53A is a block for calculating f H '(act r (t)) in the above equation (23). However, block B53A calculates f H '(act r (t)) by using the piecewise linear function shown in the above equation (26) as the second activation function.
  • the act r (t) output from the block B51A is input to the block B53A.
  • the block B53A is, 'f H with the function shown in equation (27) above as an' calculates the (act r (t)) f H.
  • the block B53A outputs f H '(act r (t)) to the block B53B.
  • the block B53B is a block for performing the calculation of the above equation (23). That is, in the block B53B, the vector y I (t), the vector w OH (t), the f H '(act r (t)) output from the block B53A, and the act s (act s ) output from the block B51C. t) and is input. Then, the block B53B calculates each component on the left side of the equation (23). Block B53B outputs the calculated components.
  • the third activation function f O is a non-linear function that becomes an identity function when differentiated. Therefore, the f O '(act s (t)) used in the block B53B is the act s (t) itself output from the block B51C.
  • the block B53C is a block for performing the calculation of the above equation (24). That is, the vector y H (t) output from the block B51B and the act s (t) output from the block B51C are input to the block B53C. Then, the block B53C calculates each component on the left side of the equation (24).
  • the third activation function f O is a non-linear function that becomes an identity function when differentiated. Therefore, the f O '(act s (t)) used in the block B53C is the act s (t) itself output from the block B51C.
  • the number of blocks can be reduced as compared with the data flow shown in FIG. This is because the machine learning device 1 is designed more simply when the deep FORCE learner is mounted on an edge device or the like as hardware including at least one of the near memory and the memory logic based on the data flow shown in FIG. It means that you can do it. As a result, in this case, the machine learning device 1 can reduce the power consumption and increase the speed of memory access, the calculation speed, and the like.
  • FIG. 8 shows a double pendulum composed of a first weight having a mass m1 connected by a rod having a length l1 from the origin and a second weight having a mass m2 connected to the weight by a rod having a length l2. It is a figure which shows an example.
  • the temporal changes in the displacements of the first weight and the second weight in the X-axis direction and the Y-axis direction in the double pendulum shown in FIG. 8 are deterministically described by the equation of motion.
  • the direction in which gravity acts is the direction indicated by the arrow g.
  • the equation of motion for the double pendulum shown in FIG. 8 is written down for each of the first weight and the second weight.
  • the force in the equation of motion written for each of the first weight and the second weight is between the angle ⁇ 1 between the Y-axis and the rod l1 shown in FIG. 8 and the Y-axis and the rod l2. It is shown by a function of four parameters: the angle ⁇ 2 of, the angular velocity which is the change of the angle ⁇ 1 per unit time, and the angular velocity which is the change of the angle ⁇ 2 per unit time.
  • FIG. 9 shows the output data output from the machine learning device 1 during the period in which the machine learning device 1 is machine-learning the temporal change of the displacement of the second weight in the X-axis direction in the double pendulum shown in FIG. It is a figure which shows an example of the graph which plotted the temporal change.
  • the vertical axis of the graph shown in FIG. 9 shows the displacement of the second weight in the X-axis direction.
  • the horizontal axis of the graph shows the elapsed time.
  • the period is shown as a period from the elapsed time of 0 to the elapsed time of 800.
  • the plot PLT1 in the graph shown in FIG. 9 is a plot of teacher data. Further, the plot PLT2 in the graph is a plot of output data. As shown in FIG. 9, the degree of agreement between the output data output from the machine learning device 1 during online learning and the teacher data is not so high.
  • FIG. 10 is output from the machine learning device 1 in the period after the machine learning device 1 is machine-learned about the temporal change of the displacement of the second weight in the X-axis direction in the double pendulum shown in FIG. It is a figure which shows an example of the graph which plotted the temporal change of output data.
  • the vertical axis of the graph shown in FIG. 10 shows the displacement of the second weight in the X-axis direction.
  • the horizontal axis of the graph shows the elapsed time.
  • the said period is shown as a period of elapsed time 800 to elapsed time 1600.
  • the plot PLT1 in the graph shown in FIG. 10 is a plot of teacher data. Further, the plot PLT3 in the graph is a plot of output data. As shown in FIG. 10, the degree of agreement between the output data output from the machine learning device 1 after the online learning and the teacher data is higher than that before the online learning.
  • the machine is used when the number of first intermediate nodes is 100, the number of second intermediate nodes is 10, and the number of output nodes is 1.
  • This is an example of the result of having the learning device 1 perform online learning.
  • the accuracy of the results of online learning performed by the machine learning device 1 varies depending on the number of these nodes.
  • FIG. 11 shows the output data output from the machine learning device 1 during the period in which the machine learning device 1 is machine-learning the temporal change of the displacement of the second weight in the X-axis direction in the double pendulum shown in FIG. It is a figure which shows another example of the graph which plotted the temporal change.
  • the vertical axis of the graph shown in FIG. 11 shows the displacement of the second weight in the X-axis direction.
  • the horizontal axis of the graph shows the elapsed time.
  • the period is shown as a period from an elapsed time of 0 to an elapsed time of 800.
  • the plot PLT1 in the graph shown in FIG. 11 is a plot of teacher data. Further, the plot PLT4 in the graph is a plot of output data. As shown in FIG. 11, the degree of agreement between the output data output from the machine learning device 1 during online learning and the teacher data is not so high. Further, as shown in FIG. 11, the degree of coincidence between the output data output from the machine learning device 1 during online learning in the example shown in FIG. 11 and the teacher data is during online learning in the example shown in FIG. It is lower than the degree of coincidence between the output data output from the machine learning device 1 and the teacher data. This is because the number of the first intermediate nodes in the example shown in FIG. 11 is one-fifth of the number of the first intermediate nodes in the example shown in FIG.
  • FIG. 12 is output from the machine learning device 1 in the period after the machine learning device 1 is made to machine learn the temporal change of the displacement of the second weight in the X-axis direction in the double pendulum shown in FIG.
  • the vertical axis of the graph shown in FIG. 12 shows the displacement of the second weight in the X-axis direction.
  • the horizontal axis of the graph shows the elapsed time.
  • the said period is shown as a period of elapsed time 800 to elapsed time 1600.
  • the plot PLT1 in the graph shown in FIG. 12 is a plot of teacher data. Further, the plot PLT5 in the graph is a plot of output data. As shown in FIG. 12, the degree of agreement between the output data output from the machine learning device 1 after the online learning and the teacher data is higher than that before the online learning. Further, as shown in FIG. 12, the degree of coincidence between the output data output from the machine learning device 1 during online learning in the example shown in FIG. 12 and the teacher data is during online learning in the example shown in FIG. Compared with the output data and the teacher data output from the machine learning device 1 of the above, there is not much change. This is because even if the number of the first intermediate nodes in the example shown in FIG. 12 is one-fifth of the number of the first intermediate nodes in the example shown in FIG. 9, the online learning performed by the machine learning device 1 is performed. It means that the accuracy of is high.
  • the machine learning device 1 can improve the accuracy of online learning while reducing the number of first intermediate nodes by the deep FORCE learner and the weight update process by the extended Kalman filter method. As a result, the machine learning device 1 can achieve both a reduction in manufacturing cost and an improvement in machine learning accuracy.
  • the machine learning device uses a recursive neural network having a plurality of nodes connected to each other by weighted edges, and input data of one dimension or more arranged in a predetermined order.
  • a recursive neural network is a machine learning device that performs machine learning of the above, in which an input layer having one or more input nodes, a first intermediate layer having one or more first intermediate nodes, and one or more second intermediate layers.
  • a second intermediate layer having nodes, an output layer having one or more output nodes, an input node, a first intermediate node, a second intermediate node, and an output node are among a plurality of nodes.
  • the weights assigned to the edges that connect the first intermediate nodes to each other are fixed to a predetermined size, and the machine learning device receives input data whose input layer is one dimension or more.
  • the output data generation process and the weight update process are performed, and the output data generation process outputs the input data of one dimension or more received by the input layer from the input layer to the first intermediate layer.
  • the first process and the second process of outputting the first intermediate data of one dimension or more corresponding to the input data of one dimension or more input to the first intermediate layer by the first process from the first intermediate layer to the second intermediate layer.
  • the weight update process is performed in order, and the weight update process is performed between the first intermediate node and the second intermediate by the formula derived based on the extended Kalman filter method, the first intermediate data of one dimension or more, and the output data of one dimension or more.
  • the machine learning device can perform online learning of input data having one or more dimensions arranged in a predetermined order.
  • a configuration in which the first intermediate layer is a reservoir may be used.
  • a configuration may be used in which the equation derived based on the extended Kalman filter method includes a non-linear function which is an odd function as an activation function.
  • a configuration in which the nonlinear function included in the equation derived based on the extended Kalman filter method is a hyperbolic tangent function may be used.
  • the equation derived based on the extended Kalman filter method includes an equation for calculating the Kalman gain matrix in the extended Kalman filter method, and the machine learning apparatus calculates and calculates the Jacobian based on the equation.
  • a configuration may be used that performs weight update processing based on the Jacobian.
  • the machine learning device may use a configuration in which at least the weight update process is performed by hardware including at least one of the near memory and the memory logic.
  • the machine learning device uses a configuration in which the output data generation process and the weight update process are performed by hardware, and a part of the output data generation process and a part of the weight update process are performed by common hardware. May be good.
  • Machine learning device 11 ... Arithmetic logic unit, 12 ... Memory, 13 ... Network interface, L1 ... Input layer, L2 ... First intermediate layer, L3 ... Second intermediate layer, L4 ... Output layer

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Feedback Control In General (AREA)

Abstract

重みが割り当てられたエッジによって互いに結合された複数のノードを有する再帰型ニューラルネットワークを用いて、予め決められた順に並ぶ１次元以上の入力データの機械学習を行う機械学習装置は、入力層が１次元以上の入力データを予め決められた順に受け付ける毎に、出力データ生成処理と重み更新処理とを行い、重み更新処理は、拡張カルマンフィルタ法に基づいて導出された式と、１次元以上の第１中間データと、１次元以上の出力データとによって、第１中間ノードと第２中間ノードとを結合するエッジそれぞれに割り当てられた重みと、第２中間ノードと出力ノードとを結合するエッジそれぞれに割り当てられた重みとを更新する処理である、機械学習装置。

Description

機械学習装置、機械学習プログラム、及び機械学習方法
　本発明は、機械学習装置、機械学習プログラム、及び機械学習方法に関する。
　時系列データの機械学習を行う方法として、再帰型ニューラルネットワーク（リカレントニューラルネットワーク）を用いた方法が知られている（非特許文献１－３参照）。
　しかしながら、これらの方法では、多次元の互いに相関を持つ時系列データの機械学習を行うことができない。そこで、当該時系列データの機械学習を行う方法として、再帰型ニューラルネットワークの１つであるリザボアコンピューティングとフィードフォワードニューラルネットワークとを組み合わせたニューラルネットワークを用いた方法が提案されている（非特許文献４参照）。
"Reservoir computing approaches for representation and classification of multivariate time series", Filippo Maria Bianchia, Simone Scardapaneb, Sigurd L ksea, and Rovert Jenssen, arXiv:1803.07870v2 [cs.NE] 6 Nov 2018. "Merging Echo State and Feedforward Neural Networks for Time Series Forecasting", Stefan Babinec, and Jiri Pospichal, International Conference on Artificial Neural Networks ICANN 2006: Artificial Neural Networks - ICANN 2006 pp 367-375. "Real-Time Computing Without Stable States: A New Framework for Neural Computation Based on Perturbations", Wolfgang Maass, Thomas Natschlager, and Henry Markram. "Encoding Multi-Dimensional Time Series Data with Reservoir Computing", Yuichi Katori, 2016 International Symposium on Nonlinear Theory and Its Applications, NOLTA2016, Yugawara, Japan, November 27th-30th, 2016.
　ここで、特許文献４に記載された方法では、ニューラルネットワークにおけるノード（ニューロン）間を結合するエッジに割り当てられた重みの更新を行う際、逆行列演算が行われる。このため、当該方法では、計算コストが増大してしまい、時系列データのオンライン学習を行うことが困難な場合があった。
　本発明の一態様は、重みが割り当てられたエッジによって互いに結合された複数のノードを有する再帰型ニューラルネットワークを用いて、予め決められた順に並ぶ１次元以上の入力データの機械学習を行う機械学習装置であって、前記再帰型ニューラルネットワークは、１以上の入力ノードを有する入力層と、１以上の第１中間ノードを有する第１中間層と、１以上の第２中間ノードを有する第２中間層と、１以上の出力ノードを有する出力層と、を有し、前記入力ノードと、前記第１中間ノードと、前記第２中間ノードと、前記出力ノードとは、前記複数のノードのうちの互いに異なるノードであり、前記第１中間ノード同士を結合するエッジに割り当てられた重みは、予め決められた大きさに固定されており、前記機械学習装置は、前記入力層が前記１次元以上の入力データを前記予め決められた順に受け付ける毎に、出力データ生成処理と重み更新処理とを行い、前記出力データ生成処理は、前記入力層により受け付けた前記１次元以上の入力データを前記入力層から前記第１中間層に出力する第１処理と、前記第１処理により前記第１中間層に入力された前記１次元以上の入力データに応じた１次元以上の第１中間データを前記第１中間層から前記第２中間層に出力する第２処理と、前記第２処理により前記第２中間層に入力された前記１次元以上の第１中間データに応じた１次元以上の第２中間データを前記第２中間層から前記出力層に出力する第３処理と、前記第３処理により前記出力層に入力された前記１次元以上の第２中間データに応じた１次元以上の出力データを生成する第４処理と、を前記第１処理、前記第２処理、前記第３処理、前記第４処理の順に行う処理であり、前記重み更新処理は、拡張カルマンフィルタ法に基づいて導出された式と、前記１次元以上の第１中間データと、前記１次元以上の出力データとによって、前記第１中間ノードと前記第２中間ノードとを結合するエッジそれぞれに割り当てられた重みと、前記第２中間ノードと前記出力ノードとを結合するエッジそれぞれに割り当てられた重みとを更新する処理である、機械学習装置である。
　本発明によれば、予め決められた順に並ぶ１次元以上の入力データのオンライン学習を行うことができる。
実施形態に係る機械学習装置１の構成の一例を示す図である。 実施形態に係る再帰型ニューラルネットワークの構成の一例を示す図である。 機械学習装置１が行う重み更新処理の流れの一例を示す図である。 重み更新処理におけるデータフローの全体構成の一例を示す図である。 ブロックＢ５内部のデータフローの最も単純な具体例を示す図である。 ブロックＢ５の内部のデータフローの他の具体例を示す図である。 ブロックＢ５の内部のデータフローの更に他の具体例を示す図である。 原点から長さｌ１の棒によって繋がれた質量ｍ１の第１錘と、当該錘と長さｌ２の棒によって繋がれた質量ｍ２の第２錘とによって構成される二重振り子の一例を示す図である。 図８に示した二重振り子における第２錘のＸ軸方向の変位の時間的変化を機械学習装置１に機械学習させている期間において機械学習装置１から出力された出力データの時間的変化をプロットしたグラフの一例を示す図である。 図８に示した二重振り子における第２錘のＸ軸方向の変位の時間的変化を機械学習装置１に機械学習させた後の期間において機械学習装置１から出力された出力データの時間的変化をプロットしたグラフの一例を示す図である。 図８に示した二重振り子における第２錘のＸ軸方向の変位の時間的変化を機械学習装置１に機械学習させている期間において機械学習装置１から出力された出力データの時間的変化をプロットしたグラフの他の例を示す図である。 図８に示した二重振り子における第２錘のＸ軸方向の変位の時間的変化を機械学習装置１に機械学習させた後の期間において機械学習装置１から出力された出力データの時間的変化をプロットしたグラフの他の例を示す図である。
　＜実施形態＞
　以下、本発明の実施形態について、図面を参照して説明する。
　＜機械学習装置の構成＞
　まず、図１を参照し、実施形態に係る機械学習装置１の構成について説明する。図１は、実施形態に係る機械学習装置１の構成の一例を示す図である。
　機械学習装置１は、Ｐ次元の入力データの機械学習を行う。Ｐは、１以上の整数であれば、如何なる整数であってもよい。そして、機械学習装置１は、このような機械学習を、複数のノードを有する再帰型ニューラルネットワークを用いて行う。なお、当該再帰型ニューラルネットワークでは、当該複数のノードは、重みが割り当てられたエッジによって互いに結合されている。
　ここで、Ｐ次元の入力データは、互いに相関を持つデータである。また、Ｐ次元の入力データは、予め決められた順に並ぶデータである。以下では、一例として、予め決められた順が時系列順である場合について説明する。この場合、Ｐ次元の入力データは、Ｐ次元の時系列データである。Ｐ次元の時系列データは、例えば、Ｐ個のセンサから時系列順に取得されたデータ等である。なお、Ｐ個のセンサは、Ｐ種類のセンサであってもよく、一部又は全部が互いに同じ種類のＰ個のセンサであってもよい。また、予め決められた順は、時系列順に代えて、空間的に並べられた順等の他の順であってもよい。
　以下では、説明の便宜上、時系列順を示す時刻を、離散化された時刻ｔによって示す。ｔは、例えば、整数であるが、これに限られず、実数等の他の数であってもよい。また、以下では、説明の便宜上、あるデータＤ１が時刻ｔに対応付けられている場合、時刻ｔに対応付けられたデータＤ１のことを、時刻ｔのデータＤ１と称して説明する。また、時刻ｔのデータＤ１に基づいて算出された他のデータＤ２を、時刻ｔのデータＤ２と称して説明する。すなわち、データＤ２は、時刻ｔに対応付けられたデータである。なお、ここで例として挙げたデータＤ１及びデータＤ２は、以下において説明するデータのうちの何らかのデータを示している。
　ここで、図２に示すように、実施形態に係る再帰型ニューラルネットワークは少なくとも、入力層Ｌ１と、第１中間層Ｌ２と、第２中間層Ｌ３と、出力層Ｌ４を有する。図２は、実施形態に係る再帰型ニューラルネットワークの構成の一例を示す図である。以下では、説明の便宜上、実施形態に係る再帰型ニューラルネットワークのことを、深層ＦＯＲＣＥ学習器と称して説明する。
　なお、あるニューラルネットワークにおいて、各ノードは、当該ニューラルネットワークにおいて流れるデータ同士の演算そのものを意味する。このため、各ノードは、ソフトウェアによって実現された当該ニューラルネットワークでは、当該演算を行う関数を意味する。また、各ノードは、ハードウェアによって実現された当該ニューラルネットワークでは、当該演算を行う素子を意味する。
　また、あるニューラルネットワークにおいて、あるノードＮ１から他のノードＮ２の間を接続するエッジは、ノードＮ１からノードＮ２へのデータの流れを示す。ノードＮ１からノードＮ２へ流れるデータには、ノードＮ１とノードＮ２との間を接続するエッジに割り当てられた重みが乗算される。すなわち、ノードＮ２には、エッジを通ることによって当該重みが乗算された後の当該データが当該エッジから入力される。このため、ソフトウェアによって実現された当該ニューラルネットワークでは、当該エッジは、このような重みの乗算を行う関数を意味する。また、当該エッジは、ハードウェアによって実現された当該ニューラルネットワークでは、このような重みの乗算を行う素子を意味する。
　入力層Ｌ１は、入力ノードを有する。ここで、入力層Ｌ１は、Ｐ次元の入力データの次元数と同じ数の入力ノードを有してもよく、Ｐ次元の入力データの次元数と異なる数の入力ノードを有してもよい。なお、Ｐ次元の入力データの次元数と異なる数の入力ノードを入力層Ｌ１が有する場合、これらの入力ノードの数は、Ｐ個よりも少ない数であってもよく、Ｐ個よりも多い数であってもよい。そして、当該場合、これらの入力ノードには、例えば、Ｐ次元の入力データの重み付き線形和が入力される。以下では、一例として、入力層Ｌ１が、Ｐ個の入力ノードを有する場合について説明する。この場合、ある入力ノードは、入力データのうち当該入力ノードに対応付けられた入力データを受け付ける。換言すると、Ｐ個の入力ノードのうちｐ番目の入力ノードは、Ｐ次元の時系列データのうちｐ番目の入力データを受け付ける。ここで、ｐは、１以上Ｐ以下の整数のうちのいずれかの整数である。すなわち、ｐは、Ｐ個の入力ノードのそれぞれを互いに識別する数（ラベル）である。入力層Ｌ１は、Ｐ個の入力ノードにより受け付けたＰ次元の入力データのそれぞれを第１中間層Ｌ２に出力する。
　また、第１中間層Ｌ２は、複数の第１中間ノードを有する。また、第１中間層Ｌ２は、入力層Ｌ１が出力するＰ次元の入力データのそれぞれを受け付ける。より具体的には、第１中間層Ｌ２は、複数の第１中間ノードのうちの一部又は全部により、入力層Ｌ１が出力するＰ次元の入力データのそれぞれを受け付ける。第１中間層Ｌ２は、受け付けたＰ次元の入力データに応じたＱ次元の第１中間データを第２中間層Ｌ３に出力する。Ｑは、１以上の整数であれば、如何なる整数であってもよい。このため、第１中間層Ｌ２は少なくとも、Ｑ次元の第１中間データのそれぞれを第２中間層Ｌ３に出力するＱ個の第１中間ノードを有する。ここで、これらＱ個の第１中間ノードのうちｑ番目の第１中間ノードは、Ｑ次元の第１中間データのうちｑ番目の第１中間データを第２中間層Ｌ３に出力する。ｑは、１以上Ｑ以下の整数のうちのいずれかの整数である。ｑは、Ｑ個の第１中間ノードのそれぞれを互いに識別する数（ラベル）であるとともに、Ｑ次元の第１中間データのそれぞれを互いに識別する数（ラベル）でもある。
　ここで、ある第１中間ノードは、１以上の入力データを受け付けた場合、受け付けた１以上の入力データの総和を第１活性化関数へ入力した場合に得られる出力値を生成する。なお、第１活性化関数は、非線形関数であれば、如何なる関数であってもよい。そして、当該第１中間ノードは、生成した当該出力値を、エッジにより当該第１中間ノードに結合されている他のノードへと出力する。当該第１中間ノードが前述のＱ個の第１中間ノードのうちのいずれかである場合、生成した当該出力値は、第１中間データとして第２中間層Ｌ３に出力される。第１中間層Ｌ２が有する個々の第１中間ノードは、このような出力値の生成を行う。なお、第１中間ノードが行う処理のうちバイアスの加算等の他の処理については、説明を省略する。
　第１中間層Ｌ２は、例えば、リザボアコンピューティングにおけるリザボアである。このため、第１中間層Ｌ２内における重みは、事前に乱数によって決定されている。そして、第１中間層Ｌ２内における重みの更新は、行われない。換言すると、第１中間ノード同士を結合するエッジに割り当てられた重みは、予め決められた大きさ（すなわち、乱数によって決定された大きさ）に固定されている。なお、第１中間層Ｌ２は、リザボアに代えて、層内における重みの更新が行われない他の中間層であってもよい。
　第２中間層Ｌ３は、Ｒ個の第２中間ノードを有する。ここで、Ｒは、１以上の整数であれば、如何なる整数であってもよい。第２中間層Ｌ３は、これらＲ個の第２中間ノードにより、第１中間層Ｌ２からＱ次元の第１中間データを受け付ける。第２中間層Ｌ３は、受け付けたＱ次元の第１中間データに応じたＲ次元の第２中間データを出力層Ｌ４に出力する。すなわち、Ｒ個の第２中間ノードのうちｒ番目の第２中間ノードは、Ｒ次元の第２中間データのうちｒ番目の第２中間データを出力層Ｌ４に出力する。ｒは、１以上Ｒ以下の整数のうちのいずれかの整数である。ｒは、Ｒ個の第２中間ノードのそれぞれを互いに識別する数（ラベル）であるとともに、Ｒ次元の第２中間データのそれぞれを互いに識別する数（ラベル）でもある。
　ここで、ある第２中間ノードは、１以上の第１中間データを受け付けた場合、受け付けた１以上の第１中間データの総和を第２活性化関数へ入力した場合に得られる出力値を生成する。第２活性化関数については、後述する。そして、当該第２中間ノードは、生成した当該出力値を、エッジにより当該第２中間ノードに結合されている他のノードへと出力する。これにより、当該第２中間ノードは、当該出力値を第２中間データとして出力層Ｌ４に出力する。第２中間層Ｌ３が有する個々の第２中間ノードは、このような出力値の生成を行う。なお、第２中間ノードが行う処理のうちバイアスの加算等の他の処理については、説明を省略する。
　第２中間層Ｌ３は、フィードフォワードニューラルネットワークにおける中間層である。なお、第２中間層Ｌ３は、図２に示すような１層である構成に代えて、多層である構成であってもよい。この場合、深層ＦＯＲＣＥ学習器では、第１中間層Ｌ２と出力層Ｌ４との間に存在する複数の層を、まとめて第２中間層Ｌ３と称する。例えば、第２中間層Ｌ３は、第２１中間層～第２ｎ中間層とのｎ個の層によって構成されてもよい。ここで、ｎは、２以上の整数である。この場合、第２中間層Ｌ３は、第２１中間層が有する複数のノードのそれぞれによってＱ次元の第１中間データを受け付ける。これにより、当該場合、第２中間層Ｌ３では、フィードフォワードニューラルネットワークにおけるデータフローと同様のデータフローによって第２１中間層から第２ｎ中間層までの間をデータが流れる。そして、当該場合、第２中間層Ｌ３では、第２ｎ中間層から、Ｒ次元の第２中間データを出力層Ｌ４に出力する。
　出力層Ｌ４は、Ｓ個の出力ノードを有する。ここで、Ｓは、１以上の整数であれば、如何なる整数であってもよい。出力層Ｌ４は、これらＳ個の出力ノードにより、第２中間層Ｌ３からＲ次元の第２中間データを受け付ける。出力層Ｌ４は、受け付けたＲ次元の第２中間データに応じたＳ次元の出力データを生成して出力する。すなわち、Ｓ個の出力ノードのうちｓ番目の出力ノードは、Ｓ次元の出力データのうちｓ番目の出力データを生成する。ｓは、１以上Ｓ以下の整数のうちのいずれかの整数である。ｓは、Ｓ個の出力ノードのそれぞれを互いに識別する数（ラベル）であるとともに、Ｓ次元の出力データのそれぞれを互いに識別する数（ラベル）でもある。
　ここで、ある出力ノードは、１以上の第２中間データを受け付けた場合、受け付けた１以上の第２中間データの総和を第３活性化関数へ入力した場合に得られる出力値を生成する。これにより、当該出力ノードは、当該出力値を出力データとして出力する。第３活性化関数については、後述する。出力層Ｌ４が有する個々の出力ノードは、このような出力値の生成を行う。なお、出力ノードが行う処理のうちバイアスの加算、当該出力値の出力等の他の処理については、説明を省略する。
　このように、深層ＦＯＲＣＥ学習器は、この一例において、リザボアである第１中間層Ｌ２と、フィードフォワードニューラルネットワークにおける中間層である第２中間層Ｌ３とを有する。このため、深層ＦＯＲＣＥ学習器は、この一例では、リザボアコンピューティングとフィードフォワードニューラルネットワークとを組み合わせた再帰型ニューラルネットワークである。
　なお、入力ノードと、第１中間ノードと、第２中間ノードと、出力ノードとは、深層ＦＯＲＣＥ学習器が有する複数のノードのうちの互いに異なるノードであり、重複することはない。
　ここで、ある入力ノードＸ１１からある第１中間ノードＸ１２へあるデータＤ１が出力される場合、データＤ１には、入力ノードＸ１１と第１中間ノードＸ１２とを結合するエッジに割り当てられた重みが乗算される。そして、当該重みが乗算された後のデータＤ１が第１中間ノードＸ１２へと入力される。
　また、ある第１中間ノードＸ２１から他の第１中間ノードＸ２２へあるデータＤ２が出力される場合、データＤ２には、第１中間ノードＸ２１と第１中間ノードＸ２２とを結合するエッジに割り当てられた重みが乗算される。そして、当該重みが乗算された後のデータＤ２が第１中間ノードＸ２２へと入力される。
　また、ある第１中間ノードＸ３１からある第２中間ノードＸ３２へあるデータＤ３が出力される場合、データＤ３には、第１中間ノードＸ３１と第２中間ノードＸ３２とを結合するエッジに割り当てられた重みが乗算される。そして、当該重みが乗算された後のデータＤ３が第２中間ノードＸ３２へと入力される。
　また、ある第２中間ノードＸ４１からある出力ノードＸ４２へあるデータＤ４が出力される場合、データＤ４には、第２中間ノードＸ４１と出力ノードＸ４２とを結合するエッジに割り当てられた重みが乗算される。そして、当該重みが乗算された後のデータＤ４が出力ノードＸ４２へと入力される。
　また、第１中間層Ｌ２内における重みが更新されないため、深層ＦＯＲＣＥ学習器では、重みの更新は、第１中間ノードと第２中間ノードとを結合するエッジに割り当てられた重みと、第２中間ノードと出力ノードとを結合するエッジに割り当てられた重みとについて行われる。また、重みの更新は、入力ノードと第１中間ノードとを結合するエッジに割り当てられた重みについて行われない。そこで、以下では、説明の便宜上、これらの重みの更新が行われる重みを区別する必要がない限り、まとめて更新対象重みと称して説明する。
　なお、図２に示した「○」はそれぞれ、ノードを示している。すなわち、入力層Ｌ１に含まれている「○」はそれぞれ、入力ノードを示す。また、第１中間層Ｌ２に含まれている「○」はそれぞれ、第１中間ノードを示す。また、第２中間層Ｌ３に含まれている「○」はそれぞれ、第２中間ノードを示す。また、出力層Ｌ４に含まれている「○」はそれぞれ、出力ノードを示す。
　また、図２に示したノード間を結合する矢印は、深層ＦＯＲＣＥ学習器における各ノード間のエッジによる接続態様のイメージを分かりやすく表すために描かれているものであり、実際の深層ＦＯＲＣＥ学習器における各ノード間のエッジによる接続態様とは異なる。
　また、入力層Ｌ１への入力データの入力と、出力層Ｌ４からの出力データの出力とについては、既知の方法によって行われてもよく、これから開発される方法によって行われてもよいため、説明を省略する。
　機械学習装置１は、このような深層ＦＯＲＣＥ学習器を用いて、前述のＰ次元の入力データの機械学習を行う。より具体的には、機械学習装置１は、入力層Ｌ１がＰ次元の入力データを時系列順に受け付ける毎に（すなわち、当該入力データを予め決められた順に受け付ける毎に）、出力データ生成処理と重み更新処理とを行う。
　出力データ生成処理は、第１処理と、第２処理と、第３処理と、第４処理とを、第１処理、第２処理、第３処理、第４処理の順に行う処理である。
　第１処理は、入力層Ｌ１により受け付けたＰ次元の入力データを入力層Ｌ１から第１中間層Ｌ２に出力する処理である。
　第２処理は、第１処理により第１中間層Ｌ２に入力されたＰ次元の入力データに応じたＱ次元の第１中間データを第１中間層Ｌ２から第２中間層Ｌ３に出力する処理である。
　第３処理は、第２処理により第２中間層Ｌ３に入力されたＱ次元の第１中間データに応じたＲ次元の第２中間データを第２中間層Ｌ３から出力層Ｌ４に出力する処理である。なお、第３処理は、前述したように第２１中間層～第２ｎ中間層とのｎ個の層によって構成される場合、第２処理により第２中間層Ｌ３の第２１中間層に入力されたＱ次元の第１中間データに応じたＲ次元の第２中間データを第２中間層Ｌ３の第２ｎ中間層から出力層Ｌ４に出力する処理である。
　第４処理は、第３処理により出力層Ｌ４に入力されたＲ次元の第２中間データに応じたＳ次元の出力データを生成する処理である。
　出力データ生成処理については、一般的なフィードフォワードニューラルネットワークにおいて出力データを生成する処理と同様の処理である。このため、出力データ生成処理については、これ以上の詳細な説明を省略する。
　重み更新処理は、Ｑ次元の第１中間データと、Ｓ次元の出力データと、拡張カルマンフィルタ法に基づいて導出された式とによって、前述の更新対象重み（すなわち、第１中間ノードと第２中間ノードとを結合するエッジそれぞれに割り当てられた重み、及び、第２中間ノードと出力ノードとを結合するエッジそれぞれに割り当てられた重み）を更新する処理である。
　以下では、機械学習装置１の構成とともに、このような重み更新処理の詳細について詳しく説明する。
　図１に戻る。機械学習装置１は、演算装置１１と、メモリ１２と、ネットワークインターフェース１３を備える。なお、機械学習装置１は、これらに加えて、他の回路、他の装置を備える構成であってもよい。例えば、機械学習装置１は、キーボード、マウス等の入力装置を備える構成であってもよい。また、例えば、機械学習装置１は、ディスプレイ等の出力装置を備える構成であってもよい。また、例えば、機械学習装置１は、当該入力装置と当該出力装置との少なくとも一方を接続するインタフェースを備える構成であってもよい。
　演算装置１１は、プロセッサであり、例えば、ＦＰＧＡ（Field　Programmable　Gate　Array）である。なお、演算装置１１は、ＦＰＧＡに代えて、ＣＰＵ（Central　Processing　Unit）であってもよく、ＦＰＧＡとＣＰＵの組み合わせであってもよく、他のプロセッサであってもよい。
　この一例では、演算装置１１は、ＦＰＧＡである。このため、演算装置１１は、ＦＰＧＡが有するハードウェア（例えば、集積回路等）によって深層ＦＯＲＣＥ学習器を実現し、ｐ次元の入力データについての機械学習を行う。なお、演算装置１１がＣＰＵである場合、演算装置１１は、ＣＰＵが有するハードウェアと、ＣＰＵにより実行されるソフトウェアとの組み合わせによって当該機械学習を行う構成であってもよい。また、演算装置１１は、後述するように、ニアメモリ、メモリロジック等によって構成されてもよい。換言すると、演算装置１１は、ニアメモリとメモリロジックとの少なくとも一方を含むハードウェアによって構成されてもよい。
　メモリ１２は、例えば、演算装置１１が用いる各種の情報を記憶する。メモリ１２は、例えば、ＳＳＤ（Solid　State　Drive）、ＨＤＤ（Hard　Disk　Drive）、ＥＥＰＲＯＭ（Electrically　Erasable　Programmable　Read－Only　Memory）、ＲＯＭ（Read－Only　Memory）、ＲＡＭ（Random　Access　Memory）等を含む。なお、メモリ１２は、演算装置１１に内蔵されるものに代えて、ＵＳＢ等のデジタル入出力ポート等によって接続された外付け型の記憶装置であってもよい。
　ネットワークインターフェース１３は、ネットワークを介して、センサ等の外部装置と接続するインタフェースである。
　＜重み更新処理＞
　以下、機械学習装置１が行う重み更新処理について説明する。ここで、以下において説明する重み更新処理は、拡張カルマンフィルタ法に基づく処理である。拡張カルマンフィルタ法に基づく重み更新処理では、離散化された時刻ｔが示す時系列順に応じた逐次計算が行われる。このため、以下において説明する関数、ベクトル、行列等の引数として現われる時刻ｔは、このような逐次計算における時系列順を示す。なお、拡張カルマンフィルタ法による以下の定式化は、一例に過ぎず、他の定式化であってもよい。
　深層ＦＯＲＣＥ学習器では、重み更新処理において更新される重みは、前述した更新対象重みであった。このため、実施形態では、層内における重みが更新されない第１中間層Ｌ２を、仮想的に入力層Ｌ１の一部として考える。このような考えの下では、前述の第１中間データを入力データの代わりとして扱うことができる。そこで、Ｑ次元の第１中間データを成分として有するＱ次元のベクトルは、以下の式（１）のように表すことができる。
Figure JPOXMLDOC01-appb-M000001
　上記の式（１）が示すベクトルｙＩの各成分は、Ｑ次元の第１中間データを示す。また、式（１）におけるｔは、前述した通り、逐次計算における時系列順を示す時刻である。すなわち、ｙＩ（ｔ）は、時刻ｔの入力データに応じて第１中間層Ｌ２が出力したＱ次元の第１中間データ（すなわち、時刻ｔの第１中間データ）を示す。なお、時刻ｔの入力データに応じて第１中間層Ｌ２が出力したＱ次元の第１中間データは、時刻ｔの入力データが入力層Ｌ１に受け付けられた場合において第１中間層Ｌ２が出力したＱ次元の第１中間データのことである。このため、ｙＩ（ｔ）は、時刻ｔにおいて算出された第１中間データを示しているわけではない。
　また、時刻ｔの入力データに応じて出力層Ｌ４が生成するＳ次元の出力データは、以下の式（２）のように表すことができる。なお、時刻ｔの入力データに応じて出力層Ｌ４が出力したＳ次元の出力データは、時刻ｔの入力データが入力層Ｌ１に受け付けられた場合において出力層Ｌ４が生成したＳ次元の出力データのことである。
Figure JPOXMLDOC01-appb-M000002
　上記の式（２）が示すベクトルｙＯの各成分は、Ｓ次元の出力データを示す。すなわち、ｙＯ（ｔ）は、時刻ｔの入力データが入力層Ｌ１に受け付けられた直後において出力層Ｌ４が生成したＳ次元の出力データ（すなわち、時刻ｔの出力データ）を示す。このため、ｙＯ（ｔ）は、時刻ｔにおいて算出された出力データを示しているわけではない。
　また、時刻ｔの入力データに応じて第２中間層Ｌ３が出力するＲ次元の第２中間データは、以下の式（３）のように表すことができる。なお、時刻ｔの入力データに応じて第２中間層Ｌ３が出力したＲ次元の第２中間データは、時刻ｔの入力データが入力層Ｌ１に受け付けられた場合において第２中間層Ｌ３が出力したＲ次元の第２中間データのことである。
Figure JPOXMLDOC01-appb-M000003
　上記の式（３）が示すベクトルｙＨの各成分は、Ｒ次元の第２中間データを示す。すなわち、ｙＨ（ｔ）は、時刻ｔの入力データに応じて第２中間層Ｌ３が出力したＲ次元の第２中間データ（すなわち、時刻ｔの第２中間データ）を示す。このため、ｙＨ（ｔ）は、時刻ｔにおいて算出された第２中間データを示しているわけではない。
　また、時刻ｔの入力データが入力層Ｌ１に受け付けられた場合において、第１中間データを出力するＱ個の第１中間ノードのうちｑ番目の第１中間ノードと、Ｒ個の第２中間ノードのうちｒ番目の第２中間ノードとを結合するエッジに割り当たられている重みは、以下の式（４）のように表すことができる。
Figure JPOXMLDOC01-appb-M000004
　上記の式（４）が示すベクトルｗＨＩの各成分は、第１中間データを出力するＱ個の第１中間ノードのうちｑ番目の第１中間ノードと、Ｒ個の第２中間ノードのうちｒ番目の第２中間ノードとを結合するエッジに割り当たられている重みを示す。すなわち、ｗＨＩ（ｔ）の各成分は、時刻ｔの入力データに応じた当該重み（すなわち、時刻ｔの当該重み）を示す。
　また、時刻ｔの入力データが入力層Ｌ１に受け付けられた場合において、第２中間データを出力するＲ個の第２中間ノードのうちｒ番目の第２中間ノードと、Ｓ個の出力ノードのうちｓ番目の出力ノードとを結合するエッジに割り当たられている重みは、以下の式（５）のように表すことができる。
Figure JPOXMLDOC01-appb-M000005
　上記の式（５）が示すベクトルｗＯＨの各成分は、第２中間データを出力するＲ個の第２中間ノードのうちｒ番目の第２中間ノードと、Ｓ個の出力ノードのうちｓ番目の出力ノードとを結合するエッジに割り当たられている重みを示す。すなわち、ｗＯＨ（ｔ）の各成分は、時刻ｔの入力データに応じた当該重み（すなわち、時刻ｔの当該重み）を示す。
　また、深層ＦＯＲＣＥ学習器における時刻ｔの教師データは、以下の式（６）のように表すことができる。
Figure JPOXMLDOC01-appb-M000006
　上記の式（６）が示すベクトルｄ（ｔ）の各成分は、時刻ｔのＳ次元の出力データのそれぞれに対応する教師データを示す。
　ここで、上記の式（２）に示したＳ次元の出力データのうちのｓ番目の出力データは、式（３）及び式（５）に基づいて、以下の式（７）及び式（８）のように表すことができる。
Figure JPOXMLDOC01-appb-M000007
Figure JPOXMLDOC01-appb-M000008
　一方、上記の式（３）に示したＲ次元の第２中間データのうちのｒ番目の第２中間データは、式（１）及び式（４）に基づいて、以下の式（９）及び式（１０）のように表すことができる。
Figure JPOXMLDOC01-appb-M000009
Figure JPOXMLDOC01-appb-M000010
　式（７）における関数ｆＯは、前述の第３活性化関数である。また、式（９）における関数ｆＨは、前述の第２活性化関数である。ただし、深層ＦＯＲＣＥ学習器において、第２活性化関数及び第３活性化関数のそれぞれは、所定の条件を満たす関数である。所定の条件は、奇関数であること（すなわち、原点を中心とした１８０°回転に対する対称性を有する非線形関数であること）、である。このような所定の条件を満たす関数は、例えば、双曲線正接関数である。なお、第２活性化関数と第３活性化関数とのうちいずれか一方又は両方は、双曲線正接関数に代えて、所定の条件を満たす他の非線形関数であってもよい。
　ここで、深層ＦＯＲＣＥ学習器は、以下の式（１１）及び式（１２）に示した非線形ベクトル関数によって表すことができる。
Figure JPOXMLDOC01-appb-M000011
Figure JPOXMLDOC01-appb-M000012
　上記の式（１１）におけるベクトルθ（ｔ）は、式（１２）によって算出されるベクトルであり、式（１２）に示したように更新対象重みを成分として有する重みベクトルである。上記の式（１１）におけるベクトルη（ｔ）は、ベクトルθ（ｔ）に対するモデル化誤差を示す。すなわち、ベクトルη（ｔ）は、深層ＦＯＲＣＥ学習器を何らかの非線形関数によって表すアルゴリズムによって導出される。
　そのようなアルゴリズムとして拡張カルマンフィルタ法を採用した場合、上記の式（１１）は、式（１１）の右辺第１項を推定重みベクトルとし、式（１１）の左辺を予測重みベクトルとして、以下の式（１３）～式（１５）のように表し直すことができる。なお、推定重みベクトルは、前述の重みベクトルについての、拡張カルマンフィルタ法における推定値のことである。また、予測重みベクトルは、重みベクトルについての、拡張カルマンフィルタ法における予測値のことである。
Figure JPOXMLDOC01-appb-M000013
Figure JPOXMLDOC01-appb-M000014
Figure JPOXMLDOC01-appb-M000015
　上記の式（１３）においてベクトルθの上に付いている「＾」は、「＾」付きのベクトルθが推定重みベクトルであることを示している。また、式（１３）においてベクトルθの上に付いている「￣」は、「￣」付きのベクトルθが予測重みベクトルであることを示している。また、式（１３）におけるベクトルｅ（ｔ）は、式（１５）に示したように、時刻ｔの出力データと、時刻ｔの教師データとの差分を示す。そして、式（１３）における行列Ｋは、拡張カルマンフィルタ法におけるカルマンゲイン行列を示す。すなわち、行列Ｋ（ｔ）は、時刻ｔにおけるカルマンゲイン行列を示す。行列Ｋ（ｔ）は、（Ｑ×Ｒ＋Ｓ×Ｒ）行Ｓ列の行列である。何故なら、式（１３）の左辺に示した推定重みベクトルが（Ｑ×Ｒ＋Ｓ×Ｒ）次元のベクトルであり、ベクトルｅ（ｔ）がＳ次元のベクトルであるからである。ここで、時刻ｔにおける行列Ｋ（ｔ）は、以下の式（１６）～（１９）のように表される。
Figure JPOXMLDOC01-appb-M000016
Figure JPOXMLDOC01-appb-M000017
Figure JPOXMLDOC01-appb-M000018
Figure JPOXMLDOC01-appb-M000019
Figure JPOXMLDOC01-appb-M000020
　上記の式（１６）において行列Ｕ（ｔ）の上に付いている「￣」は、「￣」付きの行列Ｕ（ｔ）が、共分散行列についての、拡張カルマンフィルタ法における予測値であることを示している。また、式（１６）における行列Ａ（ｔ）は、時刻ｔのスケーリングファクタを示す。この行列Ａ（ｔ）は、式（１７）によって算出される。また、式（１７）における行列Ｗ（ｔ）は、時刻ｔのモデル化誤差についての共分散行列を示す。また、式（１８）の行列Ｖ（ｔ）は、予め与えられた誤差分布に応じた成分を有する行列であり、「＾」付きの行列Ｕ（ｔ－１）に対する誤差を示す。「＾」付きの行列Ｕ（ｔ－１）は、共分散行列の、拡張カルマンフィルタ法における推定値を示す。「＾」付きの行列Ｕ（ｔ）は、式（１９）により算出される。すなわち、「＾」付きの行列Ｕ（ｔ）は、式（１８）及び式（１９）による逐次計算により算出される。また、式（１６）における行列Ｈ（ｔ）は、拡張カルマンフィルタ法におけるヤコビアンを示す。行列Ｈ（ｔ）は、式（２０）によって算出される。行列Ｈ（ｔ）、すなわち、ヤコビアンは、制御工学における観測行列に相当する。
　機械学習装置１は、上記の式（１３）～（２０）を用いた逐次計算により、更新対象重みの更新を行う。この逐次計算による更新対象重みの更新を行うためには、式（２０）に示したヤコビアンを具体的に算出する必要がある。ヤコビアンは、式（２０）の右辺に示したように、２つのブロック行列によって表される。そして、これら２つのブロック行列の各成分は、以下の式（２１）及び式（２２）によって表される。
Figure JPOXMLDOC01-appb-M000021
Figure JPOXMLDOC01-appb-M000022
　また、上記の式（２１）に示したブロック行列の各成分は、上記の式（７）～（１０）を用いて、以下の式（２３）のように展開することができる。
Figure JPOXMLDOC01-appb-M000023
　なお、上記の式（２３）は、ノードの結合先が一致していない場合、すなわち、ｑ≠ｒである場合、０となる。
　また、上記の式（２２）に示したブロック行列の各成分は、上記の式（７）～（１０）を用いて、以下の式（２４）のように展開することができる。
Figure JPOXMLDOC01-appb-M000024
　このように、上記の式（２０）の右辺に示した２つのブロック行列の各成分は、上記の式（２３）及び式（２４）に基づいて算出することができる。その結果、前述のヤコビアンが算出可能であるため、前述の「＾」付きの行列Ｕ（ｔ）と、行列Ｖ（ｔ）と、行列Ｗ（ｔ）とのそれぞれに対して初期値を与えることにより、機械学習装置１は、カルマンゲイン行列である行列Ｋ（ｔ）を算出することができる。これにより、機械学習装置１は、上記の式（１３）～式（１５）に基づいて、更新対象重みの更新を行うことができる。
　ここで、図３を参照し、機械学習装置１が行う重み更新処理の流れについて説明する。図３は、機械学習装置１が行う重み更新処理の流れの一例を示す図である。機械学習装置１は、入力層Ｌ１がＰ次元の入力データを時系列順に受け付ける毎に、図３に示したフローチャートの処理を行う。
　機械学習装置１は、出力データ生成処理が終了するまで待機する（ステップＳ１１０）。
　機械学習装置１は、出力データ生成処理が終了したと判定した場合（ステップＳ１１０－ＹＥＳ）、上記の式（７）～（１０）及び式（２０）～（２４）と、前述の第２活性化関数及び第３活性化関数（例えば、両関数ともに双曲線正接関数）とに基づいて、前述のヤコビアンを算出する（ステップＳ１２０）。この際、機械学習装置１は、第１中間層Ｌ２から出力された第１中間データと、第２中間層Ｌ３から出力された第２中間データと、出力層Ｌ４により生成された出力データと、更新対象重みとを用いて、ヤコビアンを算出する。
　次に、機械学習装置１は、式（１６）～（１９）と、ステップＳ１２０において算出されたヤコビアンとに基づいて、前述のカルマンゲイン行列を算出する（ステップＳ１３０）。ステップＳ１３０の処理は、上記の式（１９）に示した「＾」付きの行列Ｕを最小化するための算出処理である。ここで、機械学習装置１は、１回目のステップＳ１３０の処理が行われる際、３つの行列「＾」付きの行列Ｕ（ｔ）と、行列Ｖ（ｔ）と、行列Ｗ（ｔ）とのそれぞれについてユーザにより予め与えられた初期値を用いて、カルマンゲイン行列を算出する。
　次に、機械学習装置１は、上記の式（１３）～式（１５）と、モデル化誤差であるベクトルη（ｔ）と、ステップＳ１３０において算出した行列Ｋ（ｔ）と、教師データと、出力層Ｌ４が生成した出力データと、更新対象重みとに基づいて、更新対象重みの更新を行い（ステップＳ１４０）、処理を終了する。
　以上のようなフローチャートの処理により、機械学習装置１は、重み更新処理を行う。ここで、図３に示したフローチャートの処理では、機械学習装置１は、前述したように、逆行列演算を行っていない。換言すると、機械学習装置１は、当該処理において、解析計算によって予め導出されている式を用いた逐次計算を行っているに過ぎない。このため、機械学習装置１は、当該処理の計算コストを、逆行列演算を行う処理と比べて小さくすることができる。また、機械学習装置１は、当該処理によって、図２に示した深層ＦＯＲＣＥ学習器によるオンライン学習を行うことができる。その結果、機械学習装置１は、例えば、当該深層ＦＯＲＣＥ学習器による機械学習を行う装置として、エッジデバイスに搭載することができる。深層ＦＯＲＣＥ学習器をエッジデバイス等への搭載を考える場合、当該処理の効率化が重要となる。このため、当該処理においては、効率的なデータフローを実現することが求められる。特に、ニアメモリとメモリロジックとの少なくとも一方を含むハードウェアとして深層ＦＯＲＣＥ学習器をエッジデバイス等に実装する場合、効率的なデータフローの実現は、メモリアクセスの速度、計算速度等の高速化に繋がるため、非常に重要である。そこで、以下では、当該処理における効率的なデータフローについて説明する。
　＜重み更新処理におけるデータフロー＞
　前述した通り、深層ＦＯＲＣＥ学習器は、ニアメモリとメモリロジックとの少なくとも一方を含むハードウェアとしてエッジデバイス等に実装することができる。そして、当該ハードウェアとしてエッジデバイス等に実装される深層ＦＯＲＣＥ学習器のメモリアクセスの速度、計算速度等は、重み更新処理におけるデータフローの設計に応じて異なる。このような事情から、ニアメモリとメモリロジックとの少なくとも一方を含むハードウェアとして深層ＦＯＲＣＥ学習器をエッジデバイス等に実装にする場合、効率的な当該データフローを考える必要がある。
　そこで、以下では、重み更新処理におけるデータフローとして効率的であると考えられる具体例について説明する。
　図４は、重み更新処理におけるデータフローの全体構成の一例を示す図である。重み更新処理におけるデータフローは、図４に示したように、大きく分けてブロックＢ１～ブロックＢ６の６つのブロックから構成される。なお、当該６つのブロックのそれぞれは、ニアメモリとメモリロジックとの少なくとも一方を含むハードウェアを示す。なお、図４において、データフローにおける時系列順は、時刻ｔによって示している。
　ブロックＢ１は、上記の式（１４）に基づく処理により、前述の予測重みベクトルを算出するブロックである。ブロックＢ１には、ベクトルη（ｔ）と「＾」付きのベクトルθ（ｔ）とが入力される。そして、ブロックＢ１は、「￣」付きのベクトルθ（ｔ）、すなわち、予測重みベクトルを算出する。ブロックＢ１は、算出した予測重みベクトルを、ブロックＢ２に出力する。
　ブロックＢ２は、上記の式（１８）に基づく処理により、共分散行列についての拡張カルマンフィルタ法における予測値を算出するブロックである。ブロックＢ２には、「＾」付きの行列Ｕ（ｔ－１）と、行列Ｖ（ｔ）とが入力される。そして、ブロックＢ２は、共分散行列についての予測値、すなわち、「￣」付きの行列Ｕ（ｔ）を算出する。ブロックＢ２は、算出した「￣」付きの行列Ｕ（ｔ）を、ブロックＢ４とブロックＢ６とのそれぞれに出力する。
　ブロックＢ３は、上記の式（１３）に基づく処理により、推定重みベクトルを更新するブロックである。ブロックＢ３には、ベクトルｅ（ｔ）と、ブロックＢ１から出力される「￣」付きのベクトルθ（ｔ）と、後述するブロックＢ６から出力される行列Ｋ（ｔ）とが入力される。そして、ブロックＢ３は、推定重みベクトル、すなわち、「＾」付きのベクトルθ（ｔ＋１）を算出する。ブロックＢ３は、算出した「＾」付きのベクトルθ（ｔ＋１）を出力する。
　ブロックＢ４は、上記の式（１９）に基づく処理により、共分散行列についての拡張カルマンフィルタ法における推定値を算出するブロックである。ブロックＢ４には、ブロックＢ２から出力される「￣」付きの行列Ｕ（ｔ）と、後述するブロックＢ５から出力される行列Ｈ（ｔ）と、後述するブロックＢ６から出力される行列Ｋ（ｔ）とが入力される。そして、ブロックＢ４は、当該推定値、すなわち、「＾」付きの行列Ｕ（ｔ）を算出する。ブロックＢ４は、算出した「＾」付きの行列Ｕ（ｔ）を出力する。
　ブロックＢ５は、上記の式（７）～式（１０）に基づく処理により、ヤコビアンを算出するブロックである。ブロックＢ５には、ベクトルｙＩ（ｔ）が入力される。そして、ブロックＢ５は、ヤコビアン、すなわち、行列Ｈ（ｔ）を算出する。ブロックＢ５は、算出した行列Ｈ（ｔ）を、ブロックＢ４とブロックＢ６とのそれぞれに出力する。また、ブロックＢ５は、前述の出力データ生成処理も行う。ブロックＢ５内部のデータフローについては、後述する。
　ブロックＢ６は、上記の式（１６）及び式（１７）に基づく処理により、カルマンゲイン行列を算出するブロックである。ブロックＢ６には、ブロックＢ２から出力される「￣」付きの行列Ｕ（ｔ）と、ブロックＢ５から出力される行列Ｈ（ｔ）と、行列Ｗ（ｔ）とが入力される。そして、ブロックＢ６は、カルマンゲイン行列、すなわち、行列Ｋ（ｔ）を算出する。ブロックＢ６は、算出した行列Ｋ（ｔ）を出力する。この際、ブロックＢ６は、ブロックＢ３にも行列Ｋ（ｔ）を出力する。
　ここで、図５は、ブロックＢ５内部のデータフローの最も単純な具体例を示す図である。図５に示したデータフローは、深層ＦＯＲＣＥ学習器において採用される第２活性化関数及び第３活性化関数のそれぞれが、前述の所定の条件を満たしていれば、如何なる関数であっても成立するデータフローである。また、図５に示したデータフローには、前述の出力データ生成処理におけるデータフローも含まれている。図５に示したデータフローは、大きく分けてブロックＢ５１Ａ～ブロックＢ５１Ｈの８つのブロックから構成される。なお、当該８つのブロックのそれぞれは、ニアメモリとメモリロジックとの少なくとも一方を含むハードウェアを示す。なお、図５において、データフローにおける時系列順は、時刻ｔによって示している。
　ブロックＢ５１Ａは、上記の式（１０）の計算を行うブロックである。すなわち、ブロックＢ５１Ａには、ベクトルｙＩ（ｔ）と、ベクトルｗＨＩ（ｔ）とが入力される。そして、ブロックＢ５１Ａは、ａｃｔｒ（ｔ）を算出し、算出したａｃｔｒ（ｔ）を出力する。より具体的には、ブロックＢ５１Ａは、算出したａｃｔｒ（ｔ）を、ブロックＢ５１ＢとブロックＢ５１Ｅのそれぞれに出力する。
　ブロックＢ５１Ｂは、上記の式（９）の計算を行うブロックである。すなわち、ブロックＢ５１Ｂには、ブロックＢ５１Ａから出力されるａｃｔｒ（ｔ）が入力される。そして、ブロックＢ５１Ｂは、ベクトルｙＨ（ｔ）を算出し、算出したベクトルｙＨ（ｔ）を出力する。より具体的には、ブロックＢ５１Ｂは、算出したベクトルｙＨ（ｔ）を、ブロックＢ５１ＣとブロックＢ５１Ｈのそれぞれに出力する。
　ブロックＢ５１Ｃは、上記の式（８）の計算を行うブロックである。すなわち、ブロックＢ５１Ｃには、ブロックＢ５１Ｂから出力されるベクトルｙＨ（ｔ）と、ベクトルｗＯＨ（ｔ）とが入力される。そして、ブロックＢ５１Ｃは、ａｃｔｓ（ｔ）を算出し、算出したａｃｔｓ（ｔ）を出力する。より具体的には、ブロックＢ５１Ｃは、算出したａｃｔｓ（ｔ）を、ブロックＢ５１ＤとブロックＢ５１Ｆのそれぞれに出力する。
　ブロックＢ５１Ｄは、上記の式（７）の計算を行うブロックである。すなわち、ブロックＢ５１Ｄには、ブロックＢ５１Ｃから出力されるａｃｔｓ（ｔ）が入力される。そして、ブロックＢ５１Ｄは、ベクトルｙＯ（ｔ）を算出し、算出したベクトルｙＯ（ｔ）を出力する。
　このように、ブロックＢ５１Ａ、ブロックＢ５１Ｂ、ブロックＢ５１Ｃ、ブロックＢ５１Ｄの順に流れるデータフローが、出力データ生成処理におけるデータフローである。
　ブロックＢ５１Ｅは、上記の式（２３）におけるｆＨ’（ａｃｔｒ（ｔ））を算出するブロックである。すなわち、ブロックＢ５１Ｅには、ブロックＢ５１Ａから出力されるａｃｔｒ（ｔ）が入力される。そして、ブロックＢ５１Ｅは、ｆＨ’（ａｃｔｒ（ｔ））を算出し、算出したｆＨ’（ａｃｔｒ（ｔ））をブロックＢ５１Ｇに出力する。
　ブロックＢ５１Ｆは、上記の式（２３）及び式（２４）におけるｆＯ’（ａｃｔｓ（ｔ））を算出するブロックである。すなわち、ブロックＢ５１Ｆには、ブロックＢ５１Ｃから出力されるａｃｔｓ（ｔ）が入力される。そして、ブロックＢ５１Ｆは、ｆＯ’（ａｃｔｓ（ｔ））を算出し、算出したｆＯ’（ａｃｔｓ（ｔ））を出力する。より具体的には、ブロックＢ５１Ｆは、算出したｆＯ’（ａｃｔｓ（ｔ））を、ブロックＢ５１ＧとブロックＢ５１Ｈのそれぞれに出力する。
　ブロックＢ５１Ｇは、上記の式（２３）の計算を行うブロックである。すなわち、ブロックＢ５１Ｇには、ベクトルｙＩ（ｔ）と、ベクトルｗＯＨ（ｔ）と、ブロックＢ５１Ｅから出力されるｆＨ’（ａｃｔｒ（ｔ））と、ブロックＢ５１Ｆから出力されるｆＯ’（ａｃｔｓ（ｔ））とが入力される。そして、ブロックＢ５１Ｇは、式（２３）の左辺の各成分を算出する。
　ブロックＢ５１Ｈは、上記の式（２４）の計算を行うブロックである。すなわち、ブロックＢ５１Ｈには、ブロックＢ５１Ｂから出力されるベクトルｙＨ（ｔ）と、ブロックＢ５１Ｆから出力されるｆＯ’（ａｃｔｓ（ｔ））とが入力される。そして、ブロックＢ５１Ｇは、式（２４）の左辺の各成分を算出する。
　ここで、ブロックＢ５１ＧとブロックＢ５１Ｈとのそれぞれから出力される値は、ヤコビアン、すなわち、行列Ｈ（ｔ）の各成分に他ならない。
　このように、図５に示したデータフローでは、出力データ生成処理と、ヤコビアンの算出処理とにおいて、ａｃｔｒ（ｔ）及びａｃｔｓ（ｔ）を算出する処理が共通化されている。すなわち、当該データフローは、出力データ生成処理の一部と、重み更新処理の一部とにおける演算処理が共通化されたデータフローである。機械学習装置１は、このようなデータフローに基づいて、ニアメモリとメモリロジックとの少なくとも一方を含むハードウェアとして深層ＦＯＲＣＥ学習器をエッジデバイス等に実装することができる。その結果、機械学習装置１は、第２活性化関数及び第３活性化関数のそれぞれとして特殊な関数を用いることなく、メモリアクセスの速度、計算速度等の高速化を図ることができる。
　図６は、ブロックＢ５の内部のデータフローの他の具体例を示す図である。図６に示したデータフローは、第２活性化関数ｆＨが双曲線正接関数であり、且つ、第３活性化関数ｆＯが恒等関数である場合に成立するデータフローである。また、図６に示したデータフローにも、前述の出力データ生成処理におけるデータフローも含まれている。図６に示したデータフローは、大きく分けてブロックＢ５１Ａと、ブロックＢ５２Ａ～ブロックＢ５２Ｅとの６つのブロックから構成される。なお、当該６つのブロックのそれぞれは、ニアメモリとメモリロジックとの少なくとも一方を含むハードウェアを示す。なお、図６において、データフローにおける時系列順は、時刻ｔによって示している。また、図６では、図５に示したブロックと同じ機能を有するブロック（すなわち、ブロックＢ５１Ａ）については、同様の符号を付して説明を省略する。ただし、図６では、ブロックＢ５１Ａは、ａｃｔｒ（ｔ）をブロックＢ５２Ａに出力する。
　ブロックＢ５２Ａは、上記の式（９）の計算を行うブロックである。ただし、ブロックＢ５２Ａは、第２活性化関数として双曲線正接関数を用いて、当該計算を行う。ブロックＢ５２Ａには、ブロックＢ５１Ａから出力されるａｃｔｒ（ｔ）が入力される。そして、ブロックＢ５２Ａは、第２活性化関数として双曲線正接関数を用いてベクトルｙＨ（ｔ）を算出し、算出したベクトルｙＨ（ｔ）を出力する。より具体的には、ブロックＢ５２Ａは、算出したベクトルｙＨ（ｔ）を、ブロックＢ５１ＣとブロックＢ５２Ｃのそれぞれに出力する。
　ブロックＢ５２Ｂは、上記の式（８）の計算を行うブロックである。すなわち、ブロックＢ５２Ｂには、ブロックＢ５１Ｂから出力されるベクトルｙＨ（ｔ）と、ベクトルｗＯＨ（ｔ）とが入力される。そして、ブロックＢ５２Ｂは、ａｃｔｓ（ｔ）を算出する。ここで、図６に示した例では、第３活性化関数は、恒等関数である。すなわち、図６では、図５に示したブロックＢ５１Ｄに相当するブロックが不要であり、ブロックＢ５２Ｂにより算出されたａｃｔｓ（ｔ）が、ベクトルｙＯ（ｔ）となる。また、恒等関数の微分は、１である。すなわち、ｆＯ’（ａｃｔｓ（ｔ））＝１である。このため、図６では、図５に示したブロックＢ５１Ｆに相当するブロックが不要である。
　ブロックＢ５２Ｃは、上記の式（２３）におけるｆＨ’（ａｃｔｒ（ｔ））を算出するブロックである。ただし、図６に示した例では、第２活性化関数ｆＨが双曲線正接関数である。この場合、ｆＨ’（ａｃｔｒ（ｔ））は、以下の式（２５）に示すように、ベクトルｙＨ（ｔ）の２乗によって書き下すことができる。
Figure JPOXMLDOC01-appb-M000025
　このため、図６に示したデータフローは、図５に示したブロックＢ５１Ｅに代えて、ブロックＢ５２Ｃを含むことができる。また、ブロックＢ５２Ｃは、例えば、ルックアップテーブルにすることができる。これは、ｆＨ’（ａｃｔｒ（ｔ））が、ベクトルｙＨ（ｔ）の２乗によって書き下すことができることによる恩恵の１つである。ブロックＢ５２Ｃは、ブロックＢ５２Ａから出力されるベクトルｙＨ（ｔ）が入力される。そして、ブロックＢ５２Ｃは、ｆＨ’（ａｃｔｒ（ｔ））を算出（又は特定）する。ブロックＢ５２Ｃは、算出したｆＨ’（ａｃｔｒ（ｔ））をブロックＢ５２Ｄに出力する。
　ブロックＢ５２Ｄは、上記の式（２３）の計算を行うブロックである。すなわち、ブロックＢ５２Ｄには、ベクトルｙＩ（ｔ）と、ベクトルｗＯＨ（ｔ）と、ブロックＢ５２Ｃから出力されるｆＨ’（ａｃｔｒ（ｔ））とが入力される。そして、ブロックＢ５２Ｄは、式（２３）の左辺の各成分を算出する。ブロックＢ５２Ｄは、算出した当該各成分を出力する。なお、図６に示した例では、前述した通り、第３活性化関数ｆＯが恒等関数である。このため、ブロックＢ５２Ｄにおいて用いるｆＯ’（ａｃｔｓ（ｔ））は、恒等的に１である。
　ブロックＢ５２Ｅは、上記の式（２４）の計算を行うブロックである。すなわち、ブロックＢ５２Ｅには、ブロックＢ５２Ａから出力されるベクトルｙＨ（ｔ）が入力される。そして、ブロックＢ５２Ｅは、式（２４）の左辺の各成分を算出する。なお、図６に示した例では、前述した通り、第３活性化関数ｆＯが恒等関数である。このため、ブロックＢ５２Ｅにおいて用いるｆＯ’（ａｃｔｓ（ｔ））は、恒等的に１である。
　このように、図６に示したデータフローでは、図５に示したデータフローよりも、ブロックの数を少なくすることができる。これは、図６に示したデータフローに基づいて、ニアメモリとメモリロジックとの少なくとも一方を含むハードウェアとして深層ＦＯＲＣＥ学習器をエッジデバイス等に実装した場合、機械学習装置１をより簡素に設計することができることを意味している。その結果、当該場合、機械学習装置１は、消費電力を低減することができるとともに、メモリアクセスの速度、計算速度等の高速化を図ることができる。
　図７は、ブロックＢ５の内部のデータフローの更に他の具体例を示す図である。図７に示したデータフローは、第２活性化関数ｆＨが以下の式（２６）及び式（２７）に示す区分線形関数であり、且つ、第３活性化関数ｆＯが微分すると恒等関数となる非線形関数である場合に成立するデータフローである。
Figure JPOXMLDOC01-appb-M000026
Figure JPOXMLDOC01-appb-M000027
　上記の式（２６）及び式（２７）におけるγは、第２活性化関数のゲイン（あるいは傾き）を決定するパラメータである。
　また、図７に示したデータフローにも、前述の出力データ生成処理におけるデータフローも含まれている。図７に示したデータフローは、大きく分けてブロックＢ５１Ａ～ブロックＢ５１Ｄと、ブロックＢ５２Ａ～ブロックＢ５２Ｃとの７つのブロックから構成される。なお、当該７つのブロックのそれぞれは、ニアメモリとメモリロジックとの少なくとも一方を含むハードウェアを示す。なお、図７において、データフローにおける時系列順は、時刻ｔによって示している。また、図７では、図５に示したブロックと同じ機能を有するブロック（すなわち、ブロックＢ５１Ａ～ブロックＢ５１Ｄ）については、同様の符号を付して説明を省略する。ただし、図６では、ブロックＢ５１Ａは、ａｃｔｒ（ｔ）を、ブロックＢ５３Ａに出力する。また、図６では、ブロックＢ５１Ｂは、ベクトルｙＨ（ｔ）を、ブロックＢ５１ＣとブロックＢ５３Ｃとのそれぞれに出力する。また、図６では、ブロックＢ５１Ｃは、ａｃｔｓ（ｔ）を、ブロックＢ５１ＤとブロックＢ５３ＢとブロックＢ５３Ｃとのそれぞれに出力する。
　ブロックＢ５３Ａは、上記の式（２３）におけるｆＨ’（ａｃｔｒ（ｔ））を算出するブロックである。ただし、ブロックＢ５３Ａは、第２活性化関数として上記の式（２６）に示した区分線形関数を用いて、ｆＨ’（ａｃｔｒ（ｔ））を算出する。ブロックＢ５３Ａには、ブロックＢ５１Ａから出力されるａｃｔｒ（ｔ）が入力される。そして、ブロックＢ５３Ａは、ｆＨ’として上記の式（２７）に示した関数を用いてｆＨ’（ａｃｔｒ（ｔ））を算出する。ブロックＢ５３Ａは、ｆＨ’（ａｃｔｒ（ｔ））を、ブロックＢ５３Ｂに出力する。
　ブロックＢ５３Ｂは、上記の式（２３）の計算を行うブロックである。すなわち、ブロックＢ５３Ｂには、ベクトルｙＩ（ｔ）と、ベクトルｗＯＨ（ｔ）と、ブロックＢ５３Ａから出力されるｆＨ’（ａｃｔｒ（ｔ））と、ブロックＢ５１Ｃから出力されるａｃｔｓ（ｔ）とが入力される。そして、ブロックＢ５３Ｂは、式（２３）の左辺の各成分を算出する。ブロックＢ５３Ｂは、算出した当該各成分を出力する。なお、図７に示した例では、前述した通り、第３活性化関数ｆＯが、微分すると恒等関数になる非線形関数である。このため、ブロックＢ５３Ｂにおいて用いるｆＯ’（ａｃｔｓ（ｔ））は、ブロックＢ５１Ｃから出力されるａｃｔｓ（ｔ）そのものである。
　ブロックＢ５３Ｃは、上記の式（２４）の計算を行うブロックである。すなわち、ブロックＢ５３Ｃには、ブロックＢ５１Ｂから出力されるベクトルｙＨ（ｔ）と、ブロックＢ５１Ｃから出力されるａｃｔｓ（ｔ）とが入力される。そして、ブロックＢ５３Ｃは、式（２４）の左辺の各成分を算出する。なお、図７に示した例では、前述した通り、第３活性化関数ｆＯが、微分すると恒等関数になる非線形関数である。このため、ブロックＢ５３Ｃにおいて用いるｆＯ’（ａｃｔｓ（ｔ））は、ブロックＢ５１Ｃから出力されるａｃｔｓ（ｔ）そのものである。
　このように、図７に示したデータフローでも、図５に示したデータフローよりも、ブロックの数を少なくすることができる。これは、図７に示したデータフローに基づいて、ニアメモリとメモリロジックとの少なくとも一方を含むハードウェアとして深層ＦＯＲＣＥ学習器をエッジデバイス等に実装した場合、機械学習装置１をより簡素に設計することができることを意味している。その結果、当該場合、機械学習装置１は、消費電力を低減することができるとともに、メモリアクセスの速度、計算速度等の高速化を図ることができる。
　＜機械学習装置による機械学習の結果＞
　以下、機械学習装置１による機械学習の結果について説明する。
　以下では、機械学習装置１による機械学習の結果について、図８に示した二重振り子の変位の時間的変化を機械学習装置１に機械学習させた結果を例に挙げて説明する。図８は、原点から長さｌ１の棒によって繋がれた質量ｍ１の第１錘と、当該錘と長さｌ２の棒によって繋がれた質量ｍ２の第２錘とによって構成される二重振り子の一例を示す図である。図８に示した二重振り子における第１錘と第２錘とのＸ軸方向及びＹ軸方向それぞれの変位の時間的変化は、運動方程式によって決定論的に記述される。なお、図８において、重力が働く方向は、矢印ｇによって示される方向である。
　図８に示した二重振り子における運動方程式は、第１錘及び第２錘それぞれについて書き下される。その際、第１錘及び第２錘のそれぞれについて書き下された運動方程式における力は、図８に示したＹ軸と棒ｌ１との間の角度θ１と、当該Ｙ軸と棒ｌ２との間の角度θ２と、角度θ１の単位時間あたりの変化である角速度と、角度θ２の単位時間あたりの変化である角速度との４つのパラメータの関数によって示される。
　そこで、我々は、これら４つのパラメータをセンサによって時系列順に検出し、時系列順に検出した当該４つのパラメータを機械学習装置１に４次元の入力データとして入力した。その際、我々は、第１錘及び第２錘それぞれの変位の時間的変化についての教師データを機械学習装置１に予め記憶させておいた。そして、機械学習装置１に所定期間、第１錘及び第２錘それぞれの変位の時間的変化のオンライン学習を行わせた。その結果が、図９及び図１０に示したグラフである。
　図９は、図８に示した二重振り子における第２錘のＸ軸方向の変位の時間的変化を機械学習装置１に機械学習させている期間において機械学習装置１から出力された出力データの時間的変化をプロットしたグラフの一例を示す図である。図９に示したグラフの縦軸は、第２錘のＸ軸方向における変位を示す。当該グラフの横軸は、経過時間を示す。なお、図９では、当該期間が、経過時間０～経過時間８００の期間として示されている。
　図９に示したグラフにおけるプロットＰＬＴ１は、教師データのプロットである。また、当該グラフにおけるプロットＰＬＴ２は、出力データのプロットである。図９に示したように、オンライン学習中の機械学習装置１から出力される出力データと教師データとの一致度は、それほど高くない。
　一方、図１０は、図８に示した二重振り子における第２錘のＸ軸方向の変位の時間的変化を機械学習装置１に機械学習させた後の期間において機械学習装置１から出力された出力データの時間的変化をプロットしたグラフの一例を示す図である。図１０に示したグラフの縦軸は、第２錘のＸ軸方向における変位を示す。当該グラフの横軸は、経過時間を示す。なお、図１０では、当該期間が、経過時間８００～経過時間１６００の期間として示されている。
　図１０に示したグラフにおけるプロットＰＬＴ１は、教師データのプロットである。また、当該グラフにおけるプロットＰＬＴ３は、出力データのプロットである。図１０に示したように、オンライン学習後の機械学習装置１から出力される出力データと教師データとの一致度は、オンライン学習前と比べて、高くなっている。
　ここで、図９及び図１０に示した例は、第１中間ノードの数が１００個であり、第２中間ノードの数が１０個であり、出力ノードの数が１個である場合において機械学習装置１にオンライン学習を行わせた結果の例である。機械学習装置１が行うオンライン学習の結果は、これらのノードの数によって精度が変わる。
　図１１及び図１２に示した例は、第１中間ノードの数が２０個であり、第２中間ノードの数が１０個であり、出力ノードの数が１個である場合において、図９及び図１０に示したグラフと同様のグラフを機械学習装置１に描かせた場合の結果の例である。
　図１１は、図８に示した二重振り子における第２錘のＸ軸方向の変位の時間的変化を機械学習装置１に機械学習させている期間において機械学習装置１から出力された出力データの時間的変化をプロットしたグラフの他の例を示す図である。図１１に示したグラフの縦軸は、第２錘のＸ軸方向における変位を示す。当該グラフの横軸は、経過時間を示す。なお、図１１では、当該期間が、経過時間０～経過時間８００の期間として示されている。
　図１１に示したグラフにおけるプロットＰＬＴ１は、教師データのプロットである。また、当該グラフにおけるプロットＰＬＴ４は、出力データのプロットである。図１１に示したように、オンライン学習中の機械学習装置１から出力される出力データと教師データとの一致度は、それほど高くない。また、図１１に示したように、図１１に示した例におけるオンライン学習中の機械学習装置１から出力される出力データと教師データとの一致度は、図９に示した例におけるオンライン学習中の機械学習装置１から出力される出力データと教師データとの一致度よりも低い。これは、図１１に示した例における第１中間ノードの数が、図９に示した例における第１中間ノードの数の５分の１となっているからである。
　一方、図１２は、図８に示した二重振り子における第２錘のＸ軸方向の変位の時間的変化を機械学習装置１に機械学習させた後の期間において機械学習装置１から出力された出力データの時間的変化をプロットしたグラフの他の例を示す図である。図１２に示したグラフの縦軸は、第２錘のＸ軸方向における変位を示す。当該グラフの横軸は、経過時間を示す。なお、図１２では、当該期間が、経過時間８００～経過時間１６００の期間として示されている。
　図１２に示したグラフにおけるプロットＰＬＴ１は、教師データのプロットである。また、当該グラフにおけるプロットＰＬＴ５は、出力データのプロットである。図１２に示したように、オンライン学習後の機械学習装置１から出力される出力データと教師データとの一致度は、オンライン学習前と比べて、高くなっている。また、図１２に示したように、図１２に示した例におけるオンライン学習中の機械学習装置１から出力される出力データと教師データとの一致度は、図１０に示した例におけるオンライン学習中の機械学習装置１から出力される出力データと教師データと比べて、それほど変化していない。これは、図１２に示した例における第１中間ノードの数が、図９に示した例における第１中間ノードの数の５分の１となっていても、機械学習装置１が行うオンライン学習の精度が高いことを意味する。
　すなわち、機械学習装置１は、深層ＦＯＲＣＥ学習器と拡張カルマンフィルタ法による重み更新処理とによって、第１中間ノードの数を少なくしつつ、オンライン学習の精度を向上させることができる。その結果、機械学習装置１は、製造コストを低減と、機械学習の精度の向上とを両立させることができる。
　以上のように、実施形態に係る機械学習装置は、重みが割り当てられたエッジによって互いに結合された複数のノードを有する再帰型ニューラルネットワークを用いて、予め決められた順に並ぶ１次元以上の入力データの機械学習を行う機械学習装置であって、再帰型ニューラルネットワークは、１以上の入力ノードを有する入力層と、１以上の第１中間ノードを有する第１中間層と、１以上の第２中間ノードを有する第２中間層と、１以上の出力ノードを有する出力層と、を有し、入力ノードと、第１中間ノードと、第２中間ノードと、出力ノードとは、複数のノードのうちの互いに異なるノードであり、第１中間ノード同士を結合するエッジに割り当てられた重みは、予め決められた大きさに固定されており、機械学習装置は、入力層が１次元以上の入力データを予め決められた順に受け付ける毎に、出力データ生成処理と重み更新処理とを行い、出力データ生成処理は、入力層により受け付けた１次元以上の入力データを入力層から第１中間層に出力する第１処理と、第１処理により第１中間層に入力された１次元以上の入力データに応じた１次元以上の第１中間データを第１中間層から第２中間層に出力する第２処理と、第２処理により第２中間層に入力された１次元以上の第１中間データに応じた１次元以上の第２中間データを第２中間層から出力層に出力する第３処理と、第３処理により出力層に入力された１次元以上の第２中間データに応じた１次元以上の出力データを生成する第４処理と、を第１処理、第２処理、第３処理、第４処理の順に行う処理であり、重み更新処理は、拡張カルマンフィルタ法に基づいて導出された式と、１次元以上の第１中間データと、１次元以上の出力データとによって、第１中間ノードと第２中間ノードとを結合するエッジそれぞれに割り当てられた重みと、第２中間ノードと出力ノードとを結合するエッジそれぞれに割り当てられた重みとを更新する処理である。これにより、機械学習装置は、予め決められた順に並ぶ１次元以上の入力データのオンライン学習を行うことができる。
　また、機械学習装置では、第１中間層は、リザボアである、構成が用いられてもよい。
　また、機械学習装置では、拡張カルマンフィルタ法に基づいて導出された式には、活性化関数として、奇関数である非線形関数が含まれている、構成が用いられてもよい。
　また、機械学習装置では、拡張カルマンフィルタ法に基づいて導出された式に含まれる非線形関数は、双曲線正接関数である、構成が用いられてもよい。
　また、機械学習装置では、拡張カルマンフィルタ法に基づいて導出された式は、拡張カルマンフィルタ法におけるカルマンゲイン行列を算出する式を含み、機械学習装置は、当該式に基づいてヤコビアンを算出し、算出したヤコビアンに基づいて、重み更新処理を行う、構成が用いられてもよい。
　また、機械学習装置は、少なくとも、重み更新処理を、ニアメモリとメモリロジックとの少なくとも一方を含むハードウェアによって行う、構成が用いられてもよい。
　また、機械学習装置は、出力データ生成処理と重み更新処理をハードウェアによって行い、出力データ生成処理の一部と、重み更新処理の一部とを共通のハードウェアによって行う、構成が用いられてもよい。
１…機械学習装置、１１…演算装置、１２…メモリ、１３…ネットワークインターフェース、Ｌ１…入力層、Ｌ２…第１中間層、Ｌ３…第２中間層、Ｌ４…出力層

Claims (10)

  1. 　重みが割り当てられたエッジによって互いに結合された複数のノードを有する再帰型ニューラルネットワークを用いて、予め決められた順に並ぶ１次元以上の入力データの機械学習を行う機械学習装置であって、
    　前記再帰型ニューラルネットワークは、
    　１以上の入力ノードを有する入力層と、
    　１以上の第１中間ノードを有する第１中間層と、
    　１以上の第２中間ノードを有する第２中間層と、
    　１以上の出力ノードを有する出力層と、
    　を有し、
    　前記入力ノードと、前記第１中間ノードと、前記第２中間ノードと、前記出力ノードとは、前記複数のノードのうちの互いに異なるノードであり、
    　前記第１中間ノード同士を結合するエッジに割り当てられた重みは、予め決められた大きさに固定されており、
    　前記機械学習装置は、前記入力層が前記１次元以上の入力データを前記予め決められた順に受け付ける毎に、出力データ生成処理と重み更新処理とを行い、
    　前記出力データ生成処理は、
    　前記入力層により受け付けた前記１次元以上の入力データを前記入力層から前記第１中間層に出力する第１処理と、
    　前記第１処理により前記第１中間層に入力された前記１次元以上の入力データに応じた１次元以上の第１中間データを前記第１中間層から前記第２中間層に出力する第２処理と、
    　前記第２処理により前記第２中間層に入力された前記１次元以上の第１中間データに応じた１次元以上の第２中間データを前記第２中間層から前記出力層に出力する第３処理と、
    　前記第３処理により前記出力層に入力された前記１次元以上の第２中間データに応じた１次元以上の出力データを生成する第４処理と、
    　を前記第１処理、前記第２処理、前記第３処理、前記第４処理の順に行う処理であり、
    　前記重み更新処理は、
    　拡張カルマンフィルタ法に基づいて導出された式と、前記１次元以上の第１中間データと、前記１次元以上の出力データとによって、前記第１中間ノードと前記第２中間ノードとを結合するエッジそれぞれに割り当てられた重みと、前記第２中間ノードと前記出力ノードとを結合するエッジそれぞれに割り当てられた重みとを更新する処理である、
    　機械学習装置。
  2. 　前記第１中間層は、リザボアである、
    　請求項１に記載の機械学習装置。
  3. 　前記式には、活性化関数として、奇関数である非線形関数が含まれている、
    　請求項１又は２に記載の機械学習装置。
  4. 　前記非線形関数は、双曲線正接関数である、
    　請求項３に記載の機械学習装置。
  5. 　前記式は、前記拡張カルマンフィルタ法におけるカルマンゲイン行列を算出する式を含み、
    　前記式に基づいてヤコビアンを算出し、算出したヤコビアンに基づいて、前記重み更新処理を行う、
    　請求項１から４のうちいずれか一項に記載の機械学習装置。
  6. 　少なくとも、前記重み更新処理を、ニアメモリとメモリロジックとの少なくとも一方を含むハードウェアによって行う、
    　請求項１から５のうちいずれか一項に記載の機械学習装置。
  7. 　前記出力データ生成処理と前記重み更新処理を前記ハードウェアによって行い、
    　前記出力データ生成処理の一部と、前記重み更新処理の一部とを共通の前記ハードウェアによって行う、
    　請求項６に記載の機械学習装置。
  8. 　重みが割り当てられたエッジによって互いに結合された複数のノードを有する再帰型ニューラルネットワークを用いて、予め決められた順に並ぶ１次元以上の入力データの機械学習をコンピュータに行わせる機械学習プログラムであって、
    　前記再帰型ニューラルネットワークは、
    　１以上の入力ノードを有する入力層と、
    　１以上の第１中間ノードを有する第１中間層と、
    　１以上の第２中間ノードを有する第２中間層と、
    　１以上の出力ノードを有する出力層と、
    　を有し、
    　前記入力ノードと、前記第１中間ノードと、前記第２中間ノードと、前記出力ノードとは、前記複数のノードのうちの互いに異なるノードであり、
    　前記第１中間ノード同士を結合するエッジに割り当てられた重みは、予め決められた大きさに固定されており、
    　前記機械学習プログラムは、前記入力層が前記１次元以上の入力データを前記予め決められた順に受け付ける毎に、出力データ生成処理と重み更新処理とを行わせ、
    　前記出力データ生成処理は、
    　前記入力層により受け付けた前記１次元以上の入力データを前記入力層から前記第１中間層に出力する第１処理と、
    　前記第１処理により前記第１中間層に入力された前記１次元以上の入力データに応じた１次元以上の第１中間データを前記第１中間層から前記第２中間層に出力する第２処理と、
    　前記第２処理により前記第２中間層に入力された前記１次元以上の第１中間データに応じた１次元以上の第２中間データを前記第２中間層から前記出力層に出力する第３処理と、
    　前記第３処理により前記出力層に入力された前記１次元以上の第２中間データに応じた１次元以上の出力データを生成する第４処理と、
    　を前記第１処理、前記第２処理、前記第３処理、前記第４処理の順に行う処理であり、
    　前記重み更新処理は、
    　拡張カルマンフィルタ法に基づいて導出された式と、前記１次元以上の第１中間データと、前記１次元以上の出力データとによって、前記第１中間ノードと前記第２中間ノードとを結合するエッジそれぞれに割り当てられた重みと、前記第２中間ノードと前記出力ノードとを結合するエッジそれぞれに割り当てられた重みとを更新する処理である、
    　機械学習プログラム。
  9. 　重みが割り当てられたエッジによって互いに結合された複数のノードを有する再帰型ニューラルネットワークを用いて、予め決められた順に並ぶ１次元以上の入力データの機械学習を行う機械学習方法であって、
    　前記再帰型ニューラルネットワークは、
    　１以上の入力ノードを有する入力層と、
    　１以上の第１中間ノードを有する第１中間層と、
    　１以上の第２中間ノードを有する第２中間層と、
    　１以上の出力ノードを有する出力層と、
    　を有し、
    　前記入力ノードと、前記第１中間ノードと、前記第２中間ノードと、前記出力ノードとは、前記複数のノードのうちの互いに異なるノードであり、
    　前記第１中間ノード同士を結合するエッジに割り当てられた重みは、予め決められた大きさに固定されており、
    　前記機械学習方法は、前記入力層が前記１次元以上の入力データを前記予め決められた順に受け付ける毎に、出力データ生成処理と重み更新処理とを行う方法であり、
    　前記出力データ生成処理は、
    　前記入力層により受け付けた前記１次元以上の入力データを前記入力層から前記第１中間層に出力する第１処理と、
    　前記第１処理により前記第１中間層に入力された前記１次元以上の入力データに応じた１次元以上の第１中間データを前記第１中間層から前記第２中間層に出力する第２処理と、
    　前記第２処理により前記第２中間層に入力された前記１次元以上の第１中間データに応じた１次元以上の第２中間データを前記第２中間層から前記出力層に出力する第３処理と、
    　前記第３処理により前記出力層に入力された前記１次元以上の第２中間データに応じた１次元以上の出力データを生成する第４処理と、
    　を前記第１処理、前記第２処理、前記第３処理、前記第４処理の順に行う処理であり、
    　前記重み更新処理は、
    　拡張カルマンフィルタ法に基づいて導出された式と、前記１次元以上の第１中間データと、前記１次元以上の出力データとによって、前記第１中間ノードと前記第２中間ノードとを結合するエッジそれぞれに割り当てられた重みと、前記第２中間ノードと前記出力ノードとを結合するエッジそれぞれに割り当てられた重みとを更新する処理である、
    　機械学習方法。
  10. 　リザボアコンピューティングとフィードフォワードニューラルネットワークとを組み合わせた再帰型ニューラルネットワークにおいて、重みの更新を拡張カルマンフィルタ法によって行う、
    　機械学習装置。
PCT/JP2019/025880 2019-06-28 2019-06-28 機械学習装置、機械学習プログラム、及び機械学習方法 WO2020261549A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2019/025880 WO2020261549A1 (ja) 2019-06-28 2019-06-28 機械学習装置、機械学習プログラム、及び機械学習方法
US17/558,129 US20220114418A1 (en) 2019-06-28 2021-12-21 Machine learning device, machine learning program, and machine learning method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/025880 WO2020261549A1 (ja) 2019-06-28 2019-06-28 機械学習装置、機械学習プログラム、及び機械学習方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/558,129 Continuation-In-Part US20220114418A1 (en) 2019-06-28 2021-12-21 Machine learning device, machine learning program, and machine learning method

Publications (1)

Publication Number Publication Date
WO2020261549A1 true WO2020261549A1 (ja) 2020-12-30

Family

ID=74061805

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/025880 WO2020261549A1 (ja) 2019-06-28 2019-06-28 機械学習装置、機械学習プログラム、及び機械学習方法

Country Status (2)

Country Link
US (1) US20220114418A1 (ja)
WO (1) WO2020261549A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210081771A1 (en) * 2019-09-17 2021-03-18 Kabushiki Kaisha Toshiba Processing apparatus and inference system

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
BABINEC, STEFAN ET AL.: "Merging Echo State and Feedforward Neural Networks for Time Series Forecasting", ICANN 2006, PART I, LNCS 4131, 2006, Berling Heidelberg, pages 367 - 375, XP019039801 *
RIZAL, AHMAD SHRIL ET AL.: "Recurrent Neural Network with Extended Kalman Filter for Prediction of The Number of Tourist Arrival in Lombok", 2016 INTERNATIONAL CONFERENCE ON INFORMATICS AND COMPUTING, 24 April 2017 (2017-04-24), XP033086272, Retrieved from the Internet <URL:https://ieeexplore.ieee.org/document/7905712> [retrieved on 20190719] *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210081771A1 (en) * 2019-09-17 2021-03-18 Kabushiki Kaisha Toshiba Processing apparatus and inference system
US11526738B2 (en) * 2019-09-17 2022-12-13 Kabushiki Kaisha Toshiba Processing apparatus and inference system
US11893476B2 (en) 2019-09-17 2024-02-06 Kabushiki Kaisha Toshiba Processing apparatus and inference system

Also Published As

Publication number Publication date
US20220114418A1 (en) 2022-04-14

Similar Documents

Publication Publication Date Title
Schuman et al. Opportunities for neuromorphic computing algorithms and applications
Vlachas et al. Multiscale simulations of complex systems by learning their effective dynamics
Ergen et al. Online training of LSTM networks in distributed systems for variable length data sequences
CN104662526B (zh) 用于高效地更新尖峰神经元网络的装置和方法
Aimone et al. A review of non-cognitive applications for neuromorphic computing
Qin et al. Deep learning of parameterized equations with applications to uncertainty quantification
JP2018535491A (ja) 画像のセマンティックセグメンテーションのためのシステム及びコンピューター実施方法、並びに非一時的コンピューター可読媒体
Chen et al. Resistive-ram-based in-memory computing for neural network: A review
Galluppi et al. Real time on-chip implementation of dynamical systems with spiking neurons
Liu et al. Predicting parametric spatiotemporal dynamics by multi-resolution PDE structure-preserved deep learning
Wang et al. A first principles approach for data-efficient system identification of spring-rod systems via differentiable physics engines
Goyal et al. Neural ordinary differential equations with irregular and noisy data
Sheriffdeen et al. Accelerating PDE-constrained inverse solutions with deep learning and reduced order models
Roy et al. Machine learning in nonlinear dynamical systems
Bounou et al. Online learning and control of complex dynamical systems from sensory input
WO2020261549A1 (ja) 機械学習装置、機械学習プログラム、及び機械学習方法
Chung et al. Stochastic Newton and quasi-Newton methods for large linear least-squares problems
Hwang et al. On the number of limit cycles in asymmetric neural networks
WO2020262587A1 (ja) 機械学習装置、機械学習プログラム、及び機械学習方法
Li et al. Infinite-fidelity coregionalization for physical simulation
Wu et al. Algorithm and implementation of distributed ESN using Spark framework and parallel PSO
Nastorg et al. Ds-gps: A deep statistical graph poisson solver (for faster cfd simulations)
Mei et al. Controlsynth neural ODEs: Modeling dynamical systems with guaranteed convergence
Zhang et al. The expressivity and training of deep neural networks: Toward the edge of chaos?
Jain et al. A kernel class allowing for fast computations in shape spaces induced by diffeomorphisms

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19935308

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19935308

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP