[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

WO2006005665A2 - Verfahren zur reaktion auf kontextänderungen mit einem neuronalen netz und neuronales netz zur reaktion auf kontextänderungen - Google Patents

Verfahren zur reaktion auf kontextänderungen mit einem neuronalen netz und neuronales netz zur reaktion auf kontextänderungen Download PDF

Info

Publication number
WO2006005665A2
WO2006005665A2 PCT/EP2005/052859 EP2005052859W WO2006005665A2 WO 2006005665 A2 WO2006005665 A2 WO 2006005665A2 EP 2005052859 W EP2005052859 W EP 2005052859W WO 2006005665 A2 WO2006005665 A2 WO 2006005665A2
Authority
WO
WIPO (PCT)
Prior art keywords
pool
model
pools
neural network
output
Prior art date
Application number
PCT/EP2005/052859
Other languages
English (en)
French (fr)
Other versions
WO2006005665A3 (de
Inventor
Gustavo Deco
Martin Stetter
Original Assignee
Siemens Aktiengesellschaft
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens Aktiengesellschaft filed Critical Siemens Aktiengesellschaft
Publication of WO2006005665A2 publication Critical patent/WO2006005665A2/de
Publication of WO2006005665A3 publication Critical patent/WO2006005665A3/de

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Definitions

  • the invention relates to a method for responding to text changes with a neural network, as well as a neuronal network, which can respond to context changes.
  • Context is understood to be an external meaning context which indicates which behavior makes sense in a particular situation.
  • the context could indicate whether the price is going up or down, and depending on that context, it would be a wise decision to buy or sell the stock.
  • the context may also indicate that a change in the weather is imminent, and depending on this change in the weather, a positive or negative weather forecast would make sense.
  • the context may also be a variable strategy of a player of a computer game, and depending on this strategy, a particular behavior of a character may be useful in the computer game (e.g., attack or defense).
  • the invention thus relates to a method of data processing in order to find a correct behavior for a given situation.
  • Behavior is already understood here as the estimation of the situation, but the behavior can also include a decision or an action.
  • Intelligent software agents are known which are developed using methods of artificial intelligence. These are rule-based systems which have a database with rules and a logic for processing the rules. The rules are explicitly formulated and must be manually entered by the developer. It is a declarative programming model. An example of such intelligent agents are BDI agents (lieve-desire-intention). These collect sensory data, process it with a set of rules and choose a behavior.
  • BDI agents lieve-desire-intention
  • the invention also relates to dynamic reinforcement learning, in which a system or agent receives feedback on its behavior, which serve to enable it to flexibly respond to context changes. If the system or the agent z. If, for example, a buy decision is made and the share price subsequently falls, the system or the agent can learn by means of appropriate feedback and choose a more correct behavior in the next situation. Behavior is a decision, a situation assessment or an action ver ⁇ stood. The evaluation of a situation can also be called a feeling. Dynamic gain learning is described in document [1].
  • Neural networks are known in particular as learning systems. Information about the current situation in the form of input information is fed to such a neural network. The input information is processed by the neural network. Subsequently, output information can be taken from the neural network. The output information describes the behavior of the neural network and thus represents a decision, a situation evaluation or an action instruction.
  • a neural network can be trained so that it learns which output information is correct for a given input information. This is called synaptic learning. Synapses are the connections between the individual neurons, the elements of the neural network. By expressing the synaptic strengths, the neural network learns in this context the correct mapping of input information to output information.
  • neural networks lies in the fact that the rules for mapping the input information to output information do not have to be specified explicitly and declaratively. Rather, the neural network learns an implicit rule representation from the data with which it is trained.
  • the disadvantage here is that the neural network can not react flexibly to context changes.
  • a change in context that is to say a change in the external context of meaning, constitutes the requirement for the neural network to convert the mapping of input information to output information with immediate effect.
  • synaptic learning is an incremental, time-delayed process which does not allow a flexible and rapid response to context changes.
  • the task arises to indicate a method for the reaction to context changes and a data processing unit which can react to context changes.
  • input information is supplied to an input layer of the neural network. Furthermore, output information is taken from an output layer of the neural network. Furthermore, several models are stored in the neural network, each of which predefines a mapping of the input information onto the output information. Only one model can be active at the same time. The following steps are then repeated: The neural network forms an inputting information with the active model on an output information. This is then taken from the output layer. If the extracted output information for the supplied input information is incorrect in a current context, the neural network receives a false feedback, whereupon the neural network activates another model.
  • an action is derived and executed from the extracted output information.
  • the neural network contains exciting pulsed neurons.
  • These form model pools, with each model being assigned at least one model pool.
  • the model pools compete with each other, whereby an active model pool prevails in the competition.
  • the neuronal network contains inhibiting pulsed neurons. These form at least one inhibitory pool.
  • the inhibitory pool exerts a global inhibition on the competing model pools.
  • the false feedback activates the inhibiting pool.
  • the activated inhibiting pool performs a complete inhibition of all model pools. The complete inhibition then deactivates the active model pool. After complete inhibition, another model pool is activated.
  • sys- tems adapt to the exciting pulsed neurons of the active model pool.
  • recurrent weights of the active model pool decrease. This leads to the fact that the active model pool is subject to the complete inhibition in the competition compared to the other model pools.
  • the adaptation of the synapses is implemented as short-term synaptic depression (STD).
  • exciting pulsed neurons form rule pools.
  • Each of these rule pools ver ⁇ switches each one of the input information with one of the output information.
  • the rule pools compete with each other, with the active model pool supporting a selection of rule pools.
  • the supplied input information activates a rule pool from this selection.
  • the appropriately activated rule pool activates the output information to be taken. This will be taken out afterwards.
  • the neural network includes interconnections formed by Hebbian learning.
  • the neural network for responding to context changes has an input layer to which input information can be supplied. Furthermore, there is an intermediate layer, by means of which the input information can be mapped onto output information. Furthermore, there is an output layer from which the output information can be taken. Finally, the neural network also has a model layer with which the image formation in the intermediate layer can be controlled as a function of a context.
  • the model layer contains exciting pulsed neurons. Furthermore, the model layer contains several model pools, which consist of the exciting pulsed neurons. With the model pools, the image in the intermediate layer can be controlled as a function of a context.
  • the neural network contains inhibitory pulsed neurons. Furthermore, the neuronal network contains an inhibiting pool, which consists of the inhibitory pulsed neurons. The inhibiting pool is interconnected with the model pools. Furthermore, the inhibiting pool can be activated by an incorrect feedback if an extracted output information is incorrect. According to one development of the invention, the neural network has the model layer in a first module and the other layers in a second module.
  • the input layer for each input information has an input pool, which consists of exciting pulsed neurons and can be activated by supplying the respective input information.
  • the intermediate layer has rule pools, by means of which an input information can be interconnected with an output information.
  • the rule pools consist of exciting pulsed neurons.
  • the output layer has an output pool consisting of exciting pulsed neurons.
  • the model pools are connected to the rule pools such that only a selection of rule pools can be activated depending on the activation of the model pools.
  • a representative input pool can be activated by an input data input, which represents the input information supplied.
  • a preferred rule pool can be activated by the representative input pool, which belongs to the selection of rule pools which are connected with an active model pool.
  • a representative output pool can be activated by the preferred rule pool, wherein the representative output pool represents a removable output information.
  • the neural network may further comprise one or more additional input layers, interlayers, output layers, model layers or other layers. These additional layers may store, filter, rate, network or categorize the input information, the output information or other information, or may perform other functions.
  • additional layers may store, filter, rate, network or categorize the input information, the output information or other information, or may perform other functions.
  • the invention describes a quantitative mathematical model with direct biological relevance, in that it specifically depicts the neurodynamic processes which were also recognized in biological research.
  • the behavior thus results as an autonomous, emergent phenomenon and has clear advantages over conventional agents with declarative Regel ⁇ representation on.
  • the invention permits not only the implicit rule representation but also dynamic rule selection, which also includes a random element.
  • the random element results from the emergent, free interaction of neurons and pools of the neural network.
  • FIG. 1 shows a first embodiment of the neural network
  • Fig. 2 shows a second embodiment of the neural network
  • Fig. 3 weights of a first module
  • Fig. 4 weights of a second module
  • Fig. 5 shows the structure of a pool.
  • FIG. 1 shows a neural network 1 with an input layer 10, an intermediate layer 20, an output layer 30 and a model layer 40.
  • the neural network 1 is supplied with input information 2 and later with an output information 3.
  • the input layer 10 has strong connections to the intermediate layer 20, which in turn has strong connections to the exit layer 30.
  • the model layer 40 has strong connections to the intermediate layer 20.
  • a strong connection between two layers means that the layers have an above-average number of compounds or that the compounds are markedly above average.
  • the connections are usually made via synapses, which connect neurons of one layer with neurons of the other layer.
  • a strong connection of two layers thus means that there are particularly many synaptic connections between the layers or that the synaptic connections are particularly pronounced.
  • the synaptic strength can be described by a weight w. Higher values for a synaptic weight w mean a stronger synaptic connection between the participating neurons.
  • the neurons of the neural network can be partially or completely linked in the layers and over the layers.
  • full connectivity full connectivity exists, meaning that each neuron is linked, linked or networked with each other neuron.
  • the layers are fed back together, that is, there are also strong connections in the opposite direction.
  • This feedback leads to a shift in the equilibrium in the competition of the individual neurons or groups (pools) of neurons.
  • the thickness of the forwardly directed compounds, ie from the input layer 10 via the intermediate layer 20 to the output layer 30 and from the model layer 40 to the intermediate layer 20, is expediently stronger than the strength of the backward-looking connections.
  • the intermediate layer 20 has stored for this purpose different images, one of which is activated by the model layer 40 in each case. As a result, a rapid response to context changes is possible since the mapping in the intermediate layer 20 can be flexibly changed.
  • the input layer 10, the intermediate layer 20, the output layer 30, and the model layer 40 contain groups (pools) of neurons. It is also possible that only some of these layers contain pools.
  • the pools of each layer may contain excitatory pulsed neurons. Exciting pulsed neurons are activated by pulses from other exciting pulsed neurons and send out pulses to other neurons themselves.
  • the activity of a pool of pulsed neurons can be modeled using a mean-field approximation.
  • the pools are attached to the biology of the human brain ange ⁇ .
  • large and homogeneous populations of neurons that receive a similar external input are mutually coupled, and probably together act as a single entity, forming groups (pools).
  • These pools can be a more robust processing and coding unit because their instantaneous population average response, as opposed to the time average of a relatively stochastic neuron in a large time window, is better suited to the analysis of fast changes in the real world. If one neuron can activate another one, this means that there is a strong connection between the two neurons. The same applies in the event that one pool activates another pool. This means that there is at least one strong connection of at least one neuron of the first pool with a neuron of the second pool.
  • FIG. 5 shows that the neurons 101 of a pool 100 are also strongly connected to one another. As shown in FIG. 5, there may be a partial connection, but also a complete networking of the neurons 101 of the pool 100.
  • the neurons 101 of the pool 100 are linked via strong connections 102, thus contributing to the activation of the pool 100 in mutual support.
  • the greater the activity of the neurons 101 the greater the activity of the pool 100.
  • the activity of the neurons 101 can be described by mathematical models. Further information on the mathematical modeling of pools in the development of neural networks as well as different mathematical models for pulsed neurons, as used in the exemplary embodiments are u. a. from the writings [2], [3] and [4] known.
  • neurons 101 are always artificial neurons 101. These partially or completely model a particular type of neuron known from biology. The modeling can be done by an electronic circuit or a mathematical model. gen, which is calculated by a data processing system. By connecting two pools 100, it is meant that the neurons 101 of these pools 100 are strongly or weakly connected to one another, ie that, for example, B. many or few, strong or weak synaptic connections between the
  • Neurons of the one and the neurons 101 of the other pool 100 exist.
  • the strong connections 102 between the neurons 101 of the pool 100 serve for the self-amplification of the pool 100.
  • the strength of these strong connections 102 corresponds to z.
  • the synaptic strengths between the neurons 101 which are referred to within the pool 100 as recurrent weights.
  • the neural network 1 stores a model for each context, ie for each class of situations.
  • the model indicates how the input information should be mapped to the output information.
  • the model thus describes which behavior is correct in a particular situation. Different situations may require different behavior. This is always the case when the context changes from one situation to the next. This means that in the second situation different output information must be selected than in the first situation. Different situations can therefore be based on a different context.
  • the neural network 1 now attempts to specify, for each context, for each class of situations, how the input information is to be mapped to the output information.
  • the intermediate layer 20 contains rule pools 21 which compete with each other, whereby only one activated rule pool 23 can enforce itself.
  • the rule pools 21 each represent a possibility of interconnection of an input information with an output information.
  • the input control information 2 is interconnected with the output information 3 to be extracted by the activated rule pool 23.
  • This interconnection consists of strong connections between neurons of the input layer 10, neurons of the control pool 23 and neurons of the output layer 30. Interconnection thus means that neurons, pools or layers are not only linked to one another, which is already present in a full interconnection, but instead that the weights of the links are strong.
  • the model layer 40 contains model pools 41 that compete with each other, whereby only one active model pool 42 can prevail.
  • the active model pool 42 is interconnected with a selection 22 of rule pools 21. This means that the rule pools 21 in the selection 22 are supported in their competition with the other rule pools 21 as long as the active model pool 42 is activated.
  • the active model pool 42 thus determines which
  • Rule pools 21 can be activated, and thus, how the zu ⁇ guided input information 2 is mapped to the output information 3 to be taken. Which rule pool 21 is activated in the selection 22 depends on the supplied input information 2. Which output information 3 is taken depends on the activated rule pool 23.
  • the neuronal network 1 contains an inhibiting pool 50, which is formed from inhibitory, pulsed neurons.
  • the inhibiting pool 50 is connected to the model layer 40 and exerts a global inhibition on the competing pools 41. This is necessary so that only one active model pool 42 can prevail in the competition.
  • the inhibiting pool 50 is stimulated here by the model pools 41.
  • excitatory compounds eg. For example, strong, excitatory, synaptic connections.
  • inhibitory compounds eg. B. inhibitory, synaptic connections.
  • the inhibiting pool 50 is also strongly connected to the other layers or there are one or more inhibiting pools which are interconnected with the other layers, d. H. have an inhibiting influence on them.
  • the neural network 1 must be informed that its current map or model does not correspond to the current situation or context.
  • the inhibiting pool 50 is activated by a false feedback 4, whereby the global inhibition becomes complete
  • the false feedback 4 can z. B. be implemented by activating the neurons of the inhibitory pool 50 via the external synaptic inputs.
  • synapses of the exciting, pulsed neurons of the active model pool 42 are adapted such that the self-amplification of the active model pool 42 decreases over time .
  • the recurring weights of the active model pool 42 are also reduced.
  • STD short-term synaptic depression
  • the input layer 10 also has input pools 11 which compete with each other, whereby only one input pool 11 can ever prevail in the competition.
  • each input information can be assigned its own input pool 11. It However, preprocessing may also take place, so that from the input information certain features are extracted, which are subsequently represented by an input pool 11. Thus, an input pool 11 for angular shapes and another input pool for round shapes can be activated.
  • the output layer 30 also has output pools 31 which compete with one another, whereby again only one output pool 31 can prevail in the competition.
  • FIG. 1 shows the case that an active model pool 42 supports a selection 22 of rule pools 21. Furthermore, a representative input pool 12 is activated by the supplied input information 2. This activates the activated rule pool 23 within the selection 22. This in turn is interconnected with a representative output pool 32, for which reason it is activated. Subsequently, the output information 3 is taken, which is represented by the representative output pool 32.
  • the layers are excited by at least one non-specific pool, which consists of exciting pulsed neurons.
  • This device does not receive any specific inputs from one of the layers and contributes with spontaneous pulses to the formation of realistic pulse distributions.
  • the neurons of the non-specific pool are not correlated with the other layers or pools, i. H. they are not specifically activatable, as they may be networked with the other layers / pools, but not with strong connections.
  • the neural network 1 can be designed as an attractor-recurrent autoassociative neural network. Such networks are described in the cited documents. In this case, the synaptic connections from the input layer 10 to the intermediate layer 20, from the intermediate layer 20 to the output layer 30, and from the model layer 40 to the intermediate layer 20, respectively, are made stronger than in the return direction.
  • the weight between two exciting pulsed neurons, which lie in different exciting pools of the same layer, is preferably weak.
  • each rule pool 21 is connected to an input pool 11, a model pool 41, and an output pool 31 as if the connection were through
  • the interplay between the layers corresponds to the multi-area interconnection in the human brain.
  • the neural network 1 can also have further layers. These additional layers can form the functions of specific brain areas. In this way, the functionality of the neuronal network 1 can be considerably expanded. It is conceivable z. As the filtering of input information by modeling ei ⁇ ner selective attention, as well as the implementation of work or long-term memory functions.
  • the further layers can be constructed in the manner described and interact with one another, or else implement other known methods.
  • the neural network 1 can be designed as a neurodynamic network, in particular in the form of a neurodynamic network of pulsed neurons. This may include the use of known neural networks, multilayer
  • Perceptrons, SOMs (seif organizing maps) etc. include.
  • the pulsed neurons can z. B. be formed as so-called spiking or as so-called pulse-coding neurons.
  • Intelligent agents which use the method according to the invention or the neural network can be used for neurocognitive process control, in particular for technical processes, for neurocognitive driver assistance and for neurocognitive robot control.
  • the invention is based on the principle of influenced competition (Biased Competition).
  • an active model which is formed by the active model pool 42 and by the interconnections of the rule pools 21 which belong to the selection 22, acts on the mapping of input information to output information in a top-down manner.
  • the input information acts as an opposing influence (bottom-up), which activates certain neurons and pools.
  • the actual interconnection of the supplied input information 2 with the extracted output information 3 develops from an interplay of these two influences.
  • the neural network 1 thus achieves a high degree of flexibility, which in its behavior, ie. H. in its mapping of input information to output information flexible to context changes, d. H. changed situations, can react.
  • the neural network 1 directly depicts the neurodynamic processes in the human brain, it is of direct biological relevance. This is based on the exact simulation of the biological processes in the brain.
  • the pulsed neurons may be integrated-and-firing neurons
  • the neural network and method according to the invention can be used as a model for clinical trial results.
  • experiments are conducted with a subject to examine behavior in situations of changing context.
  • the method according to the invention with a neural network becomes the same Test conditions carried out.
  • hypotheses about the functioning of the brain can be checked directly.
  • modified chemical conditions eg. As metabolic disorders or ver ⁇ changed concentrations of neurotransmitters, be taken into account.
  • the behavior for example of a schizophrenic patient, can be simulated by the method according to the invention. From the results and the comparison with test results with schizophrenic patients, hypotheses concerning the nature of the disorder in the brain can be checked again. The same applies to other disorders.
  • An intelligent agent which implements the method according to the invention or the neural network according to the invention can be used in an extremely versatile manner.
  • an agent could be used for chart analysis.
  • an attempt is made to conclude from the history of a stock price on its future development.
  • the neural network 1 is fed as input information 2, for example, the price history of a share during the last six months.
  • the extracted output information 3 now represents a purchase or sales recommendation. If the recommendation turns out to be false, the neural network 1 receives a false feedback 4. In this way, the neural network 1 can react flexibly to context changes, for example, when the mood on the stock exchange changes.
  • the next input information input 2 e.g.
  • the neural network 1 can already take into account the changed mood on the stock market, ie the changed context.
  • the invention is particularly suitable for complex connections that can not be detected by a declarative rule model. These include developments on the stock markets or the weather forecast.
  • the neural network 1 is figuratively in a position to make a gut decision. This is because / that the extracted output information 2 can also be interpreted as a feeling. The feeling is based on an intuitive interpretation of the input information, whereby intuitively means that the input information is mapped to the output information by implicit, not explicitly represented rules. In this context, the extracted output information 3 gives as feeling a general direction of trade.
  • Intelligent agents with flexible, human-like behavior can also be used elsewhere, for example as characters in training simulations and computer games.
  • the invention relates inter alia to the field of cognitive flexibility and behavioral change.
  • the dynamic reinforcement (Dynamic Reinforcement) supports the Ler ⁇ nen.
  • the neuronal network 1 as an image in the intermediate layer 20 forms associations between input information and a reward or punishment. Due to the interplay with the model layer 40, these associations can already be reversed after a false feedback 4.
  • the false feedback 4 always follows when a reward expectation has been taken as output information 3 and this does not occur or punishment occurs.
  • the false-feedback 4 can also take place when it is taken as output information 3 that the neural network 1 expects a punishment, but this fails or a reward occurs. In this way, the neural network 1 learns when to reward, and when to expect punishment, and responds with a feeling as output information 3 to be extracted, representing this maintenance, and from which an appropriate action can be derived ,
  • FIG. 2 shows a specific embodiment of the invention.
  • the neural network 1 is here divided into a first module 5 and a second module 6.
  • the second module 6 is a
  • the first module 5 has a model layer 40.
  • the second module 6 has an input layer 10, an intermediate layer 20 and an output layer 30.
  • the input layer 10 includes two input pools 15 and 16 which compete with each other. If a first object is supplied, the input pool 15 is activated. If a second object is supplied, the input pool 16 is activated.
  • the intermediate layer 20 has a selection 22 and a selection 24 of rule pools.
  • the selection 22 contains rule pools 25 and 26, the selection 24 contains rule pools 27 and 28.
  • the output layer 30 contains output pools 35 and 36.
  • the model layer 40 contains model pools 45 and 46. Within each tier, the pools compete with each other.
  • the competition in the model layer 40 is supported by an inhibiting pool 50, which consists of inhibitory neurons, and can be additionally excited by the false feedback 4.
  • the competition in the layers of the second module 6 is aided by an inhibiting pool 60 which is connected to these layers and exerts a global inhibition on the contained neurons.
  • the first module 5 is assigned a non-specific pool 70 whose activity is not influenced by the layers of the two modules.
  • the module 6 contains a non-specific pool 80 whose activity is not affected by the layers.
  • the non-specific pools 80 and 70 contribute with spontaneous pulses to the formation of realistic pulse distributions.
  • the second module 6 is implemented with 1600 pulsed neurons (here pyramidal cells) and 400 inhibiting pulsed neurons.
  • the first module 5 can be implemented with 1000 exciting pulsed neurons and 200 inhibitory neurons. These numbers are only an example.
  • the ratio of excitatory pyramidal cells to inhibitory neurons may be e. B. 80:20 amount.
  • all neurons are fully interconnected.
  • the pools can z. B. from 80 or 100 neurons are formed.
  • all the pools of the first module including the inhibiting pool 50 and the non-specific pool 70 are networked with each other. Furthermore, all the pools of the second module 6, including the enclosing pool 60 and the non-specific pool 80, are networked with one another.
  • the networking of the pools takes place via synaptic connections between the neurons contained in the pools.
  • the strength of the synaptic connections between the individual pools for the first module is shown by way of example in FIG.
  • FIG. 4 shows examples of synaptic strengths of the connections between the pools of the second module, including the inhibiting pool 60 and the non-specific pool 80
  • the input pool 15 is interconnected by the rule pool 25 of the selection 22 with the output pool 35.
  • the input pool 16 is connected to the output pool 36 via the rule pool 26 of the selection 22.
  • the interconnection of the input pools 15 and 16 with the output pools 35 and 36 takes place via the control pools 27 and 28 of the selection 24 exactly opposite.
  • the selection 22 and the selection 24 provide two different maps of input information to output information. Which of the two images is used depends on which of the two model pools 45 and 46 is activated.
  • the output pool 35 and the output pool 36 may each represent a situation score (eg, positive / negative), a decision (eg, buy / sell), or an action (eg, go forward / backward).
  • a situation score eg, positive / negative
  • a decision eg, buy / sell
  • an action eg, go forward / backward
  • the supplied input information 2 is transmitted to all neurons of the neural network 1, for example via in each case 800 connections from outside the network Network supplied.
  • background noise can also be supplied via these connections, which represents a spontaneous firing of neurons outside the network.
  • the states in which the neural network 1 can stabilize can also be referred to as global attractors. These are each composed of individual attractors for each pool. When a pool wins in the competition, the activity in that layer converges to the attractor concerned.
  • the global attractor is thus composed of a combination of activated pools in the input layer 10, in the intermediate layer 20, in the output layer 30 and in the model layer 40.
  • the optional recurrent connections between the layers give rise to controlled competition in one, several or all layers. This leads to an autonomous, emergent and highly flexible behavior of the neural network 1.
  • the course of a stock price during the last six months is fed as input information 2.
  • the input pool 15 is activated.
  • the model pool 45 is activated. He represents a model that assumes a positive mood on the stock exchange.
  • the model pool 45 controls the competition in the intermediate layer 20 in such a way that the pools 22 in the selection 22 can compete in the competition.
  • the rule pool 25 is activated, which is strongly connected to the input pool 15.
  • the rule pool 25 in turn activates the output pool 35 via a strong connection, which represents the output information "buy share", which is taken from the neural network as output information 3.
  • model pool 45 While model pool 45 is active, its self-boosting is depleted, that is, the synaptic weights of the model pool 45's internal connections decrease over time.
  • the inhibitory pool 50 is activated via a false feedback. This then amplifies its global inhibition to a complete inhibition of the model pools 45 and 46, which can also extend to the second module 6.
  • the formerly active model pool 45 is in competition with the model pool 46, since the self-amplification of the model pool 45 has exhausted itself compared to the self-boosting of the model pool 46. Therefore now the model pool 46 wins in the competition.
  • the model pool 46 now supports the selection 24 in the intermediate layer 20.
  • the input pool 15 is again activated. This now activates the rule pool 27, since this belongs to the selection 24, which is supported by the model pool 46.
  • the rule pool 27 in turn activates the output pool 36. This represents the output information "Do not buy stock", which is subsequently taken as output information 3.
  • the neural network 1 has thus adapted its behavior in one step to the changed context, for example a change in mood on the stock market.
  • Suitable values for the synaptic starches may deviate from the stated values and can be determined or optimized in the experiment. The general procedure for this is described in the document [2].
  • the readout of the output information 3 can also be realized differently. For example, it is conceivable that this takes place from each layer or from the respective pools.
  • Different input layers 10 could represent different features (color, shape, size, location, motion, etc.) of the input information.
  • Different model layers 40 could have different aspects of a model (different dimensions of a model)
  • a model layer 40 could store whether the player is practiced or untrained, as well as another which strategy the player is currently following.
  • the model could represent a context that is composed of different aspects.
  • Different issue stories 30 could represent different aspects of issue information (e.g., buy / sell, urgency, security of recommendation).
  • the intermediate layer 20 could also be implemented in multiple layers. In any case, it would have the task of networking the additional layers in a meaningful way.
  • Competition Within a shift certain characteristics or feature groups compete with each other for representation. This produces a weighting map (salicency map) as an emergent process, so that certain features are more intensely represented than others. A context-dependent information selection is obtained. This can be implemented by competing pools.
  • Features can also be linked dynamically to feature groups or categories.
  • One feature may also favor the representation of another feature. This can be implemented by pools that are connected to each other with strong weights and thus ter racen. For example, several pools can be activated simultaneously in the input layer 10 and thereby simultaneously represent several properties of an input information.
  • Additional layers can be implemented according to the principle of influenced competition and biased competition and cooperation: Through the connection between layers, a layer can direct the competition process in one or more other layers. This process can be recurrent, so that successively and dynamically an ever better matching of different feature spaces of the different layers arises with each other through this mutual steering process. In particular, because it covers only a partial aspect of the environment, each representation inevitably contains ambiguities. Influenced competition represents a mechanism by which the various layers can resolve ambiguities in the respective other feature spaces by the information of their particular feature space. Each representation evolves before the context of all other representations. Cooperation can then bind different characteristics to groupings, that is, relate them to one another.
  • Dynamic data from technical systems can be fed into the neural network 1 as input information after pre-processing, if necessary for dimensional reduction.
  • This can extract various features (eg Independent Composites).
  • Optimization of the neural network can be achieved by biologically motivated learning rules (eg Hebb rule or spike time dependent plasticity) with which cost functions can also be set up to evaluate how well a dynamic task is solved.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Analysis (AREA)

Abstract

Bei dem Verfahren zur Reaktion auf Kontextänderungen mit einem neuronalen Netz (1) werden einer Eingabeschicht (10) des neuronalen Netzes (1) Eingabeinformationen zugeführt. Weiterhin werden einer Ausgabeschicht (30) des neuronalen Netzes (1) Ausgabeinformationen entnommen. Ferner sind in dem neuronalen Netz (1) mehrere Modelle gespeichert, welche jeweils eine Abbildung der Eingabeinformationen auf die Ausgabeinformationen vorgeben. Hierbei kann jeweils nur ein Modell gleichzeitig aktiv sein. Es werden nun folgende Schritte wiederholt: Das neuronale Netz (1) bildet eine zugeführte Eingabeinformation (2) mit dem aktiven Modell auf eine Ausgabeinformation (3) ab. Diese wird anschließend der Ausgabeschicht (30) entnommen. Wenn die entnommene Ausgabeinformation (3) für die zugeführte Eingabeinformation (2) in einem aktuellen Kontext falsch ist, erhält das neuronale Netz (1) eine Falsch-Rückmeldung (4), woraufhin das neuronale Netz (1) ein anderes Modell aktiviert.

Description

Beschreibung
Verfahren zur Reaktion auf Kontextänderungen mit einem neuro¬ nalen Netz und neuronales Netz zur Reaktion auf Kontextände- rungen
Die Erfindung betrifft ein Verfahren zur Reaktion auf Kon¬ textänderungen mit einem neuronalen Netz,' sowie ein neurona¬ les Netz, welches auf Kontextänderungen reagieren kann.
Unter Kontext wird ein äußerer Sinnzusammenhang verstanden, welcher angibt, welches Verhalten in einer bestimmten Situa¬ tion sinnvoll ist.
Bei einem Aktienkurs könnte der Kontext angeben, ob der Kurs steigt oder fällt, und abhängig von diesem Kontext wäre es eine sinnvolle Entscheidung, die Aktie zu kaufen oder zu ver¬ kaufen. Der Kontext kann auch angeben, dass ein Wetterum¬ schwung bevorsteht, und abhängig von diesem Wetterumschwung wäre eine positive oder negative Wettervorhersage sinnvoll. Der Kontext kann weiterhin auch eine veränderliche Strategie eines Spielers eines Computerspieles sein, und abhängig von dieser Strategie kann ein bestimmtes Verhalten einer Figur in dem Computerspiel sinnvoll sein (z.B. Angriff oder Verteidi- gung) .
Die Erfindung betrifft also eine Methode der Datenverarbei¬ tung, um für eine vorgegebene Situation ein richtiges Verhal¬ ten zu finden. Als Verhalten wird hierbei bereits die Ein- Schätzung der Situation verstanden, das Verhalten kann aber auch eine Entscheidung oder eine Handlung umfassen.
Bekannt sind intelligente Software-Agenten, welche mit Metho¬ den der künstlichen Intelligenz entwickelt werden. Es handelt sich hierbei um regelbasierte Systeme, welche eine Datenbasis mit Regeln besitzen sowie eine Logik zur Abarbeitung der Re¬ geln. Die Regeln sind hierbei explizit formuliert und müssen durch den Entwickler manuell eingegeben werden. Es handelt sich hierbei um ein deklaratives Programmiermodell. Ein Bei¬ spiel für solche intelligenten Agenten sind BDI-Agenten (Be- lieve-Desire-Intention) . Diese erfassen sensorisch Daten, verarbeiten diese mit einer Menge von Regeln und wählen ein Verhalten.
Eine bekannte Weiterbildung ist die Implementation einer Fuz- zy-Logik, die jedoch auch eine explizite Regelformulierung benötigt. In der Psychologie sind weitere Modelle für das menschliche Verhalten bekannt, die ebenfalls auf expliziten Regeln beruhen.
Gegenstand der Erfindung ist auch das dynamische Verstär- kungslernen (dynamic reinforcement learning) , bei dem ein System oder Agent Rückmeldungen zu seinem Verhalten erhält, welche dazu dienen, ihm die flexible Reaktion auf Kontextän¬ derungen zu ermöglichen. Wenn das System oder der Agent z. B. eine Kaufen-Entscheidung trifft und der Aktienkurs anschlie- ßend fällt, so kann das System oder der Agent durch entspre¬ chende Rückmeldung lernen, und in der nächsten Situation ein richtigeres Verhalten wählen. Unter Verhalten wird eine Ent¬ scheidung, eine Situationsbewertung oder eine Handlung ver¬ standen. Die Bewertung einer Situation kann auch als Gefühl bezeichnet werden. Das dynamische Verstärkungslernen ist in der Schrift [1] beschrieben.
Als lernende Systeme sind insbesondere neuronale Netze be¬ kannt. Einem solchen neuronalen Netz werden Informationen ü- ber die gegenwärtige Situation in Form von Eingabeinformatio¬ nen zugeführt. Die Eingabeinformationen werden durch das neu¬ ronale Netz verarbeitet. Anschließend können dem neuronalen Netz Ausgabeinformationen entnommen werden. Die Ausgabeinfor¬ mationen beschreiben das Verhalten des neuronalen Netzes und stellen somit eine Entscheidung, eine Situationsbewertung o- der eine Handlungsanweisung dar. Ein neuronales Netz kann trainiert werden, so dass es lernt, welche Ausgabeinformation für eine gegebene Eingabeinformation richtig ist. Dies wird als synaptisches Lernen bezeichnet. Mit Synapsen werden die Verbindungen zwischen den einzelnen Neuronen, den Elementen des neuronalen Netzes, bezeichnet. Durch Ausprägung der sy- naptischen Stärken erlernt das neuronale Netz in diesem Zu¬ sammenhang die richtige Abbildung von Eingabeinformationen auf Ausgabeinformationen.
Der Vorteil neuronaler Netze liegt darin, dass die Regeln zur Abbildung der Eingabeinformationen auf Ausgabeinformationen nicht explizit und deklarativ vorgegeben werden müssen. Viel¬ mehr erlernt das neuronale Netz eine implizite Regel- Repräsentation aus den Daten, mit welchen es trainiert wird. Nachteilig wirkt sich hierbei jedoch aus, dass das neuronale Netz nicht flexibel auf Kontextänderungen reagieren kann. Ei¬ ne Kontextänderung, also eine Änderung des äußeren Sinnzusam¬ menhangs, stellt die Anforderung an das neuronale Netz, die Abbildung von Eingabeinformationen auf Ausgabeinformationen mit sofortiger Wirkung umzustellen. Bei dem synaptischen Ler- nen handelt es sich jedoch um einen inkrementellen, zeitver¬ zögerten Prozess, welcher keine flexible und schnelle Reakti¬ on auf Kontextänderungen ermöglicht.
Somit stellt sich die Aufgabe, ein Verfahren zur Reaktion auf Kontextänderungen sowie eine Datenverarbeitungseinheit an¬ zugeben, welche auf Kontextänderungen reagieren kann.
Bei dem Verfahren zur Reaktion auf Kontextänderungen mit ei¬ nem neuronalen Netz werden einer Eingabeschicht des neurona- len Netzes Eingabeinformationen zugeführt. Weiterhin werden einer Ausgabeschicht des neuronalen Netzes Ausgabeinformatio¬ nen entnommen. Ferner sind in dem neuronalen Netz mehrere Mo¬ delle gespeichert, welche jeweils eine Abbildung der Eingabe¬ informationen auf die Ausgabeinformationen vorgeben. Hierbei kann jeweils nur ein Modell gleichzeitig aktiv sein. Es wer¬ den nun folgende Schritte wiederholt: Das neuronale Netz bil¬ det eine zugeführte Eingabeinformation mit dem aktiven Modell auf eine Ausgabeinformation ab. Diese wird anschließend der Ausgabeschicht entnommen. Wenn die entnommene Ausgabeinforma¬ tion für die zugeführte Eingabeinformation in einem aktuellen Kontext falsch ist, erhält das neuronale Netz eine Falsch- Rückmeldung, woraufhin das neuronale Netz ein anderes Modell aktiviert.
Vorzugsweise wird aus der entnommenen Ausgabeinformation eine Aktion abgeleitet und ausgeführt.
In einer Weiterbildung enthält das neuronale Netz erregende gepulste Neuronen. Diese bilden Modellpools, wobei jedem Mo¬ dell mindestens ein Modellpool zugeordnet ist. Die Modell¬ pools konkurrieren miteinander, wobei sich ein aktiver Mo- dellpool in der Konkurrenz durchsetzt.
Gemäß einer Ausführungsform der Erfindung enthält das neuro¬ nale Netz hemmende gepulste Neuronen. Diese bilden mindestens einen hemmenden Pool. Der hemmende Pool übt eine globale Hem- mung auf die konkurrierenden Modellpools aus. Die Falsch- Rückmeldung aktiviert den hemmenden Pool. Der aktivierte hem¬ mende Pool führt eine vollständige Hemmung aller Modellpools durch. Die vollständige Hemmung deaktiviert daraufhin den ak¬ tiven Modellpool. Nach der vollständigen Hemmung wird ein an- derer Modellpool aktiviert.
Gemäß einer Weiterbildung der Erfindung adaptieren sich Sy¬ napsen der erregenden gepulsten Neuronen des aktiven Modell¬ pools. Dadurch sinken rekurrente Gewichte des aktiven Modell- pools ab. Dies führt dazu, dass der aktive Modellpool nach der vollständigen Hemmung in der Konkurrenz gegenüber den an¬ deren Modellpools unterliegt.
Vorzugsweise wird die Adaption der Synapsen als kurzzeitige synaptische Depression (STD) implementiert. Gemäß einer Ausführungsform der Erfindung bilden erregende gepulste Neuronen Regelpools. Jeder dieser Regelpools ver¬ schaltet jeweils eine der Eingabeinformationen mit einer der Ausgabeinformationen. Die Regelpools treten miteinander in Konkurrenz, wobei der aktive Modellpool eine Auswahl von Re¬ gelpools unterstützt. Die zugeführte Eingabeinformation akti¬ viert einen Regelpool aus dieser Auswahl. Der entsprechend aktivierte Regelpool aktiviert die zu entnehmende Ausgabein¬ formation. Diese wird im Anschluss entnommen.
In einer besonderen Ausführungsform der Erfindung enthält das neuronale Netz Verschaltungen, welche durch Hebb'sches Lernen ausgebildet werden.
Das neuronale Netz zur Reaktion auf Kontextänderungen weist eine Eingabeschicht auf, der Eingabeinformationen zuführbar sind. Weiterhin ist eine Zwischenschicht vorhanden, durch die die Eingabeinformationen auf Ausgabeinformationen abbildbar sind. Weiterhin ist eine Ausgabeschicht vorhanden, an der die Ausgabeinformationen entnehmbar sind. Schließlich weist das neuronale Netz noch eine Modellschicht auf, mit der die Ab¬ bildung in der Zwischenschicht abhängig von einem Kontext steuerbar ist.
Gemäß einer Weiterbildung enthält die Modellschicht erregende gepulste Neuronen. Weiterhin enthält die Modellschicht mehre¬ re Modellpools, welche aus den erregenden gepulsten Neuronen bestehen. Mit den Modellpools ist die Abbildung in der Zwi¬ schenschicht abhängig von einem Kontext steuerbar.
Gemäß einer Weiterbildung der Erfindung enthält das neuronale Netz hemmende gepulste Neuronen. Weiterhin enthält das neuro¬ nale Netz einen hemmenden Pool, welcher aus den hemmenden ge¬ pulsten Neuronen besteht. Der hemmende Pool ist mit den Mo- dellpools verschaltet. Weiterhin ist der hemmende Pool durch eine Falsch-Rückmeldung aktivierbar, wenn eine entnommene Ausgabeinformation falsch ist. Gemäß einer Weiterbildung der Erfindung weist das neuronale Netz in einem ersten Modul die Modellschicht und in einem zweiten Modul die anderen Schichten auf.
In einer besonderen Ausführungsform weist die EingabeSchicht für jede Eingabeinformation einen Eingabepool auf, welcher aus erregenden gepulsten Neuronen besteht und durch Zufuhr der jeweiligen Eingabeinformation aktivierbar ist. Weiterhin weist die Zwischenschicht Regelpools auf, durch welche je¬ weils eine Eingabeinformation mit einer Ausgabeinformation verschaltbar ist. Hierbei bestehen die Regelpools aus erre¬ genden gepulsten Neuronen. Ferner weist die AusgäbeSchicht für jede Ausgabeinformation einen Ausgabepool auf, welcher aus erregenden gepulsten Neuronen besteht. Weiterhin sind die Modellpools mit den Regelpools so verschaltet, dass abhängig von der Aktivierung der Modellpools nur eine Auswahl von Re¬ gelpools aktivierbar ist. Weiterhin ist durch eine zugeführte Eingabeinformation ein repräsentativer Eingabepool aktivier- bar, welcher die zugeführte Eingabeinformation repräsentiert. Ferner ist durch den repräsentativen Eingabepool ein bevor¬ zugter Regelpool aktivierbar, welcher zu der Auswahl von Re¬ gelpools gehört, welche mit einem aktiven Modellpool ver¬ schaltet sind. Schließlich ist durch den bevorzugten Regel- pool ein repräsentativer Ausgabepool aktivierbar, wobei der repräsentative Ausgabepool eine entnehmbare Ausgabeinformati¬ on repräsentiert.
Das neuronales Netz kann weiterhin eine oder mehrere zusätz- liehe Eingabeschichten, Zwischenschichten, Ausgabeschichten, Modellschichten oder andere Schichten aufweisen. Diese zu¬ sätzlichen Schichten können die Eingabeinformationen, die Ausgabeinformationen oder andere Informationen speichern, filtern, bewerten, vernetzen oder kategorisieren oder andere Funktionen übernehmen. Der Vorteil des erfindungsgemäßen Verfahrens liegt darin, dass die Regeln für das Verhalten äußerst implizit repräsen¬ tiert sind und nicht explizit angegeben werden müssen. Wei¬ terhin ist es möglich, bereits nach einer einzigen Falsch- Rückmeldung die Abbildung von Eingabeinformationen auf Ausga¬ beinformationen zu wechseln. Dadurch erreicht das Verfahren eine große Schnelligkeit und Flexibilität bei der Reaktion auf Kontextänderungen, welche es gegenüber herkömmlichen neu¬ ronalen Netzen auszeichnet.
Weiterhin beschreibt die Erfindung ein quantitatives mathema¬ tisches Modell mit direkter biologischer Relevanz, indem es konkret die neurodynamischen Prozesse abbildet, welche auch in der biologischen Forschung erkannt wurden. Das Verhalten ergibt sich somit als autonomes, emergentes Phänomen und weist gegenüber herkömmlichen Agenten mit deklarativer Regel¬ repräsentation deutliche Vorteile auf.
Im Gegensatz zur deklarativen Regelformulierung bei herkömm- liehen BDI-Agenten erlaubt die Erfindung neben der impliziten Regelrepräsentation eine dynamische Regelselektion, welche auch ein Zufallselement mit einschließt. Das Zufallselement ergibt sich aus dem emergenten, freien Zusammenspiel der Neu¬ ronen und Pools des neuronalen Netzes.
Im Folgenden wird die Erfindung anhand von Ausführungsbei¬ spielen näher erläutert, die in den Figuren schematisch dar¬ gestellt sind. Gleiche Bezugsziffern in den einzelnen Figuren bezeichnen dabei gleiche Elemente. Im Einzelnen zeigt:
Fig. 1 eine erste Ausführungsform des neuronalen Netzes; Fig. 2 eine zweite Ausführungsform des neuronalen Netzes; Fig. 3 Gewichte eines ersten Moduls; Fig. 4 Gewichte eines zweiten Moduls; Fig. 5 den Aufbau eines Pools. Figur 1 zeigt ein neuronales Netz 1 mit einer Eingabeschicht 10, einer Zwischenschicht 20, einer Ausgabeschicht 30 sowie einer Modellschicht 40. Dem neuronalen Netz 1 wird eine Ein¬ gabeinformation 2 zugeführt und später eine Ausgabeinformati- on 3 entnommen. Die Eingabeschicht 10 weist starke Verbindun¬ gen zur Zwischenschicht 20 auf, welche wiederum starke Ver¬ bindungen zur Ausgäbeschicht 30 aufweist. Die Modellschicht 40 weist starke Verbindungen zur Zwischenschicht 20 auf.
Mit einer starken Verbindung zwischen zwei Schichten ist ge¬ meint, dass die Schichten überdurchschnittlich viele Verbin¬ dungen aufweisen oder dass die Verbindungen überdurchschnitt¬ lich stark ausgeprägt sind. Die Verbindungen werden in der Regel über Synapsen hergestellt, welche Neuronen der einen Schicht mit Neuronen der anderen Schicht verbinden. Eine starke Verbindung zweier Schichten bedeutet somit, dass be¬ sonders viele synaptische Verbindungen zwischen den Schichten bestehen oder, dass die synaptischen Verbindungen besonders stark ausgeprägt sind. Die synaptische Stärke kann durch ein Gewicht w beschrieben werden. Höhere Werte für ein synapti¬ sches Gewicht w bedeuten eine stärkere synaptische Verbindung zwischen den beteiligten Neuronen.
Die Neuronen des neuronalen Netzes können in den Schichten und über die Schichten hinweg teilweise oder vollständig ver¬ knüpft sein. Im Fall der vollständigen Verknüpfung liegt Vollvernetzung vor, das bedeutet, dass jedes Neuron mit jedem anderen Neuron verbunden, verknüpft bzw. vernetzt ist.
Gemäß einer Ausführungsform der Erfindung sind die Schichten miteinander rückgekoppelt, d. h. es existieren jeweils auch starke Verbindungen in umgekehrter Richtung. Diese Rückkoppe¬ lung führt zu einer Verschiebung des Gleichgewichts im Wett¬ bewerb der einzelnen Neuronen bzw. Gruppen (Pools) von Neuro- nen. Die Stärke der vorwärts gerichteten Verbindungen, also von der Eingabeschicht 10 über die Zwischenschicht 20 zur Ausga¬ beschicht 30 sowie von der Modellschicht 40 zur Zwischen¬ schicht 20, ist zweckmäßigerweise stärker ausgebildet als die Stärke der rückwärts gerichteten Verbindungen.
Durch die Zwischenschicht 20 wird die zugeführte Eingabein- formation 2 auf die entnommene Ausgabeinformation 3 abgebil¬ det. Die Zwischenschicht 20 hat hierzu unterschiedliche Ab- bildungen gespeichert, von denen jeweils eine durch die Mo¬ dellschicht 40 aktiviert wird. Hierdurch ist eine schnelle Reaktion auf Kontextänderungen möglich, da die Abbildung in der Zwischenschicht 20 flexibel verändert werden kann.
Gemäß einer Ausführungsform enthalten die Eingabeschicht 10, die Zwischenschicht 20, die AusgäbeSchicht 30, sowie die Mo¬ dellschicht 40 Gruppen (Pools) von Neuronen. Es ist auch mög¬ lich, dass nur einzelne dieser Schichten Pools enthalten. Die Pools der jeweiligen Schicht können erregende gepulste Neuro- nen enthalten. Erregende gepulste Neuronen werden durch Pulse anderer erregender gepulster Neuronen aktiviert und senden selbst Pulse an weitere Neuronen aus. Die Aktivität eines Pools von gepulsten Neuronen kann unter Verwendung einer Mean-Field-Näherung modelliert werden.
Die Pools sind an der Biologie des menschlichen Gehirns ange¬ lehnt. Im menschlichen Gehirn bilden große und homogene Popu- lationen von Neuronen, die eine ähnliche externe Eingabe emp¬ fangen, gegenseitig verkoppelt sind und wahrscheinlich zusam- men als eine Einheit fungieren, Gruppen (Pools) . Diese Pools können eine robustere Verarbeitungs- und Codierungseinheit bilden, weil ihre momentane Populations-Mittelwertanwort, im Gegensatz zum zeitlichen Mittel eines relativ stochastischen Neurons in einem großen Zeitfenster, besser an die Analyse von schnellen Wechseln in der realen Welt angepasst ist. Wenn ein Neuron ein anderes aktivieren kann, so bedeutet dies, dass eine starke Verbindung zwischen den beiden Neuro¬ nen besteht. Gleiches gilt für den Fall, dass ein Pool einen anderen Pool aktiviert. Dies bedeutet, dass mindestens eine starke Verbindung mindestens eines Neurons des ersten Pools mit einem Neuron des zweiten Pools vorliegt.
Figur 5 zeigt, dass auch die Neuronen 101 eines Pools 100 miteinander stark verbunden sind. Es kann, wie in Figur 5 ge- zeigt, eine teilweise Verknüpfung, aber auch eine vollständi¬ ge Vernetzung der Neuronen 101 des Pools 100 vorliegen. Die Neuronen 101 des Pools 100 sind über starke Verbindungen 102 verknüpft, tragen also in gegenseitiger Unterstützung zur Ak¬ tivierung des Pools 100 bei. Je größer die Aktivität der Neu- ronen 101 ist, desto größer ist die Aktivität des Pools 100.
Die Aktivität der Neuronen 101 kann durch mathematische Mo¬ delle beschrieben werden. Weitere Informationen zu der mathe¬ matischen Modellierung von Pools bei der Entwicklung neurona- ler Netze sowie unterschiedliche mathematische Modelle für gepulste Neuronen, wie sie im Rahmen der Ausführungsbeispiele zum Einsatz kommen, sind u. a. aus den Schriften [2], [3] und [4] bekannt.
Wenn mehrere Pools 100 in einer Schicht in Konkurrenz treten, so bedeutet dies, dass die Verbindungen zwischen den Pools 100 in der Schicht schwach ausgeführt sind. Dies bedeutet, dass sich die Pools 100 in einer Schicht nicht gegenseitig unterstützen. Wenn die Pools 100 nun auch noch einer globalen Hemmung unterliegen, so wird sich in der Konkurrenz nur ein Pool 100 mit der größten Aktivität durchsetzen können.
Mit Neuronen 101 sind im Rahmen der Erfindung immer künstli¬ che Neuronen 101 gemeint. Diese modellieren teilweise oder vollständig jeweils einen bestimmten Typ eines aus der Biolo¬ gie bekannten Neurons. Die Modellierung kann durch eine e- lektronische Schaltung oder ein mathematisches Modell erfol- gen, welches durch eine Datenverarbeitungsanlage berechnet wird. Mit einer Verbindung zweier Pools 100 ist gemeint, dass die Neuronen 101 dieser Pools 100 stark oder schwach mitein¬ ander verbunden sind, d. h. dass z. B. viele oder wenige, starke oder schwache synaptische Verbindungen zwischen den
Neuronen des einen und den Neuronen 101 des anderen Pools 100 existieren.
Die in Figur 5 gezeigten starken Verbindungen 102 zwischen den Neuronen 101 des Pools 100 dienen der Selbstverstärkung des Pools 100. Die Stärke dieser starken Verbindungen 102 entspricht z. B. den synaptischen Stärken zwischen den Neuro¬ nen 101, welche innerhalb des Pools 100 als rekurrente Ge¬ wichte bezeichnet werden.
Erfindungsgemäß speichert das neuronale Netz 1 für jeden Kon¬ text, also für jede Klasse von Situationen, ein Modell. Das Modell gibt jeweils an, wie die Eingabeinformationen auf die Ausgabeinformationen abgebildet werden sollen. Das Modell be- schreibt somit, welches Verhalten in einer bestimmten Situa¬ tion richtig ist. Unterschiedliche Situationen können unter¬ schiedliches Verhalten erfordern. Dies ist immer dann der Fall, wenn sich von einer Situation auf die nächste der Kon¬ text ändert. Dies bedeutet, dass in der zweiten Situation an- dere Ausgabeinformationen gewählt werden müssen als in der ersten Situation. Unterschiedlichen Situationen kann somit ein unterschiedlicher Kontext zugrunde liegen. Mit den Model¬ len versucht das neuronale Netz 1 nun, für jeden Kontext, al¬ so für jede Klasse von Situationen, anzugeben, wie die Einga- beinformationen auf die Ausgabeinformationen abgebildet wer¬ den sollen.
Wenn das neuronale Netz 1 dann mit einer veränderten Situati¬ on, der ein anderer Kontext zugrunde liegt, konfrontiert wird, so braucht es nur sein Modell zu wechseln. Gemäß einer Ausführungsform der Erfindung enthält die Zwi¬ schenschicht 20 Regelpools 21, die miteinander in Konkurrenz treten, wobei sich nur ein aktivierter Regelpool 23 durchset¬ zen kann. Die Regelpools 21 stellen jeweils eine Verschal- tungsmöglichkeit einer Eingabeinformation mit einer Ausgabe¬ information dar. Durch den aktivierten Regelpool 23 wird die zugeführte Eingabeinformation 2 mit der zu entnehmenden Aus¬ gabeinformation 3 verschaltet.
Diese Verschaltung besteht aus starken Verbindungen zwischen Neuronen der Eingabeschicht 10, Neuronen des Regelpools 23 und Neuronen der AusgäbeSchicht 30. Verschaltung bedeutet al¬ so, dass Neuronen, Pools oder Schichten nicht nur miteinander verknüpft sind, was bei einer Vollvernetzung ohnehin vor- liegt, sondern dass die Gewichte der Verknüpfungen stark sind.
Gemäß einer Ausführungsform der Erfindung enthält die Modell¬ schicht 40 Modellpools 41, die miteinander konkurrieren, wo- bei sich nur ein aktiver Modellpool 42 durchsetzen kann. Der aktive Modellpool 42 ist mit einer Auswahl 22 von Regelpools 21 verschaltet. Dies bedeutet, dass die Regelpools 21 in der Auswahl 22 in ihrer Konkurrenz mit den anderen Regelpools 21 unterstützt werden, solange der aktive Modellpool 42 akti- viert ist. Der aktive Modellpool 42 bestimmt somit, welche
Regelpools 21 aktiviert werden können, und damit, wie die zu¬ geführte Eingabeinformation 2 auf die zu entnehmende Ausgabe¬ information 3 abgebildet wird. Welcher Regelpool 21 in der Auswahl 22 aktiviert wird, hängt von der zugeführten Eingabe- information 2 ab. Welche Ausgabeinformation 3 entnommen wird, hängt von dem aktivierten Regelpool 23 ab.
Die oben angesprochenen Modelle werden also jeweils durch ei¬ nen Modellpool 41 sowie durch die mit dem Modellpool 41 ver- schalteten Regelpools 21 sowie deren Zusammenspiel gebildet. Gemäß einer Ausführungsform der Erfindung enthält das neuro¬ nale Netz 1 einen hemmenden Pool 50, welcher aus hemmenden, gepulsten Neuronen gebildet wird. Der hemmende Pool 50 ist mit der Modellschicht 40 verbunden, und übt eine globale Hem- mung auf die konkurrierenden Pools 41 auf. Dies ist notwen¬ dig, damit sich jeweils nur ein aktiver Modellpool 42 in der Konkurrenz durchsetzen kann.
Der hemmende Pool 50 wird hierbei durch die Modellpools 41 angeregt. Dies bedeutet, dass der aktive Modellpool 42 durch seine Aktivität den hemmenden Pool 50 stimuliert und dadurch die anderen Modellpools 41 indirekt hemmt. Nach dem gleichen Prinzip kann auch Konkurrenz in den anderen Schichten imple¬ mentiert werden.
Wenn ein Pool einen anderen aktiviert oder anregt, so bedeu¬ tet dies, dass zwischen den Neuronen der beiden Pools starke Verbindungen bestehen. Bei der Anregung oder Aktivierung han¬ delt es sich um erregende Verbindungen, z. B. starke, erre- gende, synaptische Verbindungen. Im Fall der Hemmung handelt es sich um hemmende Verbindungen, z. B. hemmende, synaptische Verbindungen.
Gemäß einer Ausführungsform der Erfindung ist der hemmende Pool 50 auch mit den anderen Schichten stark verbunden oder es gibt einen oder mehrere hemmende Pools, die mit den ande¬ ren Schichten verschaltet sind, d. h. einen hemmenden Ein- fluss auf sie ausüben.
Wenn die entnommene Ausgabeinformation 3 falsch war, so muss das neuronale Netz 1 informiert werden, dass seine aktuelle Abbildung bzw. sein aktuelles Modell nicht der gegenwärtigen Situation bzw. dem gegenwärtigen Kontext entspricht. Hierzu wird der hemmende Pool 50 durch eine Falsch-Rückmeldung 4 ak- tiviert, wodurch die globale Hemmung zu einer vollständigen
Hemmung aller Modellpools 41 verstärkt wird. Dadurch wird der aktive Modellpool 42 mit allen anderen Modellpools 41 deakti- viert. Der aktive Modellpool 42 unterliegt anschließend in der Konkurrenz gegenüber den anderen Modellpools 41, wodurch ein anderer Modellpool 41 aktiviert wird.
Die Falsch-Rückmeldung 4 kann z. B. dadurch implementiert werden, dass die Neuronen des hemmenden Pools 50 über deren synaptische Eingänge von außen aktiviert werden.
Damit der aktive Modellpool 42 nach der vollständigen Hemmung in der Konkurrenz unterliegt, werden gemäß einer Ausführungs- form der Erfindung Synapsen der erregenden, gepulsten Neuro¬ nen des aktiven Modellpools 42 derart adaptiert, dass die Selbstverstärkung des aktiven Modellpools 42 mit der Zeit ab¬ nimmt. Indem die synaptischen Stärken der erregenden, gepuls- ten Neuronen des aktiven Modellpools 42 gesenkt werden, sin¬ ken auch die rekurrenten Gewichte des aktiven Modellpools 42. Ein solches Verfahren ist aus der Fachliteratur als "kurzzei¬ tige synaptische Depression (STD)" bekannt. Es können jedoch auch andere Verfahren zum Einsatz kommen.
Nachdem der aktive Modellpool 42 in der Konkurrenz unterlegen ist, wird ein anderer Modellpool 41 aktiviert, der z. B. eine Auswahl 24 von Regelpools 21 unterstützt. Es wird nun also eine andere Abbildung gewählt, womit der Kontextänderung Rechnung getragen wird. Bei der nächsten zugeführten Eingabe¬ information 2 würde der ehemals aktivierte Regelpool 23 in der Konkurrenz mit den Regelpools 21 aus der Auswahl 24 un¬ terliegen, da diese nun durch die Modellschicht 40 unter¬ stützt werden. Dadurch wird die nächste zugeführte Eingabein- formation 2 mit einer anderen entnehmbaren Ausgabeinformation 3 verschaltet.
Gemäß einer Ausführungsform der Erfindung weist auch die Ein¬ gabeschicht 10 Eingabepools 11 auf, die miteinander in Kon- kurrenz treten, wobei sich immer nur ein Eingabepool 11 in der Konkurrenz durchsetzen kann. Hierbei kann jeder Eingabe¬ information ein eigener Eingabepool 11 zugeordnet sein. Es kann jedoch auch eine Vorverarbeitung stattfinden, so dass aus den Eingabeinformationen bestimmte Merkmale extrahiert werden, die anschließend durch einen Eingabepool 11 repräsen¬ tiert werden. So kann ein Eingabepool 11 für eckige Formen und ein anderer Eingabepool für runde Formen aktiviert wer¬ den.
In einer Variante der Erfindung weist auch die Ausgabeschicht 30 Ausgabepools 31 auf, welche miteinander in Konkurrenz ste- hen, wobei sich auch wieder nur ein Ausgabepool 31 in der Konkurrenz durchsetzen kann.
Figur 1 zeigt den Fall, dass ein aktiver Modellpool 42 eine Auswahl 22 von Regelpools 21 unterstützt. Weiterhin wird durch die zugeführte Eingabeinformation 2 ein repräsentativer Eingabepool 12 aktiviert. Dieser aktiviert innerhalb der Aus¬ wahl 22 den aktivierten Regelpool 23. Dieser wiederum ist mit einem repräsentativen Ausgabepool 32 verschaltet, weshalb dieser aktiviert wird. Im Anschluss wird die Ausgabeinforma- tion 3 entnommen, welche durch den repräsentativen Ausgabe¬ pool 32 repräsentiert wird.
Gemäß einer Ausführungsform der Erfindung werden die Schich¬ ten durch mindestens einen nicht-spezifischen Pool angeregt, welcher aus erregenden gepulsten Neuronen besteht. Dieser er¬ hält keine spezifischen Eingaben von einer der Schichten und trägt mit spontanen Pulsen zur Ausbildung realistischer Puls¬ verteilungen bei. Die Neuronen des nicht-spezifischen Pools sind nicht mit den anderen Schichten bzw. Pools korreliert, d. h. sie sind nicht spezifisch aktivierbar, da sie zwar mit den anderen Schichten/Pools vernetzt sein können, aber nicht mit starken Verbindungen.
Das neuronale Netz 1 kann als Attraktor-rekurrentes autoasso- ziatives neuronales Netz ausgeführt sein. Solche Netze sind in den genannten Schriften beschrieben. Hierbei sind die sy¬ naptischen Verbindungen von der Eingabeschicht 10 zur Zwi- schenschicht 20, von der Zwischenschicht 20 zu der Ausgabe¬ schicht 30, und von der Modellschicht 40 zu der Zwischen¬ schicht 20 jeweils stärker ausgeführt sind als in der Rück¬ richtung.
Gemäß einer Ausführungsform wird angenommen, dass die synap¬ tischen Stärken zwischen den Neuronen des neuronalen Netzes 1 so ausgeführt sind, als ob sie durch Hebb'sches Lernen ausge¬ bildet worden seien. Dies bedeutet, dass die synaptische Stärke zwischen Neuronen, welche eine korrelierte Aktivität haben, stark ist, wohingegen die synaptische Stärke zwischen unkorrelierten Neuronen schwächer ausfällt. Dementsprechend können die synaptischen Stärken zwischen den erregenden ge¬ pulsten Neuronen innerhalb eines der erregenden Pools, also eines Eingabepools 11, eines Regelpools 21, eines Ausgabe¬ pools 31 oder eines Modellpools 41, mit einem starken Gewicht von z. B. w = 2,1 ausgeführt sein. Die hemmenden Neuronen in dem hemmenden Pool 50 oder anderen hemmenden Pools können mit einem Gewicht von w = 1 miteinander verbunden sein, welches zu einem nicht-oszillierenden Verhalten beiträgt. Die hemmen¬ den Neuronen können außerdem mit allen erregenden Neuronen des jeweiligen Moduls oder des gesamten neuronalen Netzes 1 mit dem gleichen Gewicht w = 1 verbunden sein. Das Gewicht zwischen zwei erregenden gepulsten Neuronen, welche in unter- schiedlichen erregenden Pools derselben Schicht liegen, ist dagegen vorzugsweise schwach ausgeführt. Die Neuronen der er¬ regenden Pools sind weiterhin vorzugsweise mit Neuronen in dem nicht-selektiven Pool mit einer vorwärts gerichteten sy¬ naptischen Stärke von w = 1 und einer rückwärts gerichteten synaptischen Stärke verbunden, welche ebenfalls schwach aus¬ fällt.
Gemäß einer Ausführungsform der Erfindung ist jeder Regelpool 21 mit einem Eingabepool 11, einem Modellpool 41 sowie einem Ausgabepool 31 so verbunden, als ob die Verbindung durch
Hebb'sches Lernen während der Einübung unterschiedlicher Ver¬ haltensweisen ausgebildet worden wäre. Die synaptische Stärke der Verbindungen zwischen den Modellpools 41 und den Regel¬ pools 21 liegt z. B. bei w = 1,1.
Das Wechselspiel zwischen den Schichten entspricht der multi- arealen Verschaltung im menschlichen Gehirn. Das neuronale Netz 1 kann auch weitere Schichten aufweisen. Diese weiteren Schichten können die Funktionen bestimmter Gehirnareale ab¬ bilden. Auf diese Weise kann die Funktionalität des neurona¬ len Netzes 1 erheblich erweitert werden. Denkbar ist z. B. die Filterung von Eingabeinformationen durch Modellierung ei¬ ner selektiven Aufmerksamkeit, sowie die Implementation von Arbeits- oder Langzeit-Gedächtnisfunktionen. Die weiteren Schichten können in beschriebener Weise aufgebaut sein und miteinander wechselwirken, oder auch andere bekannte Verfah- ren implementieren.
Das neuronale Netz 1 kann als neurodynamisches Netz ausge¬ führt sein, insbesondere in der Form eines neurodynamisehen Netzes gepulster Neuronen. Dies kann die Verwendung bekannter neuronaler Netze (artificial neural networks) , Multilagen-
Perceptrons, SOMs (seif organizing maps) etc. mit einschlie¬ ßen. Die gepulsten Neurone können z. B. als so genannte spi- kende oder auch als so genannte pulscodierende Neurone ausge¬ bildet sein.
Weitere Hinweise zur Implementation der Schichten, Pools, der Verbindungen und Neuronen sowie deren Wechselspiel finden sich in [2], [3] und [4]. Die Dynamik .der jeweiligen Neuro¬ nen, Pools und Schichten kann durch eines oder mehrere Kon- zepte der folgenden Gruppe implementiert werden: Mean-Field- Ansatz, Integrate-and-Fire-Ansatz, Ansatz für pulscodierende Neurone, Multikompartiment-Ansatz und Hodgkin-Huxley-Ansatz. Hierzu wird auf die genannten Schriften verwiesen.
Intelligente Agenten, welche das erfindungsgemäße Verfahren bzw. das neuronale Netz einsetzen, können zur neurokognitiven Prozess-Steuerung, insbesondere für technische Vorgänge, zur neurokognitiven Fahrerassistenz sowie zur neurokognitiven Ro- botersteuerung eingesetzt werden.
Die Erfindung beruht auf dem Prinzip des beeinflussten Wett- bewerbs (Biased Competition) . Einerseits wirkt ein aktives Modell, welches durch den aktiven Modellpool 42 sowie durch die Verschaltungen der Regelpools 21, welche zu der Auswahl 22 gehören, gebildet wird, steuernd (top-down) auf die Abbil¬ dung von Eingabeinformationen auf Ausgabeinformationen ein. Andererseits wirken die Eingabeinformationen als entgegenge¬ setzter Einfluss (bottom-up) , welcher bestimmte Neuronen und Pools aktiviert. Die tatsächliche Verschaltung der zugeführ¬ ten Eingabeinformation 2 mit der entnommenen Ausgabeinforma¬ tion 3 entwickelt sich aus einem Wechselspiel dieser beiden Einflüsse. Das neuronale Netz 1 erreicht somit ein hohes Maß an Flexibilität, wodurch es in seinem Verhalten, d. h. in seiner Abbildung von Eingabeinformationen auf Ausgabeinforma¬ tionen flexibel auf Kontextänderungen, d. h. veränderte Situ¬ ationen, reagieren kann.
Da das neuronale Netz 1 unmittelbar die neurodynamisehen Pro¬ zesse im menschlichen Gehirn abbildet, ist es von direkter biologischer Relevanz. Dies beruht auf der genauen Simulation der biologischen Prozesse im Gehirn. Beispielsweise können die gepulsten Neuronen als Integrieren-und-Feuern-Neuronen
(integrate and fire) implementiert werden. Es kann von neuro- kognitiver Modellierung gesprochen werden, d. h. das mensch¬ liche Verhalten wird unmittelbar durch die beteiligten neuro¬ nalen Prozesse modelliert.
Hieraus ergibt sich eine Anzahl an medizinisch-klinischen An¬ wendungen. So kann das erfindungsgemäße neuronale Netz und Verfahren als Modell für klinische Versuchsergebnisse heran¬ gezogen werden. Zunächst werden Versuche mit einem Probanden durchgeführt, um das Verhalten in Situationen mit wechselndem Kontext zu untersuchen. Anschließend wird das erfindungsgemä¬ ße Verfahren mit einem neuronalen Netz unter den gleichen Versuchsbedingungen durchgeführt. Durch den Vergleich der Er¬ gebnisse können Hypothesen über die Funktionsweise des Ge¬ hirns unmittelbar überprüft werden.
Gleiches gilt für krankhafte Störungen. So können bei der Si¬ mulation mit dem erfindungsgemäßen Verfahren veränderte che¬ mische Voraussetzungen, z. B. Stoffwechselstörungen oder ver¬ änderte Konzentrationen von Neuro-Transmittern, berücksich¬ tigt werden. Durch diese inverse Modellierung kann das Ver- halten, beispielsweise eines schizophrenen Patienten, durch das erfindungsgemäße Verfahren simuliert werden. Aus den Er¬ gebnissen und dem Vergleich mit Versuchsergebnissen mit schi¬ zophrenen Patienten können wiederum Hypothesen bezüglich der Natur der Störung im Gehirn überprüft werden. Gleiches gilt für andere Störungen.
Ein intelligenter Agent, welcher das erfindungsgemäße Verfah¬ ren bzw. das erfindungsgemäße neuronale Netz implementiert, ist in äußerst vielseitiger Weise einsetzbar. Beispielsweise könnte ein solcher Agent zur Chart-Analyse herangezogen wer¬ den. Hierbei wird versucht, aus dem bisherigen Verlauf eines Aktienkurses auf seine zukünftige Entwicklung zu schließen. In diesem Anwendungsfall wird dem neuronalen Netz 1 als Ein¬ gabeinformation 2 beispielsweise der Kursverlauf einer Aktie während der letzten sechs Monate zugeführt. Die entnommene Ausgabeinformation 3 stellt nun eine Kauf- bzw. Verkaufsemp¬ fehlung dar. Wenn sich die Empfehlung als falsch heraus¬ stellt, bekommt das neuronale Netz 1 eine Falsch-Rückmeldung 4. Auf diese Weise kann das neuronale Netz 1 flexibel auf Kontextänderungen reagieren, beispielsweise wenn die Stimmung an der Börse umschwingt. Bei der nächsten zugeführten Einga¬ beinformation 2, z. B. dem Kursverlauf einer anderen Aktie während der letzten sechs Monate, kann das neuronale Netz 1 die veränderte Stimmung an der Börse, also den geänderten Kontext, bereits berücksichtigen. Die Erfindung eignet sich besonders für komplexe Zusammenhän¬ ge, die nicht durch ein deklaratives Regel-Modell erfasst werden können. Hierzu zählen Entwicklungen an den Börsen oder die Wettervorhersage. Das neuronale Netz 1 ist bildlich ge- sprochen in der Lage, eine Bauchentscheidung zu treffen. Dies liegt darin begründet/ dass die entnommene Ausgabeinformation 2 auch als Gefühl interpretiert werden kann. Das Gefühl be¬ ruht auf einer intuitiven Interpretation der Eingabeinforma¬ tionen, wobei intuitiv bedeutet, dass die Eingabeinformatio- nen durch implizite, nicht durch explizit repräsentierte Re¬ geln auf die Ausgabeinformationen abgebildet werden. Die ent¬ nommene Ausgabeinformation 3 gibt in diesem Zusammenhang als Gefühl eine generelle Richtung des Handels vor. Auf Grundlage des Gefühls, dass der Aktienkurs fallen wird, können unter- schiedliche Entscheidungen getroffen werden, etwa das Halten einer Aktienposition, das Reduzieren, oder das vollständige Verkaufen. Liegt als entnommene Ausgabeinformation 3 ein Ge¬ fühl vor, dass der Aktienkurs steigen wird, so sind als Hand¬ lungen der Neukauf sowie das Aufstocken oder Halten einer Ak- tienposition möglich. Durch den Zwischenschritt der Situati¬ onsbewertung mit Hilfe eines Gefühls als entnommene Ausgabe¬ information 3 wird somit das Verhalten des intelligenten A- genten flexibilisiert.
Intelligente Agenten mit flexiblem, menschähnlichen Verhalten sind auch anderweitig einsetzbar, etwa als Charaktere bei Trainingssimulationen und Computerspielen.
Die Erfindung betrifft unter anderem den Bereich der kogniti- ven Flexibilität und Verhaltensänderung. Die dynamische Ver¬ stärkung (Dynamic Reinforcement) unterstützt hierbei das Ler¬ nen. In einer Ausführungsform der Erfindung bildet das neuro¬ nale Netz 1 als Abbildung in der Zwischenschicht 20 Assozia¬ tionen zwischen Eingabeinformationen und einer Belohnung bzw. Bestrafung aus. Durch das Wechselspiel mit der Modellschicht 40 können diese Assoziationen bereits nach einer Falsch- Rückmeldung 4 umgekehrt werden. Die Falsch-Rückmeldung 4 er- folgt immer dann, wenn als Ausgabeinformation 3 eine Beloh¬ nungserwartung entnommen wurde und diese nicht eintritt bzw. eine Bestrafung eintritt. Die Falsch-Rückmeldung 4 kann auch dann erfolgen, wenn als Ausgabeinformation 3 entnommen wird, dass das neuronale Netz 1 eine Bestrafung erwartet, und diese aber ausbleibt bzw. eine Belohnung eintritt. Auf diese Weise lernt das neuronale Netz 1, wann eine Belohnung, und wann ei¬ ne Bestrafung zu erwarten ist, und reagiert mit einem Gefühl als zu entnehmender Ausgabeinformation 3, welches diese Er- Wartung repräsentiert, und aus welchem eine passende Handlung abgeleitet werden kann.
Figur 2 zeigt eine spezielle Ausführungsform der Erfindung. Das neuronale Netz 1 ist hier in ein erstes Modul 5 und ein zweites Modul 6 gegliedert. Dem zweiten Modul 6 wird eine
Eingabeinformation 2 zugeführt und eine Ausgabeinformation 3 entnommen. Wenn die Ausgabeinformation falsch ist, wird dem ersten Modul 5 eine Falsch-Rückmeldung 4 zugeführt.
Das erste Modul 5 weist eine Modellschicht 40 auf. Das zweite Modul 6 weist eine Eingabeschicht 10, eine Zwischenschicht 20 sowie eine Ausgabeschicht 30 auf.
Die Eingabeschicht 10 enthält zwei Eingabepools 15 und 16, welche miteinander in Konkurrenz treten. Wird ein erstes Ob¬ jekt zugeführt, so wird der Eingabepool 15 aktiviert. Wird ein zweites Objekt zugeführt, so wird der Eingabepool 16 ak¬ tiviert.
Die Zwischenschicht 20 weist eine Auswahl 22 und eine Auswahl 24 von Regelpools auf. Die Auswahl 22 enthält Regelpools 25 und 26, die Auswahl 24 enthält Regelpools 27 und 28. Die Aus¬ gabeschicht 30 enthält Ausgabepools 35 und 36. Die Modell¬ schicht 40 enthält Modellpools 45 und 46. Innerhalb jeder Schicht treten die Pools miteinander in Konkurrenz. Die Kon¬ kurrenz in der Modellschicht 40 wird durch einen hemmenden Pool 50 unterstützt, welcher aus hemmenden Neuronen besteht, und durch die Falsch-Rückmeldung 4 zusätzlich erregt werden kann. Die Konkurrenz in den Schichten des zweiten Moduls 6 wird durch einen hemmenden Pool 60 unterstützt, welcher mit diesen Schichten verbunden ist und eine globale Hemmung auf die enthaltenen Neuronen ausübt. Dem ersten Modul 5 ist ein nicht-spezifischer Pool 70 zugeordnet, dessen Aktivität durch die Schichten der beiden Module nicht beeinflusst wird. Glei¬ chermaßen enthält das Modul 6 einen nicht-spezifischen Pool 80, dessen Aktivität nicht durch die Schichten beeinflusst wird. Die nicht-spezifischen Pools 80 und 70 tragen mit spon¬ tanen Pulsen zur Ausbildung realistischer Pulsverteilungen bei.
In einer speziellen Ausführungsform der Erfindung wird das zweite Modul 6 mit 1600 gepulsten Neuronen (hier Pyramidal¬ zellen) und 400 hemmenden gepulsten Neuronen implementiert. Das erste Modul 5 kann mit 1000 erregenden gepulsten Neuronen und 200 hemmenden Neuronen implementiert werden. Diese Zahlen stellen lediglich ein Beispiel dar. Das Verhältnis von erre- genden Pyramidalzellen zu hemmenden Neuronen kann z. B. 80:20 betragen. Gemäß einer Ausführungsform der Erfindung sind alle Neuronen miteinander voll verknüpft. Die Pools können z. B. aus 80 oder 100 Neuronen gebildet werden.
In einer speziellen Ausführungsform sind alle Pools des ers¬ ten Moduls einschließlich des hemmenden Pools 50 und des nicht-spezifischen Pools 70 miteinander vernetzt. Weiterhin sind alle Pools des zweiten Moduls 6 einschließlich des hem¬ menden Pools 60 und des nicht-spezifischen Pools 80 miteinan- der vernetzt.
Die Vernetzung der Pools erfolgt über synaptische Verbindun¬ gen zwischen den in den Pools enthaltenen Neuronen. Die Stär¬ ke der synaptischen Verbindungen zwischen den einzelnen Pools für das erste Modul ist in Figur 3 exemplarisch angegeben.
Eine synaptische Stärke von ww steht hierbei für eine schwa¬ che synaptische Stärke, zum Beispiel von ww = 0,878. Eine sy- naptische Stärke von ws steht für eine starke synaptische Stärke (zum Beispiel von ws = 2,1) . Aus Figur 3 geht hervor, dass die Modellpools 45 und 46 untereinander nur schwach ver¬ bunden sind. Die Verbindungen der Neuronen innerhalb eines der beiden Pools sind dagegen stark. Auf diese Weise bilden die Neuronen der beiden Pools zwei Teams, die miteinander in Konkurrenz treten. Die Verbindungen von den Modellpools 45 und 46 zu dem nicht-spezifischen Pool 70 sind in neutraler Stärke (w = 1) ausgeführt. In umgekehrter Richtung sind die Verbindungen des nicht-spezifischen Pools 70 zu den Modell¬ pools 45 und 46 schwach ausgeführt.
Figur 4 zeigt exemplarisch synaptische Stärken der Verbindun¬ gen zwischen den Pools des zweiten Moduls einschließlich des hemmenden Pools 60 und des nicht-spezifischen Pools 80. Die
Pools der Schichten sind jeweils mit einer starken synapti¬ schen Stärke ws mit sich selbst vernetzt. Die Verbindungen zu den anderen Pools der jeweils gleichen Schicht fallen"dagegen schwach aus (mit ww) . Dies dient ebenfalls der Konkurrenz. Von besonderer Bedeutung sind die Gewichte bzw. synaptischen Stärken Wff und Wf]3. Die synaptische Stärke Wff ist die Stär¬ ke einer vorwärts gerichteten Verbindung (Feed Forward) , zum Beispiel in Höhe von Wff = 2,1. Die synaptische Stärke Wf]3 ist die synaptische Stärke einer rückwärts gerichteten Ver- bindung (Feedback), zum Beispiel Wf]3 = 1,7. Es zeigt sich nun, dass der Eingabepool 15 mit den Regelpools 25 und 27 stark verbunden ist (mit Wff) . In umgekehrter Richtung liegt eine ebenfalls starke, jedoch etwas schwächer ausgeprägte sy¬ naptische Stärke vor (mit Wf]3) . Somit liegt zwischen der Ein- gabeschicht 10 und der Zwischenschicht 20 eine rekurrente
Verbindung vor. Dies bedeutet, dass sich zwischen den beiden Schichten ein dynamisches Wechselspiel entwickelt. Die Einga¬ beschicht 10 übt zwar den größeren Einfluss auf die Zwischen¬ schicht 20 aus, Prozesse in der Zwischenschicht wirken jedoch auch rekurrent auf die Eingabeschicht zurück. Auf diese Weise kann eine selektive Verarbeitung von Eingabeinformationen implementiert werden. Die Regelpools 25 bis 28 weisen wiederum starke vorwärts ge¬ richtete Verbindungen zu den Ausgabepools 35 und 36 auf. Auch hier existieren rückwärts gerichtete, rekurrente Verbindungen (mit ww) . Die Eingabeschicht 10 ist somit rekurrent mit der
Zwischenschicht 20, und die Zwischenschicht 20 rekurrent mit der Ausgäbeschicht 30 verbunden. Die synaptischen Stärken aus Figur 3 und Figur 4 entsprechen den Werten, die durch Trai¬ ning des neuronalen Netzes 1 mittels Hebb'schem Lernen zu er- warten wären.
Der Modellpool 45 ist mit den Regelpools 25 und 26 stark ver¬ bunden (synaptische Stärke zum Beispiel w = 1,1), wodurch er die Auswahl 22 bildet. Der Modellpool 46 ist mit den Regel- pools 27 und 28 stark verbunden (synaptische Stärke zum Bei¬ spiel w = 1,1), wodurch er die Auswahl 24 bildet. Anschaulich gesehen wird der Eingabepool 15 durch den Regelpool 25 der Auswahl 22 mit dem Ausgabepool 35 verschaltet. Ebenso wird der Eingabepool 16 über den Regelpool 26 der Auswahl 22 mit dem Ausgabepool 36 verschaltet. Die Verschaltung der Eingabe¬ pools 15 und 16 mit den Ausgabepools 35 und 36 erfolgt über die Regelpools 27 und 28 der Auswahl 24 genau umgekehrt. An¬ schaulich gesehen stellen somit die Auswahl 22 und die Aus¬ wahl 24 zwei unterschiedliche Abbildungen von Eingabeinforma- tionen auf Ausgabeinformationen bereit. Welche der beiden Ab¬ bildungen zum Einsatz kommt, hängt davon ab, welcher der bei¬ den Modellpools 45 und 46 aktiviert ist.
Der Ausgabepool 35 und der Ausgabepool 36 können jeweils eine Situationsbewertung repräsentieren (zum Beispiel posi¬ tiv/negativ) , eine Entscheidung (zum Beispiel kau¬ fen/verkaufen) oder eine Handlung (zum Beispiel einen Schritt vorwärts/rückwärts gehen) .
Gemäß einer Ausführungsform der Erfindung wird die zugeführte Eingabeinformation 2 allen Neuronen des neuronalen Netzes 1 zum Beispiel über jeweils 800 Verbindungen von außerhalb des Netzwerks zugeführt. Neben der Eingabeinformation kann über diese Verbindungen auch ein Hintergrundrauschen zugeführt werden, welches ein spontanes Feuern von Neuronen außerhalb des Netzwerks darstellt.
Die Zustände, in denen sich das neuronale Netz 1 stabilisie¬ ren kann, können auch als globale Attraktoren bezeichnet wer¬ den. Diese sind jeweils aus einzelnen Attraktoren für jeden Pool zusammengesetzt. Wenn ein Pool in der Konkurrenz ge- winnt, konvergiert die Aktivität in der betreffenden Schicht zu dem betreffenden Attraktor. Der globale Attraktor setzt sich somit aus einer Kombination aktivierter Pools in der Eingabeschicht 10, in der Zwischenschicht 20, in der Ausgabe¬ schicht 30 sowie in der Modellschicht 40 zusammen. Durch die optionalen rekurrenten Verbindungen zwischen den Schichten ergibt sich in einer, in mehreren oder in allen Schichten ein gesteuerter Wettbewerb. Dies führt zu einem autonomen, emer- genten und hochgradig flexiblen Verhalten des neuronalen Net¬ zes 1.
In einem konkreten AnwendungsSzenario wird als Eingabeinfor¬ mation 2 der Verlauf eines Aktienkurses während der letzten 6 Monate zugeführt. Hierdurch wird der Eingabepool 15 akti¬ viert. Weiterhin ist der Modellpool 45 aktiviert. Dieser rep- räsentiert ein Modell, welches von einer positiven Stimmung an der Börse ausgeht. Durch den Modellpool 45 wird der Wett¬ bewerb in der Zwischenschicht 20 dahingehend gesteuert, dass die Pools .in der Auswahl 22 sich in der Konkurrenz durchset¬ zen können. Innerhalb der Auswahl 22 wird der Regelpool 25 aktiviert, welcher mit dem Eingabepool 15 stark verbunden ist. Der Regelpool 25 wiederum aktiviert über eine starke Verbindung den Ausgabepool 35, welcher die Ausgabeinformation "Aktie kaufen" repräsentiert, welche dem neuronalen Netz als Ausgabeinformation 3 entnommen wird. Während der Modellpool 45 aktiv ist, erschöpft sich seine Selbstverstärkung, das heißt die synaptischen Gewichte der inneren Verbindungen des Modellpools 45 nehmen mit der Zeit ab. Wenn die entnommene Ausgabeinformation 3 falsch war, weil der Aktienkurs nach dem Kauf gefallen ist, so wird der hemmende Pool 50 über eine Falsch-Rückmeldung aktiviert. Dieser verstärkt daraufhin sei¬ ne globale Hemmung zu einer vollständigen Hemmung der Modell- pools 45 und 46, die sich auch auf das zweite Modul 6 erstre¬ cken kann. Anschließend unterliegt der ehemals aktive Modell¬ pool 45 in der Konkurrenz mit dem Modellpool 46, da sich die Selbstverstärkung des Modellpools 45 gegenüber der Selbstver¬ stärkung des Modellpools 46 erschöpft hat. Deshalb gewinnt nun der Modellpool 46 in der Konkurrenz. Der Modellpool 46 unterstützt nun die Auswahl 24 in der Zwischenschicht 20. Wird nun der gleiche Kursverlauf als Eingabeinformation 2 zu¬ geführt, wird wiederum der Eingabepool 15 aktiviert. Dieser aktiviert nun den Regelpool 27, da dieser zu der Auswahl 24 gehört, welche durch den Modellpool 46 unterstützt wird. Der Regelpool 27 wiederum aktiviert den Ausgabepool 36. Dieser repräsentiert die Ausgabeinformation "Aktie nicht kaufen", welche im Anschluss als Ausgabeinformation 3 entnommen wird. Das neuronale Netz 1 hat sein Verhalten somit in einem Schritt an den veränderten Kontext, zum Beispiel einen Stim¬ mungsumschwung an der Börse, angepasst.
Geeignete Werte für die synaptischen Stärken können von den genannten Werten abweichen und sind im Experiment ermittelbar bzw. optimierbar. Das generelle Vorgehen hierzu ist in der Schrift [2] beschrieben.
Die in den Figuren gezeigten Ausführungsformen sind aus¬ schließlich als mögliche Beispiele angeführt.
Insbesondere kann das Auslesen der Ausgabeinformation 3 auch anders realisiert sein. Z. B. ist es denkbar, dass dies aus jeder Schicht oder aus den jeweiligen Pools heraus erfolgt.
Ferner sind mehrere Eingabe-, Ausgabe-, Zwischen- oder Mo¬ dellschichten denkbar. Unterschiedliche Eingabeschichten 10 könnten unterschiedliche Merkmale (Farbe, Form, Größe, Ort, Bewegung, usw.) der Eingabeinformation repräsentieren.
Unterschiedliche Modellschichten 40 könnten unterschiedliche Aspekte eines Modells (unterschiedliche Dimensionen eines
Kontextes) repräsentieren. Z.B. könnte in einem Computerspiel eine Modellschicht 40 speichern, ob der Spieler geübt oder ungeübt ist, sowie eine weitere, welche Strategie der Spieler aktuell verfolgt. Somit könnte das Modell einen Kontext rep- räsentieren, der sich aus unterschiedlichen Aspekten zusam¬ mensetzt.
Unterschiedliche Ausgabeschichten 30 könnten unterschiedliche Aspekte einer Ausgabeinformation (z.B. Kaufen/Verkaufen, Dringlichkeit, Sicherheit der Empfehlung) repräsentieren.
In diesen Szenarien könnte die Zwischenschicht 20 auch in mehreren Schichten ausgeführt sein. In jedem Fall käme ihr die Aufgabe zu, die zusätzlichen Schichten in sinnvoll mit- einander zu vernetzen.
Zusätzliche und bestehende Schichten können sowohl nach dem Prinzip der Konkurrenz als auch nach dem Prinzip der Koopera¬ tion organisiert sein. Konkurrenz: Innerhalb einer Schicht treten bestimmte Merkmale oder Merkmalgruppen miteinander in Konkurrenz um Repräsenta¬ tion. Das erzeugt als emergenten Prozess eine Gewichtungskar- te (salicency map) , so dass bestimmte Merkmale intensiver repräsentiert werden als andere. Man erhält eine kontextab- hängige Informationsselektion. Dies kann durch konkurrierende Pools implementiert werden.
Kooperation: Merkmale können auch dynamisch zu Merkmalgruppen oder Kategorien gebunden werden. Ein Merkmal kann auch so die Repräsentation eines anderen Merkmale begünstigen. Dies kann durch Pools implementiert werden, die mit starken Gewichten untereinander verbunden sind und sich somit gegenseitig un- terstützen. Z.B. können so in der Eingabeschicht 10 mehrere Pools gleichzeitig aktiviert sein und dadurch mehrere Eigen¬ schaften einer Eingabeinformation gleichzeitig repräsentie¬ ren.
Zusätzliche Schichten können nach dem Prinzip des beeinfluss- ten Wettbewerbs und der beeinflussten Kooperation (biased Competition and Cooperation) implementiert werden: Durch die Verbindung zwischen Schichten kann eine Schicht jeweils den Kompetitionsvorgang in einer oder mehreren anderen Schichten lenken. Dieser Vorgang kann rekurrent sein, so dass durch diesen wechselseitigen Lenkvorgang sukzessive und dynamisch ein immer besserer Abgleich von verschiedenen Merkmal-Räumen der verschiedenen Schichten miteinander entsteht. Insbesonde- re enthält jede Repräsentation, weil sie nur einen Teilaspekt der Umgebung abdeckt, zwangsläufig Mehrdeutigkeiten. Beein- flusster Wettbewerb stellt einen Mechanismus dar, durch den die verschiedenen Schichten durch die Information ihres spe¬ ziellen Merkmalraums Mehrdeutigkeiten in den jeweils anderen Merkmal-Räumen auflösen können. Jede Repräsentation entwi¬ ckelt sich vor dem Kontext aller anderen Repräsentationen. Kooperation kann dann verschiedene Merkmale zu Gruppierungen binden, das heißt zueinander in Beziehung setzen.
Das Herstellen von Beziehungen kann in dynamischer Weise ge¬ schehen für (a) gegenwärtige Merkmale untereinander,
(b) gegenwärtige Merkmale mit anderen Merkmalräumen,
(c) gegenwärtige Merkmale mit vergangenen Werten andere Merk¬ male und Merkmalräume, und (d) dem Gesamtzustand mit zukünf- tigen, aber erwarteten Merkmale. Insbesondere das Miteinbe¬ ziehen der Vergangenheit kann dem kausalen Charakter der Sig¬ nale Rechnung tragen.
Dynamische Daten aus technischen Systemen können nach Vorver- arbeitung ggf. zur Dimensionsreduktion als Eingabeinformatio¬ nen in das neuronale Netz 1 eingespeist werden. Dieses kann verschiedene Merkmale extrahieren (z.B. Independent Compo- nents oder nichtparametrische Merkraalvektoren analog zu selbstorganisierenden Merkmalskarten) in einer oder mehreren Eingabeschichten, von denen manche auch mit einer persisten¬ ten Aktivität (Arbeitsgedächtnis-Funktion) ausgestattet sein können. Optimierung des neuronalen Netzes kann durch biolo¬ gisch motivierte Lernregeln (z.B. Hebb-Regel oder spike time dependent plasticity) geschehen, mit denen sich auch Kosten¬ funktionen zur Bewertung dessen, wie gut eine dynamische Auf¬ gabe gelöst wird, aufstellen lassen.
Zitierte Literatur
[1] Sutton, R. S. und Barto, A. G. (1998): "Reinforcement
Learning", Bradford Book, S. 87-160.
[2] Szabo, M., Almeida, R., Deco, G. und Stetter, M. (2004) : "(Kooperation and biased competition model can explain attentional filtering in the prefrontal cortex", Eur. J. Neurosci., Vol. 9, S. 1669-1677.
[3] Brunei, N. und Wang, X. J. (2001) : "Effects of neuro- modulation in a cortical network model of object working memory dominated by recurrent inhibition", Comput. Neu¬ rosci. 11: 63-85.
[4] Koch, C. und Segev, I (Hrsg.) (2001) : "Methods in Neuro¬ nal Modeling: From Synapses to Networks", MIT Press, Cambridge, MA, Kapitel 1-5.

Claims

Patentansprüche
1. Verfahren zur Reaktion auf Kontextänderungen mit einem neuronalen Netz (1) ,
- wobei einer Eingabeschicht (10) des neuronalen Netzes (1) Eingabeinformationen zugeführt werden;
- wobei einer Ausgabeschicht (30) des neuronalen Netzes (1) Ausgabeinformationen entnommen werden; - wobei in dem neuronalen Netz (1) mehrere Modelle gespei¬ chert sind, welche jeweils eine Abbildung der Eingabein¬ formationen auf die Ausgabeinformationen vorgeben;
- wobei jeweils nur ein Modell aktiv ist;
- wobei folgende Schritte wiederholt werden: - das neuronale Netz (1) bildet eine zugeführte Eingabein¬ formation (2) mit dem aktiven Modell auf eine Ausgabein¬ formation (3) ab, welche der Ausgabeschicht (30) entnom¬ men wird; - wenn die entnommene Ausgabeinformation (3) für die zuge- führte Eingabeinformation (2) in einem aktuellen Kontext falsch ist, erhält das neuronale Netz (1) eine Falsch- Rückmeldung (4) , woraufhin das neuronale Netz (1) ein anderes Modell aktiviert.
2. Verfahren nach Anspruch 1, bei dem aus der entnommenen
Ausgabeinformation (3) eine Aktion abgeleitet und ausgeführt wird.
3. Verfahren nach einem der vorangegangenen Ansprüche, - bei dem das neuronale Netz (1) erregende gepulste Neuronen enthält,
- bei dem die erregenden gepulsten Neuronen Modellpools (41) bilden, wobei jedem Modell mindestens ein Modellpool (41) zugeordnet ist, - bei dem die Modellpools (41) miteinander konkurrieren, bei dem sich ein, aktiver Modellpool (42) in der Konkurrenz durchsetzt.
4. Verfahren nach Anspruch 3, bei dem das neuronale Netz (1) hemmende gepulste Neuronen enthält, - bei dem die hemmenden gepulsten Neuronen mindestens einen hemmenden Pool (50) bilden,
- bei dem der hemmende Pool (50) eine globale Hemmung auf die konkurrierenden Modellpools (41) ausübt,
- bei dem die Falsch-Rückmeldung (4) den hemmenden Pool (50) aktiviert,
- bei dem der aktivierte hemmende Pool (5) eine vollständige Hemmung aller Modellpools (41) durchführt, bei dem die vollständige Hemmung den aktiven Modellpool (42) deaktiviert, - bei dem nach der vollständigen Hemmung ein anderer Modell¬ pool (41) aktiviert wird.
5. Verfahren nach Anspruch 4,
- bei dem sich Synapsen der erregenden gepulsten Neuronen des aktiven Modellpools (42) adaptieren,
- bei dem dadurch rekurrente Gewichte des aktiven Modell¬ pools (42) absinken,
- bei dem dadurch der aktive Modellpool nach der vollständi¬ gen Hemmung in der Konkurrenz gegenüber den anderen Mo- dellpools (41) unterliegt.
6. Verfahren nach Anspruch 5, bei dem die Adaption der Sy¬ napsen als kurzzeitige synaptische Depression (STD) implemen¬ tiert wird.
7. Verfahren nach Anspruch 3,
- bei welchem erregende gepulste Neuronen Regelpools (21) bilden,
- bei dem jeder Regelpool (21) jeweils eine der Eingabein- formationen mit einer der Ausgabeinformationen verschal¬ tet,
- bei dem die Regelpools (21) miteinander konkurrieren, bei dem der aktive Modellpool (42) eine Auswahl (22) von Regelpools (21) unterstützt, bei dem die zugeführte Eingabeinformation (2) einen Regel¬ pool (23) aus der Auswahl (22) von Regelpools (21) akti- viert, bei dem der aktivierte Regelpool (23) die Ausgabeinforma¬ tion (3) aktiviert, bei dem die aktivierte Ausgabeinformation (3) entnommen wird.
8. Verfahren nach Anspruch 1, bei dem das neuronale Netz (1) Verschaltungen enthält, welche durch Hebb'sches Lernen ausge¬ bildet werden.
9. Neuronales Netz (1) zur Reaktion auf Kontextänderungen, mit einer EingabeSchicht (10) , der Eingabeinformationen zuführbar sind; mit einer Zwischenschicht (20) , durch die die Eingabein¬ formationen auf Ausgabeinformationen abbildbar sind; - mit einer Ausgabeschicht (30) , an der die Ausgabeinforma¬ tionen entnehmbar sind;
- mit einer Modellschicht (40) , mit der die Abbildung in der Zwischenschicht (20) abhängig von einem Kontext steuerbar ist.
10. Neuronales Netz (1) nach Anspruch 9,
- bei dem die Modellschicht (40) erregende gepulste Neuronen enthält, bei dem die Modellschicht (40) mehrere Modellpools (41) enthält, welche aus den erregenden gepulsten Neuronen be¬ stehen,
- bei dem mit den Modellpools (41) die Abbildung in der Zwi¬ schenschicht (20) abhängig von einem Kontext steuerbar ist.
11. Neuronales Netz (1) nach Anspruch 10, - bei dem das neuronale Netz (1) hemmende gepulste Neuronen enthält,
- bei dem das neuronale Netz (1) einen hemmenden Pool (50) enthält, welcher aus den hemmenden gepulsten Neuronen be- steht,
- bei dem der hemmende Pool (50) mit den Modellpools (41) verschaltet ist, bei dem der hemmende Pool (50) durch eine Falsch- Rückmeldung (4) aktivierbar ist, wenn eine entnommene Aus- gabeinformation (3) falsch ist.
12. Neuronales Netz (1) nach Anspruch 9, bei dem ein erstes Modul die Modellschicht (40) aufweist und ein zweites Modul die anderen Schichten (10, 20, 30) aufweist.
13. Neuronales Netz (1) nach Anspruch 10,
- bei dem die Eingabeschicht (10) für jede Eingabeinformati¬ on einen Eingabepool (11) aufweist, welcher aus erregenden gepulsten Neuronen besteht und durch Zufuhr der jeweiligen Eingabeinformation aktivierbar ist, bei dem die Zwischenschicht (20) Regelpools (21) aufweist, durch welche jeweils eine Eingabeinformation mit einer Ausgabeinformation verschaltbar ist, und wobei die Regel¬ pools (21) aus erregenden gepulsten Neuronen bestehen, - bei dem die Ausgabeschicht (30) für jede Ausgabeinformati¬ on einen Ausgabepool (31) aufweist, welcher aus erregenden gepulsten Neuronen besteht, bei dem die Modellpools (41) mit den Regelpools (21) so verschaltet sind, dass abhängig von der Aktivierung der Modellpools (41) nur eine Auswahl (22, 24) von Regelpools (21) aktivierbar ist,
- bei dem durch eine zugeführte Eingabeinformation (2) ein repräsentativer Eingabepool (12) aktivierbar ist, welcher die zugeführte Eingabeinformation (2) repräsentiert, - bei dem durch den repräsentativen Eingabepool (12) ein be¬ vorzugter Regelpool (23) aktivierbar ist, welcher zu der Auswahl (22) von Regelpools (21) gehört, welche mit einem aktiven Modellpool (42) verschaltet sind,
- bei dem durch den bevorzugten Regelpool (23) ein repräsen¬ tativer Ausgabepool (32) aktivierbar ist, wobei der reprä- sentative Ausgabepool (32) eine entnehmbare Ausgabeinfor¬ mation (3) repräsentiert.
14. Neuronales Netz nach Anspruch 9,
- welches eine oder mehrere zusätzliche Eingabeschichten (10) , Zwischenschichten (20) , Ausgabeschichten (30) , Mo¬ dellschichten (40) oder andere Schichten enthält, wobei die zusätzlichen Schichten die Eingabeinformationen, die Ausgabeinformationen oder andere Informationen spei¬ chern, filtern, bewerten, vernetzen oder kategorisieren oder andere Funktionen übernehmen.
PCT/EP2005/052859 2004-07-09 2005-06-21 Verfahren zur reaktion auf kontextänderungen mit einem neuronalen netz und neuronales netz zur reaktion auf kontextänderungen WO2006005665A2 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102004033391.2 2004-07-09
DE102004033391 2004-07-09

Publications (2)

Publication Number Publication Date
WO2006005665A2 true WO2006005665A2 (de) 2006-01-19
WO2006005665A3 WO2006005665A3 (de) 2006-12-07

Family

ID=35448080

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2005/052859 WO2006005665A2 (de) 2004-07-09 2005-06-21 Verfahren zur reaktion auf kontextänderungen mit einem neuronalen netz und neuronales netz zur reaktion auf kontextänderungen

Country Status (1)

Country Link
WO (1) WO2006005665A2 (de)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1975857A3 (de) * 2007-03-27 2009-03-25 Siemens Aktiengesellschaft Verfahren zur rechnergestützten Verarbeitung von in einem Sensornetzwerk erfassten Messwerten
US7577099B1 (en) * 2006-04-06 2009-08-18 At&T Corp. Method and apparatus for fault localization in a network

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5155801A (en) * 1990-10-09 1992-10-13 Hughes Aircraft Company Clustered neural networks
US5239594A (en) * 1991-02-12 1993-08-24 Mitsubishi Denki Kabushiki Kaisha Self-organizing pattern classification neural network system
EP0574951A2 (de) * 1992-06-18 1993-12-22 Seiko Epson Corporation Spracherkennungssystem
EP1073012A1 (de) * 1999-07-30 2001-01-31 Eidgenössische Technische Hochschule Zürich Verfahren und Schaltung für neuron-ähnliche Datenverarbeitung
EP1327959A2 (de) * 2002-01-11 2003-07-16 EADS Deutschland GmbH Neuronales Netz zur Modellierung eines physikalischen Systems sowie Verfahren zur Bildung eines solchen neuronalen Netzes

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5155801A (en) * 1990-10-09 1992-10-13 Hughes Aircraft Company Clustered neural networks
US5239594A (en) * 1991-02-12 1993-08-24 Mitsubishi Denki Kabushiki Kaisha Self-organizing pattern classification neural network system
EP0574951A2 (de) * 1992-06-18 1993-12-22 Seiko Epson Corporation Spracherkennungssystem
EP1073012A1 (de) * 1999-07-30 2001-01-31 Eidgenössische Technische Hochschule Zürich Verfahren und Schaltung für neuron-ähnliche Datenverarbeitung
EP1327959A2 (de) * 2002-01-11 2003-07-16 EADS Deutschland GmbH Neuronales Netz zur Modellierung eines physikalischen Systems sowie Verfahren zur Bildung eines solchen neuronalen Netzes

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SZABO MIRUNA ET AL: "COORPERATION AND BIASED COMPETITION MODEL CAN EXPLAIN ATTENTIANAL FILTERING IN THE PREFRONTAL CORTEX" EUROPEAN JOURNAL OF NEUROSCIENCE, OXFORD UNIVERSITY PRESS, GB, Bd. 19, Nr. 6, April 2004 (2004-04), Seiten 1969-1977, XP008069137 ISSN: 0953-816X in der Anmeldung erwähnt *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7577099B1 (en) * 2006-04-06 2009-08-18 At&T Corp. Method and apparatus for fault localization in a network
EP1975857A3 (de) * 2007-03-27 2009-03-25 Siemens Aktiengesellschaft Verfahren zur rechnergestützten Verarbeitung von in einem Sensornetzwerk erfassten Messwerten

Also Published As

Publication number Publication date
WO2006005665A3 (de) 2006-12-07

Similar Documents

Publication Publication Date Title
DE68928484T2 (de) Verfahren zum erkennen von bildstrukturen
DE102008020379A1 (de) Verfahren zur rechnergestützten Steuerung und/oder Regelung eines technischen Systems
WO2007036465A2 (de) Verfahren zum rechnergestützten lernen eines neuronalen netzes und neuronales netz
DE102019209644A1 (de) Verfahren zum Trainieren eines neuronalen Netzes
Ludwig Planbasierte Mensch-Maschine-Interaktion in multimodalen Assistenzsystemen
DE60125536T2 (de) Anordnung zur generierung von elementensequenzen
WO2020182541A1 (de) Verfahren zum betreiben eines roboters in einem multiagentensystem, roboter und multiagentensystem
EP1690219A2 (de) Inferenzmaschine
DE10162927A1 (de) Auswerten von mittels funktionaler Magnet-Resonanz-Tomographie gewonnenen Bildern des Gehirns
WO2006005665A2 (de) Verfahren zur reaktion auf kontextänderungen mit einem neuronalen netz und neuronales netz zur reaktion auf kontextänderungen
WO2020178009A1 (de) Training neuronaler netzwerke für effizientes implementieren auf hardware
DE112020005613T5 (de) Neuromorphe Einheit mit Kreuzschienen-Array-Struktur
DE60022398T2 (de) Sequenzgenerator
DE112020004025T5 (de) Gegnerisches und koopoeratives Nachahmungslernen zur dynamischen Behandlung
DE19703964C1 (de) Verfahren zur Transformation einer zur Nachbildung eines technischen Prozesses dienenden Fuzzy-Logik in ein neuronales Netz
Tutić et al. Soziale Normen
DE3609925C2 (de)
EP1359539A2 (de) Neurodynamisches Modell der Verarbeitung visueller Informationen
DE102017219269A1 (de) Klassifizierung mit automatischer Auswahl aussichtsreicher Lerndaten
DE102020210700A1 (de) Flexiblerer iterativer Betrieb künstlicher neuronaler Netzwerke
DE69702116T2 (de) Verfahren zur verarbeitung von datenströmen in einem neuronalen netzwerk und ein neuronales netzwerk
WO2006005669A2 (de) System zur informationsextraktion und/oder informationsbewertung
WO2006005663A2 (de) Verfahren zur dynamischen informationsselektion mit einem neuronalen netz und neuronales netz zur dynamischen informationsselektion
DE102021212906A1 (de) Verfahren zum Steuern eines Agenten
Maasjosthusmann et al. Explainable Artificial Intelligence: Analyse und Visualisierung des Lernprozesses eines Convolutional Neural Network zur Erkennung deutscher Straßenverkehrsschilder (Explainable Artificial Intelligence: Analysis and Visualization of a Convolutional Neural Network for the Recognition of German Traffic Signs)

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A2

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BW BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS JP KE KG KM KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NA NG NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SM SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A2

Designated state(s): BW GH GM KE LS MW MZ NA SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LT LU MC NL PL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
NENP Non-entry into the national phase

Ref country code: DE

WWW Wipo information: withdrawn in national office

Country of ref document: DE

122 Ep: pct application non-entry in european phase