-
Die
Erfindung betrifft die flexible Repräsentation einer Sequenz. Die
Sequenz ist hierbei in einem neuronalen Netz gespeichert. Hierzu
muss es möglich
sein, die Sequenz in das neuronale Netz einzuspielen. Weiterhin
muss es möglich
sein, die Sequenz wiederzugeben, d. h. aus dem neuronalen Netz auszulesen.
-
Unter
Sequenz wird eine Abfolge von Schritten verstanden. Bei den einzelnen
Schritten kann es sich beispielsweise um Handlungsanweisungen, z. B.
Steuerinformationen für
einen Roboterarm, oder andere Daten handeln. Viele motorische Abläufe, wie etwa
der menschliche Gang oder das Wählen
einer Telefonnummer, beruhen auf Vorgängen, die in Form von Sequenzen
repräsentiert
werden können.
Auch die menschliche Sprache kann durch Sequenzen abgebildet werden.
So kann man Sätze
in Sequenzen von Wörtern
oder Silben untergliedern und gesprochene Sprache in Sequenzen von
Phonemen unterteilen. Weiterhin lassen sich beliebige andere Vorgänge und
kausale Zusammenhänge
in Form von Sequenzen repräsentieren.
-
Die
Repräsentation
von Sequenzen mit neuronalen Netzen, welche im Forschungsgebiet
der künstlichen
Intelligenz entwickelt werden und breite Anwendungen ermöglichen,
ist daher wünschenswert.
Aus der Schrift [7] sind neuronale Netze bekannt, in welche Sequenzen
durch assoziative, synaptische Langzeit-Modifikation eingespeichert
werden. Dies kann beispielsweise durch Langzeitpotenzierung (Long-Term-Potentiation;
LTP) erfolgen. Hierbei repräsentieren
einzelne Neuronen oder Gruppierungen (Pools) von Neuronen jeweils
einen Schritt der Sequenz. Gemäß dem Stand
der Technik kann ein Neuron (oder Pool) welches einen Schritt in der
Sequenz repräsentiert,
mit einem weiteren Neuron (oder Pool) verschaltet werden, welcher
den nächsten
Schritt in der Sequenz repräsentiert.
Hierzu implementieren rekurrente kollaterale Verbindungen eines
solchen Attraktor-Netzwerks eine feste Zeitverzögerung, wobei eine zeitverzögerte Repräsentation eines
Sequenzschritts mit dem nächsten
Sequenzschritt assoziiert wird. Man spricht hier von einem asymmetrischen
Netzwerk, wobei insbesondere die Verbindungen zwischen den Neuronen,
welche die einzelnen Schritte in der Sequenz repräsentieren, nicht
symmetrisch wie in gewöhnlichen
auto-assoziativen Netzwerken ausgeführt sind. Weitere Hinweise zu
den bekannten Verfahren finden sich in [7].
-
Nachteilig
wirkt sich hierbei aus, dass die Sequenz durch die Struktur des
neuronalen Netzes fixiert wird. Das neuronale Netz muss speziell
für die zu
repräsentierende
Sequenz ausgebildet werden. Es kann nur die eingespeicherte Sequenz
wiedergeben. Auch die Geschwindigkeit der Wiedergabe ist durch die
rekurrenten kollateralen Verbindungen des Attraktor-Netzwerks fest vorgegeben.
Das Einspielen der Sequenz gestaltet sich als zeitaufwändig, da
dem neuronalen Netz Gelegenheit gegeben werden muss, seine synaptischen
Verbindungen z.B. durch Langzeit-Potenzierung an die Sequenz zu
adaptieren.
-
Es
stellt sich somit die Aufgabe, ein Verfahren anzugeben, mit dem
die Einspielung, Repräsentation
oder Wiedergabe einer Sequenz mit einem neuronalen Netz flexibler
gestaltet werden kann. Weiterhin stellt sich die Aufgabe, ein neuronales
Netz anzugeben, mit dem die Einspielung, Repräsentation oder Wiedergabe einer
Sequenz flexibler gestaltet werden kann.
-
Diese
Aufgabe wird durch den unabhängigen
Verfahrensanspruch 1 sowie das neuronale Netz nach dem unabhängigen Patentanspruch
11 gelöst. Bevorzugte
Weiterbildungen ergeben sich aus den abhängigen Ansprüchen.
-
Das
Verfahren zur flexiblen Repräsentation einer
Sequenz mit einem neuronalen Netz sieht Neuronen vor, welche Sequenzpools
bilden. Die Sequenzpools repräsentieren
jeweils einen Schritt der Sequenz. Sie treten miteinander in Konkurrenz,
wobei jeweils ein aktiver Sequenzpool in der Konkurrenz gewinnt.
Weiterhin werden die Sequenzpools bei einer Einspielung der Sequenz
in der Reihenfolge der Sequenz aktiviert. Eine Aktivierungsstärke eines
Sequenzpools nimmt ab, während
er aktiv ist. Die Aktivierungsstärke
eines Sequenzpools nimmt dagegen zu, während er nicht aktiv ist. Das
neuronale Netz wiederholt die Sequenz automatisch, indem immer der
Sequenzpool in der Konkurrenz gewinnt, dessen Aktivierung am längsten zurückliegt.
-
Das
neuronale Netz zur flexiblen Repräsentation einer Sequenz weist
Neuronen auf, welche Sequenzpools bilden, die jeweils einen Schritt
der Sequenz repräsentieren.
Die Sequenzpools stehen miteinander in Konkurrenz, wobei jeweils
ein aktiver Sequenzpool aktivierbar ist. weiterhin sind die Sequenzpools
bei einer Einspielung der Sequenz in der Reihenfolge der Sequenz
aktivierbar. Eine Aktivierungsstärke
eines Sequenzpools ist reduzierbar, während er aktiv ist. Weiterhin
ist die Aktivierungsstärke
eines Sequenzpools inkrementierbar, während er nicht aktiv ist. Die
Sequenz ist durch das neuronale Netz wiederholbar, indem immer der
Sequenzpool in der Konkurrenz gewinnt, dessen Aktivierung am längsten zurückliegt.
-
Das
erfindungsgemäße Verfahren
sowie das erfindungsgemäße neuronale
Netz weisen zahlreiche Vorteile auf. So genügt ein einmaliges Einspielen der
Sequenz, um diese in dem neuronalen Netz zu speichern. Herkömmliche
Verfahren wie etwa die Adaption synaptischer Aktivierungsstärken mittels Langzeit-Potenzierung benötigen dagegen
wiederholte Trainingsdurchläufe.
Ein weiterer Vorteil des erfindungsgemäßen Verfahrens liegt darin,
dass der Takt zur Wiedergabe der Sequenz nicht fest durch die Struktur
des neuronalen Netzes vorgegeben ist. Hierdurch wird es möglich, die
einzelnen Schritte der Sequenz mit flexiblen, unterschiedlichen
Zeitabständen auszulesen.
Gegenüber
herkömmlichen
Verfahren ist die Repräsentation
der Sequenz in dem neuronalen Netz flexibel. Anstelle der alten
Sequenz kann jederzeit eine neue Sequenz in das neuronale Netz eingespielt
werden. Hierzu genügt
es, die entsprechenden Sequenzpools in der richtigen Reihenfolge zu
aktivieren.
-
Gemäß einer
Ausführungsform
der Erfindung sind die Neuronen der Sequenzpools erregende gepulste
Neuronen.
-
Der
Vorteil dieser Ausführungsform
liegt darin, dass erregende gepulste Neuronen künstliche Modelle sind, die
entsprechende biologische Neuronen gut abbilden. Auf diese Weise
wird es möglich, menschartige
Intelligenz nachzubilden.
-
In
einer Weiterbildung enthält
das neuronale Netz hemmende gepulste Neuronen. Die hemmenden gepulsten
Neuronen bilden einen hemmenden Pool. Der hemmende Pool übt eine
globale Hemmung zumindest auf die Sequenzpools aus, welche die Konkurrenz
zwischen den Sequenzpools implementiert.
-
Gemäß einer
Ausführungsform
wird die globale Hemmung kurzzeitig verstärkt, um den aktiven Sequenzpool
zu deaktivieren, woraufhin der nächste Sequenzpool
in der Konkurrenz gewinnt.
-
Durch
die Verstärkung
der globalen Hemmung wird es möglich,
die Zeitdauer der einzelnen Sequenzschritte von außen zu steuern.
Im Gegensatz zum Stand der Technik, bei dem die Zeitdauer der einzelnen
Sequenzschritte identisch sein und im voraus festgelegt werden muss,
ermöglicht
die Erfindung ein flexibles, spontanes Weiterschalten der Sequenz.
-
Gemäß einer
Ausführungsform
enthält
das neuronale Netz Verschaltungen, welche durch Hebb'sches Lernen ausgebildet
werden.
-
Durch
das Hebb'sche Lernen
werden den einzelnen Sequenzpools Inhalte zugeordnet, d. h. dass
ein Sequenzpool durch einen bestimmten Inhalt aktiviert wird bzw.
dass aus der Aktivierung eines Sequenzpools auf einen bestimmten
Inhalt geschlossen werden kann. Auf diese Weise können die
Sequenzpools als Inhalt z. B. jeweils einen Schritt einer motorischen
Sequenz repräsentieren.
-
In
einer Weiterbildung enthält
das neuronale Netz Elementpools. Zur Einspielung der Sequenz wird
eine Auswahl von Elementpools als Sequenzpools gewählt, indem
sie durch Anregung von außen selektiv
unterstützt
wird.
-
Der
Vorteil dieser Weiterbildung liegt darin, dass aus einer großen Menge
von Elementpools, welche z. B. Wörter
repräsentieren
können,
eine kleine Auswahl als Sequenzpools gewählt wird, welche dann z. B.
einen Satz repräsentiert.
Auf diese Weise wird es möglich,
flexible Sequenzen über
einer sehr großen
Menge von Elementen, z. B. Spracheinheiten, zu bilden.
-
Gemäß einer
Weiterbildung bilden Neuronen einen nicht-spezifischen Pool, welcher die Sequenzpools
anregt.
-
Der
nicht-spezifische Pool trägt
mit spontanen Pulsen zur Ausbildung Biologie-naher Aktivitätsmuster
in dem neuronalen Netz bei, indem er ein Rauschen in die Simulation
einführt.
-
Gemäß einer
Ausführungsform
der Erfindung führt
die Abnahme der Aktivierungsstärke
des aktiven Sequenzpools dazu, dass er in der Konkurrenz verliert,
woraufhin der nächste
Sequenzpool gewinnt.
-
Diese
Ausführungsform
ermöglicht
ein automatisches Weiterschalten der Sequenz, sobald sich der jeweils
aktive Sequenzpool erschöpft.
Das neuronale Netz wird dadurch in die Lage versetzt, die Sequenz
ohne Zutun von außen
immer wieder abzuspielen. Durch dieses fortwährende Abspielen kann die Sequenz in
dem neuronalen Netz wie in einem Langzeit-Gedächtnis gespeichert werden.
-
In
einer Weiterbildung beruht die Abnahme der Aktivierungsstärke des
aktiven Sequenzpools auf einer Adaption seiner Neuronen oder Synapsen.
-
Diese
Weiterbildung ermöglicht
eine Simulation, welche nahe an der Biologie des menschlichen Gehirns
liegt und dadurch die Abbildung menschartiger Intelligenz ermöglicht.
-
In
einer besonderen Weiterbildung wird die Abnahme der Aktivierungsstärke des
aktiven Sequenzpools mittels kurzzeitiger synaptischer Depression,
Natrium-Inaktivierung oder Kalzium-Ionen-aktivierten hyperpolarisierenden
Kalium-Strömen
implementiert.
-
Gemäß einer
Ausführungsform
der Erfindung wird das neuronale Netz durch eine Schaltung implementiert.
Die Schaltung kann eine analoge oder digitale, elektrische oder
elektronische Schaltung sein. Der Vorteil dieser Ausführungsform
liegt darin, dass der Fachmann die Erfindung z. B. mit einer VLSI-Schaltung (Very Large
Scale Integration) beispielsweise in einem Computerchip implementieren kann.
-
Im
Folgenden wird die Erfindung anhand von Ausführungsbeispielen näher erläutert, die
in den Figuren schematisch dargestellt sind. Im Einzelnen zeigt:
-
1:
den Aufbau eines Pools;
-
2:
den Aufbau eines neuronalen Netzes mit Sequenzpools;
-
3:
den Aufbau eines neuronalen Netzes mit Elementpools und Sequenzpools.
-
1 zeigt
den Aufbau eines Pools 100. Der Pool beinhaltet eine Anzahl
von Neuronen 101. Mit Neuronen 101 sind im Rahmen der
Erfindung immer künstliche
Neuronen gemeint. Künstliche
Neuronen modellieren teilweise oder vollständig einen Typ eines aus der
Biologie bekannten Neurons. Die Modellierung kann durch eine elektronische
Schaltung oder ein mathematisches Modell erfolgen, welches durch eine
Datenverarbeitungsanlage berechnet wird.
-
Die
Neuronen 101 sind über
Verbindungen 102 miteinander vernetzt. Die Verbindungen 102 entsprechen
den Synapsen biologischer Neurone. Die Aktivierungsstärke der
Verbindungen 102 wird durch ein Gewicht w beschrieben.
Neuronen 101, welche stark koaktiviert sein sollen, d.
h. deren Aktivität
stark korrelieren soll, werden über
Verbindungen 102 verknüpft,
welche ein größeres Gewicht
haben als Verbindungen 102 zwischen Neuronen 101,
deren Aktivität
nicht korrelieren soll. Da die Aktivität aller Neuronen 101 in
dem Pool 100 miteinander korrelieren soll, erhalten ihre
Verbindungen 102 ein überdurchschnittliches
Gewicht ws. Dies bedeutet anschaulich, dass
die Neuronen 101 in dem Pool 100 ein Team bilden,
also zusammenarbeiten.
-
Ein überdurchschnittliches
Gewicht ws einer Verbindung 102 ist
größer als
ein durchschnittliches Gewicht w anderer Verbindungen 102.
Ein unterdurchschnittliches Gewicht ww ist
kleiner als das durchschnittliche Gewicht w anderer Verbindungen 102.
Das durchschnittliche Gewicht w der Verbindungen 102 in
einem neuronalen Netz kann je nach Lage, Art oder Funktion der beteiligten
Neuronen 101 unterschiedliche Werte annehmen.
-
Die
Neuronen 101 des Pools 100 teilen jedoch nicht
nur das überdurchschnittliche
Gewicht ws ihrer Verbindungen 102,
sondern erhalten in der Regel auch die gleichen Eingaben von außen. Dies
bedeutet, dass die Gewichte der Verbindungen der Neuronen 101 zu
einem bestimmten Neuron außerhalb
des Pools 100 immer gleich stark ausfallen. Der beschriebene
Pool 100, die Neuronen 101 sowie die beschriebenen
Verbindungen 102 in nerhalb des Pools 100 stellen
einen Idealfall dar. In der Praxis können die Gewichtungen der Verbindungen 102 auch
anders ausfallen. Gleiches gilt für die Verbindungen nach außen. Insbesondere
kann eine Vollvernetzung vorliegen, d. h. dass jedes Neuron 101 mit
jedem anderen Neuron 101 desselben Pools 100 und
jedes anderen Pools verbunden ist.
-
Die
Pools 100 sind an der Biologie des menschlichen Gehirns
angelehnt. Im menschlichen Gehirn bilden große und homogene Populationen von
Neuronen, die eine ähnliche
externe Eingabe empfangen, gegenseitig verkoppelt sind und wahrscheinlich
zusammen als eine Einheit fungieren, Populationen (Pools). Diese
Pools können
eine robustere Verarbeitungs- und Codierungseinheit bilden, weil ihre
momentane Populations-Mittelwert-Anwort,
im Gegensatz zum zeitlichen Mittel eines relativ stochastischen
Neurons in einem großen
Zeitfenster, besser an die Analyse von schnellen Wechseln in der realen
Welt angepasst ist.
-
Die
künstlichen
Pools 100 des erfindungsgemäßen neuronalen Netzes enthalten
gemäß einer Ausführungsform
als Neuronen 101 künstliche,
erregende gepulste Neuronen. Erregende gepulste Neuronen werden
durch Pulse anderer erregender gepulster Neuronen aktiviert und
senden selbst Pulse an weitere Neuronen 101 aus.
-
Die
Neuronen 101 und Pools 100, ihre Verbindungen
und ihre Dynamik können
durch mathematische Modelle simuliert werden. Die Modellierung kann
durch eines oder mehrere Konzepte der folgenden Gruppe implementiert
werden: Mean-Field-Ansatz, Integrate-and-Fire-Ansatz, Ansatz für pulscodierende
Neurone, Multikompartiment-Ansatz und Hodgkin-Huxley-Ansatz. Diese
Konzepte und Ansätze
sind aus den Schriften [1], [2] und [3] bekannt.
-
Das
erfindungsgemäße neuronale
Netz kann als neurodynamisches Netz ausgeführt sein, insbesondere in der
Form eines neurody namischen Netzes gepulster Neuronen. Dies kann
die Verwendung bekannter neuronaler Netze (artificial neural networks),
Multilagenperceptrons, SOMs (self organizing maps) etc. mit einschließen. Die
gepulsten Neuronen können
z. B. als so genannte spikende oder auch als so genannte pulscodierende
Neuronen ausgebildet sein.
-
Anstelle
der neuronalen Modelle kann auch jedes andere vergleichbare mathematische
Modell bzw. eine andere Schaltungsart zum Einsatz kommen, sofern
diese die gleiche Dynamik abbildet. So kann die Erfindung auch etwa
als VLSI-Schaltung z.B. in einem Computerchip implementiert werden.
-
Intelligente
Agenten, welche das erfindungsgemäße Verfahren bzw. das neuronale
Netz einsetzen, können
zur neurokognitiven Prozess-Steuerung, unter anderem für technische
Vorgänge,
zur neurokognitiven Fahrerassistenz sowie zur neurokognitiven Robotersteuerung
eingesetzt werden.
-
2 zeigt
ein neuronales Netz 60. Das neuronale Netz 60 stellt
eine spezielle Ausführungsform
der Erfindung dar. Weiterbildungen der in 2 gezeigten
Ausführungsform
durch Hinzunahme oder Fortlassung von Elementen sind möglich.
-
2 zeigt
ein neuronales Netz 60 mit einer Anzahl von Pools. Das
neuronale Netz 60 ist ein autoassoziatives Attraktor-Netzwerk
mit rekurrenten Verbindungen. Das neuronale Netz 60 enthält eine Anzahl
von Sequenzpools S1 bis SN.
Die Sequenzpools S1 bis SN repräsentieren
jeweils einen Schritt einer Sequenz, den man auch als Einheit oder
Element der Sequenz bezeichnen kann. Ein solches Element der Sequenz
kann beispielsweise ein visueller Stimulus, eine einfache motorische
Handlung, ein Phonem oder ein syntaktisches Element sein.
-
Attraktoren
des neuronalen Netzes 60, also unterschiedliche Aktivitätsmuster,
in denen sich das neuronale Netz 60 stabi lisieren kann,
entsprechen jeweils einer Aktivierung eines der Sequenzpools S1 bis SN. Da die
Sequenzpools S1 bis SN miteinander
in Konkurrenz stehen, kann sich immer nur ein Sequenzpool S1 bis SN (bzw. der
entsprechende Attraktor) durchsetzen, welcher als (jeweils) aktiver
Sequenzpool S1 bis SN bezeichnet
wird Rekurrente Verbindungen zwischen Neuronen jedes Sequenzpools S1 bis SN mit Neuronen
desselben Pools sind mit einem überdurchschnittlich
starken Gewicht ws ausgeführt. Verbindungen
zwischen Neuronen unterschiedlicher Sequenzpools S1 bis
SN sind dagegen mit einem unterdurchschnittlich
starken Gewicht ww ausgeführt. In
Verbindung mit einer globalen Hemmung, welche durch einen hemmenden
Pool 30 auf die Sequenzpools S1 bis
SN ausgeübt
wird, implementieren diese Gewichte die Konkurrenz zwischen den
einzelnen Sequenzpools S1 bis SN.
Dies liegt darin begründet,
dass die Sequenzpools S1 bis SN ihrerseits
den hemmenden Pool 30 über
Verbindungen mit einem durchschnittlichen Gewicht w anregen. Auf diese
Weise stimuliert der aktive Sequenzpool S1 bis SN die globale Hemmung, wodurch er seine Konkurrenten
indirekt hemmt.
-
Um
die Simulation an die Biologie des menschlichen Hirns anzunähern, ist
es in einer speziellen Ausführungsform
der Erfindung vorgesehen, dass die Sequenzpools S1 bis
SN durch einen nicht-spezifischen Pool 40 über Verbindungen
mit einem unterdurchschnittlichen Gewicht ww angeregt werden.
Der nicht-spezifische Pool 40 ist im Gegensatz zu den Sequenzpools
S1 bis SN nicht
durch einen bestimmten Inhalt aktivierbar. Er trägt mit spontanen Pulsen zur
Ausprägung
realistischer Pulsverteilungen in dem neuronalen Netz 60 bei.
Auf diese Weise kann die Aktivität
der Neuronen in dem neuronalen Netz 60 ausbalanciert werden.
-
Sinnvollerweise
unterliegt der nicht-spezifische Pool 40 ebenso wie die
Sequenzpools S1-SN der globalen
Hemmung durch den hemmenden Pool 30.
-
Das überdurchschnittlich
starke Gewicht ws kann zum Beispiel bei
2,1 liegen. Die Neuronen des hemmenden Pools 30 sind mit
einem durchschnittlichen Gewicht w = 1 miteinander verbunden. Dieses Gewicht
trägt zu
einem nicht-oszillierenden Pulsmuster bei. Die hemmenden Neuronen
des hemmenden Pools 30 sind weiterhin mit dem durchschnittlichen Gewicht
w = 1 mit den Neuronen der Sequenzpools S1 bis
SN sowohl in Hin- als auch in Rückrichtung
verknüpft.
Die Neuronen des nicht-spezifischen Pools 40 sind mit dem
unterdurchschnittlichen Gewicht ww mit den
Neuronen der Sequenzpools S1 bis SN verknüpft.
Das Gewicht der umgekehrten Verknüpfungen liegt z.B. bei dem
durchschnittlichen Gewicht w = 1.
-
Die
genannten Gewichte der Verbindungen zwischen den Neuronen und Pools
von Neuronen stellen nur einen groben Richtwert dar. Optimale Werte
für die
einzelnen Gewichte sind im Experiment ermittelbar.
-
2 zeigt
weiterhin eine Aktivierung 20, welche die Sequenz in das
neuronale Netz 60 einspielt. In einer Ausführungsform
der Erfindung ist den Sequenzpools S1 bis
SN bereits ein spezifischer Inhalt zugeordnet,
beispielsweise durch Hebb'sches
Lernen. Dies bedeutet, dass bei Zufuhr eines bestimmten Inhalts
der entsprechende Sequenzpool S1 bis SN aktiviert würde. Zur Zufuhr des jeweiligen
Inhalts weisen einige oder alle Neuronen der Sequenzpools S1 bis SN Verbindungen
nach außen
auf, über
welche die Aktivierung 20 erfolgen kann.
-
Da
die Sequenzpools S1 bis SN in
dieser Ausführungsform
bereits für
ihren spezifischen Inhalt aktivierbar sind, werden die Sequenzpools
S1 bis SN durch
die Aktivierung 20 lediglich in der Reihenfolge der Sequenz
aktiviert. Durch diese Unterstützung von
außen
wird erzwungen, dass der jeweilige Sequenzpool S1 bis
SN in der Konkurrenz gewinnt. Während er
aktiviert ist, erschöpft
sich eine Aktivierungsstärke
des akti ven Sequenzpools S1 bis SN. Unter der Aktivierungsstärke eines
Sequenzpools S1 bis SN wird
seine Fähigkeit
verstanden, sich in der Konkurrenz mit den anderen Sequenzpools
S1 bis SN durchzusetzen.
Die Abnahme der Aktivierungsstärke
kann somit z. B. dadurch implementiert werden, dass die Aktivität der Neuronen
des jeweiligen Sequenzpools S1 bis SN zurückgeht.
-
Eine
andere Möglichkeit
besteht darin, die Synapsen (Verbindungen der Neuronen des jeweiligen
Sequenzpools S1 bis SN)
so zu adaptieren, dass sie weniger Pulse weiterleiten. Durch Umkehrung
der jeweiligen Adaption der Neuronen oder Synapsen kann sich der
betroffene Sequenzpool S1 bis SN regenerieren,
sobald er nicht mehr aktiv ist, d. h. sobald er in der Konkurrenz
verloren hat.
-
Es
genügt,
im Rahmen der Aktivierung 20 die Sequenzpools S1 bis SN einmal in
der richtigen Reihenfolge zu aktivieren. Da sich die Sequenzpools
S1 bis SN anschließend in
der gleichen Reihenfolge regenerieren, gewinnen sie anschließend in
der gleichen Reihenfolge in der Konkurrenz, wodurch das neuronale
Netz die Sequenz selbstständig
abspielen kann.
-
Um
die Sequenz auszulesen, kann z.B. direkt an den Neuronen der Sequenzpools
S1 bis SN abgegriffen
werden, welcher Sequenzpool S1 bis SN zum jeweiligen Zeitpunkt die größte Aktivität aufweist.
Dieser entspricht dann dem aktuellen Schritt der Sequenz. Die Sequenzpools
können
auch mit einer anderen Schicht des neuronalen Netzes 60 verschaltet
werden, um entsprechend der Sequenz motorische Handlungen oder Sprache
zu generieren.
-
Die
Aktivierungsstärke
des jeweils aktiven Sequenzpools S1 bis
SN kann sich so stark erschöpfen, dass
er von selbst in der Konkurrenz verliert. Auf diese Weise wird die
Sequenz automatisch durch das neuronale Netz 60 weitergeschaltet.
Alternativ kann aber auch ein Signal 50 den hemmenden Pool 30 aktivieren,
wodurch die globale Hemmung so stark verstärkt wird, dass der aktive Sequenzpool
S1 bis SN deaktiviert
wird.
-
Nach
der verstärkten
globalen Hemmung gewinnt der nächste
Sequenzpool S1 bis SN in
der Konkurrenz, wodurch die Sequenz fortgeschaltet wird. Auf diese
Weise ist es möglich,
die Sequenz durch das Signal 50 nach flexiblen Zeitabständen spontan weiterzuschalten.
-
Die
Adaption der Aktivierungsstärke
der Sequenzpools S1 bis SN kann
auf unterschiedlichen Wegen erfolgen. Ein Verfahren zur Pulsfrequenz-Adaption
beruht auf Natrium-Inaktivierung. In diesem Fall ist die interne
Wahrscheinlichkeit einer Puls-Emission diejenige
Variable, welche zur Regulierung der Aktivierungsstärke des
Sequenzpools S1 bis SN manipuliert
wird und mit der zeitlichen Abfolge der Sequenz korreliert. Hierbei
wird ein Integrieren-und-Feuern-Modell der Neuronen der Sequenzpools
S1 bis Sn um den Aspekt erweitert, dass Natrium-Kanäle nach
einer Puls-Emission inaktiviert werden. Weitere Hinweise zur Implementation
dieses Verfahrens findet der Fachmann in [4].
-
Ein
alternatives Verfahren zur Regulation der Pulsfrequenz, um die Aktivierungsstärke der
Sequenzpools S1 bis SN zu
adaptieren, ist der Mechanismus der Kalzium-Ionen-aktivierten hyperpolarisierenden
Kalium-Ströme.
Hierbei wird das Integrieren-und-Feuern-Modell der Neuronen der
Sequenzpools S1 bis SN erweitert,
um die Kalium-Ströme
zu berücksichtigen.
Hierbei ist die Konzentration der Kalzium-Ionen innerhalb der Membran
der Neuronen diejenige Variable, welche zur Regulation der Aktivierungsstärke des
Sequenzpools eingestellt wird und mit der zeitlichen Abfolge der
Sequenz korreliert. Die Erweiterung des Integrieren-und-Feuern-Modells
um die Kalium-Ströme
ist in der Schrift [5] beschrieben.
-
Eine
dritte Möglichkeit,
die Aktivierungsstärke
der Sequenzpools S1 bis SN zu
regulieren, besteht in einer kurzzeitigen synaptischen Depression.
Hierbei ist die Wahrscheinlichkeit einer Neurotransmitter-Ausschüttung in
Synapsen (den Verbin dungen) der Neuronen der Sequenzpools S1 bis SN diejenige Variable,
welche zur Regulation der Aktivierungsstärke der Sequenzpools S1 bis SN herangezogen
wird und mit der zeitlichen Abfolge der Sequenz korreliert. Die
Implementation des Mechanismus der synaptischen Depression ist in
der Schrift [6] beschrieben.
-
Die
kurzzeitige synaptische Depression stellt einen Mechanismus dar,
um die Synapsen der Neuronen der Sequenzpools S1 bis
SN zu adaptieren. Die anderen beiden Verfahren,
Natrium-Inaktivierung bzw. Kalzium-Ionen-aktivierte hyperpolarisierende Kalium-Ströme, erlauben
es, die Neuronen selbst zu adaptieren.
-
Es
können
auch beliebige andere Verfahren eingesetzt werden, um die Aktivierungsstärke der Sequenzpools
S1 bis SN zu regulieren.
-
Im
Rahmen eines Integrieren-und-Feuern-Modells können als Verbindung der Neuronen des
neuronalen Netzes 60 in Anlehnung an die Biologie AMPA,
NMDA und GABA-Synapsen dynamisch modelliert werden, um eine realistische
Puls-Dynamik zu gewährleisten.
Die Ausgestaltungen der entsprechenden Modelle sind der genannten
Literatur zu entnehmen.
-
Das
neuronale Netz 60 kann zum Beispiel mit 800 Pyramidenzellen
als erregenden gepulsten Neuronen und 200 Interneuronen als hemmenden gepulsten
Neuronen implementiert werden. Hierbei können zum Beispiel jeweils 80 Pyramidenzellen
einen Sequenzpool S1 bis SN bilden.
Diese Zahlen stellen lediglich ein Beispiel dar. Jedes Neuron, sowohl Pyramidenzellen
als auch Interneuronen, kann zum Beispiel 800 erregende synaptische
Verbindungen von außerhalb
des Netzwerks aufweisen.
-
Gemäß einer
Ausführungsform
der Erfindung sind sämtliche
Neuronen des neuronalen Netzes 60 miteinander vernetzt.
Sämtliche
synaptischen Verbindungen sind gemäß einer Ausführungs form
so ausgebildet, als ob sie durch Hebb'sches Lernen entstanden wären.
-
3 zeigt
eine erweiterte Ausführungsform der
Erfindung. Gezeigt ist eine Anzahl von Elementpools 70,
welche mit den Bezugszeichen 1 bis 14 bezeichnet sind. Bei den Elementpools 70 handelt
es sich ebenfalls um Pools 100 von Neuronen 101,
wie sie in 1 dargestellt wird. Jeder Elementpool 70 repräsentiert
eine inhaltliche Einheit, zum Beispiel ein Wort, ein Phonem, eine
Zahl, ein syntaktisches Element, eine elementare motorische Handlung, usw..
So können
die in 3 gezeigten Elementpools 70 unterschiedliche
Wörter
repräsentieren.
In dem in 3 gezeigten Fall soll eine Sequenz
gespeichert werden, welche aus der Folge der Inhalte besteht, welche
durch die Elementpools 6, 5, 4, 9 und 11 repräsentiert werden. Hierbei könnte es
sich zum Beispiel um einen Satz handeln.
-
Um
die Sequenz einzuspielen, zu speichern und wiederzugeben, werden
die Elementpools 6, 5, 4, 9 und 11 als Sequenzpools S1,
S2, S3, S4 und S5 gewählt, indem
diese durch eine Aktivierung 20 selektiv unterstützt werden.
Dies bedeutet, dass die Neuronen 101 dieser Elementpools 70 über synaptische
erregende Verbindungen von außerhalb
des neuronalen Netzes 60 kontinuierlich angeregt werden.
Dies führt
dazu, dass die verbleibenden Elementpools 1, 2, 3, 7, 8, 10, 12,
13, 14 in der Konkurrenz mit den gewählten Sequenzpools S1 bis S5 unterliegen
müssen.
-
Zur
Einspielung werden nun die Sequenzpools S1 bis
S5 in der Reihenfolge der Sequenz aktiviert.
Da sich ihre Aktivierungsstärke
während
ihrer Aktivierung erschöpft,
gewinnen sie nach der Einspielung der Sequenz in der gleichen Reihenfolge, wodurch
das neuronale Netz 60 die Sequenz analog zu dem in 2 gezeigten
Fall selbständig
abspielt. Der Unterschied besteht hierbei darin, dass in dieser Ausführungsform
die Elementpools 4, 5, 6, 9, 11 durch die Aktivierung 20 auch
wäh rend
der Wiedergabe selektiv unterstützt
werden müssen,
damit kein anderer Elementpool 70 in der Konkurrenz gewinnen kann.
-
Analog
zu dem in 2 gezeigten Fall weist auch
das neuronale Netz 60 in 3 einen
hemmenden Pool 30 auf, welcher eine globale Hemmung der Elementpools 70 und
Sequenzpools S1 bis S5 implementiert,
um deren Konkurrenz zu ermöglichen.
-
Auch
in diesem Ausführungsbeispiel
kann die Fortschaltung der Sequenz erfolgen, indem sich der aktive
Sequenzpool S1 bis S5 so
stark erschöpft, dass
er in der Konkurrenz verliert. Alternativ kann auch hier die globale
Hemmung durch den hemmenden Pool 30 mittels eines externen
Signals 50 kurzzeitig verstärkt werden, um den aktiven
Sequenzpool S1 bis S5 zu
deaktivieren und die Aktivierung des nächsten Sequenzpools S1 bis S5 zu ermöglichen. Analog
zu dem in 2 beschriebenen Fall zeigt auch 3 einen
nicht-spezifischen Pool 40, welcher mit spontanen Pulsen
zur Ausbildung realistischer Pulsverteilungen beiträgt. Auch
hier ist es sinnvoll, dass der nicht-spezifische Pool 40 ebenfalls
der globalen Hemmung durch den hemmenden Pool 30 unterliegt.
-
Gemäß einer
Ausführungsform
kann die globale Hemmung etwa dadurch implementiert werden, dass
die hemmenden Neuronen des hemmenden Pools 30 mit sämtlichen
erregenden Neuronen, also die Neuronen der Elementpools 70 (incl.
der Sequenzpools S1 bis S5)
sowie des nicht-spezifischen Pools 40 verschaltet werden.
Die erregenden gepulsten Neuronen des neuronalen Netzes 60,
welche gemäß dieser
Ausführungsform
der globalen Hemmung durch den hemmenden Pool 30 unterliegen,
sind in den 2 und 3 durch
eine Gruppierung 80 gekenzeichnet.
-
Die
Aktivierung 20, welche diejenigen Elementpools 70 selektiert,
welche als Sequenzpools S1 bis S5 gewählt
werden sollen, könnte
zum Beispiel mit Hilfe einer zusätzlichen
Schicht des neuronalen Netzes 60 implementiert werden,
welche die Auswahl der Sequenzpools S1 bis
S5 in einem Kurzzeitgedächtnis speichert. Abweichend
von 3 kann die Sequenz auch durch weniger oder mehr
als den gezeigten Sequenzpools S1 bis S5 gebildet werden. Weiterhin können die
Sequenzpools S1 bis S5 auch aus
einer abweichenden Anzahl von Elementpools 70 gewählt werden.
So wäre
beispielsweise eine Menge von 10.000 Elementpools 70 vorstellbar.
Diese Zahlen stellen jedoch lediglich ein Beispiel dar und sind
abhängig
von der jeweiligen Anwendung. Das Neuronale Netz 60 muss
vor oder während
dem Einspielen der Sequenz durch assoziative synaptische Langzeit-Modifikation
erlernen, welcher Elementpool 70 bzw. welcher Sequenzpool
S1 bis S5 welchen
Inhalt repräsentiert.
Dieser Lernvorgang kann jedoch auch direkt beim Einspielen der Sequenz
durch assoziative synaptische Modifikation erfolgen.
-
Die
Erfindung eignet sich besonders zur Implementation eines Kurzzeitgedächtnisses.
Es ist jedoch auch denkbar, die gespeicherte Sequenz in einem Langzeitgedächtnis abzulegen,
welches z. B. als eigenes neuronales Netz mit dem neuronalen Netz 60 verbunden
wird. Insbesondere ist es auch möglich,
die Sequenz in dem neuronalen Netz 60 immer wieder abzuspielen,
wodurch sie auch über
lange Zeiträume
gespeichert bleibt. Ein besonderer Vorteil liegt weiterhin darin,
dass jederzeit eine neue Sequenz eingespielt werden kann, wodurch
die alte Sequenz sofort gelöscht
wird. Auch kann der Effekt genutzt werden, dass ein Unterbrechen
des Abspielens die Sequenz löscht,
sobald sich die Sequenzpools S1 bis S5 bzw. S1 bis SN regeneriert haben.
-
Das
neuronale Netz 60 kann zunächst keine Sequenzen abspielen,
in denen ein Element mehrfach vorkommt, zum Beispiel bei einer Sequenz
der Elementpools 1, 3, 1, 2. In diesem Fall würde das neuronale Netz 60 lediglich
die Sequenz 3, 1, 2 erinnern und abspielen. Um diese Einschränkung zu
umgehen, kann die Sequenz 1, 3, 1, 2 durch eine Sequenz der Elementpools
13, 12 codiert werden, wobei der Elementpool 13 den Teil 1, 3 und
der Elementpool 12 den Teil 1, 2 der Sequenz repräsentiert.
Dies wird in der Fachwelt als "Chunking" bezeichnet. Die Sequenz
der Elementpools 13 und 12 kann das neuronale Netz 60 problemlos
speichern und wiedergeben, indem diese beiden Elementpool als Sequenzpools
S1 und S2 gewählt werden.
-
Da
das neuronale Netz 60 gemäß einer Ausführungsform
die Sequenz automatisch abspielt, kann es auch als Taktgeber für ein anderes
Teilsystem innerhalb oder außerhalb
des neuronalen Netzes 60 herangezogen werden. Wenn es sich
bei der Sequenz z.B. um eine Tonfolge handelt, so könnte das
andere Teilsystem etwa die Tonfolge akustisch ausgeben.
-
Wenn
das neuronale Netz 60 die Sequenz fortwährend abspielt, kann das Abspielen
durch das Signal 50 angehalten oder abgebrochen werden.
-
Zitierte Literatur
-
- [1] Szabo, M., Almeida, R., Deco, G. und Stetter,
M. (2004): "Cooperation
and biased competition model can explain attentional filtering in
the prefrontal cortex",
Eur. J. Neurosci., Vol. 9, S. 1669–1677.
- [2] Brunel, N. und Wang, X. J. (2001): "Effects of neuromodulation in a cortical
network model of object working memory dominated by recurrent inhibition", Comput. Neurosci.
11: 63–85.
- [3] Koch, C. und Segev, I (Hrsg.) (2001): "Methods in Neuronal Modeling: From Synapses
to Networks", MIT
Press, Cambridge, MA, Kapitel 1–5.
- [4] Rauch, A., La Camera, G., Luescher, H.-R., Senn, W. und
Fusi, S. (2003): "Neocortical
pyramidal cells respond as integrate-and-fire neurons to in vivo-like input
currents", Journal
of Neurophysiology, im Druck, erhältlich am 10.09.2004 im Internet
unter http://jn.physiology.org/cgi/reprint/00293.2003v1.
- [5] Liu, Y. und Wang, X.-J. (2001): "Spike-Frequency Adaptation of a Generalized
Leaky Integrate-and-Fire Model Neuron", Journal of Computational Neuroscience
10, S. 25–45.
- [6] Dayan, P und Abbott, L. (2001): "Theoretical Neuroscience: Computational
and Mathematical Modeling of Neural Systems", MIT Press, Boston, S. 281–330.
- [7] Hertz J., Krogh A. und Palmer R. G. (1994): "Introduction to the
Theory of Neural Computation",
Addison-Wesley, S. 63–69.