[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

DE102004045479A1 - Verfahren zur flexiblen Repräsentation einer Sequenz mit einem neuronalen Netz und neuronales Netz - Google Patents

Verfahren zur flexiblen Repräsentation einer Sequenz mit einem neuronalen Netz und neuronales Netz Download PDF

Info

Publication number
DE102004045479A1
DE102004045479A1 DE102004045479A DE102004045479A DE102004045479A1 DE 102004045479 A1 DE102004045479 A1 DE 102004045479A1 DE 102004045479 A DE102004045479 A DE 102004045479A DE 102004045479 A DE102004045479 A DE 102004045479A DE 102004045479 A1 DE102004045479 A1 DE 102004045479A1
Authority
DE
Germany
Prior art keywords
sequence
pool
pools
neural network
neurons
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
DE102004045479A
Other languages
English (en)
Inventor
Gustavo Prof. Deco
Martin Dr. Stetter
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens AG
Original Assignee
Siemens AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens AG filed Critical Siemens AG
Priority to DE102004045479A priority Critical patent/DE102004045479A1/de
Priority to PCT/EP2005/053893 priority patent/WO2006032576A2/de
Publication of DE102004045479A1 publication Critical patent/DE102004045479A1/de
Ceased legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/049Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Medicines That Contain Protein Lipid Enzymes And Other Medicines (AREA)
  • Feedback Control In General (AREA)

Abstract

Die Erfindung betrifft die flexible Repräsentation einer Sequenz. DOLLAR A Das Verfahren zur flexiblen Repräsentation einer Sequenz mit einem neuronalen Netz sieht Neronen vor, welche Sequenzpools bilden. Die Sequenzpools repräsentieren jeweils einen Schritt der Sequenz. Sie treten miteinander in Konkurrenz, wobei jeweils ein aktiver Sequenzpool in der Konkurrenz gewinnt. Weiterhin werden die Sequenzpools bei einer Einspielung der Sequenz in der Reihenfolge der Sequenz aktiviert. Eine Aktivierungsstärke eines Sequenzpools nimmt ab, während er aktiv ist. Die Aktivierungsstärke eines Sequenzpools nimmt dagegen zu, während er nicht aktiv ist. Das neuronale Netz wiederholt die Sequenz automatisch, indem immer der Sequenzpool in der Konkurrenz gewinnt, dessen Aktivierung am längsten zurückliegt.

Description

  • Die Erfindung betrifft die flexible Repräsentation einer Sequenz. Die Sequenz ist hierbei in einem neuronalen Netz gespeichert. Hierzu muss es möglich sein, die Sequenz in das neuronale Netz einzuspielen. Weiterhin muss es möglich sein, die Sequenz wiederzugeben, d. h. aus dem neuronalen Netz auszulesen.
  • Unter Sequenz wird eine Abfolge von Schritten verstanden. Bei den einzelnen Schritten kann es sich beispielsweise um Handlungsanweisungen, z. B. Steuerinformationen für einen Roboterarm, oder andere Daten handeln. Viele motorische Abläufe, wie etwa der menschliche Gang oder das Wählen einer Telefonnummer, beruhen auf Vorgängen, die in Form von Sequenzen repräsentiert werden können. Auch die menschliche Sprache kann durch Sequenzen abgebildet werden. So kann man Sätze in Sequenzen von Wörtern oder Silben untergliedern und gesprochene Sprache in Sequenzen von Phonemen unterteilen. Weiterhin lassen sich beliebige andere Vorgänge und kausale Zusammenhänge in Form von Sequenzen repräsentieren.
  • Die Repräsentation von Sequenzen mit neuronalen Netzen, welche im Forschungsgebiet der künstlichen Intelligenz entwickelt werden und breite Anwendungen ermöglichen, ist daher wünschenswert. Aus der Schrift [7] sind neuronale Netze bekannt, in welche Sequenzen durch assoziative, synaptische Langzeit-Modifikation eingespeichert werden. Dies kann beispielsweise durch Langzeitpotenzierung (Long-Term-Potentiation; LTP) erfolgen. Hierbei repräsentieren einzelne Neuronen oder Gruppierungen (Pools) von Neuronen jeweils einen Schritt der Sequenz. Gemäß dem Stand der Technik kann ein Neuron (oder Pool) welches einen Schritt in der Sequenz repräsentiert, mit einem weiteren Neuron (oder Pool) verschaltet werden, welcher den nächsten Schritt in der Sequenz repräsentiert. Hierzu implementieren rekurrente kollaterale Verbindungen eines solchen Attraktor-Netzwerks eine feste Zeitverzögerung, wobei eine zeitverzögerte Repräsentation eines Sequenzschritts mit dem nächsten Sequenzschritt assoziiert wird. Man spricht hier von einem asymmetrischen Netzwerk, wobei insbesondere die Verbindungen zwischen den Neuronen, welche die einzelnen Schritte in der Sequenz repräsentieren, nicht symmetrisch wie in gewöhnlichen auto-assoziativen Netzwerken ausgeführt sind. Weitere Hinweise zu den bekannten Verfahren finden sich in [7].
  • Nachteilig wirkt sich hierbei aus, dass die Sequenz durch die Struktur des neuronalen Netzes fixiert wird. Das neuronale Netz muss speziell für die zu repräsentierende Sequenz ausgebildet werden. Es kann nur die eingespeicherte Sequenz wiedergeben. Auch die Geschwindigkeit der Wiedergabe ist durch die rekurrenten kollateralen Verbindungen des Attraktor-Netzwerks fest vorgegeben. Das Einspielen der Sequenz gestaltet sich als zeitaufwändig, da dem neuronalen Netz Gelegenheit gegeben werden muss, seine synaptischen Verbindungen z.B. durch Langzeit-Potenzierung an die Sequenz zu adaptieren.
  • Es stellt sich somit die Aufgabe, ein Verfahren anzugeben, mit dem die Einspielung, Repräsentation oder Wiedergabe einer Sequenz mit einem neuronalen Netz flexibler gestaltet werden kann. Weiterhin stellt sich die Aufgabe, ein neuronales Netz anzugeben, mit dem die Einspielung, Repräsentation oder Wiedergabe einer Sequenz flexibler gestaltet werden kann.
  • Diese Aufgabe wird durch den unabhängigen Verfahrensanspruch 1 sowie das neuronale Netz nach dem unabhängigen Patentanspruch 11 gelöst. Bevorzugte Weiterbildungen ergeben sich aus den abhängigen Ansprüchen.
  • Das Verfahren zur flexiblen Repräsentation einer Sequenz mit einem neuronalen Netz sieht Neuronen vor, welche Sequenzpools bilden. Die Sequenzpools repräsentieren jeweils einen Schritt der Sequenz. Sie treten miteinander in Konkurrenz, wobei jeweils ein aktiver Sequenzpool in der Konkurrenz gewinnt. Weiterhin werden die Sequenzpools bei einer Einspielung der Sequenz in der Reihenfolge der Sequenz aktiviert. Eine Aktivierungsstärke eines Sequenzpools nimmt ab, während er aktiv ist. Die Aktivierungsstärke eines Sequenzpools nimmt dagegen zu, während er nicht aktiv ist. Das neuronale Netz wiederholt die Sequenz automatisch, indem immer der Sequenzpool in der Konkurrenz gewinnt, dessen Aktivierung am längsten zurückliegt.
  • Das neuronale Netz zur flexiblen Repräsentation einer Sequenz weist Neuronen auf, welche Sequenzpools bilden, die jeweils einen Schritt der Sequenz repräsentieren. Die Sequenzpools stehen miteinander in Konkurrenz, wobei jeweils ein aktiver Sequenzpool aktivierbar ist. weiterhin sind die Sequenzpools bei einer Einspielung der Sequenz in der Reihenfolge der Sequenz aktivierbar. Eine Aktivierungsstärke eines Sequenzpools ist reduzierbar, während er aktiv ist. Weiterhin ist die Aktivierungsstärke eines Sequenzpools inkrementierbar, während er nicht aktiv ist. Die Sequenz ist durch das neuronale Netz wiederholbar, indem immer der Sequenzpool in der Konkurrenz gewinnt, dessen Aktivierung am längsten zurückliegt.
  • Das erfindungsgemäße Verfahren sowie das erfindungsgemäße neuronale Netz weisen zahlreiche Vorteile auf. So genügt ein einmaliges Einspielen der Sequenz, um diese in dem neuronalen Netz zu speichern. Herkömmliche Verfahren wie etwa die Adaption synaptischer Aktivierungsstärken mittels Langzeit-Potenzierung benötigen dagegen wiederholte Trainingsdurchläufe. Ein weiterer Vorteil des erfindungsgemäßen Verfahrens liegt darin, dass der Takt zur Wiedergabe der Sequenz nicht fest durch die Struktur des neuronalen Netzes vorgegeben ist. Hierdurch wird es möglich, die einzelnen Schritte der Sequenz mit flexiblen, unterschiedlichen Zeitabständen auszulesen. Gegenüber herkömmlichen Verfahren ist die Repräsentation der Sequenz in dem neuronalen Netz flexibel. Anstelle der alten Sequenz kann jederzeit eine neue Sequenz in das neuronale Netz eingespielt werden. Hierzu genügt es, die entsprechenden Sequenzpools in der richtigen Reihenfolge zu aktivieren.
  • Gemäß einer Ausführungsform der Erfindung sind die Neuronen der Sequenzpools erregende gepulste Neuronen.
  • Der Vorteil dieser Ausführungsform liegt darin, dass erregende gepulste Neuronen künstliche Modelle sind, die entsprechende biologische Neuronen gut abbilden. Auf diese Weise wird es möglich, menschartige Intelligenz nachzubilden.
  • In einer Weiterbildung enthält das neuronale Netz hemmende gepulste Neuronen. Die hemmenden gepulsten Neuronen bilden einen hemmenden Pool. Der hemmende Pool übt eine globale Hemmung zumindest auf die Sequenzpools aus, welche die Konkurrenz zwischen den Sequenzpools implementiert.
  • Gemäß einer Ausführungsform wird die globale Hemmung kurzzeitig verstärkt, um den aktiven Sequenzpool zu deaktivieren, woraufhin der nächste Sequenzpool in der Konkurrenz gewinnt.
  • Durch die Verstärkung der globalen Hemmung wird es möglich, die Zeitdauer der einzelnen Sequenzschritte von außen zu steuern. Im Gegensatz zum Stand der Technik, bei dem die Zeitdauer der einzelnen Sequenzschritte identisch sein und im voraus festgelegt werden muss, ermöglicht die Erfindung ein flexibles, spontanes Weiterschalten der Sequenz.
  • Gemäß einer Ausführungsform enthält das neuronale Netz Verschaltungen, welche durch Hebb'sches Lernen ausgebildet werden.
  • Durch das Hebb'sche Lernen werden den einzelnen Sequenzpools Inhalte zugeordnet, d. h. dass ein Sequenzpool durch einen bestimmten Inhalt aktiviert wird bzw. dass aus der Aktivierung eines Sequenzpools auf einen bestimmten Inhalt geschlossen werden kann. Auf diese Weise können die Sequenzpools als Inhalt z. B. jeweils einen Schritt einer motorischen Sequenz repräsentieren.
  • In einer Weiterbildung enthält das neuronale Netz Elementpools. Zur Einspielung der Sequenz wird eine Auswahl von Elementpools als Sequenzpools gewählt, indem sie durch Anregung von außen selektiv unterstützt wird.
  • Der Vorteil dieser Weiterbildung liegt darin, dass aus einer großen Menge von Elementpools, welche z. B. Wörter repräsentieren können, eine kleine Auswahl als Sequenzpools gewählt wird, welche dann z. B. einen Satz repräsentiert. Auf diese Weise wird es möglich, flexible Sequenzen über einer sehr großen Menge von Elementen, z. B. Spracheinheiten, zu bilden.
  • Gemäß einer Weiterbildung bilden Neuronen einen nicht-spezifischen Pool, welcher die Sequenzpools anregt.
  • Der nicht-spezifische Pool trägt mit spontanen Pulsen zur Ausbildung Biologie-naher Aktivitätsmuster in dem neuronalen Netz bei, indem er ein Rauschen in die Simulation einführt.
  • Gemäß einer Ausführungsform der Erfindung führt die Abnahme der Aktivierungsstärke des aktiven Sequenzpools dazu, dass er in der Konkurrenz verliert, woraufhin der nächste Sequenzpool gewinnt.
  • Diese Ausführungsform ermöglicht ein automatisches Weiterschalten der Sequenz, sobald sich der jeweils aktive Sequenzpool erschöpft. Das neuronale Netz wird dadurch in die Lage versetzt, die Sequenz ohne Zutun von außen immer wieder abzuspielen. Durch dieses fortwährende Abspielen kann die Sequenz in dem neuronalen Netz wie in einem Langzeit-Gedächtnis gespeichert werden.
  • In einer Weiterbildung beruht die Abnahme der Aktivierungsstärke des aktiven Sequenzpools auf einer Adaption seiner Neuronen oder Synapsen.
  • Diese Weiterbildung ermöglicht eine Simulation, welche nahe an der Biologie des menschlichen Gehirns liegt und dadurch die Abbildung menschartiger Intelligenz ermöglicht.
  • In einer besonderen Weiterbildung wird die Abnahme der Aktivierungsstärke des aktiven Sequenzpools mittels kurzzeitiger synaptischer Depression, Natrium-Inaktivierung oder Kalzium-Ionen-aktivierten hyperpolarisierenden Kalium-Strömen implementiert.
  • Gemäß einer Ausführungsform der Erfindung wird das neuronale Netz durch eine Schaltung implementiert. Die Schaltung kann eine analoge oder digitale, elektrische oder elektronische Schaltung sein. Der Vorteil dieser Ausführungsform liegt darin, dass der Fachmann die Erfindung z. B. mit einer VLSI-Schaltung (Very Large Scale Integration) beispielsweise in einem Computerchip implementieren kann.
  • Im Folgenden wird die Erfindung anhand von Ausführungsbeispielen näher erläutert, die in den Figuren schematisch dargestellt sind. Im Einzelnen zeigt:
  • 1: den Aufbau eines Pools;
  • 2: den Aufbau eines neuronalen Netzes mit Sequenzpools;
  • 3: den Aufbau eines neuronalen Netzes mit Elementpools und Sequenzpools.
  • 1 zeigt den Aufbau eines Pools 100. Der Pool beinhaltet eine Anzahl von Neuronen 101. Mit Neuronen 101 sind im Rahmen der Erfindung immer künstliche Neuronen gemeint. Künstliche Neuronen modellieren teilweise oder vollständig einen Typ eines aus der Biologie bekannten Neurons. Die Modellierung kann durch eine elektronische Schaltung oder ein mathematisches Modell erfolgen, welches durch eine Datenverarbeitungsanlage berechnet wird.
  • Die Neuronen 101 sind über Verbindungen 102 miteinander vernetzt. Die Verbindungen 102 entsprechen den Synapsen biologischer Neurone. Die Aktivierungsstärke der Verbindungen 102 wird durch ein Gewicht w beschrieben. Neuronen 101, welche stark koaktiviert sein sollen, d. h. deren Aktivität stark korrelieren soll, werden über Verbindungen 102 verknüpft, welche ein größeres Gewicht haben als Verbindungen 102 zwischen Neuronen 101, deren Aktivität nicht korrelieren soll. Da die Aktivität aller Neuronen 101 in dem Pool 100 miteinander korrelieren soll, erhalten ihre Verbindungen 102 ein überdurchschnittliches Gewicht ws. Dies bedeutet anschaulich, dass die Neuronen 101 in dem Pool 100 ein Team bilden, also zusammenarbeiten.
  • Ein überdurchschnittliches Gewicht ws einer Verbindung 102 ist größer als ein durchschnittliches Gewicht w anderer Verbindungen 102. Ein unterdurchschnittliches Gewicht ww ist kleiner als das durchschnittliche Gewicht w anderer Verbindungen 102. Das durchschnittliche Gewicht w der Verbindungen 102 in einem neuronalen Netz kann je nach Lage, Art oder Funktion der beteiligten Neuronen 101 unterschiedliche Werte annehmen.
  • Die Neuronen 101 des Pools 100 teilen jedoch nicht nur das überdurchschnittliche Gewicht ws ihrer Verbindungen 102, sondern erhalten in der Regel auch die gleichen Eingaben von außen. Dies bedeutet, dass die Gewichte der Verbindungen der Neuronen 101 zu einem bestimmten Neuron außerhalb des Pools 100 immer gleich stark ausfallen. Der beschriebene Pool 100, die Neuronen 101 sowie die beschriebenen Verbindungen 102 in nerhalb des Pools 100 stellen einen Idealfall dar. In der Praxis können die Gewichtungen der Verbindungen 102 auch anders ausfallen. Gleiches gilt für die Verbindungen nach außen. Insbesondere kann eine Vollvernetzung vorliegen, d. h. dass jedes Neuron 101 mit jedem anderen Neuron 101 desselben Pools 100 und jedes anderen Pools verbunden ist.
  • Die Pools 100 sind an der Biologie des menschlichen Gehirns angelehnt. Im menschlichen Gehirn bilden große und homogene Populationen von Neuronen, die eine ähnliche externe Eingabe empfangen, gegenseitig verkoppelt sind und wahrscheinlich zusammen als eine Einheit fungieren, Populationen (Pools). Diese Pools können eine robustere Verarbeitungs- und Codierungseinheit bilden, weil ihre momentane Populations-Mittelwert-Anwort, im Gegensatz zum zeitlichen Mittel eines relativ stochastischen Neurons in einem großen Zeitfenster, besser an die Analyse von schnellen Wechseln in der realen Welt angepasst ist.
  • Die künstlichen Pools 100 des erfindungsgemäßen neuronalen Netzes enthalten gemäß einer Ausführungsform als Neuronen 101 künstliche, erregende gepulste Neuronen. Erregende gepulste Neuronen werden durch Pulse anderer erregender gepulster Neuronen aktiviert und senden selbst Pulse an weitere Neuronen 101 aus.
  • Die Neuronen 101 und Pools 100, ihre Verbindungen und ihre Dynamik können durch mathematische Modelle simuliert werden. Die Modellierung kann durch eines oder mehrere Konzepte der folgenden Gruppe implementiert werden: Mean-Field-Ansatz, Integrate-and-Fire-Ansatz, Ansatz für pulscodierende Neurone, Multikompartiment-Ansatz und Hodgkin-Huxley-Ansatz. Diese Konzepte und Ansätze sind aus den Schriften [1], [2] und [3] bekannt.
  • Das erfindungsgemäße neuronale Netz kann als neurodynamisches Netz ausgeführt sein, insbesondere in der Form eines neurody namischen Netzes gepulster Neuronen. Dies kann die Verwendung bekannter neuronaler Netze (artificial neural networks), Multilagenperceptrons, SOMs (self organizing maps) etc. mit einschließen. Die gepulsten Neuronen können z. B. als so genannte spikende oder auch als so genannte pulscodierende Neuronen ausgebildet sein.
  • Anstelle der neuronalen Modelle kann auch jedes andere vergleichbare mathematische Modell bzw. eine andere Schaltungsart zum Einsatz kommen, sofern diese die gleiche Dynamik abbildet. So kann die Erfindung auch etwa als VLSI-Schaltung z.B. in einem Computerchip implementiert werden.
  • Intelligente Agenten, welche das erfindungsgemäße Verfahren bzw. das neuronale Netz einsetzen, können zur neurokognitiven Prozess-Steuerung, unter anderem für technische Vorgänge, zur neurokognitiven Fahrerassistenz sowie zur neurokognitiven Robotersteuerung eingesetzt werden.
  • 2 zeigt ein neuronales Netz 60. Das neuronale Netz 60 stellt eine spezielle Ausführungsform der Erfindung dar. Weiterbildungen der in 2 gezeigten Ausführungsform durch Hinzunahme oder Fortlassung von Elementen sind möglich.
  • 2 zeigt ein neuronales Netz 60 mit einer Anzahl von Pools. Das neuronale Netz 60 ist ein autoassoziatives Attraktor-Netzwerk mit rekurrenten Verbindungen. Das neuronale Netz 60 enthält eine Anzahl von Sequenzpools S1 bis SN. Die Sequenzpools S1 bis SN repräsentieren jeweils einen Schritt einer Sequenz, den man auch als Einheit oder Element der Sequenz bezeichnen kann. Ein solches Element der Sequenz kann beispielsweise ein visueller Stimulus, eine einfache motorische Handlung, ein Phonem oder ein syntaktisches Element sein.
  • Attraktoren des neuronalen Netzes 60, also unterschiedliche Aktivitätsmuster, in denen sich das neuronale Netz 60 stabi lisieren kann, entsprechen jeweils einer Aktivierung eines der Sequenzpools S1 bis SN. Da die Sequenzpools S1 bis SN miteinander in Konkurrenz stehen, kann sich immer nur ein Sequenzpool S1 bis SN (bzw. der entsprechende Attraktor) durchsetzen, welcher als (jeweils) aktiver Sequenzpool S1 bis SN bezeichnet wird Rekurrente Verbindungen zwischen Neuronen jedes Sequenzpools S1 bis SN mit Neuronen desselben Pools sind mit einem überdurchschnittlich starken Gewicht ws ausgeführt. Verbindungen zwischen Neuronen unterschiedlicher Sequenzpools S1 bis SN sind dagegen mit einem unterdurchschnittlich starken Gewicht ww ausgeführt. In Verbindung mit einer globalen Hemmung, welche durch einen hemmenden Pool 30 auf die Sequenzpools S1 bis SN ausgeübt wird, implementieren diese Gewichte die Konkurrenz zwischen den einzelnen Sequenzpools S1 bis SN. Dies liegt darin begründet, dass die Sequenzpools S1 bis SN ihrerseits den hemmenden Pool 30 über Verbindungen mit einem durchschnittlichen Gewicht w anregen. Auf diese Weise stimuliert der aktive Sequenzpool S1 bis SN die globale Hemmung, wodurch er seine Konkurrenten indirekt hemmt.
  • Um die Simulation an die Biologie des menschlichen Hirns anzunähern, ist es in einer speziellen Ausführungsform der Erfindung vorgesehen, dass die Sequenzpools S1 bis SN durch einen nicht-spezifischen Pool 40 über Verbindungen mit einem unterdurchschnittlichen Gewicht ww angeregt werden. Der nicht-spezifische Pool 40 ist im Gegensatz zu den Sequenzpools S1 bis SN nicht durch einen bestimmten Inhalt aktivierbar. Er trägt mit spontanen Pulsen zur Ausprägung realistischer Pulsverteilungen in dem neuronalen Netz 60 bei. Auf diese Weise kann die Aktivität der Neuronen in dem neuronalen Netz 60 ausbalanciert werden.
  • Sinnvollerweise unterliegt der nicht-spezifische Pool 40 ebenso wie die Sequenzpools S1-SN der globalen Hemmung durch den hemmenden Pool 30.
  • Das überdurchschnittlich starke Gewicht ws kann zum Beispiel bei 2,1 liegen. Die Neuronen des hemmenden Pools 30 sind mit einem durchschnittlichen Gewicht w = 1 miteinander verbunden. Dieses Gewicht trägt zu einem nicht-oszillierenden Pulsmuster bei. Die hemmenden Neuronen des hemmenden Pools 30 sind weiterhin mit dem durchschnittlichen Gewicht w = 1 mit den Neuronen der Sequenzpools S1 bis SN sowohl in Hin- als auch in Rückrichtung verknüpft. Die Neuronen des nicht-spezifischen Pools 40 sind mit dem unterdurchschnittlichen Gewicht ww mit den Neuronen der Sequenzpools S1 bis SN verknüpft. Das Gewicht der umgekehrten Verknüpfungen liegt z.B. bei dem durchschnittlichen Gewicht w = 1.
  • Die genannten Gewichte der Verbindungen zwischen den Neuronen und Pools von Neuronen stellen nur einen groben Richtwert dar. Optimale Werte für die einzelnen Gewichte sind im Experiment ermittelbar.
  • 2 zeigt weiterhin eine Aktivierung 20, welche die Sequenz in das neuronale Netz 60 einspielt. In einer Ausführungsform der Erfindung ist den Sequenzpools S1 bis SN bereits ein spezifischer Inhalt zugeordnet, beispielsweise durch Hebb'sches Lernen. Dies bedeutet, dass bei Zufuhr eines bestimmten Inhalts der entsprechende Sequenzpool S1 bis SN aktiviert würde. Zur Zufuhr des jeweiligen Inhalts weisen einige oder alle Neuronen der Sequenzpools S1 bis SN Verbindungen nach außen auf, über welche die Aktivierung 20 erfolgen kann.
  • Da die Sequenzpools S1 bis SN in dieser Ausführungsform bereits für ihren spezifischen Inhalt aktivierbar sind, werden die Sequenzpools S1 bis SN durch die Aktivierung 20 lediglich in der Reihenfolge der Sequenz aktiviert. Durch diese Unterstützung von außen wird erzwungen, dass der jeweilige Sequenzpool S1 bis SN in der Konkurrenz gewinnt. Während er aktiviert ist, erschöpft sich eine Aktivierungsstärke des akti ven Sequenzpools S1 bis SN. Unter der Aktivierungsstärke eines Sequenzpools S1 bis SN wird seine Fähigkeit verstanden, sich in der Konkurrenz mit den anderen Sequenzpools S1 bis SN durchzusetzen. Die Abnahme der Aktivierungsstärke kann somit z. B. dadurch implementiert werden, dass die Aktivität der Neuronen des jeweiligen Sequenzpools S1 bis SN zurückgeht.
  • Eine andere Möglichkeit besteht darin, die Synapsen (Verbindungen der Neuronen des jeweiligen Sequenzpools S1 bis SN) so zu adaptieren, dass sie weniger Pulse weiterleiten. Durch Umkehrung der jeweiligen Adaption der Neuronen oder Synapsen kann sich der betroffene Sequenzpool S1 bis SN regenerieren, sobald er nicht mehr aktiv ist, d. h. sobald er in der Konkurrenz verloren hat.
  • Es genügt, im Rahmen der Aktivierung 20 die Sequenzpools S1 bis SN einmal in der richtigen Reihenfolge zu aktivieren. Da sich die Sequenzpools S1 bis SN anschließend in der gleichen Reihenfolge regenerieren, gewinnen sie anschließend in der gleichen Reihenfolge in der Konkurrenz, wodurch das neuronale Netz die Sequenz selbstständig abspielen kann.
  • Um die Sequenz auszulesen, kann z.B. direkt an den Neuronen der Sequenzpools S1 bis SN abgegriffen werden, welcher Sequenzpool S1 bis SN zum jeweiligen Zeitpunkt die größte Aktivität aufweist. Dieser entspricht dann dem aktuellen Schritt der Sequenz. Die Sequenzpools können auch mit einer anderen Schicht des neuronalen Netzes 60 verschaltet werden, um entsprechend der Sequenz motorische Handlungen oder Sprache zu generieren.
  • Die Aktivierungsstärke des jeweils aktiven Sequenzpools S1 bis SN kann sich so stark erschöpfen, dass er von selbst in der Konkurrenz verliert. Auf diese Weise wird die Sequenz automatisch durch das neuronale Netz 60 weitergeschaltet. Alternativ kann aber auch ein Signal 50 den hemmenden Pool 30 aktivieren, wodurch die globale Hemmung so stark verstärkt wird, dass der aktive Sequenzpool S1 bis SN deaktiviert wird.
  • Nach der verstärkten globalen Hemmung gewinnt der nächste Sequenzpool S1 bis SN in der Konkurrenz, wodurch die Sequenz fortgeschaltet wird. Auf diese Weise ist es möglich, die Sequenz durch das Signal 50 nach flexiblen Zeitabständen spontan weiterzuschalten.
  • Die Adaption der Aktivierungsstärke der Sequenzpools S1 bis SN kann auf unterschiedlichen Wegen erfolgen. Ein Verfahren zur Pulsfrequenz-Adaption beruht auf Natrium-Inaktivierung. In diesem Fall ist die interne Wahrscheinlichkeit einer Puls-Emission diejenige Variable, welche zur Regulierung der Aktivierungsstärke des Sequenzpools S1 bis SN manipuliert wird und mit der zeitlichen Abfolge der Sequenz korreliert. Hierbei wird ein Integrieren-und-Feuern-Modell der Neuronen der Sequenzpools S1 bis Sn um den Aspekt erweitert, dass Natrium-Kanäle nach einer Puls-Emission inaktiviert werden. Weitere Hinweise zur Implementation dieses Verfahrens findet der Fachmann in [4].
  • Ein alternatives Verfahren zur Regulation der Pulsfrequenz, um die Aktivierungsstärke der Sequenzpools S1 bis SN zu adaptieren, ist der Mechanismus der Kalzium-Ionen-aktivierten hyperpolarisierenden Kalium-Ströme. Hierbei wird das Integrieren-und-Feuern-Modell der Neuronen der Sequenzpools S1 bis SN erweitert, um die Kalium-Ströme zu berücksichtigen. Hierbei ist die Konzentration der Kalzium-Ionen innerhalb der Membran der Neuronen diejenige Variable, welche zur Regulation der Aktivierungsstärke des Sequenzpools eingestellt wird und mit der zeitlichen Abfolge der Sequenz korreliert. Die Erweiterung des Integrieren-und-Feuern-Modells um die Kalium-Ströme ist in der Schrift [5] beschrieben.
  • Eine dritte Möglichkeit, die Aktivierungsstärke der Sequenzpools S1 bis SN zu regulieren, besteht in einer kurzzeitigen synaptischen Depression. Hierbei ist die Wahrscheinlichkeit einer Neurotransmitter-Ausschüttung in Synapsen (den Verbin dungen) der Neuronen der Sequenzpools S1 bis SN diejenige Variable, welche zur Regulation der Aktivierungsstärke der Sequenzpools S1 bis SN herangezogen wird und mit der zeitlichen Abfolge der Sequenz korreliert. Die Implementation des Mechanismus der synaptischen Depression ist in der Schrift [6] beschrieben.
  • Die kurzzeitige synaptische Depression stellt einen Mechanismus dar, um die Synapsen der Neuronen der Sequenzpools S1 bis SN zu adaptieren. Die anderen beiden Verfahren, Natrium-Inaktivierung bzw. Kalzium-Ionen-aktivierte hyperpolarisierende Kalium-Ströme, erlauben es, die Neuronen selbst zu adaptieren.
  • Es können auch beliebige andere Verfahren eingesetzt werden, um die Aktivierungsstärke der Sequenzpools S1 bis SN zu regulieren.
  • Im Rahmen eines Integrieren-und-Feuern-Modells können als Verbindung der Neuronen des neuronalen Netzes 60 in Anlehnung an die Biologie AMPA, NMDA und GABA-Synapsen dynamisch modelliert werden, um eine realistische Puls-Dynamik zu gewährleisten. Die Ausgestaltungen der entsprechenden Modelle sind der genannten Literatur zu entnehmen.
  • Das neuronale Netz 60 kann zum Beispiel mit 800 Pyramidenzellen als erregenden gepulsten Neuronen und 200 Interneuronen als hemmenden gepulsten Neuronen implementiert werden. Hierbei können zum Beispiel jeweils 80 Pyramidenzellen einen Sequenzpool S1 bis SN bilden. Diese Zahlen stellen lediglich ein Beispiel dar. Jedes Neuron, sowohl Pyramidenzellen als auch Interneuronen, kann zum Beispiel 800 erregende synaptische Verbindungen von außerhalb des Netzwerks aufweisen.
  • Gemäß einer Ausführungsform der Erfindung sind sämtliche Neuronen des neuronalen Netzes 60 miteinander vernetzt. Sämtliche synaptischen Verbindungen sind gemäß einer Ausführungs form so ausgebildet, als ob sie durch Hebb'sches Lernen entstanden wären.
  • 3 zeigt eine erweiterte Ausführungsform der Erfindung. Gezeigt ist eine Anzahl von Elementpools 70, welche mit den Bezugszeichen 1 bis 14 bezeichnet sind. Bei den Elementpools 70 handelt es sich ebenfalls um Pools 100 von Neuronen 101, wie sie in 1 dargestellt wird. Jeder Elementpool 70 repräsentiert eine inhaltliche Einheit, zum Beispiel ein Wort, ein Phonem, eine Zahl, ein syntaktisches Element, eine elementare motorische Handlung, usw.. So können die in 3 gezeigten Elementpools 70 unterschiedliche Wörter repräsentieren. In dem in 3 gezeigten Fall soll eine Sequenz gespeichert werden, welche aus der Folge der Inhalte besteht, welche durch die Elementpools 6, 5, 4, 9 und 11 repräsentiert werden. Hierbei könnte es sich zum Beispiel um einen Satz handeln.
  • Um die Sequenz einzuspielen, zu speichern und wiederzugeben, werden die Elementpools 6, 5, 4, 9 und 11 als Sequenzpools S1, S2, S3, S4 und S5 gewählt, indem diese durch eine Aktivierung 20 selektiv unterstützt werden. Dies bedeutet, dass die Neuronen 101 dieser Elementpools 70 über synaptische erregende Verbindungen von außerhalb des neuronalen Netzes 60 kontinuierlich angeregt werden. Dies führt dazu, dass die verbleibenden Elementpools 1, 2, 3, 7, 8, 10, 12, 13, 14 in der Konkurrenz mit den gewählten Sequenzpools S1 bis S5 unterliegen müssen.
  • Zur Einspielung werden nun die Sequenzpools S1 bis S5 in der Reihenfolge der Sequenz aktiviert. Da sich ihre Aktivierungsstärke während ihrer Aktivierung erschöpft, gewinnen sie nach der Einspielung der Sequenz in der gleichen Reihenfolge, wodurch das neuronale Netz 60 die Sequenz analog zu dem in 2 gezeigten Fall selbständig abspielt. Der Unterschied besteht hierbei darin, dass in dieser Ausführungsform die Elementpools 4, 5, 6, 9, 11 durch die Aktivierung 20 auch wäh rend der Wiedergabe selektiv unterstützt werden müssen, damit kein anderer Elementpool 70 in der Konkurrenz gewinnen kann.
  • Analog zu dem in 2 gezeigten Fall weist auch das neuronale Netz 60 in 3 einen hemmenden Pool 30 auf, welcher eine globale Hemmung der Elementpools 70 und Sequenzpools S1 bis S5 implementiert, um deren Konkurrenz zu ermöglichen.
  • Auch in diesem Ausführungsbeispiel kann die Fortschaltung der Sequenz erfolgen, indem sich der aktive Sequenzpool S1 bis S5 so stark erschöpft, dass er in der Konkurrenz verliert. Alternativ kann auch hier die globale Hemmung durch den hemmenden Pool 30 mittels eines externen Signals 50 kurzzeitig verstärkt werden, um den aktiven Sequenzpool S1 bis S5 zu deaktivieren und die Aktivierung des nächsten Sequenzpools S1 bis S5 zu ermöglichen. Analog zu dem in 2 beschriebenen Fall zeigt auch 3 einen nicht-spezifischen Pool 40, welcher mit spontanen Pulsen zur Ausbildung realistischer Pulsverteilungen beiträgt. Auch hier ist es sinnvoll, dass der nicht-spezifische Pool 40 ebenfalls der globalen Hemmung durch den hemmenden Pool 30 unterliegt.
  • Gemäß einer Ausführungsform kann die globale Hemmung etwa dadurch implementiert werden, dass die hemmenden Neuronen des hemmenden Pools 30 mit sämtlichen erregenden Neuronen, also die Neuronen der Elementpools 70 (incl. der Sequenzpools S1 bis S5) sowie des nicht-spezifischen Pools 40 verschaltet werden. Die erregenden gepulsten Neuronen des neuronalen Netzes 60, welche gemäß dieser Ausführungsform der globalen Hemmung durch den hemmenden Pool 30 unterliegen, sind in den 2 und 3 durch eine Gruppierung 80 gekenzeichnet.
  • Die Aktivierung 20, welche diejenigen Elementpools 70 selektiert, welche als Sequenzpools S1 bis S5 gewählt werden sollen, könnte zum Beispiel mit Hilfe einer zusätzlichen Schicht des neuronalen Netzes 60 implementiert werden, welche die Auswahl der Sequenzpools S1 bis S5 in einem Kurzzeitgedächtnis speichert. Abweichend von 3 kann die Sequenz auch durch weniger oder mehr als den gezeigten Sequenzpools S1 bis S5 gebildet werden. Weiterhin können die Sequenzpools S1 bis S5 auch aus einer abweichenden Anzahl von Elementpools 70 gewählt werden. So wäre beispielsweise eine Menge von 10.000 Elementpools 70 vorstellbar. Diese Zahlen stellen jedoch lediglich ein Beispiel dar und sind abhängig von der jeweiligen Anwendung. Das Neuronale Netz 60 muss vor oder während dem Einspielen der Sequenz durch assoziative synaptische Langzeit-Modifikation erlernen, welcher Elementpool 70 bzw. welcher Sequenzpool S1 bis S5 welchen Inhalt repräsentiert. Dieser Lernvorgang kann jedoch auch direkt beim Einspielen der Sequenz durch assoziative synaptische Modifikation erfolgen.
  • Die Erfindung eignet sich besonders zur Implementation eines Kurzzeitgedächtnisses. Es ist jedoch auch denkbar, die gespeicherte Sequenz in einem Langzeitgedächtnis abzulegen, welches z. B. als eigenes neuronales Netz mit dem neuronalen Netz 60 verbunden wird. Insbesondere ist es auch möglich, die Sequenz in dem neuronalen Netz 60 immer wieder abzuspielen, wodurch sie auch über lange Zeiträume gespeichert bleibt. Ein besonderer Vorteil liegt weiterhin darin, dass jederzeit eine neue Sequenz eingespielt werden kann, wodurch die alte Sequenz sofort gelöscht wird. Auch kann der Effekt genutzt werden, dass ein Unterbrechen des Abspielens die Sequenz löscht, sobald sich die Sequenzpools S1 bis S5 bzw. S1 bis SN regeneriert haben.
  • Das neuronale Netz 60 kann zunächst keine Sequenzen abspielen, in denen ein Element mehrfach vorkommt, zum Beispiel bei einer Sequenz der Elementpools 1, 3, 1, 2. In diesem Fall würde das neuronale Netz 60 lediglich die Sequenz 3, 1, 2 erinnern und abspielen. Um diese Einschränkung zu umgehen, kann die Sequenz 1, 3, 1, 2 durch eine Sequenz der Elementpools 13, 12 codiert werden, wobei der Elementpool 13 den Teil 1, 3 und der Elementpool 12 den Teil 1, 2 der Sequenz repräsentiert. Dies wird in der Fachwelt als "Chunking" bezeichnet. Die Sequenz der Elementpools 13 und 12 kann das neuronale Netz 60 problemlos speichern und wiedergeben, indem diese beiden Elementpool als Sequenzpools S1 und S2 gewählt werden.
  • Da das neuronale Netz 60 gemäß einer Ausführungsform die Sequenz automatisch abspielt, kann es auch als Taktgeber für ein anderes Teilsystem innerhalb oder außerhalb des neuronalen Netzes 60 herangezogen werden. Wenn es sich bei der Sequenz z.B. um eine Tonfolge handelt, so könnte das andere Teilsystem etwa die Tonfolge akustisch ausgeben.
  • Wenn das neuronale Netz 60 die Sequenz fortwährend abspielt, kann das Abspielen durch das Signal 50 angehalten oder abgebrochen werden.
  • Zitierte Literatur
    • [1] Szabo, M., Almeida, R., Deco, G. und Stetter, M. (2004): "Cooperation and biased competition model can explain attentional filtering in the prefrontal cortex", Eur. J. Neurosci., Vol. 9, S. 1669–1677.
    • [2] Brunel, N. und Wang, X. J. (2001): "Effects of neuromodulation in a cortical network model of object working memory dominated by recurrent inhibition", Comput. Neurosci. 11: 63–85.
    • [3] Koch, C. und Segev, I (Hrsg.) (2001): "Methods in Neuronal Modeling: From Synapses to Networks", MIT Press, Cambridge, MA, Kapitel 1–5.
    • [4] Rauch, A., La Camera, G., Luescher, H.-R., Senn, W. und Fusi, S. (2003): "Neocortical pyramidal cells respond as integrate-and-fire neurons to in vivo-like input currents", Journal of Neurophysiology, im Druck, erhältlich am 10.09.2004 im Internet unter http://jn.physiology.org/cgi/reprint/00293.2003v1.
    • [5] Liu, Y. und Wang, X.-J. (2001): "Spike-Frequency Adaptation of a Generalized Leaky Integrate-and-Fire Model Neuron", Journal of Computational Neuroscience 10, S. 25–45.
    • [6] Dayan, P und Abbott, L. (2001): "Theoretical Neuroscience: Computational and Mathematical Modeling of Neural Systems", MIT Press, Boston, S. 281–330.
    • [7] Hertz J., Krogh A. und Palmer R. G. (1994): "Introduction to the Theory of Neural Computation", Addison-Wesley, S. 63–69.

Claims (12)

  1. Verfahren zur flexiblen Repräsentation einer Sequenz mit einem neuronalen Netz (60), – bei dem Neuronen (101) Sequenzpools (S1, SN) bilden, welche jeweils einen Schritt der Sequenz repräsentieren, – bei dem die Sequenzpools (S1, SN) miteinander in Konkurrenz treten, wobei jeweils ein aktiver Sequenzpool (S1, SN) in der Konkurrenz gewinnt, – bei dem die Sequenzpools (S1, SN) bei einer Einspielung der Sequenz in der Reihenfolge der Sequenz aktiviert werden, – bei dem eine Aktivierungsstärke eines Sequenzpools (S1, SN) abnimmt, während er aktiv ist, – bei dem die Aktivierungsstärke eines Sequenzpools (S1, SN) zunimmt, während er nicht aktiv ist, – bei dem das neuronale Netz (60) die Sequenz (S1, SN) wiederholt, indem immer der Sequenzpool (S1, SN) in der Konkurrenz gewinnt, dessen Aktivierung am längsten zurückliegt.
  2. Verfahren nach Anspruch 1, bei dem die Neuronen (101) der Sequenzpools (S1, SN) erregende gepulste Neuronen sind.
  3. Verfahren nach Anspruch 1, – bei dem das neuronale Netz (60) hemmende gepulste Neuronen enthält, – bei dem die hemmenden gepulsten Neuronen einen hemmenden Pool (30) bilden, – bei dem der hemmende Pool (30) eine globale Hemmung auf die Sequenzpools (S1, SN) ausübt, welche die Konkurrenz zwischen den Sequenzpools (S1, SN) implementiert.
  4. Verfahren nach Anspruch 3, bei dem die globale Hemmung kurzzeitig verstärkt wird, um den aktiven Sequenzpool (S1, SN) zu deaktivieren, woraufhin der nächste Sequenzpool (S1, SN) in der Konkurrenz gewinnt.
  5. Verfahren nach Anspruch 1, bei dem das neuronale Netz (60) Verschaltungen enthält, welche durch Hebb'sches Lernen ausgebildet werden.
  6. Verfahren nach Anspruch 1 – bei dem das neuronale Netz (60) Elementpools (70) enthält, – bei dem zur Einspielung der Sequenz eine Auswahl von Elementpools (70) als Sequenzpools (S1, SN) gewählt wird, indem sie durch Anregung von außen selektiv unterstützt wird.
  7. Verfahren nach Anspruch 1, – bei dem Neuronen (101) einen nicht-spezifischen Pool (40) bilden, – bei dem der nicht-spezifische Pool (40) die Sequenzpools (S1, SN) anregt.
  8. Verfahren nach Anspruch 1, bei dem die Abnahme der Aktivierungsstärke des aktiven Sequenzpools (S1, SN) dazu führt, dass er in der Konkurrenz verliert, woraufhin der nächste Sequenzpool (S1, SN) gewinnt.
  9. Verfahren nach Anspruch 1, bei dem die Abnahme der Aktivierungsstärke des aktiven Sequenzpools (S1, SN) auf einer Adaption seiner Neuronen (101) oder Synapsen (102) beruht.
  10. Verfahren nach Anspruch 9, bei dem die Abnahme der Aktivierungsstärke des aktiven Sequenzpools (S1, SN) mittels kurzzeitiger synaptischer Depression, Natrium-Inaktivierung oder Kalzium-Ionen-aktivierten hyper-polarisierenden Kalium-Strömen implementiert wird.
  11. Neuronales Netz (60) zur flexiblen Repräsentation einer Sequenz, – mit Neuronen (101), welche Sequenzpools (S1, SN) bilden, die jeweils einen Schritt der Sequenz repräsentieren, – wobei die Sequenzpools (S1, SN) miteinander in Konkurrenz stehen, so dass jeweils ein aktiver Sequenzpool (S1, SN) aktivierbar ist, – wobei die Sequenzpools (S1, SN) bei einer Einspielung der Sequenz in der Reihenfolge der Sequenz aktivierbar sind, – wobei eine Aktivierungsstärke eines Sequenzpools (S1, SN) reduzierbar ist, während er aktiv ist, – wobei die Aktivierungsstärke eines Sequenzpools (S1, SN) inkrementierbar ist, während er nicht aktiv ist, – wobei die Sequenz durch das neuronale Netz (60) wiederholbar ist, indem immer der Sequenzpool (S1, SN) in der Konkurrenz gewinnt, dessen Aktivierung am längsten zurückliegt.
  12. Schaltung, welche ein neuronales Netz nach Anspruch 11 implementiert.
DE102004045479A 2004-09-20 2004-09-20 Verfahren zur flexiblen Repräsentation einer Sequenz mit einem neuronalen Netz und neuronales Netz Ceased DE102004045479A1 (de)

Priority Applications (2)

Application Number Priority Date Filing Date Title
DE102004045479A DE102004045479A1 (de) 2004-09-20 2004-09-20 Verfahren zur flexiblen Repräsentation einer Sequenz mit einem neuronalen Netz und neuronales Netz
PCT/EP2005/053893 WO2006032576A2 (de) 2004-09-20 2005-08-08 Verfahren zur flexiblen repräsentation einer sequenz mit einem neuronalen netz und neuronales netz

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102004045479A DE102004045479A1 (de) 2004-09-20 2004-09-20 Verfahren zur flexiblen Repräsentation einer Sequenz mit einem neuronalen Netz und neuronales Netz

Publications (1)

Publication Number Publication Date
DE102004045479A1 true DE102004045479A1 (de) 2005-12-15

Family

ID=35404509

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102004045479A Ceased DE102004045479A1 (de) 2004-09-20 2004-09-20 Verfahren zur flexiblen Repräsentation einer Sequenz mit einem neuronalen Netz und neuronales Netz

Country Status (2)

Country Link
DE (1) DE102004045479A1 (de)
WO (1) WO2006032576A2 (de)

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7206770B2 (en) * 2000-06-30 2007-04-17 Bristish Telecommunications Plc Apparatus for generating sequences of elements

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
R.Desimone, J.Duncan: neural mechanisms of selec- tive visual attention: Annu. Rev. Neurosci. 1995, 18:193-222 *
Th.Wenneckers, G.Palm: Kognitive Modellierung mit künstlichen neuronalen Netzen: MPI für Mathematik in den Naturwissenschaften Leipzig, 2000, S.1-55 *

Also Published As

Publication number Publication date
WO2006032576A3 (de) 2006-12-28
WO2006032576A2 (de) 2006-03-30

Similar Documents

Publication Publication Date Title
DE69714548T2 (de) Adaptive modellierung und steuerung von prozessen
DE102007001025B4 (de) Verfahren zur rechnergestützten Steuerung und/oder Regelung eines technischen Systems
DE69525059T2 (de) Neuronales netz-basiertes system für die autonome erzeugung von nutzinformationen
DE112015003992B4 (de) Neuromorphe Synapsen
DE3938645C1 (de)
DE60125536T2 (de) Anordnung zur generierung von elementensequenzen
DE112020001369T5 (de) Gepulste synaptische elemente für gepulste neuronale netze
EP1934895A2 (de) Verfahren zum rechnergestützten lernen eines neuronalen netzes und neuronales netz
EP1456798A2 (de) Auswerten von mittels funktionaler magnet-resonanz-tomographie gewonnenen bildern des gehirns
DE112016000198T5 (de) Entdecken und Nutzen von informativen Schleifensignalen in einem gepulsten neuronalen Netzwerk mit zeitlichen Codierern
DE10021369B4 (de) Rechensystem, insbesondere zur Simulation der menschlichen Wahrnehmung durch Sinnesorgane
DE102004045479A1 (de) Verfahren zur flexiblen Repräsentation einer Sequenz mit einem neuronalen Netz und neuronales Netz
DE112020005613T5 (de) Neuromorphe Einheit mit Kreuzschienen-Array-Struktur
DE60022398T2 (de) Sequenzgenerator
EP0978052B1 (de) Rechnergestütztes verfahren zur auswahl von trainingsdaten für ein neuronales netz
DE3607241C2 (de)
Balmann et al. Agentenbasierte politik-und sektoranalyse-perspektiven und herausforderungen
DE102018205660A1 (de) Simulieren von statistisch modellierten Sensordaten
EP1359539A2 (de) Neurodynamisches Modell der Verarbeitung visueller Informationen
DE102004013924B3 (de) Vorrichtung zur kontextabhängigen Datenanalyse
DE3609925C2 (de)
DE102019132624A1 (de) Verfahren, Vorrichtung, Computerprogramm und computerlesbares Speichermedium zum Erstellen eines Motion Cueing Algorithmus
Berezutskaya et al. Modeling brain responses to perceived speech with lstm networks
EP1114398B1 (de) Verfahren zum trainieren eines neuronalen netzes, verfahren zur klassifikation einer folge von eingangsgrössen unter verwendung eines neuronalen netzes, neuronales netz und anordnung zum trainieren eines neuronalen netzes
EP1425679A2 (de) Anordnung mit künstlichen neuronen zur beschreibung eines übertragungsverhaltens einer erregenden nervenzelle

Legal Events

Date Code Title Description
OAV Applicant agreed to the publication of the unexamined application as to paragraph 31 lit. 2 z1
OP8 Request for examination as to paragraph 44 patent law
8131 Rejection