EP3710992A1

EP3710992A1 - Künstliches neuronales netz und verfahren hierzu

Info

Publication number: EP3710992A1
Application number: EP18807029.6A
Authority: EP
Inventors: Bodo Rosenhahn
Original assignee: Leibniz Universitaet Hannover
Current assignee: Leibniz Universitaet Hannover
Priority date: 2017-11-15
Filing date: 2018-11-15
Publication date: 2020-09-23
Also published as: WO2019096881A1; DE102017126846A1

Abstract

Die Erfindung betrifft ein künstliches Neuronales Netz für ein computergestütztes Wissensmanagement mit einer Mehrzahl von Neuronen, die über gewichtete Kanten miteinander verbunden sind, wobei ein oder mehrere Eingabeneuronen vorgesehen sind, denen jeweils ein Ein gabe-Bedeutungsinhalt zugeordnet ist und mittels derer Eingabewerte an das künstliche Neuronale Netz übergeben werden, - ein oder mehrere Ausgabeneuronen vorgesehen sind, denen jeweils ein Aus gabe-Bedeutungsinhalt zugeordnet sind und mittels derer Ausgabewerte des künstlichen Neuronalen Netzes ausgegeben werden, und ein oder mehrere Verarbeitungsneuronen vorgesehen sind, die über die ge wichteten Kanten die Eingabeneuronen mit den Ausgabeneuronen verbinden, wobei das künstliche Neuronale Netz mindestens ein zusätzliches Schalterneuron hat, das mit einem oder mehreren Verarbeitungsneuronen über gewichtete oder ungewichtete Kanten verbunden ist, wobei das wenigstens eine Schalterneuron eine Pseudo-Zufallszahl über die gewichteten oder ungewichteten Kanten als zusätzliche Eingabe an die verbundenen Verarbeitungsneuronen ausgibt.

Description

Künstliches Neuronales Netz und Verfahren hierzu

Die Erfindung betrifft ein künstliches Neuronales Netz für ein com putergestütztes Wissensmanagement mit einer Mehrzahl von Neuronen, die über gewichtete Kanten miteinander verbunden sind. Die Erfindung betrifft ebenso ein Verfahren zum Ausfüh- ren eines solchen Neuronalen Netzes sowie ein Verfahren zum Trainieren eines der- artigen Neuronalen Netzes.

Ein computergestütztes Wissensmanagement im Sinne der vorliegenden Erfindung ist das Abrufen und/oder Ableiten von Wissen mit Hilfe einer computermodellierten Wissensbasis. Dabei wird mit Hilfe von Eingabewerten und der Wissensbasis ent- sprechendes Wissen in Form von Ausgabewerten generiert, wobei diese Ausgabe- werte entweder das gelernte Wissen direkt abbilden oder neues Wissen generieren, indem in Abhängigkeit von den Eingabewerten der Wissensbasis eine entspre- chende Generalisierung stattfindet.

Insbesondere für den Aspekt der Generalisierung eignen sich als Wissensbasis und dazugehörige Datenstruktur ein künstliches Neuronales Netz, das aus einer Vielzahl von künstlichen Neuronen besteht, die über gewichtete Kanten miteinander verbun- den sind. Das gelernte Wissen dieses künstlichen Neuronalen Netzes steckt dabei in den entsprechenden Gewichten der einzelnen Kanten, wodurch die einzelnen künst- lichen Neuronen in Bezug auf die jeweilige Eingabe angeregt oder gehemmt werden können.

In der Regel ist ein künstliches Neuronales Netz stark vernetzt, sodass ein künstli ches Neuron als Eingabewerte die Ausgaben der jeweils vorhergehenden Schicht von Neuronen erhält, wobei diese Eingaben durch die Gewichte der gewichteten Kanten zwischen diesen künstlichen Neuronen und den künstlichen Neuronen der vorherigen Schicht beeinflusst werden. Aus diesen gewichteten Eingaben (auch Netzeingabe bzw. Netinput genannt) berechnet das künstliche Neuron dann eine Ausgabe bzw. Aktivitätslevel (auch Output genannt), das dann den folgenden Neuro- nen als Eingabe unter Berücksichtigung der jeweiligen Gewichtung der Kante bereit- gestellt wird.

Die Eingabe eines Neurons von einem vorhergehenden Neuron hängt somit von zwei wesentlichen Werten ab, nämlich der Ausgabe des vorhergehenden Neurons und dem Gewicht der Kante zwischen den beiden Neuronen. Das künstliche Neuron weist darüber hinaus eine Übertragungsfunktion auf, mit der aus den einzelnen Ein- gabewerten des künstlichen Neurons dann die Netzeingabe für das künstliche Neu- ron berechnet wird. Mit Hilfe der Übertragungsfunktion werden somit sämtliche Ein- gabewerte des Neurons auf einen einzelnen Netzeingabewert umgewandelt, wobei diese Netzeingabe dann eine Aktivierungsfunktion des künstlichen Neurons zuge- führt wird. Die Aktivierungsfunktion berechnet dabei die Ausgabe bzw. Netzausgabe des künstlichen Neurons unter Berücksichtigung eines Schwellenwertes. Bekannte Aktivierungsfunktionen sind beispielsweise lineare Aktivierungsfunktionen, binäre Schwellenfunktionen oder sigmoide Aktivierungsfunktionen. Ein Schwellenwert kann, muss aber nicht dabei berücksichtigt werden.

Ein solches künstliches Neuronales Netz besteht dabei in der Regel aus mehreren Schichten, die jeweils ein oder mehrere künstliche Neuronen aufweisen. Die künstli chen Neuronen der ersten Schicht sind dabei über die gewichteten Kanten mit den künstlichen Neuronen der nachfolgenden Schicht verbunden, wodurch sich der netz- förmige Aufbau und die entsprechende Verflechtung ergeben. Am Anfang eines künstlichen Neuronales Netzes ist dabei eine Eingabeschicht vorgesehen, die ein o- der mehrere Eingabeneuronen enthält, über die die Eingabewerte in das künstliche Neuronale Netz eingegeben werden. Diese Eingabeneuronen können dabei bei- spielsweise dergestalt sein, dass sie basierend auf den Eingabewerten diese ohne Veränderung direkt als Ausgabewerte an die nächstliegende Neuronenschicht wei- terleiten. In einem solchen Fall ist die Aktivierungsfunktion linear.

Am Ende eines solchen künstlichen Neuronalen Netzes befindet sich eine Ausgabe- schicht, die aus einem oder mehreren Ausgabeneuronen besteht, die dann schließ- lieh die entsprechenden Ausgabewerte, die das künstliche Neuronale Netz berech- nen soll, ausgeben. Sowohl den einzelnen Eingabeneuronen als auch den einzelnen Ausgabeneuronen ist dabei ein Bedeutungsinhalt zugeordnet, sodass jede Eingabe- neuron hinsichtlich der Eingabewerte eine semantische Bedeutung hat, während je- der Ausgabewert hinsichtlich des jeweiligen Ausgabeneurons ebenfalls eine semanti- sche Bedeutung hat. Durch Interpretation dieser semantischen Bedeutung bzw. des Bedeutungsinhaltes wird somit ein entsprechender Wissensabruf bzw. eine entspre- chende Generierung von Wissen abgeleitet.

Zwischen der Schicht aus Eingabeneuronen und der Schicht aus Ausgabeneuronen befinden sich ein oder mehrere Schichten von Verarbeitungsneuronen, wobei die Verarbeitungsneuronen mit Hilfe der gewichteten Kanten die Eingabeneuronen mit den Ausgabeneuronen verbinden. Besteht das künstliche Neuron beispielsweise aus einem Eingabeneuron, zwei Verarbeitungsneuronen und einem Ausgabeneuron, so existieren ausgehend von dem Eingabeneuron zwei gewichtete Kanten, die zu dem ersten Verarbeitungsneuron mit dem zweiten Verarbeitungsneuron verlaufen. Von dem ersten Verarbeitungsneuron verläuft dann eine weitere gewichtete Kante zu dem Ausgabeneuron, während von dem zweiten Verarbeitungsneuron ebenfalls eine gewichtete Kante zu dem Ausgabeneuron verläuft. Durch das Trainieren des künstli chen Neuronalen Netzes werden dabei die Gewichte so angepasst, dass sie letzt- endlich basierend auf den Trainingsdaten das darin enthaltene Wissen speichern und durch Eingaben von entsprechenden Eingabewerten dann das in dem künstli chen Neuronalen Netz gespeicherte Wissen durch Berechnen des Ausgabewertes oder der Ausgabewerte abrufen.

Demzufolge kann ein künstliches Neuronales Netz als eine Datenstruktur bezeichnet werden, die computergestütztes gelerntes Wissen enthält und die dieses Wissen durch eine vorgegebene Berechnungsvorschrift, die der Datenstruktur immanent ent- halten ist, durch Eingabe von Eingabewerten und berechnet von Ausgabewerten ab- rufen kann. Demzufolge überführt ein künstliches Neuronales Netz entsprechende Eingabewerte, denen jeweils ein Bedeutungsinhalt zugeordnet ist, in Abhängigkeit von der vorgegebenen Datenstruktur des künstlichen Neuronalen Netzes und den je- weiligen Werten der einzelnen Gewichte der gewichteten Kanten in Ausgabewerte, denen ebenfalls ein Bedeutungsinhalt in Bezug auf das Wissensmanagement zuge- ordnet ist. Es handelt sich bei einem künstlichen Neuralen Netz somit um ein Infor- mationsverarbeitenden System oder computergestütztes Modell, bei dem in der Re- gel die Datenspeicherung in Form vom gelernten Wissen und Verarbeitungsregeln in einem abgespeichert sind. Ein solches künstliches Neuronales Netz ist dabei rechen- technisch als assoziative Datenstruktur dynamisch in einem Speicherbereich eine Datenverarbeitungsanlage abgelegt.

Ein herkömmliches künstliches Neuronales Netz weist dabei ein deterministisches Verhalten auf, d.h. bei denselben Eingabewerten erzeugt das künstliche Neuronale Netz immer dieselben Ausgabewerte. Zwar kann mit Hilfe eines künstlichen Neuro- nalen Netzes auch Wissen generalisiert werden, d.h. es kann mit Hilfe des künstli chen Neuronalen Netzes Wissen erzeugt werden, das nicht direkt und eindeutig den Trainingsdaten entnehmbar ist. Allerdings wird aufgrund der eindeutigen Datenpfade innerhalb des Neuronalen Netzes und den gelernten Gewichten immer ein determi- nistisches Verhalten erzeugt, was je nach Anwendungsfall für das künstliche Neuro- nale Netz wenig intuitiv, nicht spontan und wenig abwechslungsreich erscheint. Ins- besondere dann, wenn mit Hilfe von künstlichen Neuronalen Netzen menschliches Verhalten in Teilbereichen abgebildet werden soll, führt das strenge deterministische Verhalten eines solchen künstlichen Neuronalen Netzes gerade bei einfachen Einga- bewerten zu einem sehr monotonen Antwortverhalten und erscheint gerade dadurch weniger menschlich.

Es ist daher Aufgabe der vorliegenden Erfindung ein verbessertes künstliches Neuro- nales Netz, ein verbessertes Verhalten eines solchen künstlichen Neuronalen Netzes sowie ein verbessertes Verfahren zum Trainieren eines solchen künstlichen Neuro- nalen Netzes anzugeben, das gerade kein deterministisches Antwortverhalten mehr aufweist.

Die Aufgabe wird mit dem künstlichen Neuronalen Netz gemäß Anspruch 1 , ein Ver- fahren zum Berechnen von Ausgabewerten basierend auf Eingabewerten mittels ei- nes solchen künstlichen Neuronalen Netzes gemäß Anspruch 5 sowie ein Verfahren zum Trainieren eines solchen künstlichen Neuronalen Netzes gemäß Anspruch 10 gelöst. Gemäß Anspruch 1 wird ein künstliches Neuronales Netz computergestütztes Wis- sensmanagement mit einer Mehrzahl von Neuronen beansprucht, die über gewich- tete Kanten miteinander verbunden sind. Ein solches künstlichen Neuronales Netz ist dabei eine in einem Datenspeicher einer Datenverarbeitungsanlage vorliegenden Datenstruktur, mit der basierend auf Eingabewerte, denen jeweils ein Bedeutungsin- halt zugeordnet ist, und der in den Gewichten gespeicherten Wissensbasis entspre- chende Ausgabewerte berechnet werden, denen ebenfalls ein Bedeutungsinhalt zu- geordnet ist. Hierdurch wird es möglich, eine Datenverarbeitungsanlage durch Ein- gabe von Eingabewerten mit Hilfe des künstlichen Neuronalen Netzes so herzurich- ten, dass sie in Abhängigkeit von den in dem künstlichen Neuronalen Netz anhand der Gewichte gespeicherten Wissen dieses Wissen abruft und je nach Eingabewerte generalisiert. Hierdurch wird die Datenverarbeitungsanlage mit Hilfe des künstlichen Neuronalen Netzes so hergerichtet, dass es die Datenverarbeitung von Eingabewer- ten ähnlich dem eines menschlichen Gehirns und den darin enthaltenen Neuronalen Verknüpfungen simuliert. Demzufolge ist das künstliche Neuronale Netz rechentech- nisch als assoziative Datenstruktur dynamisch im Speicherbereich einer Datenverar- beitungsanlage angelegt und wird dort durch die Datenverarbeitungsanlage ausge- führt, wenn Eingabewerte in das Neuronale Netz eingegeben werden oder wenn das künstliche Neuronale Netz anhand von Trainingsdaten gelernt wird.

Gattungsgemäß weist das künstliche Neuronale Netz gemäß Anspruch 1 ein oder mehrere Eingabeneuronen auf, denen jeweils ein Eingabe-Bedeutungsinhalt zuge- ordnet ist und mittels deren Eingabewerte an das künstliche Neuronale Netz überge- ben werden. Gattungsgemäß weist das künstliche Neuronale Netz gemäß Anspruch 1 des Weiteren ein oder mehrere Ausgabeneuronen auf, denen jeweils ein Ausgabe- Bedeutungsinhalt zugeordnet sind und mittels deren Ausgabewerte des künstlichen Neuronalen Netzes ausgegeben werden. Diese Ausgabewerte sind dabei das Ergeb- nis der Berechnungen aus dem künstlichen Neuronalen Netz basierend auf den Ein- gabewerten der Eingabeneuronen.

Hierzu weist das künstliche Neuronale Netz gattungsgemäß des Weiteren ein oder mehrere Verarbeitungsneuronen auf, die über die gewichteten Kanten die Eingabe- neuronen mit den Ausgabeneuronen verbinden, sodass die an den Eingabeneuronen eingegebenen Eingabewerte durch die Verarbeitungsneuronen entsprechend in die Ausgabewerte überführt werden. Ist das künstliche Neuronale Netz, sowie es gat- tungsgemäß beschrieben wurde, mit Hilfe von Trainingsdaten entsprechend trainiert, so sind die Gewichte der Kanten von den Eingabeneuronen zu den Verarbeitungs- neuronen und von den Verarbeitungsneuronen schließlich zu den Ausgabeneuronen so eingestellt, dass durch Eingabe entsprechender Eingabewerte auch die damit zu- sammenhängen und diesen Eingabewerten zugeordneten Ausgabewerten entspre- chend von dem künstlichen Neuronellen Netz ausgegeben werden. Das gelernte Wissen, d.h. die Wissensbasis des künstlichen Neuronalen Netzes, steckt somit in entsprechend angepassten Gewichten der Kanten.

Erfindungsgemäß wird dieses an und für sich gattungsgemäß bekannte künstliche Neuronale Netz dahingehend erweitert, dass ein oder mehrere zusätzliche Schalter- neuronen vorgesehen sind, die mit einem oder mehreren Verarbeitungsneuronen über gewichtete oder ungewichtete Kanten verbunden sind, wobei das wenigstens eine Schalterneuron eine Pseudo-Zufallszahl über die gewichteten oder ungewichte- ten Kanten als zusätzliche Eingabe an die verbundenen Verarbeitungsneuronen aus- gibt.

Eine solche Pseudo-Zufallszahl kann dabei beispielsweise durch das Schalterneuron selber generiert und bereitgestellt werden. Denkbar ist aber auch, dass das Schalter- neuron von außen eine solche Pseudo-Zufallszahl als Eingabewert bekommt, wobei diese Pseudo-Zufallszahl dann direkt als Ausgabewert an die gewichtete oder unge- wichteten Kanten zu den Verarbeitungsneuronen ausgegeben wird.

Ein derartiges künstliches Neuronales Netz wurde dabei in Bezug auf die Eingabe- werte und die ein oder mehreren Pseudo-Zufallszahlen so trainiert, dass es in Ab- hängigkeit von der oder den Pseudo-Zufallszahlen die Ausgabewerte variiert. Dies bedeutet, dass bei denselben Eingabewerten die Ausgabewerte in Abhängigkeit von der durch das mindestens eine Schalterneuron ausgegebenen Pseudo-Zufallszahl variieren, sodass das künstliche Neuronale Netz quasi nicht deterministisch bzw. pseudo-nichtdeterministisch wird, da die Ausgabewerte nunmehr von der Pseudo- Zufallszahl abhängen. Hierdurch wird dem künstlichen Neuronalen Netz eine pseu- dozufällige Variabilität hinzugefügt, wodurch das Antwortverhalten eines solchen künstlichen Neuronalen Netzes je nach den zugeordneten Eingabe-Bedeutungsinhalt mit Ausgabe-Bedeutungsinhalten spontaner und auch menschlicher wirkt.

Der Begriff„Schalterneuronen“ leitet sich dabei von der Tatsache ab, dass bei identi- schen Eingabewerten die Ausgabe schließlich einzig und allein von der von dem Schalterneuron ausgegebenen Pseudo-Zufallszahl abhängt, wodurch die Ausgabe des künstlichen Neuronalen Netzes quasi nicht deterministisch durch die Ausgabe des Schalterneurons bestimmt wird. Damit kann das künstliche Neuronale Netz zwi- schen verschiedenen Ausgabewerten in Bezug auf denselben Eingabewerten umge- schaltet werden, wobei dies pseudozufällig erfolgt.

Mit Hilfe eines solchen künstlichen Neuronalen Netzes lässt sich darüber hinaus auch das Verhalten einer einfachen Markov-Kette abbilden, da nunmehr die Ausgabe des Neuronalen Netzes auch durch den Zufall bestimmt ist und je nach Trainingsda- ten entsprechend eine solche Markov-Kette abbilden kann.

Das künstliche Neuronale Netz wurde dabei des Weiteren so mit Hilfe der Trainings- daten trainiert, dass einem Satz Eingabewerte ein entsprechender Satz von Ausga- bewerten zugeordnet wird, wobei der Satz von Eingabewerten zusätzlich noch einen Wert für die Pseudo-Zufallszahl hat, der ebenfalls dem Satz der Ausgabewerte zuge- ordnet ist. Dabei sind die Trainingsdaten so angelegt, dass für dieselben Eingabe- werte, aber jeweils unterschiedlichen Pseudo-Zufallszahlen auch jeweils andere Aus- gabewerte zugeordnet sind, sodass das künstliche Neuronale Netz für dieselben Ein- gabewerte jeweils die Ausgabe der entsprechend zugeordneten Ausgabewerte lernt, die von der Pseudo-Zufallszahl abhängen.

Dabei kann es erfindungsgemäß vorgesehen sein, dass mindestens ein Schalterneu- ron eine Pseudo-Zufallszahl aus einem vorgegebenen Zahlenbereich, beispielsweise in einem Zahlenbereich von 0 bis 1 , ausgibt, wobei das künstliche Neuronale Netz derart eingerichtet ist, dass bei denselben Eingabewerten die Ausgabewerte bei Pseudo-Zufallszahlen innerhalb eines gemeinsamen Teilbereiches des vorgegebe- nen Zahlenbereiches nicht variieren. So ist beispielsweise denkbar, dass der Zahlen- bereich der Pseudo-Zufallszahl in eine endliche Anzahl von Teilbereichen unterteilt wird, wobei Pseudo-Zufallszahlen, die innerhalb eines gemeinsamen Teilbereiches liegen, dazu führen, dass bei denselben Eingabewerten auch immer dieselben Aus- gabewerte ausgegeben werden. Innerhalb dieses Teilbereiches des vorgegebenen Zahlenbereiches ist somit das künstliche Neuronale Netz insoweit deterministisch.

Über die Größe der Teilbereiche innerhalb des Zahlenbereiches kann dabei die Wahrscheinlichkeit für das Auftreten bestimmter Ausgabewerte gesteuert werden, wodurch das Verhalten des Neuronalen Netzes hinsichtlich seiner Pseudo-Nichtde- terministik einstellbar ist.

In einer weiteren vorteilhaften Ausführungsform ist vorgesehen, dass zumindest eine Verarbeitungsschicht vorgesehen ist, welche die Verarbeitungsneuronen aufweist, wobei das mindestens eine Schalterneuron mit jedem Verarbeitungsneuron der Ver- arbeitungsschicht über die gewichteten oder ungewichteten Kanten verbunden ist. Hierdurch wird die Beeinflussung des Verhaltens des künstlichen Neuronalen Netzes durch die Ausgabe des Schalterneurons an jedem Verarbeitungsneuron sicherge- stellt. Dabei ist es denkbar, dass das künstliche Neuronale Netz mehrere Verarbei- tungsschichten, die nacheinander angelegt sind, aufweist, wobei jede Verarbeitungs- schicht des künstlichen Neuronalen Netzes ein oder mehrere Verarbeitungsneuronen hat, wobei hier vorgesehen sein kann, dass das mindestens eine Schalterneuron mit jedem Verarbeitungsneuron jeder Verarbeitungsschicht verbunden ist. Denkbar ist allerdings auch, dass das mindestens eine Schalterneuron nur mit bestimmten Verar- beitungsneuronen bestimmter Verarbeitungsschichten verbunden ist. So ist es bei spielsweise auch denkbar, dass mehrere Schalterneuronen vorgesehen sind, wobei jedes Schalterneuron mit den Verarbeitungsneuronen genau einer Verarbeitungs- schicht verbunden ist, wodurch jedes dieser Schalterneuronen immer nur eine Verar- beitungsschicht beeinflussen kann. Letztendlich hängt die konkrete Verbindung des künstlichen Neuronalen Netzes in Bezug auf die Schalterneuronen von den Anforde- rungen und dem Ausgabeverhalten ab.

Die Aufgabe wird im Übrigen auch mit einem Verfahren zum Berechnen von Ausga- bewerten basierend auf Eingabewerten mittels eines künstlichen Neuronalen Netzes gemäß Anspruch 5 für ein computergestütztes Wissensmanagement gelöst, wobei zunächst ein künstliches Neuronales Netz bereitgestellt wird, das die Merkmale und Eigenschaften des künstlichen Neuronalen Netzes wie oben geschrieben, hat. Das so breitgestellte künstliche Neuronale Netz wurde dabei mit Hilfe von Trainingsdaten trainiert, wobei die Trainingsdaten eine Zuordnung der Eingabewerte und eine oder mehrere Pseudo-Zufallszahlen zu entsprechenden Ausgabewerten haben, worauf das künstliche Neuronale Netz entsprechend trainiert wird.

Erfindungsgemäß wird nun einem solchen künstlichen Neuronalen Netz ein oder mehrere Eingabewerte mittels der Eingabeneuronen übergeben bzw. eingegeben und eine entsprechende Pseudo-Zufallszahl des mindestens einen zusätzlichen Schalterneurons erzeugt. Diese Pseudo-Zufallszahl kann dabei durch das Schalter- neuron selber erzeugt werden oder entsprechend als Eingabewert dem Schalterneu- ron bereitgestellt werden. Anschließend wird dann mit Hilfe des künstlichen Neurona- len Netzes und den entsprechenden gelernten Gewichten der einzelnen Kanten dann die Ausgabewerte mittels der Verarbeitungsneuronen berechnet, wobei die Ausgabe- werte von den eingegebenen Eingabewerten und den ein oder mehreren Pseudo-Zu- fallszahlen abhängen. Die Ausgabewerte werden dann über die Ausgabeneuronen entsprechend ausgegeben.

Die Ausgabewerte werden dabei derart berechnet, dass bei denselben Eingabewer- ten die Ausgabewerte von der durch das mindestens eine Schalterneuron ausgege- benen Pseudo-Zufallszahl abhängen. Dabei kann unter anderem vorgesehen sein, dass die Pseudo-Zufallszahl aus einem vorgegebenen Zahlenbereich erzeugt wird und die Ausgabewerte derart berechnet werden, dass bei denselben Eingabewerten die Ausgabewerte bei Pseudo-Zufallszahlen innerhalb eines gemeinsamen Teilberei- ches des vorgegebenen Zahlenbereiches nicht variieren.

Das Berechnen der Ausgabewerte mit Hilfe eines solchen künstlichen Neuronalen Netzes erfolgt dabei derart, dass bei zumindest einem Verarbeitungsneuron nicht nur das gewichtete Ergebnis der vorhergehenden Neuronen bereitgestellt werden, son- dern auch die gewichtete oder ungewichtete Ausgabe des ein oder mehreren Schal- terneurons, sodass einem solchen Verarbeitungsneuron eben auch ein oder mehrere Pseudo-Zufallszahlen als Input bereitgestellt werden. Aus den gewichteten Ausga- ben der vorhergehenden Neuronen sowie der Ausgabe des ein oder mehreren Schalterneurons wird dann die Netzeingabe an dem jeweiligen Verarbeitungsneuron berechnet und anschließend über die Aktivierungsfunktion und ggf. einer Schwell- wertfunktion dann die Ausgabe des Verarbeitungsneurons berechnet. Denkbar ist auch, dass durch die zusätzlichen Schalterneuronen die eingegebenen Pseudo-Zu- fallszahl den Schwellenwert bei der Aktivierungsfunktion beeinflusst, wodurch ein sol- ches Verarbeitungsneuron in Abhängigkeit von der Pseudo-Zufallszahl mehr ge- hemmt oder mehr angeregt werden kann.

Demzufolge beeinflusst eine solche Pseudo-Zufallszahl, die als zusätzliches Element der Netzeingabe eines solchen Verarbeitungsneurons eingegeben wird, die Ausgabe des Verarbeitungsneurons an die nächstliegende Schicht, sodass eine solche Pseudo-Zufallszahl Einfluss auf die Gesamtausgabe und das Verhalten des künstli chen Neuronalen Netzes hat.

Die Aufgabe wird im Übrigen auch mit einem Verfahren zum Trainieren eines künstli chen Neuronalen Netzes gemäß Anspruch 10 für ein computergestütztes Wissens- management gelöst, wobei ebenfalls zunächst ein künstliches Neuronales Netz be- reitgestellt wird, das die Merkmale und Eigenschaften des vorher beschriebenen künstlichen Neuronalen Netzes hat. Das künstliche Neuronale Netz hat insbesondere ein Schalterneuron, um so eine Pseudo-Zufallszahl der Verarbeitung des künstlichen Neuronalen Netzes bereitzustellen. Des Weiteren werden Trainingsdaten bereitge- stellt, mit denen das künstliche Neuronale Netz trainiert werden soll, wobei die Trai- ningsdaten eine Mehrzahl von Trainingssätzen enthalten, mit denen das künstliche Neuronale Netz das Eingabe-Ausgabe-Verhalten antrainiert werden soll. Ein solcher Trainingssatz besteht dabei aus einer Zuordnung von Eingabewerten zu entspre- chenden Ausgabewerten, wobei jeder Trainingssatz bei den Eingabewerten zusätz- lich ein oder mehrere Pseudo-Zufallszahlen hat, die zusammen mit den Eingabewer- ten den jeweiligen Ausgabewerten zugeordnet werden. Hierdurch soll das künstliche Neuronale Netz so trainiert werden, dass es beim Vorliegen einer Kombination aus den Eingabewerten und Pseudo-Zufallszahl jeweils die dieser Kombination zugeord- neten Ausgabewerte ausgibt.

Anschließend wird basierend auf den so bereitgestellten Trainingsdaten das künstli- che Neuronale Netz durch Anpassen der Gewichte der gewichteten Kanten derart trainiert, dass bei denselben Eingabewerten die Ausgabewerte in Abhängigkeit von der durch das mindestens eine Schalterneuron ausgebende Pseudo-Zufallszahl vari- ieren.

Für das Trainieren eines solchen Neuronalen Netzes gibt es dabei eine Vielzahl von Lernregeln, wie beispielsweise die HEBB-Regel, die Delta-Regel, beispielsweise backpropagation.

Die Erfindung wird anhand der beigefügten Figuren beispielhaft erläutert. Es zeigen:

Figur 1 - schematische Darstellung des erfindungsgemäßen künstlichen Neuro- nalen Netzes;

Figur 2 - Darstellung eines Ausführungsbeispiels eines künstlichen Neuronalen

Netzes für einen konkreten Anwendungszweck.

Figur 1 zeigt das künstliche Neuronale Netz 10, das eine erste Eingabeschicht 11 , eine zweite Verarbeitungsschicht 12 und eine dritte Ausgabeschicht 13 hat. Jede der Schichten 11 , 12 und 13 weist dabei ein künstliches Neuron 14 auf, um basierend auf die entsprechenden Eingabewerten die Ausgabewerte zu berechnen. Die erste Eingabeschicht 11 weist dabei drei Eingabeneuronen Ei, E2 und E3 auf, die über ge- wichtete Kanten jeweils mit den nachfolgenden Verarbeitungsneuronen V1 und V2 der zweiten Verarbeitungsschicht 12 verbunden sind. Das bedeutet, dass das Einga- beneuron Ei mit dem Verarbeitungsneuron V1 über eine Kante verbunden ist, die ein Gewicht W hat. Die Indizes i und j stehen dabei für die jeweilige Schicht des künstli chen Neuronalen Netzes 10 sowie dem jeweiligen Knoten in dieser Schicht.

Die Verarbeitungsknoten V1 und V2 der zweiten Verarbeitungsschicht 12 sind dabei mit den Ausgabenneuronen Ai und A2 der dritten Ausgabeschicht 13 verbunden, wobei auch hier die Kanten jeweils wieder gewichtet sind.

In den Gewichten Wy ist dabei das gelernte Wissen enthalten, das durch entspre- chende Trainingsdaten dem künstlichen Neuronalen Netz 10 antrainiert wurde.

Erfindungsgemäß ist nun ein zusätzliches Schalterneuron S1 vorgesehen, das durch entsprechende Kanten mit jedem der Verarbeitungsneuronen V1 und V2 der zweiten Verarbeitungsschicht 12 verbunden ist. Das Schalterneuron S1 erzeugt dabei eines Pseudo-Zufallszahl, die dann dem jeweiligen Verarbeitungsneuron V1 und V2 als Ein- gabe bereitgestellt wird.

So erhält das Verarbeitungsneuron V1 beispielsweise als Eingabe die gewichtete Ausgabe der Eingabeneuronen Ei, E2 und E3 sowie zusätzlich als Eingabe die Aus- gabe des Schalterneuronens S1, die eine entsprechende Pseudo-Zufallszahl ausgibt. Demzufolge erhält das Verarbeitungsneuron Vi an Stelle von drei Eingabe, die den Eingabewerten und der Anzahl der Eingabeneuronen der Eingabeschicht 11 entspre- chen, insgesamt vier Eingaben, nämlich eine zusätzliche Eingabe durch das Schal- terneuron Si.

Figur 2 zeigt schematisch ein künstliches Neuronales Netz, das vier Eingabeneuro- nen und vier Ausgabeneuronen aufweist und zwei Verarbeitungsschichten hat, wobei jede der Verarbeitungsschicht jeweils vier Verarbeitungsneuronen hat. Darüber hin aus weist das künstliche Neuronale Netz der Figur 2 ein Schalterneuron auf, das mit allen Verarbeitungsneuronen der ersten Verarbeitungsschicht verbunden ist. Mit Hilfe eines solchen künstlichen Neuronalen Netzes kann beispielsweise ein„random walk“ (auch Zufallsbewegung oder Irrfahrt genannt) abgebildet werden, was theoretisch mit einem Neuronalen Netz aufgrund des deterministischen Verhaltens nicht möglich wäre.

Das mit Hilfe des in Figur 2 gezeigten künstlichen Neuronalen Netzes abgebildeten random walk hat dabei vier Zustände, nämlich der Übergang nach links, nach rechts, nach oben oder nach unten. Die Eingabeneuronen Ei bis E₄ zeigen dabei den aktuel- len Zustand an, d.h. in welche Richtung der Läufer zuletzt gelaufen ist. Als Ausgabe Ai bis A4 wird dabei erwartet, was der nächste Zustand sein soll, d.h. ob der Läufer nach links, nach rechts, nach oben oder nach unten laufen soll. Dabei soll der nächste Zustand, der eingenommen werden soll, zufällig sein. Dies wird schließlich mit dem Schalterneuron Si realisiert.

Hierfür wird das Neuronale Netz in Figur 2 mit Hilfe von Trainingsdaten trainiert, wo- bei die Trainingsdaten neben den Eingabewerten Ei bis E₄ auch das Schalterneuron Si beinhalten, während die Ausgabe die Ausgabewerte Ai bis A₄ beinhalten. Demzu- folge können die Trainingsdaten schematisch wie folgt definiert werden:

(Z, Ei, i, E3, E₄) -> ( Ai, A2, A3, A₄)

Z steht dabei für die Zufallszahl, während Ei bis E₄für die Eingabewerte an den Ein- gabeneuronen steht. Basierend darauf wird dann definiert, welche Ausgabe Ai bis A₄ basierend auf der Eingabe genannt werden soll. Wie zu erkennen ist, beinhaltet die Eingabe ebenfalls die Zufallszahl, sodass hierauf das Netz entsprechend trainiert werden kann.

Ein möglicher Satz Trainingsdaten könnte dabei wie folgt aussehen:

Input Output

(0.1 , 1 , 0, 0, 0) ^ (0, 1 , 0, 0)

Diese Tabelle zeigt schematisch, dass für dieselbe Eingabewerte, nämlich einen Ein- gabewert 1 für das Eingabeneuron Ei und ansonsten einen Eingabewert 0 für die üb- rigen Eingabeneuronen, dass die Ausgabe variiert. Das künstliche Neuronale Netz lernt nun für dieselben Eingabewerte, wie die Ausgabewerte von der Pseudo-Zufalls- zahl am Anfang abhängen. Für eine Pseudo-Zufallszahl von 0,5 wird dabei das Aus- gabeneuron A3 aktiviert, während für eine Pseudo-Zufallszahl 0,1 und 0,2 das zweite Ausgabeneuron A2 aktiviert wird.

Bei einer hinreichend großen Anzahl von Trainingsdaten kann somit das künstliche Neuronale Netz basierend auf der Pseudo-Zufallszahl einen random walk abbilden, wobei die vier Zustände durch entsprechende Teilbereiche des Zahlenbereiches der Zufallszahl abgebildet werden. Demzufolge wird der Zahlenbereich in vier gleich- große Teilbereiche unterteilt, wobei jedem Teilbereich dann ein entsprechender Zu- stand zugeordnet wird.

Ein solches gelerntes Neuronales Netz kann dabei auch eine Zufälligkeit generalisie- ren, d.h. auch Ausgabewerte ausgeben, auch wenn für die entsprechende Kombina- tion von Eingabewerten und Ausgabewerten gerade keine Trainingsdaten Vorlagen. Sei beispielsweise angenommen, dass der Satz von Trainingsdaten nicht in den Trainingsdaten enthalten war, so würde das gelernte künstliche Neuro- nale Netz bei einer Zufallszahl von 0,15 und Eingabewerten von (1 , 0, 0, 0) eben auch das zweite Ausgabeneuron A2 aktivieren. Andere Anwendungsfälle, die mit Hilfe eines solchen pseudo-nichtdeterministischen Neuronalen Netzes abgebildet werden können, um mehr zufällige Variabilität ein- streuen zu können, ohne auf die Vorteile eines Neuronalen Netzes hinsichtlich der Lernfähigkeit und Generalisierungsfähigkeit verzichten zu müssen, sind Chat Bots, Künstliche Intelligenz, bspw. im Bereich von Computerspielen, oder automatisierte computergenerierte Text-Synthese.

Claims

Patentansprüche

1. Künstliches Neuronales Netz (10) für ein computergestütztes Wissensmanage- ment mit einer Mehrzahl von Neuronen (14), die über gewichtete Kanten mitei- nander verbunden sind, wobei

ein oder mehrere Eingabeneuronen (Ei, E2, E3) vorgesehen sind, denen je- weils ein Eingabe-Bedeutungsinhalt zugeordnet ist und mittels derer Einga- bewerte an das künstliche Neuronale Netz (10) übergeben werden, ein oder mehrere Ausgabeneuronen (Ai, A2) vorgesehen sind, denen je- weils ein Ausgabe-Bedeutungsinhalt zugeordnet sind und mittels derer Aus- gabewerte des künstlichen Neuronalen Netzes (10) ausgegeben werden, und

ein oder mehrere Verarbeitungsneuronen (V1, V2) vorgesehen sind, die über die gewichteten Kanten die Eingabeneuronen mit den Ausgabeneuronen verbinden,

dadurch gekennzeichnet, dass das künstliche Neuronale Netz (10) mindes- tens ein zusätzliches Schalterneuron (S1) hat, das mit einem oder mehreren Verarbeitungsneuronen (V1, V2) über gewichtete oder ungewichtete Kanten ver- bunden ist, wobei das wenigstens eine Schalterneuron (S1) eine Pseudo-Zu- fallszahl (Z) über die gewichteten oder ungewichteten Kanten als zusätzliche Eingabe an die verbundenen Verarbeitungsneuronen (V1, V2) ausgibt.

2. Künstliches Neuronales Netz (10) nach Anspruch 1 , dadurch gekennzeichnet, dass das künstliches Neuronales Netz (10) derart eingerichtet ist, dass bei den- selben Eingabewerten die Ausgabewerte in Abhängigkeit von der durch das mindestens eine Schalterneuron (S1) ausgegebenen Pseudo-Zufallszahl (Z) va- riieren.

3. Künstliches Neuronales Netz (10) nach Anspruch 2, dadurch gekennzeichnet, dass das mindestens eine Schalterneuron (Si) eine Pseudo-Zufallszahl (Z) aus einem vorgegebenen Zahlenbereich ausgibt und das künstliche Neuronale Netz derart eingerichtet ist, dass bei denselben Eingabewerten die Ausgabewerte bei Pseudo-Zufallszahlen (Z) innerhalb eines gemeinsamen Teilbereiches des vor- gegebenen Zahlenbereiches nicht variieren.

4. Künstliches Neuronales Netz (10) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass zumindest eine Verarbeitungsschicht (12) vorge- sehen ist, welche die Verarbeitungsneuronen (Vi, V2) aufweist, wobei das min- destens eine Schalterneuron S1 mit jedem Verarbeitungsneuron (V1, V2) der Verarbeitungsschicht (12) über die gewichteten oder ungewichteten Kanten ver- bunden ist.

5. Verfahren zum Berechnen von Ausgabewerten basierend auf Eingabewerten mittels eines künstlichen Neuronalen Netzes für ein computergestütztes Wis- sensmanagement, mit den Schritten:

Bereitstellen eines trainierten, künstlichen Neuronalen Netzes, das eine Mehrzahl von Neuronen (14) hat, die über gewichtete Kanten miteinander verbunden sind, wobei ein oder mehrere Eingabeneuronen (Ei, E2, E3) vor- gesehen sind, denen jeweils ein Eingabe-Bedeutungsinhalt zugeordnet ist und mittels derer Eingabewerte an das künstliche Neuronale Netz (10) übergeben werden, ein oder mehrere Ausgabeneuronen (Ai, A2) vorgese- hen sind, denen jeweils ein Ausgabe-Bedeutungsinhalt zugeordnet sind und mittels derer Ausgabewerte des künstlichen Neuronalen Netzes ausgege- ben werden, und ein oder mehrere Verarbeitungsneuronen (V1, V2) vorgese- hen sind, die über die gewichteten Kanten die Eingabeneuronen (Ei, E2, E3) mit den Ausgabeneuronen verbinden, und wobei mindestens ein zusätzli- ches Schalterneuron S1 vorgesehen ist, das mit einem oder mehreren Ver- arbeitungsneuronen (V1, V2) über gewichtete oder ungewichtete Kanten ver- bunden ist und eine Pseudo-Zufallszahl (Z) über die gewichteten oder un- gewichteten Kanten als zusätzliche Eingabe an die verbundenen Verarbei- tungsneuronen (Vi, V2) ausgibt,

Eingeben von Eingabewerten mittels der Eingabeneuronen (Ei, E2, E3), Erzeugen einer Pseudo-Zufallszahl (Z) und Eingeben der Pseudo-Zufalls- zahl (Z) mittels des mindestens einen zusätzlichen Schalterneurons Si, und Berechnen der Ausgabewerte mittels der Verarbeitungsneuronen (Vi, V2) in Abhängigkeit von den Eingabewerten und den Gewichten der gewichteten Kanten sowie der Pseudo-Zufallszahl (Z) des mindestens einen zusätzli- chen Schalterneurons S1.

6. Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass die Ausgabewerte derart berechnet werden, dass bei denselben Eingabewerten die Ausgabewerte von der durch das mindestens eine Schalterneuron S1 ausgegebenen Pseudo- Zufallszahl (Z) abhängen.

7. Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass die Pseudo-Zufalls- zahl (Z) aus einem vorgegebenen Zahlenbereich erzeugt wird und die Ausgabe- werte derart berechnet werden, dass bei denselben Eingabewerten die Ausga- bewerte bei Pseudo-Zufallszahlen (Z) innerhalb eines gemeinsamen Teilberei- ches des vorgegebenen Zahlenbereiches nicht variieren.

8. Verfahren nach einem der Ansprüche 5 bis 7, dadurch gekennzeichnet, dass ein künstliches Neuronales Netz nach einem der Ansprüche 1 bis 4 bereitge- stellt wird.

9. Computerprogramm mit Programmcodemitteln, eingerichtet zur Durchführung des Verfahrens nach einem der Ansprüche 5 bis 8, wenn das Computerpro- gramm auf einer Datenverarbeitungsanlage ausgeführt wird.

10. Verfahren zum Trainieren eines künstlichen Neuronalen Netzes für ein compu- tergestütztes Wissensmanagement mit den Schritten:

Bereitstellen eines künstlichen Neuronalen Netzes, das eine Mehrzahl von Neuronen hat, die über gewichtete Kanten miteinander verbunden sind, wo- bei ein oder mehrere Eingabeneuronen (Ei, E2, E3) vorgesehen sind, denen jeweils ein Eingabe-Bedeutungsinhalt zugeordnet ist und mittels derer Ein- gabewerte an das künstliche Neuronale Netz (10) übergeben werden, ein oder mehrere Ausgabeneuronen vorgesehen sind, denen jeweils ein Aus- gabe-Bedeutungsinhalt zugeordnet sind und mittels derer Ausgabewerte des künstlichen Neuronalen Netzes ausgegeben werden, und ein oder mehrere Verarbeitungsneuronen (Vi, V2) vorgesehen sind, die über die ge- wichteten Kanten die Eingabeneuronen (Ei, E2, E3) mit den Ausgabeneuro- nen verbinden, und wobei mindestens ein zusätzliches Schalterneuron S1 vorgesehen ist, das mit einem oder mehreren Verarbeitungsneuronen (V1, V2) über gewichtete oder ungewichtete Kanten verbunden ist und eine Pseudo-Zufallszahl (Z) über die gewichteten oder ungewichteten Kanten als zusätzliche Eingabe an die verbundenen Verarbeitungsneuronen (V1, V2) ausgibt,

Bereitstellen von Trainingsdaten, mit denen das künstliche Neuronale Netz trainiert werden soll, wobei die Trainingsdaten den Eingabewerten und min- destens einer Pseudo-Zufallszahl (Z) entsprechende Ausgabewerte zuord- nen, und

Trainieren des künstlichen Neuronalen Netzes basierend auf den Trainings- daten durch Anpassen der Gewichte der gewichteten Kanten derart, dass bei denselben Eingabewerten die Ausgabewerte in Abhängigkeit von der durch das mindestens eine Schalterneuron S1 ausgegebenen Pseudo-Zu- fallszahl (Z) variieren.

1 1. Verfahren nach Anspruch 10, dadurch gekennzeichnet, dass ein künstliches Neuronales Netz (10) nach einem der Ansprüche 1 bis 4 bereitgestellt wird.

1 2. Computerprogramm mit Programmcodemitteln, eingerichtet zur Durchführung des Verfahrens nach einem der Ansprüche 10 oder 11 , wenn das Computerpro- gramm auf einer Datenverarbeitungsanlage ausgeführt wird.