JPH0736181B2

JPH0736181B2 - 神経ネットワーク回路

Info

Publication number: JPH0736181B2
Application number: JP63158536A
Authority: JP
Inventors: 浩二秋山; 博司筒; 鉄小川; 博司筒井
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 1988-06-27
Filing date: 1988-06-27
Publication date: 1995-04-19
Anticipated expiration: 2010-04-19
Also published as: JPH027154A

Description

【発明の詳細な説明】産業上の利用分野本発明は、神経系と類似な入出力動作、例えばパターン
認識，音声認識，連想記憶，並列演算処理などを行う神
経ネットワーク回路に関するものである。

従来の技術現在使用されている計算機はフォン・ノイマン型計算機
であり、アルゴリズムに沿って直列的に情報を処理して
いく。つまり、一時に１つの命令しか実行しないのが原
則であるため、効率のよい計算法や解法が分からない問
題では、可能性をしらみつぶしに調べて行くことに成り
かねない。直列的な情報処理では、扱える問題に限界が
あることは明かである。

このような計算機に対し、生物の脳は情報を処理するた
めに神経細胞からなるネットワークを作り、外界からの
多量の情報を処理するに当たって、神経細胞間の相互作
用を用いて並列に処理を行っている。この方法は、大量
の機械計算や高度の論理演算を余り得意としないが、複
雑かつ曖昧な状況に柔軟に対処し、適切な解を素早く出
す点で高い能力を発揮できる。つまり、計算機を使って
パターン認識や音声認識を行うには、処理時間がかかり
すぎる，融通性が無いなどの問題があり大変困難である
が、脳はなんの苦もなく簡単に行うことができる。ま
た、脳は、計算機がプログラムを取り替えることによる
万能性をもつのに対し、学習と自己組織により自己の性
能を改善し環境の情報構造に自己を適合させる特徴を持
つ。

このような脳の持つ特徴を人工的に獲得するためには、
脳と同じような並列情報処理原理を技術的に実現する必
要がある。このような要求の中から、第５図に示すよう
な階層的な構造を持つパーセプトロンが提案されてい
る。

第５図のような３層構造のパーセプトロンに対する教師
つき学習法として、誤差逆伝搬学習法が現在のところ最
も有効である。誤差逆伝搬学習法は、入力層50に入力パ
ターンが与えられるたびに教師が出力層51の細胞の出力
を検査し、もし誤っていたら正しい出力を出せるように
中間層52の細胞との結合係数を修正する学習方法であ
る。この学習法の有効性については、ジョーンズ・ホプ
キンス大学（Johns Hopkins）のセノースキー博士（T.
J.Sejnowski）とプリンストン大学のローゼンベルグ博
士（C.R.Rosenberg）が研究した文章の音読を学習する
ネットワークシステム、ネットワーク（NET talk）で実
証されている。

発明が解決しようとする課題誤差逆伝搬学習法を使ってパターン認識や音声認識を行
わせる場合、中間層に含まれる神経細胞の数を幾つにす
ると、あるいは中間層の神経細胞のうちどれくらいの割
合で出力細胞と結合させたら、認識できるパターンの数
および認識率を低下させることなく最も効率よく学習で
きるかという問題については、まだ明らかにされていな
かった。

本発明は以上のような従来の問題点を解決するもので、
効率よく学習でき、しかも認識率の高い神経ネットワー
ク回路を提供するものである。

課題を解決するための手段本発明の神経ネットワーク回路は、少なくとも１つの入
力層および少なくとも１つの中間層および少なくとも１
つの出力層からなり、全ての入力層に属する単位神経素
子の総数が100個以上であり、全ての入力層に属する全
ての各々の単位神経素子からの出力が、１つ以上の各々
の中間層において該中間層に属する少なくとも１個の単
位神経素子を経由し、少なくとも１つの出力層に属する
１個以上の単位神経素子の入力として与えられるように
接続した階層状のネットワークを構成し、かつ各々の中
間層に属する単位神経素子の数（これをx_kとする、ただ
しｋ＝1,2,3,…,n、ｎは中間層の数）と全ての入力層に
属する単位神経素子の総数（これをｙとする）と全ての
出力層に属する単位神経素子の総数（これをｚとする）
との関係が、y^0.5≦x_k≦2y（ｋ＝1,2,3,…,n）およびｚ
≦ｙを満足することを特徴とするものである。

作用本発明者らは、入力層、１つ以上の中間層、出力層の階
層的な神経ネットワーク回路において、神経系と類似な
入出力動作の一例としてパターン認識の問題を適用さ
せ、各層に含まれる単位神経素子の数と学習の効果およ
び認識率との関連について調べた。その結果、学習アル
ゴリズムとして誤差逆伝搬学習法を用いた場合には、入
力層に含まれる単位神経素子の数を100個以上にした
時、中間層に含まれる単位神経素子の数（ｘ）と入力層
に含まれる単位神経素子の数（ｙ）及び出力層に含まれ
る単位神経素子の数（ｚ）との関係にy^0.5≦ｘ≦2yおよ
びｚ≦ｙを満足させると、学習の際に収束し易く、学習
回数を少なくでき、しかも未学習入力に対する認識率を
余り減少することなく最もよい状態を得ることができ
た。また、中間層が複数個（ｎ）ある場合でも何れの中
間層において各層に含まれる単位神経素子の数（x_k,k＝
1,2,3,…,n）について上記の条件を満足させると同様の
効果を得ることができた。なぜ、上記の条件を満足する
ときに最もよい状態を得ることができるかについて、現
在のところ数学的に解析できていないが、以下のように
概ね考えている。

入力層に含まれる単位神経素子数が100個以上であるよ
うな、神経素子数の比較的多いネットワーク回路におい
て、中間層または出力層の単位神経素子数および結合数
をあまり多くするとネットワーク回路のエネルギーの極
小値の深さの浅いものが増える。その結果、回路の状態
がこのような浅い極小値に捕らわれ、安定な深さの深い
極小値に落ち着き難くなる。従って、学習の際収束しに
くくなり、未学習入力に対する認識率も余り向上しなく
なってしまう。一方、中間層の単位神経素子数および結
合数を少なくし過ぎると認識できるパターンの数を増や
すことができない。

以上のことから、上記の条件を満足する場合において、
認識率を余り減少させることなく、学習の収束度を高
め、学習回数を減少させることができたものと思われ
る。

実施例本発明の実施例について、図面を参照しながら説明す
る。

第１図に本発明の神経ネットワーク回路の一例を示す。
この図に示すように神経ネットワーク回路は、入力層1
1,中間層12,出力層13の３層からなり、各層間で単位神
経素子14どうしが結合した階層型ネットワークである。
この階層型ネットワークを、別な表現で説明すれば、入
力層11に属する各々の単位神経素子14からの出力が、中
間層12に属する少なくとも１個の単位神経素子14を経由
し、出力層13に属する１個以上の単位神経素子14の入力
として与えられる様に接続されたものである。各層間の
単位神経素子14の結合15は、神経細胞のシナプスに相当
し、ある結合強度が割り当てられており、この結合を通
過する情報量に対してこの結合強度に応じた重み付けを
行う。神経ネットワーク回路の学習とは、結合15におけ
る結合強度の変更に相当する。単位神経素子14は神経細
胞の細胞体に相当し、実際の神経細胞がそうであるよう
に、結合15（シナプス）において重み付けされた入力を
受取り、該入力の総和に対する出力値が非線形の関係に
あるものである。この非線形の入出力関係とは、例え
ば、第２（ａ）および（ｂ）に示すように、入力が無限
大に近づくにつれて出力の微係数が零に収束するＳ字状
の特性を持ち（あるいは、横軸に対して対称移動した逆
Ｓ字状でも良い）、しきい値の値に従って曲線が横軸方
向に平行移動するものである。また、他の入出力特性と
しては、第２図（ｃ）および（ｄ）に示すような右上が
りの階段状の特性（あるいは、横軸に対して対称移動し
た右下がりの階段状の特性）があげられる。但し、入力
層11の単位神経素子14は第１図に示すように入力側に結
合15を持たないため、各単位神経素子14は外部から与え
られた情報を重み付けしないでそのまま受け入れ、自分
の持つ入出力特性に従って出力を中間層12の単位神経素
子14に与える。また、入力層11に含まれる単位神経素子
14は、中間層12の単位神経素子14に外部から与えられた
情報をそのまま供給しても問題無い。

入力層11に含まれる単位神経素子14は、100個以上に設
定されている。中間層12に含まれる単位神経素子14の数
（これをｘとする）は、入力層11に含まれる単位神経素
子14の数（これをｙとする）に対して、y^0.5≦ｘ≦2yの
関係を満足しており、かつ、出力層13に含まれる単位神
経素子14の数（これをｚとする）とｙに対してはｚ≦ｙ
を満足している。

第１図に示した例では中間層12は１層であるが、処理を
行う問題の複雑さに合わせて２層以上にしてもよい。た
だし、各中間層に含まれる単位神経素子の数は常に上記
の条件を満足していなければならない。さらにこの場
合、入力層11と結合している中間層に含まれる単位神経
素子の数を、入力層11とは結合していない他の中間層に
属している単位神経素子の数が越えないように設定する
と学習の際の収束度はより向上する。また、入力層11お
よび出力層13が複数になる場合は、上記の条件におい
て、全ての入力層に含まれる単位神経素子の総数がｙに
対応し、全ての出力層に含まれる単位神経素子の総数が
ｚに対応する。

また、中間層あるいは出力層に属するある１つの単位神
経素子が受け取る入力の数（これをｐとする）の、これ
らの入力を出力している単位神経素子を含む層に属する
単位神経素子の総数（これをｑとする）に対する割合
（p/q）の平均値を30％以上85％以下にすることによ
り、認識率をあまり低下させることなく学習時の回路の
収束度を高めることができる。このp/qは、言い替えれ
ば１つの単位神経素子が前段の層に属する全単位神経素
子（ｑ個）のうち幾つの単位神経素子（ｐ個）から入力
を受けているかを表す割合である。また、p/qの平均値
は、好適には45％以上80％以下であり、最適には55％以
上80％以下である。

以下に、具体的な実施例を述べる。

実施例１本発明の一実施例として、第３図に示すような神経ネッ
トワーク回路を作製した。第３図（ａ），（ｂ）および
（ｃ）は、それぞれ回路全体の構造，神経素子間の結合
部分の平面図およびその断面図である。増幅器30は第１
図の単位神経素子14に相当し、第２図（ａ）または
（ｂ）の入出力特性を持つ。増幅器30の数はそれぞれ、
入力層31では256個、中間層32では120個、出力層33では
80個である。

このネットワーク回路の作製方法を以下に示す。絶縁性
基板34上にアルミニウム，クロムなどでの導電性配線パ
ターン35を形成し、酸化シリコン，窒化シリコン、ポリ
イミドなどの絶縁材料からなる絶縁層36を積層する。シ
ナプス結合を形成する部分だけ絶縁層36を除去し、この
部分に光導電層37として非晶質シリコンまたは非晶質シ
リコンゲルマニウムなどの光導電材料の薄膜を埋め込
む。この部分は、第１図において結合15に相当する。続
いてSnO₂、ITOまたは金などの透明導電性配線パターン3
8を交差させて形成し、第３図（ａ）〜（ｃ）に示すよ
うな神経ネットワーク回路Ａを作製した。但し、入力層
31の増幅器30の総数に対する、中間層32の１つの増幅器
30が結合している入力層31の増幅器30の数の割合の平均
値は85％であり、中間層32の増幅器30の総数に対する、
出力層33の１つの増幅器30が結合している中間層32の増
幅器30の数の割合の平均値は70％となるように設計し
た。

また、この神経ネットワーク回路Ａとは別に、中間層32
の数を550個、出力層33の数を320個とし、他の条件は上
記と同一の神経ネットワーク回路Ｂも作製した。

これらの神経ネットワーク回路A,Bを神経系と類似な入
出力動作の一例として、0,1の２値で表される30ないし4
0個のパターンを用いてパターン認識に応用した。認識
のための学習方法としては、結合部分の光導電層37に照
射する光39の強度を変化させて結合強度に相当する抵抗
値を制御する方法を用いた。回路Ａの場合、学習の際の
収束の度合は優れており、学習回数はパターン数で多少
変化するが平均して４〜５回であった。また、認識率は
95％以上であった。一方、回路Ｂの場合、学習の際回路
の収束はあまり良くなく、学習回数は平均して2000回以
上を要した。またハミング距離10以内の不完全パターン
に対する認識率も85％程度であった。

実施例２第４図に示すように入力層40、第１中間層41、第２中間
層42、出力層43の４層からなる神経ネットワーク回路を
計算機によりシュミレーションで動作認識した。但し、
入力層40の単位神経素子44の数ｙは100〜10000個変化さ
せ、第１中間層41の単位神経素子44の数x₁は30〜20000
個変化させ、第２中間層42の単位神経素子44の数x₂は20
〜15000個変化させ、出力層43の単位神経素子44の数ｚ
は50〜5000個変化させた。また、単位神経素子44の入出
力特性は次式で表わした。

ｖ＝（tanh（ku）＋１）/2 但し、u:入力、v:出力、k:定数。

第１中間層41、第２中間層42および出力層43のそれぞれ
に含まれる単位神経素子44の１個と結合している前段の
層に含まれる単位神経素子の平均の数は前段の層に含ま
れる単位神経素子の総数に対して、30〜85％ととした。

この回路に、0,1の２値からなる100個のパターンを使っ
て学習させてみたところ、y^0.5≦x_n≦2y（ｎ＝1,2）お
よびｚ≦ｙを満足するとき、満足しない場合に比べて約
1/100少ない学習回数で収束し、特にx₂≦x₁を同時に満
足させることによりさらに学習回数が減少することが確
認できた。

発明の効果以上のように本発明による神経ネットワーク回路は、効
率よく学習でき、しかも認識率が高い。

【図面の簡単な説明】

第１図は本発明における神経ネットワーク回路の一実施
例を示す模式図、第２図（ａ），（ｂ），（ｃ）および
（ｄ）は各々単位神経素子の入出力特性の一例を示す特
性図、第３図（ａ），（ｂ）および（ｃ）は各々本発明
における神経ネットワーク回路の一実施例の全体の構造
を示す回路図、神経素子間の結合部分の平面図およびそ
の断面図、第４図は本発明の他の実施例における神経ネ
ットワーク回路の模式図、第５図は従来例の神経ネット
ワーク回路を示す模式図である。 11…入力層、12…中間層、13…出力層、14…単位神経素
子、15…結合、30…増幅器、31…入力層、32…中間層、
33…出力層、40…入力層、41…第１中間層、42…第２中
間層、43…出力層、44…単位神経素子。

Claims

【特許請求の範囲】

【請求項１】少なくとも１つの入力層および少なくとも
１つの中間層および少なくとも１つの出力層からなり、
全ての前記入力層に属する単位神経素子の総数が100個
以上であり、全ての前記入力層に属する全ての単位神経
素子からの各々の出力が、１つ以上の各々の前記中間層
において該中間層に属する少なくとも１個の単位神経素
子を経由し、少なくとも１つの前記出力層に属する１個
以上の単位神経素子の入力として与えられるように接続
した階層状のネットワークを構成し、かつ各々の前記中
間層に属する単位神経素子の数（これをx_kとする、ただ
しｋ＝1,2,3,…,n、ｎは中間層の数）と全ての前記入力
層に属する単位神経素子の総数（これをｙとする）と全
ての前記出力層に属する単位神経素子の総数（これをｚ
とする）との関係が、y^0.5≦x_k≦2y（ｋ＝1,2,3,…,n）
およびｚ≦ｙを満足することを特徴とする神経ネットワ
ーク回路。
【請求項２】複数の中間層を有し、入力層と結合してい
る中間層に属する単位神経素子の数に対し、他の中間層
に属する単位神経素子の数が多くならないことを特徴と
する請求項１に記載の神経ネットワーク回路。
【請求項３】中間層または出力層に属する単位神経素子
が受け取る入力の数（これをｐとする）の、前記入力を
出力している単位神経素子を含む層に属する単位神経素
子の総数（これをｑとする）に対する割合（p/q）の平
均値を30％以上85％以下としたことを特徴とする請求項
１に記載の神経ネットワーク回路。