[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP2009516246A - ニューラルネットワークのトレーニング方法 - Google Patents

ニューラルネットワークのトレーニング方法 Download PDF

Info

Publication number
JP2009516246A
JP2009516246A JP2008539194A JP2008539194A JP2009516246A JP 2009516246 A JP2009516246 A JP 2009516246A JP 2008539194 A JP2008539194 A JP 2008539194A JP 2008539194 A JP2008539194 A JP 2008539194A JP 2009516246 A JP2009516246 A JP 2009516246A
Authority
JP
Japan
Prior art keywords
ltg
output
neural network
constraint
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
JP2008539194A
Other languages
English (en)
Other versions
JP2009516246A5 (ja
Inventor
ベルナデット ガーナー
Original Assignee
ベルナデット ガーナー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from AU2005906330A external-priority patent/AU2005906330A0/en
Application filed by ベルナデット ガーナー filed Critical ベルナデット ガーナー
Publication of JP2009516246A publication Critical patent/JP2009516246A/ja
Publication of JP2009516246A5 publication Critical patent/JP2009516246A5/ja
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/0265—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion
    • G05B13/027—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion using neural networks only
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06J—HYBRID COMPUTING ARRANGEMENTS
    • G06J1/00—Hybrid computing arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Computer Hardware Design (AREA)
  • Fuzzy Systems (AREA)
  • Image Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Physiology (AREA)
  • Feedback Control In General (AREA)
  • Machine Translation (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

【課題】本発明は人工ニューラルネットワーク（ＮＮ）をトレーニングする方法（３０）を提供する。
【解決手段】前記方法（３０）は：トレーニングするＮＮの出力を選択し、ＮＮのニューロンの出力を前記選択した出力のためのＮＮの入力層に接続することによりＮＮを初期化するステップ；ＮＮに学習させるデータセットを用意するステップ；並びに、前記用意したデータセットの入力ベクトルをＮＮの第１の中間層に、又はＮＮに中間層がなければＮＮの出力層に適用することにより前記用意したデータセットをＮＮに適用して学習させるステップ；及び、ＮＮの各層における前記選択した出力のための少なくとも１のニューロンが、入力ベクトルに対する付随出力の生成を学習しうるか否かを決定するステップを含んでなる。ＮＮの１層におけるどのニューロンも入力ベクトルに対する前記付随出力の生成を学習できなければ、その層における全ての他のニューロンが学習できなかった付随出力を学習するために、その層に新規ニューロンが追加される。新規ニューロンは、トレーニングされる出力と関連する次の層において全てのニューロンと接続する出力を有する。出力ニューロンが入力ベクトルを学習できなければ、別のニューロンが同一層に追加され、現状の出力ニューロン及び全ての入力はこれに接続される。このニューロンは、古い出力が学習できなかった入力を学習する。追加ニューロンは次の層に追加される。このニューロンへの入力はＮＮの古い出力及び次の層への新規追加ニューロンである。
【選択図】図２

Description

本発明は一般的に人工ニューラルネットワーク及びその操作に関し、特に、限定しないが、ニューラルネットワークのトレーニング法の改善及び／又は、トレーニング過程中の要求通りにネットワークにニューロンを追加できるシステムに関する。
過去１０数年にわたり生成データセットのサイズが増殖するに従い、厳密に理解されないデータセットにおいて、そのデータセット内の関係を見出すために用いうる開発ツールへの関心が高まっている。データ探索のツールは、毎回固定した時間量において、入力と出力の間の関係についての顕著な情報を容易に決定しうるデータセットを矛盾なく学習しうることが望ましい。
データ探索のツールの１つは、フィードフォワードニューラルネットワークである。フィードフォワードニューラルネットワークは、データセットを有する多くの多様で困難なタスクを実施するために用いられ、過去およそ４０年にわたって大いに注目されてきた。これらには、「一般化する」能力があるという理由で、パターン分類及び機能概算を含む。このように、ニューラルネットワーク（以後、簡便のために”ＮＮ”と略称）は、非線形システムモデリング及びイメージ圧縮・再構成等のアプリケーションに用いうる。
ＮＮが関心を持たれる分野には、科学、商業、医学及び産業が含まれ、これらにおいてはデータに内在する関係性が不明であり、ＮＮであればそうしたデータをうまく分類する方法を学習できるからである。
ある場合においては、データが先行する分類に提示されてはならず、こうした状況では、で他を分類するために自己組織化マップ等の教師なしトレーニングを用いることが通常である。別の場合においては、データは分類されたデータサンプルに前もって分解され、こうした状況では未分類のデータをさらに分類できるようＮＮをトレーニングすることが通常である。後者の場合においては、教師あり学習アルゴリズムが伝統的に用いられる。分類された入力データ例には付随する出力があり、トレーニング期間中にＮＮは入力ベクトルに付随する望ましい出力を再現することを学習する。フィードフォワードＮＮは、伝統的には教師ありトレーニング法を用いてトレーニングされる。
人工ＮＮは多くのニューロンで構成され、これらはユニット又はノードと呼ぶことがある。これは生物学的ニューロンからインスピレーションを得ている。ニューロンは相互に接続せいてネットワークを形成する。各ニューロンには多くの他のニューロンからの入力がある。ニューロンは入力に応答して、発火するかしないかにより出力を生成する。このようにして、ニューロンの出力は多くの他のニューロンへの入力になりうる。これがフィードフォワードＮＮの基本構造である。
典型的にはニューロンは層を形成する。フィードフォワードＮＮにおいては、入力層、中間層及び出力層の、３タイプの層がある。第１の層は入力層であり、１以上のニューロンを内蔵する。同様に１以上のニューロンを有する出力層もある。ＮＮは１以上の中間層を有する場合もある。入力層の全てのニューロンは次の層、すなわち出力層又は１以上の中間層がある場合には第１の中間層へ、出力を提示する。中間層が１つだけであると、中間層のニューロンは出力層に対して出力を報告する。中間層が１よりも多いと、ニューロンは次の中間層等の入力に向かって出力を送り、最後の中間層は出力層の入力に向かってその出力を送る。
他のネットワークアーキテクチャも可能であり、ＮＮは特定のデータセットを学習するよう特異的に設計しうる。これは特にＮＮの入力ベクトルのシーケンス学習に見られ、これは接続にフィードバックループを有することもある。これらのＮＮは回帰フィードフォワードニューラルネットワークと呼ばれ、一般的にはこのＮＮの出力はしばしばＮＮの入力にフィードバックしうる。
最初の生物学的ニューロンモデルは、ＭｃＣｕｌｌｏｃｈ及びＰｉｔｔにより１９４３年に開発された。これは、ＭｃＣｕｌｌｏｃｈ−Ｐｉｔｔニュートンとして知られた。ＭｃＣｕｌｌｏｃｈ−Ｐｉｔｔニューロンモデル又は直線閾値ゲート（以後、ＬＴＧと略称、Ｌｉｎｅａｒ Ｔｈｒｅｓｈｏｌｄ Ｇａｔｅ）は、多くの入力接続及び各接続と関連付けられた重みを有するものとして定義される。入力は、数学的にベクトルｘｉとして定義され、
Figure 2009516246
 式中、ｎはＬＴＧへの入力数を示す正の整数であり、ｉはｉ番目の入力ベクトルである。入力接続はｎ個あるので、接続の重みは数学的にベクトルｗと定義されうる。
Figure 2009516246
 ＬＴＧへの各入力ベクトルは関連付けられた重みがかけ合わされて数学的にｘｉ・ｗと表され、この結果はＬＴＧの閾値Ｔと比較される。
Figure 2009516246
 ｘｉ・ｗ≧Ｔならば出力は１であり、さもなければｘｉ・ｗ＜Ｔとなって出力は０である。換言すれば、ＬＴＧはニューロンの活性化関数としての、このステップ関数又はＨｅａｖｉｓｉｄｅ関数を用いる。
ＬＴＧは次式の定義を用いて数学的に定義しうる。ｗ＝｛ｗ１，ｗ２，．．・ｗｎ｝及びｘｉ＝｛ｘ１，ｘ２，．．．ｘｎ｝ここで、
Figure 2009516246
Figure 2009516246
 とおくと、ＬＴＧの挙動は次式１．１のようにまとめられる。
ｘｊ・ｗ＜Ｔ→０、及びｘｊ・ｗ＜Ｔ→１ （１．１）
このように、ＬＴＧ、Ｏの出力はバイナリ｛０，１｝である。ＬＴＧは活性化すると１を出力し、しなければ０を出力する。
１９６２年に、ＬＴＧは、永久的に１にセットされる追加バイアスで変更された。バイアス入力は閾値を吸収し、これをゼロにセットする。変更されたＬＴＧモデルはパーセプトロンと名称変更した。パーセプトロンモデルにおいては、閾値Ｔはｘｉ・ｗから除去されうるので、等式はｘｉ・ｗ＜Ｔ≡ｘｉ・ｗ−Ｔ＜０、及びｘｉ・ｗ＞Ｔ≡ｘｉ・ｗ−Ｔ≧０となるすなわち、閾値は、重みｗ０と共にニューロンへの別の入力になることが可能で、ニューロンへの入力を１に固定することにより常に存在することが確定し、Ｔ＝１・ｗ０となる。重みｗ０はバイアスウェイトと呼ばれる。従って、前式は次のようになる。
ｘｉ・ｗ−Ｗ０＜０、及びｘｉ・ｗ−Ｗ０≧０
１９６０年に、Ｒｏｓｅｎｂｌａｔｔはパーセプトロンモデルを用いて重みのための数値を見出すことに注目した。これ以降、ニューロン内の各重みに足して単一の数値を見出すことが、ニューロン及びＮＮをトレーニングする方法を確立してきた。ニューロンにより生成する関係は提案ロジックを用いて表現しうることが認識されていたが、重みと閾値との象徴的な関係を直接に見出すことは意図されてこなかった。ＮＮがトレーニング中に学習したデータセット内のルールは数値コード化され、これによりルールは非圧縮性となりうる。重み及び閾値により見出される数値から、ＮＮにより学習されたルールを見出すことが意図されてきた。このような方法は全てトレーニング後の追加プロセスであり、これらによってＮＮから直接にルールを読み出すことはできない。
１９６２年に、Ｒｏｓｅｎｂｌａｔｔはパーセプトロン学習アルゴリズムの収束を証明し、これは直線的に分離可能なデータセットを満足する数値を反復して見出すものであった。ニューロンは、特定の入力に与える所望の出力を生成するよう、接続の重みを適用することにより学習する。Ｒｏｓｅｎｂｌａｔｔのトレーニングルールは、式１．２に見られるように、入力ｘｉに基づいて重みｗｊが変更されるというものであり、式中、１≦ｊ≦ｎ、ｎはパーセプトロンへの入力の数、ｔは時間ステップ、ηは正のゲイン率で、η≦１である。Ｒｏｓｅｎｂｌａｔｔのルーツはバイナリ出力に対して動作する。特定の入力に対するパーセプトロンの出力が正しいならば、何も起こらない。
Ｗｊ（ｔ＋１）＝Ｗｊ（ｔ） （１．２）
さもなければ、出力が０であり、かつ１でなければならない場合は、次のようになる。
Ｗｊ（ｔ＋１）＝Ｗｊ（ｔ）＋ηＸｉ（ｔ） （１．３）
あるいは、出力が１であり、かつ０でなければならない場合は、次のようになる。
Ｗｊ（ｔ＋１）＝Ｗｊ（ｔ）−ηｘｉ（ｔ） （１．４）
反復して重みを調節するアイデアは、今やフィードフォワードＮＮをトレーニングする方法として確立した。
１９６９年に、より複雑なデータセットに対してＲｏｓｅｎｂｌａｔｔの学習アルゴリズムは動作しないことが見出された。Ｍｉｎｓｋｙ及びＰａｐｅｒｔは、単一層のパーセプトロンは有名な排他的論理和（ＸＯＲ）問題を解けないことを示した。これが動作しない理由は、反復が重み空間内の単一点を見出すために用いられたからである。
Ｂｏｏｌｅａｎ関数の全てが単一のＬＴＧにより学習されうるとは限らない。ｎ個の入力変数には２ｎの組み合わせがあり、可能な出力と組み合わせると２ｎのユニークなＢｏｏｌｅａｎ関数（あるいはスイッチング関数として公知）が存在することになる。２ｎの関数のうち、あるもののみが単一のｎ−入力ＬＴＧにより表されうる。入力スペースが直線的に分離可能であるＢｏｏｌｅａｎ関数は単一のＬＴＧにより表すことができるが、直線的に分離可能ではないＢｏｏｌｅａｎ関数を学習するためには追加のＬＴＧが必要である。ＸＯＲは直線的に分離可能ではないＢｏｏｌｅａｎ関数の例であり、従って単一のＬＴＧでは学習できない。
ＬＴＧに追加の層を用いることで、直線的に分離可能ではない問題をＮＮに学習させることが可能になるが、しかしＬＴＧの複数の層を同時にトレーニングしうる実用でキナトレーニングルールはなかった。
結果として、ＬＴＧの複数の層をトレーニングしうる重み及び閾値のための数値を見出す反復方法がないという理由で、ニューロンのＭｃＣｕｌｌｏｃｈ−Ｐｉｔｔモデルは廃棄された。これは、バックプロパゲーションが開発されるまで続いた。
１９７４年に、Ｗｅｒｂｏｓはエラーバックプロパゲーション（又は「バックプロパゲーション」）のアイデアに至った。後に１９８６年に、Ｒｕｍｅｌｈａｒｔ及びＨｉｎｔｏｎ、さらに１９８６年にＷｉｌｌｉａｍｓ、及び１９８５年にＰａｒｋｅｒが到達したアルゴリズムも同様であり、これにより多層ＮＮモデルをトレーニングして反復的に重みのための数値を見出すことが可能になった。これにより、ＸＯＲ問題並びに単一層のパーセプトロンでは解けない他の多くの問題の解決が可能になった。ＭｃＣｕｌｌｏｃｈ−Ｐｉｔｔのニューロンモデルは活性化関数としてステップ関数に替えてシグモイド関数を用いるよう再び変更された。シグモイド関数の数学的定義は次式１．５で与えられる。
Ｏ＝１／（１＋ｅ−ｋｗｘ） （１．５）
パーセプトロンは一般的にシグモイド関数をパーセプトロンの活性化関数として用いる。ｋ項は曲線の広がりを制御し、シグモイド関数は、
Figure 2009516246
 において出力が
Figure 2009516246
 となるようにステップ関数を近似する。しかしながら、ｔａｎｈ（ｋｗ・ｘ）等の他の活性化関数も用いうる。この活性化関数は−１から＋１の範囲であるため、ＮＮが負の数を出力可能である必要がある場合に用いられる。
バックプロパゲーションはＲｏｓｅｎｂｌａｔｔの学習アルゴリズムに基づいており、式１．２から式１．４に記載したものである。これは教師あり学習モデルであり、入力ベクトルをＮＮの入力層に適用することにより動作する。入力層はこの入力を第１の中間層に分配する。層内の各ニューロンの出力は式１．５にした下って計算され、後続の層への入力となる。後続の層への入力となるニューロンの層の出力（又は活性化）を計算するプロセスは、ＮＮの出力が計算されるまでの間に繰り返される。実際の出力と所望の出力との間にはエラーが生じることもあり、エラーの量に従って重みが変更される。出力におけるエラーは、ＮＮ何のエラーを低減するために、今度は出力層への接続から中間層における接続に向かう接続の重みを調節することにより、ＮＮを通じて、フィードバックされるか、又は後方に伝播される。重みの量は、これらのユニット内のエラー量に比例して直接的に調節される。
バックプロパゲーションのデルタルールは式１．６で与えられ、式中、ｉは層、ｊはｉ−１層内に生起する接続元のパーセプトロン、ｋはｉ層内に向かう接続先のパーセプトロンである。
Figure 2009516246
 式中、
Figure 2009516246
 である。
Figure 2009516246
 は、ＮＮ内の重みに関する数値のエラー低減を意図して重みが変更される量である。重みが変更される量は、ニューロンの出力Ｏｉｊｋ、ゲイン項η（これは学習速度及び出力エラーδｉｊｋとも呼ばれる）に基づく。ＮＮにおけるエラーは、ＮＮの実際の出力と所望の出力との差である。
ＮＮが十分にトレーニングされると、ＮＮにおけるエラーとしてのエラー関数の大局的極小値を最小値と呼ぶ。エラー内には多くの局所的極小値が潜在しているので、エラーは面でありうる、すなわち関数でありうると見なされる。しかしながら、いかなるＮＮに対してもエラー関数は知られていない。エラー関数は、ＮＮに適用された全ての入力ベクトルに対する所望の出力と実際の出力との差に基づくので、経験的にのみ計算されうる。δｉｊｋ項はエラー関数の１次微分（出力におけるエラーの差に基づく微分）である。バックプロパゲーションがＮＮ内のエラーを最小化するときに、最小化されるのはエラー関数である。勾配（１次微分）を用いることで、ＮＮ内のエラーを最小化する重みを変化する方法の決定が可能になる。これは、勾配降下と呼ばれる。
バックプロパゲーションは、そのアルゴリズム内にＮＮへのニューロンの追加も除去も許容しないため、固定サイズのＮＮでの動作を要する。ＮＮがデータセットを学習するようトレーニングするときに、そのデータを学習するために何層の、各層にいくつのニューロンが必要であるかという推測がなされる。トレーニング後に、必要ではないニューロンを取り除くことにより、トレーニングしたＮＮの性能向上を試みてもよい。しかし、トレーニング中はニューロンの数は一定でなければならない。
伝統的なバックプロパゲーションアルゴリズムは以下のように要約される。（ａ）初期化：ＮＮ内の層数及び各層のニューロン数を定義し、ＮＮの重みをランダムな値で初期化する；（ｂ）トレーニングセットからＮＮに入力ベクトルを適用する。式１．５を用い、入力層に続く第１層内の各ニューロンに対する出力を計算し、この出力を次の層への入力として用いる。このプロセスをＮＮの各層に対して、出力が計算されるまで繰り返す；（ｃ）式１．６を用い、ＮＮ内に存在するエラー量に従って重みを変更する；（ｄ）ステップ（ｂ）及び（ｃ）を、ＮＮがトレーニングされたと考えられるまで繰り返す。ＮＮは、トレーニングセット中のある数の入力ベクトルに対して、エラーが任意の数値以下に低下する時に、トレーニングされたと見なされる。
バックプロパゲーションを用いてＮＮがデータセットを学習するようトレーニングすることには多くの利点が伴う一方、バックプロパゲーションには限界がある。バックプロパゲーションでは、ＮＮはデータセットの学習に長時間が必要となりうるか、さらに悪い場合としては全くデータセットを学習しないかもしれない。いくつかの場合において、ＮＮがデータセットを学習しない理由の決定は不可能なことがあり、及び／又はトレーニング中にＮＮがデータセットを一体学ぶのかどうか、単に学習に時間がかかるのかを区別することは不可能である。
バックプロパゲーションでは、ＮＮはデータ学習に小さすぎる場合がある。伝統的には、ＮＮの設計者は各中間層に用いるニューロン数、及びデータセットの学習に要する中間層の数も推定しなければならない。ＮＮが大きすぎると、適切に一般化できない場合がある。従って、この問題の改善を意図して、ＮＮからニューロンが取り除かれることがある。ＮＮはエラー空間の局所的極小内に固定されることがある。ＮＮがデータセットの学習を完了すると、ＮＮはエラー空間の大局的極小内にある。エラー関数の形状は未知であり、関数は大きいエラー及び小さいエラーの領域を有する。バックプロパゲーションはエラー関数の１次微分を試行することによりエラーを最小化するよう動作するだけであり、これは局所領域のみの試行である。中間層におけるニューロンのトレーニングの目標はデータセット内の異なる特徴を学習することにある。しかしながら、バックプロパゲーションがＮＮ内にエラーを後方伝播するときは、全ての重みが幾分変更されるため、データセット内の特定の特徴に対する各ニューロンのユニークな関連付けが減少する可能性がある。これは、ニューロンは同一層にある他のニューロンが同一の特徴を学習しているか否かを決定できないために起こりうる。このために、特定のデータの特徴を学習し、その特徴を忘れてしまう重みが生じうる。
バックプロパゲーションでのＮＮのトレーニングにおける主要な問題は、ＮＮがデータセットを学習しない原因が上述の理由のいずれであるか決定できないことである。データセットを学習するかもしれないが単純に遅い、又はＮＮが小さすぎるために全くデータを学習しないかもしれない、又は局所的極小内に固定されるかもしれない。さらに顕著なバックプロパゲーションの問題は、ＮＮがデータセットを学習してしまうと、ＮＮが学習したものは不可解なことに数値としての重み及び閾値にコード化されるということである。
バックプロパゲーションでのＮＮのトレーニングが困難であるため、フィードフォワードＮＮをトレーニングするための代替アルゴリズム開発に多くの研究がなされてきた。
ィードフォワードＮＮをトレーニングするための代替アルゴリズム開発には多くの研究がある。代替アルゴリズムには２つの分類がある。（１）ニューロン又はＮＮの資源の数を固定することを要するアルゴリズム、及び（２）ＮＮに対して動的にニューロンを割り当てられるもの、である。
これらのアルゴリズムのほとんどは固定サイズのＮＮを有することに依存し、結果としてバックプロパゲーションと同一の問題を経験する。公知の方法の１つは、重みの数値を見出すために遺伝子アルゴリズムを用いる。遺伝子アルゴリズムは局所的極小点の問題を避けうるが、トレーニングの時間量は限りがなく、ＮＮが小さすぎるために適切なトレーニングではない場合がある。別の代替法は、動径基底関数（ＲＢＦ、Ｒａｄｉａｌ Ｂａｓｉｓ Ｆｕｎｃｔｉｏｎ）を用いることであり、ＮＮの学習に単一層のみを用いるが、１つのデータセットを学習するために利用可能な入力ベクトルをバックプロパゲーションよりも多く必要とする。固定サイズのＮＮに伴う問題の結果として、データセット学習のためにＮＮの成長を許容することが有用である。
フィードフォワードＮＮトレーニングアルゴリズムは、動的にニューロンを追加するものであり、データ内の特徴が確実に学習されるよう、必要なときにのみニューロンを追加する柔軟性をもたらすので、予め定義された構造の問題に対する解決として導入されてきた。従って、他のニューロンがデータセット内の特定の特徴を学習できないときにニューロンが追加され、結果としてトレーニングされたＮＮを用いて、トレーニング中にＮＮにより学習されたルールが何であるかをより効率的に確認できる。予め定義されたネットワーク構造は、ＮＮのデータ学習能力を制限する。ＮＮは重みを適用することにより学習し、これは生物学的なＮＮにおけるシナプスの重みに対応する。前述のように、フィードフォワードＮＮは生物学的なＮＮからインスピレーションを得ている。しかしながら、生物学的なＮＮは、要求されると動的に接続を生成する。
構造的な動的アルゴリズムには２つのアプローチがある。（１）ＮＮからニューロンを除去するもの。ＮＮからニューロンを除去するアプローチは２つある。（ｉ）エラー最小化プロセスにペナルティを追加するＲｕｍｅｌｈａｒｔの重み減衰等、トレーニング中に動作するもの、及び（ｉｉ）より一般的なアプローチ、すなわちＮＮからの重み除去後に大局的エラーへのインパクトを計算するＯｐｔｉｍａｌ Ｂｒａｉｎ Ｓｕｒｇｅｏｎ等、トレーニング後にニューロンを除去するもの。（２）Ｃａｓｃａｄｅ−Ｃｏｒｒｅｌａｔｉｏｎ Ｎｅｔｗｏｒｋｓ（以後「ＣＣＮ」）、Ｄｙｎａｍｉｃ Ｎｏｄｅ Ｃｒｅａｔｉｏｎ（以後「ＤＮＣ」）、減数分裂及び超球面分類、例えば制限クーロンエネルギー分類（以後「ＲＣＥＣ」）及び多項式時間トレーニング超球面分類（以後「ＰＴＴＨＣｓ」）等、ＮＮにニューロンを追加するもの。
トレーニング中にＮＮにニューロンを動的に割り当てることにより動作するＮＮトレーニングアルゴリズムを提供する試みは数多くあるが、種々の広範な状況においてデータの効率的及び／又は正確な分類に対して理想的なものは１つもないと考えられている。
ＮＮが科学及び／又は産業に関心をもたれる主な理由は、データ内の関係を見出す能力のためであり、これによりデータが分類でき、次いでＮＮがトレーニング中には直面しなかった入力ベクトル又はパターンをうまく分類できる。この強力な特性は、ＮＮの「一般化」能力とも呼ばれることがある。トレーニング中にＮＮが直面しなかった入力ベクトルは、一般的には未知パターン又は未知入力ベクトルと呼ばれる。ＮＮが一般化を行うにはトレーニングが必要である。
トレーニング中、ニューロンはトレーニングのためのデータセット内の突出した特徴を学習し、これにより未知入力ベクトルの出力を「予言」できる。ＮＮが何を分類できるかは、ＮＮが何でトレーニングされたによる。
ＮＮがデータ内のノイズを処理しうるのは、ＮＮの一般化能力である。
良好な一般化を確実にするためには、ＮＮ内でトレーニングされる重みの数よりも多くの入力ベクトルが利用可能でなければならないと考えられている。
ＮＮが学習した入力ベクトル及びテストセットも同様に高率でうまく分類すると、トレーニングされたと見なされる。しかしながら、トレーニング及びＮＮをテストするために利用可能な分類されたデータセットの数はわずかに限られるので、データセットを分割する方法を考えなければならない。ＮＮをうまくトレーニングし、これによりテストも可能であることを決定するためのデータセットの分割法には多くのアプローチがある。
ＮＮがトレーニングされたか否かを決定する一般的な方法は、バックプロパゲーションでトレーニングされたＮＮを用いるときに入力ベクトルのそれぞれにエラーがいくつあるかを計算することによる。当業者であればＮＮ内のエラー確認にこれまで用いられてきたアプローチを考慮するであろうから、本願明細書においては同様の詳細は議論は示さない。
しかしながら、トレーニングアルゴリズム間の比較の根拠に用いうる属性について記載しておく。
学習アルゴリズムの比較の際に考慮する要因は数多くあるため、性能の客観測定が行われる。
典型的には、次の４つの学習アルゴリズムの属性が考慮される。（１）正確さ：これはトレーニング中に学習されるルールの信頼性である。（２）速度：これは入力ベクトルの分類に要する時間測定である。（３）学習時間：これは入力ベクトルの学習に要する時間測定である。（４）理解度：これは学習されたルールが代替方法に適用可能であることを解釈しうる能力である。このようなストラテジは定量化が困難である。
これらの属性の２つ、すなわちデータセットの学習に要する学習アルゴリズムの時間及びＮＮが学習したものの理解度が、さらに試験される。
前述したように、バックプロパゲーションでＮＮをトレーニングしてデータセットを学習することには長時間のトレーニングが必要であり、ＮＮは全くデータセットを学習しない可能性もある。固定サイズのＮＮのトレーニングにかかる時間は指数関数的であると言われてきた。この理由から、ＮＮのトレーニングにかかる時間は代替トレーニングアルゴリズム間の比較の標準となっている。理想的なトレーニングアルゴリズムは、トレーニング入力ベクトルに対する露出が最短となるであろう。最適化した状況において入力ベクトルに対する露出が最短でありうるのは、ＮＮを各入力ベクトルに１回のみ露出して十分にトレーニングすることであろう。このようなトレーニングアルゴリズムは単一パストレーニングアルゴリズムと呼ばれる。
フィードフォワードＮＮをトレーニングするアルゴリズム間の比較の基盤として一般的に用いられる４つの属性のうち、理解度は、特に数値としてトレーニングされるフィードフォワードＮＮにおいては、最も定量化できないものであり、これはトレーニング中にＮＮに学習されるルールが不可解にも数値としてコード化されているからである。トレーニング中に学習されるルールを抽出可能な方法の１つは、感度分析を実施することによる。感度分析はエラーに対する頑強性の測定として参照されうる。
ルール抽出はシステムが生成する結果におけるユーザの信頼性を与えるものとして関心をもたれ、これはＮＮが外科手術、航空交通管制、及び原子力発電所の監視等の危険な問題の領域に用いられるとき、又は天文データ等、ＮＮのトレーニングにより収集されたデータから理論が推定されるときに特に重要である。
理解度の保証に望まれるルールは、入力の同化に関する命題論理学のルールの形態である。
感度分析は、ＮＮ内に蓄積された情報を見出す１つの道筋であり、しばしばＮＮに実施される。ルールは不可解にも数値としてコード化されているので、ＮＮにより学習されたルールが何かを見出すことが望ましいく、感度分析のこのような実施はＮＮにとって貴重である。
ＮＮへの感度分析の実施に取られるアプローチは２つある。（１）重みを変更する効果、及び（２）ＮＮに対してノイズの多い入力を適用する効果である。
入力スペースが十分に既知であると、必要数のデータポイントの一般化と、以下の３つの方法により選択される入力ベクトルに対するＮＮの出力を見出すことが可能である。（１）データ空間内の全ポイントに対する出力を見出すこと。ＮＮがバイナリ（２値）データでトレーニングされていると、データセットは有限である必要がある。（２）入力スペースからデータポイントをランダムに選択すること、又は（３）入力スペース内の全てのｎ番目のデータポイント（ただしｎ＞ｌ）を選択すること。これにより、入力スペース上の分布も可能になる。
データポイントは、望ましいＮＮの反応が何であるかが既知ではない入力スペースの領域からも選択されうる。この場合、既知でないデータが与えられるときにＮＮがいかに反応するかが示される。
ここまで入力スペースの探求方法を精査してきたが、次いでＮＮ内のニューロンの重み空間を吟味する。
システムには、指定の実施を要求され、あるいは要求された実施をシステムに許容する、多くの構成要素がある。個々の構成要素が指定の実施を行うとき、その構成要素は自己の最適範囲にあると言われる。
感度分析は、システム内の構成要素に対する最適な値又は範囲から外れる効果の試験でありこの場合、最適範囲はトレーニングされたＮＮにおいて重みのためのものである。この場合には、ＮＮの挙動を変更することなく重みが変化できる範囲（又はインターバル）を見出すように、上限及び下限が確立される。感度分析の実施には、システム内の各構成要素が、他の全ての構成要素を一定にしたまま、順番に試験される。試験される構成要素は、システムの動作を決定するための、あらゆる可能な数値に設定される。このプロセス中、システムを最適に動作しうる構成要素の上限及び／又は下限が確認され、構成要素がこれらの範囲を外れるときにシステムの挙動が観察されうる。このプロセスは範囲試験と呼ばれる。上限及び下限は、制約条件として表されうる。
既知の感度分析は、ＮＮが理解可能に学習したものとなるであろう入力変数の同化に関する命題論理学のルールを生成しないと考えられている。
感度分析の目的は、ボリュームの形状を決定しうることにあり、これは構成要素の挙動を正確に画定するからである。しかしながら、既知のＮＮトレーニング法の制約によってニューロンの活性化を生じるボリュームの面を見出すことはできない。この面の試験が可能であった唯一の方法は、統計的手法によりそれぞれの重みの範囲を決定することによる。ボリュームの実際の面の知識があれば、それは重みの間に存在する関係を画定し、このことから所望であれば重みの範囲が決定されるので、理想であろう。
トレーニング中にフィードフォワードＮＮが何を学習したかを決定できることが強く望まれ、結果としてデータ内に存在する関係及びＮＮに学習された関係が何かを確認する試行に多くの研究がなされてきた。これが理解度と呼ばれるものであり、トレーニングアルゴリズムの良好さの決定に寄与する属性の１つである。現在、ＮＮからルールを抽出するために用いられる方法は、トレーニングの完了後に実施される。
見出す必要のある望ましい関係のタイプは、命題論理学により与えられる。この必要性は次のようにまとめられる。（ａ）トレーニング条件を満たす全ての数値解を定義し、これによりＮＮにおいて感度分析が容易に実施可能になるもの。（ｂ）トレーニング中にＮＮにより学習されるルールが、ＮＮにより読み取られるデータセットを容易に分類できるようにするもの。
種々の動的アルゴリズムに関し、上述の公知のトレーニング方法のうちで、ＮＮからのルールの直接読み取りを許容することに近い唯一のものは超球面分類であり、これは領域間にＯＲの関係を形成する。従って、入力スペース内の領域はあるカテゴリーに属するか又はそうでないため、領域がＡＮＤで結合されることはない。関係が領域内に属さないならば、活性化すべきでないニューロンの活性化を抑制するために球面が追加されるので、入力スペースを表すにはＯＲが適切である。入力スペースが複雑化すると超球面を定義する半径は０になる傾向があり、究極的には各入力ベクトルに超球面が追加される。中間層内のニューロンにより定義される領域は入力スペース内の領域に近いものであるが、画定するものではなく、最悪の場合を除いてはデータポイントと同数の超球面が存在する。ＰＴＴＨＣｓは入力スペースの範囲の改良を意図したものであり、これにより計算の複雑化という代償を払っても一般化の性能を向上するもので、従って非常に低速である。
ＣＣＮ、減数分裂及びＤＮＣは全て数値として重みをトレーニングするもので、このためトレーニング中にデータ内にいかなる関係が見出されたかを決定することは簡単ではない。
これらのアルゴリズムは、一般化に関する性能の成功の程度は様々であるが、全て動的にニューロンをＮＮに対して割り当てるものである。アルゴリズムによっては、あるデータセットについて他のものよりも良好で、超球面分類を除く全ては重み空間の境界条件の情報を失うので、ルール抽出に対して有用ではない。
アルゴリズムによっては、アニーリングに基づき、バックプロパゲーションよりもさらに低速な傾向のある減数分裂アルゴリズムのように、あるデータセットは他のものより迅速に学習するものもある。
ＣＣＮ及びＤＮＣは特定のデータセットに対してトレーニング時間が早いという報告があるが、これらは単一パスのアルゴリズムではなく、両者ともＮＮにニューロンが追加される前にシステム内のエラー量を低減するための反復に依存する。
これまでに、単一パスで学習し、要求通りにＮＮにニューロンも追加し、ＮＮから直接のルールの読み取りを許容する、ＮＮトレーニングアルゴリズムは存在していない。
このため、本発明は、ニューロンが要求通りにＮＮに割り当てられてデータセットを学習しうる意味において、関係性があり動的であるＮＮトレーニング方法を提供することを目的とする。
また、本発明は、単一バスでデータセットを学習しうるＮＮトレーニング方法を提供することを目的とする。
さらに、本発明はルールがＮＮから直接に読み取られることを許容するＮＮトレーニング方法を提供することを目的とする。
本発明の一態様によれば、人工ＮＮをトレーニングする方法が提供され、当該方法は、（ｉ）トレーニングするＮＮの出力を選択し、ＮＮのニューロンの出力を選択した出力のためのＮＮの入力層に接続することによりＮＮを初期化するステップ；（ｉｉ）ＮＮに学習させるデータセットを用意するステップ；並びに、（ｉｉｉ）用意したデータセットの入力ベクトルをＮＮの第１の中間層に、又はＮＮに中間層がなければＮＮの出力層に適用することにより、用意したデータセットをＮＮに適用して学習させるステップ、及び、ＮＮの各層における選択された出力のための少なくとも１のニューロンが、入力ベクトルに対する付随出力の生成を学習しうるか否かを決定するステップを含んでなり、ここに：ＮＮの各層における選択された出力が入力ベクトルに対する付随出力の生成を学習できれば、及び学習するために用意したデータセットよりも多くの入力ベクトルが存在するならば、次の入力ベクトルに対してステップ（ｉｉｉ）を繰り返し、さもなければ、トレーニングすべき出力がまだあるならばＮＮの次の出力に対してステップ（ｉ）から（ｉｉｉ）を繰り返し；ＮＮの選択された出力に対する中間層のニューロンが入力ベクトルに対する付随出力の生成を学習できなければ、選択された出力に対してその層の全ての他のニューロンが学習できなかった付随出力を学習するためにその層に新規ニューロンが追加され、学習すべきデータセットの入力ベクトルがまだあるならばステップ（ｉｉｉ）を繰り返し、さもなければ、トレーニングすべき出力がまだあるならばＮＮの次の出力に対してステップ（ｉ）から（ｉｉｉ）を繰り返し；ＮＮの選択された出力に対する出力ニューロンが入力ベクトルに対する付随出力の生成を学習できなければ、その出力ニューロンはＮＮの中間層のニューロンとなり、出力ニューロンが学習できなかった付随出力を学習するために新規ニューロンがこの中間層に追加され、選択された出力に対してＮＮに新規ニューロンが追加され、学習すべきデータセットの入力ベクトルがまだあるならばステップ（ｉｉｉ）を繰り返し、さもなければ、トレーニングすべき出力がまだあるならばＮＮの次の出力に対してステップ（ｉ）から（ｉｉｉ）を繰り返す。
本発明のさらなる態様によれば、人工ＮＮをトレーニングするための方法が提供され、当該方法は、（ｉ）ＮＮにより学習されるデータセットを準備するステップ；（ｉｉ）トレーニングするＮＮの出力を選択することによりＮＮを初期化し、選択した出力に対してＮＮの出力ニューロンをＮＮの入力層の入力ニューロンに接続するステップ；（ｉｉｉ）準備したデータセットの入力ベクトルをＮＮの第１の中間層に、又はＮＮに中間層がなければＮＮの出力層に適用することにより準備したデータセットが学習されるようＮＮに適用するステップ、並びに、ＮＮの各層内に選択された出力に対する少なくとも１のニューロンが入力ベクトルに付随する出力の生成を学習しうるか否かを決定するステップを含んでなり、ここに、ＮＮの各層内において選択された出力に対する少なくとも１のニューロンが入力ベクトルに付随する出力の生成を学習しうるならば、及び準備された学習データセットの入力ベクトルがまだあるならば、次の入力ベクトルに対してステップ（ｉｉｉ）を繰り返し、さもなければトレーニングする出力がまだあるならばＮＮの次の出力に対してステップ（ｉｉ）及び（ｉｉｉ）を繰り返し；ＮＮの選択された出力に対する中間層内に入力ベクトルに付随する出力の生成を学習しうるニューロンがなければ、選択された出力に対するその層のいずれのニューロンによっても学習され得ない付随する出力を学習するためにその層に新しいニューロンが追加され、並びに、学習するデータセットがまだあるならば次の入力ベクトルに対してステップ（ｉｉｉ）を繰り返し、さもなければトレーニングする出力がまだあるならばＮＮの次の出力に対してステップ（ｉｉ）及び（ｉｉｉ）を繰り返し；ＮＮの選択された出力に対する出力ニューロンが入力ベクトルに付随する出力の生成を学習できなければ、その出力ニューロンはＮＮの中間層のニューロンとなり、出力ニューロンによっって学習されなかった付随する出力を学習するためにこの中間層に新しいニューロンが追加され、選択された出力に対してＮＮに新しい出力ニューロンが追加され、並びに、学習すべきデータセットの入力ベクトルがまだあるならばステップ（ｉｉｉ）を繰り返し、さもなければ、トレーニングする出力がまだあるならばＮＮの次の出力に対してステップ（ｉｉ）及び（ｉｉｉ）を繰り返す。
上述にて定義のＮＮをトレーニングするための方法の具体的で好適な実施形態において、ＮＮのニューロンは線形閾値ゲート（ＬＴＧｓ）である。
好適には、準備したデータセットを学習すべきＮＮに適用する前記ステップ（ｉｉｉ）において、ＬＴＧが入力ベクトルに対して関連付けられる出力の生成を学べるか否かを決定することは、重みとＬＴＧの閾値との関係が、ＬＴＧが以前に学んだものを解とするか否かを決定することである。具体的で好適な実施形態において、前記関係は制約条件であり、入力ベクトル及びＬＴＧの重みベクトルは、ニューラルネットワークの選択された出力に基づくＬＴＧの閾値との関係を形成する。具体的で好適な実施形態において、制約条件の学習は、ＬＴＧの制約条件セットに制約条件を追加しうることである。ＬＴＧの制約条件セットに制約条件を追加しうるためには、全ての制約条件に解決が存在しなければならない。
好適には、ＮＮを初期化するステップは、さらに、出力ＬＴＧの制約条件セットが空となるように出力ＬＴＧの制約条件セットをクリアするステップを含む。
好適には、ＮＮにより学習されるデータセットを準備するステップは、少なくとも以下のステップを含み、それぞれは任意の順番で実施されうる。データセットがトレーニングのためにＮＮに提示される前に、データセットを所定のデータフォーマットに変換するステップ；データセットがトレーニングのためにＮＮに提示される前に、データセット内に何らかの不一致が存在するか否かを決定するステップ；データセットがトレーニングのためにＮＮに提示される前にデータセットを並び替えるステップ；ゼロ入力ベクトルがデータセット内に使用可能であるか否かを決定するステップであって、ゼロ入力ベクトルがデータセット内に使用可能であればゼロ入力ベクトルが最初にトレーニングされるためにＮＮに提示されるようデータセットを順序づけるステップ。データセットがトレーニングのためにＮＮに提示される前にデータセットを所定のデータフォーマットに変換する前記ステップの好適な実施形態において、当該所定のデータフォーマットはバイナリ又は浮動小数点データフォーマットである。好適には、ＮＮにデータセットが提示される前にデータセットに何らかの不一致があるか否かを決定する前記ステップは、異なる出力を生じる２以上の同一の入力ベクトルがあるか否かを決定することを含む。データセットに何らかの不一致があるか否かを決定する前記ステップの具体的で好適な実施形態において、異なる出力を生じる２以上の同一の入力ベクトルがあるか否かが決定されるならば、ただ１つの入力ベクトルが用いられる。好適には、データセットがトレーニングのためにＮＮに提示される前に並び替えられる前記ステップは、データセットの入力ベクトルを、１を出力するもの及び０を出力するものの２つのセットに並び替えるステップ、及び、２つのセットの一方を最初にトレーニングするために選択するステップ、自己組織化マップ（ＳＯＭ）によりデータを並び替えるステップ、及び／又は任意の他の適切な方法を用いてデータを並び替えるステップ、を含んでなる。ソートしたデータから、データがトレーニングのためにＮＮに提示される前に、各入力層に対して単一のリストが生成されることも好適である。
具体的で好適な実施形態において、ステップ（ｉｉｉ）に係る層内のいかなる他のＬＴＧによっても学習され得ない制約条件を学習するために新規なＬＴＧが当該層に追加されるときに、新規なＬＴＧはＮＮの選択された出力に寄与する次層内の全てのＬＴＧに接続され、新規なＬＴＧからの入力を受け取る次層内のＬＴＧの制約条件セットは新規なＬＴＧからの入力を受け付けのために更新され；新規なＬＴＧを有する層がＮＮの第１層でないならば、新規なＬＴＧはＮＮの選択された出力に寄与する先行層内の全てのＬＴＧからの入力に接続されてこれを受信し；新規なＬＴＧの制約条件セットはその層内の以前の最後のＬＴＧの改変された制約条件セットのコピー及びその層内のいかなる他のＬＴＧによっても学習され得なかった制約条件を含むように更新される。
具体的で好適な実施形態において、ステップ（ｉｉｉ）に係るＮＮに新規な出力ＬＴＧが追加されるときに、新規な出力ＬＴＧは中間層内のＬＴＧからの入力に接続されてこれを受信し；中間層がＮＮの第１層ではないならば、中間層内の新規な出力ＬＴＧはＮＮの選択された出力に寄与する先行層内の全てのＬＴＧに接続されてこれを受信し；中間層に追加された新規なＬＴＧの制約条件セットはその層内の以前の最後のＬＴＧの改変された制約条件セットのコピー及びその層内のいかなる他のＬＴＧによっても学習され得なかった制約条件を含むように更新され；新規な出力ＬＴＧは以前の出力ＬＴＧによって学習され得なかったものに従って所定の論理関係内にその入力を結合する。好適には、ステップ（ｉｉｉ）に従って新たな出力ＬＴＧがＮＮに追加されるときに、この新たな出力ＬＴＧへの入力間に生じる論理関係は、論理ＯＲ、論理ＡＮＤ又は任意の他の適切な論理関係である。この具体的で好適な実施形態においては、以前の出力ＬＴＧによって学び得なかった入力ベクトルが出力１を生成するならば論理ＯＲが用いられ、以前の出力ＬＴＧによって学び得なかった入力ベクトルが出力０を生成するならば論理ＡＮＤが用いられる。
さらにまた本発明の態様によれば、トレーニング中にＮＮの層内に新規なニューロンを追加するための方法が提供され、この新規なニューロンは、選択された出力に対するその層内の他のニューロンが学習されるデータセットの入力ベクトルに付随する関係を学習しえないときにＮＮに追加され、当該方法は、その層内のニューラルネットワークの選択された出力に寄与する以前の最後のニューロンからの改変された全てのデータのコピー及びその層内のいかなる他のニューロンによっても学習され得なかった関係で前記新規なニューロンを更新するステップと、新規なニューロンからの入力を受け取るよう出力ニューロンを更新するステップとを含んでなる。
具体的で好適な実施形態において、ニューロンはＬＴＧｓである。
好適には当該関係は重みとＬＴＧの閾値との関係である。具体的で好適な実施形態において、当該関係は制約条件であり、ここにデータセットの入力ベクトル及びＬＴＧの重みベクトルはＮＮの出力に基づくＬＴＧの閾値との関係を形成する。
さらにまた本発明の態様によれば、バイナリフォーマットデータセット以外のデータセットをＮＮにより学習されるバイナリフォーマットデータセットに変換するための方法が提供され、当該方法は、（ｉ）データセットの各属性をバイナリで提示するためのビット数を別個に決定するステップ、（ｉｉ）計算式：範囲＝（最大−最小）＋１を用いてデータセットの属性の範囲を計算するステップ、並びにステップ（ｉ）で決定したビット数を用いて前記データセットの属性の範囲をコード化するステップを含んでなる。
好適には、データセットをバイナリフォーマットデータセットに変換するステップは、上述にて定義のＮＮをトレーニングするための方法のデータ準備ステップ（ステップ（ｉｉ）又は（ｉ））に従って用いられる。
さらにまた本発明の態様によれば、ＮＮによりトレーニングされるデータセットを並び替える方法が提供され、当該方法は、データセットの入力ベクトルを２の群にソートするステップ、１を出力するものを０を出力するものと分離するステップ、並びに、ニューラルネットワークにより最初に学ばれる、前記２の群の１を選択するステップを含んでなる。
さらなる本発明の態様によれば、入力ベクトルがニューロンによって既知であるか未知であるかを決定する方法が提供され、当該方法は、入力ベクトルから制約条件及びその補空間を構築するステップ；制約条件及び補空間を交互にニューロンの制約条件セットに追加するステップ；いずれかの場合に解があるか否かを決定するために制約条件セットを試験するステップであって、制約条件又はその補空間に解がなければ入力ベクトルはニューロンに既知であることが決定され、制約条件及びその補空間が交互に制約条件セットに追加されるときに解があるばらば、入力ベクトルはニューロンによって既知ではないことが決定されるステップ、を含んでなる。
好適には、当該制約条件セットは、ＬＴＧニューロンから構築されるＮＮのニューロンの制約条件セットである。上述にて定義のＮＮをトレーニングするための方法に従って、当該方法がトレーニングされるＮＮの未知入力ベクトルの出力を決定するために用いられることも好適である。具体的で好適な実施形態において、当該方法は、本発明のＮＮをトレーニングするための方法に従って、トレーニングされるＮＮのＬＴＧの未知入力ベクトルを決定するために用いられ、未知入力ベクトルのデフォルト出力はデータセットに依存して１又は０である。
さらにまた本発明の態様によれば、制約条件セットの最小活性化体積（ＭＡＶ）を決定するための方法が提供され、当該方法は、（ｉ）制約条件セット内に残る制約条件を不変にしたまま制約条件セットからそれぞれの制約条件を一度に１つ除去するステップ；（ｉｉ）除去した制約条件セットの補空間を制約条件セットに追加するステップ；（ｉｉｉ）解があるか否かを調べるために新規な制約条件セットをテストするステップを含んでなり、ここに、解があるならば、ＭＡＶを定義する制約条件セットに最初の制約条件が追加され、制約条件セットに追加された補空間は除去され、最初の制約条件が制約条件セットに戻され、制約条件セット内にまだ制約条件があるならば、ステップ（ｉ）から（ｉｉｉ）を繰り返し、さもなければＭＡＶはＭＡＶを定義する制約条件セットの範囲内に保持される制約条件のセットとし；解がないならば、制約条件セットに追加された制約条件の補空間は除去され、最初の制約条件が制約条件セットに戻され、制約条件セットにテストする制約条件がまだあるならば、ステップ（ｉ）から（ｉｉｉ）を繰り返し、さもなければＭＡＶはＭＡＶを定義する制約条件セットの範囲内に保持される制約条件のセットとする。
好適には、当該制約条件セットは、ＬＴＧニューロンから構築されるＮＮのニューロンの制約条件セットである。具体的で好適な実施形態において、当該方法は上述にて定義のトレーニング法に従ってトレーニングされるＮＮにおいて、各ＬＴＧに対するＭＡＶを決定するために用いられる。
（本発明の利点）
一態様において、本発明はニューロンをトレーニングするための新規なアプローチを提供する。このアプローチは、ニューロンへの入力接続と出力との関係を定義し、これによりルール抽出のタスクを単純にする。本発明に係るニューロンをトレーニングする方法は、従来の方法でトレーニングされたニューロンに対して、一般化及び学習されるデータの再呼び出しを可能にし、さらにニューロンが入力ベクトルを学習できるかできないかを決定するための単純なテストを用いる。このテストは、１以上のニューロンをＮＮに追加してデータセット内の特徴を学習させるための自然な基準を形成する。ニューロンは中間層に割り当てられるか、又は、データセットの複雑さに従って新規な出力層が追加されうる。
従って、本発明のＮＮトレーニング方法はＤｙｎａｍｉｃａｌ Ｒｅｌａｔｉｏｎａｌ（以後、「ＤＲ」）トレーニング法と呼びうる。
本発明のＤＲトレーニング法に従ってトレーニングされたＮＮは、入力ベクトルの学習が可能であるか否か、ニューロンが要求されたようにのみＮＮに動的に割り当てられうるか否かをテストし決定しうるので、データは単一パスでＮＮに提示されうる。
フィードフォワードＮＮをトレーニングすることに対する伝統的なアプローチでは固定サイズのＮＮを要し、ＮＮがデータセットを学習するために必要なニューロンの中間層の数、及び各中間層内のニューロン数を推定する必要がある。ＮＮのサイズを推定することは、小さすぎるとデータセットの学習ができず、大きすぎるとＮＮの性能を低下する場合があるため、大きな問題である。ＮＮのサイズ推定の問題への最良の解決は、要求された場合にのみ、要求通りにＮＮに動的にニューロンを割り当てるトレーニング方法を用いることである。すなわち、ＮＮへの動的なニューロンの割り当てにより、固定サイズのＮＮに係る問題は克服される。本発明のＤＲトレーニング方法によれば、ＮＮが入力ベクトルを学習できない場合にのみ、ＮＮにニューロンを割り当てうる。新規なニューロンは、ＮＮに割り当てられるとＮＮ内にすでにあるニューロンと命題論理学の関係を形成し、これにより本発明のトレーニング法は関係性を有する。
各入力ベクトルは、ＮＮに対して提示されると学習される。これは、本発明のＤＲトレーニング方法は単一パスにおいてデータを学習しうることを意味する。本発明に従ってニューロンをトレーニングする方法は、データセットについての情報が学習されることを可能にし、ＮＮへのニューロン追加を発生する入力ベクトルも同定し、どの入力ベクトルがデータセットの分類に対して本質的であるかを示す。
本発明の方法は、入力スペース内の鮮明な境界も提供する一方、フィードフォワードＮＮをトレーニングする他のアルゴリズムの利点の、全てではないならば、ほとんどをも提供する。
本発明のさらなる態様によれば、データがトレーニングのためにＮＮに提示される前に、適切なフォーマットにデータを変換する方法が提供される。トレーニング前のデータ変換には多くの利点が伴う。１つの利点は、データ変換は、データを正確にコード化する一方で、トレーニングのためにＮＮに提示される入力数を最小化することである。本発明のＤＲトレーニング方法においては、ＮＮに提示される入力数の最小化によりトレーニング時間はより早くなり、入力ベクトルが毎回ＮＮにより学習されると仮定すると、ＮＮにより学習が可能であるか否かを決定するために制約条件がテストされなければならない。
本発明のさらなる態様において、トレーニングのためにＮＮに提示される前にデータを並び替える方法が提供される。トレーニング前に予めデータを並び替えることは、データ分類の効率を改善する。予め並び替えることは、好適には、トレーニングしたＮＮが性能に乏しい状況に用いられる。予め並び替えることは、ＮＮにより学習されるデータセットが十分に複雑で、ＮＮにニューロンの追加が求められる時には常に勧められる。
トレーニング前に適切なフォーマットにデータを変換する方法、及びデータがトレーニングのためにＮＮに提示される前にデータを並び替える方法は、いずれも全てのＮＮトレーニング方法に有用であると考えられる。このため、本発明のこれらの態様は独立しており、本発明のＤＲトレーニング方法に限定するものではない。
テスト中、ＮＮに学習されるデータが１００％の正確さで再呼び出ししうることは顕著な利点である。本発明のさらなる態様においては、ＮＮが未知の入力ベクトルに対する出力が何であるかを知っているか否かを決定するために用いることが可能で、どの入力ベクトルが未知であるかを明確に同定することが可能な方法が提供される。従って、ＮＮはデータセットの特徴が既知ではない場合にこれを示すことが可能で、どの入力ベクトルに追加のトレーニングが必要であるかを同定することが可能である。
トレーニングされたＮＮに感度分析を実施する目的は、ニューロン及びこれによりＮＮが何を学習したかを決定するための重みの試行に取り入れうる数値範囲の決定を試みることであった。
本発明のＤＲトレーニング方法の顕著な利点は、ＮＮのトレーニング後には、重み空間における範囲の境界が決定しうることである。本発明のさらなる態様においては、単にそれぞれの重みが取り得る数値の範囲よりも、むしろ実際の重み空間の面を見出せる方法が提供される。この点から、ニューロン及びこれによりＮＮがいかなるルールを学習したがが決定されうる。
本発明のＤＲトレーニング法は、従来のフィードフォワードＮＮトレーニング方法の利点及び有用性の、全てではないならばほとんどを保存し、さらにＮＮが固定サイズであることを要する制約の大部分を取り除き、単一パスでの学習において局所的最小点の問題も経験しない。本発明の他の全ての態様に係る本発明のＤＲトレーニング法じゃフィードフォワードＮＮを用いる全てのアプリケーションに対して極めて有用である。人工ＮＮの目標は、生物学的な学習の模倣であるが、公知のシステムはこのゴールに到達できていなかった。本発明のＤＲトレーニング法は、ニューロサイエンス、ニューロバイオロジ、ニューロンの生物学的モデリング、及びおそらくは細胞生物学に関連する、生物類似の学習ストラテジを提供するものと確信する。
ルール抽出方法は、実際の重み空間の面を決定する方法であり、入力ベクトルが既知であるか否かを決定する本発明の方法は、ＮＮに限定するものではない。これらの方法は、制約充足問題（以後、「ＣＳＰ」）、最適化又はオペレーショナルリサーチ型の問題、あるいはＤＮＡ等のデータストリングの分析のような、制約条件のシステムを用いる他分野においても有用であろう。そのため、本発明のこれらの態様は独立しており、本発明のＤＲトレーニング法に限定するものではない。最終的に、本発明のＤＲトレーニング法はＮＮからのルール抽出を可能にし、ＮＮが学習したもの及びＮＮにより生成した出力における信頼性が得られる。このようにして、本発明の方法はフィードフォワードＮＮを用いるシステムの信頼性を向上する。
以下、本発明の詳細な好適な構成を添付の図面を参照して説明する。以下の記載では、ＬＴＧニューロンモデルは、好適な実施形態としてのみ用いられる。利用可能なニューロンモデルは他にも多くあり、本発明のＤＲトレーニング方法又はアルゴリズムに係るＮＮの構成に用いうることは理解すべきである。従って、本発明は、添付の図面に示す特定のニューロンモデルに限定されるものではない。従って、以下の説明を通して「ＬＴＧ」又は「ＬＴＧｓ（複数）」という表記は、単に「任意の適切なニューロンモデル」を意味するものとして解されるべきである。
本発明のＤＲトレーニングアルゴリズムは、本発明のその他の様態と共に、以下に説明するように、任意の適切なコンピュータソフトウェア及び／又はハードウェアを用いて実装されてもよい。従って、本発明は、特定の実用上の実装に限定されるものではない。本発明のＤＲトレーニングアルゴリズムの性能評価の目的で、またアルゴリズム及び本発明のその他の様態が予想通りに動作することを証明する実験を行うために、アルゴリズムは、コードとしてプログラムされコンピュータ上のソフトウェアを用いて実装された。
ＮＮは、様々な形状で互いに接続されてネットワークを構成するニューロンの組み合わせである。２入力フィードフォワードＮＮ１０の基本構造を、例として模式的に図１に示す。ＮＮ１０は、第１又は入力層１６に設けられた２つの入力ニューロン１２、１４を備える。入力ニューロン１２、１４はそれぞれ、その出力を中間層２４に設けられた３つのニューロン１８、２０、２２へ送る。次に、中間層ニューロン１８、２０、２２はそれぞれ、その出力を出力層２８に設けられた１つのニューロン２６へ送る。
ＮＮはデータセット内の関係の判定に用いられる。ＮＮがトレーニングされる前に、利用可能なデータが、トレーニングに利用されるものとテストに利用されるものの２つのセットに分割される。トレーニングセットは、ＮＮのトレーニングに用いられる。テストデータセットは、ＮＮのトレーニング後まで保存する。テストデータセットは、トレーニング後、ＮＮが十分にデータを学習したかどうか、又はＮＮがデータのうちある様態を欠いていないかどうかを判定するためにＮＮに送られる。以下の説明を通じて、「ＮＮをトレーニングする」又は「トレーニング」という表記は全て、トレーニングデータセットでのＮＮのトレーニングについて述べるものとする。
ＮＮトレーニングアルゴリズムの多くは、トレーニング条件を満たそうとする１つの数値を見つけ、ＮＮの所望の出力と実際の出力との間の誤差に基づいて重みの値を繰り返し修正することにより学習する。
本発明のＤＲトレーニングアルゴリズムは、ニューロンのトレーニングに種々のアプローチをとる。このトレーニングアルゴリズムは、トレーニング条件を満足する重みについて単一の値を見つけることには基づいていない。その代わりに、本発明のＤＲトレーニングアルゴリズムは、トレーニング条件を満たすことになる重みを全て見つける。このため、入力ベクトルは、入力重みを閾値に関連付ける制約条件に変換されることが好ましい。各ニューロンは、互いに相互関係を形成する入力重みのセット及びトレーニング条件を満たす閾値を有している。ニューロンに制約条件を加えることにより、重み空間の領域にニューロンを活性化させる別の制約条件が置かれる。
本発明は制約条件に変換される入力ベクトルに関連して説明されるが、言うまでも無く、本発明は制約条件の使用にのみ限定されるものではない。制約条件は、入力重みと閾値との間の関係を表すにすぎない。同様の関係を他の方法で、例えば電子的又は磁気的に表すこともでき、そのため、本発明は与えられた具体例に限定されるものではない。
このニューロンのトレーニング方法を用いることにより、ＮＮにニューロンを動的に追加することによってＮＮを形成することができる。この方法は、ＮＮへのニューロン追加について厳密な基準を設けており、ニューロンを先に述べた標準的なフィードフォワードトポロジに追加することができる。
このニューロンのトレーニング方法により、データセットは単一のパスで学習することができる。また、制約条件は各ニューロンの重みと閾値との間の関係を定義し、ニューロンがＮＮに追加されるときは前置詞的論理に従って追加されるため、トレーニング中に学習された規則の抽出は簡単になる。
ＮＮが本発明のＤＲトレーニングアルゴリズムでデータセットを学習するには、一連のプロセスに取り組むことが望ましい。各データセットは固有であり、多数の出力を有し、これはデータセットに基づいている。このシーケンスを簡潔にまとめると以下のようになる。（１）ＮＮの初期化。（２）ＮＮにより学習されるデータの準備。（３）ＮＮにより学習されるデータの適用。（４）必要に応じてＮＮにニューロンの割当て。
すでに述べたように、本発明の好適な実施形態に従って用いられるニューロンは、ＬＴＧすなわちマカロック−ピッツニューロンであり、制約条件セットを含むよう修正されている。ＬＴＧの初期化フェーズ（１）は、入力ニューロンの出力ニューロンへの接続と、最初にトレーニングされることになる出力の選択とを伴う。
データ準備フェーズ（２）は、好ましくは、ＮＮにより学習されるデータを準備する多数のステップを含み、以下の点が指摘される。（ｉ）ＮＮに提示されるデータがトレーニングに適した適切なフォーマットでない場合、ＮＮに提示される前にデータセットが適切なフォーマットに変換されることが好ましい。本発明の好適な実施形態によれば、適切なデータフォーマットはバイナリデータである。従って、本発明のＤＲトレーニング方法でトレーニングされるデータセットは、ＮＮへの提示前にバイナリ形式に変換される。任意の適切なデータのデジタル化方法を用いることができる。本発明のさらなる様態によれば、適切なデータのデジタル化方法については後の実験結果を説明する部分で、本願明細書において説明する。バイナリデータは好適なトレーニングデータフォーマットとして提示されるが、本発明のＤＲトレーニングアルゴリズムは、例えば浮動小数点データ等のその他のデータフォーマットでも機能することは言うまでもなく、そのため、本発明は与えられた具体例に限定されると解釈するべきものではない。（ｉｉ）本発明のＤＲトレーニングアルゴリズムは単一パスアルゴリズムであるため、入力ベクトルの提示順にある程度の注意を払うことが好ましいが、これはＮＮが学習する規則とどれぐらいうまく動作するかに影響を与えることがあるためである。検討の価値があるとはいえ、本発明のＤＲトレーニングアルゴリズムはどの入力ベクトルがニューロンをＮＮに追加させるかを検知し報告することができるＮＮを構築するため、入力ベクトルの提示順は不可欠というわけではない。このステップは、トレーニングされたＮＮの動作がよくない場合に用いられることが好ましい。このステップは、データセットがＮＮへのＬＴＧ追加が必要とされるに十分複雑である場合には常に大いに推奨される。
次のフェーズ（３）では、ＮＮ入力にデータを適用し、データが重みと学習されるＬＴＧの閾値との間の関係である制約条件に変換されることが好ましい。中間層がある場合には、ＬＴＧの出力は次の層のＬＴＧへの入力になり、今度は次の層のＬＴＧは、受信する入力ベクトルをうまくいくならば学習しうる制約条件へと変形する。このプロセスはＮＮが所望の出力を生成するまで繰り返される。これがＮＮにより学習可能な場合には、次の入力ベクトルでトレーニングが継続され、そうでなければプロセスは次のＮＮに１つ以上のＬＴＧを追加するフェーズ（４）に移る。
入力ベクトルの学習ができない場合の考えられるシナリオには、少なくとも２つある。これらは、以下の通りである。（ｉ）中間層が入力ベクトルを学習できなかった場合、新たなＬＴＧが中間層に追加される。（ｉｉ）出力層がその入力ベクトルを学習できなかった場合、新たな層がＮＮに追加され、古い出力が中間層のＬＴＧとなる。そして、別のＬＴＧがこの新たな中間層に追加されて古い出力ユニットが学習できなかったことを学習し、これらのＬＴＧはいずれも出力を組み合わせる新たな出力に接続される。
ＬＴＧがＮＮに割り当てられた後は、以下のことが重要である。（ａ）新たなＬＴＧがＮＮ内の既存のＬＴＧに接続される。（ｂ）新たに追加されたＬＴＧの制約条件セットが空に設定される、又は以前の最後のＬＴＧからの制約条件が新たなＬＴＧにコピーされる。（ｃ）新たなＬＴＧの追加によりＮＮが以前に学習したことを忘れることがないようにする。これは単一パストレーニングアルゴリズムであるので、新たに追加されたＬＴＧがＮＮが以前に学習したことを生成することができるようにすることが不可欠である。
本発明のＤＲトレーニングアルゴリズムは（１）〜（４）の一連のプロセスとの関連で提示されるが、これらのステップ又は少なくともこれらのステップそれぞれの様態が提示された以外の順序で行われてもよいことは言うまでもない。例えば、ステップ（１）及び（２）の場合、利用可能なデータセットは、トレーニングされるＮＮの出力が選択される前に適切なデータフォーマットに変換されてもよい（図２参照）。同様に、ステップ（４）の場合、新たな中間層ＬＴＧは、新たな出力ＬＴＧが追加される前にＮＮに追加されてもよいし、その逆でもよい。従って、本発明のＤＲトレーニングアルゴリズムは、提示されるステップ又はシーケンスの特定の順序に限定されるものではない。
以下、本発明のＤＲトレーニングアルゴリズムの好適な実施形態、及び本発明のその他の様態を、上記で概観したフェーズに従って提示する。（１）ＮＮの初期化。（２）データの準備。（３）学習されるデータのＮＮへの提示。（４）必要に応じて、最終的にＬＴＧの割当て。
（ＤＲトレーニングアルゴリズムの説明）
図２に、本発明の好適な実施形態に従って行われるＮＮトレーニング方法すなわちアルゴリズム３０のフロー図を示す。
トレーニングプロセスはＬＴＧの入力層で始まる。以下、ＮＮにＬＴＧを動的に追加するＤＲトレーニングアルゴリズム３０をまとめて、以下のステップで提示する。
（１）ＮＮの初期化
ＤＲトレーニングアルゴリズム３０によるＮＮの初期化は、一般に、図２のブロック３２により示される。ブロック３２において、ＮＮを初期化するプロセスは、以下のステップを含むことが好ましい。
ａ）出力ベクトルの各次元が個別にトレーニングされる。学習される次元Ｏｊを選択する。
ｂ）出力ＬＴＧＯｊの制約条件セットを空に設定する。
ｃ）出力ＬＴＧＯｊを入力層に完全に接続する。
（２）ＮＮにより学習されるデータの準備
ＤＲトレーニングアルゴリズム３０によるＮＮにより学習されるデータの準備のプロセスは、一般に、図２のブロック３１及び３３より示される。ＮＮにより学習されるデータの準備プロセスは、少なくとも以下のステップを含むことが好ましい。
ａ）本発明のＤＲトレーニングアルゴリズム３０はバイナリデータで動作することが好ましいため、図２のブロック３１に示すようにデータセットをトレーニング前にバイナリに変換することが必要となることがある。本発明のさらなる様態による各種のデータセットをトレーニングのためにＮＮに提示する前にバイナリに変換するための適した技術についての考察は、後で述べる。言うまでも無く、本発明のＤＲトレーニングアルゴリズム３０に従ってその他のデータフォーマットを用いることもでき、そのため、ブロック３１は、単に利用可能なデータセットの任意の適切なデータフォーマットへの変換を言うものである。
ｂ）トレーニングセット内の矛盾したデータの有無を判定する。矛盾したデータは、異なる出力を生成する２つ以上の同一の入力ベクトルｘｉが存在するときに生じる。矛盾したデータの例としては、ｘｉ→０及びｘｉ→１であって、データセット中に同じ入力ベクトルが複数回表れ、異なる出力を生成するというものである。矛盾がある場合には、入力ベクトルｘｉの１つのみを用いるべきである。ＮＮはこのデータを学習することができるが、ＮＮはうまく動作しないことになる。ＮＮが矛盾したデータを学習する場合には、全ての入力について０を出力することになる。このような状況を回避するために、矛盾した出力の有無を判定するための入力ベクトルのチェックを行うことが好適である。このトレーニングセット内の矛盾したデータの有無を判定するプロセスは、図２には特に示されていないが、ブロック３１又は３３の一部として同様の動作を行うことができる。
ｃ）学習されるデータは、図２のブロック３３に示すように、任意の適切なソート技術を用いてソートされることが好ましい。ＤＲトレーニングアルゴリズム３０はデータをランダムに学習することができるが、結果として生じるＮＮは効率的にデータを分類するとは限らない。従って、好適なソート技術は以下を含む。
・入力ベクトルを２つのグループにソートし、１を出力するものをその出力について０を生成するものから分離する。入力ベクトルを１を出力するものと０を出力するものの２つのセットに分離する。これら２つのセットのいずれかを最初に学習することができる。又は、
・ＳＯＭ（自己組織化マップ）でデータをソートする。
すでに検討したように、本発明は特定のソート技法に限定されるものではない。
ｄ）入力ベクトルのセットから１つのリストが生成される。このステップは、ブロック３３により表されるソートステップの一部である。
ｅ）学習対象のデータセットに０入力ベクトルが利用可能か否かを判定する。この０ベクトルは全ての入力次元を０に設定する。この入力ベクトルが利用可能である場合、この入力ベクトルをその出力にかかわらず最初に学習するものとしてソートする。０ベクトルがトレーニングに利用可能であり、その出力にかかわらず最初に学習されることが好適であるが、利用可能でない場合には、重要ではない。ここでも、このステップはブロック３３により表されるソートステップの一部である。
（３）ＮＮにより学習されるデータの適用
ＤＲトレーニングアルゴリズム３０に従ってＮＮにより学習されるデータの適用プロセスは、概ね、図２のブロック３４により表される。ブロック３４において、ＮＮの出力について各パターン（又は入力ベクトル及び関連付けられた出力の組み合わせ）が、これ以上学習するものがなくなるまで、学習されることがわかる。ＤＲトレーニングアルゴリズム３０に従って出力に対して単一のパターンを学習するプロセス４０の好適な実施形態を図３に示す。
プロセス４０は、ブロック４１においてＮＮの第１層で始まる。そして、トレーニングセット内の各入力ベクトルについて、以下が行われる。
ａ）ブロック４２で、入力層に適用された入力ベクトルに基づく制約条件が次の層の各ＬＴＧについて構築される。制約条件を生成するために、（ＬＴＧを定義した箇所ですでに検討した）ＬＴＧの定義が用いられ、入力ベクトルＸｉ及びＬＴＧの重みベクトルｗがＬＴＧの閾値ＴとＮＮの出力に基づいて関係を形成する。従って、ＬＴＧが１を生成するのであれば、構築される制約条件は以下のようになる。
ｘｉ・ｗ＞Ｔ→１
又は、出力が０であれば、生成される制約条件は以下の通りとなる。
ｘｉ・ｗ＜Ｔ→０
ｂ）またブロック４２において、入力ベクトルｘｉから構築された制約条件がこの層内のどのＬＴＧでも学習することができるかどうかを判定するテストが行われる。制約条件を学習するということは、ＬＴＧの制約条件セットに制約条件を追加することができるということである。制約条件は、数的な解決を見つけることができれば、追加することができる。アルゴリズムにとって、どのような数的解決であるかは関心のないことであり、見出すことができることが必要なだけである。これは、制約条件間に共通部分がなければならないことと等価である。このテストは、ＬＴＧをＮＮに追加する基準を構成する。入力ベクトルから形成される制約条件を学習することができるＬＴＧがなければ、これが新たなＬＴＧをＮＮに割り当てる基準となる。
・ＬＴＧが入力ベクトルを学習することができる場合、ブロック４３でＬＴＧの制約条件セットに制約条件が追加される。新たな制約条件の追加により、ＬＴＧの有効化を可能とするＬＴＧの重み空間の領域が減少する。次いでこの層からの出力は、ブロック４５で次の層に適用され、ＮＮが正しい出力を出力するまでプロセス４０が繰り返される（ブロック４２に戻る）。ブロック４４において、現在の層が出力層であるかどうかを判定し、そうである場合には、プロセス４０はブロック４６で完結し、さらに学習するパターンがある場合には次のパターンが学習される。ある時点において１つの層内で入力ベクトルを学習できなければ、これはＬＴＧの割当ての根拠となる（図３のブロック４７〜４９で示される。これに続くステップ４を参照）。各層は所望のＮＮ出力を出力することができるＬＴＧを有していなければならない。前の層からの入力を受信する層の目的は、所望のＮＮ出力を生成するために前の層の出力を組み合わせることにある。
・すでに述べたように、ブロック４４での確認後、ブロック４５において、ＮＮが正しい回答を出力しさらに学習すべき入力ベクトルが存在する場合には、プロセス４０はステップ３の最初（ブロック４２）に戻る。
・ブロック４４において、ＮＮが正しい回答を生成しさらに学習すべき入力ベクトルが存在しない場合には、このＮＮのトレーニング出力はトレーニングを終了し、プロセス４０はブロック４６で完結し、さらに学習するパターンがある場合には次のパターンが学習される。
・ブロック３５において、ＤＲトレーニングアルゴリズム３０によりさらにトレーニングするＮＮの出力があると判定された場合には、図２に示すようにＤＲトレーニングプロセスは初期化ステップ１（ブロック３２）に戻る。
（４）必要に応じたＮＮに新たなＬＴＧの割当て
新たなＬＴＧを必要に応じてＮＮに割り当てるプロセスは、概ね図３のブロック４７〜４９により表される。ブロック４７はＮＮの中間層への新たなＬＴＧの割当てを示し、ブロック４９はＮＮへの新たな出力ＬＴＧの割当てを示す。新たな中間層ＬＴＧをＮＮに割り当てるプロセス５０の好適な実施形態を、図４のフロー図に示す。同様に、新たな出力をＮＮに割り当てるプロセス６０の好適な実施形態を、図５のフロー図に示す。この新たなＬＴＧをＮＮに割り当てるプロセス５０、６０をよりよく理解するために、本発明のＤＲトレーニングアルゴリズム３０のプロセス５０、６０によるＮＮ７０の構築を模式的に示す図６ａ及び図６ｂを参照する。
図３に示す出力について単一のパターンを学習する好適なプロセス４０において、新たな出力ＬＴＧの割当て（ブロック４９）の前に行われるものとして新たな中間層ＬＴＧのＮＮへの割当て（ブロック４７）が示される。図３において、ブロック４２でＬＴＧが入力ベクトル（又はパターン）を学習できない場合には、ブロック４７で新たなＬＴＧが現在の（中間）層に追加されて入力ベクトルを学習することが示される。ブロック４７で新たなＬＴＧが現在の層に追加された後、ブロック４８でテストが行われて、現在の層がＮＮの出力層であるかどうかが判定される。ブロック４８で現在の層がＮＮの出力層ではないと判定された場合、プロセス４０はブロック４５に続き、この（現在の）層からの出力が次の層に適用される。その後、ＮＮが先に検討したように正しい出力を出力するまで、プロセス４０は繰り返される（ブロック４２に戻る）。ブロック４８で現在の層がＮＮの出力層であると判定された場合、プロセス４０はブロック４９に続き、新たな出力ＬＴＧがＮＮに追加される。ブロック４９で新たな出力ＬＴＧがＮＮに割り当てられた後、プロセス４０はブロック４６で完結し、さらに学習するパターンがある場合には次のパターンが学習される。
図３のプロセス４０は新たな出力ＬＴＧがＮＮに割り当てられる（ブロック４９）前の新たなＬＴＧの中間層（ブロック４７）への割当てを示すが、言うまでもなく、新たな中間層ＬＴＧの割当て前に新たな出力ＬＴＧをＮＮに割り当てることができる。従って、本発明は特定の例に限定されるものではない。本発明のＤＲトレーニングアルゴリズム３０に従って、新たな出力ＬＴＧが新たな中間層ＬＴＧの割当て前にＮＮに割り当てることができることを説明するために、図６ａ及び図６ｂのＮＮ７０へのＬＴＧの割当てを、図３の好適なプロセス４０に示した順序とは逆の順序で示す。
以下、新たな出力ＬＴＧをＮＮ７０に割り当てるプロセス６０（図６ａ及び図６ｂ）を、図５を参照して説明する。
・ブロック４２で出力ＬＴＧが入力ベクトルに必要な出力を生成できない場合（図３）、図６ａ及び図３のブロック４９に示すように新たな出力ＬＴＧがＮＮ７０に割り当てられる。
Ｉ．現在の出力ＬＴＧであるＬＴＧ−Ａは、Ｎ層にある。図６ａ（ｉ）参照。別のＬＴＧであるＬＴＧ−Ｂが、Ｎ層に追加される。図６ａ（ｉｉ）参照。ＬＴＧ−Ｂの制約条件セットが、好ましくは空のセットに初期化される。新たなＬＴＧであるＬＴＧ−ＢのＮＮ７０のＮ層への割当ては、図５のフロー図には示さないが、以下に説明するブロック６１の一部であることは言うまでもない。同様に、新たなＬＴＧであるＬＴＧ−ＢのＮ層への割当ては、新たな出力ＬＴＧであるＬＴＧ−ＣのＮ＋ｌ層への割当ての後に起こってもよい。
ＩＩ．ブロック６１において、出力Ｏｊについてのこの層の１つの新たなＬＴＧであるＬＴＧ−Ｃを有する新たな出力層であるＮ＋ｌ層が追加される。そして、ＬＴＧ−Ｃの制約条件セットが、好ましくはステップＶ及びＶＩに従って初期化される。
ＩＩＩ．ブロック６２でＮ層＞１である場合、ＬＴＧ−Ａに接続された前の層であるＮ−１層（図示せず）のＬＴＧから新たなＬＴＧであるＬＴＧ−Ｂに接続が追加される。
ＩＶ．またブロック６２において、Ｎ層のＬＴＧ−Ａ及びＬＴＧ−Ｂのそれぞれの出力がＮ＋１層の新たな出力ＬＴＧであるＬＴＧ−Ｃの入力に接続される。
Ｖ．学習される入力ベクトルが出力０を生成する場合、ブロック６３において以下を行う。
ａ）Ｎ層において新たなＬＴＧ−Ｂがこの層の制約条件に入力を学習するようトレーニングされる。これらのＬＴＧであるＬＴＧ−Ｂ及びＬＴＧ−Ｃは、ＬＴＧ−Ａがこのを学習できなかったために追加される。
ｂ）ＬＴＧ−Ａからの制約条件は、新たなＬＴＧであるＬＴＧ−Ｂの制約条件セットにコピーされ、ＬＴＧ−Ｂで全ての制約条件が≧閾値となるよう設定する。
ｃ）ＡＮＤを形成する制約条件が、Ｎ＋１層において、Ｎ層のＬＴＧ−ＡとＬＴＧ−Ｂの間の新たな出力ＬＴＧであるＬＴＧ−Ｃに追加される。
ＶＩ．学習される入力ベクトルが出力１を生成する場合、ブロック６４において以下を行う。
ａ）Ｎ層において新たなＬＴＧ−Ｂがこの入力の制約条件を学習するようトレーニングされる。
ｂ）ＬＴＧ−Ａからの制約条件は、新たなＬＴＧであるＬＴＧ−Ｂの制約条件セットにコピーされ、ＬＴＧ−Ｂで全ての制約条件を＜閾値に設定する。
ｃ）ＯＲを形成する制約条件が、Ｎ＋１層において、Ｎ層のＬＴＧ−ＡとＬＴＧ−Ｂの間の新たな出力ＬＴＧであるＬＴＧ−Ｃに追加される。
・ブロック４２（図３）でＮ層のＬＴＧが必要な出力を生成することを学習できない場合、新たなＬＴＧであるＬＴＧ−Ｄが図６ｂ及び図３のブロック４７に示すようにＮＮ７０のその層であるＮ層に割り当てられる。
以下、新たな中間層ＬＴＧをＮＮ７０に割り当てるプロセス５０（図６ａ及び図６ｂ）を、図４を参照して説明する。
Ｉ．ブロック５１で、どのＬＴＧもデータを学習することができないＮ層に追加ＬＴＧであるＬＴＧ−Ｄが追加される。次いで、制約条件セットが好ましくはステップＶ及びＶＩに従って初期化される。残りのステップであるステップＩＩ〜ＶＩは、概ね置き換え可能であり、従ってこれらの手続きステップの順序は図４に示すものから変化してもよい。
ＩＩ．ブロック５３で、このＮＮ出力Ｏｊについて、ＬＴＧ−Ｄの出力からＮ層の出力層を形成するＮ＋１層内の全ＬＴＧへの接続が行われる。ブロック５４で、Ｎ層内のその他のＬＴＧであるＬＴＧ−Ａ及びＢにより学習されてはならないことに基づいて、Ｎ＋１層内のＬＴＧ（この場合はＬＴＧ−Ｃ）が新たなＬＴＧであるＬＴＧ−Ｄからの入力をどうすればよいかがわかるように、これらのＬＴＧが更新される。
ＩＩＩ．Ｎ層＞１のとき、ブロック５２で、このＮＮ出力Ｏｊについて、前の層であるＮ−１層（図示せず）の入力を形成する全てのＬＴＧから、ＬＴＧ−Ｄに入力接続が追加される。
ＩＶ．ブロック５５で、新たなＬＴＧであるＬＴＧ−ＤがＮ層が学習できない入力ベクトルを学習するようトレーニングされる。新たなＬＴＧであるＬＴＧ−ＤがＮ層内の他のＬＴＧが学習できない入力ベクトルを学習するトレーニングプロセス（ブロック５５）をよりよく理解するために、関連する好適な手続きのより詳細な分析を含むさらなるブロックであるブロック５６が設けられる。
Ｖ．学習する入力ベクトルが出力０を生成する場合、ブロック５７及び５８において、以下が行われる。
ａ）この層であるＮ層内の以前の最後のＬＴＧであるＬＴＧ−Ｂの制約条件が、新たなＬＴＧであるＬＴＧ−Ｄ制約条件セットにコピーされて（ブロック５７）、全ての制約条件を≧新たな閾値に設定する（ブロック５８）。
ｂ）ＬＴＧ−Ｃは、Ｎ層内のＬＴＧ−Ｄ及びその他のＬＴＧからの入力についてその制約条件セット内でＡＮＤを形成する。ブロック５４を参照のこと。論理は（Ａ・・・Ｂ）かつＤである。
ＶＩ．学習する入力ベクトルが出力１を生成する場合、ブロック５７及び５９において、以下が行われる。
ａ）この層であるＮ層内の以前の最後のＬＴＧであるＬＴＧ−Ｂの制約条件が、新たなＬＴＧであるＬＴＧ−Ｄ制約条件セットにコピーされ（ブロック５７）、全ての制約条件を＜新たな閾値に設定する（ブロック５９）。
ｂ）ＬＴＧ−Ｃは、Ｎ層内のＬＴＧ−Ｄ及びその他のＬＴＧからの入力についてその制約条件セット内でＯＲを形成する。ブロック５４を参照のこと。論理は（Ａ・・・Ｂ）又はＤである。
・図３を参照すると、新たなＬＴＧであるＬＴＧ−Ｄの割当ての後、ブロック４７で、ＮＮ７０が正しい回答を出力しさらに学習すべき入力ベクトルが存在する（ブロック４８）場合には、プロセス４０はステップ３の最初（ブロック４５を経由してブロック４２）に戻る。
また図３を参照すると、新たなＬＴＧであるＬＴＧ−Ｄの割当ての後、ブロック４７で、ＮＮ７０が正しい回答を出力しさらに学習すべき入力ベクトルが存在しないがさらに学習すべき出力が存在する（ブロック４８）場合には、プロセス４０は初期化ステップ１（図２のブロック３２）に戻