JPH09134207A

JPH09134207A - それぞれ異なったプロセスオブザーバブルを表す少なくとも２つの時系列の共通の学習によってダイナミックプロセスをシミュレートするための学習方法および装置

Info

Publication number: JPH09134207A
Application number: JP26452296A
Authority: JP
Inventors: Jan Storck; シュトルクヤン; Gustavo Dr Deco; デコグスタヴォ
Original assignee: Siemens AG
Current assignee: Siemens AG
Priority date: 1995-10-04
Filing date: 1996-10-04
Publication date: 1997-05-20
Also published as: DE19537010A1; DE19537010C2

Abstract

(57)【要約】【課題】それぞれ異なったプロセスオブザーバブル
を表す少なくとも２つの時系列の共通の学習によってダ
イナミックプロセスをシミュレートするための新規な学
習方法。【解決手段】プロセスオブザーバブルを関数近似器に
よってシミュレートし、関数近似器において、すべての
時系列の、過去に存在する値だけを使用できるように
し、時系列の個々の値を、値毎に固有の確率分布によっ
て発生する、確率過程の実施と把握し、関数近似器のト
レーニングのために、該関数近似器によって発生された
値を出力値の形における時系列のその都度の現在値に対
して加算しかつ前記関数近似器によって実施関数とし
て、前記出力値の確率分布が供給されるすべての値の確
率分布によって最適に相関付けされていることを保証す
るような関数を発生する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、技術的または生物
学的なプロセスをシミュレートするための新規な学習方
法およびこの学習方法を実施するための有利な装置に関
する。

【０００２】

【従来の技術】複合的な技術的なシステムを模倣するた
めに、しばしば、プロセスまたはシステムをシミュレー
トすることができるようにするために、学習能力のある
コンポーネントが使用される。その際これらのシステム
にとって必要なのは、それらが自動的にプロセス特性を
学習することができることおよびシミュレートすべきプ
ロセスの特性に整合されるということである。殊にこの
種のシステムは、殆どと言っていい程決定論的ではない
かまたは極度に確率的に経過するプロセスに対して使用
される。この関連における制御問題に対して、ニューラ
ルネットまたはファジィ制御器が使用されることが多
い。

【０００３】例えばニューラルネットに対してこれまで
普及しているトレーニング方法では、ニューラルネット
に入力時系列が供給されかつネットの出力された値が入
力値と比較される。学習成果は、出力値が入力値にどの
程度近似しているかに基づいて測定される。この普及し
ている方法によって、整合、即ちネットのトレーニング
を実施することができるようにするために、ニューラル
ネットの個々のニューロンにおける重みが変化される。
その他の学習方法は現在のところ公知ではない。

【０００４】

【発明が解決しようとする課題】本発明の課題は、プロ
セスの複数の種々のオブザーバブル（Ｏｂｓｅｒｖａｂ
ｌｅ）が共通に、この学習方法ないし学習装置の出力量
の決定に関与するようにした学習装置および方法を提供
することである。殊に、本発明の方法によって、学習成
果を測定するために出力量それ自体を使用しないことを
保証するようにしたい。

【０００５】

【課題を解決するための手段】この課題は、学習方法に
対して請求項１の特徴部分に記載の構成および学習装置
に対しては請求項６の特徴部分に記載の構成によって解
決される。

【０００６】本発明のその他の構成は、その他の請求項
に記載されている。

【０００７】

【発明の実施の形態】本発明の方法の特別な利点は次の
点にある。即ち、現在成分を形成するために、非常に種
々異なったオブザーバブルの時系列のすべての過去成分
が用いられることである。特別有利にも、現在値の、す
べての過去値による最適な相関付けによって、可能な最
大の学習成果を調整設定することができることが保証さ
れる。

【０００８】本発明の方法および装置における計算コス
トを低減することができるようにするために、現在成分
を関数近似器によって変化しかつ過去成分を実質的に変
えずに出力側に転送するようにしさえすればよい。

【０００９】有利には、本発明の方法において、後処理
を簡単にしかつ正規化するために、出力すべき値は、０
および１の間に制限されている微分可能な関数、例えば
シグモイド関数によって処理される。

【００１０】特別有利には、本発明の方法によれば、オ
ブザーバブルを、それらが、その都度の関数近似器の学
習プロセスにどの程度有用な情報を提供しているかに応
じて選択することができる。この種のオブザーバブルの
この有用性に対する尺度は、それと別のオブザーバブル
との間に形成することができる相関の程度である。この
オブザーバブルが大幅に相関可能であればある程、それ
は本発明の方法および本発明の装置の学習プロセスに対
して有用である。

【００１１】特別有利には本発明の方法は上記の費用関
数によって実施される。その理由は、それがインフォマ
ックス（Ｉｎｆｏｍａｘ）原理を含んでいると同時に、
相関を評価するからである。インフォマックス原理によ
って、この関連において、方法ないし装置の入力側から
の情報における最大値が出力側に転送されることが保証
されるからである。

【００１２】本発明の方法を実施するために特別有利に
は、それぞれのオブザーバブルに対して関数近似手段を
使用することができる学習装置が適している。これらの
関数近似手段に、すべてのオブザーバブルの過去値を供
給することによって、既に装置の側において、現在値お
よび過去値を相関付けることができることが保証され
る。

【００１３】特別有利には、この種の関数近似器はニュ
ーラルネットの形において実現される。というのは、こ
れらは広範囲に研究されておりかつ任意の多様性におい
てエミュレーションプログラムとしても使用することが
できるからである。

【００１４】

【実施例】次に本発明を図示の実施例につき図面を用い
て詳細に説明する。

【００１５】図１には本発明の学習装置の１例が示され
ている。本発明の装置および本発明の方法の主要な目的
は、時系列の多変量のモデル化にある。例えばダイナミ
ックシステムのシステム量の時間的な展開が多変量のモ
デルを用いて教師なしで学習される。システムの入力値
は例えば、観測されるシステムの複数のオブザーバルの
測定値である。本発明によれば、そこから、オブザーバ
ブルの時系列値が独自の過去および別のオブザーバブル
の過去にどのような手法で依存しているかが抽出され
る。本発明の手法による過程の結果は、観測される時系
列の現在および過去の相関付けである。

【００１６】その際測定されるオブザーバブル間の比較
的高い次数の相関、即ち線形並びに非線形の依存性を抽
出することができる。この相関解析は、例えば、システ
ムの、既に与えられているオブザーバブルとは別の測定
量が実際にも観測されるシステムに関する新しい情報を
提供するかどうかについてを解明する。更に、学習過程
の後に、現在と過去との間の抽出された依存性を、時系
列値、従って将来のシステム状態を予測するために使用
することができる。この予測は特別簡単に行われる。何
故ならば、関数近似器が、オブザーバブルの時系列がそ
れに従って時間的に連続的に展開される写像（Abbildun
g）を表しているからである。従って特別有利には、本
発明の方法およびこの方法を実施するための装置を、こ
の量が、独自の過去、並びに付加的な別のオブザーバブ
ルの過去にどのように依存しているかを学習することに
よって、極めて特定のシステム量の時間的な展開を学習
するために使用することができる。他方において、種々
異なった量の間の依存性を検出することができる。

【００１７】特別有利には、本発明の方法およびそれを
実施するための装置によって、教師なし学習と多変量の
時系列解析との間の結合が形成される。これにより、本
発明の手法において、複数のシステム量の同時モデル化
が特別簡単に行われる。殊に本発明の方法は、時系列値
間の線形または正規分布された依存性への制限を有して
いない。更に、本発明の方法によって、特別簡単な費用
関数を使用することができるが、それはその使用に関し
て大きな普遍性を有している。

【００１８】本発明の方法の利点は殊に、それが、任意
の形式および次数の相関を抽出することができる点にあ
る。更に、本発明の方法は、特別低い埋没次元（Einbet
tungsdimension）、即ちその都度使用のオブザーバブル
の、単変量のモデル化の場合より僅かしか消失しない時
系列値を有している。特別有利には、本発明の方法によ
って、測定雑音の不都合な影響が低減される。更に、本
発明の方法によって、使用することができるすべてのオ
ブザーバブル、並びにモデル化の際のこれらのオブザー
バブルの任意の数の時間的に遅延された値を使用するこ
とによって、存在するすべての情報が最適に利用され
る。

【００１９】公知技術において、教師なし学習による単
変量の時系列モデル化の基礎が〔ＤＳ９５〕に示されて
いる。時間遅延された変数を用いる位相空間再構成のた
めの例は〔ＳＹＣ９１〕に示されている。時系列解析の
ための教師あり学習方法に対しては、〔ＬＦ８７〕に例
が示されている。本発明により使用される費用関数を導
出するための基礎は、〔ＮＰ９４〕および数学的な解説
部から明らかである。図１には、時系列解析のための多
変量のモデルが２つのオブザーバブルおよびその都度２
次元の埋没（過去において２つの時間ステップが観測さ
れる）の例に基づいて示されている。第１のオブザーバ
ブルの時系列はｘで示されておりかつ第２のオブザーバ
ブルの時系列はｙで示されている。時系列の相応の値が
本発明の装置において入力側に供給される。その際本発
明の方法および本発明の装置を、同時に入力されるオブ
ザーバブルの数並びにすべてのオブザーバブルに対して
同じである必要はない、それぞれのオブザーバブルにお
ける埋没次元の高さ（時間的に遡っている値の数）に関
して、任意に拡張することができる。例えば、使用のオ
ブザーバブルの測定系列のエレメントから合成されて成
るベクトルが入力される。この原理は、時間遅延される
座標（delay coordinates）の方法としてまたはＴａｋ
ｅｎｓ法として周知である。その際Ｔａｋｅｎｓ法は、
位相空間の軌道（Trajektorien）ないしそのダイナミク
スを、埋没空間において時間遅延された座標を用いて再
構成するという方法である。それぞれの再構成ベクトル
に対してこのために必要とされる数は埋没次元によって
決められ、埋没次元の方も、位相空間の次元、ないし、
システムがその上で移動するアトラクター（Attrakto
r）の次元によって決められる。従って２つの時系列の
場合、全体のベクトルは例えば、ｘ時系列およびｙ時系
列の２つの時間的に連続する値から生じる。その際それ
ぞれ個々のオブザーバブルは、ｄがその埋没次元を表す
ものとして、入力ベクトルに対してｄ＋１個の成分に寄
与している。更にそれぞれのオブザーバブルは、以下
に、現在成分または現在値と表す、入力ベクトルに対し
て、別の値に比して最も新しい成分を作り出す。その他
の、更に遡った値は、以下、過去成分または過去値と表
す。従って、図１から認めることができるように、入力
ベクトルは、ｘ_t，ｘ_t-1，ｘ_t-2およびｙ_t，ｙ_t-1並び
にｙ_t-2から成っている。その際ｘ_tおよびｙ_tは現在値
であり、一方ｘ_t-1，ｘ_t-2およびｙ_t-1．ｙ_t-2は過去値
を表している。本発明の使用に対して必要な、この種の
多数の入力ベクトル（学習／トレーニングデータ）は、
その都度全体の時系列をステップ毎に移動することによ
って得られる。例えば、時系列エレメントが１，２，
３，…と大きくなるように番号付けされているとき、こ
の時系列の、全体の入力ベクトルに対する第１の寄与は
エレメント１，２，３から成り、第２の寄与は例えば、
エレメント２，３，４からなり、第３の寄与は、３，
４，５から成り、以下同様である。例えば同様に、本発
明の方法を使用する際に、時系列内のジャンプ幅は、１
より大きく選択することができる。例えば、すべての入
力値は、それぞれのオブザーバブルのその都度時間的に
最も新しいものを除いて、即ち正確には過去値は、例え
ばジグモイド伝達関数

【００２０】

【数４】

【００２１】によって０と１との間の領域に制限され、
その他の場合は変化されずに出力される。しかしこのた
めに、０と１との間に制限された、任意の別の微分可能
な関数を使用することもできる。現在成分は、その都度
独自の時系列の過去値にも、その他の時系列の過去値に
も依存している、関数近似器Ｆ₁，Ｆ₂の関数値に加算さ
れる。その際本発明の方法および装置によって、いずれ
の時系列値も、そこから見て時間的に遡った値に対して
影響を持ってないことが保証される。従って殊に、モデ
ル化されたプロセスの因果関係はモデルにおいても含ま
れている状態を維持する。関数近似器は、時系列の時間
的な展開が基礎としているところの写像規定（Abbilgun
gsvorschriften）を近似する。それぞれの時系列に対し
て、例えば１つのこの種の近似器がある。ここにおいて
図１におけるｘ時系列に対して関数近似器はＦ₁によっ
て示されておりかつｙ時系列に対して関数近似器はＦ₂
によって示されている。例えばこれら関数近似器のそれ
ぞれに対して、独自のニューラルネットを使用すること
ができる。しかしこの関連において、別の学習可能な成
分も十分に考えられる。本発明の方法によれば、近似さ
れる関数を決定するこれらの学習可能な成分の自由パラ
メータは、費用関数の最小化のために反復的に常時、改
良方向に整合される。従って学習過程が存在する。この
学習過程を以下例に基づいて詳しく説明する。

【００２２】現在成分の、図１では＋によって示されて
いる所属の関数近似器の出力との加算後、ここでも例え
ば、この場合は可変のパラメータαを含んでいる例えば
次のシグモイド伝達関数による非線形の変換が行われ
る：

【００２３】

【数５】

【００２４】本発明の方法において、種々異なった入力
値は例えば、確率過程の実現として把握されかつこの種
のものとして出力側に、入力分布によって誘起される確
率分布を発生する。図１において出力はｚによって示さ
れている。シグモイド伝達関数による最終的な変換の前
の出力を含んでいるベクトルは以下、ポストシナプス電
位（postsynaptisches Potential）と称される。数学的
な解説部における数式および図１においてそれは

【００２５】

【数６】

【００２６】によって表される。その成分はｈ_iであ
る。ポストシナプス電位の、過去値に依存している成分
は、入力分布を再現する。ポストシナプス電位の、時系
列の現在値成分に由来する成分の分布のみが、本発明の
方法によれば、それらのそれぞれの関数近似器によって
影響を受ける。検査中の時系列の時間的な展開が写像規
定に基づいて行われている場合、それは、１つの時系列
の個々の時系列値間の統計学的な依存性の形において、
また種々の時系列間の依存性の形においても現れる。統
計学的な依存性に対する尺度は、共通の（多次元の）分
布の冗長度である。この依存性は、出力分布においても
存在する。個別成分が統計学的に相互に無関係であると
き、最小の冗長度が実現される。現在成分に属するポス
トシナプス電位の、入力分布を再現する、ポストシナプ
ス電位の残りの成分に対する統計学的な相関付けによっ
て、所与の条件下で、出力冗長度における最小値を得る
ことができる。この冗長度最小値は、現在値成分のポス
トシナプス電位が一定の値を送出する、即ち残りのポス
トシナプス電位に無関係に統計学的であるとき、実現さ
れる。即ち、相応の分布は、δピークを表示しているは
ずである。この場合次式ｘ₁＋Ｆ₁（ｘ_t-1，ｘ_t-2，ｙ_t-1，ｙ_t-2）＝ｃ₁ （３）ｙ₁＋Ｆ₂（ｘ_t-1，ｘ_t-2，ｙ_t-1，ｙ_t-2）＝ｃ₂ （４）これによりｘ₁＝−Ｆ₁（ｘ_t-1，ｘ_t-2，ｙ_t-1，ｙ_t-2）＋ｃ₁ （５）ｙ₁＝−Ｆ₂（ｘ_t-1，ｘ_t-2，ｙ_t-1，ｙ_t-2）＋ｃ₂ （６）が成り立つ。

【００２７】従って、本発明の教師なし学習方法に対す
る費用関数は、冗長度最小化を招来するはずである。と
いうのは、式３から、関数近似器は最小の冗長度を実現
するために関数的従属性を表しているはずであることが
明らかであるからである。結果的に、相関付け過程のた
めに、検査される時系列の時間的な展開を表す関数が得
られる。従って、図１における考察される例においては
Ｆ₁およびＦ₂である。これらの関数によって、将来の時
系列値の引き続く予測が可能になる。付加的に例えば、
モデルにおいて伝送される情報が最大化される（Ｌｉｎ
ｓｋｅｒ′ｓＩｎｆｏｍａｘ原理〔Ｌｉｎ８８〕）。２
つの要求を同時に満足する最大化すべき関数として、本
発明の方法においては有利には次の項が使用される：

【００２８】

【数７】

【００２９】この項は、多次元のポストシナプス電位分
布と、例えばシグモイド関数としてｆ′（ｘ）＝αｆ（ｘ）（１−ｆ（ｘ））（８）によって表される、出力側における伝達関数の導関数の
積との間のＫｕｌｌｂａｃｋ−Ｌｅｉｂｌｅｒ距離を表
すものである。式７の最大化のため、ないし式９の最小
化のため、従って例えば、個々の関数近似器を形成する
ニューラルネットの重み適合と同時に現在成分に対応す
る出力に対する伝達関数のパラメータα₁およびα₂の最
適化のために、例えばＡｌｏｐｅｘ〔ＵＶ９４〕、ニュ
ーラルネットに対する標準最適化法を使用することがで
きる。具体化実現の際に、式７からの積分に対する近似
として、次の和：

【００３０】

【数８】

【００３１】が使用され、それはそれから本発明の方法
における費用関数として最小化される。ここにおいてｐ
は出力値の数、ここでこの例ではｐ＝６であり、Ｍは入
力パターンの数でありかつｈ^mないしｈ_i ^mは、ｍ番目の
パターンによって発生される多次元ないし１次元のポス
トシナプス電位を表している。多次元の密度Ψは例えば
ヒストグラムを用いてボックス計数によって推定され
る：

【００３２】

【数９】

【００３３】技術的なプロセスとして、例えば流体ダイ
ナミクスから成る例、Ｔａｙｌｏｒ−Ｃｏｕｅｔｔｅ系
が挙げられる。Ｔａｙｌｏｒ−Ｃｏｕｅｔｔｅ系は、
その中間室に液体が充填されている、２つの同軸の円筒
体Ｚ１およびＺ２から成っている。内側の円筒体Ｚ１
は、図２にＧＡで示されている共通の軸を中心に回転し
かつこれにより、矢印Ｒによって示されている回転、ひ
いては所定の回転数から、定常的な、反対方向に回転す
るＴａｙｌｏｒの渦が惹き起こされる。図２にはこのＴ
ａｙｌｏｒの渦はＫＳとして示されている。外側の円筒
体は関係を分かり易くするためにここでは透明に図示さ
れている。この例において、容易に形成される擾乱を有
する定常的なＴａｙｌｏｒの渦の状態から出発してい
る。この例は、単変量のモデル化に対する、ここでは第
２の時系列の使用の例に基づいた多変量のモデル化の考
察を示すものである。これらの実験的な状態に対して、
２つの時系列は、渦ＡおよびＢにおける軸線方向の速度
成分の測定によって得られる。これら２つのオブザーバ
ブルによって、以下同様に、ＡないしＢによって表す２
つの異なった時系列が得られる。本発明の方法の結果
は、２つの異なったオブザーブルに対して図３において
上下に図示されている。結果を表すために、時系列は、
個別にかつ同時に相関付けされた。１つの時系列を用い
るモデル化（単変量的）は、それぞれの時系列に属する
関数近似器にて、独自の時系列の過去値のみを使用する
ことができたことを、意味するものである。相互相関は
単変量の場合には使用することができない。

【００３４】図３には、それぞれの入力パターンに対す
る時系列Ａ（左側）および時系列Ｂ（右側）の現在成分
のポストシナプス電位が図示されている。ａには、即ち
１番上側の２つの線図において、相関付け過程の前、即
ち関数近似器におけるモデルパラメータの任意の選択の
際の値が図示されている。既述したように、理想の場
合、関数はδピークを表しているはずなので、線図を見
る方向は予め定められている。それはここではＰで示さ
れている。ａのところでは、時系列ＡもＢも非常に大幅
にばらつていることを認めることができる。ｂのところ
では、単変量の相関付けに対する結果が図示されてい
る。この単変量の相関付けは、本発明の装置のおよび本
発明の学習方法の対象ではない。それは単に、本発明に
よって得られる技術的進歩を明らかにするためにのみ用
いられるものである。ｃのところには遂に、２つの時系
列を用いた相関付け、即ち２変量の相関付けに対する結
果が図示されている。ここで明らかに、観察方向Ｐから
見て、殆ど１つのδピークしか存在していないことを認
めることができる。ｂに比べても、曲線の比較的狭いば
らつき幅を求めることができる。そこで考察例として、
ｃのところに、時系列Ａに対するｂのところの曲線と類
似のばらつき幅を有する曲線が存在する場合、このこと
は、時系列Ｂを形成した、時系列Ａのよりよい相関付け
のために付加的に選択されたオブザーバブルＢがＡの関
数近似器の学習のために付加的な情報を送出しないこと
を意味するということである。即ち有利には、相関付け
の改良を実現する別のオブザーバブルが選択されるべき
である。詳しい関係は次の数学的な解説部において更に
説明する。

【００３５】数学的な解説部以下において、全体モデルはネットとして把握されかつ
相応に入出力値はニューロンとして表される。特別に断
らない限り、使用の量はすべてベクトルとして捉えられ
るべきである。

【００３６】ネットのそれぞれ個々のニューロンは、そ
の多次元の入力νから、その活性状態（出力）を２つの
ステップにおいて計算する。まず、νが速度ベクトルω
とスカラー乗算されかつこの第１の処理ステップの後
に、ポストシナプス電位ｈが生じる：

【００３７】

【数１０】

【００３８】従ってポストシナプス電位ｈはニューロン
の入力信号の決定論的な関数である。非線形の伝達関数
ｆによって、それは出力電位Ｖ（ニューロンの活性状
態）に写像される：Ｖ＝ｆ（ｈ）（２）ここにおいてｆは任意の非線形の関数であるが、それは
０と１との間に制限されておりかつ反転可能なものであ
る。考察中例えば、導関数ｆ′（ｘ）＝αｆ（ｘ）（１−ｆ（ｘ））（４）を有する次のシグモイド関数

【００３９】

【数１１】

【００４０】が生じ、ここにおいてαは傾きでありかつ
従って非線形の伝達に比して殆ど線形の写像の領域を決
定する。

【００４１】次に特別に、出力層のニューロンについて
考察する。出力層の次元はｐとする。複数のニューロン
の一般例にまで拡張されて、ｈおよびＶはベクトル量と
して理解すべきである。ネットξの多次元の入力信号は
出力側において分布Ψ（ｈ）を有するポストシナプス電
位ｈを誘起する。それ故にｈはランダムベクトル（Zufa
llvektor）ξの決定論的な関数であり、その際ｈは任意
の非線形の変換を含んでいることができる。即ち、１つ
または複数の非線形の層が入力層と出力層との間にあれ
ば、ネットは一般的な関数近似器を表している。入力ξ
とポストシナプス電位ｈとの間のこの形式の変換は必ず
しも全単射的（bijektiv）ではない。従って、ネットを
介する伝達の際に入力情報のいくつかが消失する可能性
がある。そこで出願人の目的は、出来るだけ損失のない
伝達を保証するために、ネットの入力と出力との間の変
換情報量（Transinformation）Ｉ（ξ，Ｖ）を最大化す
ることである。情報理論量はランダム変数に対してしか
定義されていないので、出力電位Ｖにおける分布υ
（ｚ）を有する人工的な雑音ｚを付加的に付加しなけれ
ばならない。出力ニューロンＶの活性状態は第２のラン
ダムベクトルＶ＝ｆ（ｈ）＋ｚ_i （５）として得られ、その際ｆはすべての成分ｉ＝１，…，ｐ
に対して０＜ｆ_i＜１を有する反転可能な伝達関数であ
る。従って、個々の出力活性化に対してｉ＝１，…，ｐの場合Ｖ_i＝ｆ_i（ｈ_i）＋ｚ_i （６）が成り立つ。

【００４２】その都度の重みによって前以て決められる
電位ｈ_iの他に、伝達関数ｆ_iもニューロン毎に異なって
いる可能性がある。この場合単に理論的な目的に基づい
て、加算的雑音ｚの確率分布υ（ｚ）は任意であるが、
この場合ｚはｈに無関係なものと見なされる（ｚ_iは相
互に無関係なランダム変数である必要はない）。その際
雑音強度は次のように定義され得る：

【００４３】

【数１２】

【００４４】ただしΔは個々の出力ニューロンの雑音強
度を表しかつ＜＞はυ（ｚ_i）分布にわたる平均を意味
している。

【００４５】次に、入力と出力との間での変換情報量Ｉ
（ξ，Ｖ）に対して付加的に、電位ｈと出力との間の変
換情報量Ｉ（ｈ，Ｖ）が考察される。入力雑音が存在し
ていないことを前提として、Ｉ（ξ，Ｖ）およびＩ
（ｈ，Ｖ）は等しい。それ故に、ネットワークの情報伝
達を最大化するために、著しく扱い易い量Ｉ（ｈ，Ｖ）
を考察することができる。それ故に、次に、適合可能な
ネットパラメータにのみ依存している（〔ＮＰ９４〕参
照）、Ｉ（ｈ，Ｖ）に対する解析的な式を導出した
い。ランダムベクトルｈとＶとの間の変換情報量は

【００４６】

【数１３】

【００４７】によって表される。

【００４８】ここにおいてＱ（Ｖ｜ｈ）はｈが既知であ
るの場合のＶの条件付き確率でありかつ（５）に従ってＱ（Ｖ｜ｈ）＝υ（Ｖ−ｆ（ｈ））（９）が生じる。

【００４９】結果生じる出力分布として、

【００５０】

【数１４】

【００５１】が得られる。

【００５２】雑音の活性状態に基づいて、変換情報量Ｉ
は、出力分布および雑音分布のエントロピー間の差とし
ても表される：Ｉ＝Ｈ（ｑ）−Ｈ（υ）（１１）（１１）における第１の項は、確率分布ｑの微分エント
ロピーである：

【００５３】

【数１５】

【００５４】（１１）における第２の項は、雑音の分布
にのみ依存している：

【００５５】

【数１６】

【００５６】υ_i（ｉ＝１，…，ｐ）がガウス分布であ
る場合、Ｈ（υ_i）は１／２・ｌｎ（２πｅΔ）に等し
い。ガウス分布は、所与の分散のすべての分布の中で最
大のエントロピーを有しているので、Ｈ（υ_i）≦１／２・ｌｎ（２πｅΔ）（１４）が成り立つ。

【００５７】即ちΔは零に向かっているので、個別エン
トロピーＨ（υ_i）はマイナス方向に無限大に消失す
る。その結果この場合、共通のエントロピーも、マイナ
ス方向に無限大になることになる。従って（１１）にお
ける第２の項は、無限大に向かって消失する。しかし
（１１）からの２つの量のうち、出願人にとって重要な
のはＨ（ｑ）だけである。というのは、Ｈ（ｑ）だけが
ｆないし重みの適合によって影響されるかである。従っ
て、変換情報量Ｉを最大化するために、出力エントロピ
ーＨ（ｑ）を最大化することが当てはまる。与えられた
雑音強度に対して、エントロピーのこの最大化により必
然的に、ξからｈへの変換情報の全単射性が生じ、この
ことはまさに出願人の目的とするところであった。この
ことは、非線形性が比較的低いエントロピーをそれ自体
の方へ引っ張るという事実から生じる。複数の入力値が
同じ出力値に写像されるとき、出力コードにおける不確
かさ、ひいてはエントロピーも低下する。確かにこの論
法は、出力伝達関数が制限されているという理由からの
み成り立つ。この制限によって、発生される出力の画像
領域を伸長することによって、出力エントロピーが無限
に高められることはないことが保証される。所定の段階
から、ネットにおいて結果的に、エントロピーを一層高
めるために、単に全単射性の平均だけが残る。

【００５８】極限に消失する雑音の場合、量Ｈ（ｑ）は
有限の限界値を有する。Δ→０に対してｑは

【００５９】

【数１７】

【００６０】になる。

【００６１】（１２）に代入すると、Ｈ（ｑ）は次のよ
うに書き表される：

【００６２】

【数１８】

【００６３】残りのデルタ積分を実施することができる
ようにするために、次の代入

【００６４】

【数１９】

【００６５】およびｙ_i＝ｆ_i（ｈ_i）（ｙは固定値ｆ_i（ｈ_i）をとる）（２１）が形成されかつ最終的に

【００６６】

【数２０】

【００６７】が得られる。

【００６８】従って、エントロピーＨ（ｑ）、ひいては
変換情報量Ｉの重要な部分に対して、次の式が得られ
る：

【００６９】

【数２１】

【００７０】すべてのｉ＝１，…，ｐに対して０＜ｆ_i
＜１が仮定されたので、それぞれのｆ_i′は確率分布の
前提を満足する（−∞から＋∞への積分は１になる）。
それからこれにより、Ｄ（Ψ‖Π_kｆ_k′）を、電位分布
Ψと、ｆ_i′の積によって定義されている確率との間の
Ｋｕｌｌｂａｃｋ−Ｌｅｉｂｌｅｒ距離と把握すること
ができる。その値は常に零より大きいかまたは零に等し
く、ここにおいて２つの分布（零の集合を除いて）が同
一であるときまさに、零がとられる。

【００７１】次のことが把握される：変換情報量は定数
（雑音エントロピーによって定めされている）を除い
て、電位分布と、伝達関数の導関数によって表される積
分布との間のＫｕｌｌｂａｃｋ−Ｌｅｉｂｌｅｒ距離の
マイナスに等しい。変換情報量の最大化は、Ｋｕｌｌ
ｂａｃｋ−Ｌｅｉｂｌｅｒ距離の最小化と等価である。
その場合Ｄ≡０の最適例はまさに、

【００７２】

【数２２】

【００７３】が成り立つとき、実現される。これにより
更に、次のことが明らかになる：Ψ（ｈ）の階乗コード
（faktorieller Code）、即ち

【００７４】

【数２３】

【００７５】が、伝送される情報の最大化を可能にす
る。その場合最適な伝達関数は簡単にｉ＝１，…，ｐの場合ｆ_i′（ｈ_i）＝Ψ_i（ｈ_i）（２９）に書き換えられかつそれぞれのニューロンに対して別の
ニューロンと無関係に調整することができる。

【００７６】しかしポストシナプス出力電位の分布の因
数分解は、冗長度の最小化と同じ意味である。従ってこ
の段落の結果として、（２９）に従った伝達関数が最適
に整合されることを前提として、次の結論が得られる；

【００７７】

【数２４】

【００７８】２，３の注釈：ｆ_iについて最初、反転能
力のみを要求したので、伝達関数として負の導関数を有
する厳密に単調に下降する関数も問題になるはずであ
る。その場合式（１５）ないし（２９）において、
ｆ_i′（ｈ_i）に代わって｜ｆ_i′（ｈｉ）｜を用いた一
般式を使用することができかつ（２９）に対する択一的
な解として、ｆ_i′＝−Ψ_iが得られることになる。し
かし以下において、（３）からのシグモイド関数に制限
したい。そうすればこの例を排除することができる。

【００７９】画像処理において、結果（２９）は、“サ
ンプリング／ヒストグラム等化（Sampling／Histogram
Equalization）”という名前で公知である。それは、最
大の情報伝送は、一様な出力分布において、即ち最大の
エントロピーの分布において実現することができること
を表している。

【００８０】物理的に見て、この結果は容易に合理的に
形成される：その場合、入力信号を出力側において再び
精密に解析することができるとき、大量の情報が伝送さ
れる。経験的に求められた分布Ψ_i（ｈ_i）の抜き取り検
査において、大抵の抜き取り検査値が、Ψ_i（ｈ_i）が大
きいところのｈ_i値の近傍において観測される。これら
を申し分なく相互に分離することができるようにするた
めに、そこでは伝達関数の傾きも出来るだけ大きくなけ
ればならない。これにより種々異なった出力値は大幅に
かけ離れておりかつ雑音にも拘わらずなお区別すること
ができる。その際解に対する下側の限界は、雑音によっ
て生じる、出力側におけるスケーリングによって決まっ
てくる。従って、無限に小さいが、零に等しくはない雑
音強度が、情報伝送の分離精度に対する尺度を表す。

【００８１】最後の段落において、階乗コードが、伝達
関数が相応に選択されている場合最大の情報伝達を保証
することを認めたので、更にここで反対の方向を示した
い：変換情報量の最大化により、この種のものが存在す
る場合、階乗コードが生じる。出力コードにおける冗長
度Ｒは、個々の出力値間の相関によって規定されて、

【００８２】

【数２５】

【００８３】として定義されている。

【００８４】１次元のエントロピーＨ（ｑ_i）および多
次元のエントロピーＨ（ｑ）に対して、ここで最後の段
落において導出した、個々のエントロピーおよび共通の
エントロピーに対する式（２６）が使用される：

【００８５】

【数２６】

【００８６】しかしΣ_jＤ_jの個々の加数は単に、Ｋｕ
ｌｌｂａｃｋ−Ｌｅｉｂｌｅｒ距離であり、その結果こ
のことも非否定性の条件を満足する。更に次の不等式群
が得られる

【００８７】

【数２７】

【００８８】従って、変換情報量Ｉの最大化およびこれ
に結びついている、Ｋｕｌｌｂａｃｋ−Ｌｅｉｂｌｅ
ｒ距離Ｄ（伝達関数によって決められる密度）の最小化
により、階乗コードが存在する場合、必然的に冗長度の
最小化が生じる。反転可能でかつ制限された伝達関数で
あって、入力雑音は存在せず、しかも出力雑音は消失す
る程度に僅かで、即ち無限小に小さいが、正であるとい
う特有の例において、（３０）と共に、階乗コードが存
在するということを前提として（存在しない場合には、
電位分布は少なくとも出来るだけ大幅に因数分解される
べきである）、ニューラルネットにおける情報処理に関
するこの章全体の主要な結果が得られる：

【００８９】

【数２８】

【００９０】確かに、変換Ｔ、ひいては電位分布Ψに対
するパラメータ並びに変換関数ｆ_iを表す情報最大化の
みが正確にとられていることに注目すべきである。

【００９１】この結果は教師なし学習方法に対して基本
的な意味を持っている：費用関数は、Ｉｎｆｏｍａｘ
項、即ちニューラルネットを最小化するものであるＫｕ
ｌｌｂａｃｋ−Ｌｅｉｂｌｅｒ距離（２６）に低減され
る。変換Ｔおよび伝達関数ｆ_iが一般にないしフレキシ
ブルに十分である場合にのみ、最小値Ｄ≡０を実現する
ことができることに注目することが重要である。

【００９２】文献

【００９３】

【表１】

【図面の簡単な説明】

【図１】本発明の装置の例を示す略図である。

【図２】技術的プロセスに対する例を示す略図である。

【図３】図２におけるプロセスに使用した後の本発明の
方法の作用効果の例を説明する線図である。

【符号の説明】

ｘ，ｙ時系列、Ｆ１，Ｆ２関数近似器

Claims

【特許請求の範囲】

【請求項１】それぞれ異なったプロセスオブザーバブ
ルを表す少なくとも２つの時系列の共通の学習によって
ダイナミックプロセスをシミュレートするための学習方
法であって、ａ）それぞれのプロセスオブザーバブルを関数近似器に
よってシミュレートし、ｂ）それぞれの関数近似器において、すべての時系列
の、過去に存在する値だけを使用できるようにし、ｃ）それぞれの時系列の個々の値を、それぞれの値毎に
固有の確率分布によって発生する、確率過程の実施と把
握し、ｄ）かつ関数近似器のトレーニングのために、該関数近
似器によって発生された値を出力値の形における時系列
のその都度の現在値に対して加算しかつ前記関数近似器
によって実施関数として、前記出力値の確率分布が供給
されるすべての値の確率分布によって最適に相関付けさ
れていることを保証するような関数を発生することを特
徴とする方法。
【請求項２】時系列のすべての過去値を同一に出力す
る請求項１記載の方法。
【請求項３】出力すべきすべての値に対して、これら
値に、０および１の間の値を割り当てる微分可能な伝達
関数を使用する請求項１または２記載の方法。
【請求項４】その時点で使用されている時系列によっ
て相関付けが可能でない場合には、当該時系列をこれま
で使用されていないプロセスオブザーバブルに供給する
請求項１から３までのいずれか１項記載の方法。
【請求項５】それぞれの関数近似器における実施関数
を調整設定するために、次の関数を最大化する：【数１】請求項１から４までのいずれか１項記載の方法。
【請求項６】式（７）における積分を、費用関数とし
て最小化すべき次の項によって近似し：【数２】かつ次の近似式を利用する：【数３】請求項５記載の方法。
【請求項７】それぞれ異なったプロセスオブザーバブ
ルを表す少なくとも２つの時系列の共通の学習によって
ダイナミックプロセスをシミュレートするための学習装
置であって、ａ）その都度のプロセスオブザーバブルの時間特性をシ
ミュレートするための少なくとも第１および第２の関数
近似手段が設けられており、ｂ）前記それぞれの関数近似手段には単に、すべての時
系列の、過去に存在する値だけが供給され、かつｃ）前記それぞれの関数近似手段において、請求項１か
ら５までのいずれか１項記載の実施関数が実施されるこ
とを特徴とする装置。
【請求項８】関数近似手段として、ニューラルネット
が設けられている請求項７記載の装置。