JPH10187648A - ニューラルユニット演算方式およびその装置 - Google Patents
ニューラルユニット演算方式およびその装置Info
- Publication number
- JPH10187648A JPH10187648A JP8354369A JP35436996A JPH10187648A JP H10187648 A JPH10187648 A JP H10187648A JP 8354369 A JP8354369 A JP 8354369A JP 35436996 A JP35436996 A JP 35436996A JP H10187648 A JPH10187648 A JP H10187648A
- Authority
- JP
- Japan
- Prior art keywords
- value
- output
- sum
- neural unit
- neural
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Complex Calculations (AREA)
Abstract
(57)【要約】
【課題】各ニューラルユニットあたりＮ回の乗算の繰り
返し処理を実行することによる、ネットワークの大規模
化に伴う処理時間を短縮するニューラルユニット装置の
提供。 【解決手段】ニューラルユニットにおいて計算される積
ＷjiＸiはその値が−Ｌ≦ＷjiＸi≦Ｍ (Ｌ、Ｍ≧０)の
範囲にある。ニューラルユニットが実行する積和計算に
おいて、その初期値を−ＬＮとし(Ｎは積和の繰返し回
数)、Ｌ＋ＷjiＸjiを毎回足していく。ここで毎回加算
される数値(Ｌ＋ＷjiＸi)は必ず非負の数であることに
注意する。シグモイド関数の形状から、入力ｍの正側及
び負側で値が飽和している。Ｌ＋ＷjiＸi(ｉ＝１、…、
Ｎ)を加算していく過程で、最終項(第Ｎ項)に到達前の
途中(ｋ項)までの積和の値(＝−ＬＮ＋Σi k(Ｌ＋ＷjiＸ
i))がシグモイド関数の飽和領域にはいっていたなら
ば、以降の乗算と累和計算は省略する。
返し処理を実行することによる、ネットワークの大規模
化に伴う処理時間を短縮するニューラルユニット装置の
提供。 【解決手段】ニューラルユニットにおいて計算される積
ＷjiＸiはその値が−Ｌ≦ＷjiＸi≦Ｍ (Ｌ、Ｍ≧０)の
範囲にある。ニューラルユニットが実行する積和計算に
おいて、その初期値を−ＬＮとし(Ｎは積和の繰返し回
数)、Ｌ＋ＷjiＸjiを毎回足していく。ここで毎回加算
される数値(Ｌ＋ＷjiＸi)は必ず非負の数であることに
注意する。シグモイド関数の形状から、入力ｍの正側及
び負側で値が飽和している。Ｌ＋ＷjiＸi(ｉ＝１、…、
Ｎ)を加算していく過程で、最終項(第Ｎ項)に到達前の
途中(ｋ項)までの積和の値(＝−ＬＮ＋Σi k(Ｌ＋ＷjiＸ
i))がシグモイド関数の飽和領域にはいっていたなら
ば、以降の乗算と累和計算は省略する。
Description
【０００１】
【発明の属する技術分野】本発明は、ニューラルネット
ワークの基本演算である積和演算およびシグモイド関数
変換を行うニューラルユニット演算方式とその装置に関
する。
ワークの基本演算である積和演算およびシグモイド関数
変換を行うニューラルユニット演算方式とその装置に関
する。
【０００２】
【従来の技術】近時、半導体技術の発展に伴い、ニュー
ラルネットワークをデジタルＬＳＩによって実現しよう
という試みが盛んになってきている。ニューラルネット
ワークの基本構成を図３に示す。図３を参照すると、複
数のニューラルユニットがネットワーク状に結合されて
おり、各ニューラルユニットは、複数の別のニューラル
ユニットからの信号を入力し、別のニューラルユニット
へと出力を供給している。そして各ニューラルユニット
は、そのニューラルユニットへ信号を供給しているニュ
ーラルユニットとの間の結合の度合いを表す「シナプス
荷重値」を備えている。
ラルネットワークをデジタルＬＳＩによって実現しよう
という試みが盛んになってきている。ニューラルネット
ワークの基本構成を図３に示す。図３を参照すると、複
数のニューラルユニットがネットワーク状に結合されて
おり、各ニューラルユニットは、複数の別のニューラル
ユニットからの信号を入力し、別のニューラルユニット
へと出力を供給している。そして各ニューラルユニット
は、そのニューラルユニットへ信号を供給しているニュ
ーラルユニットとの間の結合の度合いを表す「シナプス
荷重値」を備えている。
【０００３】例えば、図３において、第ｊニューラルユ
ニット３０１は、第Ａ、第Ｂ、第Ｃニューラルユニット
３０２、３０３、３０４からの出力を受けている。第ｊ
ニューラルユニット３０１は、これらの３つのニューラ
ルユニット３０２、３０３、３０４との間の結合強度を
表すシナプス荷重値ＷjA、ＷjB、ＷjCを備えている。
ニット３０１は、第Ａ、第Ｂ、第Ｃニューラルユニット
３０２、３０３、３０４からの出力を受けている。第ｊ
ニューラルユニット３０１は、これらの３つのニューラ
ルユニット３０２、３０３、３０４との間の結合強度を
表すシナプス荷重値ＷjA、ＷjB、ＷjCを備えている。
【０００４】さて、第Ａ、第Ｂ、第Ｃニューラルユニッ
ト３０２、３０３、３０４の出力信号をそれぞれ、
ＸA、ＸB、ＸCとしよう。すると、第ｊニューラルユニ
ットからの信号Ｘjは、次のようにして計算され出力さ
れる。
ト３０２、３０３、３０４の出力信号をそれぞれ、
ＸA、ＸB、ＸCとしよう。すると、第ｊニューラルユニ
ットからの信号Ｘjは、次のようにして計算され出力さ
れる。
【０００５】まず、信号ＸA、ＸB、ＸCと、シナプス荷
重値ＷjA、ＷjB、ＷjCとを用いて、次式（１）の積和ｍ
を計算する。
重値ＷjA、ＷjB、ＷjCとを用いて、次式（１）の積和ｍ
を計算する。
【０００６】ｍ＝ＷjAＸA＋ＷjBＸB＋ＷjCＸC …(1)
【０００７】このｍの値に対して、次のようなシグモイ
ド関数による非線形変換処理を行い、Ｘjが出力され
る。すなわち、ｍと出力Ｘjとは、シグモイド関数ｆに
よって、次式（２）のように関係付けられる。
ド関数による非線形変換処理を行い、Ｘjが出力され
る。すなわち、ｍと出力Ｘjとは、シグモイド関数ｆに
よって、次式（２）のように関係付けられる。
【０００８】Ｘj＝ｆ（ｍ） …(2)
【０００９】なお、シグモイド関数ｆとは、図２に示す
ような形状を持つ非線形関数であり、入力ｍが零近辺で
はｍとともに急峻にその値が増加するが、入力ｍがある
程度大きい値になるとその値は飽和する、という特徴を
もっている。
ような形状を持つ非線形関数であり、入力ｍが零近辺で
はｍとともに急峻にその値が増加するが、入力ｍがある
程度大きい値になるとその値は飽和する、という特徴を
もっている。
【００１０】ニューラルネットワークにおいては、その
構成要素であるニューラルユニットが、以上のような積
和演算とシグモイド関数変換処理とを行って、その結果
を次段のニューラルユニットへ出力していき、所定の段
数だけ信号伝達が行われた後に、外部へ信号が出力され
る。
構成要素であるニューラルユニットが、以上のような積
和演算とシグモイド関数変換処理とを行って、その結果
を次段のニューラルユニットへ出力していき、所定の段
数だけ信号伝達が行われた後に、外部へ信号が出力され
る。
【００１１】さて、このようなニューラルネットワーク
においては、各ニューラルユニットの処理すべき基本演
算は、上式（１）、（２）のような積和演算とシグモイ
ド関数変換である。よって、ニューラルユニットをデジ
タル回路によって、図４に示すような回路構成によって
実現することができる。
においては、各ニューラルユニットの処理すべき基本演
算は、上式（１）、（２）のような積和演算とシグモイ
ド関数変換である。よって、ニューラルユニットをデジ
タル回路によって、図４に示すような回路構成によって
実現することができる。
【００１２】図４は、デジタル回路による、従来のニュ
ーラルユニットの基本構成を示す図である。図４を参照
して、従来のデジタル型のニューラルユニットの動作を
以下に説明する。
ーラルユニットの基本構成を示す図である。図４を参照
して、従来のデジタル型のニューラルユニットの動作を
以下に説明する。
【００１３】図４において、ニューラルユニットを第ｊ
ニューラルユニットとする（図３の３０１参照）。そし
て、このニューラルユニットには、Ｎ個のニューラルユ
ニット（第１〜第Ｎニューラルユニット）が、それぞれ
信号Ｘ1〜ＸNを供給しているものとする。また第１〜第
Ｎニューラルユニットと、この第ｊニューラルユニット
と、の間のシナプス荷重値をそれぞれＷj1、Ｗj2、
Ｗj3、…、ＷjNとする。なお、信号Ｘ1〜ＸN、及びシナ
プス荷重値Ｗj1〜ＷjNは、それぞれ、適当なビット長の
２進数によって表現されているものとする。
ニューラルユニットとする（図３の３０１参照）。そし
て、このニューラルユニットには、Ｎ個のニューラルユ
ニット（第１〜第Ｎニューラルユニット）が、それぞれ
信号Ｘ1〜ＸNを供給しているものとする。また第１〜第
Ｎニューラルユニットと、この第ｊニューラルユニット
と、の間のシナプス荷重値をそれぞれＷj1、Ｗj2、
Ｗj3、…、ＷjNとする。なお、信号Ｘ1〜ＸN、及びシナ
プス荷重値Ｗj1〜ＷjNは、それぞれ、適当なビット長の
２進数によって表現されているものとする。
【００１４】さて、この第ｊニューラルユニットは、図
４に示すように、乗算器４０２、加算器４０３、及び、
シナプス荷重値（Ｗj1、Ｗj2、Ｗj3、…、ＷjN）を格納
するシナプス荷重値メモリ４０１から構成されている。
４に示すように、乗算器４０２、加算器４０３、及び、
シナプス荷重値（Ｗj1、Ｗj2、Ｗj3、…、ＷjN）を格納
するシナプス荷重値メモリ４０１から構成されている。
【００１５】Ｎ個のニューラルユニットからの出力信号
Ｘ1〜ＸNは、順番に入力信号線４００に供給され、ま
た、これに同期して、シナプス荷重値メモリ４０１か
ら、Ｗj1、Ｗj2、…、ＷjNが順番に読み出される。
Ｘ1〜ＸNは、順番に入力信号線４００に供給され、ま
た、これに同期して、シナプス荷重値メモリ４０１か
ら、Ｗj1、Ｗj2、…、ＷjNが順番に読み出される。
【００１６】こうして第１サイクルでは、入力信号線４
００にＸ1が供給され、シナプス荷重値メモリ４０１か
らは、シナプス荷重値Ｗj1が読み出され、この両者の積
が乗算器４０２によって計算される。
００にＸ1が供給され、シナプス荷重値メモリ４０１か
らは、シナプス荷重値Ｗj1が読み出され、この両者の積
が乗算器４０２によって計算される。
【００１７】つづいて第２サイクルでは、同様に、Ｘ2
とＷj2との積が計算される。各サイクル毎に求められた
積ＷjiＸiは、加算器４０３によって累和されていく。
とＷj2との積が計算される。各サイクル毎に求められた
積ＷjiＸiは、加算器４０３によって累和されていく。
【００１８】このようにして、次式（３）に示すよう
に、Ｎサイクルかけて、積和ｍの値が計算される。
に、Ｎサイクルかけて、積和ｍの値が計算される。
【００１９】
【数１】
【００２０】このｍの値は、シグモイド関数変換器４０
４の入力となる。シグモイド関数変換器４０４は、シグ
モイド関数の入出力特性をもった信号変換器である。こ
うしてシグモイド関数変換器４０４から出力信号Ｘjが
出力される。
４の入力となる。シグモイド関数変換器４０４は、シグ
モイド関数の入出力特性をもった信号変換器である。こ
うしてシグモイド関数変換器４０４から出力信号Ｘjが
出力される。
【００２１】以上説明したデジタル回路によるニューラ
ルユニットの構成、及び動作は、各種バリエーションが
考えられる。但し、ここでは、これら全てを説明するこ
とはしない。いずれのバリエーションも、基本的には積
和演算器とシグモイド関数変換器から構成されているこ
とは同じである。
ルユニットの構成、及び動作は、各種バリエーションが
考えられる。但し、ここでは、これら全てを説明するこ
とはしない。いずれのバリエーションも、基本的には積
和演算器とシグモイド関数変換器から構成されているこ
とは同じである。
【００２２】なお、このようなデジタル回路によるニュ
ーラルユニットの構成については、例えば論文（安永
他、「ア セルフラーニング デジタル ニューラル
ネットワーク ユージング ウェーファ スケール エ
ル・エス・アイ」、アイトリプルイー ジャーナル オ
ブ ソリッド・ステート・サーキッツ、1993 Feb. vo
l28, no.2, pp106-114 (M.Yasunaga et.al “A S
elf-Learning Digitalneural Network Using Wafer
-Scale LSI”, IEEE Journal of Solid-State Ci
rcuits, Feb. 1993, vol28, no.2, pp106-114)等
の記載が参照される。
ーラルユニットの構成については、例えば論文（安永
他、「ア セルフラーニング デジタル ニューラル
ネットワーク ユージング ウェーファ スケール エ
ル・エス・アイ」、アイトリプルイー ジャーナル オ
ブ ソリッド・ステート・サーキッツ、1993 Feb. vo
l28, no.2, pp106-114 (M.Yasunaga et.al “A S
elf-Learning Digitalneural Network Using Wafer
-Scale LSI”, IEEE Journal of Solid-State Ci
rcuits, Feb. 1993, vol28, no.2, pp106-114)等
の記載が参照される。
【００２３】
【発明が解決しようとする課題】上記したような従来の
デジタル型ニューラルネットワークにおいては、各ニュ
ーラルユニットあたりＮ回の乗算の繰り返し処理を実行
する必要がある。このため、ネットワークの大規模化に
伴い、ニューラルユニットの結合数が増加するにつれ
て、Ｎも増加し、処理時間が非常に長くなってしまう、
という問題点を有している。
デジタル型ニューラルネットワークにおいては、各ニュ
ーラルユニットあたりＮ回の乗算の繰り返し処理を実行
する必要がある。このため、ネットワークの大規模化に
伴い、ニューラルユニットの結合数が増加するにつれ
て、Ｎも増加し、処理時間が非常に長くなってしまう、
という問題点を有している。
【００２４】したがって、本発明は、上記事情に鑑みて
創案されたものであって、その目的は、積和の繰り返し
数を短縮することによって高速な処理を実現可能とし
た、ニューラルユニット演算方式とその装置を提供する
ことにある。
創案されたものであって、その目的は、積和の繰り返し
数を短縮することによって高速な処理を実現可能とし
た、ニューラルユニット演算方式とその装置を提供する
ことにある。
【００２５】
【課題を解決するための手段】前記目的を達成するた
め、本発明のニューラルユニット演算方式は、配列型の
データである入力信号と配列型のデータであるシナプス
荷重値との乗算を所定回数行い、その結果を累和し、そ
の累和値をシグモイド関数変換して出力するというニュ
ーラルユニット演算方式において、非零の値を初期値と
して、正値のみ、もしくは負値のみを累和していき、予
め指定された値に累和値が到達したら累和を終了するこ
とを特徴とする。
め、本発明のニューラルユニット演算方式は、配列型の
データである入力信号と配列型のデータであるシナプス
荷重値との乗算を所定回数行い、その結果を累和し、そ
の累和値をシグモイド関数変換して出力するというニュ
ーラルユニット演算方式において、非零の値を初期値と
して、正値のみ、もしくは負値のみを累和していき、予
め指定された値に累和値が到達したら累和を終了するこ
とを特徴とする。
【００２６】また本発明のニューラルユニット装置は、
ニューラルネットワークの基本構成ユニットであり、デ
ジタル乗算器とデジタル加算器とによって配列型のデー
タである入力信号と、配列型のデータであるシナプス荷
重値の席輪演算を所定回数行い、その結果をシグモイド
関数変換して出力するニューラルユニット装置におい
て、非零の値を初期値として、正値のみ、もしくは負値
のみを累和していく積和演算器と、前記積和演算器の出
力がシグモイド関数の飽和域に入っているか否かを検出
する検出回路と、を備えることを特徴とする。
ニューラルネットワークの基本構成ユニットであり、デ
ジタル乗算器とデジタル加算器とによって配列型のデー
タである入力信号と、配列型のデータであるシナプス荷
重値の席輪演算を所定回数行い、その結果をシグモイド
関数変換して出力するニューラルユニット装置におい
て、非零の値を初期値として、正値のみ、もしくは負値
のみを累和していく積和演算器と、前記積和演算器の出
力がシグモイド関数の飽和域に入っているか否かを検出
する検出回路と、を備えることを特徴とする。
【００２７】また、本発明のニューラルユニット演算装
置は、積和の繰り返し回数をＮとしデジタル乗算器の出
力可能な値のうちの最小値をＬとしたとき、−ＬＮを初
期値とし、Ｌ＋（シナプス荷重値）×（入力信号値）を
累和していき、その累和値がシグモイド関数の飽和域に
入ったか否かを検出する検出器とを備えることを特徴と
する。
置は、積和の繰り返し回数をＮとしデジタル乗算器の出
力可能な値のうちの最小値をＬとしたとき、−ＬＮを初
期値とし、Ｌ＋（シナプス荷重値）×（入力信号値）を
累和していき、その累和値がシグモイド関数の飽和域に
入ったか否かを検出する検出器とを備えることを特徴と
する。
【００２８】さらに本発明のニューラルユニット装置
は、積和の繰り返し回数をＮとし、デジタル乗算器の出
力可能な値のうちの最大値をＭとしたとき、ＭＮを初期
値とし、−Ｍ＋（シナプス荷重値）×（入力信号値）を
累和していき、その累和値がシグモイド関数の飽和域に
入ったか否かを検出する検出器とを備えることを特徴と
する。
は、積和の繰り返し回数をＮとし、デジタル乗算器の出
力可能な値のうちの最大値をＭとしたとき、ＭＮを初期
値とし、−Ｍ＋（シナプス荷重値）×（入力信号値）を
累和していき、その累和値がシグモイド関数の飽和域に
入ったか否かを検出する検出器とを備えることを特徴と
する。
【００２９】そして本発明のニューラルユニット装置
は、シナプス荷重値メモリと、前記シナプス荷重値メモ
リの出力と入力信号の積を計算する乗算器と、前記乗算
器の出力値と定数値と加算器の出力値とを入力とし、桁
上げと中間和とを出力するＣＳＡと、前記ＣＳＡの桁上
げ出力と累算の初期値とを入力とするセレクタと、前記
セレクタの出力と前記ＣＳＡの中間和とを入力とする加
算器と、前記加算器の出力を入力とするシグモイド関数
変換器と、前記加算器の出力を入力とする飽和判定器と
から構成されることを特徴とする。
は、シナプス荷重値メモリと、前記シナプス荷重値メモ
リの出力と入力信号の積を計算する乗算器と、前記乗算
器の出力値と定数値と加算器の出力値とを入力とし、桁
上げと中間和とを出力するＣＳＡと、前記ＣＳＡの桁上
げ出力と累算の初期値とを入力とするセレクタと、前記
セレクタの出力と前記ＣＳＡの中間和とを入力とする加
算器と、前記加算器の出力を入力とするシグモイド関数
変換器と、前記加算器の出力を入力とする飽和判定器と
から構成されることを特徴とする。
【００３０】
【発明の実施の形態】本発明の実施の形態及び実施例に
ついて以下に順を追って説明する。まず、本発明の原理
を以下に説明する。
ついて以下に順を追って説明する。まず、本発明の原理
を以下に説明する。
【００３１】第ｊニューラルユニット（図３参照）にお
いて計算される積ＷjiＸiは、一般にその値が次式
（４）の範囲にある。
いて計算される積ＷjiＸiは、一般にその値が次式
（４）の範囲にある。
【００３２】 −Ｌ≦ＷjiＸi≦Ｍ （Ｌ、Ｍ≧０） …(4)
【００３３】Ｌ、Ｍの値は、ＷJiとＸiを表現する際の
ビット長によって決定される。例えばＷjiとＸiが、ど
ちらも、４ビットの数値部（負数は絶対値であらわす）
と１ビットの符号部をもった２進数で表現されていると
しよう。
ビット長によって決定される。例えばＷjiとＸiが、ど
ちらも、４ビットの数値部（負数は絶対値であらわす）
と１ビットの符号部をもった２進数で表現されていると
しよう。
【００３４】すると、 −１５≦Ｗji≦１５ −１５≦Ｗi≦１５ であるから、その積については、 −２２５≦ＷjiＸi≦２２５ となる。すなわち、Ｌ＝２２５、Ｍ＝２２５である。
【００３５】このように、Ｌ、Ｍの値は、ＷとiＸiを表
現する際のビット長によって決定される。
現する際のビット長によって決定される。
【００３６】さて本発明においては、ニューラルユニッ
トが実行する積和演算において、その初期値を−ＬＮと
する。ここで、Ｎは、積和の繰り返し回数である。そし
て従来とは異なり、Ｌ＋ＷjiＸiを毎回足していく。す
なわち、次式（５）によってｍを計算する。
トが実行する積和演算において、その初期値を−ＬＮと
する。ここで、Ｎは、積和の繰り返し回数である。そし
て従来とは異なり、Ｌ＋ＷjiＸiを毎回足していく。す
なわち、次式（５）によってｍを計算する。
【００３７】
【数２】
【００３８】ここで、毎回加算される数値（Ｌ＋ＷjiＸ
i）は、必ず正または０の数（非負値）であることに注
意する。
i）は、必ず正または０の数（非負値）であることに注
意する。
【００３９】さてシグモイド関数の形状（図２）に注意
すると、これは、入力ｍの正側および負側で値が飽和し
ている。したがって、初期値を−ＬＮとして、順にＬ＋
ＷjiＸi（ｉ＝１、２、…、Ｎ）を加算していく過程に
おいて、最終項（第Ｎ項）まで至らなくても、途中の第
ｋ項までの和の値（次式（６）参照）が、例えば図２に
おける飽和領域ａに入っていたならば、以降の乗算と累
和計算は省略できる。
すると、これは、入力ｍの正側および負側で値が飽和し
ている。したがって、初期値を−ＬＮとして、順にＬ＋
ＷjiＸi（ｉ＝１、２、…、Ｎ）を加算していく過程に
おいて、最終項（第Ｎ項）まで至らなくても、途中の第
ｋ項までの和の値（次式（６）参照）が、例えば図２に
おける飽和領域ａに入っていたならば、以降の乗算と累
和計算は省略できる。
【００４０】
【数３】
【００４１】なぜなら第ｋ＋１項以降も、正または零の
値しか加算されないので、最終結果は、必ず、飽和領域
ａにあることになる。そして飽和領域では、シグモイド
関数の出力値はほとんど変わらないからである。すなわ
ち、積和演算結果が飽和領域に入ったところで計算を中
止しても、最後まで計算を繰り返したときに比べてほと
んど違わない値が得られる。
値しか加算されないので、最終結果は、必ず、飽和領域
ａにあることになる。そして飽和領域では、シグモイド
関数の出力値はほとんど変わらないからである。すなわ
ち、積和演算結果が飽和領域に入ったところで計算を中
止しても、最後まで計算を繰り返したときに比べてほと
んど違わない値が得られる。
【００４２】よって、上式（３）の計算のために積和を
繰り返し実行している途中で、たとえＮ項全ての積和を
行わなくても、繰り返しの途中で飽和領域ａに入ったな
らば計算を終了することによって、積和の繰り返し回数
を削減することができる。
繰り返し実行している途中で、たとえＮ項全ての積和を
行わなくても、繰り返しの途中で飽和領域ａに入ったな
らば計算を終了することによって、積和の繰り返し回数
を削減することができる。
【００４３】もちろん、積和の最終結果がいつも飽和域
にあるとは限らない。その場合は、Ｎ回の繰り返し計算
が必要である。しかし、ネットワーク全体で平均すれ
ば、積和計算の繰り返し数は削減されるであろうから、
結果としてＮが増大しても、従来構成に比べて、処理時
間が短いニューラルネットワーク装置が実現できる。
にあるとは限らない。その場合は、Ｎ回の繰り返し計算
が必要である。しかし、ネットワーク全体で平均すれ
ば、積和計算の繰り返し数は削減されるであろうから、
結果としてＮが増大しても、従来構成に比べて、処理時
間が短いニューラルネットワーク装置が実現できる。
【００４４】上記の原理に基づく本発明のニューラルユ
ニット演算方式は、その好ましい実施の形態において、
非零の値を初期値として、正値のみ、もしくは負値のみ
を累和していき、累和値が予め指定した値に到達したら
累和を終了する、ことを特徴とする。
ニット演算方式は、その好ましい実施の形態において、
非零の値を初期値として、正値のみ、もしくは負値のみ
を累和していき、累和値が予め指定した値に到達したら
累和を終了する、ことを特徴とする。
【００４５】また、本発明のニューラルユニット装置
は、その好ましい実施の形態において、ニューラルネッ
トワークの基本構成ユニットをなす、デジタル乗算器
（図１の１０２）とデジタル加算器（図１の１０３）
と、によって、配列型のデータである入力信号と配列型
のデータであるシナプス荷重値の乗算を所定回数行い、
その結果を累和し、その累和値をシグモイド関数変換し
て出力するニューラルユニット装置において、非零の値
を初期値として正値のみ、もしくは負値のみを、累和し
ていき、加算器の出力がシグモイド関数の飽和域に入っ
ているか否かを検出する検出回路（図１の１０９）と、
を備える。
は、その好ましい実施の形態において、ニューラルネッ
トワークの基本構成ユニットをなす、デジタル乗算器
（図１の１０２）とデジタル加算器（図１の１０３）
と、によって、配列型のデータである入力信号と配列型
のデータであるシナプス荷重値の乗算を所定回数行い、
その結果を累和し、その累和値をシグモイド関数変換し
て出力するニューラルユニット装置において、非零の値
を初期値として正値のみ、もしくは負値のみを、累和し
ていき、加算器の出力がシグモイド関数の飽和域に入っ
ているか否かを検出する検出回路（図１の１０９）と、
を備える。
【００４６】より詳細には、本発明のニューラルユニッ
ト装置は、その好ましい実施の形態において、積和の繰
り返し回数をＮとし、デジタル乗算器（図１の１０２）
の出力可能な値のうちの最小値をＬとしたとき、−ＬＮ
を初期値とし、Ｌ＋（シナプス荷重値Ｗji）×（入力信
号値Ｘi）を累和していき、検出回路（図１の１０９）
において、この累和値がシグモイド関数の飽和域に入っ
たか否かを検出する。あるいは、積和の繰り返し回数を
Ｎとし、デジタル乗算器の出力可能な値のうちの最大値
をＭとしたとき、ＭＮを初期値とし、−Ｍ＋（シナプス
荷重値Ｗji）×（入力信号値Ｘi）を累和していき、検
出回路（図１の１０９）において、その累和値がシグモ
イド関数の飽和域に入っているか否かを検出する。
ト装置は、その好ましい実施の形態において、積和の繰
り返し回数をＮとし、デジタル乗算器（図１の１０２）
の出力可能な値のうちの最小値をＬとしたとき、−ＬＮ
を初期値とし、Ｌ＋（シナプス荷重値Ｗji）×（入力信
号値Ｘi）を累和していき、検出回路（図１の１０９）
において、この累和値がシグモイド関数の飽和域に入っ
たか否かを検出する。あるいは、積和の繰り返し回数を
Ｎとし、デジタル乗算器の出力可能な値のうちの最大値
をＭとしたとき、ＭＮを初期値とし、−Ｍ＋（シナプス
荷重値Ｗji）×（入力信号値Ｘi）を累和していき、検
出回路（図１の１０９）において、その累和値がシグモ
イド関数の飽和域に入っているか否かを検出する。
【００４７】
【実施例】上記した本発明の実施の形態について更に詳
細に説明すべく、本発明の実施例について図面を参照し
て以下に説明する。
細に説明すべく、本発明の実施例について図面を参照し
て以下に説明する。
【００４８】図１は、本発明の一実施例の構成を示す図
である。本発明の一実施においては、上記従来技術で説
明したのと同様に、図１に示すニューラルユニットを第
ｊニューラルユニット（図３参照）とし、このニューラ
ルユニットに、第１〜第Ｎニューラルユニットが、それ
ぞれ信号Ｘ1〜ＸNを供給しているものとする。また第１
〜第Ｎニューラルユニットとこの第ｊニューラルユニッ
トとの間のシナプス荷重値をそれぞれＷj1、Ｗj2、
Ｗj3、…、ＷjNとする。信号Ｘ1〜ＸN、及びシナプス荷
重値Ｗj1〜ＷjNはそれぞれ、適当なビット長の２進数に
よって表現されているものとする。シナプス荷重値メモ
リ１０１にはＷj1〜ＷjNが格納されている。
である。本発明の一実施においては、上記従来技術で説
明したのと同様に、図１に示すニューラルユニットを第
ｊニューラルユニット（図３参照）とし、このニューラ
ルユニットに、第１〜第Ｎニューラルユニットが、それ
ぞれ信号Ｘ1〜ＸNを供給しているものとする。また第１
〜第Ｎニューラルユニットとこの第ｊニューラルユニッ
トとの間のシナプス荷重値をそれぞれＷj1、Ｗj2、
Ｗj3、…、ＷjNとする。信号Ｘ1〜ＸN、及びシナプス荷
重値Ｗj1〜ＷjNはそれぞれ、適当なビット長の２進数に
よって表現されているものとする。シナプス荷重値メモ
リ１０１にはＷj1〜ＷjNが格納されている。
【００４９】Ｎ個のニューラルユニットからの出力信号
Ｘ1〜ＸNは、順番に入力信号線１００に供給され、ま
た、これに同期して、シナプス荷重値メモリ１０１か
ら、Ｗj1、Ｗj2、…、ＷjNが順番に読み出される。
Ｘ1〜ＸNは、順番に入力信号線１００に供給され、ま
た、これに同期して、シナプス荷重値メモリ１０１か
ら、Ｗj1、Ｗj2、…、ＷjNが順番に読み出される。
【００５０】すなわち第１サイクルでは、入力信号線１
００にＸ1が供給され、シナプス荷重値メモリ１０１か
らはＷj1が読み出され、その両者の積が乗算器１０２に
よって計算される。
００にＸ1が供給され、シナプス荷重値メモリ１０１か
らはＷj1が読み出され、その両者の積が乗算器１０２に
よって計算される。
【００５１】つづいて第２サイクルでは同様にＸ2とＷ
j2の積が計算される。
j2の積が計算される。
【００５２】さて加算器１０３は累和を計算するもので
あるが、従来構成では累和計算の初期値は零であったの
に対し、本実施例では、初期値は−ＬＮという値とす
る。ここで、Ｌは、本発明の原理として既に説明したよ
うに、ＷjiＸiの最小値である。初期値をセットするこ
とは、セレクタ１０６によって容易に実現できる。すな
わち、累和計算の一番最初だけはセレクタ１０６が値−
ＬＮを選択して加算器１０３の入力とし、それ以降は、
順番にＷj1Ｘ1、Ｗj2Ｘ2が累算されていくようにすれば
よい。
あるが、従来構成では累和計算の初期値は零であったの
に対し、本実施例では、初期値は−ＬＮという値とす
る。ここで、Ｌは、本発明の原理として既に説明したよ
うに、ＷjiＸiの最小値である。初期値をセットするこ
とは、セレクタ１０６によって容易に実現できる。すな
わち、累和計算の一番最初だけはセレクタ１０６が値−
ＬＮを選択して加算器１０３の入力とし、それ以降は、
順番にＷj1Ｘ1、Ｗj2Ｘ2が累算されていくようにすれば
よい。
【００５３】ＣＳＡ１０５は、いわゆるキャリー・セー
ブ・アダー（Ｃａｒｒｉｅｒ Ｓａｖｅ Ａｄｅｅｒ；
桁上げ保存加算器）であって、３つの数を入力して、こ
れらを加算し２つの数、すなわち、桁上げと中間和を出
力する。図１を参照すると、ＣＳＡ１０５は、加算器１
０５の出力値、乗算器１０２の出力値（ＷjiＸi）、及
びＬを入力として、桁上げ１０７と中間和１０８とを出
力する。両者は加算器１０３によって加算される。こう
して毎サイクルごとにＬ＋ＷjiＸiが加算されていく。
以上のようにすることで、第ｋサイクルにおける加算器
１０３の出力は、本発明の原理として既に説明したよう
に（上式（６）参照）、以下の値になる。
ブ・アダー（Ｃａｒｒｉｅｒ Ｓａｖｅ Ａｄｅｅｒ；
桁上げ保存加算器）であって、３つの数を入力して、こ
れらを加算し２つの数、すなわち、桁上げと中間和を出
力する。図１を参照すると、ＣＳＡ１０５は、加算器１
０５の出力値、乗算器１０２の出力値（ＷjiＸi）、及
びＬを入力として、桁上げ１０７と中間和１０８とを出
力する。両者は加算器１０３によって加算される。こう
して毎サイクルごとにＬ＋ＷjiＸiが加算されていく。
以上のようにすることで、第ｋサイクルにおける加算器
１０３の出力は、本発明の原理として既に説明したよう
に（上式（６）参照）、以下の値になる。
【００５４】
【数４】
【００５５】加算器１０３の出力は、シグモイド関数変
換器１０４の入力となる。そして毎サイクルごとに、飽
和判定器１０９は、加算器１０３の出力値が飽和領域ａ
（図２参照）に入っているか否かをチェックする。
換器１０４の入力となる。そして毎サイクルごとに、飽
和判定器１０９は、加算器１０３の出力値が飽和領域ａ
（図２参照）に入っているか否かをチェックする。
【００５６】もしも飽和領域ａに入ったならば、飽和判
定器１０９は、計算終了信号１４０を発信する。計算終
了信号１４０が発信されると、このニューラルユニット
は、たとえ乗算回数がＮ回に達していなくても処理を終
了する。
定器１０９は、計算終了信号１４０を発信する。計算終
了信号１４０が発信されると、このニューラルユニット
は、たとえ乗算回数がＮ回に達していなくても処理を終
了する。
【００５７】このように、たとえＮ回までの計算を行わ
なくても、出力Ｘjの値は、すでに充分正確な値（すな
わちＮ回計算を行ったときの値）になっていることは、
本発明の原理として既に説明した通りである。
なくても、出力Ｘjの値は、すでに充分正確な値（すな
わちＮ回計算を行ったときの値）になっていることは、
本発明の原理として既に説明した通りである。
【００５８】なお、以上の説明はすべて、累和の初期値
として、−ＬＮを使用したが、全く同じ原理によって、
累和の初期値を、ＭＮから始めてもよい。
として、−ＬＮを使用したが、全く同じ原理によって、
累和の初期値を、ＭＮから始めてもよい。
【００５９】ここで、Ｍは、上式（４）で定義されてい
るとおり、ＷjiＸiの最大値である。そして、累和して
いく値は−Ｍ＋ＷjiＸiとすれば良い。
るとおり、ＷjiＸiの最大値である。そして、累和して
いく値は−Ｍ＋ＷjiＸiとすれば良い。
【００６０】すなわち次式（７）によって、ｍを計算す
る。
る。
【００６１】
【数５】
【００６２】この場合は、正の最大値ＭＮからはじまっ
て、毎回負または零の数のみが加算されていく。よっ
て、第ｋ項までの途中結果が、図２における飽和領域ｂ
に入ったならば、計算を終了する。こうしてもよいこと
は、第ｋ＋１項以降も負または零の値しか加算されない
ので、最終結果は、必ず、飽和領域ｂの中にあり、途中
で計算を中止しても、最後まで計算を繰り返したときに
比べてほとんど違わない値が得られるためである。
て、毎回負または零の数のみが加算されていく。よっ
て、第ｋ項までの途中結果が、図２における飽和領域ｂ
に入ったならば、計算を終了する。こうしてもよいこと
は、第ｋ＋１項以降も負または零の値しか加算されない
ので、最終結果は、必ず、飽和領域ｂの中にあり、途中
で計算を中止しても、最後まで計算を繰り返したときに
比べてほとんど違わない値が得られるためである。
【００６３】この方法は、図１に示した実施例におい
て、初期値１２０をＭＮとし、ＣＳＡの入力１３０を−
Ｍとすることで実現できる。
て、初期値１２０をＭＮとし、ＣＳＡの入力１３０を−
Ｍとすることで実現できる。
【００６４】
【発明の効果】以上説明したように、本発明によれば、
従来のニューラルユニットではＮ回必要であった積和繰
り返し回数を短縮することができるため、高速なニュー
ラルユニットが実現することができるという効果を奏す
る。
従来のニューラルユニットではＮ回必要であった積和繰
り返し回数を短縮することができるため、高速なニュー
ラルユニットが実現することができるという効果を奏す
る。
【００６５】また本発明によれば、ニューラルユニット
の数を増やして大規模なニューラルネットワークを構成
した場合に、その処理時間の増加を抑えることができ
る、という効果を奏する。
の数を増やして大規模なニューラルネットワークを構成
した場合に、その処理時間の増加を抑えることができ
る、という効果を奏する。
【図１】本発明のニューラルユニットの一実施例の構成
を示す図である。
を示す図である。
【図２】シグモイド関数の形状を示す図である。
【図３】ニューラルネットワークの基本構成を示す図で
ある。
ある。
【図４】デジタル回路によるニューラルユニットの従来
の構成の一例を示す図である。
の構成の一例を示す図である。
１００、４００ 入力信号線 １０１、４０１ シナプス荷重値メモリ １０２、４０２ 乗算器 １０３、４０３ 加算器 １０４、４０４ シグモイド関数変換器 １０５ ＣＳＡ １０６ セレクタ １０７ 桁上げ １０８ 中間和 １０９ 飽和検出器 １１０、４１０ 出力信号Ｘj １２０ 初期値（−ＬＮ） １３０ Ｌ １４０ 計算終了信号 ３０１ 第ｊニューラルユニット ３０２ 第Ａニューラルユニット ３０３ 第Ｂニューラルユニット ３０４ 第Ｃニューラルユニット ３０５ ニューラルユニット ３１０ 信号Ｘj ３１１ 信号ＸA ３１２ 信号ＸB ３１３ 信号ＸC
Claims (5)
- 【請求項１】配列型のデータである入力信号と配列型の
データであるシナプス荷重値との乗算を所定回数行い、
その結果を累和し、その累和値をシグモイド関数変換し
て出力する、ニューラルユニット演算方式において、 非零の値を初期値として、正値のみ、もしくは負値のみ
を累和していき、累和値が予め指定された値に到達した
ら累和を終了する、ことを特徴とするニューラルユニッ
ト演算方式。 - 【請求項２】ニューラルネットワークの基本構成ユニッ
トをなす、デジタル乗算器とデジタル加算器と、によっ
て、配列型のデータである入力信号と配列型のデータで
あるシナプス荷重値の乗算を所定回数行い、その結果を
累和し、その累和値をシグモイド関数変換して出力する
ニューラルユニット装置において、 非零の値を初期値として、正値のみ、もしくは負値のみ
を累和していく積和演算器と、 前記積和演算器の出力がシグモイド関数の飽和域に入っ
ているか否かを検出する検出回路と、 を備えることを特徴とするニューラルユニット装置。 - 【請求項３】請求項２記載のニューラルユニット装置に
おいて、積和の繰り返し回数をＮとし、前記デジタル乗
算器の出力可能な値のうちの最小値をＬとしたとき、 −ＬＮを初期値とし、 Ｌ＋（シナプス荷重値）×（入力信号値）を累和してい
き、 前記検出回路において、前記累和値がシグモイド関数の
飽和域に入ったか否かを検出する、ことを特徴とするニ
ューラルユニット装置。 - 【請求項４】請求項２記載のニューラルユニット装置に
おいて、 積和の繰り返し回数をＮとし、 前記デジタル乗算器の出力可能な値のうちの最大値をＭ
としたとき、ＭＮを初期値とし、 −Ｍ＋（シナプス荷重値）×（入力信号値）を累和して
いき、 前記検出回路において、前記累和値がシグモイド関数の
飽和域に入っているか否かを検出する、ことを特徴とす
るニューラルユニット装置。 - 【請求項５】シナプス荷重値を格納した記憶部と、 前記記憶部の出力であるシナプス荷重値と入力信号との
積を計算する乗算器と、 前記乗算器の出力値と定数値と加算器の出力値とを入力
とし、桁上げと中間和とを出力するＣＳＡ（キャリー・
セーブ・アダー）と、 前記ＣＳＡの桁上げ出力と累算の初期値とを入力とする
セレクタと、を備え、 前記加算器は、前記セレクタの出力と前記ＣＳＡの出力
である中間和とを入力としてこれらを加算し、 更に、 前記加算器の出力を入力とするシグモイド関数変換器
と、 前記加算器の出力を入力とし、該出力がシグモイド関数
の飽和域に入っているか否かを判定する飽和判定器と、 を備えたことを特徴とするニューラルユニット装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP35436996A JP3292073B2 (ja) | 1996-12-19 | 1996-12-19 | ニューラルユニット演算方式およびその装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP35436996A JP3292073B2 (ja) | 1996-12-19 | 1996-12-19 | ニューラルユニット演算方式およびその装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH10187648A true JPH10187648A (ja) | 1998-07-21 |
| JP3292073B2 JP3292073B2 (ja) | 2002-06-17 |
Family
ID=18437096
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP35436996A Expired - Fee Related JP3292073B2 (ja) | 1996-12-19 | 1996-12-19 | ニューラルユニット演算方式およびその装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3292073B2 (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108345935A (zh) * | 2017-01-25 | 2018-07-31 | 株式会社东芝 | 积和运算器、网络单元及网络装置 |
| WO2020194594A1 (ja) * | 2019-03-27 | 2020-10-01 | Tdk株式会社 | ニューラルネットワーク演算処理装置及びニューラルネットワーク演算処理方法 |
| JP2023026404A (ja) * | 2021-08-13 | 2023-02-24 | 台湾積體電路製造股▲ふん▼有限公司 | スキップロジックを有するビット単位の積和累積 |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11630997B2 (en) | 2018-01-23 | 2023-04-18 | Samsung Electronics Co., Ltd. | Method and apparatus with bit-serial data processing of a neural network |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH04112362A (ja) * | 1990-09-03 | 1992-04-14 | Nippon Telegr & Teleph Corp <Ntt> | 累積回路 |
| JPH05128284A (ja) * | 1991-11-07 | 1993-05-25 | Matsushita Electric Ind Co Ltd | ニユーロプロセツサ |
| JPH07210533A (ja) * | 1994-01-19 | 1995-08-11 | Nippon Telegr & Teleph Corp <Ntt> | ニューラルネットワーク回路及びこれを用いた演算方法 |
| JPH0830572A (ja) * | 1994-07-18 | 1996-02-02 | Nippon Telegr & Teleph Corp <Ntt> | ニューラルネットワーク回路及びこれを用いた演算方法 |
-
1996
- 1996-12-19 JP JP35436996A patent/JP3292073B2/ja not_active Expired - Fee Related
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH04112362A (ja) * | 1990-09-03 | 1992-04-14 | Nippon Telegr & Teleph Corp <Ntt> | 累積回路 |
| JPH05128284A (ja) * | 1991-11-07 | 1993-05-25 | Matsushita Electric Ind Co Ltd | ニユーロプロセツサ |
| JPH07210533A (ja) * | 1994-01-19 | 1995-08-11 | Nippon Telegr & Teleph Corp <Ntt> | ニューラルネットワーク回路及びこれを用いた演算方法 |
| JPH0830572A (ja) * | 1994-07-18 | 1996-02-02 | Nippon Telegr & Teleph Corp <Ntt> | ニューラルネットワーク回路及びこれを用いた演算方法 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108345935A (zh) * | 2017-01-25 | 2018-07-31 | 株式会社东芝 | 积和运算器、网络单元及网络装置 |
| WO2020194594A1 (ja) * | 2019-03-27 | 2020-10-01 | Tdk株式会社 | ニューラルネットワーク演算処理装置及びニューラルネットワーク演算処理方法 |
| US11681498B2 (en) | 2019-03-27 | 2023-06-20 | Tdk Corporation | Neural network arithmetic processing device and neural network arithmetic processing method |
| JP2023026404A (ja) * | 2021-08-13 | 2023-02-24 | 台湾積體電路製造股▲ふん▼有限公司 | スキップロジックを有するビット単位の積和累積 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3292073B2 (ja) | 2002-06-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR920007505B1 (ko) | 신경회로망을 이용한 곱셈기 | |
| EP0629969A1 (en) | Artificial neuron and method of using same | |
| JP7379821B2 (ja) | 推論処理装置および推論処理方法 | |
| KR20180083030A (ko) | 이진 파라미터를 갖는 컨볼루션 신경망 시스템 및 그것의 동작 방법 | |
| US11042360B1 (en) | Multiplier circuitry for multiplying operands of multiple data types | |
| CN110109646A (zh) | 数据处理方法、装置和乘加器及存储介质 | |
| US11663464B2 (en) | Deep neural network with low-precision dynamic fixed-point in reconfigurable hardware design | |
| Jin et al. | Sparse ternary connect: Convolutional neural networks using ternarized weights with enhanced sparsity | |
| JP3292073B2 (ja) | ニューラルユニット演算方式およびその装置 | |
| Shu et al. | High energy efficiency FPGA-based accelerator for convolutional neural networks using weight combination | |
| CN111694544A (zh) | 多位复用乘加运算装置、神经网络运算系统以及电子设备 | |
| Ando et al. | Dither nn: An accurate neural network with dithering for low bit-precision hardware | |
| US4142242A (en) | Multiplier accumulator | |
| US20200104131A1 (en) | Method for Operating a Digital Computer to Reduce the Computational Complexity Associated with Dot Products between Large Vectors | |
| CN114548387A (zh) | 神经网络处理器执行乘法运算的方法和神经网络处理器 | |
| KR102669205B1 (ko) | 뉴로모픽 연산 장치 및 그것의 동작 방법 | |
| CN110705196B (zh) | 一种基于随机计算的无误差加法器 | |
| Al-Yateem et al. | Digital Filter based Adder Module Realization High-Speed Switching Functions | |
| Li et al. | Stability analysis between the hybrid stochastic delay differential equations with jumps and the Euler-Maruyama method | |
| CN111492369A (zh) | 人工神经网络中移位权重的残差量化 | |
| US11204740B2 (en) | Neuromorphic arithmetic device and operating method thereof | |
| CN116402106B (zh) | 神经网络加速方法、神经网络加速器、芯片及电子设备 | |
| CN113988279A (zh) | 一种支持负值激励的存算阵列输出电流读出方法及系统 | |
| US20210064340A1 (en) | Arithmetic circuit | |
| RU2256226C2 (ru) | Нейронная сеть для расширения кортежа числовой системы вычетов |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20020226 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080329 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090329 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090329 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100329 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110329 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110329 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120329 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120329 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130329 Year of fee payment: 11 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130329 Year of fee payment: 11 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140329 Year of fee payment: 12 |
|
| LAPS | Cancellation because of no payment of annual fees |