JP5826892B1 - 変化点検出装置、変化点検出方法、及びコンピュータプログラム - Google Patents
変化点検出装置、変化点検出方法、及びコンピュータプログラム Download PDFInfo
- Publication number
- JP5826892B1 JP5826892B1 JP2014114303A JP2014114303A JP5826892B1 JP 5826892 B1 JP5826892 B1 JP 5826892B1 JP 2014114303 A JP2014114303 A JP 2014114303A JP 2014114303 A JP2014114303 A JP 2014114303A JP 5826892 B1 JP5826892 B1 JP 5826892B1
- Authority
- JP
- Japan
- Prior art keywords
- trend
- series
- change point
- calculated
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000008859 change Effects 0.000 title claims abstract description 238
- 238000001514 detection method Methods 0.000 title claims abstract description 86
- 238000004590 computer program Methods 0.000 title claims abstract description 7
- 238000000034 method Methods 0.000 claims abstract description 30
- 238000004364 calculation method Methods 0.000 claims abstract description 20
- 238000012545 processing Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 230000005611 electricity Effects 0.000 description 8
- 230000008569 process Effects 0.000 description 6
- 230000000052 comparative effect Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000005295 random walk Methods 0.000 description 3
- 238000011084 recovery Methods 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 238000007418 data mining Methods 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 238000012356 Product development Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 239000010432 diamond Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000012447 hatching Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000013179 statistical model Methods 0.000 description 1
- 238000012731 temporal analysis Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000000700 time series analysis Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
【課題】簡易な方法で外れ値の影響を低減させて変化点を検出することができる変化点検出装置、変化点検出方法、及びコンピュータプログラムを提供する。【解決手段】時系列的に連続する事象に対応する一連の値からなる系列を入力し、前記値を時系列に記録する記録手段と、前記系列における事象の変化点を検出する検出手段とを備える変化点検出装置において、前記検出手段は、前記記録手段に記録されている前記系列の記録期間中におけるトレンドをトレンドモデルに基づき算出するトレンド算出手段と、該トレンド算出手段が算出したトレンドの勾配を算出する勾配算出手段と、算出された勾配のマハラノビスの汎距離を算出する汎距離算出手段とを備え、前記検出手段は、算出されたマハラノビスの汎距離に基づき変化点を検出する。【選択図】図9
Description
本発明は、時系列的に変化する事象を分析して将来の事象を予測する方法に関し、特に、時系列的な事象に対応する値の系列から、外れ値の影響を低減させて事象の変化点を高精度に検出することができる変化点検出装置、変化点検出方法、及びコンピュータを変化点検出装置として機能させるコンピュータプログラムに関する。
経時的に変化する事象について、該事象に係る任意の時点までの時系列データを用いて以後の変化を予測することは様々な分野で有用である。例えば為替、株価の過去の推移の観測に基づいて一日後、一週間後、半年後の為替又は株価の予測を行なったり、製品の販売実績に基づいて次期の需要予測を求めたりすることは、人間の経験及び判断力に基づいて行なわれている。上述の為替、株価、製品需要などの予測は非常に困難であるが、それらの予測が人間の主観を除去した上で高精度に実現することが可能であるとすれば、生産、販売及び在庫管理、並びに物流、製品開発等の計画に非常に有用となる。
発明者はこれまでに、時系列的に変化する種々の事象に関する予測方法を提案してきた(特許文献1等)。既に提案した予測方法により、種々の事象の予測を実現できることを示されているが、更に予測精度を高めることが求められる。発明者が提案してきた予測方法の精度を高めるためには、過去の期間における時系列的な変化傾向(トレンド)を正確に捉えるべく、予測に用いる観測情報から適切に情報を選択することが有効である。情報を選択するための基準として、時系列的に変化する事象について変化点として定義される時点を特定することが有用である。変化点は言わば事象の潮目が変わる時点であり、観測される事象が実際に変化する時点、事象を発現させる状態が変化する時点のことである。変化点の検出は、データマイニング等の各種分野でも有用とされる。
変化点は、観測系によるノイズ、又は突発的な原因による偶然の変動(所謂外れ値)の影響を受ける。ノイズ、外れ値の除去、及び、外れ値の影響を受けない変化点の検出に関しては、統計学、機械学習、データマイニング等の種々の分野にて多くの提案がなされている。特に時系列的な変化を考慮した変化点の検出に関しては、時系列データの性質に対応する統計モデルを用いて外れ値及び変化点を統一的に検出する方法が特許文献2に開示されている。
特許文献2に開示された方法では、過去の事象の系列に依存する確率密度に基づき、忘却型の自己回帰モデル学習を行なう方法が利用されている。しかしながら、学習におけるパラメータの最適化等に課題が残される。
外れ値及び変化点の検出方法には、統計学的にマハラノビスの汎距離を利用した手法が用いられることがある。しかしながら、マハラノビスの汎距離を利用する場合、変化点を外れ値(ノイズ)と区別して検出することが困難な場合がある。
発明者は、マハラノビスの汎距離を利用しつつも、時系列的に変化する事象のトレンドを加味することによって容易に変化点の検出が可能となるとの知見を得た。
本発明は斯かる知見に基づいてなされたものであり、簡易な方法で外れ値の影響を低減させて変化点を検出することができる変化点検出装置、変化点検出方法、及びコンピュータを変化点検出装置として機能させるコンピュータプログラムを提供することを目的とする。
本発明に係る変化点検出装置は、時系列的に連続する事象に対応する一連の値からなる系列を1又は複数入力し、1又は複数の前記系列を時系列的に記録する記録手段と、前記事象の記録期間中における変化点を検出する検出手段とを備える変化点検出装置において、前記検出手段は、前記記録手段に記録されている前記系列に基づく時系列データの記録期間中におけるトレンドをトレンドモデルに基づき算出するトレンド算出手段と、該トレンド算出手段が算出したトレンドの勾配を算出する勾配算出手段と、算出された勾配のマハラノビスの汎距離を算出する汎距離算出手段とを備え、前記検出手段は、算出されたマハラノビスの汎距離に基づき変化点を検出するようにしてあることを特徴とする。
本発明に係る変化点検出装置は、前記トレンド算出手段は、前記記録手段に記録されている複数系列に対してマハラノビスの汎距離を算出して前記時系列データとする時系列データ化手段を更に備え、算出された時系列データの記録期間中におけるトレンドをトレンドモデルに基づき算出するようにしてあることを特徴とする。
本発明に係る変化点検出装置は、前記トレンド算出手段は、前記事象に対応する一連の値が、該値を発現させる状態が前記値に与える影響を表現する関数と白色雑音との和で記述される状態空間モデルに、各時点における前記一連の値がトレンドと白色雑音との和で記述されるトレンドモデル、及び前後する時点におけるトレンドは略等しいとするモデルを適用し、状態空間モデルの解法に基づきトレンドを算出することを特徴とする。
本発明に係る変化点検出装置は、前記勾配算出手段は、前後する時点の内、前の時点におけるトレンドから後の時点におけるトレンドへの変化率を算出するようにしてあることを特徴とする。
本発明に係る変化点検出装置は、前記検出手段は、前記汎距離算出手段により算出されたマハラノビスの汎距離を、前記記録期間中におけるマハラノビスの汎距離の最大値で除算した値を求める手段を更に備えることを特徴とする。
本発明に係る変化点検出方法は、時系列的に連続する事象に対応する1又は複数の一連の値からなる系列を入力し、1又は複数の系列を時系列的に記録する記録手段を備えるプロセッサが、前記事象の記録期間中における変化点を検出する変化点検出方法において、前記プロセッサは、前記記録手段に記録されている前記系列に基づく時系列データの記録期間中におけるトレンドをトレンドモデルに基づき算出し、算出されたトレンドの勾配を算出し、算出された勾配のマハラノビスの汎距離を算出し、算出されたマハラノビスの汎距離に基づき変化点を検出することを特徴とする。
本発明に係るコンピュータプログラムは、時系列的に連続する事象に対応する1又は複数の一連の値からなる系列を入力し、1又は複数の系列を時系列的に記録する記録手段を備えるコンピュータに、前記事象の記録期間中における変化点を検出させるコンピュータプログラムにおいて、前記コンピュータに、前記記録手段に記録されている前記系列に基づく時系列データの記録期間中におけるトレンドをトレンドモデルに基づき算出するステップと、算出されたトレンドの勾配を算出するステップと、算出された勾配のマハラノビスの汎距離を算出するステップと、算出されたマハラノビスの汎距離に基づき変化点を検出するステップとを実行させることを特徴とする。
本発明では、単一系列又は複数系列の時系列データにおけるトレンドが算出され、トレンドの勾配の周辺との相関強度(類似性)がマハラノビスの汎距離により算出される。変化点は、それまでの時系列データの推移の傾向と比して類似性が低いためにマハラノビスの汎距離が大きく算出されることから、算出結果により変化点が検出可能となる。
本発明では、複数系列の値のマハラノビスの汎距離が算出されて単一系列の時系列データ化され、トレンドが算出される。マハラノビスの汎距離を算出することにより、複数系列の値が影響する事象の総合的なトレンドが算出される。算出された総合的なトレンドの勾配の類似性が算出され、算出結果により複数系列の値についての変化点が検出可能となる。
本発明では、トレンド算出において、入力される系列を観測系列とする状態空間モデルに、各観測系列は各時点のトレンドと白色雑音との和で記述されるというトレンドモデル、及び前後する時点のトレンドは略等しいというモデルを適用して、状態空間モデルの解法に基づきトレンドが推定算出される。これにより、トレンドの勾配はトレンド変化に敏感に反応する値として算出することが可能となり、トレンドが変化していない場合は、変化の度合いが低く抑えられるように算出される。
本発明では、トレンドの勾配として、前後する時点におけるトレンド間において後の時点のトレンドへの変化率が算出される。時間的に後の時点のトレンドへのトレンド増の変化が正値として算出される。
本発明では、記録期間に亘り算出されたマハラノビスの汎距離が、最大値により正規化される。これにより、最大値との比較によって変化点が検出される。
本発明による場合、トレンドを考慮し、大きな変化を伴う外れ値についてはトレンドが変化したわけではないことを示す変化点スコアが算出され、これにより、外れ値の影響を低減させて簡易な方法で変化点を検出することができる。
以下、本発明の実施の形態を、図面に基づいて具体的に説明する。
(実施の形態1)
図1は、実施の形態1における検出装置1の構成を示すブロック図である。検出装置1は例えばパーソナルコンピュータ、サーバコンピュータ等のコンピュータを用いる。検出装置1は、制御部10、記録部11、一時記憶部12、入力部13及び出力部14を備える。
図1は、実施の形態1における検出装置1の構成を示すブロック図である。検出装置1は例えばパーソナルコンピュータ、サーバコンピュータ等のコンピュータを用いる。検出装置1は、制御部10、記録部11、一時記憶部12、入力部13及び出力部14を備える。
制御部10は、CPU(Central Processing Unit )を用いる。制御部10は、以下に説明する検出プログラム1Pに基づき、パーソナルコンピュータを制御し、本実施の形態における検出装置1としての機能を発揮させる。
記録部11は、ROM(Read Only Memory)、ハードディスクドライブ等の不揮発性メモリを用いる。なお、記録部11は、外付けのハードディスクドライブ、光学ディスクドライブ、通信網を介して接続される他の記録装置であってもよい。すなわち、記録部11とは、制御部10からアクセス可能な1又は複数の情報記録媒体の総称である。
記録部11には、本実施の形態の変化点検出方法を実現するための各種手順を含む検出プログラム1Pが記録されている。また、記録部11の記録領域の一部は、信号値を記録する領域として用いられる。制御部10は、記録部11に対して情報の読み書きが可能である。
一時記憶部12は、例えば、DRAM(Dynamic Random Access Memory)、SRAM(Static Random Access Memory )等の不揮発性メモリである。一時記憶部12は、制御部10の処理によって発生した情報を一時的に記憶する。
入力部13は、キーボード、マウス等を用い、ユーザの操作に基づき情報を入力する。
出力部14は、液晶モニタなどの表示部、又はプリンタ等の印刷部を用い、制御部10による情報の処理結果を出力する。
このように構成される検出装置1にて、制御部10が検出プログラム1Pに基づく処理を実行することにより、変化点を検出する。
図2は、実施の形態1の検出装置1による検出処理手順の一例を示すフローチャートである。
制御部10は、入力部13から時系列データである複数の信号値を入力する。制御部10は、入力した複数の信号値を記録部11に記録する(ステップS1)。なお、信号値は入力部13から入力されるもののみならず、通信網を介して制御部10が信号値を入力するようにしてもよいし、他の情報記録媒体から信号値を入力するようにしてもよい。
制御部10は、記録した複数の信号値(観測値)に対し、隣り合う時点のトレンド成分は略等しいというトレンドモデルに基づいて記録期間全体における信号トレンドを算出する(ステップS2)。ステップS2における信号トレンドの算出には、状態空間モデルによる1次のトレンド成分を適用する。具体的には制御部10は、トレンドtn について、式(1)にて表現されるようにトレンドが時間軸において局所的に略一定の値をとり、前のタイミングにおけるトレンドtn-1 に対してtn ≒tn-1 であるというモデル(ランダムウォークモデル、参考:トレンド成分モデル−構造の確率的変化のモデル−、北川源四郎、1993、「FORTRAN77時系列解析プログラミング」、pp.252-263)を、ステップS1で入力した信号値を観測値とする状態空間モデルに当てはめ、カルマンフィルタ及び平滑化処理等の処理を実行することによってトレンドを算出する。
制御部10は、ステップS2で算出したトレンドに対し、風上差分からのトレンド勾配を算出する(ステップS3)。ステップS3において詳細には、制御部10は、各時点について算出されたトレンドに対し、対象としている一の時点の次の時点におけるトレンドへの変化率を算出する。図3は、トレンド勾配の算出概念を示すグラフである。横軸は時間軸を示し、縦軸は算出されたトレンドを示す。ステップS3にて算出されるトレンド勾配は、図3中のGに対応する。
制御部10は、ステップS3で算出したトレンド勾配について、マハラノビスの汎距離(以下、MD:Maharanobis’s Distance と言う)を算出する(ステップS4)。これにより、トレンド勾配の類似性が求められる。なお、算出されたMDが近いほどトレンド(変化傾向)が類似し、遠いほどトレンドが非類似であることが示される。
制御部10は、ステップS4で算出したMDに基づき変化点スコアを算出する(ステップS5)。詳細には、制御部10は、入力した信号値の全期間に亘って算出したMDの最大値で、算出されたMD全てを除算する。ステップS5の処理により、期間全体に亘って算出したMDの内の最大値に対応する時点の変化点スコアが1.0となるようにして各時点での変化点スコアが算出される。これにより、非類似性が高いトレンドの勾配に係る時点が変化点として検出される。
このようにして時系列データである信号値に対して導出される変化点スコアに基づき、信号値の変化点を検出することができる。検出装置1により導出される変化点スコアは、トレンドが考慮されているから、トレンドに従って真に状態が変化したことに応じて推定導出されるものである。このとき上述したように、実施の形態1における検出装置1では、算出した値が基準とする所定の値以上であるか否か等の判定条件は不要である。
次に、検出装置1による変化点検出方法を適用した具体的な実施例について説明する。
(実施例1)
実施例としてまず、人工的に発生させた時系列データDt に本発明を適用し、外れ値の影響を低減させることができることを示す。
実施例としてまず、人工的に発生させた時系列データDt に本発明を適用し、外れ値の影響を低減させることができることを示す。
図4は、実施例1の時系列データDt を示すグラフである。図4の横軸は時間軸に相当するデータの番号を示し、縦軸は信号値を示している。図4に示す時系列データDt は大きく10段階に変化し、各段階で細かく変動する信号値を人工的に発生させたものである。図4中のA〜Iの9つの時点が変化点に対応する。また、実施例1の時系列データDt には、外れ値として扱われるべき局所的に変動する値が含まれている。図4中の符号a,b,cにより外れ値を示している。
検出装置1の制御部10によって、図4に示した時系列データDt における変化点A〜Iを変化点として検出し、その際に外れ値a,b,cの影響を低減させることができることを以下に示す。
検出装置1の制御部10は、時系列データDt を入力し(S1)、入力した時系列データDt に対して信号トレンドを算出する(S2)。
図5は、実施例1の時系列データDt に対して算出された信号トレンドを示すグラフであり、図6は、図5の一部を拡大して示している。図5及び図6の横軸は時間軸に相当するデータの番号を示し、縦軸はトレンド値(信号値)を示している。図5及び図6中では、太線にて信号トレンドが示され、細線にて演算前の時系列データDt の信号値が示されている。信号トレンドの算出により、図5に示すように、変化点A〜Iにおけるトレンドの変化の幅は、元の信号値の変化の幅と同程度であるものの、外れ値a,b,cに対応するトレンドの変化は、元の信号値の変化の幅の1/3程度に低減されている。
次に検出装置1の制御部10は、算出した信号トレンドの勾配を算出する(S3)。
図7は、実施例1の時系列データDt に対して算出された信号トレンドの勾配を示すグラフである。なお図7には比較のために図5のトレンド値(信号値)を併せて示している。図7の横軸は、時間軸に相当するデータの番号を示している。図7の縦軸は、左側にトレンド値(信号値)を示し、右側に算出されたトレンド勾配に対応する値を示している。図7では、変化点において値が増加する場合は勾配が正、値が減少する場合は勾配が負で示されていることがわかる。
検出装置1の制御部10は、算出した勾配についてMDを算出する(S4)。
図8は、実施例1の時系列データDt の信号トレンドの勾配についてのMDを示すグラフである。図8の横軸は時間軸に相当するデータの番号を示し、縦軸(左側)はMDを示す。なお図8には比較のために図7の信号トレンドの勾配を下部に示し、縦軸(右側)にトレンド勾配に対応する値を示している。図8に示すように、外れ値a,b,cに対応するMDは、変化点A〜Iに対応するMDと比較して値が低く算出され、特に外れ値aに関しては、他の変化点A〜Iと比較して無視できる程度までに値が小さくなっている。
検出装置1の制御部10は、算出したMDを最大値によって除算することによって変化点スコアを算出する(S5)。
図9は、実施例1の時系列データDt に対して導出された変化点スコアを示すグラフである。図9の横軸は時間軸に相当するデータの番号を示し、縦軸(右側)に変化点スコアを示す。最大値によって除算されているから、変化点スコアは最大値1.0である。なお図9には比較のために図4の時系列データDt の信号値を示し、縦軸(左側)に信号値に対応する値を示している。図9に示すように、変化点A〜I、及び外れ値a,b,c夫々に対応する変化点スコアが導出されていることが確認される。
このようにして、実施の形態1における検出装置1により、時系列データである信号値に対し、外れ値の影響を低減させて変化点を検出することが可能である。
比較として、時系列データDt に対して信号トレンドを算出することなしに、MDを算出した場合の算出結果を挙げる。
図10は、実施例1の時系列データDt に対して直接的にMDを算出した場合のグラフである。図10の横軸は時間軸に相当するデータの番号を示し、縦軸(右側)はMDを示す。図10には比較のために、図4の時系列データDt の信号値を上部に示し、縦軸(左側)に信号値に対応する値を示している。図10に示すように、全体として値は小さくなるが変化点A〜Iと外れ値を同様にして検出することは困難である。
次に他の比較例として、MDを算出する前に信号値の変化差分(風上差分、次の信号値への変化分)を算出した場合の算出結果を挙げる。
図11は、実施例1の時系列データDt の変化差分を示すグラフである。図11の横軸は時間軸に相当するデータの番号を示し、縦軸(右側)は変化差分を示す。図11には比較のために図4の時系列データDt の信号値を上部に示している。図12は、図11の変化差分に対して算出されたMDを示すグラフである。図12の横軸は時間軸に相当するデータの番号を示し、縦軸(右側)はMDを示す。図12においても比較のために図4の時系列データDt の信号値を上部に示し、縦軸(左側)に信号値に対応する値を示している。図13は、図12のMDを最大値で正規化して算出した変化点スコアを示すグラフである。図13の横軸は時間軸に相当するデータの番号を示し、縦軸(右側)は変化点スコアを示す。図13においても比較のために図4の時系列データDt の信号値を上部に示し、縦軸(左側)に信号値に対応する値を示している。図8のグラフと比較した場合に、特に外れ値cについて他の変化点H,I等と区別することが困難であることがわかる。
変化点と外れ値とを区別できるか否かについて、実施の形態1の検出装置1により導出された変化点スコアと、比較例にて算出された変化点スコアとを比較して説明する。図14は、実施の形態1の検出装置1により導出された変化点スコアと、対応する信号値の変化量との関係を示す散布図である。これに対し図15は、比較例にて算出された変化点スコアと、対応する信号値の変化量との関係を示す散布図である。図14及び図15では、横軸に信号値の変化量を示し、縦軸に変化点スコアを示している。図14及び図15では、変化点A〜Iを黒丸にて示し、外れ値a,b,cを白抜きの菱形にて示している。変化量は、各時点における前又は後の値からの振れ幅である。例えば図4を参照した場合、変化点Aの変化量は2.5、変化点Bの変化量は3より少し大きい程度、変化点Cの変化量は略ゼロ、変化点Dの変化量は7より少し小さい程度、変化点Eの変化量は10より大きく、変化点Fの変化量は10より少し小さい。変化点Gの変化量は7.5程度、変化点Hの変化量も7前後、変化量Iの変化量も7.5程度である。また、外れ値aの変化量は2.5程度、外れ値bの変化量は6程度、外れ値cの変化量は10より少し小さく見える。定量的には変化量は、各段階における信号値の平均値に対する差分の絶対値として求めた。
図14に示す散布図では、変化点A〜I及び外れ値a,b,cの変化点スコアを変化量に対してプロットした場合、図14に示すように、変化点A〜Iの変化点スコアに対する実線の近似曲線と、外れ値a〜cの変化点スコアに対する破線の近似曲線とは、有意に分離されている。これに対し、図15に示す散布図では、変化点A〜Iの変化点スコアに対する実線の近似曲線と、外れ値a〜cの変化点スコアに対する破線の近似曲線とが重なっており、変化点A〜Iと外れ値a〜cとを区別することが困難であることが示されている。つまり、図15に示すように、トレンドを考慮することなしにMDにより変化点の検出を行なう場合(図11〜図13に示した方法)では、変化量が大きい外れ値については特に変化点スコアも大きく算出されてしまう。一方で本実施の形態1の検出装置1による場合、図14に示すように、トレンドを考慮して変化点の検出を行なうときには、変化量の大きさに惑わされない変化点の検出が可能であると言える。これは、実施の形態1の検出装置1により、大きな変化量を持つ外れ値cに対してトレンドが変化したわけではないことを示す変化点スコアが導出されているということを示している。
ランダムウォークモデルというものは本来、ある時点の状態から他の状態への変化傾向は、任意の時点で不定であって次の時点での状態確率は現在の状態に対して正規分布するものであり、時系列データは状態確率の連鎖であるから、任意の時点で次の状態を予測することは不可能であることを記述していると言える。これに対し、本願発明者は、時系列的なデータに関しては、時間的に隣り合う信号値間の関係というのは、局所的にはほぼ等しいながらも時系列的には、ある程度の変化傾向を持ちながら変化していくものであることを表現することにも適しているとして、時系列データにおける外れ値(ノイズ)を除いた変化点を検出する方法に適用可能であるとの知見を得た。発明者はこのような知見に基づき上述したような方法を発明したものである。本発明による場合、本当にトレンドが変化したことに応じて観測された信号値に対応する変化点が推定検出される。
(実施例2)
次に実際の経済データに対して実施の形態1の検出装置1による変化点検出を実行した場合の例を示す。第1に、内閣府発表の景気動向指数の内のCI(Composite index )一致指数に対して変化点スコアを導出した。図16は、実施の形態1の検出装置1により導出されるCI一致指数の変化点スコアを示すグラフである。図16では、変化点スコアにCI一致指数を併せて示している。図16は、横軸に時間軸を示し、縦軸(左側)にCI一致指数を示し、縦軸(右側)に変化点スコアの大きさを示している。用いられたCI一致指数は、1985年1月から2013年5月までの期間における各月の値である。図16に示すように、2008年後半の景気後退に対応する変化点と2009年後半の景気回復に対応する変化点とが検出されていることがわかる。なお、導出された変化点スコアは、1985年1月から2013年12月までの期間中におけるトレンド勾配のMDの最大値で正規化された値であるから、記録期間中における変化点の変化点スコアは、2008年後半の最大の変化点との比較で算出される。
次に実際の経済データに対して実施の形態1の検出装置1による変化点検出を実行した場合の例を示す。第1に、内閣府発表の景気動向指数の内のCI(Composite index )一致指数に対して変化点スコアを導出した。図16は、実施の形態1の検出装置1により導出されるCI一致指数の変化点スコアを示すグラフである。図16では、変化点スコアにCI一致指数を併せて示している。図16は、横軸に時間軸を示し、縦軸(左側)にCI一致指数を示し、縦軸(右側)に変化点スコアの大きさを示している。用いられたCI一致指数は、1985年1月から2013年5月までの期間における各月の値である。図16に示すように、2008年後半の景気後退に対応する変化点と2009年後半の景気回復に対応する変化点とが検出されていることがわかる。なお、導出された変化点スコアは、1985年1月から2013年12月までの期間中におけるトレンド勾配のMDの最大値で正規化された値であるから、記録期間中における変化点の変化点スコアは、2008年後半の最大の変化点との比較で算出される。
第2に、検出装置1により、内閣府発表の景気動向指数の内の大口電気使用量に対して変化点スコアを導出した。図17は、実施の形態1の検出装置1により導出される大口電気使用量の変化点スコアを示すグラフである。図17においても図16同様に、変化点スコアに大口電気使用量を併せて示している。図17は、横軸に時間軸を示し、縦軸(左側)に大口電気使用量(kW単位)を示し、縦軸(右側)に変化点スコアの大きさを示している。用いられた大口電気使用量は、2003年1月から2013年5月までの期間における各月の値である。図17に示すように、大口電気使用量の変化点スコアの導出により、2008年後半の景気後退に対応する変化点と2009年後半の景気回復に対応する変化点とが検出されていることがわかる。
第3に、検出装置1により、日経平均株価に対して変化点スコアを導出した。図18は、実施の形態1の検出装置1により導出される日経平均株価の変化点スコアを示すグラフである。図18においても図16同様に、変化点スコアに日経平均株価を併せて示している。図18は、横軸に時間軸を示し、縦軸(左側)に日経平均株価を示し、縦軸(右側)に変化点スコアの大きさを示している。用いられた日経平均株価は、2003年1月から2013年5月までの期間における各月の平均値である。図18に示すように、日経平均株価の変化点スコアの導出により、2008年後半の景気後退に対応する変化点と2009年後半の景気回復に対応する変化点と、更には2013年初頭の株価上昇に対応する変化点とが検出されていることがわかる。
第4に、検出装置1により、消費者物価指数に対して変化点スコアを導出した。図19は、実施の形態1の検出装置1により導出される消費者物価指数の変化点スコアを示すグラフである。図19においても図16同様に、変化点スコアに消費者物価指数を併せて示している。図19は、横軸に時間軸を示し、縦軸(左側)に消費者物価指数を示し、縦軸(右側)に変化点スコアの大きさを示している。用いられた消費者物価指数は、2000年1月から2014年1月までの期間における各月の平均値である。図19に示すように、消費者物価指数の変化点スコアの導出により、2008年前半及び後半の景気後退に対応する変化点が検出されていることがわかる。
このようにして、時系列的に隣り合う時点におけるトレンドは局所的には略等しいというモデルに基づいてトレンドを算出し、トレンドの勾配、勾配の類似性をMDにより算出することによって、トレンドが変化したと判断される変化点の検出が可能となる。
(実施の形態2)
実施の形態1では、検出装置1は一系列の時系列データDt に対して変化点スコアを導出する構成とした。これに対し実施の形態2では、検出装置1は複数系列の時系列データに対して総合的な変化点スコアを導出する。実施の形態2における検出装置1の構成は、以下に示す処理手順以外は実施の形態1における構成と同一であるから、共通する構成には同一の符号を付して詳細な説明を省略する。
実施の形態1では、検出装置1は一系列の時系列データDt に対して変化点スコアを導出する構成とした。これに対し実施の形態2では、検出装置1は複数系列の時系列データに対して総合的な変化点スコアを導出する。実施の形態2における検出装置1の構成は、以下に示す処理手順以外は実施の形態1における構成と同一であるから、共通する構成には同一の符号を付して詳細な説明を省略する。
図20は、実施の形態2の検出装置1による検出処理手順の一例を示すフローチャートである。なお図20のフローチャートに示す処理手順の内、実施の形態1の図2のフローチャートに示す処理手順と共通するステップについては同一のステップ番号を付して詳細な説明を省略する。
検出装置1の制御部10は、入力部13から同一期間における時系列データである複数系列の信号値を各入力し、入力した複数系列の信号値を系列ごとに記録部11に記録する(ステップS21)。なお、信号値は入力部13から入力されるもののみならず、通信網を介して制御部10が信号値を入力するようにしてもよいし、他の情報記録媒体から信号値を入力するようにしてもよい。
制御部10は、記録した複数系列の信号値についてのMDを算出する(ステップS22)。具体的に制御部10は、複数系列を夫々次元とする多変量ベクトルとし、対応する時点における各系列の信号値をベクトルの各成分として演算を行なう。
次に制御部10は、算出される時系列のMDに対し、隣り合う時点のMDのトレンド成分は略等しいというトレンドモデルに基づいて記録期間全体におけるMDのトレンドを算出する(ステップS23)。
ステップS23におけるMDトレンドの算出は、実施の形態1の信号トレンドのモデルにおける信号トレンドに代替して行なう。つまり、ステップS23におけるMDトレンドの算出には、状態空間モデルによる1次のトレンド成分を適用する。具体的には制御部10は、MDトレンドMDTn について、式(2)にて表現されるようにトレンドが時間軸において局所的に略一定の値をとり、前のタイミングにおけるトレンドMDTn-1 に対してMDTn ≒MDTn-1 であるというモデル(ランダムウォークモデルを、ステップS22で算出された時系列のMDを観測値とする状態空間モデルに当てはめ、カルマンフィルタ及び平滑化処理等の処理を実行することによってトレンドを算出する。
制御部10は、ステップS23にて算出されたMDトレンドに対してMDトレンドの勾配を算出する(ステップS24)。ステップS24における勾配の算出は、実施の形態1の図2のフローチャートに示したステップS3の処理同様に、各時点について、次の時点におけるトレンドへの変化率を算出することである。
以後制御部10は、算出した勾配のMDを算出し(S4)、算出したMDに基づき変化点スコアを算出する(S5)。
このようにして実施の形態2の検出装置1は、複数系列の信号値について各系列で変化点を各検出するのではなく、複数の項目から総合的に判断される変化点を検出するために、複数系列の信号値から変化点スコアを導出する。
以下、実施の形態2の検出装置1による変化点検出方法を適用した具体的な実施例について説明する。
(実施例3)
図21は、複数系列の信号値の例を示す説明図である。図21には、消費者物価指数を構成する68項目が示されている。実施例3では、68項目の月次データ(68系列の時系列データ)を複数系列の信号値とし、複数系列の信号値の総合的な変化点スコアを検出装置1により導出する。
図21は、複数系列の信号値の例を示す説明図である。図21には、消費者物価指数を構成する68項目が示されている。実施例3では、68項目の月次データ(68系列の時系列データ)を複数系列の信号値とし、複数系列の信号値の総合的な変化点スコアを検出装置1により導出する。
検出装置1の制御部10は、複数系列の信号値を入力し(S21)、入力した複数系列の信号値のMDを算出し(S22)、MDのトレンドを算出する(S23)。
図22は、実施例3の複数系列の信号値に対して算出されたMD及びMDのトレンドを示すグラフである。図22の横軸は時間軸を示し、縦軸(左側)にMDに対応する数値を示している。このように、68系列の信号値(時系列データ)から定義される各時点における“場”の観測値が単一系列の信号値として求められる。MDトレンドの算出により、複数系列の信号値のMDから、各系列の信号値を発現させる“場”のトレンドが得られる。
単一系列の信号値として求められた後は、実施の形態1における演算過程と同様である。検出装置1の制御部10は、算出されたMDトレンドに対して勾配を算出する(S24)。
図23は、実施例3の複数系列の信号値に対して算出されたMDトレンドの勾配を示すグラフである。図23の横軸は時間軸を示し、縦軸(右側)にMDトレンドの勾配に対応する数値を示している。なお図23には、比較のために図22のMD及びMDトレンドを上部に示し、縦軸(左側)にMDに対応する数値を示している。MDトレンドの勾配の算出により、複数系列の信号値を発現させる“場”のトレンドの局所的な変化が得られる。
次に検出装置1の制御部10は、算出されたMDトレンドの勾配のMDを算出する(S4)。
図24は、実施例3の複数系列の信号値から得られたMDトレンドの勾配のMDを示すグラフである。図24の横軸は時間軸を示し、縦軸(左側)にMDトレンドの勾配のMDに対応する数値を示している。なお図24には、比較のために図23のMDトレンドの勾配を下部に示し、縦軸(右側)にMDトレンドの勾配に対応する値を示している。MDトレンドの勾配のMDを算出することにより、“場”のトレンドの局所的な変化の類似性を示す指標(値が大きいほど遠く、非類似を示す)が得られる。
検出装置1の制御部10は、算出されたMDトレンドの勾配のMDを、最大値によって除算することによって変化点スコアを算出する(S5)。
図25は、実施例3の複数系列の信号値に対して導出された変化点スコアを示すグラフである。図25の横軸は時間軸を示し、縦軸(右側)に変化点スコアを示している。変化点スコアは最大値で除算されて算出されているから、変化点スコアの最大値は1.0である。図25には比較のために図24のMDトレンドの勾配のMDを上部に示し、縦軸(左側)にMDトレンドの勾配のMDに対応する値を示している。なお図25に示す変化点スコアは、算出された変化点スコアの内、上位30点のみ表示している。このように変化点スコアの最大値と比較して変化点を検出することが可能となる。図25に示すように、2007年5月から2008年3月までの期間において、2000年1月以降最大の変化点の群が検出されている。
図26は、実施例3にて導出された変化点スコアをMDトレンドと比較して示すグラフである。図26は、複数系列の信号値に対して算出されたMD及びMDのトレンド(図22)を上部に示し、変化点スコア(図25)を下部に示して比較したものである。図26の横軸は時間軸を示し、縦軸(右側)に変化点スコアを示し、縦軸(左側)にMDに対応する値を示している。図26に示すように、2000年1月以降最大の変化点の群が検出された後は、MDのトレンドが1.0以上を示しており、明らかに“場”が変化していることを読み取ることが可能である。
図27は、実施例3にて導出された変化点スコアと、複数系列の信号値に係る指標値とを比較するグラフである。図27には、図21に示した複数項目の月次データを基に導出された変化点スコア(図22)を下部に示し、図21の複数項目に基づく総合指標値である消費者物価指数を上部に示している。また、図27には、実施の形態2の検出装置1によって導出された変化点スコア(ハッチングで示す棒グラフ)に加え、消費者物価指数を単一系列の時系列データDt として実施の形態1の検出装置1により導出した変化点スコア(白抜きの棒グラフ)を共に示している。図27の横軸は時間軸を示し、縦軸(左側)は消費者物価指数に対応する数値を示し、縦軸(右側)は変化点スコアに対応する値を示している。
図27に示すように、2008年前半及び後半の景気後退に対応する消費者物価指数の変化点の前に、2007年5月から、消費者物価指数の構成項目である68系列の信号値の変化点群が検出されている。これにより、2007年の68系列の項目の変化が、翌年の消費者物価指数の変化点に繋がっているという構造の変化が観測される。これにより、消費者物価指数の変化と、該指数に関連するデータの変化との関係性、時間特性等の把握が可能となり、例えば消費者物価指数の変化の予測に、複数項目の月次データにおける変化点を用いるなどの各種産業的な利用が可能となる。
このようにして、着目する対象に係る単一系列の時系列データに対する変化点スコアのみならず、前記着目対象に影響する複数系列の時系列データから導出される変化点スコアを加味することにより、着目対象自体のトレンド及びトレンドに影響する“場”を考慮した変化点を、外れ値の影響を低減させて検出することができる。着目対象に関するシステム全体の特性変化の検知、時間特性の定量化などが可能となる。
なお、上述のように開示された本実施の形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
1 検出装置
10 制御部
11 記録部
13 入力部
1P 検出プログラム
10 制御部
11 記録部
13 入力部
1P 検出プログラム
Claims (7)
- 時系列的に連続する事象に対応する一連の値からなる系列を1又は複数入力し、1又は複数の前記系列を時系列的に記録する記録手段と、前記事象の記録期間中における変化点を検出する検出手段とを備える変化点検出装置において、
前記検出手段は、
前記記録手段に記録されている前記系列に基づく時系列データの記録期間中におけるトレンドをトレンドモデルに基づき算出するトレンド算出手段と、
該トレンド算出手段が算出したトレンドの勾配を算出する勾配算出手段と、
算出された勾配のマハラノビスの汎距離を算出する汎距離算出手段と
を備え、
前記検出手段は、算出されたマハラノビスの汎距離に基づき変化点を検出するようにしてある
ことを特徴とする変化点検出装置。 - 前記トレンド算出手段は、
前記記録手段に記録されている複数系列に対してマハラノビスの汎距離を算出して前記時系列データとする時系列データ化手段を更に備え、
算出された時系列データの記録期間中におけるトレンドをトレンドモデルに基づき算出するようにしてある
ことを特徴とする請求項1に記載の変化点検出装置。 - 前記トレンド算出手段は、
前記事象に対応する一連の値が、該値を発現させる状態が前記値に与える影響を表現する関数と白色雑音との和で記述される状態空間モデルに、各時点における前記一連の値がトレンドと白色雑音との和で記述されるトレンドモデル、及び前後する時点におけるトレンドは略等しいとするモデルを適用し、状態空間モデルの解法に基づきトレンドを算出する
ことを特徴とする請求項1又は2に記載の変化点検出装置。 - 前記勾配算出手段は、
前後する時点の内、前の時点におけるトレンドから後の時点におけるトレンドへの変化率を算出するようにしてある
ことを特徴とする請求項1乃至3のいずれか1つに記載の変化点検出装置。 - 前記検出手段は、
前記汎距離算出手段により算出されたマハラノビスの汎距離を、前記記録期間中におけるマハラノビスの汎距離の最大値で除算した値を求める手段
を更に備えることを特徴とする請求項1乃至4のいずれかに記載の変化点検出装置。 - 時系列的に連続する事象に対応する1又は複数の一連の値からなる系列を入力し、1又は複数の系列を時系列的に記録する記録手段を備えるプロセッサが、前記事象の記録期間中における変化点を検出する変化点検出方法において、
前記プロセッサは、
前記記録手段に記録されている前記系列に基づく時系列データの記録期間中におけるトレンドをトレンドモデルに基づき算出し、
算出されたトレンドの勾配を算出し、
算出された勾配のマハラノビスの汎距離を算出し、
算出されたマハラノビスの汎距離に基づき変化点を検出する
ことを特徴とする変化点検出方法。 - 時系列的に連続する事象に対応する1又は複数の一連の値からなる系列を入力し、1又は複数の系列を時系列的に記録する記録手段を備えるコンピュータに、前記事象の記録期間中における変化点を検出させるコンピュータプログラムにおいて、
前記コンピュータに、
前記記録手段に記録されている前記系列に基づく時系列データの記録期間中におけるトレンドをトレンドモデルに基づき算出するステップと、
算出されたトレンドの勾配を算出するステップと、
算出された勾配のマハラノビスの汎距離を算出するステップと、
算出されたマハラノビスの汎距離に基づき変化点を検出するステップと
を実行させることを特徴とするコンピュータプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014114303A JP5826892B1 (ja) | 2014-06-02 | 2014-06-02 | 変化点検出装置、変化点検出方法、及びコンピュータプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014114303A JP5826892B1 (ja) | 2014-06-02 | 2014-06-02 | 変化点検出装置、変化点検出方法、及びコンピュータプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP5826892B1 true JP5826892B1 (ja) | 2015-12-02 |
JP2015228182A JP2015228182A (ja) | 2015-12-17 |
Family
ID=54776771
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014114303A Expired - Fee Related JP5826892B1 (ja) | 2014-06-02 | 2014-06-02 | 変化点検出装置、変化点検出方法、及びコンピュータプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5826892B1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170195231A1 (en) * | 2014-04-23 | 2017-07-06 | Bequant S.L. | Method and Apparatus for Network Congestion Control Based on Transmission Rate Gradients |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018132918A (ja) * | 2017-02-15 | 2018-08-23 | 日本電信電話株式会社 | データ分析装置及びデータ分析方法 |
JP6848546B2 (ja) * | 2017-03-09 | 2021-03-24 | 沖電気工業株式会社 | 変化点検出装置および変化点検出方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004054370A (ja) * | 2002-07-17 | 2004-02-19 | Nec Corp | 時系列データに対する自己回帰モデル学習装置並びにそれを用いた外れ値および変化点の検出装置 |
WO2008087968A1 (ja) * | 2007-01-17 | 2008-07-24 | Nec Corporation | 変化点検出方法および装置 |
JP2013156969A (ja) * | 2012-02-01 | 2013-08-15 | Fuji Xerox Co Ltd | 障害予測システム、障害予測装置及びプログラム |
-
2014
- 2014-06-02 JP JP2014114303A patent/JP5826892B1/ja not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004054370A (ja) * | 2002-07-17 | 2004-02-19 | Nec Corp | 時系列データに対する自己回帰モデル学習装置並びにそれを用いた外れ値および変化点の検出装置 |
WO2008087968A1 (ja) * | 2007-01-17 | 2008-07-24 | Nec Corporation | 変化点検出方法および装置 |
JP2013156969A (ja) * | 2012-02-01 | 2013-08-15 | Fuji Xerox Co Ltd | 障害予測システム、障害予測装置及びプログラム |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170195231A1 (en) * | 2014-04-23 | 2017-07-06 | Bequant S.L. | Method and Apparatus for Network Congestion Control Based on Transmission Rate Gradients |
US10263894B2 (en) * | 2014-04-23 | 2019-04-16 | Bequant S.L. | Method and apparatus for network congestion control based on transmission rate gradients |
US10516616B2 (en) | 2014-04-23 | 2019-12-24 | Bequant S.L. | Method and apparatus for network congestion control based on transmission rate gradients |
US11329920B2 (en) | 2014-04-23 | 2022-05-10 | Bequant S.L. | Method and apparatus for network congestion control based on transmission rate gradients |
US11876714B2 (en) | 2014-04-23 | 2024-01-16 | Bequant S.L. | Method and apparatus for network congestion control based on transmission rate gradients |
Also Published As
Publication number | Publication date |
---|---|
JP2015228182A (ja) | 2015-12-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10185893B2 (en) | Method and apparatus for generating time series data sets for predictive analysis | |
Wauters et al. | A nearest neighbour extension to project duration forecasting with artificial intelligence | |
Shao et al. | A new electricity price prediction strategy using mutual information-based SVM-RFE classification | |
Zhao et al. | Price trend prediction of stock market using outlier data mining algorithm | |
US11928616B2 (en) | Method and system for hierarchical forecasting | |
AU2019371339A1 (en) | Finite rank deep kernel learning for robust time series forecasting and regression | |
CN106485348A (zh) | 一种交易数据的预测方法及装置 | |
JP7139932B2 (ja) | 需要予測方法、需要予測プログラムおよび需要予測装置 | |
JP5826892B1 (ja) | 変化点検出装置、変化点検出方法、及びコンピュータプログラム | |
CA3119351C (en) | Extending finite rank deep kernel learning to forecasting over long time horizons | |
US20200050982A1 (en) | Method and System for Predictive Modeling for Dynamically Scheduling Resource Allocation | |
Ahmed et al. | Enhancing stock portfolios for enterprise management and investment in energy industry | |
US11042837B2 (en) | System and method for predicting average inventory with new items | |
JP2018181052A (ja) | モデル同定装置、予測装置、監視システム、モデル同定方法および予測方法 | |
KR20140146437A (ko) | 특허정보를 이용한 기업성과 예측 장치 및 방법 | |
JP5826893B1 (ja) | 変化点予測装置、変化点予測方法、及びコンピュータプログラム | |
JP2016532949A (ja) | 従来の予測子の将来的変化を予測するためにある期間にわたって精選され、分析されたデータシグナルから重大変化属性を導出するためのシステム及び方法 | |
CN116703455A (zh) | 基于时间序列的混合模型的医药数据销售预测方法及系统 | |
Li et al. | Financial time series prediction based on GGM-GAN | |
Hinz et al. | Framework for customized, machine learning driven condition monitoring system for manufacturing | |
JP5826348B1 (ja) | 予測装置、予測方法及びコンピュータプログラム | |
JP5826891B1 (ja) | 予測装置、予測方法、及びコンピュータプログラム | |
Widodo et al. | Enriching time series datasets using nonparametric kernel regression to improve forecasting accuracy | |
JP7154468B2 (ja) | 情報処理装置、情報処理方法及び情報処理プログラム | |
Alj et al. | Dimensionality reduction for predicting students dropout in MOOC |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150929 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20151014 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5826892 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |