JP5883770B2 - ネットワーク異常検知システム、および、分析装置 - Google Patents

Description

本明細書で開示される主題は、コンピュータネットワークを利用する情報処理システムで行われる通信中に発生する異常を検出する方法に関する。

近年、データセンタと呼ばれる施設において、多数のサーバ群が常時稼働して、利用者に様々なサービスを絶え間なく提供する形態が一般的になっている。それらサーバ群同士や、インターネットを介して利用者（ユーザ）のパーソナルコンピュータや高機能携帯電話などの通信機器とサーバ群との間で通信を行うために、データセンタの中には多数のネットワーク装置が敷設されている。これらのネットワーク装置のいずれかでハードウェア故障やソフトウェア不具合等による通信障害が発生すると、多数の利用者に対してサービスを提供できなくなり、場合によってはデータセンタ運営者が多額の損害を被る虞がある。そのため、データセンタのネットワーク管理者は、多数のネットワーク装置を常時監視するためのネットワーク監視システムを設置し、障害の発生をなるべく早く検知して対策する事で、障害影響を最小限にする必要がある。

特許文献１には、ネットワーク監視システムが、障害の予兆を検知すると、当該予兆に関連する情報が予め登録された監視ルールＤＢを参照し、得られた情報に基づいて監視情報を収集する技術について記載されている（要約）。これにより、同時に監視している情報を削減できるため、監視間隔を短縮することができる。

また、特許文献２には、異常時の相関関係のモデルの崩れの分布を予め運用管理装置に登録しておいた上で、運用管理装置が、システム運用時に、相関関係のモデルの崩れの分布が、異常時の崩れの分布に近似していく傾向があると判断すると、障害の予兆とみなす技術について記載されている（段落００１３）。これにより、崩れた障害モデルの数が少ない場合であっても、異常を検知することができる。

特開２００５−２８５０４０号公報 特開２０１０−１８６３１０号公報

特許文献１では、ネットワーク監視システムが、パケット棄却率の多いルータを対象に、ルータの経路情報を取得する例が挙げられている（段落００６１、００６７）。しかし、通信処理を行うネットワーク装置であるルータが監視対象となっているため、ルータへの監視処理自体がルータへの処理負荷増大につながるという問題がある。

例えば、１０Ｇｂｐｓ超のネットワークにおいては、ネットワーク機器での通信監視処理自体が、当該ネットワーク機器のプロセッサへの負荷増につながり、ネットワークシステムの信頼性や可用性の低下につながる場合がある。また、監視対象のネットワーク装置が故障した場合、そのネットワーク装置が計測または保持するデータそのものが誤っている可能性がある。

すなわち、特許文献１は、通信監視処理を行うことによるネットワーク機器への負荷増大や、ネットワーク機器の故障による監視データ自体の誤り、といった問題を回避する技術については開示していない。

更に、特許文献１が開示する技術では、ネットワーク層やトランスポート層などの高レイヤの監視情報を計測する場合など、監視すべき情報の量が多くなるにつれて、監視ルールＤＢへの登録量が増え、かつ、監視情報の収集処理と異常判定処理に要する時間が長くなり、短時間での監視が次第に困難になってしまう。すなわち、監視すべき情報（監視ルール）は、収集および判定が現実的な時間内で終了可能な量に限られており、この問題を解決するための技術については、特許文献１には開示されていない。

例えば、ある経路を経由して行われた通信の状況を監視するため、ネットワーク層に相当するＩＰ（Internet Protocol）の、あるＩＰアドレスからの通信量を監視するケースがある。また別の例では、トランスポート層に相当するＴＣＰ（Transmission Control Protocol）のあるポート番号宛ての通信量を監視するケースがある。この時、監視対象となるＩＰアドレスやポート番号を予め定義することができない場合は、通信が行われると想定される様々なＩＰアドレスやポート番号を、監視ルールとして監視ルールＤＢに登録することになり、結果として監視情報の収集処理と異常判定処理に要する時間が長くなってしまう。

また、特許文献２が開示する技術は、相関関係のモデルの崩れの分布を予め登録しておく必要がある。すなわち、崩れの分布が予め登録できない場合の技術については、特許文献２には開示されていない。例えば、過去に事例のないような新しい構成のネットワークを監視したい場合や、過去に事例のないような障害を検知したい場合は、異常時の相関関係のモデルの崩れの分布が事前に分からない。このような場合には対応できない。

したがって、上記を解決する技術が望まれている。

上記を踏まえて、本明細書では、通信処理を行うネットワーク機器に対する通信監視処理による負荷増大という問題や、故障時のネットワーク機器の出力する監視データ自体が信頼できないという問題を回避しつつ、通信異常を検知する技術が開示される。

また、本明細書では、監視すべき通信の情報（監視ルール）を事前に定義することなく、運用中に動的に監視ルールを作成しながら通信異常を検知する技術が開示される。

更に、本明細書では、ネットワーク層やトランスポート層などの高レイヤの監視情報を計測する場合など、監視すべき情報の量が膨大になった場合でも、収集処理と異常判定処理に時間が掛かり過ぎない異常検知方法が開示される。

具体的な一態様として、本明細書で開示されるネットワーク異常検知システムは、
１台以上のネットワーク信号複製装置と、計測装置と、分析装置と、を備え、
ネットワーク信号複製装置は、通信ネットワーク中の所定の計測箇所を伝送されるパケットの複製を作成して計測装置に送信し、
計測装置は、それぞれのネットワーク信号複製装置から受信した複製されたパケットから、各々の計測箇所での、監視ルールとしての通信統計計算条件と、当該通信統計計算条件に基づく通信統計情報と、を計算し、計算した通信統計情報を分析装置へ送信し、
分析装置は、計測装置から受信した１箇所以上の通信統計情報を分析し、通信異常の発生を検知すると、ネットワーク管理サーバに、通信異常の発生を通知する、という特徴を備える。

さらに、上記計測装置は、通信統計情報の計算において、受信したパケットの情報を解析してカウントしたパケットカウント情報を、パケットカウント記憶部に記憶し、記憶するパケットカウント情報を読み出して、分析し、各々の計測箇所での通信統計計算条件を算出し、パケットカウント記憶部を検索し、通信統計計算条件を満たすパケットカウント情報から、各々の計測箇所での通信統計情報を計算する、という更なる特徴を備える。

さらに、上記分析装置は、１箇所以上の通信統計情報から、通信ネットワークで行われている通信の相関構造を分析し、相関関係にある複数の通信をモデル化した相関構造モデルを作成し、作成した相関構造モデルを基に、相関関係にある複数の通信間の相関性が所定値以上外れた場合に通信異常とみなす、という更なる特徴を備える。

さらに、上記計測装置は、通信統計計算条件の計算において、ポート番号毎のカウンタと、ＩＰアドレス毎のカウンタと、を備え、記憶しているパケットカウント情報を読み出し、読み出したパケットカウント情報に含まれる、送信元ポート番号と、宛先ポート番号と、から、ポート番号別にカウントし、読み出したパケットカウント情報に含まれる、送信元ＩＰアドレスと、宛先ＩＰアドレスと、から、ＩＰアドレス別にカウントし、ポート番号毎カウンタ値の上位所定数のポート番号を抽出するステップと、ＩＰアドレス毎カウンタ値の上位所定数のＩＰアドレスと、を抽出し、抽出した上位のポート番号および上位のＩＰアドレスを、それぞれ、分析装置にて通信構造分析の対象となる通信統計計算条件に設定する、という更なる特徴を備える。

さらに、上記計測装置は、監視ルールとしての通信統計計算条件の算出を、タイマイベントを契機として繰り返し行い、算出結果を用いて、記憶する通信統計計算条件を更新する、という更なる特徴を備える。

上記特徴によれば、通信処理を行うネットワーク機器に対する通信監視処理による負荷増大という問題や、故障時のネットワーク機器の出力する監視データ自体が信頼できないという問題を回避しつつ、通信異常を検知することができる。

更に、上記特徴によれば、ネットワーク層やトランスポート層などの高レイヤの監視情報を計測する場合など、監視すべき情報の量が膨大になった場合でも、収集処理と異常判定処理に時間が掛かり過ぎない異常検知方法を実現することができる。

開示によれば、通信処理を行うネットワーク機器の負荷増大を引き起こさず、ネットワークシステムの信頼性や可用性を低下させない、ネットワーク監視システムを提供することができる。

また、開示によれば、故障時のネットワーク機器の出力する、誤っているかもしれない監視データを用いずに通信異常を検知する、ネットワーク監視システムを提供することができる。

更に、開示によれば、ネットワーク層やトランスポート層などの高レイヤの監視情報を計測する場合でも、収集処理と異常判定処理を短時間で行う、ネットワーク監視システムを提供することができる。

更に、開示によれば、異常時の相関関係のモデルの崩れの分布が事前に分からないネットワークを監視する場合でも、ネットワーク監視システムを提供することができる。

開示によれば、ネットワークシステムの信頼性や可用性を低下させず、に通信経路ごとなどの、細かい単位で通信異常を検知するネットワーク監視システムを提供することができる。

実施の形態１の、ネットワーク異常検知システムの構成例を示す図である。 実施の形態１の、計測装置のパケットカウンタテーブルの構成例を示す図である。 実施の形態１の、計測装置の計算条件テーブルの構成例を示す図である。 実施の形態１の、計測装置のポート番号毎カウンタの構成例を示す図である。 実施の形態１の、計測装置の計算条件テーブルの構成例を示す図である。 実施の形態１の、計測装置の通信統計テーブル（ポート番号毎）の構成例を示す図である。 実施の形態１の、計測装置の通信統計テーブル（通信経路毎）の構成例を示す図である。 実施の形態１の、計測装置の全体的な処理を例示するフローチャートである。 実施の形態１の、計測装置の通信計測処理を例示するフローチャートである。 実施の形態１の、計測装置の通信統計計算条件算出処理を例示するフローチャートである。 実施の形態１の、計測装置の通信統計計算処理を例示するフローチャートである。 実施の形態１の、分析装置の相関構造分析処理を例示するフローチャートである。 実施の形態１の、分析装置の異常検知処理を例示するフローチャートである。 実施の形態２の、ネットワーク異常検知システムの構成例を示す図である。 実施の形態２の、全体通信統計記憶部が記憶する、計測装置４１Ａから受信した通信統計情報の表現例示する図である。 実施の形態２の、全体通信統計記憶部が記憶する、計測装置４１Ｂから受信した通信統計情報の表現を例示する図である。 実施の形態２の、全体通信統計記憶部が記憶する、計測装置４１Ｃから受信した通信統計情報の表現を例示する図である。 実施の形態２の、相関構造分析処理の概念を示す図である。 実施の形態２の、相関構造モデルの概念の一例を示す図である。 各装置のハードウェア構成例を示す図である。

以下、実施の形態について、図面を用いて説明する。

（実施の形態１）
まず、図１から図４を用いて、ネットワーク異常検知システム４０を構成する各要素の構成例を説明する。

図１は、ネットワーク異常検知システム４０の構成例を示すブロック図である。

通信機器１０は、ＨＴＴＰ（HyperText Transfer Protocol）などのＴＣＰ／ＩＰ上のプロトコルを用いて、通信ネットワーク３０を介して他の通信機器１０に接続し、データ通信を行う装置である。

ネットワーク信号複製装置２０は、通信ネットワーク３０を伝送されるパケットを、通信ネットワーク３０上の所定の計測箇所にて複製して別の装置（本実施例では、計測装置）に伝送する装置である。ネットワークタップ装置などが該当する。

ネットワーク異常検知システム４０は、ネットワーク信号複製装置２０が複製したパケットについて統計処理を行い、その結果の情報（通信統計情報）を分析装置４２に送信する計測装置４１と、１台以上の計測装置４１から受信した通信統計情報を分析して、分析結果から通信異常を検知するとネットワーク管理サーバ５０に通知する分析装置４２と、を有する。

計測装置４１は、ネットワーク信号複製装置２０が複製したパケットを受信し、当該パケットの情報を解析してカウントする通信計測処理部４１１と、通信計測処理部４１１にてカウントした情報を記憶するパケットカウント記憶部４１５と、
記憶されているパケットカウント情報を読み出し、当該パケットカウント情報を分析して、分析装置４２にて通信構造分析の対象となる、監視ルールとしての通信統計計算条件（以下、単に計算条件ということもある）を算出する通信統計計算条件算出処理部４１２と、算出された計算条件を記憶する計算条件記憶部４１７と、記憶されている計算条件を読み出し、当該計算条件を満たすパケットカウント情報をパケットカウント記憶部４１５から検索して、条件を満たすパケットカウント情報に基づく統計計算を行う通信統計計算処理部４１３と、統計計算を行った結果（通信統計情報）を記憶する通信統計記憶部４１７と、記憶されている通信統計情報を分析装置４２に送信する分析装置間通信処理部４１４と、を備える。

分析装置４２は、１台以上の計測装置４１と、計測装置４１から、計測箇所別の通信統計情報を受信する計測装置間通信処理部４２１と、計測装置間通信処理部４２１が、１台以上の計測装置４１から受信した、計測箇所ごとの通信統計情報を記憶する全体通信統計記憶部４２４と、記憶されている、１台以上の計測装置４１の通信統計情報を読み出し、システム全体の通信の相関構造を分析して、相関関係にある複数の通信をモデル化した相関構造モデルを作成する相関構造分析処理部４２２と、作成された相関構造モデルを基に、相関関係にある複数の通信間の相関性が予め定めた基準値以上外れた場合に通信異常とみなす異常検知処理部４２３と、を備える。

通信機器１０、計測装置４１、分析装置４２、ネットワーク管理サーバ５０などの各装置のハードウェア構成の一例を図１４に示す。

これらの装置は、ＣＰＵ１００１、主記憶装置１００２、ＨＤＤ等の外部記憶装置１００５、ＣＤ-ＲＯＭやＤＶＤ-ＲＯＭ等の可搬性を有する記憶媒体１００８から情報を読み出す読取装置１００３、ディスプレイ、キーボードやマウスなどの入出力装置１００６、ネットワーク３０に接続するためのＮＩＣ（Network Interface Card）等の通信装置１００４、及びそれらの装置間を接続するバスなどの内部通信線１００７を備えた一般的なコンピュータ１０００により実現できる。

例えば、パケットカウント記憶部４１５は、主記憶装置１００２の一部の領域を用いて実現する。

また、各装置は、それぞれの外部記憶装置１００５に記憶されている各種プログラムを主記憶装置１００２にロードしてＣＰＵ１００１で実行し、必要に応じて、通信装置１００４を用いてネットワーク３０に接続して、他の通信機器１０とのネットワーク通信を行い、もしくは、ネットワーク信号複製装置２０からのパケット受信を行うことにより、本実施例における各種処理部と各種テーブル、及び、それらによる各種処理を実現する。

図２を用いて、パケットカウント記憶部４１５が記憶する、パケットカウンタテーブル４１５０に記録されるパケットカウント情報の詳細について説明する。

パケットカウンタテーブル４１５０を構成する各エントリ（図２では、縦一列で１エントリを表現する）は、パケットごとのヘッダ情報（ＩＰアドレス、ポート番号、プロトコル番号など）を記憶する領域と、パケットカウント情報（パケット数やバイト数など）を記憶する領域とを含む。具体的には、エントリ番号を管理するエントリ番号フィールド４１５１と、送信元ＩＰアドレスを記憶する送信元ＩＰアドレスフィールド４１５２と、宛先ＩＰアドレスを記憶する宛先ＩＰアドレスフィールド４１５３と、プロトコル種別を記憶するプロトコル種別フィールド４１５４と、送信元ポート番号を記憶する送信元ポート番号フィールド４１５５と、宛先ポート番号を記憶する宛先ポート番号フィールド４１５６と、受信パケット数のカウンタ領域である受信パケット数フィールド４１５７と、廃棄パケット数のカウンタ領域である廃棄パケット数フィールド４１５８と、受信バイト数の記憶領域である受信バイト数フィールド４１５９と、を備える。

次に、図３（ａ）から（ｃ）を用いて、ＩＰアドレス毎カウンタテーブル４１６１と、ポート番号毎カウンタテーブル４１６２と、通信統計計算条件テーブル４１６３について説明する。

ＩＰアドレス毎カウンタテーブル４１６１を構成する各エントリ（図３（ａ）〜（ｃ）では、縦一列で１エントリを表現する）は、エントリ番号を管理するエントリ番号フィールド４１６１１と、ＩＰアドレスを記憶するＩＰアドレスフィールド４１６１２と、受信パケット数のカウンタ領域４１６１３と、を備える。

ポート番号毎カウンタテーブル４１６２を構成する各エントリは、エントリ番号を管理するエントリ番号フィールド４１６２１と、ポート番号を記憶するポート番号フィールド４１６２２と、プロトコル種別を記憶するプロトコル種別フィールド４１６２３と、受信パケット数のカウンタ領域４１６２４と、を備える。

通信統計計算条件テーブル４１６３を構成する各エントリは、エントリ番号を管理するエントリ番号フィールド４１６３１と、ＩＰアドレスを記憶するＩＰアドレスフィールド４１６３２と、ポート番号を記憶するポート番号フィールド４１６３３と、プロトコル種別を記憶するプロトコル種別フィールド４１６３４と、を備える。

次に、図４（ａ）および（ｂ）を用いて、通信統計テーブル（ポート番号毎）４１７１および通信統計テーブル（通信経路毎）４１７２について説明する。

通信統計テーブル（ポート番号毎）４１７１を構成する各エントリ（図４（ａ）（ｂ）では、縦一列で１エントリを表現する）は、エントリ番号を管理するエントリ番号フィールド４１７１１と、ポート番号を記憶するポート番号フィールド４１７１２と、プロトコル種別を記憶するプロトコル種別フィールド４１７１３と、受信パケット数のカウンタ領域である受信パケット数フィールド４１７１４と、廃棄パケット数のカウンタ領域である廃棄パケット数フィールド４１７１５と、受信バイト数の記憶領域である受信バイト数フィールド４１７１６と、平均消費帯域量を記憶する平均消費帯域フィールド４１７１７と、統計計算日時を記憶する計測日時フィールド４１７１８と、を備える。

通信統計テーブル（通信経路毎）４１７２を構成する各エントリは、エントリ番号を管理するエントリ番号フィールド４１７２１と、送信元ネットワークアドレスを記憶する送信元ネットワークアドレスフィールド４１７２２と、宛先ＩＰアドレスを記憶する宛先ＩＰアドレスフィールド４１７２３と、受信パケット数のカウンタ領域である受信パケット数フィールド４１７２４と、廃棄パケット数のカウンタ領域である廃棄パケット数フィールド４１７２５と、受信バイト数の記憶領域である受信バイト数フィールド４１７２６と、平均消費帯域量を記憶する平均消費帯域フィールド４１７２７と、統計計算日時を記憶する計測日時フィールド４１７２８と、を備える。

以下、図５から図１０を用いて、実施の形態１での、ネットワーク異常検知システム４０におけるネットワーク異常検知方法について説明する。

図５は、計測装置４１で行う処理全般を例示するフローチャートである。

計測装置４１は、まずネットワーク信号複製装置２０からパケットを受信するための受信インタフェースをオープンする（ステップＳ１０１）。

次に、マルチスレッド起動などにより処理を分岐して、通信計測処理部４１１で行う通信計測処理（ステップＳ１０２）と、通信統計計算条件算出処理部４１２で行う通信統計計算条件算出処理（ステップＳ１０３）と、通信統計計算処理部４１３で行う通信統計計算処理（ステップＳ１０４）とを実行する。

通信統計計算処理（ステップＳ１０４）後、分析装置間通信処理部４１４は、通信統計テーブル（ポート番号毎）４１７１および通信統計テーブル（通信経路毎）４１７２を読み出し、通信統計情報の履歴を分析装置４２に送信する（ステップＳ１０５）。ここで、履歴の時間の長さは、予め計測装置４１の設定ファイルに記載しておき、計測装置４１の起動時に当該設定を読み出して設定しても良い。

計測装置４１は、ステップＳ１０２ないしＳ１０５の各処理を行った後、終了コマンドが入力されたなどの理由で計測処理が処理終了となっているかどうかを判定し、そうでなければ、通信計測処理（ステップＳ１０２）と、通信統計計算条件算出処理（ステップＳ１０３）と、通信統計計算処理（ステップＳ１０４）の処理を継続実行する（ステップＳ１０６）。そうならば、受信インタフェースをクローズして（ステップＳ１０７）、処理を終了する。

図６は、計測装置４１の通信計測処理部４１１で行う通信計測処理（図５のステップＳ１０２）を例示するフローチャートである。

通信計測処理部４１１は、まず、パケット到着待ち処理を行う（ステップＳ２０１）。通信計測処理部４１１は、ネットワーク信号複製装置２０より複製パケットを受信すると（ステップＳ２０２）、当該パケットのヘッダ情報を解析し（ステップＳ２０３）、パケットカウンタテーブル４１５０を検索し、予め指定された条件を満たすヘッダ情報を含むエントリがあるかどうかを調べる。

条件とは、例えば、ヘッダ情報に含まれる、送信元ＩＰアドレスと、宛先ＩＰアドレスと、プロトコル種別と、送信元ポート番号と、宛先ポート番号と、が一致すること、であるが、その他の条件を指定しても良い（ステップＳ２０４）。

条件を満たすエントリがない場合は、通信計測処理部４１１は新規エントリを作成する（ステップＳ２０５）。そして、通信計測処理部４１１は該当エントリの統計情報の受信パケット数４１５７の値をカウントアップし、さらに当該受信パケットのサイズ情報を受信バイト数４１５９の値に加える（ステップＳ２０６）。

図７は、計測装置の通信統計計算条件算出処理部４１２が行う通信統計計算条件算出処理（図５のステップＳ１０３）を例示するフローチャートである。通信統計計算条件算出処理は、通信統計計算処理部４１３が行う通信統計計算処理において、統計計算対象とするための条件を算出するための処理である。本実施例では、当該条件として、ポート番号およびＩＰアドレスを挙げるが、他の項目を条件としても良い。

計測装置４１の通信統計計算条件算出処理部４１２は、まず、計測装置４１のＯＳ（Operating System）の提供するタイマ登録関数を呼び出す等によりタイマの登録を行い（ステップＳ３０１）、その後タイマイベント待ちを行う（ステップＳ３０２）。

そして、通信統計計算条件算出処理部４１２は、ＯＳからの割り込みイベントを受信した際に、割り込みイベントがタイマイベントでなければ、引き続きステップＳ３０２の処理を行う（ステップＳ３０３）。タイマイベントであれば、通信統計計算条件算出処理部４１２は、パケットカウンタテーブル４１５０からエントリ情報を読み出す（ステップＳ３０４）。ここで、通信統計計算条件算出処理部４１２は、後述のステップＳ３０９の後にパケットカウンタテーブル４１５０から読み出す対象のエントリとして、ステップＳ３０９の時点で参照しているエントリの次エントリを選択する。例えば、通信統計計算条件算出処理部４１２が、エントリ番号４１５１の値が０のエントリから読み出しを開始する場合は、ステップＳ３０９の後、次はエントリ番号４１５１の値が１のエントリ、その次は２のエントリ、と順番に読み出す。

次に、通信統計計算条件算出処理部４１２は、ステップＳ３０４で読み出した当該エントリの情報から、送信元ポート番号を検索キーとしてポート番号毎カウンタテーブル４１６２を検索し、送信元ポート番号が一致したエントリのカウンタ４１６２４の値をカウントアップする（ステップＳ３０５）。同様に、通信統計計算条件算出処理部４１２は、ステップＳ３０４で読み出した当該エントリの宛先ポート番号を検索キーとしてポート番号毎カウンタテーブル４１６２を検索し、宛先ポート番号が一致したエントリのカウンタ４１６２４の値をカウントアップする（ステップＳ３０６）。

続いて、通信統計計算条件算出処理部４１２は、ステップＳ３０４で読み出した当該エントリの送信元ＩＰアドレスを検索キーとしてＩＰアドレス毎カウンタテーブル４１６１を検索し、送信元ＩＰアドレスが一致したエントリのカウンタ４１６１３の値をカウントアップする（ステップＳ３０７）。

さらに、通信統計計算条件算出処理部４１２は、ステップＳ３０４で読み出した当該エントリの宛先ＩＰアドレスを検索キーとしてＩＰアドレス毎カウンタテーブル４１６１を検索し、宛先ＩＰアドレスが一致したエントリのカウンタ４１６１３の値をカウントアップする（ステップＳ３０８）。

通信統計計算条件算出処理部４１２は、ステップＳ３０８を終了後、パケットカウンタテーブル４１５０に、ステップＳ３０４で読み出したエントリの次エントリに情報があるかどうかを判断し（ステップＳ３０９）、あれば、次エントリに対してステップＳ３０４の処理を継続する。

なければ、次に、通信統計計算条件算出処理部４１２は、通信量が多いポート番号をプロトコル種別と併せてＭ組抽出する（ステップＳ３１０）。例えば、ポート番号毎カウンタテーブル４１６２の中で、カウンタ４１６２４の値が大きい順にソートし、上から上位Ｍ位までのエントリを抽出し、抽出した各エントリのポート番号４１６２２の値を参照して、ポート番号をプロトコル種別と併せてＭ組抽出する。

同様に、通信統計計算条件算出処理部４１２は、通信量が多いＩＰアドレスをＮ個抽出する（ステップＳ３１１）。例えば、ＩＰアドレス毎カウンタテーブル４１６１の中で、カウンタ４１６１３の値が大きい順にソートし、上から上位Ｎ位までのエントリを抽出し、抽出した各エントリのＩＰアドレス４１６１２の値を参照して、ＩＰアドレスをＮ個抽出する。

ここで、ＭおよびＮの値は正の整数とし、予め計測装置４１の設定ファイルに記載しておき、計測装置４１の起動時に当該設定を読み出して設定しても良い。

そして、ステップＳ３１０で抽出したＭ組のポート番号とプロトコル種別、およびステップＳ３１１で抽出したＮ個のＩＰアドレスを、各々別エントリとして、通信統計計算条件テーブル４１６３に設定する。既に通信統計計算条件テーブル４１６３に値が設定されている場合は、更新する（ステップＳ３１２）。

上述のように、本実施例では、通信機器１０が通信中であっても、通信統計計算条件の算出を、タイマイベントを契機として繰り返し行い、既に値が設定されている場合は、その値を動的に更新するという特徴を備える。

図８は、計測装置の通信統計計算処理部４１３が行う通信統計計算処理（図５のステップＳ１０４）を例示するフローチャートである。

ステップＳ３０１からステップＳ３０３までは図７と同様である。通信統計計算処理部４１３は、ステップＳ３０３でＯＳからの割り込みイベントを受信した際に、割り込みイベントがタイマイベントであれば、通信統計計算条件テーブル４１６３からエントリ情報を読み出す（ステップＳ４０１）。ここで、通信統計計算処理部４１３は、後述のステップＳ４０５の後に通信統計計算条件テーブル４１６３から読み出す対象のエントリとして、ステップＳ４０５時点で参照しているエントリの次エントリを選択する。例えば、通信統計計算条件算出処理部４１２が、エントリ番号４１５１の値が０のエントリから読み出しを開始する場合は、ステップＳ４０５の後、次はエントリ番号４１５１の値が１のエントリ、その次は２のエントリ、と順番に読み出す。

次に、通信統計計算処理部４１３は、ステップＳ４０１で読み出した通信統計計算条件を検索キーとして、パケットカウンタテーブル４１５０を検索する（ステップＳ４０２）。例えば、通信統計計算処理部４１３がステップＳ４０１で参照しているエントリのＩＰアドレス４１６３２にＩＰアドレスが設定されている場合は、パケットカウンタテーブル４１５０の送信元ＩＰアドレス４１５２、および宛先ＩＰアドレス４１５３を検索対象とし、参照しているエントリのＩＰアドレス４１６３２のＩＰアドレスを検索キーとして検索し、送信元ＩＰアドレス４１５２もしくは宛先ＩＰアドレス４１５３のどちらかが一致したエントリを抽出する。また、通信統計計算処理部４１３がステップＳ４０１で参照しているエントリのポート番号４１６３３およびプロトコル種別４１６３４にポート番号およびプロトコル種別が設定されている場合は、パケットカウンタテーブル４１５０の送信元ポート番号４１５５、および宛先ポート番号４１５６を検索対象とし、参照しているエントリのポート番号４１６３３のポート番号およびプロトコル種別４１６３４を検索キーとして、両方に一致するエントリを検索する。

次に、検索キーが一致したエントリに対して、統計計算を行い（ステップＳ４０３）、現在日時と組で計算結果を通信統計テーブル（ポート番号毎）４１７１および通信統計テーブル（通信経路毎）４１７２に書き込む（ステップＳ４０４）。

ここでステップＳ４０３の統計計算とは、パケットカウント情報の値の合算を行う処理である。

例えば、ステップＳ４０２では、通信統計計算処理部４１３がステップＳ４０１で参照したエントリのポート番号４１６３３の値が「８０８０」、およびプロトコル種別４１６３４の値が「ＴＣＰ」を示す値であれば、パケットカウンタテーブル４１５０の送信元ポート番号４１５５の値が「８０８０」であり、かつ、宛先ポート番号４１５６の値が「ＴＣＰ」を示す値となっているエントリを検索する。そして、ステップＳ４０３およびＳ４０４では、通信統計計算処理部４１３は、ポート番号４１６３３の値「８０８０」およびプロトコル種別４１６３４の値「ＴＣＰ」のそれぞれを通信統計テーブル（ポート番号毎）４１７１のポート番号４１７１２、およびプロトコル種別４１７１３に書き込み、さらに、ステップＳ４０２で一致したエントリの受信パケット数４１５７の値、廃棄パケット数４１５８の値、および受信バイト数４１５９の値を取得し、それぞれを通信統計テーブル（ポート番号毎）４１７１の受信パケット数４１７１４、廃棄パケット数４１７１５、および受信バイト数４１７１６の値に合算して書き込み、さらに、受信バイト数４１５９の値から平均消費帯域を算出した値を通信統計テーブル（ポート番号毎）４１７１の平均消費帯域４１７１７に書き込む。さらに、現在日時を計測日時フィールド４１７１８に書き込む。

また、例えば、ステップＳ４０２では、通信統計計算処理部４１３がステップＳ４０１で参照したエントリのＩＰアドレス４１６３２の値が「１９２．１６８．５．２３」であれば、パケットカウンタテーブル４１５０の宛先ＩＰアドレス４１５３の値が「１９２．１６８．５．２３」となっているエントリを検索する。そして、ステップＳ４０３およびＳ４０４では、通信統計計算処理部４１３は、ＩＰアドレス４１６３２の値「１９２．１６８．５．２３」を通信統計テーブル（通信経路毎）４１７２の宛先ＩＰアドレス４１７２３に書き込み、さらに、ステップＳ４０２で一致した各エントリの送信元ＩＰアドレス４１５２の値が「１９２．１６８．１２３．３４」となっていれば、ネットマスク２４ビット（／２４）でサブネット単位にまとめて「１９２．１６８．１２３．０／２４」として送信元ネットワークアドレス４１７２２に書き込み、さらに、ステップＳ４０２で一致したエントリの受信パケット数４１５７の値、廃棄パケット数４１５８の値、および受信バイト数４１５９の値を取得し、通信統計テーブル（通信経路毎）４１７２の受信パケット数４１７２４、廃棄パケット数４１７２５、および受信バイト数４１７２６に合算して書き込み、さらに、受信バイト数４１５９の値から平均消費帯域を算出した値を通信統計テーブル（通信経路毎）４１７２の平均消費帯域４１７２７に書き込む。なお、上記でネットマスクを２４ビットとして例に挙げているが、設定ファイルにパラメータとして与えることで、任意の値にしても良い。また、ＩＰアドレスもＩＰｖ４アドレスを例に挙げているが、ＩＰｖ６アドレスを対象としても良い。さらに、現在日時を計測日時フィールド４１７２８に書き込む。

パケットカウンタテーブル４１５０に、ステップＳ４０２で読み出したエントリの次エントリに情報があるかを判断し（ステップＳ４０５）、あれば、次エントリに対してステップＳ４０２の処理を継続する。

なければ、通信統計計算条件テーブル４１６３に、ステップＳ４０１で読み出したエントリの次エントリに情報があるかを判断し、あれば、次エントリに対してステップＳ４０１の処理を継続し、なければ処理を終了する（ステップＳ４０６）。

なお計測装置４１は、ステップＳ１０５において、計測日時４１７１８の値および計測日時４１７２８の値を、その他のフィールドの値と組で、分析装置４２に送信する。

図９は、分析装置４２の相関構造分析処理部４２２での相関構造分析処理を例示するフローチャートである。 なお、ステップＳ３０１からステップＳ３０３までは図７と同様である。

まず、分析装置４２の相関構造分析処理部４２２は、全体通信統計記憶部４２４が記憶する、計測装置４１用に割り付けた通信統計テーブル（計測装置毎）４２４０のエントリを読み出す（ステップＳ５０１）。

全体通信統計記憶部４２４は、各計測装置４１に対して通信統計テーブル（計測装置毎）４２４０を１テーブル割り当て、通信統計テーブル（計測装置毎）４２４０をネットワーク異常検知システム４０に存在する計測装置４１の台数分保持する。

ここで、分析装置４２の通信統計テーブル（計測装置毎）４２４０の一例を図１２（ａ）に示す。

通信統計テーブル（計測装置毎）４２４０を構成する各エントリは、エントリ番号を管理するエントリ番号フィールド４２４７と、送信元ネットワークアドレスを記憶する送信元ネットワークアドレスフィールド４２４１と、宛先ＩＰアドレスを記憶する宛先ＩＰアドレスフィールド４２４２と、受信パケット数の時系列情報を記憶する受信パケット数フィールド４２４３と、廃棄パケット数の時系列情報を記憶する廃棄パケット数フィールド４２４４と、受信バイト数の時系列情報を記憶する受信バイト数フィールド４２４５と、平均消費帯域量の時系列情報を記憶する平均消費帯域フィールド４２４６と、を備える。

ここで、時系列情報を記憶するために、受信パケット数フィールド４２４３と、廃棄パケット数フィールド４２４４と、受信バイト数フィールド４２４５と平均消費帯域フィールド４２４６は、値と計測日時を組で記憶する構造を備える領域を含み、当該領域を複数記憶する構造を備える領域を含む。

図９の説明に戻る。相関構造分析処理部４２２は、送信元ネットワークアドレス４２４１の値と宛先ＩＰアドレス４２４２の値の組を検索キーとして、通信統計テーブル（計測装置毎）４２４０の中の、ステップＳ５０１で読み出した計測装置４１以外の計測装置４１用に割り当てた通信統計テーブル（計測装置毎）４２４０の送信元ネットワークアドレス４２４１と宛先ＩＰアドレス４２４２の組を対象に、マッチするエントリを検索する（ステップＳ５０２）。

一致したエントリがあれば（ステップＳ５０３）、当該エントリの通信統計の時系列情報と、一致したエントリの通信統計の時系列情報より、相関係数を算出する（ステップＳ５０４）。ここで、通信統計の時系列情報とは、受信パケット数４２４３、廃棄パケット数４２４４、受信バイト数４２４５、および平均消費帯域４２４６が記憶している情報を示している。また相関係数は、例えば、ピアソンの積率相関係数を用いてよい。

算出した相関係数の値が一定値（例えば０．７）以上であるかチェックし（ステップＳ５０５）、相関構造モデルを作成する（ステップＳ５０６）。相関構造モデルとは、相関の度合いが強い２つの通信統計の時系列情報を１組として、その組の情報を管理するデータである。

ステップＳ５０１で通信統計テーブル（計測装置毎）４２４０から読み出したエントリの次エントリがある、または、まだ読み出していない通信統計テーブル（計測装置毎）４２４０が存在する場合は、ステップＳ５０１に戻る。そうでなければ、処理を終了し、ステップＳ３０１Ｂの処理に戻る。

図１０は、分析装置４２の異常検知処理部４２３で行う異常検知処理を例示するフローチャートである。

分析装置４２の異常検知処理部４２３は、相関構造モデルにおいて、２点の通信統計情報の時系列データの組み合わせを基に、異常の度合いを示す値Ｄを計算する（ステップＳ６０１）。異常の度合いＤの計算方法としては、マハラノビス距離を利用しても良い。

異常の度合いＤがある閾値以上であれば（ステップＳ６０２）、当該時系列データの組み合わせに異常が発生しているとみなし、当該組み合わせの情報と、当該組み合わせにおける異常の発生を示す値（異常発生フラグ）とを記憶する（ステップＳ６０３）。

未計算の通信統計情報の時系列データの組み合わせがあれば、ステップＳ６０１の処理に戻る（ステップＳ６０４）。

未計算の通信統計情報の時系列データの組み合わせがなければ、ステップＳ６０３で異常発生フラグを記憶した対象の時系列データの組み合わせがあるならば、その時系列データの組み合わせの情報と共に、通信異常の発生をネットワーク管理サーバ５０に通知する（ステップＳ６０６）。

（実施の形態２）
図１１から図１３を用いて、本発明を用いて通信経路の異常を検知する方法について説明する。

図１１の構成で示すように、通信ネットワーク３０Ｄを境に３つの経路に分岐している構成であるとする。このとき、計測装置４１Ａから受信した通信統計情報と、計測装置４１Ｂから受信した通信統計情報と、計測装置４１Ｃから受信した通信統計情報は、図１２で示すように、通信統計テーブル（計測装置毎）４２４０Ａ、４２４０Ｂ、４２４０Ｃのように表されるものとする。

このとき、分析装置４２の相関構造分析処理部４２２での処理を、概念図として図１３に示す。図１３（ａ）で示すように、各通信統計テーブル（計測装置毎）４２４０Ａから４２４０Ｃを用いて、それぞれの時系列データの組み合わせ間の相関係数を算出している。その結果、例えば、通信統計テーブル（計測装置毎）４２４０の相関構造モデルは、図１３（ｂ）で示すように、４２４０Ａのエントリ＃０と４２４０Ｂのエントリ＃０と４２４０Ｂの＃０、および４２４０Ｂのエントリ＃１と４２４０Ｃのエントリ＃０とが、相関の度合いが強い、すなわち相関関係にあることを示す構成である場合、この相関構造モデルで示される通信統計情報の時系列データの組み合わせに対して、分析装置４２の異常検知処理部４２３で行う異常検知処理を適用し、異常発生を検知することで、通信異常の発生を検知する。

なお、上記実施形態は一例であり、開示に限定されず、種々の変形や応用が可能である。

１０：通信機器、
２０：ネットワーク信号複製装置、
３０：通信ネットワーク、
４０：ネットワーク異常検知システム、
４１：計測装置、
４２：分析装置、
５０：ネットワーク管理サーバ、
４１１：通信計測処理部、
４１２：通信統計計算条件算出処理部、
４１３：通信統計計算処理部、
４１４：分析装置間通信処理部、
４１５：パケットカウント記憶部、
４１６：計算条件記憶部、
４１７：通信統計記憶部、
４２１：計測装置間通信処理部、
４２２：相関構造分析処理部、
４２３：異常検知処理部、
４２４：全体通信統計記憶部、
１０００：コンピュータ、
１００１：ＣＰＵ、
１００２：主記憶装置、
１００３：読取装置、
１００４：通信装置、
１００５：外部記憶装置、
１００６：入出力装置、
１００７：内部通信線、
１００８：可搬記憶媒体、
４１５０：パケットカウンタテーブル、
４１６１：ＩＰアドレス毎カウンタテーブル、
４１６２：ポート番号毎カウンタテーブル、
４１６３：計算条件テーブル、
４１７１：通信統計テーブル（ポート番号毎）、
４１７２：通信統計テーブル（通信経路毎）、
４２４０：通信統計テーブル（計測装置毎）

Claims (11)

1. 通信ネットワークを介して複数の通信機器が通信を行う通信システムにおいて、前記通信の異常を検出するネットワーク異常検知システムであって、
   １台以上のネットワーク信号複製装置と、計測装置と、分析装置と、を備え、
   前記ネットワーク信号複製装置は、前記通信ネットワーク中の所定の計測箇所で伝送されるパケットの複製を作成して前記計測装置に送信し、
   前記計測装置は、
   それぞれの前記ネットワーク信号複製装置から受信した複製された前記パケットの情報を解析し、
   解析結果の情報をパケットカウント情報として記憶し、
   前記パケットカウント情報を解析して、通信の異常を検出するための通信統計情報を絞り込むための通信統計計算条件を計算し、
   前記パケットカウント情報から、前記通信統計計算条件を満たす情報を抽出し、通信統計情報として記憶し、
   抽出した前記通信統計情報を前記分析装置へ送信し、
   前記分析装置は、
   １箇所以上の前記計測装置から受信した前記通信統計情報を時系列として管理し、
   任意の２種類の前記「通信統計情報」の時系列間の相関性の強さを示す値を算出し、
   前記「任意の２種類の通信統計情報の時系列」間の相関性の強さを示す値が、ある所定の閾値以上または超過した場合に、前記「任意の２種類の前記通信統計情報の時系列」間の異常の度合いを示す値を計算し、
   前記「異常の度合いを示す値」が、ある所定の閾値以上または超過した場合に、通信異常が発生していると検知する
   ことを特徴とするネットワーク異常検知システム。
2. 請求項１に記載のネットワーク異常検知システムであって、
   前記計測装置は、さらに、
   前記パケットカウント情報を記憶するためのパケットカウンタテーブルと、
   前記通信統計計算条件を記憶するための通信統計計算条件テーブルと、
   前記通信統計情報を記憶するための通信統計テーブルと、を備え、
   前記パケットカウンタテーブルは、パケットごとのヘッダ情報を記憶する領域と、ヘッダ情報に一致するパケットカウント情報を記憶する領域と、を含み、
   さらに、前記「パケットの情報を解析」する処理において、
   パケットのヘッダ情報を解析し、
   当該ヘッダ情報を検索条件として、前記パケットカウンタテーブルで記憶しているヘッダ情報と一致するエントリがあるかを調べ、
   一致するエントリがない場合は、新規エントリを作成し、ヘッダ情報を記憶する前記領域にヘッダ情報を記憶し、
   一致するエントリがある場合もしくは新規エントリを作成した場合は、当該エントリのパケットカウント情報の値をカウントアップし、
   さらに、前記記憶するパケットカウント情報を読み出して、分析し、各々の計測箇所での前記通信統計計算条件を算出し、
   さらに、前記「通信統計計算条件を満たす通信統計情報を抽出」する処理において、
   前記通信統計計算条件テーブルより通信統計計算条件情報を読み出し、
   前記通信統計計算条件情報を検索条件として、前記パケットカウンタテーブルのヘッダ情報を検索し、
   一致したエントリ情報を読み出し、読み出した当該エントリ情報の「パケットの数をカウントする領域」の情報を合算し、
   合算した情報を前記通信統計テーブルに書き込む
   ことを特徴とするネットワーク異常検知システム。
3. 請求項２に記載のネットワーク異常検知システムであって、
   前記計測装置は、さらに、前記パケットカウンタテーブルのうち、あるヘッダ情報の値ごとに、前記ヘッダ情報の値が一致しているエントリの数を記憶するためのヘッダ情報毎カウンタテーブルと、を備え、
   さらに、前記「通信統計計算条件を計算」する処理において、
   前記パケットカウンタテーブルに含まれるエントリ情報を読み出し、
   当該エントリ情報のヘッダ情報を検索条件として、前記パケットカウンタテーブルで記憶しているヘッダ情報を検索し、その他のエントリで一致するものがあるかを調べ、一致したエントリの数を第一の数として、ヘッダ情報毎に、ヘッダ情報毎カウンタテーブルに記憶し、
   前記ヘッダ情報毎カウンタテーブルの記憶する前記第一の数の大きい方から、上位所定数以内となるエントリのヘッダ情報を抽出し、
   抽出した上位のヘッダ情報を、前記通信統計計算条件テーブルに設定する
   ことを特徴とするネットワーク異常検知システム。
4. 請求項３に記載のネットワーク異常検知システムであって、
   前記計測装置は、
   前記「通信統計計算条件を計算」する処理において、
   前記ヘッダ情報毎カウンタテーブルとしてＩＰアドレス毎カウンタテーブルと、を備え、
   前記パケットカウンタテーブルに含まれるエントリ情報を読み出し、
   当該エントリ情報に含まれる、送信元ＩＰアドレスと宛先ＩＰアドレスのそれぞれを検索条件として、前記パケットカウンタテーブルで記憶している送信元ＩＰアドレスと宛先ＩＰアドレスを検索し、その他のエントリで一致するものがあるかを調べ、一致したエントリの数を第二の数として、ＩＰアドレス毎に、ＩＰアドレス毎カウンタテーブルに記憶し、
   前記ＩＰアドレス毎カウンタテーブルの記憶する前記第二の数の大きい方から、上位所定数以内となるエントリのＩＰアドレスを抽出し、
   抽出した上位のＩＰアドレスを、前記通信統計計算条件テーブルに設定する
   ことを特徴とするネットワーク異常検知システム。
5. 請求項３に記載のネットワーク異常検知システムであって、
   前記計測装置は、
   前記「通信統計計算条件を計算」する処理において、
   ヘッダ情報毎カウンタテーブルとしてポート番号毎カウンタテーブルと、を備え、
   前記パケットカウンタテーブルに含まれるエントリ情報を読み出し、
   当該エントリ情報に含まれる、送信元ポート番号と宛先ポート番号のそれぞれを検索条件として、前記パケットカウンタテーブルで記憶している送信元ポート番号と宛先ポート番号を検索し、その他のエントリで一致するものがあるかを調べ、一致したエントリの数を第三の数として、ポート番号毎に、ポート番号毎カウンタテーブルに記憶し、
   前記ポート番号毎カウンタテーブルの記憶する前記第三の数の大きい方から、上位所定数以内となるエントリのポート番号を抽出し、
   抽出した上位のポート番号を、前記通信統計計算条件テーブルに設定する
   ことを特徴とするネットワーク異常検知システム。
6. 請求項１から５のいずれか一に記載のネットワーク異常検知システムであって、
   前記計測装置は、
   前記通信統計情報を抽出して記憶する処理において、
   処理を実施した日時を計測日時として、前記通信統計情報と組で記憶し、
   前記通信統計情報を前記分析装置に送信する際、前記計測日時を前記通信統計情報と組で送信し、
   前記分析装置は、
   前記ネットワーク異常検知システムに存在する計測装置毎に、ヘッダ情報を記憶する領域と、パケットカウント情報および計測日時を組として、当該組を複数記憶する領域と、を含む通信統計テーブルを備え、
   １箇所以上の前記計測装置から受信した、前記通信統計情報と前記計測日時の組を、前記通信統計テーブルに記憶する
   ことを特徴とするネットワーク異常検知システム。
7. 請求項１から６のいずれか一に記載のネットワーク異常検知システムであって、
   前記計測装置は、
   前記通信統計計算条件の算出を、タイマイベントを契機として繰り返し行い、
   算出結果を用いて、記憶する前記通信統計計算条件を更新する
   ことを特徴とするネットワーク異常検知システム。
8. 請求項１から７のいずれか一に記載のネットワーク異常検知システムであって、
   前記分析装置は、
   通信異常の発生を検知すると、ネットワーク管理サーバに、通信異常の発生を通知する
   ことを特徴とするネットワーク異常検知システム。
9. 通信ネットワークを介して複数の通信機器が通信を行う通信システムにおいて、前記通信の異常を検出するネットワーク異常検知システムに用いる、分析装置であって、
   １つ以上の計測装置から受信した、前記通信ネットワークの所定の計測箇所における通信統計情報を時系列として管理し、
   任意の２種類の前記「通信統計情報」の時系列間の相関性の強さを示す値を算出し、
   前記「任意の２種類の通信統計情報の時系列」間の相関性の強さを示す値が、ある所定の閾値以上または超過した場合に、前記「任意の２種類の前記通信統計情報の時系列」間の異常の度合いを示す値を計算し、
   前記「異常の度合いを示す値」が、ある所定の閾値以上または超過した場合に、通信異常が発生していると検知する
   ことを特徴とする分析装置。
10. 請求項９に記載の分析装置であって、
    前記分析装置は、
    前記計測装置毎に、ヘッダ情報を記憶する領域と、パケットカウント情報および計測日時を組として、当該組を複数記憶する領域と、を含む通信統計テーブルを備え、
    １箇所以上の前記計測装置から受信した、前記通信統計情報と前記計測日時の組を、前記通信統計テーブルに記憶する
    ことを特徴とする分析装置。
11. 請求項１０に記載の分析装置であって、
    通信異常の発生を検知すると、ネットワーク管理サーバに、通信異常の発生を通知する
    ことを特徴とする分析装置。

Images