[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP4160002B2 - ログ分析装置、ログ分析プログラムおよび記録媒体 - Google Patents

ログ分析装置、ログ分析プログラムおよび記録媒体 Download PDF

Info

Publication number
JP4160002B2
JP4160002B2 JP2004046214A JP2004046214A JP4160002B2 JP 4160002 B2 JP4160002 B2 JP 4160002B2 JP 2004046214 A JP2004046214 A JP 2004046214A JP 2004046214 A JP2004046214 A JP 2004046214A JP 4160002 B2 JP4160002 B2 JP 4160002B2
Authority
JP
Japan
Prior art keywords
distribution
log
event
events
theoretical statistical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004046214A
Other languages
English (en)
Other versions
JP2005236862A (ja
Inventor
敬祐 竹森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KDDI Corp
Original Assignee
KDDI Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KDDI Corp filed Critical KDDI Corp
Priority to JP2004046214A priority Critical patent/JP4160002B2/ja
Publication of JP2005236862A publication Critical patent/JP2005236862A/ja
Application granted granted Critical
Publication of JP4160002B2 publication Critical patent/JP4160002B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Data Exchanges In Wide-Area Networks (AREA)

Description

本発明は、IDS(Intrusion Detection System:侵入検知システム)、Router、およびFirewallなどのネットワーク機器から出力されるログの分析を行うログ分析装置、ログ分析プログラムおよび記録媒体に関する。。
従来、IDSや、Router、Firewall等のネットワーク機器から出力されるログの異常性を評価する手法が提案されてきた。例えば、非特許文献1および非特許文献2には、ログに含まれるイベント数に関する比率分析および稀率分析が提案されている。比率分析および稀率分析により、客観的な数値を用いて異常を評価することができる。比率分析においては、ログに記録されている、過去の長期間に検知されたイベント数の単位時間当たりの平均値に対する、注目する単位時間のイベント数の比率を求める。この比率に基づいて、分析対象の単位時間に記録されたイベントの異常性が客観的に評価される。
また、稀率分析においては、ログに記録されている、過去の長期間に検知されたイベントの平均数と標準偏差とを用いて、分析対象の単位時間にログに記録されたイベントの異常性を評価する。稀率分析においては、過去の長期間に検知されたイベントの平均数と標準偏差に基づいて作成された、単位時間当たりのイベント数の発生確率に関する統計分布(例えば正規分布)を用い、分析対象の単位時間に記録されたイベントのイベント数がこの統計分布のどこに位置するのかを、信頼区間の補集合として算出する。この補集合が全体集合に占める割合に基づいて、分析対象の単位時間の異常性が客観的に評価される。
竹森敬祐、外2名,「ログ分析支援システムの提案」,情報処理学会研究報告,社団法人情報処理学会,2003年5月,p.65−70 竹森敬祐、外4名,「セキュリティデバイスログ分析支援システムの広域監視への適用」,Computer Security Symposium(CSS2003),2003年10月,p.397−402
従来のログ分析においては、ログに記録されたイベントの単位時間(例えば1日)当たりのイベント数に基づいて分析が行われていた。しかし、イベントごとの時間的特性(例えばイベントの検知間隔やイベントの継続時間)に基づいた分析を行う手法はなく、イベントの時間的特性に特徴を有する異常の検出を行うことが困難であった。
本発明は、上述した問題点に鑑みてなされたものであって、イベントの時間的特性に特徴を有する異常の検出を行うことができるログ分析装置、ログ分析プログラムおよび記録媒体を提供することを目的とする。
本発明は上記の課題を解決するためになされたもので、請求項1に記載の発明は、ネットワーク機器から収集したログに基づいて分析処理を行うログ分析装置において、前記ネットワーク機器から出力されるログを収集する収集手段と、前記収集手段によって収集された前記ログに記録されたイベントの到着間隔または継続時間を示す時間値に基づいて、ネットワークの異常度を分析する分析手段とを具備することを特徴とするログ分析装置である。
イベントとは、IDS等の機器による検知の単位である。イベントの識別は、Attack Signature、Source/Destination Port、およびSource/Destination IP等によって行うことができる。
一連のイベントの開始時刻と終了時刻とがログに記録されている場合、ある時刻に検知されたイベントの開始時刻と、次に検知された同種のイベントの開始時刻との差が到着間隔である。また、ある時刻に検知されたイベントの終了時刻と、次に検知された同種のイベントの終了時刻との差を到着間隔として用いてもよい。また、イベントが検知されるごとに1行ずつイベントがログに記録される場合は、例えば、同種のイベントの検知時刻の差が所定時間以内ならば同じイベントが継続していると判断し、同種のイベントの検知時刻の差が所定時間を超えたならば、前のイベントが終了したと判断する。そして、一続きのイベント群の先頭のイベントの検知時刻の差によって、到着間隔を求める。また、一続きのイベント群の検知時刻の差に替えて、単一のイベント同士の検知時刻の差を到着間隔としてもよい。
継続時間とは、イベントが初めて検知された時点から同じイベントが終了する時点までの時間である。一連のイベントの開始時刻と終了時刻とがログに記録されている場合、ある時刻に検知されたイベントの開始時刻とそのイベントの終了時刻との差が継続時間である。また、この間に検知されたイベントの数が記録されている場合、それを継続時間として用いてもよい。イベントが検知されるごとに1行ずつイベントがログに記録される場合は、例えば、同じ種類のイベントの検知時刻の差が所定時間以内ならば同じイベントが継続していると判断し、同じ種類のイベントの検知時刻の差が所定時間を超えたならば、前のイベントが終了したと判断する。そして、一続きのイベント群の先頭のイベントの検知時刻と最後尾のイベントの検知時刻との差によって、継続時間を求める。
請求項2に記載の発明は、請求項1に記載のログ分析装置において、前記分析手段は、過去の所定期間に前記ログに記録された前記イベントの前記時間値に関する第1の分布を生成する第1の生成手段と、前記第1の分布において、分析対象の前記イベントの前記時間値以上となる前記時間値の記録数が前記第1の分布中の前記時間値の総記録数に占める割合または分析対象の前記イベントの前記時間値以下となる前記時間値の記録数が前記第1の分布中の前記時間値の総記録数に占める割合を算出する算出手段とを具備することを特徴とする。
第1の分布は、イベントの時間値とその時間値の出現頻度(記録数)とが対応付けられた分布である。算出手段は、第1の分布と分析対象のイベントの時間値とに基づいて、分析対象のイベントの時間値以上となる時間値の記録数が第1の分布中の時間値の総記録数に占める割合または分析対象のイベントの時間値以下となる時間値の記録数が第1の分布中の前記時間値の総記録数に占める割合を算出する。
請求項3に記載の発明は、請求項1に記載のログ分析装置において、前記分析手段は、過去の所定期間に前記ログに記録された前記イベントの前記時間値に関する第1の分布を生成する第1の生成手段と、前記第1の分布の平均値および標準偏差に基づいて理論統計分布を生成する第2の生成手段と、前記理論統計分布に基づいて、分析対象の前記イベントの前記時間値に基づいた上側稀率または下側稀率を算出する算出手段とを具備することを特徴とする。
第2の生成手段は、第1の分布における頻度の平均値および標準偏差に基づいて、正規分布、ポアソン分布、あるいはΓ分布等の理論統計分布を生成する。算出手段は、この理論統計分布に基づいて、出現頻度が分析対象の期間に検知された特定の時間値の頻度以上となる確率(上側稀率)または出現頻度が分析対象の期間に検知された特定の時間値の頻度以下となる確率(上側稀率)を算出する。
請求項4に記載の発明は、請求項1に記載のログ分析装置において、前記分析手段は、過去の所定期間に前記ログに記録された前記イベントの前記時間値に関する第1の分布を生成する第1の生成手段と、前記第1の分布の平均値および標準偏差に基づいて理論統計分布を生成する第2の生成手段と、分析対象の所定期間に記録された前記イベントの前記時間値に関する第2の分布を生成する第3の生成手段と、前記第2の分布と前記理論統計分布との相関度を示す第1の相関係数を算出する算出手段とを具備することを特徴とする。
第2の生成手段によって生成される理論統計分布は、分析対象の所定期間に出現する時間値の理論的な頻度を示す分布である。相関係数は、統計学における相関分析に用いられる係数である。相関係数の値は−1から1までのいずれかの値であり、1に近づくほど相関度は高くなる。算出手段によって算出された相関係数の値によって、分析対象の第2の分布と理論統計分布との相関度が示され、その値に応じて異常度の判断を行うことができる。
請求項5に記載の発明は、請求項3または請求項4に記載のログ分析装置において、前記第2の生成手段はさらに、前記第1の分布の平均値および標準偏差に基づいて複数の理論統計分布を生成し、前記第1の分布と前記理論統計分布との相関度を示す第2の相関係数を算出し、該第2の相関係数が示す相関度に応じて前記理論統計分布を選択することを特徴とする。
第2の生成手段は、複数の理論統計分布を生成し、各理論統計分布と第1の分布とのそれぞれの相関係数を算出する。続いて、第2の生成手段は、相関係数の値に応じて理論統計分布を選択する。例えば、相関係数が最も1に近い理論統計分布を選択すれば、最適な理論統計分布を選択することができる。
請求項6に記載の発明は、請求項4に記載のログ分析装置において、前記分析手段はさらに、前記第1の相関係数が示す相関度が所定量以下の場合に、前記分析対象の所定期間に前記ログに記録された前記イベントが異常であると判定する判定手段を具備することを特徴とする。
請求項7に記載の発明は、請求項2〜請求項6のいずれかの項に記載のログ分析装置において、前記第1の生成手段はさらに、前記第1の分布の中で、異常な前記時間値を前記第1の分布から排除することを特徴とする。
異常な時間値とは、通常検知される時間値の頻度から外れる頻度の時間値である。第1の生成手段は、例えば、過去のデータに基づいて、記録された時間値の頻度の最大値の95%以上の頻度の時間値に関するデータを異常時のデータとして排除する。あるいは、記録された時間値の頻度の最大値の97.5%以上および2.5%以下の頻度に関するデータを排除するなどしてもよい。これにより、異常検出の精度を高めることができる。
請求項8に記載の発明は、請求項2〜請求項7のいずれかの項に記載のログ分析装置において、前記分析手段はさらに、前記ログに記録された複数の前記イベントをグループに分割し、同一のグループに属する前記イベントを同一のイベントとして認識するための識別情報を生成するグループ化手段を具備することを特徴とする。
グループ化手段によって識別情報が生成された同一グループ内のイベントは同一のイベントとして認識される。
請求項9に記載の発明は、ネットワーク機器から収集したログに基づいた分析処理をコンピュータに実行させるためのログ分析プログラムにおいて、前記ネットワーク機器から出力されるログを収集するステップと、収集された前記ログに記録されたイベントの到着間隔または継続時間を示す時間値に基づいて、ネットワークの異常度を分析するステップとを具備することを特徴とするログ分析プログラム。
請求項10に記載の発明は、請求項9に記載のログ分析プログラムにおいて、収集された前記ログに記録されたイベントの到着間隔または継続時間を示す時間値に基づいて、ネットワークの異常度を分析するステップは、過去の所定期間に前記ログに記録された前記イベントの前記時間値に関する第1の分布を生成するステップと、前記第1の分布において、分析対象の前記イベントの前記時間値以上となる前記時間値の記録数が前記第1の分布中の前記時間値の総記録数に占める割合または分析対象の前記イベントの前記時間値以下となる前記時間値の記録数が前記第1の分布中の前記時間値の総記録数に占める割合を算出するステップとを具備することを特徴とする。
請求項11に記載の発明は、請求項9に記載のログ分析プログラムにおいて、収集された前記ログに記録されたイベントの到着間隔または継続時間を示す時間値に基づいて、ネットワークの異常度を分析するステップは、過去の所定期間に前記ログに記録された前記イベントの前記時間値に関する第1の分布を生成するステップと、前記第1の分布の平均値および標準偏差に基づいて理論統計分布を生成するステップと、前記理論統計分布に基づいて、分析対象の前記イベントの前記時間値に基づいた上側稀率または下側稀率を算出するステップとを具備することを特徴とする。
請求項12に記載の発明は、請求項9に記載のログ分析プログラムにおいて、収集された前記ログに記録されたイベントの到着間隔または継続時間を示す時間値に基づいて、ネットワークの異常度を分析するステップにおいては、過去の所定期間に前記ログに記録された前記イベントの前記時間値に関する第1の分布を生成するステップと、前記第1の分布の平均値および標準偏差に基づいて理論統計分布を生成するステップと、分析対象の所定期間に前記ログに記録された前記イベントの前記時間値に関する第2の分布を生成するステップと、前記第2の分布と前記理論統計分布との相関度を示す第1の相関係数を算出するステップとを具備することを特徴とする。
請求項13に記載の発明は、請求項11または請求項12に記載のログ分析プログラムにおいて、前記第1の分布の平均値および標準偏差に基づいて理論統計分布を生成するステップは、前記第1の分布の平均値および標準偏差に基づいて複数の理論統計分布を生成するステップと、前記第1の分布と前記理論統計分布との相関度を示す第2の相関係数を算出し、該第2の相関係数が示す相関度に応じて前記理論統計分布を選択するステップとを具備することを特徴とする。
請求項14に記載の発明は、請求項12に記載のログ分析プログラムにおいて、収集された前記ログに記録されたイベントの到着間隔または継続時間を示す時間値に基づいて、ネットワークの異常度を分析するステップはさらに、前記第1の相関係数が示す相関度が所定量以下の場合に、前記分析対象の所定期間に前記ログに記録された前記イベントが異常であると判定するステップを具備することを特徴とする。
請求項15に記載の発明は、請求項10〜請求項14のいずれかの項に記載のログ分析プログラムにおいて、前記過去の所定期間に前記ログに記録された前記イベントの前記時間値に関する第1の分布を生成するステップにおいてはさらに、前記第1の分布の中で、異常な前記時間値を前記第1の分布から排除することを特徴とする。
請求項16に記載の発明は、請求項10〜請求項15のいずれかの項に記載のログ分析プログラムにおいて、前記ログに記録された複数の前記イベントをグループに分割し、同一のグループに属する前記イベントを同一のイベントとして認識するための識別情報を生成するステップをさらに具備することを特徴とする。
請求項17に記載の発明は、請求項9〜請求項16のいずれかの項に記載のログ分析プログラムを記録したコンピュータ読み取り可能な記録媒体である。
本発明によれば、イベントの到着間隔および継続時間に基づいた分析処理を行うようにしたので、時間的特性に特徴があるイベントの異常を検出することができるという効果が得られる。
以下、図面を参照し、本発明を実施するための最良の形態について説明する。図1は、本発明の一実施形態によるログ分析装置を備えたネットワークの概略構成を示す概略構成図である。図において、10はログ分析装置である。ログ分析装置10はIDS20〜22から出力されるログを収集・分析し、分析結果をWebブラウザ30へ出力する。ログ分析装置10およびWebブラウザ30は、ネットワーク監視用のセキュリティオペレーションセンター内に配置されている。
ログ分析装置10は、表示部を有する他の機器へ分析結果を出力してもよいし、ログ分析装置10に表示部が備えられている場合には、ログ分析装置10が分析結果を表示してもよい。また、ログ分析装置10はWebブラウザ30を備えたセキュリティオペレーションセンターの外部に存在していてもよいし、セキュリティオペレーションセンター内のWebブラウザ30を具備するパーソナルコンピュータ等の機器がログ分析装置10の機能を有していてもよい。
IDS20〜22はネットワークを通過するパケットを監視してログを生成し、syslogd等の通信方式により、ログ分析装置10にログを出力する。セキュリティオペレーションセンターにおいて、ユーザはWebブラウザ30に表示される分析結果に基づいて、ネットワークの異常度を判断することができる。なお、IDS20〜22は、RouterおよびFirewall等であってもよい。
ログ分析装置10において、101はログ収集部であり、IDS20〜22から出力されたログを定期的に収集し、ログを記憶部102に保存する。ユーザがWebブラウザ30を介して、ログ分析装置10に対して分析を指示すると、分析の指示を示す指示情報がインタフェース部104を介してログ分析部103へ入力される。ログ分析部103はこの指示情報に従って、記憶部102からログを読み出し、このログの分析を行い(詳細は後述する)、分析結果を記憶部102に保存すると共に、インタフェース部104へ出力する。インタフェース部104は、ログ分析部103から出力された分析結果を、通信回線を介してWebブラウザ30へ出力する。ユーザはWebブラウザ30に表示される分析結果に基づいて、ネットワークに対する攻撃の状況を判断する。
次に、本実施形態において分析対象となるパラメータについて説明する。図2はIDSから出力されたログの例を示す参考図である。図においてEventは、IDSによる検知の単位を示すイベントのイベント名を示しており、IDSの場合はAttack Signatureと呼ばれる。IDSはネットワークを通過するパケットと、Attack Signatureと呼ばれる攻撃パターンファイルとを単純に比較して、マッチングするものがあればログとして出力する。
Start timeはイベント検知の開始日時を示しており、End timeはイベント検知の終了日時を示している。Source IP:Portは、パケットの送信元の機器のIPアドレスとPort番号とをそれぞれ示している。Destination IP:Portは、パケットの送信先の機器のIPアドレスとPort番号とをそれぞれ示している。Countは、Start timeとEnd timeとの間に検知された同一イベントの数を示している。なお、IDSの中には、イベントが検知されるごとに1行ずつイベントを出力するものもある。例えば、そのようなIDSにおいては、図2のPing sweepは254個のイベントとして出力され、各イベントの検知時刻が記録される。なお、Ping sweepはレイヤが低く、Portの概念がないため、Portが記載されていない。
本実施形態においては、IDSから出力されるログに含まれるパラメータとして、Attack Signature、Source/Destination Port、およびSource/Destination IPを分析対象とする。Attack SignatureはIDSから出力されるログに含まれるパラメータである。Attack Signatureを分析することにより、分析対象のネットワークに対して行われている攻撃の種類を特定することができる。なお、全てのネットワーク型IDSおよび一部のホスト型IDSがAttack Signatureを出力可能である。
Source/Destination Portは送信元/送信先の機器のポート番号を示す。Source/Destination IPは送信元/送信先の機器のIPアドレスを示す。なおSource/Destination PortはSource PortおよびDestination Portの2つのパラメータのうちのいずれか1つを示しており、Source/Destination IPに関しても同様である。Source/Destination Portを分析することにより、攻撃元/攻撃対象のポート番号を特定することができる。また、Source/Destination IPを分析することにより、攻撃元/攻撃対象のIPアドレスを特定することができる。なお、後述するように、Source/Destination IPは国名を示す識別子に変換することができる。
また、RouterおよびFirewallから出力されるログに含まれるパラメータとして、Source/Destination Port、Source/Destination IP、およびパケット数(またはトラヒック量)を分析対象とする。また、サーバ等のネットワーク機器から出力されるログに含まれるパラメータとして、パケット数(またはトラヒック量)および通信トランザクション量(TCP SYNパケット等のパケット数またはトラヒック量)を分析対象とする。
次に、本実施形態によるログ分析装置10の動作を説明する。図3は、ログ分析装置10の動作を示すフローチャートである。ログ収集部101はIDS20〜22から出力されるログを収集し(ステップS301)、記憶部102へ格納する(ステップS302)。ユーザからログの分析の要求がWebブラウザ30を介してなされると、Webブラウザ30から出力された指示情報がインタフェース部104を介してログ分析部103へ入力される。続いて、ログ分析部103は指示情報に基づいて記憶部102からログを読み出す(ステップS303)。
ログ分析部103は、後述する分析処理を行い(ステップS304)、分析結果を記憶部102に保存すると共に、インタフェース部104を介して、分析結果をWebブラウザ30へ出力する(ステップS305)。Webブラウザ30には、分析結果がグラフなどとして表示される。ユーザはこの分析結果に基づいて、ネットワークに対して攻撃が行われているかどうか等を判断する。
次に、図3のステップS304における分析処理の詳細について説明する。まず、頻度に関してログ分析部103が行う稀率分析について説明する。頻度とは、単位時間当たりに検知されたイベントの数である。ログ分析部103は、過去の複数の単位時間に検知された特定のイベント(例えば、特定のAttack Signatureに関するイベント)の頻度(長期プロファイル)に基づいて理論統計分布を生成し、分析対象の単位時間に検知されたイベントの頻度(短期プロファイル)の異常判定を行う。
図4は、ログ分析部103による分析処理を説明するための参考図である。図において、401は長期プロファイルの分布を示すグラフである。グラフ401は、単位時間を1日とし、過去の10日間にログに記録されたイベントの頻度を表している。10日間の頻度の1日当たりの平均がμである。また、分析対象である11日目の頻度がXsである。
ログ分析部103は、分布401に基づいて、10日間の頻度の平均μおよび標準偏差σを算出する。続いて、ログ分析部103は、平均μおよび標準偏差σに基づいて理論統計分布を生成する。本実施形態における理論統計分布は、正規分布、ポアソン分布、およびΓ(ガンマ)分布(λ=1,2,3)である。[数1]は正規分布の確率密度関数を表す式である。また、[数2]は正規分布における標準偏差σを算出する式である。[数2]において、Eiは過去の単位時間iにおけるイベントの頻度であり、kは過去の単位時間数である。
Figure 0004160002
Figure 0004160002
[数3]はポアソン分布の確率密度関数を表す式である。ポアソン分布において、平均μと分散σの関係は[数4]のように表される。[数5]はΓ分布の確率密度関数を表す式である。[数5]におけるΓ(λ)は[数6]のように表され、Γ分布における平均μと分散σの関係は[数7]のように表される。なお、Γ分布においてλ=1の場合は指数分布となる。
Figure 0004160002
Figure 0004160002
Figure 0004160002
Figure 0004160002
Figure 0004160002
ログ分析部103は、上記の正規分布、ポアソン分布、Γ(ガンマ)分布(λ=1,2,3)の中から、予め設定された理論統計分布を一つ生成する。図4の402は、長期プロファイルに基づいて求められた正規分布のグラフを表している。グラフの横軸は平均値μからの距離を、標準偏差σを単位として表している。縦軸は、過去の複数の単位時間において、注目するイベントのイベント数が横軸で示される値となる単位時間の出現確率を表している。グラフ402により、1日当たりのイベントの頻度が横軸で表される値となる日の出現確率を求めることができる。
ログ分析部103はこの理論統計分布に基づいて稀率分析を行う。稀率分析においてログ分析部103は、出現頻度が分析対象の単位時間に検知された頻度以上となる確率(上側稀率R)および出現頻度が分析対象の単位時間に検知された頻度以下となる確率(下側稀率R)を算出する。[数8]および[数9]はそれぞれ上側稀率Rおよび下側稀率Rを表す式である。図4の403は、上側稀率Rを図示したものである。
Figure 0004160002
Figure 0004160002
上側稀率Rおよび下側稀率Rは、異常度を客観的に表す指標である。R≒0.0%の場合は、インターネット上に新たな攻撃が出回り始めたとき、内部ホストがワームに感染したとき、DDoS(Destributed Denial of Service)攻撃(攻撃者がインターネット上のセキュリティに弱い複数のWebサイトに侵入して攻撃拠点とし、複数の攻撃拠点に仕込んだプログラムを同時に動作させて、攻撃ターゲットのサーバに大量のパケットを送りつけ、サーバの機能を停止してしまう攻撃)を受けたときなど、短期のイベント量が急増したことを示している。攻撃が活発な段階であり、警戒する必要がある。
また、R≒0.0%の場合は、普段から出力され続けていたアラームが急に減少した、もしくは無くなってしまったことを示している。これは、攻撃が収束に向かっている段階、もしくはシステムが停止した状態である。また、R、R≒50.0%の場合は、普段から検知され続けているログを見分けることができる。これは、既に対策が施されている攻撃、もしくは誤検知されやすいイベントであり、特に注意する必要はない。ユーザは、ログ分析装置10から出力されるRおよびRの値に基づいて、上述した評価を行えばよい。上記の判断は、正規分布以外の理論統計分布を用いた場合も同様である。この手法は、普段から検知されており、信頼性のある理論統計分布を得ることができるイベントに対する稀率分析を行う場合に有効である。
なお、上述したような理論統計分布を用いずに、直接観測値から上側稀率または下側稀率を求めてもよい。ログ分析部103は、過去の長期間にわたる複数の単位時間に検知されたイベントの頻度に基づいて、頻度分布を生成する。この頻度分布は、頻度と、その頻度が発生した単位時間の数とが対応付けられた分布である。ログ分析部103は、この頻度分布において、分析対象の単位時間に検知されたイベントの頻度以上の頻度が発生した単位時間の合計数が頻度分布中の全単位時間数に占める割合を上側稀率として算出する。また、ログ分析部103は、頻度分布において、分析対象の単位時間に検知されたイベントの頻度以下の頻度が発生した単位時間の合計数が頻度分布中の全単位時間数に占める割合を下側稀率として算出する。この手法は、過去にあまり検知されていないイベントに対する稀率分析を行う場合に有効である。
図5は上述した稀率分析を行う場合の図3のステップS304における分析処理の動作を示すフローチャートである。図5(a)は理論統計分布を用いて稀率分析を行う場合のフローチャートである。ログ分析部103は、記憶部102から読み出したログから、過去の所定期間における特定のイベントに関するデータを抽出し、その単位時間当たりの頻度に基づいた分布を生成する(ステップS501)。続いて、ログ分析部103はこの分布の平均および標準偏差に基づいて、理論統計分布を生成する(ステップS502)。ログ分析部103は、理論統計分布と、分析対象の単位時間に検知されたイベントの頻度とに基づいて、上側稀率または下側稀率を算出する(ステップS503)。
図5(b)は観測値から直接上側稀率または下側稀率を算出する場合のフローチャートである。ログ分析部103は、記憶部102から読み出したログから、過去の所定期間における特定のイベントに関するデータを抽出し、その単位時間当たりの頻度に基づいた分布を生成する(ステップS504)。続いて、ログ分析部103はこの分布と、分析対象の単位時間に検知されたイベントの頻度とに基づいて、上側稀率または下側稀率を算出する(ステップS505)。
次に、頻度に関してログ分析部103が行う異常検出について説明する。異常検出においては、ログ分析部103は、過去の長期間のデータに基づいて生成した理論統計分布と、分析対象の短期間のデータに基づいて生成した分布との相関度が低い場合に、分析対象の短期間において異常が発生したと判断する。ログ分析部103は、上述した処理と同様に過去の長期間にわたる複数の単位時間に検知された特定のイベントの頻度に基づいて、予め設定された種類の理論統計分布を生成する。この理論統計分布においては、前述した出現確率と分析対象となる短期間に検知された全イベント総数とを掛け合わせ、理論的な単位時間の出現頻度を算出したものを理論統計分布としている。続いて、ログ分析部103は分析対象の短期間の複数の単位時間に検知された特定のイベントの頻度に基づいて、頻度分布を生成する。この頻度分布は、頻度と、その頻度が発生した単位時間の数とが対応付けられた分布である。
続いて、ログ分析部103は、理論統計分布と頻度分布との相関度を示す相関係数rを算出する。相関係数rは統計学における相関分析に用いられる係数である。以下の[数10]〜[数12]は相関係数rを求める式である。xは分析対象となる短期間に検知されたイベントの頻度分布のある頻度に対応した単位時間数であり、yはその頻度に対応した理論統計分布中の理論的出現数である。
Figure 0004160002
Figure 0004160002
Figure 0004160002
相関係数rの値は−1から1までのいずれかの値である。rが1に近づくほど理論統計分布と頻度分布との相関度が高い。理論統計分布は、過去の長期間にわたって検知された頻度に基づいた分布であり、平常時の分布であるとみなすことができる。ログ分析部103は、相関係数の値が低い場合に、分析対象の短期間に検知されたイベントが異常であると判断する。例えば、相関係数の値が0.5未満の場合に異常であると判断する。
図6は、上述した異常検出を行う場合の図3のステップS304における動作を示すフローチャートである。ログ分析部103は、記憶部102から読み出したログから、過去の所定期間における特定のイベントに関するデータを抽出し、その単位時間当たりの頻度に基づいた分布を生成する(ステップS601)。続いて、ログ分析部103はこの分布の平均および標準偏差に基づいて、理論統計分布を生成し(ステップS602)、分析対象の短期間におけるイベントの頻度に基づいた頻度分布を生成する(ステップS603)。ログ分析部103は理論統計分布と頻度分布との相関係数を算出し、相関係数の値に応じて、検知されたイベントが正常であるか異常であるかの判断を行う(ステップS604)。なお、ステップS601〜ステップS603においては、ステップS603、ステップS601、ステップS602の順に行われてもよい。
なお、上述した異常検出においては、理論統計分布の生成に用いられる過去の長期間にわたる複数の単位時間に検知されたイベントの頻度に関するデータは、ネットワークに攻撃が発生していない正常時のデータであることが望ましい。そこで、過去の長期間のデータから異常なデータを排除する手法について説明する。ログ分析部103は過去の長期間のデータに基づいて、記録された単位時間当たりの頻度の最大値の95%以上の頻度に関するデータを異常時のデータとして排除する。ログ分析部103は残りのデータを用いて、上述した処理を行う。これにより、異常検出の精度を高めることができる。データの排除に関しては、単位時間当たりの頻度の最大値の97.5%以上および2.5%以下の頻度に関するデータを排除するなどしてもよい。
図7は、上記の異常時のデータを排除するための設定例を示す参考図である。この図は、Webブラウザ30に表示される画面の例である。701〜704はユーザが設定を入力する入力欄である。ユーザは入力欄701において、ログの調査期間を入力する。また、ユーザは入力欄702において分析対象のイベントの種類を入力し、入力欄703においてグラフ化するときのプロット数を入力する。入力欄704は、上述した異常時のデータを排除するための数値を設定する欄である。例えば、入力欄704に「95」と入力されると、ログ分析部103は単位時間当たりの頻度の最大値の95%以上の頻度に関するデータを異常時のデータとして排除する。
次に、頻度に関してログ分析部103が行う不正検出について説明する。不正検出においては、ログ分析部103は、過去の攻撃時のデータに基づいて生成した理論統計分布と、分析対象の短期間のデータに基づいて生成した分布との相関度が高い場合に、分析対象の短期間において不正が発生したと判断する。例えば、相関係数の値が0.5以上の場合に不正であると判断する。ログ分析部103は、過去の長期間にわたる複数の単位時間に検知された特定のイベントの頻度に基づいて、予め設定された種類の理論統計分布を生成する。ただし、対象となる過去の長期間にわたる複数の単位時間に検知されたイベントは、ネットワークに攻撃が蔓延している攻撃時のイベントである。
このような攻撃時のイベントに関するデータは、過去の長期間におけるデータの中から攻撃と思われるデータを抽出することにより作成されたデータまたは予め作成された攻撃データである。予め作成された攻撃データを用いる場合、ログ収集部101は、コンピュータウィルスに事前に感染させたネットワークにおけるIDSから出力されたログを収集し、記憶部102へ格納する。ログ分析部103は、記憶部102からこのログを読み出し、理論統計分布を生成する。なお、コンピュータウィルスの種類ごとに、上記の攻撃データを作成するようにしてもよい。
また、過去の長期間におけるデータの中から攻撃データを抽出する場合、ログ分析部103は過去の長期間のデータに基づいて、記録された単位時間当たりの頻度の最大値の例えば95%以上の頻度に関するデータを攻撃時のデータとして使用する。
図8は、上述した不正検出を行う場合の図3のステップS304における動作を示すフローチャートである。ログ分析部103は、記憶部102から読み出したログから、過去の所定期間における特定のイベントに関する攻撃データを抽出し、その単位時間当たりの頻度に基づいた攻撃時の分布を生成する(ステップS801)。続いて、ログ分析部103はこの分布の平均および標準偏差に基づいて、理論統計分布を生成し(ステップS802)、分析対象の短期間におけるイベントの頻度に基づいた頻度分布を生成する(ステップS803)。ログ分析部103は理論統計分布と頻度分布との相関係数を算出し、相関係数の値に応じて、検知されたイベントが不正であるかどうかの判断を行う(ステップS804)。なお、ステップS801〜ステップS803においては、ステップS803、ステップS801、ステップS802の順に行われてもよい。
なお、上述した理論統計分布は予め設定された一つの理論統計分布であり、必ずしも観測された値を正確にモデル化したものとは限らない。そこで、ログ分析部103が、最適な理論統計分布を生成するようにしてもよい。ログ分析部103は、過去の長期間にわたる複数の単位時間に検知された特定のイベントの頻度に基づいて、複数の理論統計分布を生成する。
図9は過去の長期間に検知されたイベントの頻度に関する頻度分布と複数の理論統計分布とのグラフを示す参考図である。図において、横軸は1日当たりに検知されたイベントの頻度を表している。なお、頻度に関しては、複数の区間が設定され、各区間の代表値が横軸に表示されている。縦軸は各区間の頻度が発生した日数を表している。棒グラフは、過去の長期間に検知されたイベントの頻度分布であり、折れ線グラフは、5種類の理論統計分布のグラフである。5種類の理論統計分布は、正規分布(Normal)、ポアソン分布(Poisson)、Γ分布(Γ(λ=1)〜Γ(λ=3))である。なお、図9においては、前述したように、出現確率と過去の長期間における単位時間の総数とを掛け合わせ、理論的な単位時間の出現数を算出したものを理論統計分布に用いている。
ログ分析部103は、上記の複数の理論統計分布と分析対象の頻度分布との相関係数を算出する。図9には、各理論統計分布と分析対象の頻度分布との相関係数が記載されている。図9においては、ポアソン分布との相関係数が最も1に近く、理論統計分布と分析対象の頻度分布との形状が非常に似ていることがわかる。ログ分析部103は、ポアソン分布が最適な理論統計分布であると判断し、このポアソン分布の確率密度関数を用いて、前述した稀率分析、異常検出、および不正検出を行う。
次に、イベントの到着間隔または継続時間に基づいて稀率分析、異常検出、および不正検出を行う手法について述べる。図10はイベントの到着間隔を示す参考図である。図において、図面右方向が時間の流れを示している。EventαおよびEventβは特定のイベントを指している。例えば、分析対象のパラメータがAttack Signatureである場合、EventαはPort probeであり、EventβはPing sweepである。
αはEventαの到着間隔を示しており、XβはEventβの到着間隔を示している。また、XAllはEventαおよびEventβの区別をせず、全てのイベントを同種のイベントとみなした場合の到着間隔を示している。ログが図2のようなフォーマットの場合、ログ分析部103は、ある時刻に検知された特定の種類のイベントに関するStart Timeと、次に検知された同じ種類のイベントのStart Timeとの差を到着間隔とする。なお、ある時刻に検知された特定の種類のイベントに関するEnd Timeと、次に検知された同じ種類のイベントのEnd Timeとの差を到着間隔として用いてもよい。
また、イベントが検知されるごとに1行ずつイベントがログに記録される場合、ログ分析部103は同じ種類のイベントの検知時刻の差が所定時間以内ならば同じイベントが継続していると判断し、同じ種類のイベントの検知時刻の差が所定時間を超えたならば、前のイベントが終了したと判断する。そして、ログ分析部103は一続きのイベント群の先頭のイベントの検知時刻の差によって、到着間隔を求める。なお、一続きのイベント群の検知時刻の差に替えて、単一のイベント同士の検知時刻の差を到着間隔としてもよい。
図11はイベントの継続時間を示す参考図である。継続時間とは、イベントが初めて検知された時点から同じイベントが終了する時点までの時間である。図において、XαはEventαの継続時間を示しており、XβはEventβの継続時間を示している。到着間隔の場合と同様に、全てのイベントを同種のイベントとみなして継続時間を求めてもよい。ログが図2のようなフォーマットの場合、ログ分析部103は、ある時刻に検知された特定の種類のイベントに関するStart TimeとEnd Timeとの差を継続時間とする。
また、イベントが検知されるごとに1行ずつイベントがログに記録される場合、ログ分析部103は同じ種類のイベントの検知時刻の差が所定時間以内ならば同じイベントが継続していると判断し、同じ種類のイベントの検知時刻の差が所定時間を超えたならば、前のイベントが終了したと判断する。そして、ログ分析部103は一続きのイベント群の先頭のイベントの検知時刻と最後尾のイベントの検知時刻との差によって、継続時間を求める。なお、継続時間として、図2におけるCountの値を用いてもよい。すなわち、一続きのイベント群に属するイベントの数(Count)を擬似的な継続時間とする。
ログ分析部103は、単位時間あたりに検知されたイベントの頻度に基づいた分析処理と同様に、上記の到着間隔および継続時間(Countを含む)に基づいた分析処理を行う。稀率分析を行う場合、ログ分析部103は、記憶部102から読み出したログに基づいて、過去の複数の単位時間に検知されたイベントの到着間隔を算出し、到着間隔とその頻度(同一の到着間隔の数)とが対応付けられた分布を生成する。続いて、ログ分析部103はこの分布における頻度の平均と標準偏差とに基づいて理論統計分布を生成する。ログ分析部103は、理論統計分布に基づいて、到着間隔の値が分析対象のイベントの到着間隔として検知された値以上となる確率(上側稀率)および到着間隔の値が分析対象のイベントの到着間隔として検知された値以下となる確率(下側稀率)を算出する。
異常検出を行う場合、ログ分析部103は、上記と同様に理論統計分布を生成する。また、ログ分析部103は、分析対象の短期間におけるイベントの到着間隔(または継続時間)とその頻度とが対応付けられた頻度分布を生成する。ログ分析部103は理論統計分布と頻度分布との相関係数を算出し、相関係数の値に応じて、検知されたイベントが正常であるか異常であるかの判断を行う。
不正検出を行う場合、ログ分析部103は、記憶部102から読み出したログに基づいて、過去の複数の単位時間に検知されたイベントの到着間隔(または継続時間)を算出し、到着間隔とその頻度(同一の到着間隔の数)とが対応付けられた分布を生成する。この場合に用いられるイベントのデータは、攻撃時のイベントのデータである。ログ分析部103はこの分布における頻度の平均と標準偏差とに基づいて理論統計分布を生成すると共に、分析対象の短期間におけるイベントの到着間隔とその頻度とが対応付けられた頻度分布を生成する。ログ分析部103は理論統計分布と頻度分布との相関係数を算出し、相関係数の値に応じて、検知されたイベントが不正であるかどうかの判断を行う。
なお、稀率分析を行う場合に、理論統計分布を生成するのに替えて、観測値から直接上側稀率および下側稀率を算出してもよい。この場合、ログ分析部103は、記憶部102から読み出したログに基づいて、過去の複数の単位時間に検知されたイベントの到着間隔(または継続時間)を算出し、到着間隔とその頻度とが対応付けられた分布を生成する。ログ分析部103は、この分布において、分析対象のイベントの到着間隔の値以上となる到着間隔の記録数がこの分布中の到着間隔の総記録数に占める割合(上側稀率)または分析対象のイベントの到着間隔の値以下となる到着間隔の記録数がこの分布中の到着間隔の総記録数に占める割合(下側稀率)を算出する。
なお、稀率分析を行う場合に、イベントの到着間隔に基づいて算出した稀率と、イベントの継続時間に基づいて算出した稀率とに基づいて一つの稀率を算出してもよい。例えば、上記の2つの稀率を掛け合わせたものを稀率とする。あるいは、イベントの到着間隔に関する理論統計分布と、イベントの継続時間に関する理論統計分布とをそれぞれ生成し、両者の2次元分布から立体的な3次元分布を生成し、この3次元分布から稀率に該当する一部の立体を切り出し、その体積を稀率としてもよい。
なお、異常検出を行う場合に、過去の長期間にわたるデータから異常なデータを排除するようにしてもよい。さらに、理論統計分布を生成する場合に、複数の理論統計分布を生成すると共に、各理論統計分布と分析対象の頻度分布との相関係数を算出し、相関係数が最も高い理論統計分布を最適な分布として使用するようにしてもよい。
図12は過去の長期間に検知されたイベントの到着間隔の頻度に関する頻度分布と複数の理論統計分布とのグラフを示す参考図である。図において、横軸はイベントの到着間隔を表している。なお、到着間隔に関しては、複数の区間が設定され、各区間の代表値が横軸に表示されている。縦軸は各区間の到着間隔が発生した数を表している。棒グラフは、過去の長期間に検知されたイベントの到着間隔に関する頻度分布であり、折れ線グラフは、5種類の理論統計分布のグラフである。なお、図12においては、図9と同様に、出現確率と過去の長期間にわたる単位時間の総数とを掛け合わせ、理論的な単位時間の出現数を算出したものを理論統計分布に用いている。また、図12には、ログ分析部103によって算出された相関係数が示されている。図12においては、Γ分布(Γ=1)との相関係数が最も1に近く、理論統計分布と過去の長期間における到着間隔に関する頻度分布との形状が非常に似ていることがわかる。
次に、イベントの到着間隔または継続時間に基づいた不正検出の具体例について説明する。ログ分析部103は、コンピュータウィルスやワームによる自動攻撃時のデータに基づいて、理論統計分布を生成する。この理論統計分布は、相関係数を用いた比較によって選択された最適な理論統計分布である。ログ分析部103は、分析対象の短期間におけるイベントの到着間隔とその頻度とが対応付けられた頻度分布を生成し、理論統計分布と頻度分布との相関係数を算出する。ログ分析部103は、例えば相関係数の値が0.5以上の場合に、分析対象の短期間に検知されたイベントが自動攻撃による不正であると判断し、相関係数の値が0.5未満の場合にはその他であると判断する。また、分析対象の短期間が攻撃時のものであると予めわかっている場合には、相関係数の値が0.5以上の場合に、分析対象の短期間に検知されたイベントが自動攻撃による不正であると判断し、相関係数の値が0.5未満の場合には手動攻撃による不正であると判断する。
自動攻撃の場合には、連続的な攻撃が発生する。この攻撃によるイベントの到着間隔は一定に近く、継続時間は長くなるが一定に近いため、到着間隔および継続時間に関する頻度分布の分散は小さくなる。これに対し、手動攻撃の場合は、人為的に攻撃が発生するため、この攻撃によるイベントの到着間隔および継続時間は不揃いとなり、到着間隔および継続時間に関する頻度分布の分散は自動攻撃の場合よりも大きくなる。したがって、上述した手法により、イベントの到着間隔および継続時間に特徴を有する自動攻撃および手動攻撃を見分けることができる。
また、上述した手法により、コネクションレス型の通信とコネクション型の通信とによる攻撃を見分けることができる。ICMP(Internet Control Message Protocol)やUDP(User Datagram Protocol)に係るパケットによる攻撃は、攻撃相手からの返信の有無に関係なく連続的に行うコネクションレス型の通信による攻撃である。これに対し、TCP(Transmission Control Protocol)に係るパケットによる攻撃は、送信元から送信先へのパケットに対して、送信先が接続確立の確認用のパケットを送信するという通信を利用したコネクション型の通信による攻撃である。
コネクションレス型通信の場合は、無制限にパケットが送信し続けられる。また、コネクション型通信の場合には、3wayハンドシェイクと呼ばれる通信が必要になり、ネットワーク上のホストがメモリ上でハンドシェイク処理を管理する。この場合、ある一定量(例えば100コネクション)まで連続的にSYNパケットが送信され、それに対するSYN−ACKパケットが返信されるまで、例えば60秒の待機状態となる。この間はIDSに記録されない。待機後も返信がない場合には、再びSYNパケットが送信される。
分析を行う場合、ログ分析部103は、攻撃時のデータとしてコネクションレス型の通信による攻撃時のデータを用いて理論統計分布の生成を行う。ログ分析部103は理論統計分布と、分析対象の短期間に検知されたイベントの到着間隔または継続時間の頻度に関する頻度分布との相関係数を算出し、相関係数の値が0.5以上の場合に、分析対象の短期間に検知されたイベントがコネクションレス型の通信による攻撃による不正であると判断し、相関係数の値が0.5未満の場合にはその他であると判断する。コネクション型の通信による攻撃による不正を判断する手法も同様である。
次に、イベントのグループ化について説明する。上述したログの分析手法においては、分析対象のパラメータに属する1つ1つのイベントの種類を区別し、個別に分析を行う手法を中心に説明しているが、イベント単体では検知頻度が小さいため、分析が難しい場合がある。また、例えばAttack Signatureには約2000種類のイベントがあり、それらのイベントの個々に対して分析を行っていたのでは、作業工数および時間が掛かり、分析をリアルタイムに行うことが困難である。
そこで、複数のイベントをグループ化することにより、検知頻度を高め、推定精度を向上させると共に、作業工数および算出時間の低減を図ることができる。以下、グループ化の具体的手法について説明する。
まず、Attack Signatureを、通信レイヤ、攻撃目的、サービスを考慮して意味内容ごとにグループ化する手法がある。各Attack Signatureには脆弱性に関するキーが元々割り当てられており、このキーに基づいて、各イベントを意味内容ごとにグループ化する。記憶部102には、そのキーとグループとが対応付けられたテーブルが予め格納されており、ログ分析部103は、そのテーブルを参照してイベントのグループ化を行う。
また、Source/Destination IPを国単位、もしくはドメイン単位でグループ化する手法がある。ログ分析部103は、記憶部102に予め格納された、Source/Destination IPと国の識別子とが対応付けられた変換テーブルに基づいて、各イベントをグループ化する。この変換テーブルは、IANA(The Internet Assigned Numbers Authority)等で管理されているIPアドレスとドメイン表から作成することができる。
以上のようなグループ化を行う場合、ログ分析部103は所定の単位ごとにイベントをグループ化し、各グループ内のイベントと、そのグループを識別する情報との対応関係を記憶部102に格納する。ログ分析部103は、過去の長期間におけるイベントおよび分析対象の短期間におけるイベントを上記の所定の単位ごとにグループ化する。続いて、ログ分析部103は、グループ化後の各グループ内に属するイベントを同一のイベントとみなし、前述した稀率分析や、異常検出、不正検出を行う。
また、分析対象のパラメータに関して、各イベントをイベント数順に並べ替え、イベントの総数に基づいて、各グループ内の総イベント数がほぼ均等になるようにグループ化を行う手法がある。図13は、この場合のグループ化の様子を示している。図において、棒グラフの1つ1つがイベント(HTTP Port Probe、Smurf Attack・・・)を表しており、縦軸方向の棒の長さがイベント数を表している。図においては、一例として各イベントをイベント数の多い順に左から並べ、各グループ内の総イベント数がほぼ均等になるように左からG1、G2・・・とグループ名を付けた様子が示されている。
この場合、ログ分析部103はイベントをグループ化し、各グループ内のイベントと、そのグループを識別する情報との対応関係を記憶部102に格納する。このグループ化においては、ログ分析部103は以下のようにグループ化を行う。例えば、イベントを6グループに分割し、各グループ内のイベント数が総イベント数の約6分の1となるようにグループ化することにする。図13において、左のイベントからイベント数を順に加算していき、その総数が総イベント数の6分の1以上となったところで1つのグループとする。このとき、例えばイベント数の最下位の桁は四捨五入するなどの処理を行う。
あるいは、左のイベントからイベント数を加算していき、その総数が総イベント数の6分の1を超えたところで1つのグループとする。以上の方法により、1つ目のグループ化を行い、次のグループに関してはイベント数が残りのイベント数の約5分の1となるように、上述した方法と同様に2つ目のグループ化を行う。さらに次のグループに関しても同様に、イベント数が残りのイベント数の約4分の1となるように、3つ目のグループ化を行う。これを繰り返し行うことにより、イベントを6グループに分割する。なお、上述した方法は一例であり、各グループ内のイベント数がほぼ均等となるようにグループ化できれば、その方法は問わない。
また、分析対象のパラメータに関して、各イベントをイベントのID順に並べ替え、イベントの総数に基づいて、各グループ内の総イベント数がほぼ均等になるようにグループ化を行う手法がある。ここでIDとは、Attack Signatureの場合は製品ごとに決められたAttack Signature番号であり、Source/Destination Portの場合はPort番号であり、Source/Destination IPの場合はIPアドレス順位である。図14はこの場合のグループ化の様子を示している。各グループ内の総イベント数がほぼ均等になるようなグループ化の手法は図13で示されるグループ化の手法と同様である。
図において、棒グラフの1つ1つがパラメータ(HTTP Port Probe、Smurf Attack・・・)を表している。図においては、各グループ内の総イベント数がほぼ均等になるように左からG1、G2・・・とグループ名を付けた様子が示されている。この場合のログ分析装置10の動作等は動的グループ化1と同様である。この手法は、Attack Signature、Source/Destination Port、およびSource/Destination IPの分析への適用が好適である。
なお、図13および図14で示されるグループ化の説明においては、単位時間当たりのイベントの頻度を用いて説明を行ったが、イベントの到着間隔および継続時間に基づいた分析を行う際のグループ化の手法も同様である。この場合、ログ分析部103は、記憶部102から読み出したログに基づいて、過去の複数の単位時間に検知されたイベントの到着間隔を算出し、到着間隔(または継続時間)とその頻度とが対応付けられた分布を生成する。続いて、ログ分析部103は頻度の順に到着間隔を並べ、上述した手法によりグループ化を行う。
図13および図14で示されるグループ化を行う場合、ログ分析部103は、過去のある単位時間のデータに基づいてイベントのグループ化を行い、グループ化後の各グループを識別する情報と、そのグループに属するイベントを示す情報と、分割形態(分割数など)を示す情報とを記憶部102に格納する。そして、ログ分析部103は分割形態を示す情報に基づいて、残りの過去の長期間におけるイベントおよび分析対象の単位時間におけるイベントをグループ化する。続いて、ログ分析部103は、グループ化後の各グループに属するイベントを同一のイベントとみなし、前述した分析処理を行う。
なお、上述した実施形態においては、分析対象のネットワークを固定し、分析対象の短期間に検知されたイベントが過去の長期間におけるイベントに対してどの程度異常であるか、あるいは不正であるかを評価する手法を示したが、以下のような分析処理を行うこともできる。すなわち、分析対象の期間を固定したときに、特定のネットワークで検知された特定のパラメータに関するイベントが、他の複数のネットワークで検知された同じ特定のパラメータに関するイベントに対してどの程度異常であるかまたは不正であるかを評価する手法である。
以上説明したように、本実施形態によれば、理論統計分布と分析対象の分布との相関係数を算出し、相関係数が所定値以下である場合に異常であると判断することにより、異常検出を行うことができる。特に、未知の異常なイベントに対する異常検出を行うことができる。また、理論統計分布を生成する場合に、過去の長期間にわたるデータの中から異常なデータを排除することにより、異常検出の精度を高めることができる。
また、攻撃時のデータに基づいた理論統計分布と分析対象の分布との相関係数を算出し、相関係数が所定値以上である場合に不正であると判断することにより、誤検知の少ない不正検出を行うことができる。さらに、攻撃時のデータとして、ログに記録された頻度(時間値に関する頻度も含む)の最大値の例えば95%以上の頻度に関するイベントのデータを用いることにより、過去に検出されたイベントに基づいて、不正検出用の攻撃データを生成することができる。
また、イベントの到着間隔および継続時間に基づいた分析処理を行うことにより、時間的特性に特徴があるイベントの異常検出や不正検出を行うことができる。さらに、理論統計分布を生成する場合に、過去の長期間にわたるイベントに関する分布に基づいて、複数の理論統計分布を生成し、過去の長期間にわたるイベントに関する分布と理論統計分布との相関係数を算出することにより、複数の理論統計分布の中で最適な理論統計分布を選択することができる。
また、イベントのグループ化を行うことにより、個々のイベント種別ごとに分析を行う場合と比較して、分析を行う工数が低減し、管理が容易になる。また、グループ化によって分析単位が大きくなるので、より広範囲の異常度の概要を把握することができる。
以上、図面を参照して本発明の実施形態について詳述してきたが、具体的な構成はこれらの実施の形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計変更等も含まれる。例えば、上述した実施形態におけるログ分析装置は、その動作および機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータに読み込ませ、実行させることにより実現してもよい。
ここで、「コンピュータ」は、WWWシステムを利用している場合であれば、ホームページ提供環境(あるいは表示環境)も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ(RAM)のように、一定時間プログラムを保持しているものも含むものとする。
また、上述したログ分析プログラムは、このプログラムを記憶装置等に格納したコンピュータから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク(通信網)や電話回線等の通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。また、上述したログ分析プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータにすでに記録されているプログラムとの組合せで実現できるもの、いわゆる差分ファイル(差分プログラム)であってもよい。
本発明の一実施形態によるログ分析装置10を備えたネットワークの概略構成を示す概略構成図である。 同実施形態におけるログの例を示す参考図である。 同実施形態によるログ分析装置10の動作を示すフローチャートである。 同実施形態によるログ分析部103による分析処理を説明するための参考図である。 同実施形態における分析処理(稀率分析)の動作を示すフローチャートである。 同実施形態における分析処理(異常検出)の動作を示すフローチャートである。 同実施形態における異常時のデータを排除するための設定例を示す参考図である。 同実施形態における分析処理(不正検出)の動作を示すフローチャートである。 同実施形態における頻度分布と理論統計分布とのグラフを示す参考図である。 同実施形態におけるイベントの到着間隔を説明するための参考図である。 同実施形態におけるイベントの継続時間を説明するための参考図である。 同実施形態における到着間隔に関する頻度分布と理論統計分布とのグラフを示す参考図である。 同実施形態におけるイベントのグループ化を説明するための参考図である。 同実施形態におけるイベントのグループ化を説明するための参考図である。
符号の説明
10・・・ログ分析装置、20,21,22・・・IDS、30・・・Webブラウザ、101・・・ログ収集部、102・・・記憶部、103・・・ログ分析部、104・・・インタフェース部。

Claims (11)

  1. ネットワーク機器から収集したログに基づいて分析処理を行うログ分析装置において、
    前記ネットワーク機器から出力されるログを収集する収集手段と、
    過去の所定期間に前記ログに記録されたイベントの到着間隔または継続時間を示す時間値に関する第1の分布を生成する第1の生成手段と、
    前記第1の分布の平均値および標準偏差に基づいて複数の理論統計分布を生成し、前記第1の分布と前記理論統計分布との相関度を示す相関係数を算出し、該相関係数が示す相関度に応じて前記理論統計分布を選択する第2の生成手段と、
    前記第2の生成手段で選択された前記理論統計分布に基づいて、分析対象の前記イベントの前記時間値に基づいた上側稀率または下側稀率を算出する算出手段と、
    を具備することを特徴とするログ分析装置。
  2. ネットワーク機器から収集したログに基づいて分析処理を行うログ分析装置において、
    前記ネットワーク機器から出力されるログを収集する収集手段と、
    過去の所定期間に前記ログに記録されたイベントの到着間隔または継続時間を示す時間値に関する第1の分布を生成する第1の生成手段と、
    前記第1の分布の平均値および標準偏差に基づいて複数の理論統計分布を生成し、前記第1の分布と前記理論統計分布との相関度を示す第1の相関係数を算出し、該第1の相関係数が示す相関度に応じて前記理論統計分布を選択する第2の生成手段と、
    分析対象の所定期間に前記ログに記録された前記イベントの前記時間値に関する第2の分布を生成する第3の生成手段と、
    前記第2の分布と、前記第2の生成手段で選択された前記理論統計分布との相関度を示す第2の相関係数を算出する算出手段と、
    を具備することを特徴とするログ分析装置。
  3. 前記第2の相関係数が示す相関度が所定量以下の場合に、前記分析対象の所定期間に前記ログに記録された前記イベントが異常であると判定する判定手段を具備することを特徴とする請求項2に記載のログ分析装置。
  4. 前記第1の生成手段はさらに、前記第1の分布の中で、異常な前記時間値を前記第1の分布から排除することを特徴とする請求項1〜請求項3のいずれかの項に記載のログ分析装置。
  5. 前記ログに記録された複数の前記イベントをグループに分割し、同一のグループに属する前記イベントを同一のイベントとして認識するための識別情報を生成するグループ化手段を具備することを特徴とする請求項1〜請求項4のいずれかの項に記載のログ分析装置。
  6. ネットワーク機器から収集したログに基づいた分析処理をコンピュータに実行させるためのログ分析プログラムにおいて、
    前記ネットワーク機器から出力されるログを収集する収集ステップと、
    過去の所定期間に前記ログに記録されたイベントの到着間隔または継続時間を示す時間値に関する第1の分布を生成する第1の生成ステップと、
    前記第1の分布の平均値および標準偏差に基づいて複数の理論統計分布を生成し、前記第1の分布と前記理論統計分布との相関度を示す相関係数を算出し、該相関係数が示す相関度に応じて前記理論統計分布を選択する第2の生成ステップと、
    前記第2の生成ステップで選択された前記理論統計分布に基づいて、分析対象の前記イベントの前記時間値に基づいた上側稀率または下側稀率を算出する算出ステップと、
    を具備することを特徴とするログ分析プログラム。
  7. ネットワーク機器から収集したログに基づいた分析処理をコンピュータに実行させるためのログ分析プログラムにおいて、
    前記ネットワーク機器から出力されるログを収集する収集ステップと、
    過去の所定期間に前記ログに記録されたイベントの到着間隔または継続時間を示す時間値に関する第1の分布を生成する第1の生成ステップと、
    前記第1の分布の平均値および標準偏差に基づいて複数の理論統計分布を生成し、前記第1の分布と前記理論統計分布との相関度を示す第1の相関係数を算出し、該第1の相関係数が示す相関度に応じて前記理論統計分布を選択する第2の生成ステップと、
    分析対象の所定期間に前記ログに記録された前記イベントの前記時間値に関する第2の分布を生成する第3の生成ステップと、
    前記第2の分布と、前記第2の生成ステップで選択された前記理論統計分布との相関度を示す第2の相関係数を算出する算出ステップと、
    を具備することを特徴とするログ分析プログラム。
  8. 前記第2の相関係数が示す相関度が所定量以下の場合に、前記分析対象の所定期間に前記ログに記録された前記イベントが異常であると判定する判定ステップを具備することを特徴とする請求項7に記載のログ分析プログラム。
  9. 前記第1の生成ステップにおいてはさらに、前記第1の分布の中で、異常な前記時間値を前記第1の分布から排除することを特徴とする請求項6〜請求項8のいずれかの項に記載のログ分析プログラム。
  10. 前記ログに記録された複数の前記イベントをグループに分割し、同一のグループに属する前記イベントを同一のイベントとして認識するための識別情報を生成するグループ化ステップをさらに具備することを特徴とする請求項6〜請求項9のいずれかの項に記載のログ分析プログラム。
  11. 請求項6〜請求項10のいずれかの項に記載のログ分析プログラムを記録したコンピュータ読み取り可能な記録媒体。
JP2004046214A 2004-02-23 2004-02-23 ログ分析装置、ログ分析プログラムおよび記録媒体 Expired - Fee Related JP4160002B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004046214A JP4160002B2 (ja) 2004-02-23 2004-02-23 ログ分析装置、ログ分析プログラムおよび記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004046214A JP4160002B2 (ja) 2004-02-23 2004-02-23 ログ分析装置、ログ分析プログラムおよび記録媒体

Publications (2)

Publication Number Publication Date
JP2005236862A JP2005236862A (ja) 2005-09-02
JP4160002B2 true JP4160002B2 (ja) 2008-10-01

Family

ID=35019330

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004046214A Expired - Fee Related JP4160002B2 (ja) 2004-02-23 2004-02-23 ログ分析装置、ログ分析プログラムおよび記録媒体

Country Status (1)

Country Link
JP (1) JP4160002B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8354081B2 (en) 2003-04-04 2013-01-15 Texaco, Inc. Portable fuel processor apparatus and enclosure and method of installing same

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4745881B2 (ja) * 2006-04-21 2011-08-10 三菱電機株式会社 ネットワーク状態判定装置及びネットワーク状態判定方法及びネットワーク状態判定プログラム
JP5753460B2 (ja) * 2011-08-12 2015-07-22 エヌ・ティ・ティ・コムウェア株式会社 運用管理装置、運用管理方法、及び運用管理プログラム
KR101963174B1 (ko) * 2012-10-08 2019-03-28 에스케이플래닛 주식회사 보안기능을 갖는 오류 관리 시스템 및 그 제어방법
US10121156B2 (en) 2012-12-25 2018-11-06 International Business Machines Corporation Analysis device, analysis program, analysis method, estimation device, estimation program, and estimation method
JP6201614B2 (ja) 2013-10-11 2017-09-27 富士通株式会社 ログ分析装置、方法およびプログラム
JP5907225B2 (ja) * 2014-09-10 2016-04-26 日本電気株式会社 イベント推定装置、イベント推定方法、及び、イベント推定プログラム
JP6679943B2 (ja) * 2016-01-15 2020-04-15 富士通株式会社 検知プログラム、検知方法および検知装置
WO2018122889A1 (ja) 2016-12-27 2018-07-05 日本電気株式会社 異常検出方法、システムおよびプログラム
JP6671557B2 (ja) * 2017-09-21 2020-03-25 三菱電機株式会社 アラート頻度制御装置およびアラート頻度制御プログラム
US20210126933A1 (en) * 2018-06-22 2021-04-29 Nec Corporation Communication analysis apparatus, communication analysis method, communication environment analysis apparatus, communication environment analysis method, and program
KR102096785B1 (ko) * 2019-07-25 2020-04-03 주식회사 로그프레소 행위 확률 기반 웹 서버 공격 탐지 방법
CN115296986B (zh) * 2022-06-27 2024-03-22 青岛海尔科技有限公司 事件的记录方法、装置、存储介质及电子装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004220373A (ja) * 2003-01-15 2004-08-05 Mitsubishi Electric Corp 不正アクセス検知ログ情報分析支援装置、不正アクセス検知ログ情報分析支援方法及びコンピュータプログラム
JP2005203992A (ja) * 2004-01-14 2005-07-28 Intelligent Cosmos Research Institute ネットワーク異常検出装置、ネットワーク異常検出方法およびネットワーク異常検出プログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8354081B2 (en) 2003-04-04 2013-01-15 Texaco, Inc. Portable fuel processor apparatus and enclosure and method of installing same

Also Published As

Publication number Publication date
JP2005236862A (ja) 2005-09-02

Similar Documents

Publication Publication Date Title
JP4156540B2 (ja) ログ分析装置、ログ分析プログラムおよび記録媒体
US10673877B2 (en) Method and apparatus for detecting port scans in a network
Chen et al. CBF: a packet filtering method for DDoS attack defense in cloud environment
US10270803B2 (en) Method and apparatus for detecting malware infection
JP6201614B2 (ja) ログ分析装置、方法およびプログラム
JP4160002B2 (ja) ログ分析装置、ログ分析プログラムおよび記録媒体
Li et al. Automating analysis of large-scale botnet probing events
Law et al. You can run, but you can't hide: an effective statistical methodology to trace back DDoS attackers
JP4558668B2 (ja) ログ分析装置、ログ分析プログラム、および記録媒体
JP4500921B2 (ja) ログ分析装置、ログ分析方法およびログ分析プログラム
CN106254318A (zh) 一种网络攻击分析方法
KR100950079B1 (ko) 은닉마코프 모델을 이용한 확률적인 네트워크 이상징후탐지 장치 및 그 방법
Baldoni et al. Collaborative detection of coordinated port scans
JP4060263B2 (ja) ログ分析装置およびログ分析プログラム
Yu et al. Online botnet detection based on incremental discrete fourier transform
Cukier et al. A statistical analysis of attack data to separate attacks
Pouget et al. Internet attack knowledge discovery via clusters and cliques of attack traces
Sqalli et al. An entropy and volume-based approach for identifying malicious activities in honeynet traffic
Ogar Performance Evaluation of HTTP, DHCP and DNS Protocols of Data Packets for Vulnerabilities Using the Isolation Forest Algorithm
Kaushik et al. Network forensic analysis by correlation of attacks with network attributes
Zubair et al. Analysing denial of service attack traffic signature in IPv6 local network using correlation inspection
Liang et al. A passive fingerprint feature for the recognition of Cisco routers
Kim et al. BotXrayer: Exposing botnets by visualizing DNS traffic
Adhao et al. Nids designed using two stages monitoring
Kumar et al. Botnet Detection using Obscured Substantial Stochastic Modeling

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050909

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20050912

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070510

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070605

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070803

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20071010

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20071010

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20071204

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071226

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080708

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080716

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 4160002

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110725

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140725

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees