[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP2008134705A - データ処理方法及びデータ分析装置 - Google Patents

データ処理方法及びデータ分析装置 Download PDF

Info

Publication number
JP2008134705A
JP2008134705A JP2006318739A JP2006318739A JP2008134705A JP 2008134705 A JP2008134705 A JP 2008134705A JP 2006318739 A JP2006318739 A JP 2006318739A JP 2006318739 A JP2006318739 A JP 2006318739A JP 2008134705 A JP2008134705 A JP 2008134705A
Authority
JP
Japan
Prior art keywords
data
execution
history
analysis
data processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2006318739A
Other languages
English (en)
Inventor
Akihito Mizoe
彰人 溝江
Hitoshi Mizutani
仁 水谷
Atsushi Hirata
淳 平田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2006318739A priority Critical patent/JP2008134705A/ja
Priority to US11/851,457 priority patent/US8219548B2/en
Publication of JP2008134705A publication Critical patent/JP2008134705A/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/34Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3466Performance evaluation by tracing or monitoring
    • G06F11/3476Data logging

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Educational Administration (AREA)
  • Game Theory and Decision Science (AREA)
  • Development Economics (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Debugging And Monitoring (AREA)

Abstract

【課題】データ検証作業を支援し、データ検証作業に必要とする作業時間を低減及び作業量を削減する。
【解決手段】入力データを加工し、出力データを生成するプロセスを組み合わせることによって業務を処理するデータ分析装置において、プロセスの実行を分析するデータ処理方法であって、プロセスの実行履歴を記録し、プロセスが実行されるごとに、予め定義された判定指標に基づいて、プロセスの実行が異常の可能性が高いか否かを判定し、プロセスの実行が異常の可能性が高いと判定されたとき、判定指標を含む当該プロセスのプロセスログ情報を記録し、プロセスログ情報及びプロセスの実行履歴に基づいて、異常の可能性が高いプロセスをさらに分析し、分析対象のプロセスの実行が異常か否かを判定し、分析結果と分析対象のプロセスの実行履歴とを含むプロセス履歴分析情報を生成する。
【選択図】図1

Description

本発明は、入力データを加工し、出力データを生成するデータ処理技術において、データを処理するプロセスが異常か否かを検証する技術に関する。
コンビニエンスストアなどの製造から販売までの一連の業務における売上管理システムにおいて、各業務で入力された在庫量又は売上金額などのデータは、データセンターなどで集計及び加工され、在庫管理及び売上管理などに活用される。
また、加工されたデータに異常が検出されたとき、利用者はシステムが出力したログを参照するなどして、異常の状態及び原因を検証する。検証作業を支援する方法としては、例えば、検証対象のデータがどのプロセスの実行によって生成されたのかの関係を表示する方法、どのデータが異常となったかを特定することによって検証対象を絞り込む方法、そして、異常の原因となったプロセス及び生成されたデータまでの経路を特定する方法が挙げられる。
特許文献1には、任意のデータについて、生成に必要なデータとプロセスの階層構造の関係であるデータ加工履歴を導出する技術が開示されている。また、特許文献2には、売上金額のような特定のデータに関して、統計分析を用いて高精度に異常か否かを判定する技術が開示されている。さらに、特許文献3には、プラントなどの発生する異常の候補が事前に判明している分野では、異常が発生したプロセスをスコアリングすることによって、異常の原因までの経路を特定する技術が開示されている。
特開2001−331354号公報 特開平7−56890号公報 特開平6−309584号公報
しかし、特許文献1に開示された技術は、データ加工履歴の情報量が大量になると、異常が発生したプロセス又はデータの特定及び異常の発生原因の特定を含む検証作業は困難となる問題がある。
また、特許文献2に開示された技術は、売上金額などの特定のデータに対しては有効であるが、多様な種別を持つ業務データに一律に適用することは難しいという問題がある。
さらに、特許文献3に開示された技術は、業務データのようにデータによって発生する異常が異なるため、異常の候補が事前に明らかになっていない場合には、システムによってスコアリングすることが困難であり、異常の原因までの経路の特定が難しいという問題がある。
また、情報量の大きいデータ加工履歴から、どのプロセス又はどのデータが異常であり原因となったかを検証できたとしても、プロセスの実行時期又は異常の原因となったデータの生成時期などは、プロセス実行履歴などのログを1つ1つ参照しながら検証する必要があり、検証作業に多大な時間を必要とするという問題がある。
そこで、本発明は前述した問題を鑑みてなされたものであり、業務データの種別に依存しない指標によって、業務データが異常であるか否かを判定し、関連するプロセスを分析する。そして、異常に関係するプロセスのみを抽出したデータ加工履歴とプロセス実行履歴ごとに異常か否かの分析結果を表示することによって、データ検証作業を支援することを目的とする。
本発明の代表的な一形態では、入力データを加工し、出力データを生成するプロセスを組み合わせて実行することによって処理される業務で、前記プロセスの実行を分析するデータ分析装置において、前記プロセスの実行を分析するデータ処理方法であって、前記データ分析装置は、プロセッサと、前記プロセッサによってアクセス可能な記憶装置と、を備え、前記プロセッサは、前記プロセスの実行履歴を前記記憶装置に記録し、前記プロセスが実行されるごとに、予め定義された判定指標に基づいて、前記プロセスの実行が異常の可能性が高いか否かを判定し、前記プロセスの実行が異常の可能性が高いと判定されたとき、前記判定指標を含む当該プロセスのプロセスログ情報を記録し、前記プロセスログ情報及び前記プロセスの実行履歴に基づいて、前記異常の可能性が高いプロセス、及び前記異常の可能性が高いプロセスの入力データを生成するために必要な一連のプロセスを、当該プロセスの実行結果、当該プロセス間の先行関係及び当該プロセスが実行されたタイミングの少なくとも一つに着目しながら、さらに分析し、前記分析対象のプロセスの実行が異常か否かを判定し、分析結果と前記分析対象のプロセスの実行履歴とを含むプロセス履歴分析情報を生成する。
本発明の一形態によれば、異常か否かの判定及び異常の原因を特定することを含むデータ検証作業を支援し、データ検証作業に必要とする作業時間を低減及び作業量を削減することができる。
図1は、本発明の一実施形態のデータ検証支援システムの構成図である。データ検証支援システムは、図1に示すように、クライアント110、プロセスサーバ120、データ加工履歴管理サーバ160、及びストレージ装置群を含む。クライアント110、プロセスサーバ120、データ加工履歴管理サーバ160、及びストレージ装置群は、ネットワーク100を介して接続される。
ストレージ装置群は、ストレージ装置A130、ストレージ装置B140、ストレージ装置C150などの複数のストレージ装置によって構成される。なお、ストレージ装置群は、1つのストレージ装置によって構成されていてもよいし、図1に示すように複数のストレージ装置によって構成されていてもよい。
また、クライアント110、プロセスサーバ120、及びデータ加工履歴管理サーバ160は、図1に示すように、それぞれが個別の計算機に実装されていてもよいし、1つの計算機内に構成されていてもよい。さらに、ネットワーク100には、図示していない各種の計算機又は周辺機器が接続されていてもよい。
クライアント110は、ユーザ要求受付部111及び表示部112を含む。ユーザ要求受付部111は、利用者からデータ検証画面の表示要求を受け付け、データ加工履歴管理サーバ160に異常に関係するプロセスを抽出した分析済データ加工履歴の生成及び表示を要求する。表示部112は、データ加工履歴管理サーバ160が生成した異常に関係するプロセスを抽出した分析済データ加工履歴を含むデータ検証画面を表示する。
プロセスサーバ120は、1個又は複数のプロセス123の情報を保持し、プロセスの実行を管理する。プロセスサーバ120は、さらに、プロセス実行管理部121及び実行時判定部122を含む。プロセス実行管理部121は、データ加工処理手順が定義されたプロセス123の実行を管理する。実行時判定部122は、プロセス実行管理部121によるプロセス実行が異常の可能性が高いか否かを、プロセスの実行時に判定する。プロセス実行の異常とは、プロセスによって生成されたデータの値に異常である場合だけでなく、実行されたプロセスの所要時間が所定の範囲に含まれない場合なども含む。
プロセス123は、データ抽出部124、データ加工部125及びデータ格納部126を含む。データ抽出部124は、加工対象の入力元データをストレージ装置から抽出する。データ加工部125は、抽出されたデータをあらかじめ定義された手順にしたがって加工する。データ格納部126は、加工されたデータを出力先データとして、ストレージ装置に格納する。
本発明の一実施形態では、ストレージ装置群は、図1に示すように、複数のストレージ装置によって構成される。ストレージ装置A130のデータA131は、プロセス実行によって加工される入力元データ、又はプロセス実行によって生成される出力先データとなる。ストレージ装置B140のデータB141、及びストレージ装置C150のデータC151についても同様である。
データ加工履歴管理サーバ160は、クライアント110のユーザ要求受付部111からの要求を受け付け、プロセス実行の履歴を分析し、異常に関係するプロセスを抽出した分析済データ加工履歴を含むデータ検証画面を描画する。データ加工履歴管理サーバ160は、データ加工履歴生成部161、データ166、プロセス手順管理部162、しきい値管理部163、プロセスログ情報管理部164、及びプロセス履歴管理部165を含む。
データ加工履歴生成部161は、プロセスサーバ120で実行されたプロセス実行の結果を分析し、結果をクライアント110に送信し、表示させる。データ加工履歴生成部161は、データ加工履歴情報取得部171、履歴分析部172、データ加工履歴描画部176、データ生成時刻テーブル177、及び履歴分析結果テーブル178を含む。
データ加工履歴情報取得部171は、プロセスの実行手順を取得し、データ加工履歴を生成するための情報を取得する。履歴分析部172は、プロセスの実行手順、プロセス実行時において異常の可能性が高いと判定されたプロセスのログ情報、及びプロセス実行の履歴情報に基づいて、履歴情報を分析する。データ加工履歴描画部176は、分析済のデータ加工履歴を含むデータ検証画面の描画をクライアント110に指示する。
データ生成時刻テーブル177は、履歴を分析する処理において使用され、検証対象となるデータの生成時刻を格納する。履歴分析結果テーブル178は、履歴の分析結果を格納する。
履歴分析部172は、プロセスログ情報抽出部173、プロセスログ情報分析部174、及び判定指標組み合わせ分析部175を含む。プロセスログ情報抽出部173は、プロセス実行時において異常の可能性が高いと判定されたプロセスのログ情報(以下、「プロセスログ情報」)を抽出する。プロセスログ情報分析部174及び判定指標組み合わせ分析部175は、プロセスログ情報及びプロセス実行の履歴情報に基づいて、異常の可能性が高いと判定されたプロセス実行についてさらに詳細に分析する。
データ166は、プロセス実行時及びプロセス実行の履歴情報の分析処理に使用するデータである。データ166は、プロセス手順テーブル181、しきい値テーブル182、プロセスログ情報183及びプロセス履歴テーブル184を含む。
プロセス手順テーブル181は、プロセスの実行手順を格納する。プロセス履歴管理部165は、プロセス手順テーブル181に格納された、プロセスの実行手順を管理する。
しきい値テーブル182は、プロセス実行、又はプロセス実行によって生成されたデータの異常を判定する基準となるしきい値を格納する。しきい値管理部163は、しきい値テーブル182に格納されたしきい値を管理する。
プロセスログ情報183は、プロセスの実行時に、プロセスサーバ120の実行時判定部122によって、異常の可能性が高いと判定されたプロセス実行のログ情報を格納する。プロセスログ情報管理部164は、プロセスログ情報183に格納された、異常の可能性が高いと判定されたプロセス実行のログ情報を管理する。
プロセス履歴テーブル184は、プロセスの実行履歴を格納する。なお、プロセス履歴テーブル184には、プロセスが異常であるか否かにかかわらず、すべてのプロセスの実行履歴が格納される。プロセス履歴管理部165は、プロセス履歴テーブル184に格納された、プロセスの実行履歴を管理する。
図2は、本発明の一実施形態のクライアント110を示す構成図である。クライアント110は、プロセッサ201、メモリ202、ネットワークインターフェイス204、表示制御装置205、及び入力制御装置207を含む。プロセッサ201、メモリ202、ネットワークインターフェイス204、表示制御装置205、及び入力制御装置207は、内部バス203を介して接続される。
プロセッサ201は、メモリ202に記憶されたプログラムを実行することによって各種処理を実行する。メモリ202は、プロセッサ201によって実行されるプログラム及びプロセッサ201に必要とされる情報を記憶する。メモリ202に記憶するプログラムは、具体的には、図2に示すように、ユーザ要求受付部111及び表示部112となる。
ネットワークインターフェイス204は、ネットワーク100に接続される。表示制御装置205は、クライアント110に接続された表示装置206を制御する。表示装置206は、例えば、ディスプレイなどであって、データ検証画面などの情報を出力する。入力制御装置207は、クライアント110に接続された入力装置208を制御する。入力装置208は、例えば、キーボード又はマウスなどであって、データ検証画面の表示要求などの情報を入力する。
図3は、本発明の一実施形態のプロセスサーバ120を示す構成図である。プロセスサーバ120は、プロセッサ301、メモリ302、及びネットワークインターフェイス304を含む。プロセッサ301、メモリ302、及びネットワークインターフェイス304は、内部バス303を介して接続される。
プロセッサ301は、メモリ302に記憶されたプログラムを実行することによって各種処理を実行する。メモリ302は、プロセッサ301によって実行されるプログラム及び処理に必要な情報を記憶する。メモリ302に記憶されるプログラム及び情報は、具体的には、図3に示すように、プロセス実行管理部121、実行時判定部122及びプロセス123となる。ネットワークインターフェイス304は、ネットワーク100に接続される。
図4は、本発明の一実施形態のデータ加工履歴管理サーバ160の構成を示す図である。データ加工履歴管理サーバ160は、プロセッサ404、メモリ405、ネットワークインターフェイス401、及び記憶装置402を含む。プロセッサ404、メモリ405、ネットワークインターフェイス401、及び記憶装置402は、内部バス403を介して接続される。
プロセッサ404は、メモリ405に記憶されたプログラムを実行することによって、各種処理を実行する。メモリ405は、プロセッサ404によって実行されるプログラム及び処理に必要な情報を記憶する。メモリ405に記憶されるプログラムは、図4に示すように、データ加工履歴生成部161、プロセス手順管理部162、しきい値管理部163、プロセスログ情報管理部164及びプロセス履歴管理部165となる。
ネットワークインターフェイス401は、ネットワーク100に接続される。記憶装置402は、プロセッサ404によって実行されるプログラム又はデータ加工履歴管理サーバ160以外の計算機が実行するプログラムに必要とされる情報を記憶する。記憶装置402に記憶される情報は、図1に示したデータ166、すなわち、プロセス手順テーブル181、しきい値テーブル182、プロセスログ情報183及びプロセス履歴テーブル184となる。
図5は、本発明の一実施形態のプロセス手順テーブル181を示す図である。プロセス手順テーブル181は、プロセスの入力元データと出力先データとの関係を保持する。プロセス手順テーブル181は、プロセス名501、出力先502、及び入力元503を含む。
プロセス名501は、プロセスを一意に識別可能なプロセスの名称を保持する。出力先502は、プロセス実行によって生成するデータの格納先を保持する。入力元503は、プロセスが加工するデータの格納先を保持する。
プロセス手順テーブル181のレコード504は、入力元データ「データB」と「データD」と「データF」をプロセス「プロセス1」に入力すると、生成したデータを出力先データ「データA」に出力することを示している。
入力元及び出力先データは、リレーショナルデータベースのテーブル、テーブルのカラム、テーブルのレコード、又はファイルなどであって、計算機によって加工可能であって、入出力関係が定義されているデータであればよい。
また、プロセス手順テーブル181は、プロセスを実行するためにあらかじめ定義されており、本発明の一実施形態ではプロセス実行が異常か否かを判定する実行時判定部122、及びデータ加工履歴生成部161によって参照される。
図6A及び図6Bは、本発明の一実施形態のプロセス手順テーブル181に定義された手順に基づいて、プロセスを実行し、データを生成する様子を示す図である。
図6Aは、本発明の一実施形態のプロセス手順テーブル181の各プロセスと入力元データ及び出力先データとの関係が階層構造によって表現されたデータ加工履歴を示す図である。データ加工履歴は、データ及びプロセスをノードに対応させ、データの入出力関係に基づいて各ノードを連結し、最終出力データをルートノードとする木構造となる。
図6Aを参照しながら具体的に説明すると、「データA」は、ルートノードに対応し、「データB」、「データD」及び「データF」を入力元データとする「プロセス1」を実行することによって、生成及び出力される。さらに、「データB」は「データC」を入力元データとする「プロセス2」の実行によって生成及び出力される。同様に、「データD」は「データE」を入力元データとする「プロセス3」の実行によって生成及び出力され、「データF」は「データG」を入力元データとする「プロセス4」の実行によって生成及び出力される。
また、プロセス123は、バッチ処理などによって繰り返し実行され、実行ごとに対応する実行履歴を有する。したがって、データ加工履歴についても対応する実行履歴が存在する。
図6Bは、本発明の一実施形態のプロセスの実行履歴を時系列とともに表示した図である。図6Bは、図6Aに示すデータ加工履歴の一部である「プロセス1」と「プロセス2」とそれらの入出力データの関係(601及び602)を示している。
図6Bに示したプロセスの実行履歴によると、「プロセス2」は、時刻「2006/7/20 20:00」(603)に実行され、その後、さらに3回実行される。そして、「プロセス2」が計4回実行された後、「プロセス1」が時刻「2006/7/20 23:00」(604)に実行される。
「プロセス1」の実行604の完了後、「プロセス2」が時刻「2006/7/21 1:00」(605)に実行される。なお、「プロセス1」の実行604における入力元データには「プロセス2」の実行605で処理された内容は反映されていない。その後、実行される「プロセス1」の実行606における入力元データには、「プロセス2」の実行605で処理された内容が反映される。
このように、プロセス実行時の入力元データは、前回のプロセス実行の完了後、当該入力元データを出力先データとするプロセスによって生成されたデータとなる。そこで、本発明では、このようなプロセスごとの実行履歴のことを生成時刻ブロックと呼ぶ。具体的には、607及び608が「データA」の生成時刻ブロックとなる。
続いて、実行時判定部122及びデータ加工履歴生成部161において使用されるしきい値テーブル182、プロセスログ情報183、及びプロセス履歴テーブル184について説明する。
図7は、本発明の一実施形態のしきい値テーブル182を示す図である。しきい値テーブル182は、プロセス実行時にプロセスサーバ120の実行時判定部122によって異常を判定する処理において使用されるしきい値を格納する。
しきい値テーブル182は、プロセス名701、判定対象のデータ名702、判定指標703、判定指標に対応する値の平均値704、判定指標に対応する最小しきい値705及び最大しきい値706を含む。
実行時判定部122は、判定対象のデータ名702に対する判定指標703に対応する値について、平均値704、最小しきい値705及び最大しきい値706と比較してプロセス実行の異常を判定する。例えば、判定対象のデータの値と平均値704との比率を最小しきい値705及び最大しきい値706と比較し、または、判定対象のデータの値そのものを最小しきい値705及び最大しきい値706と比較する。
しきい値テーブル182のレコード707は、「プロセス1」の実行時にデータ「Table−A.損益率」に対して「データ値」を判定指標としている。さらに、判定前のデータの平均値が「96.5」であり、設定されたしきい値は最小「0.8」、最大「1.2」であることを示している。レコード707の最小しきい値及び最大しきい値は、値そのものを比較するのではなく、平均値との比率を比較することによって、異常か否かを判定する。
具体的には、集計値(データ値)が「97」であれば、平均値との比率は97/96.5=1.01となり、最小しきい値「0.8」から最大しきい値「1.2」の範囲に含まれるため、正常と判定される。一方、集計値が「138」の場合には、平均値との比率は138/96.5=1.43となり、最大しきい値「1.2」を超えるため、異常と判定される。
また、しきい値テーブル182のレコード708は、「プロセス2」の実行時にデータ「Table−B.売上個数」に対して「データ値」を判定指標としている。さらに、判定前のデータの平均値が「1232」であり、設定されたしきい値は最小「900」、最大「1800」であることを示している。レコード708の最小しきい値及び最大しきい値は、値そのものが格納されており、そのまま平均値と比較することによって、異常か否かを判定する。
具体的には、集計値(データ値)が「1300」であれば、最小しきい値「900」から最大しきい値「1800」の範囲に含まれるため、正常と判定される。一方、集計値が「800」の場合には、最小しきい値「800」に満たないため、異常と判定される。
図8は、本発明の一実施形態のプロセスログ情報183を示す図である。プロセスログ情報183は、プロセス実行時に実行時判定部122によって異常の可能性が高いと判定されたプロセス実行の履歴を格納する。プロセスログ情報183は、プロセス名801、開始時刻802、判定指標803を含む。
プロセスログ情報183のレコード804は、「2006/7/20 23:00」に実行された「プロセス1」について、「データ値」を判定指標に異常か否かを判定した結果、異常の可能性が高いと判定されたことを示している。
図9は、本発明の一実施形態のプロセス履歴テーブル184を示す図である。プロセス履歴テーブル184は、プロセス実行の履歴を蓄積する。プロセス履歴テーブル184は、プロセス名901、開始時刻902、終了時刻903、処理件数904、処理時間905及び実行回数906を含む。
プロセス名901は、プロセスを識別する名称を格納する。開始時刻902は、プロセスの実行を開始した時刻を格納する。終了時刻903は、プロセスの実行が終了した時刻を格納する。
処理件数904は、プロセス名901によって特定されるプロセスが実行開始時刻から終了時刻までの間に処理したデータの件数を格納する。処理時間905は、当該プロセスの実行開始から終了までの所要時間を格納する。実行回数906は、当該プロセスの入力元データを生成したプロセスが生成時刻ブロック内で実行された回数を格納する。
レコード907は、「プロセス1」の実行が「2005/7/20 23:00」に開始され、「2005/7/21 1:00」に終了したことを示している。さらに、「プロセス1」が実行されている間に「250」件のデータが処理され、処理時間は「2:00」であり、入力元データを生成したプロセスの実行回数は「5」回であることを示している。
次に、プロセス実行管理部121及びプロセス実行が異常か否かを判定する実行時判定部122の処理について、フローチャートを参照しながら説明する。
図10は、本発明の一実施形態のプロセス実行管理部121によってプロセスを実行する手順を示すフローチャートである。
プロセス実行管理部121は、バッチ処理などによってプロセスの実行依頼を受け付けると、プロセス手順テーブル181に格納されたプロセスの入力元データの情報に基づいて、データ抽出部124がストレージ装置から入力元データを抽出する(1001)。
データ加工部125は、予め定義されたプロセスの処理手順に従って、抽出された入力元データを加工する(1002)。実行時判定部122は、データの加工が完了すると、プロセス実行が異常の可能性が高いか否かを判定する(1003)。実行時判定部122の処理については、図11にて後述する。
データ格納部126は、実行時判定部122による判定が完了すると、プロセス手順テーブル181に格納されたプロセスの出力先の情報に基づいて、ストレージ装置に生成されたデータを格納する(1004)。
図11は、本発明の一実施形態のプロセス実行管理部121によって実行されるプロセス実行が異常の可能性が高いか否かを判定する実行時判定部122の処理のフローチャートである。
実行時判定部122は、プロセスの実行によってデータが生成された後(図10の1002)、プロセス実行の履歴情報をデータ加工履歴管理サーバ160のプロセス履歴管理部165に送信する(1101)。送信されるプロセス実行の履歴情報は、具体的には、プロセス名、開始時刻、終了時刻、処理件数、処理時間及び実行回数などである。そして、プロセス履歴管理部165は、受信したプロセス実行の履歴情報をプロセス履歴テーブル184に格納する(1101)。
次に、実行時判定部122は、プロセス実行が異常か否かを判定するために使用される判定指標をしきい値テーブル182から取得し、メモリ302に記憶する(1102)。本発明の一実施形態では、しきい値として、「データ値」、「処理件数」、「処理時間」、「実行回数」をメモリ302に記憶する。
実行時判定部122は、メモリ302に記憶され、処理されていない判定指標を抽出する(1103)。実行時判定部122は、判定指標が抽出された場合には(1104の結果が「Yes」)、しきい値テーブル182に格納されたしきい値に基づいて、プロセス実行が異常か否かを判定する(1105)。さらに、プロセス履歴テーブル184に保持されたプロセス実行の履歴情報から統計処理に基づいて、プロセス実行が異常か否かを判定する(1106)。すべての判定指標について異常を判定し、処理されていない判定指標が抽出されなかった場合には(1104の結果が「No」)、実行時判定部122の処理を終了する。
実行時判定部122は、メモリ302に記録されたすべての判定指標について、異常判定処理の実行が完了するまで、1103〜1106の処理を実行する。
図12は、本発明の一実施形態の実行時判定部122の処理において、しきい値に基づいた異常判定処理1105の手順を示すフローチャートである。
しきい値を使用した異常判定処理1105は、実行時判定部122によってメモリから抽出された判定指標に基づいて、プロセス実行が異常か否かをプロセス実行の結果としきい値とを比較することによって判定する。
実行時判定部122は、しきい値に基づいた異常判定処理1105において、データ加工履歴管理サーバ160のしきい値管理部163に、メモリ302から抽出された判定指標を送信する。しきい値管理部163は、しきい値テーブル182から受信した判定指標に対応するプロセスのしきい値情報を送信する(1201)。送信されるしきい値情報は、具体的には、平均値、最小しきい値、最大しきい値である。
実行時判定部122は、プロセスのしきい値情報を取得した場合には(1202の結果が「Yes」)、判定指標に対応するプロセス実行の結果が最小しきい値から最大しきい値までの範囲に含まれるか否かを判定する(1203)。一方、プロセスのしきい値情報を取得できなかった場合には(1202の結果が「No」)、しきい値に基づいた異常判定処理1105を終了する。
実行時判定部122は、判定指標に対応するプロセス実行の結果が最小しきい値及び最大しきい値の範囲に含まれない場合には(1203の結果が「No」)、判定されたプロセス名、プロセス実行の開始時刻、及び判定指標をデータ加工履歴管理サーバ160のプロセスログ情報管理部164に送信する。プロセスログ情報管理部164は、受信した情報をプロセスログ情報183に格納する(1204)。
また、実行時判定部122は、判定指標に対応するプロセス実行の結果が最小しきい値から最大しきい値の範囲に含まれる場合には(1203の結果が「Yes」)、当該判定指標については正常と判定され、他の判定指標に対応したしきい値情報を取得するために1201の処理に戻る。そして、判定指標に対応したプロセスのしきい値情報が存在しなくなるまで1201〜1204の処理が実行される。
ここで、図6Bのプロセス1の実行604について、しきい値による異常判定処理1105を説明する。まず、しきい値テーブル182のレコード707を参照すると、判定指標は「データ値」である。さらに、「Table−A.損益率」を判定の対象とし、加工前のデータの平均値は「96.5」、最小しきい値は「0.8」、最大しきい値は「1.2」である。
このとき、生成されたデータの値が135.2であるとすると、生成されたデータの値と平均値との比率は1.4となるため、最小しきい値と最大しきい値の範囲外となる。したがって、しきい値を使用した異常判定処理1105は、プロセス1の実行604の結果を異常と判定する。その結果、実行時判定部122は、プロセスログ情報183に「プロセス1」、「2006/7/20 23:00」、「データ値」を値として、レコード804を挿入する。
図13は、本発明の一実施形態の実行時判定部122の処理において、統計処理に基づいた異常判定処理1106の手順を示すフローチャートである。
統計処理に基づいた異常判定処理1106は、プロセス実行の履歴情報を集計し、統計処理を適用することによって、実行時判定部122によってメモリ302から抽出された判定指標に基づいて、プロセス実行が異常か否かを判定する。当該統計処理は、判定指標に対して適した計算方法であれば、特に限定する必要はない。
実行時判定部122は、統計処理に基づいた異常判定処理1106において、プロセス履歴テーブル184に格納されたプロセス実行履歴情報が取得済みか否かを確認する(1301)。
実行時判定部122は、プロセス実行履歴情報を取得済みでない場合には(1301の結果が「No」)、データ加工履歴管理サーバ160のプロセス履歴管理部165にプロセス実行履歴情報の取得を要求する。プロセス履歴管理部165は、プロセス実行履歴情報の取得要求を受信すると、プロセス履歴テーブル184から関連する情報を取得し、送信する(1302)。
実行時判定部122は、プロセス実行履歴情報を取得済みの場合には(1301の結果が「Yes」)、プロセス実行履歴情報を用いて判定指標に対応した統計処理を実行する(1303)。統計処理の結果、プロセス実行に異常の可能性が高いと判定された場合には(1304の結果が「Yes」)、判定したプロセス名とプロセス実行の開始時刻と判定指標とをデータ加工履歴管理サーバ160のプロセスログ情報管理部164に送信する。プロセスログ情報管理部164は、受信した情報をプロセスログ情報183に格納する(1305)。実行時判定部122は、プロセス実行が正常と判定された場合には(1304の結果が「No」)、異常判定処理1106を終了する。
ここで、図6Bのプロセス2の実行603について、判定指標が「処理件数」の場合の統計処理に基づいた異常判定処理1106を説明する。
統計処理に基づいた異常判定処理1106は、例えば、過去の実績値の平均との比較とすることができる。すなわち、プロセス2の実行603の処理件数「200」と、プロセス履歴テーブル184に格納された他のプロセス2の実行における処理件数の平均値(例えば、「90」とする)とを比較する。このとき、プロセス2の実行603の処理件数「200」と平均値90に差異があり、異常な処理件数であると判定する。この場合、プロセスログ情報183に、値を「プロセス2」、「2006/7/20 20:00」、「処理件数」とするレコードが挿入される。
このように、あらかじめ定義された多様な種別を有する業務データであっても一律に適用可能な判定指標を用いることによって、しきい値又は統計処理に基づいてシステムがプロセス実行について異常か否かを判定することができる。なお、統計処理は、一例として平均値との比較を例に挙げたが、それ以外の統計処理であってもよい。例えば、合計値が所定の範囲内であっても、個々の値の分散を算出したとき、所定の値よりも大きい場合を異常と判定してもよい。
以上の図10〜13で説明された処理によって生成されたプロセスログ情報183は、データ加工履歴管理サーバ160のデータ加工履歴生成部161によって実行されるプロセス実行履歴の分析に使用される。
次に、クライアント110に含まれるユーザ要求受付部111及びデータ加工履歴管理サーバ160のデータ加工履歴生成部161について説明する。ユーザ要求受付部111は、データ加工履歴管理サーバ160に対してデータ検証画面の表示要求又は判定指標を送信する。データ加工履歴生成部161は、データ検証画面の表示要求を受信すると、データ検証画面を表示する。さらに、データ加工履歴生成部161は、分析条件を受信すると、プロセス実行履歴を分析し、異常に関係するプロセスを抽出した分析済データ加工履歴を生成する。
図14は、本発明の一実施形態のプロセス実行によって生成されたデータを表示する画面1401を示す図である。画面1401は、クライアント110に接続された表示装置206に、表示部112によって表示される。
利用者は、クライアント110から表示装置206に画面1401を表示させると、データ名コンボボックス1402から参照するデータを選択する。データ名コンボボックス1402の値が選択されると、該当するデータがストレージ装置から取得され、参照データ1403として表示される。
さらに、データ検証画面表示ボタン1404を操作すると、ユーザ要求受付部111は、データ加工履歴管理サーバ160のデータ加工履歴生成部161に後述するデータ検証画面の表示要求を送信する。
図15は、本発明の一実施形態のデータ生成時刻テーブル177を示す図である。データ生成時刻テーブル177は、検証対象のデータを生成したプロセスが実行された時刻を格納する。なお、データ生成時刻テーブル177は、データ加工履歴生成部161によって管理される一時的な情報であり、メモリ405に記録される。
データ生成時刻テーブル177は、ブロックID1501及び開始時刻1502を含む。ブロックID1501は、各生成時刻ブロックを一意に識別する識別子を格納する。開始時刻1502は、データを生成したプロセスを実行した開始時刻を格納する。
データ生成時刻テーブル177は、図15に示した例では、降順でブロックID1501を付与している。なお、ブロックID1501の付与は、図15に示すように降順であってもよいし、昇順であってもよい。
図16は、本発明の一実施形態の履歴分析結果テーブル178を示す図である。履歴分析結果テーブル178は、データ加工履歴管理サーバ160の履歴分析部172による履歴分析の結果を格納する。なお、履歴分析結果テーブル178は、データ加工履歴生成部161によって管理される一時的な情報であり、メモリ405に記録される。
履歴分析結果テーブル178は、ブロックID1601、プロセス名1602、開始時刻1603、終了時刻1604、判定結果1605及び判定指標1606を含む。
ブロックID1601は、データ生成時刻テーブル177のブロックID1501に対応する識別子を格納する。プロセス名1602、開始時刻1603及び終了時刻1604は、プロセス履歴テーブル184のプロセス名901、開始時刻902及び終了時刻903に対応する。
判定結果1605は、データ加工履歴管理サーバ160の履歴分析部172による分析結果を格納する。分析結果が正常と判定された場合には、判定結果1605は「問題ありません。」と記録され、判定指標1606は空欄となる。また、履歴分析の結果が異常と判定された場合には、判定指標1606に対応する判定結果を格納する。
次に、図14に示した画面からデータ検証画面を表示するように要求した後、指定されたデータを生成するプロセスをデータ加工履歴生成部161によって分析する処理を中心に、分析結果をデータ検証画面に表示するまでの一連の流れについて説明する。
ユーザ要求受付部111は、図14の「データ検証画面表示」ボタン1404が操作されると、データ加工履歴管理サーバ160のデータ加工履歴生成部161にデータ検証画面の表示要求を送信する。また、ユーザ要求受付部111は、クライアント110の入力制御装置207から、データ検証画面の表示要求以外に、検証対象のデータをデータ加工履歴生成部161に送信する。
図17は、本発明の一実施形態のユーザ要求受付部111から要求されたプロセス実行の履歴分析とデータ検証画面の描画を指示するデータ加工履歴生成部161の処理のフローチャートである。
データ加工履歴生成部161は、クライアント110のユーザ要求受付部111から表示要求を受信すると(1701)、データ検証画面の表示要求が初回呼び出しか否かを確認する(1702)。初回呼び出しとは、例えば、図14に示した画面からデータ検証画面を表示する場合など、データ加工履歴がメモリ405に記憶されていない状態で、データ検証画面の表示要求を受信した場合である。
データ加工履歴生成部161は、データ検証画面が初回呼び出しの場合には(1702の結果が「Yes」)、データ加工履歴情報取得部171を実行し、検証対象のデータを最終出力データとするデータ加工履歴情報を取得する(1703)。すなわち、検証対象のデータをルートノードとする階層構造のデータ加工履歴情報を取得する。詳細の処理については、図18にて後述する。取得されたデータ加工履歴情報は、メモリ405に記録される。
次に、データ加工履歴生成部161は、メモリ405に記録されたデータ加工履歴情報から検証対象のデータを出力先とする分析対象プロセスを取得する(1704)。次に、プロセス履歴テーブル184から分析対象プロセスの開始時刻をすべて取得し、ブロックIDを付与してデータ生成時刻テーブル177に格納する(1705)。例えば、図15に示すデータ生成時刻テーブル177は、「プロセス1」が分析対象プロセスであり、「プロセス1」の開始時刻をすべて取得し、ブロックIDを付与して生成したテーブルである。
データ加工履歴描画部176は、1705の処理が完了すると、データ検証画面を表示する(1706)。なお、データ検証画面が初回呼び出しではない場合(1702の結果が「No」)については後述する。
図18は、本発明の一実施形態のデータ加工履歴情報取得部171の処理の手順を示すフローチャートである。データ加工履歴情報取得部171は、履歴分析に必要な分析対象となるデータのデータ加工履歴情報を取得する。
データ加工履歴情報取得部171は、プロセス手順テーブル181から各プロセスと入力元データ及び出力先データを取得し、分析対象となるデータを生成するためのプロセス及びデータによって構成された階層構造を生成する。具体的には、図6Aに示した木構造がこれに該当する。
データ加工履歴情報取得部171は、検証対象のデータをデータ加工履歴情報のルートノードとしてメモリ405に記録し(1801)、対象データとして設定する(1802)。データ加工履歴情報取得部171は、プロセス手順管理部162に要求し、プロセス手順テーブル181の対象データを出力先とする対象プロセスを取得する(1803)。
データ加工履歴情報取得部171は、取得された対象プロセスが存在する場合には(1804の結果が「Yes」)、対象データのノードを親として対象プロセスのノードをメモリ405上のデータ加工履歴情報に追加する(1805)。取得した対象プロセスが存在しない場合には(1804の結果が「No」)、データ加工履歴情報取得部171の処理を終了する。
データ加工履歴情報取得部171は、1805の処理が完了すると、対象プロセスの入力元データをプロセス手順テーブル181から抽出する(1806)。続いて、対象プロセスのノードを親として対象プロセスの入力元データのノードをメモリ405上のデータ加工履歴情報に追加する(1807)。続いて、対象プロセスの入力元データを対象データに設定し、1803の処理に戻る(1808)。
例えば、図5に示すプロセス手順テーブル181で検証対象のデータが「データA」の場合、データ加工履歴情報のルートノードは「データA」となる。さらに、対象データを「データA」、対象プロセスを「プロセス1」としたとき、入力元データである「データD」、「データB」及び「データF」が「プロセス1」を親ノードとして対応する各入力元データに対応するノードが追加される。同様に、1803〜1808のノード追加処理を繰り返すことによって、図6Aに示す階層構造のデータ加工履歴情報を取得することができる。
図19は、本発明の一実施形態のデータ検証画面1900の初期状態を示す図である。
初期状態のデータ検証画面1900は、データ検証画面の初回呼び出し時にデータ加工履歴描画部176からの描画指示をクライアント110が受信して、表示装置206に表示される。クライアント110は、データ加工履歴描画部176からの描画指示を受信すると、表示部112が表示制御装置205を介して表示装置206にデータ検証画面1900を表示する。なお、データ加工履歴描画部176による処理については図24にて後述する。
初期状態のデータ検証画面1900は、データ加工履歴部1901、分析結果部1902及び分析条件設定部1903によって構成される。データ加工履歴部1901は、データ加工履歴情報取得部171によって取得されたデータ加工履歴情報に基づいて、検証対象のデータをルートノードとしたすべてのプロセスとデータの階層構造の関係を表示する。すなわち、この段階では、本発明の特徴である異常に関係するプロセスのみを抽出するための分析は、まだ実行されていない状態である。
データ加工履歴は、データ(例えば「データA」1911)及びプロセス(例えば「プロセス1」)をノードとする階層構造によって表示される。データ加工履歴のルートノードは、データ加工履歴部1901の左端(データ加工履歴部1901の場合では「データA」1911)に表示される。各プロセスに対応するノードは、上部にプロセス名称(データ加工履歴部1901の場合では「プロセス1」1912)を表示し、下部は空欄となる(データ加工履歴部1901の場合では1913)。
分析結果部1902は、データ加工履歴部1901で選択したプロセスの分析結果を表示する画面であり、図19に示す初期状態では、分析処理が実行されていないため、何も表示されていない。
分析条件設定部1903は、「指標切り替え」チェックボックス1931及び「データ生成時刻」一覧1932を含むデータ加工履歴管理サーバ160による分析の条件設定部と「分析実行」ボタン1934によって構成される。
「指標切り替え」チェックボックス1931は、データ加工履歴管理サーバ160による履歴分析の判定指標を選択する。「データ生成時刻」一覧1932は、データ加工履歴管理サーバ160による履歴分析の対象となるデータ(データ検証画面1900の場合は「データA」1911)の生成時刻一覧を表示する。データの生成時刻一覧は、データ生成時刻テーブル177から取得された分析対象プロセスの開始時刻(データ検証画面1900の場合は、図15で示すデータ生成時刻テーブル177から取得した「データA」を生成した「プロセス1」の実行が開始された時刻)をデータの生成時刻一覧として表示する。
「分析実行」ボタン1934が操作されると、検証対象のデータと、「指標切り替え」チェックボックス1931に対応する分析の判定指標と、「データ生成時刻」一覧1932によって選択されたデータの生成時刻とをクライアント110のユーザ要求受付部111に送信する。そして、ユーザ要求受付部111は、データ加工履歴管理サーバ160のデータ加工履歴生成部161にデータ検証画面の表示要求を送信する。
例えば、利用者が「指標切り替え」チェックボックス1931で、「データ値」、「処理件数」、「処理時間」、「実行回数」すべてを選択し、「データ生成時刻」一覧1932は「2006/7/20 23:00」を選択し、「分析実行」ボタン1934を操作すると、システムはクライアント110のユーザ要求受付部111にこれらの条件を送信する。ユーザ要求受付部111によって実行される処理については後述するが、このように利用者が選択した条件を受け付けることによって、利用者の観点に応じた分析を実行し、分析結果をデータ検証画面に表示することができる。
ここで、再び図17の説明に戻る。データ加工履歴生成部161は、データ検証画面の呼び出しが初回呼び出しでない場合には(1702の結果が「No」)、クライアント110のユーザ要求受付部111から検証対象のデータと、利用者によって選択された判定指標及び生成時刻と、選択プロセスを受信する(1706)。次に、データ加工履歴生成部161は、ユーザ要求受付部111から受信した検証対象のデータの生成時刻に基づいて、データ生成時刻テーブル177から分析対象のブロックIDを取得する(1707)。
続いて、データ加工履歴生成部161は、履歴分析部172によって検証対象のデータの履歴分析を実行する(1708)。さらに、データ加工履歴描画部176を実行することによって、分析済のデータ加工履歴を含むデータ検証画面を表示する(1709)。以下、データ加工履歴生成部161によって実行する履歴分析部172の処理について説明する。
図20は、本発明の一実施形態のデータ加工履歴生成部161によって実行されるプロセス実行の履歴を分析する履歴分析部172の処理手順を示すフローチャートである。履歴分析部172は、プロセス実行時の異常判定の結果と、プロセスの実行履歴からプロセス実行が異常か否かを分析する。
履歴分析部172は、履歴分析結果テーブル178に分析対象のブロックIDに対応したレコードが格納されているか否かを確認する(2001)。ブロックIDに対応したレコードが格納されている場合には(2001の結果が「Yes」)、既に、当該ブロックIDに該当する生成時刻ブロックでは、履歴の分析が完了しているため、処理を終了する。
履歴分析部172は、ブロックIDに対応したレコードが存在しない場合には(2001の結果が「No」)、分析対象のブロックIDについて履歴を分析する。履歴分析部172は、まず、データ生成時刻テーブル177から分析対象のブロックIDに対応する開始時刻を取得し、プロセス履歴管理部165に要求してプロセス履歴テーブル184から分析対象プロセスの開始時刻から終了時刻までに対応するレコードを取得し、分析対象プロセスの生成時刻ブロックとする。さらに、履歴分析結果テーブル178に取得したブロックID、プロセス名、開始時刻及び終了時刻を格納する(2002)。なお、2002の処理の時点では、履歴分析結果テーブル178に挿入されるレコードの判定結果1605の値を「問題ありません。」とし、判定指標を空欄とする。
続いて、履歴分析部172はクライアント110のユーザ要求受付部111から受信した分析の判定指標が存在するか否かを確認する(2003)。判定指標が存在する場合には(2003の結果が「Yes」)、プロセスログ情報抽出部173の処理を実行し(2004)、さらにプロセスログ情報分析部174の処理を実行する(2005)。プロセスログ情報抽出部173の処理の詳細は、図21にて後述する。また、プロセスログ情報分析部174の処理の詳細は、図22にて後述する。判定指標が存在しない場合には(2003の結果が「No」)、履歴分析部172の処理を終了する。また、2005の処理が完了すると、履歴分析部172の処理は終了する。
図21は、本発明の一実施形態の履歴分析部172によって起動されるプロセス実行時の判定処理の結果を抽出するプロセスログ情報抽出部173の処理手順を示すフローチャートである。
プロセスログ情報抽出部173は、履歴分析部172から分析対象プロセスを受信する(2101)。次に、プロセスログ情報抽出部173は、処理が完了していない分析対象プロセスが存在するか否かを判定する(2102)。すべての分析対象プロセスの処理が完了していない場合には(2102の結果が「Yes」)、プロセスログ情報管理部164に要求して、プロセスログ情報183から分析対象プロセスのプロセス名、開始時刻、及び判定指標を取得する(2103)。すべての分析対象プロセスに対して処理が完了した場合には(2102の結果が「No」)、プロセスログ情報抽出部173の処理を終了する。
プロセスログ情報抽出部173は、2103の処理が完了すると、プロセスログ情報が存在する場合には(2104の結果が「Yes」)、履歴分析結果テーブル178のプロセス名と開始時刻が一致するレコードに判定結果を格納する(2105)。プロセスログ情報が存在しない場合には(2104の結果が「No」)、2102の処理に戻る。
プロセスログ情報抽出部173は、2105の処理が完了すると、メモリ405に記録されたデータ加工履歴情報からプロセスの入力元データを出力先とするプロセスを分析対象プロセスとして抽出する(2106)。プロセスログ情報抽出部173は、すべての分析対象プロセスに対して処理が完了するまで、2102〜2106の処理を繰り返す。
例えば、分析対象プロセスが「プロセス1」であって、取得されたプロセスログ情報に図8に示すプロセスログ情報183のレコード804が含まれる場合、プロセスログ情報抽出部173は、図16に示す履歴分析結果テーブル178のレコード1607に判定結果を格納する。格納される判定結果は、プロセスログ情報183のレコード804の判定指標が「データ値」であるので、判定結果1605は「データ値に異常が検出されました。」となり、判定指標1606は「データ値」となる。なお、異常が検出されていないプロセスについては、前述したようにあらかじめ、判定結果1605は「問題ありません。」、判定指標1606は空欄となっている。
プロセスログ情報抽出部173によって生成された履歴分析結果テーブル178は、プロセスの実行履歴(プロセス履歴テーブル184)にプロセス実行時の異常判定の結果(プロセスログ情報183)を合併したものとなる。さらに、プロセスログ情報抽出部173の処理の後、プロセスログ情報分析部174の処理によってさらに詳細にデータ加工履歴を分析し、履歴分析結果テーブル178の判定結果が異常と判定されたレコードについて、本当に異常か否かを分析する。
図22は、本発明の一実施形態の履歴分析部172から起動されるプロセス実行時の判定結果とプロセスの実行履歴とを用いて異常か否かを分析するプロセスログ情報分析部174の処理手順を示すフローチャートである。
次に、プロセスログ情報分析部174は、履歴分析部172から分析対象プロセスを受信する(2201)。次に、処理が完了していない分析対象プロセスが存在するか否かを判定する(2202)。
プロセスログ情報分析部174は、すべての分析対象プロセスの処理が完了していない場合には(2202の結果が「Yes」)、履歴分析結果テーブル178から分析対象プロセスのプロセスログ情報として判定結果及び判定指標を取得する(2203)。すべての分析対象プロセスに対して処理が完了した場合には(2202の結果が「No」)、プロセスログ情報分析部174の処理を終了する。
プロセスログ情報分析部174は、2203の処理が完了すると、取得した判定指標の種別に基づいて分析指標を設定する。2204の処理において、判定指標が「処理件数」の場合には分析指標を処理件数に設定する(2205)。同様に、判定指標が「処理時間」の場合には分析指標を処理時間に設定し(2206)、判定指標が「実行回数」の場合には分析指標を実行回数に設定する(2207)。そして、それぞれの場合について、判定指標組み合わせ分析部175を実行する(2208)。判定指標組み合わせ分析部175の実行が完了すると、判定指標組み合わせ分析部175は、2203の処理に戻る。判定指標組み合わせ分析部175の処理の詳細は、図23にて後述する。
なお、2204の処理において判定指標が「その他」の場合、2203の処理に戻る。本発明の一実施形態では、判定指標が「データ値」の場合が該当する。また、判定指標に値が設定されていない場合には、判定指標組み合わせ分析部175は、メモリ405に記録されたデータ加工履歴情報からプロセスの入力元データを出力先とするプロセスを新たな分析対象プロセスとして抽出し(2209)、2202の処理に戻る。判定指標に値が設定されていない場合とは、例えば、プロセスが正常に処理された場合である。
図23は、本発明の一実施形態のプロセスログ情報分析部174によって起動され、分析の判定指標に応じて他の判定指標と組み合わせて異常か否かを分析する判定指標組み合わせ分析部175の処理手順を示すフローチャートである。
判定指標組み合わせ分析部175は、プロセスログ情報分析部174によって設定された分析指標の種別を組み合わせて分析するために、比較プロセスを設定する。2301の処理において、分析指標の種別が「処理件数または処理時間」の場合には、分析対象プロセスを比較プロセスに設定する(2302)。また、分析指標の種別が「実行回数」の場合には、データ加工履歴情報に基づいて、分析対象プロセスの入力元データを出力先とするプロセスを取得し、取得されたプロセスを比較プロセスに設定する(2303)。なお、比較プロセスとは、分析対象プロセスの判定指標と組み合わせて分析される、もう一方の判定指標である組み合わせ指標によって比較されるプロセスである。
判定指標組み合わせ分析部175は、2302又は2303の処理が完了すると、履歴分析結果テーブル178から比較プロセスの開始時刻を取得し、比較プロセスの一時生成時刻ブロックとしてブロックIDを付与してメモリに格納する。そして、組み合わせ指標を処理件数及び処理時間で初期化する(2304)。
判定指標組み合わせ分析部175は、分析が完了していない組み合わせ指標を抽出する(2305)。分析が完了していない組み合わせ指標が残っている場合には(2306の結果が「Yes」)、プロセス履歴管理部165に要求して、プロセス履歴テーブル184から比較プロセスについて一時生成時刻ブロックごとのレコードを取得し、組み合わせ指標の各合計値を計算する(2307)。そして、判定指標組み合わせ分析部175は、分析対象プロセスの一時生成時刻ブロックにおける合計値と、計算された比較プロセスの一時生成時刻ブロックごとの各合計値を比較判定する(2308)。
なお、すべての組み合わせ指標について分析が完了した場合には(2306の結果が「No」)、判定指標組み合わせ分析部175の処理を終了する。
2308の処理が完了すると、判定指標組み合わせ分析部175は、比較判定結果によってプロセス実行が異常であるか否かを確認する(2309)。比較判定結果が正常であった場合には(2309の結果が「No」)、分析対象プロセスの分析結果を問題なしとして履歴分析結果テーブル178を更新し、2305の処理に戻る(2310)。また、比較判定結果が異常であった場合には(2309の結果が「Yes」)、2305の処理に戻る。
具体的に説明すると、図22及び図23の処理において、例えば、分析対象プロセスが「プロセス2」であるとき、図22の2203の処理で履歴分析結果テーブル178からレコード1609がプロセスログ情報として取得される。そして、判定指標は「処理件数」であることから2205の処理が実行され、2208の処理で判定指標組み合わせ分析部175が実行される。
この場合、図23の2301の処理では分析指標の種別が「処理件数」であるので2302の処理が実行され、比較プロセスには分析対象プロセスが設定される。このとき、判定指標組み合わせ分析部175の2304〜2309の処理では、比較プロセスの一時生成時刻ブロックごとの処理件数の合計値を比較判定する。例えば、図6Bの生成時刻ブロック607の合計値が430であって、生成時刻ブロック608の処理件数の合計値が400である場合、一時生成時刻ブロックごとの処理件数の合計値の比較判定ではプロセス実行の結果が異常と判定されない。このような場合には、プロセス実行の判定結果は処理件数に異常があるとなっているが、分析対象プロセスの履歴分析結果テーブル178のレコード1609を異常なしと判定する。そして、判定結果1605を「問題ありません。」に、判定指標1606を空欄に更新する。
ここで、さらに具体例を挙げて説明する。あるコンビニエンスストアにおける、○×商品の発注個数データを例とする。○×商品の発注は任意に行われるが、在庫一覧のプロセス実行による集計処理は、毎日の夜間処理によって実行されるものとする。また、各発注個数についても、発注個数を集計するプロセスによって算出されるものとする。
○×商品の発注は、1日目は、500個、600個、600個の3回であって、2日目は1500個、100個の2回、3日目は、1500個、1500個、600個の3回とする。なお、集計処理は、すべての発注処理が終了してから実行されたものとする。
また、各発注処理のデータ値を発注個数としたとき、しきい値(例えば、最大1000個、最小300個の範囲)からはずれた値が異常と判定されるものとする。したがって、2日目の1500個及び100個、3日目の2回の1500個の発注は、各個別の発注として判定されたとき、異常と判定される。
ここで、分析時には異常と検出されたプロセス実行と、履歴中の他のプロセス実行を集計処理が行われる単位時間あたり(一時生成時刻ブロック)の処理件数の合計値の平均と比較して異常か否かを分析する。しきい値は、合計の平均値と異常と検出された合計値の比率1.9以内とする。
前述した○×商品の発注を例とすると、2日目の発注総数は単位時間あたりのデータ(1600個/日)が1日目の単位時間あたりの合計値の平均(1700個/日)がしきい値(比率1.9)の範囲内であるため、異常でないと判定することができる。すなわち、2日目の1500個及び100個の発注は、異常でないと判定することができる。
一方、3日目のデータ(3600個/日)は、2日目までの平均(1650個/日)からのしきい値の範囲を超えるため、異常と判定することができる。
以上のように、図22及び図23の処理を実行することによって、プロセス実行の異常か否かの判定結果を他の判定指標又は前後のプロセス実行の結果と組み合わせて、より詳細に異常か否かを分析することができる。
プロセスログ情報分析部174によって、さらに詳細に分析された履歴分析結果テーブル178は、データ検証画面1900におけるデータ加工履歴部1901の各プロセス下部に表示する異常件数を取得するために使用される。なお、分析されていない状態のデータ加工履歴部1901では、図19の1913に示すように空欄となっている。
また、データ加工履歴部1901で選択されたプロセスについて分析結果部1902に表示する分析結果の情報を取得するために使用される。なお、分析されていない対象プロセスのデータ検証画面1900では、図19に示すように、分析結果部1902には何も表示されていない。
図24は、本発明の一実施形態のデータ加工履歴生成部161によって起動され、クライアント110にデータ検証画面の描画を指示するデータ加工履歴描画部176の処理手順を示すフローチャートである。
データ加工履歴描画部176は、まず、データ検証画面の初回呼び出しか否かを確認する(2401)。初回呼び出しの場合には(2401の結果が「Yes」)、メモリ405に記録されたデータ加工履歴情報のすべてのプロセスとデータによって構成されるデータ加工履歴を抽出し、クライアント110の表示部112に描画を指示し(2402)、処理を終了する。このとき、描画指示されるデータ検証画面は、図19で示されたデータ検証画面1900となる。
一方、データ加工履歴描画部176は、初回呼び出しでない場合には(2401の結果が「No」)、メモリ405に記録されたデータ加工履歴情報のうち履歴分析結果テーブル178の分析対象のブロックIDに対応する分析結果から、異常と分析されたプロセスを含むパスのみで構成されるデータ加工履歴を抽出する(2403)。
さらに、データ加工履歴描画部176は、履歴分析結果テーブル178の分析対象のブロックIDに対応する分析結果に基づいて、異常と分析された件数を異常件数としてプロセスごとに抽出する(2404)。
続いて、データ加工履歴描画部176は、抽出したデータ加工履歴と異常件数を分析済データ加工履歴としてクライアント110の表示部112に描画指示を送信する(2405)。
次に、データ加工履歴描画部176は、クライアント110のユーザ要求受付部111から受信した選択プロセスが存在するか否かを確認する(2406)。データ加工履歴描画部176は、選択プロセスが存在する場合には(2406の結果が「Yes」)、選択プロセスについて履歴分析結果テーブル178から取得した分析結果をクライアント110の表示部112に描画指示を送信する(2407)。選択プロセスが存在しない場合には(2406の結果が「No」)、データ加工履歴描画部176の処理を終了する。
次に、データ検証画面の初回呼び出しではない場合にデータ加工履歴描画部176がクライアント110の表示部に描画指示をしたデータ検証画面について説明する。
図25は、本発明の一実施形態のデータ検証画面1900を示す図である。
データ検証画面1900は、データ加工履歴描画部176から送信された描画指示をクライアント110の表示部112が受信し、表示制御装置205を介して表示装置206に表示された画面である。
データ検証画面1900は、分析済データ加工履歴を表示するデータ加工履歴部1901と分析結果部1902と分析条件設定部1903から構成される。
データ加工履歴部1901は、データ加工履歴管理サーバ160によって分析され、異常に関係するプロセスを含むパスのみを抽出した分析済データ加工履歴の情報を表示する。例えば、図25のデータ加工履歴部1901の場合には、メモリ405に記録されたデータ加工履歴情報のうち、図16で示した履歴分析結果テーブル178の判定結果1605によって異常と分析されたプロセスと、当該プロセスについての異常件数を抽出し、抽出されたプロセスのみを含むパスを分析済データ加工履歴の情報とする。
そして、データ加工履歴部1901には、異常に関係するデータ(例えば「データA」2511)とプロセス(例えば「プロセス1」2512)の階層構造の関係を表示する。したがって、分析済データ加工履歴は、ルートノードを左端の「データA」2511とし、「データA」から異常と分析されたプロセス「プロセス1」、「プロセス2」、「プロセス3」及び「プロセス4」のみを含むパスから構成する階層構造の関係となる。
また、各プロセスは、上部にプロセス名称(分析済のデータ加工履歴部1901の場合では「プロセス1」2512)、下部に抽出した異常件数(分析済のデータ加工履歴部1901の場合では「異常:1件」2513)が表示される。つまり、異常に関係するプロセスは「プロセス1」で異常件数は1件、「プロセス2」で異常件数は7件、「プロセス3」で異常件数は10件、及び「プロセス4」で異常件数は3件である。
なお、「プロセス2」254は、選択状態となっており、分析結果部1902に分析結果が表示されるプロセスであることを示している。
このように分析済のデータ加工履歴部1901は、図19で示したデータ加工履歴部1901とは異なり、「データA」を生成するために実行されたすべてのプロセスのデータ加工履歴を表示せずに異常に関係するプロセスのみを表示する。
したがって、分析済のデータ加工履歴部1901を表示することによって、利用者は、異常に関係するプロセスが何であるか、各プロセスの実行履歴で異常と分析された件数を認識することができ、検証作業の対象となるプロセスを絞り込むことができる。
分析結果部1902は、分析済のデータ加工履歴部1901のプロセス(例えば、2512又は2514)が選択されている場合、当該プロセスの分析結果を表示する。図25に示すように、分析済のデータ加工履歴部1901では「プロセス2」2514が選択されており、分析結果部1902にはプロセス2の分析結果が表示される。
詳細には、分析結果部1902は、どのプロセスの分析結果を表示しているかを示し(2521)、分析結果の一覧2522を表示する。分析結果の一覧2522は、テーブル形式で表示され、開始時刻2523、終了時刻2524、及び分析結果2525をカラムとする。各カラムには、図24に示したデータ加工履歴描画部176の2407の処理によって履歴分析結果テーブル178から取得された情報を表示する。履歴分析結果テーブル178とは、開始時刻2523には開始時刻1603、終了時刻2524には終了時刻1604、分析結果2525には判定結果1605のカラムがそれぞれ対応する。例えば、分析結果の一覧2522のレコード2526について、「2006/7/20 22:00」に実行を開始し「2006/7/20 22:50」に終了したプロセス2は、分析の結果「問題ありません。」と表示され、異常が抽出されなかったことを示す。
一方、分析結果の一覧2522のレコード2527には、「2006/7/20 21:30」に実行が開始され、「2006/7/20 22:00」に終了したプロセス2は、分析結果が「データ値に異常が検出されました。」となっていることが表示されている。すなわち、当該プロセスでは、データ値を判定指標に分析した結果、異常が抽出されたことを示している。
分析済のデータ加工履歴部1901の「プロセス2」2514の下部に表示された「異常:7件」は、分析結果の一覧2522のレコード2527に示すような異常が抽出されたレコードの件数を表示している。
このように各プロセスの分析結果部1902を表示することによって、利用者は異常に関係するプロセスのうち、いつ実行されたプロセスに異常が発生したかを判断し、検証することができる。
分析条件設定部1903は、図19で示した分析条件設定部1903と同様である。図25の分析条件設定部1903において、「分析実行」ボタン1934を操作すると、クライアント110は、判定指標を「データ値」「処理件数」「処理時間」「実行回数」とし、分析対象のデータ生成時刻を「2006/7/20 23:00」として、ユーザ要求受付部111に送信する。
本発明の一実施形態によれば、分析条件である判定指標及び生成時刻を指定し、プロセス実行時に判定された異常の可能性が高いプロセスの情報であるプロセスログ情報と蓄積された履歴情報に基づいて、検証対象のデータを分析する。そして、異常に関係するプロセスのみのデータ加工履歴及び実行履歴を抽出し、データ検証画面に表示する。
データ検証画面には、異常に関係するプロセスのみが抽出されたデータ加工履歴の画面が表示されるため、利用者は異常に関係するプロセスが何であるか、各プロセスの異常と分析された件数を把握し、データを検証するプロセスの対象を絞り込むことができる。また、データ検証画面には、各プロセスの実行履歴に対する分析結果が表示されているため、利用者は異常が発生したプロセスが実行された時期を特定することが可能となり、検証すべきプロセスを容易に判断することができる。さらに、データ検証画面には、分析の条件を設定可能な分析条件設定の画面が表示されているため、利用者の観点に応じて分析された検証結果を表示することが可能である。
したがって、本発明の一実施形態によれば、生成されたデータ検証画面によって、利用者が異常に関係するプロセスを絞り込み、異常の発生原因となったプロセスの実行時期を判断することをシステムが支援し、データ検証作業の作業時間を低減することができる。
本発明の一実施形態では、プロセスサーバ120の実行時判定部122及びデータ加工履歴管理サーバ160の履歴分析部172において、「データ値」、「処理件数」、「処理時間」、「実行回数」の4つの判定指標がシステムであらかじめ定義されている。データ検証支援システムでは、別の判定指標をプラグインとしてシステムに追加することも可能である。
例えば、追加する判定指標は、生成されたデータの「データサイズ」であってもよい。具体的には、図11の1102の処理において、プロセスサーバ120の実行時判定部122に初期化する判定指標に「データサイズ」を加える。また、データ加工履歴管理サーバ160のプロセスログ情報分析部174が、図22の2204の処理の判定指標の種別に基づく分岐において「データサイズ」を分析指標に設定し、判定指標組み合わせ分析部175の2301の処理において「データサイズ」を組み合わせて分析可能なプラグインを追加することによって対応が可能となる。
本発明の一実施形態では、プロセス実行時の異常判定を、しきい値に基づいた異常判定処理1105及び統計処理に基づいた異常判定処理1106によって実行しているが、前述の2種類以外の判定処理をプラグインとして追加することも可能である。
例えば、図1に示すシステム構成図に新たに知識ベースを接続し、ルールベースと推論エンジンによって判定指標「信頼度」を使用して判定するプラグインを実行時判定部122に追加することによって対応することができる。
本発明の一実施形態では、プロセスサーバ120の実行時判定部122によるプロセス実行時の異常判定処理を、多様な種別を持つ業務データに一律に適用可能なものとしている。データ加工履歴管理サーバ160の履歴分析部172の処理において、判定結果を分析指標として使用することによって、特定の業務データに依存する判定処理を実行することも可能である。この場合には、特定の業務データに依存する判定処理のプラグインを実行時判定部122に追加することによって対応が可能となる。
本発明の一実施形態では、データ加工履歴管理サーバ160の履歴分析部172において、プロセスログ情報抽出部173及びプロセスログ情報分析部174によってプロセス実行を分析したが、さらにプロセス実行時に記録されたプロセスログ情報と履歴情報とを組み合わせて使用する分析方法を履歴分析部172にプラグインとして追加することも可能である。プラグインを追加することによって、異常に関係するプロセスをより検証対象のデータに適応させて抽出することができる。
例えば、前後のプロセス実行の関係に着目し、分析対象のプロセス実行が異常とは判定されていないが、生成時刻ブロックの前後に実行したプロセスがどちらも異常であった場合には、異常である可能性が高いとし、異常と判定する分析処理のプラグインを追加してもよい。また、異常となるプロセス実行のパターンがあらかじめ判明している分野であれば、パターンと照合し、異常なプロセス実行を抽出する分析処理のプラグインを追加することも可能である。
本発明の一実施形態のデータ検証支援システムの構成図である。 本発明の一実施形態のクライアントを示す構成図である。 本発明の一実施形態のプロセスサーバを示す構成図である。 本発明の一実施形態のデータ加工履歴管理サーバの構成を示す図である。 本発明の一実施形態のプロセス手順テーブルを示す図である。 本発明の一実施形態のプロセス手順テーブルの各プロセスと入力元データ及び出力先データとの関係が階層構造によって表現されたデータ加工履歴を示す図である。 本発明の一実施形態のプロセスの実行履歴を時系列とともに表示した図である。 本発明の一実施形態のしきい値テーブルを示す図である。 本発明の一実施形態のプロセスログ情報を示す図である。 本発明の一実施形態のプロセス履歴テーブルを示す図である。 本発明の一実施形態のプロセス実行管理部によってプロセスを実行する手順を示すフローチャートである。 本発明の一実施形態のプロセス実行管理部によって実行されるプロセス実行が異常か否かを判定する実行時判定部の処理のフローチャートである。 本発明の一実施形態の実行時判定部の処理において、しきい値に基づいた異常判定処理の手順を示すフローチャートである。 本発明の一実施形態の実行時判定部の処理において、統計処理に基づいた異常判定処理の手順を示すフローチャートである。 本発明の一実施形態のプロセス実行によって生成されたデータを表示する画面を示す図である。 本発明の一実施形態のデータ生成時刻テーブルを示す図である。 本発明の一実施形態の履歴分析結果テーブルを示す図である。 本発明の一実施形態のユーザ要求受付部から要求されたプロセス実行の履歴分析とデータ検証画面の描画を指示するデータ加工履歴生成部の処理のフローチャートである。 本発明の一実施形態のデータ加工履歴情報取得部の処理の手順を示すフローチャートである。 本発明の一実施形態のデータ検証画面の初期状態を示す図である。 本発明の一実施形態のデータ加工履歴生成部によって実行されるプロセス実行の履歴を分析する履歴分析部の処理手順を示すフローチャートである。 本発明の一実施形態の履歴分析部によって起動されるプロセス実行時の判定処理の結果を抽出するプロセスログ情報抽出部の処理手順を示すフローチャートである。 本発明の一実施形態の履歴分析部から起動されるプロセス実行時の判定結果とプロセスの実行履歴とを用いて異常か否かを分析するプロセスログ情報分析部の処理手順を示すフローチャートである。 本発明の一実施形態のプロセスログ情報分析部によって起動され、分析の判定指標に応じて他の判定指標と組み合わせて異常か否かを分析する判定指標組み合わせ分析部の処理手順を示すフローチャートである。 本発明の一実施形態のデータ加工履歴生成部によって起動され、クライアントにデータ検証画面の描画を指示するデータ加工履歴描画部の処理手順を示すフローチャートである。 本発明の一実施形態のデータ検証画面を示す図である。
符号の説明
110 クライアント
111 ユーザ要求受付部
112 表示部
120 プロセスサーバ
121 プロセス実行管理部
122 実行時判定部
123 プロセス
130 ストレージ装置A
131 データA
140 ストレージ装置B
141 データB
150 ストレージ装置C
151 データC
160 データ加工履歴管理サーバ
161 データ加工履歴生成部
162 プロセス手順管理部
163 しきい値管理部
164 プロセスログ情報管理部
171 データ加工履歴情報取得部
172 履歴分析部
173 プロセスログ情報抽出部
174 プロセスログ情報分析部
175 判定指標組み合わせ分析部
176 データ加工履歴描画部
177 データ生成時刻テーブル
178 履歴分析結果テーブル
181 プロセス手順テーブル
182 しきい値テーブル
183 プロセスログ情報
184 プロセス履歴テーブル

Claims (14)

  1. 入力データを加工し、出力データを生成するプロセスを組み合わせて実行することによって処理される業務で、前記プロセスの実行を分析するデータ分析装置において、前記プロセスの実行を分析するデータ処理方法であって、
    前記データ分析装置は、プロセッサと、前記プロセッサによってアクセス可能な記憶装置と、を備え、
    前記プロセッサは、
    前記プロセスの実行履歴を前記記憶装置に記録し、
    前記プロセスが実行されるごとに、予め定義された判定指標に基づいて、前記プロセスの実行が異常の可能性が高いか否かを判定し、
    前記プロセスの実行が異常の可能性が高いと判定されたとき、前記判定指標を含む当該プロセスのプロセスログ情報を記録し、
    前記プロセスログ情報及び前記プロセスの実行履歴に基づいて、前記異常の可能性が高いプロセス及び前記異常の可能性が高いプロセスの入力データを生成するために必要な一連のプロセスを、当該プロセスの実行結果、当該プロセス間の先行関係及び当該プロセスが実行されたタイミングの少なくとも一つについて、さらに分析し、前記分析対象のプロセスの実行が異常か否かを判定し、分析結果と前記分析対象のプロセスの実行履歴とを含むプロセス履歴分析情報を生成することを特徴とするデータ処理方法。
  2. 前記プロセッサは、前記予め定義された判定指標に基づいて、少なくともしきい値又は統計処理の一方を用いることによって、前記実行されたプロセスを異常の可能性が高いか否かを判定することを特徴とする請求項1に記載のデータ処理方法。
  3. 前記プロセッサは、
    前記分析対象プロセスの出力データが生成された時刻の指定を受け付け、
    前記指定された時刻における、前記プロセス履歴分析情報を生成することを特徴とする請求項1に記載のデータ処理方法。
  4. 前記プロセッサは、前記指定された時刻以外の時刻に同じ処理を実行するプロセスの実行履歴に基づいて、前記分析対象プロセスの実行を分析し、前記指定された時刻における、前記プロセス履歴分析情報を生成することを特徴とする請求項3に記載のデータ処理方法。
  5. 前記プロセッサは、
    前記判定指標の選択を受け付け、
    前記選択された判定指標に基づいて、前記プロセス履歴分析情報を生成することを特徴とする請求項1に記載のデータ処理方法。
  6. 前記プロセッサは、前記予め定義された複数の判定指標を組み合わせて、前記分析対象のプロセスの実行が異常か否かを判定し、前記プロセス履歴分析情報を生成することを特徴とする請求項1に記載のデータ処理方法。
  7. 前記データ分析装置は、前記プロセスの実行情報の分析結果を出力する出力装置をさらに備え、
    前記プロセッサは、前記プロセスと、前記入力データ及び前記出力データと、の関係に基づいて、階層構造を構成するデータ加工履歴情報を生成し、
    前記出力装置は、前記データ加工履歴情報を前記プロセス履歴分析情報とともに出力することを特徴とする請求項1に記載のデータ処理方法。
  8. 前記プロセッサは、前記プロセス履歴分析情報に基づいて、異常と判定されたプロセスと、前記異常と判定されたプロセスの入力データを生成するプロセスを選択し、
    前記出力装置は、前記選択されたプロセスによって構成される前記データ加工履歴情報を出力することを特徴とする請求項7に記載のデータ処理方法。
  9. 前記出力装置は、前記データ加工履歴情報に含まれるプロセスについて、異常と判定された実行回数を出力することを特徴とする請求項7に記載のデータ処理方法。
  10. 前記プロセッサは、
    前記分析対象プロセスの選択を受け付け、
    前記選択されたプロセスのプロセス履歴分析情報を、プロセスの実行ごとに出力することを特徴とする請求項7に記載のデータ処理方法。
  11. 前記プロセッサは、前記分析対象プロセスの出力データが生成された時刻の指定を受け付け、
    前記出力装置は、前記指定された時刻における、前記分析対象プロセスのデータ加工履歴情報を出力することを特徴とする請求項10に記載のデータ処理方法。
  12. 入力データを加工し、出力データを生成するプロセスを組み合わせることによって処理される業務において、前記プロセスの実行を分析するデータ分析装置であって、
    プロセッサと、前記プロセッサにアクセス可能な記憶装置と、を備え、
    前記プロセッサは、
    前記プロセスの実行履歴を前記記憶装置に記録し、
    前記プロセスが実行されるごとに、予め定義された判定指標に基づいて、前記プロセスの実行が異常の可能性が高いか否かを判定し、
    前記プロセスの実行が異常の可能性が高いと判定されたとき、前記判定指標を含む当該プロセスのプロセスログ情報を記録し、
    前記プロセスログ情報及び前記プロセスの実行履歴に基づいて、前記異常の可能性が高いプロセス及び前記異常の可能性が高いプロセスの入力データを生成するために必要な一連のプロセスを、当該プロセスの実行結果、当該プロセス間の先行関係及び当該プロセスが実行されたタイミングの少なくとも一つについて、さらに分析し、前記分析対象のプロセスの実行が異常か否かを判定し、分析結果と前記分析対象のプロセスの実行履歴とを含むプロセス履歴分析情報を生成することを特徴とするデータ分析装置。
  13. 入力データを加工し、出力データを生成するプロセスを組み合わせて実行することによって処理される業務において、前記プロセスの実行を分析するプログラムであって、
    前記プロセスの実行履歴を記録する手順と、
    前記プロセスが実行されるごとに、予め定義された判定指標に基づいて、前記プロセスの実行が異常の可能性が高いか否かを判定する手順と、
    前記プロセスの実行が異常の可能性が高いと判定されたとき、前記判定指標を含む当該プロセスのプロセスログ情報を記録する手順と、
    前記プロセスログ情報及び前記プロセスの実行履歴に基づいて、前記異常の可能性が高いプロセス及び前記異常の可能性が高いプロセスの入力データを生成するために必要な一連のプロセスを、当該プロセスの実行結果、当該プロセス間の先行関係及び当該プロセスが実行されたタイミングの少なくとも一つについて、さらに分析し、前記分析対象のプロセスの実行が異常か否かを判定し、分析結果と前記分析対象のプロセスの実行履歴とを含むプロセス履歴分析情報を生成する手順と、を計算機に実行させるデータ分析プログラム。
  14. 入力データを加工し、出力データを生成するプロセスを組み合わせることによって業務を処理するプロセスサーバと、前記プロセスサーバとネットワークを介して接続され、前記プロセスサーバによって実行されたプロセスの実行を分析するデータ分析装置と、を備えた計算機システムであって、
    前記プロセスサーバは、前記ネットワークと接続する第1のインターフェースと、前記第1のインターフェースに接続される第1のプロセッサと、前記第1のプロセッサにアクセス可能な第1の記憶装置と、を備え、
    前記データ分析装置は、前記ネットワークと接続する第2のインターフェースと、前記第2のインターフェースに接続される第2のプロセッサと、前記第2のプロセッサにアクセス可能な第2の記憶装置と、を備え、
    前記第1のプロセッサは、
    前記プロセスの実行履歴を前記第1の記憶装置に記録し、
    前記プロセスが実行されるごとに、予め定義された判定指標に基づいて、前記プロセスの実行が異常の可能性が高いか否かを判定し、
    前記プロセスの実行が異常の可能性が高いと判定されたとき、前記判定指標を含む当該プロセスのプロセスログ情報を前記データ分析装置に送信し、
    前記第2のプロセッサは、
    前記プロセスログ情報を受信すると、前記受信したプロセスログ情報を前記第2の記憶装置に記録し、
    前記プロセスログ情報及び前記プロセスの実行履歴に基づいて、前記異常の可能性が高いプロセス及び前記異常の可能性が高いプロセスの入力データを生成するために必要な一連のプロセスを、当該プロセスの実行結果、当該プロセス間の先行関係及び当該プロセスが実行されたタイミングの少なくとも一つについて、さらに分析し、前記分析対象のプロセスの実行が異常か否かを判定し、分析結果と前記分析対象のプロセスの実行履歴とを含むプロセス履歴分析情報を生成することを特徴とする計算機システム。
JP2006318739A 2006-11-27 2006-11-27 データ処理方法及びデータ分析装置 Pending JP2008134705A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2006318739A JP2008134705A (ja) 2006-11-27 2006-11-27 データ処理方法及びデータ分析装置
US11/851,457 US8219548B2 (en) 2006-11-27 2007-09-07 Data processing method and data analysis apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006318739A JP2008134705A (ja) 2006-11-27 2006-11-27 データ処理方法及びデータ分析装置

Publications (1)

Publication Number Publication Date
JP2008134705A true JP2008134705A (ja) 2008-06-12

Family

ID=39477286

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006318739A Pending JP2008134705A (ja) 2006-11-27 2006-11-27 データ処理方法及びデータ分析装置

Country Status (2)

Country Link
US (1) US8219548B2 (ja)
JP (1) JP2008134705A (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011175570A (ja) * 2010-02-25 2011-09-08 Hitachi Ltd コンピュータ、コンピュータの障害検知方法、及びプログラム
JP2012510689A (ja) * 2008-12-02 2012-05-10 アビニシオ テクノロジー エルエルシー データ要素間の関係性の視覚化
JP2014067109A (ja) * 2012-09-25 2014-04-17 Nec Corp データ遷移トレース装置、データ遷移トレース方法、及び、データ遷移トレースプログラム
US9116603B2 (en) 2012-12-26 2015-08-25 Ab Initio Technology Llc Managing interactions with data having membership in multiple groupings
US9852153B2 (en) 2012-09-28 2017-12-26 Ab Initio Technology Llc Graphically representing programming attributes
US11741091B2 (en) 2016-12-01 2023-08-29 Ab Initio Technology Llc Generating, accessing, and displaying lineage metadata

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8656267B2 (en) * 2008-03-31 2014-02-18 International Business Machines Corporation Method of approximate document generation
US8214765B2 (en) * 2008-06-20 2012-07-03 Microsoft Corporation Canvas approach for analytics
US8464221B2 (en) * 2009-06-16 2013-06-11 Microsoft Corporation Visualization tool for system tracing infrastructure events
EP2541408B1 (en) * 2011-06-28 2020-10-07 Amadeus S.A.S. Method and system for processing data for database modification
CN103744939B (zh) * 2013-12-31 2017-07-14 华为技术有限公司 一种日志的记录方法、日志的恢复方法及日志管理器
JP6550692B2 (ja) * 2014-06-18 2019-07-31 株式会社リコー サービス提供システム、ログ情報提供方法及びプログラム
CN105630840B (zh) * 2014-11-06 2019-06-28 阿里巴巴集团控股有限公司 一种推送消息的排序方法及装置
JP6686602B2 (ja) * 2016-03-24 2020-04-22 富士通株式会社 制御方法、制御プログラムおよび制御装置
WO2018152629A1 (en) * 2017-02-21 2018-08-30 Centre For Commercialization Of Regenerative Medicine Method and system for electronically monitoring and recording a process in a clean space
CN113469482A (zh) * 2020-03-31 2021-10-01 日本电气株式会社 用于数据分析的方法、设备以及计算机可读存储介质
CN112835853B (zh) * 2020-12-31 2024-03-22 北京聚云科技有限公司 一种数据处理类型确定方法及装置
CN113886261B (zh) * 2021-10-19 2024-10-29 平安银行股份有限公司 应用程序性能数据处理方法、装置、电子设备及存储介质
JP7692373B2 (ja) * 2022-01-14 2025-06-13 株式会社日立製作所 リネージ管理システム及びリネージ管理方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06282464A (ja) * 1993-03-29 1994-10-07 Hitachi Inf Syst Ltd バッチ処理システムの処理結果の検証方法
JPH1078894A (ja) * 1996-09-03 1998-03-24 Hitachi Ltd 計算機システムの障害回復支援方法
JP2000222255A (ja) * 1999-02-02 2000-08-11 Nec Software Chubu Ltd 性能監視装置、性能監視方法および性能監視プログラムを記録した記録媒体
JP2003030009A (ja) * 2001-07-17 2003-01-31 Nec System Technologies Ltd 自己診断機能付き成長型店舗システム
JP2004334869A (ja) * 2003-05-07 2004-11-25 Microsoft Corp プログラムによるコンピュータ問題の診断、解決、およびその自動的な報告ならびに更新
JP2004348359A (ja) * 2003-05-21 2004-12-09 Nec Corp 障害情報取得方法、障害情報取得装置及び障害情報取得プログラム
JP2006053788A (ja) * 2004-08-12 2006-02-23 Ntt Docomo Inc ソフトウェア動作監視装置及びソフトウェア動作監視方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06309584A (ja) 1993-04-27 1994-11-04 Toshiba Corp プラント運転支援装置
JPH0756890A (ja) 1993-08-20 1995-03-03 Hitachi Ltd 季節性商品需要データ異常値摘出システム
JP2001331354A (ja) 2000-05-18 2001-11-30 Hitachi Ltd データ流通管理方法およびシステム
FI114749B (fi) * 2000-09-11 2004-12-15 Nokia Corp Poikkeamien ilmaisujärjestelmä ja menetelmä sen opettamiseksi
US7167811B2 (en) * 2001-05-24 2007-01-23 Test Advantage, Inc. Methods and apparatus for data analysis
US20030236652A1 (en) * 2002-05-31 2003-12-25 Battelle System and method for anomaly detection
US7043403B1 (en) * 2002-09-04 2006-05-09 Advanced Micro Devices, Inc. Fault detection and classification based on calculating distances between data points
US20060294095A1 (en) * 2005-06-09 2006-12-28 Mantas, Inc. Runtime thresholds for behavior detection

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06282464A (ja) * 1993-03-29 1994-10-07 Hitachi Inf Syst Ltd バッチ処理システムの処理結果の検証方法
JPH1078894A (ja) * 1996-09-03 1998-03-24 Hitachi Ltd 計算機システムの障害回復支援方法
JP2000222255A (ja) * 1999-02-02 2000-08-11 Nec Software Chubu Ltd 性能監視装置、性能監視方法および性能監視プログラムを記録した記録媒体
JP2003030009A (ja) * 2001-07-17 2003-01-31 Nec System Technologies Ltd 自己診断機能付き成長型店舗システム
JP2004334869A (ja) * 2003-05-07 2004-11-25 Microsoft Corp プログラムによるコンピュータ問題の診断、解決、およびその自動的な報告ならびに更新
JP2004348359A (ja) * 2003-05-21 2004-12-09 Nec Corp 障害情報取得方法、障害情報取得装置及び障害情報取得プログラム
JP2006053788A (ja) * 2004-08-12 2006-02-23 Ntt Docomo Inc ソフトウェア動作監視装置及びソフトウェア動作監視方法

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012510689A (ja) * 2008-12-02 2012-05-10 アビニシオ テクノロジー エルエルシー データ要素間の関係性の視覚化
US9767100B2 (en) 2008-12-02 2017-09-19 Ab Initio Technology Llc Visualizing relationships between data elements
US9875241B2 (en) 2008-12-02 2018-01-23 Ab Initio Technology Llc Visualizing relationships between data elements and graphical representations of data element attributes
US10191904B2 (en) 2008-12-02 2019-01-29 Ab Initio Technology Llc Visualizing relationships between data elements and graphical representations of data element attributes
US10860635B2 (en) 2008-12-02 2020-12-08 Ab Initio Technology Llc Visualizing relationships between data elements
US11354346B2 (en) 2008-12-02 2022-06-07 Ab Initio Technology Llc Visualizing relationships between data elements and graphical representations of data element attributes
JP2011175570A (ja) * 2010-02-25 2011-09-08 Hitachi Ltd コンピュータ、コンピュータの障害検知方法、及びプログラム
JP2014067109A (ja) * 2012-09-25 2014-04-17 Nec Corp データ遷移トレース装置、データ遷移トレース方法、及び、データ遷移トレースプログラム
US9852153B2 (en) 2012-09-28 2017-12-26 Ab Initio Technology Llc Graphically representing programming attributes
US9116603B2 (en) 2012-12-26 2015-08-25 Ab Initio Technology Llc Managing interactions with data having membership in multiple groupings
US11741091B2 (en) 2016-12-01 2023-08-29 Ab Initio Technology Llc Generating, accessing, and displaying lineage metadata

Also Published As

Publication number Publication date
US20080133973A1 (en) 2008-06-05
US8219548B2 (en) 2012-07-10

Similar Documents

Publication Publication Date Title
JP2008134705A (ja) データ処理方法及びデータ分析装置
US11645191B2 (en) Review process for evaluating changes to target code for a software-based product
CN110928772B (zh) 一种测试方法及装置
US8612372B2 (en) Detection rule-generating facility
US20150222731A1 (en) Computer, guide information providing method and recording medium
US12124874B2 (en) Pipeline task verification for a data processing platform
JP2018147198A (ja) 分析プロジェクト用作業手順解析支援システム
JP5140509B2 (ja) 設計事例検索装置,設計事例検索プログラム
US20030135496A1 (en) Management program, method and apparatus for business process definition
JP4820408B2 (ja) 属性エンジン
JP5255796B2 (ja) 運用管理サポートシステム、プログラム
JP6642024B2 (ja) 管理装置,管理方法および管理プログラム
JP2007241642A (ja) 解析方法、解析装置及びコンピュータプログラム
JP2019101829A (ja) ソフトウェア部品管理システム、計算機および方法
US8775873B2 (en) Data processing apparatus that performs test validation and computer-readable storage medium
JP2008009966A (ja) 業務プロセス設定装置及び業務プロセス設定方法
JP2009134535A (ja) ソフトウェア開発支援装置、ソフトウェア開発支援方法及びソフトウェア開発支援プログラム
JP6609216B2 (ja) ソースコードの静的解析結果の分析装置及び分析方法
JP6576873B2 (ja) ジョブネット検証装置及びジョブネット検証方法
US20240211823A1 (en) Operation content presentation method, operation content presentation device, and operation content presentation system
WO2024150457A1 (ja) 情報検索方法および情報検索システム
JP2005084944A (ja) ビジネスプロセス管理方法およびシステム
JP2019003553A (ja) 情報分析装置、情報分析方法および情報分析プログラム
JP2018067117A (ja) 管理計算機、及び電子計算機の管理方法
JP2025001736A (ja) 機械学習開発支援システムおよび機械学習開発支援方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20081215

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20101027

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110726

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110922

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20111011