JP6686602B2 - 制御方法、制御プログラムおよび制御装置 - Google Patents
制御方法、制御プログラムおよび制御装置 Download PDFInfo
- Publication number
- JP6686602B2 JP6686602B2 JP2016060915A JP2016060915A JP6686602B2 JP 6686602 B2 JP6686602 B2 JP 6686602B2 JP 2016060915 A JP2016060915 A JP 2016060915A JP 2016060915 A JP2016060915 A JP 2016060915A JP 6686602 B2 JP6686602 B2 JP 6686602B2
- Authority
- JP
- Japan
- Prior art keywords
- job
- data
- systems
- processing
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/48—Program initiating; Program switching, e.g. by interrupt
- G06F9/4806—Task transfer initiation or dispatching
- G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
- G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
- G06F9/4887—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues involving deadlines, e.g. rate based, periodic
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
- G06F9/5038—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the execution order of a plurality of tasks, e.g. taking priority or time dependency constraints into consideration
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Debugging And Monitoring (AREA)
Description
図1は、本実施例におけるシステム構成の一例を示す図である。クライアント装置1は、ネットワーク5を経由して、クラウド環境2、3、4のそれぞれに接続可能である。クライアント装置1は、例えば、Personal Computer(PC)や、スマートフォン、Personal Digital Assistant(PDA)などのコンピュータである。システムの利用者、運用者は、クライアント装置1を用いて、後述する処理実行サーバ、DBサーバ、あるいは制御装置60にアクセスし、ジョブの実行を制御することができる。
図2は、クライアント装置1の機能ブロック図である。
図3は、クラウド環境の機能ブロック図である。図3では、クラウド環境2について図示をしているが、クラウド環境3、4についても同様の構成であって構わない。
図4は、制御装置60の機能ブロック図である。制御装置60は、入力部601、表示部602、通信部603を備える。また、制御装置60は、制御部610、記憶部620を備える。
図5は、本実施例のジョブ定義情報記憶部621に記憶されるデータの一例を示す図である。ジョブ定義情報記憶部621には、クラウドサービス#A〜#Cで実行される各ジョブについての定義情報が記憶される。例えば、ジョブ定義情報記憶部621は、図5に示すように、ジョブ名6211、起動時刻6212、ジョブ情報6213、実行サーバ情報6214、対象フラグ6215を記憶する。
図6は、テーブル更新情報記憶部622に記憶される情報の一例を示す図である。テーブル更新情報記憶部622は、例えば、図6に示すように、ジョブ名6221、起動予定時刻6222、データテーブルID(identifier)6223、アクセス種別6224、更新フラグ6225の情報を記憶する。
図7に入力データ管理情報記憶部623が記憶するデータの一例を示す。入力データ管理情報記憶部623は、制御対象の各ジョブの入力データのデータサイズを特定するための情報を記憶する。入力データ管理情報記憶部623は、例えば、図7に示すように、ジョブ名6231、入力データテーブルID6232、データサイズ(1レコードあたり)6233、レコード数6234、入力データ量6235の情報を記憶する。
図8は、本実施例におけるデータ量評価処理、および評価結果に基づく処理実行サーバの決定処理を説明するフローチャートである。なお、本実施例において図8で説明する処理は、制御装置60によるジョブ実行管理の本番運用の際に実行されることとする。本実施例では、本番運用に先立って実施されるテスト運用の際にも、制御装置60が処理実行サーバ決定のための処理を実行するが、テスト運用時に実行される処理については後述する。
図10は稼動履歴情報記憶部624に記憶される情報の一例を示す図である。稼動履歴情報記憶部624に記憶される情報は、ジョブの実行ログに相当する情報である。稼動履歴情報記憶部624は、例えば図10に示すように、ジョブ名6241、開始時刻6242、終了時刻6243、状態情報6244を記憶する。
図8に示したステップS802の処理において、データ取得部611は、例えば、稼動履歴情報記憶部624を参照することで、各ジョブの実行状況を監視することができる。例えば、データ取得部611は、前述の監視対象ジョブについての、終了時刻6243と状態情報6244とが稼動履歴情報記憶部624に記憶されたことを検知した場合、監視対象ジョブが終了したと判定することとしても良い。そして、前述のステップS802の処理で説明したように、監視対象ジョブの全てについて実行終了が検知された場合、データ取得部611は、ステップS803の処理を開始することとしても良い。
以上で説明したように、本実施例では、ジョブに対する入力データのデータ量を評価する際にも、評価のための処理負荷によるジョブの実行遅延が低減できるようにしている。
図11は、本実施例におけるテスト運用時の動作を説明するフローチャートである。本実施例では、本番運用に先立ってテスト運用を実行し、複数のジョブのそれぞれに関する情報を取得する。
図12は、本実施例の採取情報記憶部625に記憶されるデータの一例を示す図である。例えば、採取情報記憶部625は、図12に示すように、ジョブ名6251、データテーブルID6252、アクセス種別6253、データ量変動フラグ6254、大小関係情報6255、を記憶する。
通信データ量のモニタリングについては、制御装置60が実行することとしても良いし、通信データ量のモニタリング機能を有する他の情報処理装置(図示せず)からモニタリング結果を制御装置60が取得することとしても良い。
図13は、テスト運用時に、各ジョブについて、ジョブを実行する処理実行サーバ(クラウドサービス)を決定する処理を説明するフローチャートである。
ルール1:選択ジョブが複数のクラウドサービスに対してデータの入出力を実行するジョブでない場合(入出力するクラウドサービスが1つの場合)は、選択ジョブがデータの入出力を行うクラウドサービスの処理実行サーバが選択ジョブを実行する。
ルール2:選択ジョブにデータの入力を行うクラウドサービスが1つであり、データの出力を行うクラウドサービスと異なる場合は、データ量のより大きいクラウドサービス(入力側または出力側)の処理実行サーバが選択ジョブを実行する。
ルール3:選択ジョブにデータの入力を行うクラウドサービスが複数であり、選択ジョブにおける処理がデータのマージ処理である場合、選択ジョブがデータの出力を行うクラウドサービス処理実行サーバが選択ジョブを実行する。
ルール4:選択ジョブにデータの入力を行うクラウドサービスが複数であり、選択ジョブにおける処理がデータの集計処理である場合、データ量変動フラグがOFFである場合、入力データ量の最も大きいクラウドサービスの処理実行サーバが選択ジョブを実行する。
ルール5:上記ルール4においてデータ量変動フラグがONである場合、本番運用時の選択ジョブ実行の都度、動的に処理実行サーバが決定される。
これまでの説明を踏まえ、再度、本番運用時の処理について説明する。
図15は、本実施例におけるクライアント装置1のハードウェア構成の一例である。なお、図15では、クライアント装置1のハードウェア構成の一例を示すが、後述のように、処理実行サーバ、DBサーバ、制御装置60についても同様の構成が採用可能である。
2、3、4 クラウド環境
5 ネットワーク
20−1、20−2、30−1、30−2、40−1、40−2 処理実行サーバ
21、31、41 DBサーバ
60 制御装置
1501 バス
1502 CPU
1503 メモリ
1504 記憶装置
1505 NIC
1506 媒体読取装置
1507 入力装置
1508 表示装置
Claims (11)
- 複数のシステムのうち、いずれかのシステムにジョブを実行させる制御を行なう制御装置における制御方法において、
前記制御装置が、
前記複数のシステムに関する過去のジョブの実行履歴を参照して、第1のジョブの実行開始タイミングに先行し、前記第1のジョブが参照するデータ格納領域に対する更なる更新処理が実行されない期間を特定し、
前記複数のシステムの中から前記第1のジョブを実行させるシステムを選択する際に利用する、前記データ格納領域から前記第1のジョブが参照するデータ量の評価タイミングが、特定した前記期間に含まれるように制御する、
ことを特徴とする制御方法。 - 前記制御装置が、
前記実行履歴に基づいて、前記第1のジョブが参照するデータ格納領域に対する更新処理を実行する、前記第1のジョブと異なる1以上のジョブを特定し、
特定した前記1以上のジョブの動作を監視した結果、前記1以上のジョブの全てが終了したことを検知した場合、検知後から前記第1のジョブの実行タイミングまでの期間を、前記更なる更新処理が実行されない期間と特定する、
ことを特徴とする請求項1記載の制御方法。 - 前記制御装置が、
前記複数のシステムのうちの、前記異なる1以上のジョブを実行するシステムに関する処理負荷を監視し、
特定した前記期間のうち、前記処理負荷が所定の基準以下のタイミングを前記評価タイミングとして決定する、
ことを特徴とする請求項2記載の制御方法。 - 前記複数のシステムのそれぞれが記憶部を備え、
前記制御装置が、
前記第1のジョブが前記複数のシステムのうちの少なくとも2以上のシステムの前記記憶部に格納されたデータを参照するジョブである場合、前記2以上のシステムの前記記憶部それぞれから前記第1のジョブが参照するデータのデータ量を取得し、
前記2以上のシステムのうち、前記第1のジョブが参照するデータ量が最も大きいシステムを、前記第1のジョブを実行させるシステムとして選択する、
ことを特徴とする請求項1〜3のいずれか1項に記載の制御方法。 - 前記制御装置が、
前記評価タイミングは、前記更新処理を実行する第2のジョブの全てが終了した後である、
ことを特徴とする請求項4記載の制御方法。 - 前記第1のジョブが、前記複数のシステムのうちの少なくとも2以上のシステムの前記記憶部からデータを参照して処理を実行するジョブであって、参照した前記データについての集計処理を行うジョブである、
ことを特徴とする請求項4または5のいずれか1項に記載の制御方法。 - 前記複数のシステムを用いて、前記第1のジョブと、前記1以上のジョブを含む複数のジョブを実行するテスト運用が実行され、
前記制御装置が、
前記複数のジョブのうち、前記複数のシステムのうちの少なくとも2以上のシステムの記憶部からデータを参照して処理を実行するジョブであって、参照した前記データを統合する処理を行うジョブを特定し、
特定した前記統合する処理を行うジョブを、前記テスト運用の後に実行される本番運用において、前記統合する処理の結果データを記憶する前記記憶部を備えるシステムで実行させるように制御する、
ことを特徴とする請求項2または3のいずれか1項に記載の制御方法。 - 前記更なる更新処理が実行されない期間の特定と、前記データ量の評価と、前記第1のジョブを実行させるシステムの選択とが、前記本番運用において実行されることを特徴とする請求項7記載の制御方法。
- 前記複数のシステムが、それぞれ異なるクラウド環境であり、
前記複数のジョブは、それぞれについて設定された実行開始タイミングに応じたバッチ処理を実行することを特徴とする請求項1〜8のいずれか1項に記載の制御方法。 - 複数のシステムのうち、いずれかのシステムにジョブを実行させる制御を行なう制御装置に、
前記複数のシステムに関する過去のジョブの実行履歴を参照して、第1のジョブの実行開始タイミングに先行し、前記第1のジョブが参照するデータ格納領域に対する更なる更新処理が実行されない期間を特定し、
前記複数のシステムの中から前記第1のジョブを実行させるシステムを選択する際に利用する、前記データ格納領域から前記第1のジョブが参照するデータ量の評価タイミングが、特定した前記期間に含まれるように制御する、
処理を実行させることを特徴とする制御プログラム。 - 複数のシステムのうち、いずれかのシステムにジョブを実行させる制御を行なう制御装置であって、
前記複数のシステムに関する過去のジョブの実行履歴を参照して、第1のジョブの実行開始タイミングに先行し、前記第1のジョブが参照するデータ格納領域に対する更なる更
新処理が実行されない期間を特定する特定部と、
前記複数のシステムの中から前記第1のジョブを実行させるシステムを選択する際に利用する、前記データ格納領域から前記第1のジョブが参照するデータ量の評価タイミングが、特定した前記期間に含まれるように制御する制御部と、
を備えることを特徴とする制御装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016060915A JP6686602B2 (ja) | 2016-03-24 | 2016-03-24 | 制御方法、制御プログラムおよび制御装置 |
US15/464,878 US10248458B2 (en) | 2016-03-24 | 2017-03-21 | Control method, non-transitory computer-readable storage medium, and control device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016060915A JP6686602B2 (ja) | 2016-03-24 | 2016-03-24 | 制御方法、制御プログラムおよび制御装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017174235A JP2017174235A (ja) | 2017-09-28 |
JP6686602B2 true JP6686602B2 (ja) | 2020-04-22 |
Family
ID=59898920
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016060915A Active JP6686602B2 (ja) | 2016-03-24 | 2016-03-24 | 制御方法、制御プログラムおよび制御装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US10248458B2 (ja) |
JP (1) | JP6686602B2 (ja) |
Family Cites Families (28)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09282288A (ja) * | 1996-04-09 | 1997-10-31 | Fujitsu Ltd | 複数計算機運用システム |
JPH1011406A (ja) | 1996-06-25 | 1998-01-16 | Hitachi Ltd | 資源の分散環境におけるジョブ実行方法 |
US6546402B1 (en) * | 2000-06-05 | 2003-04-08 | International Business Machines Corporation | System and method for asynchronous view maintenance |
JP4087097B2 (ja) * | 2001-11-12 | 2008-05-14 | 株式会社日立製作所 | データベース管理システム情報を考慮したデータ再配置方法およびデータ再配置を行う計算機システム |
US20030135353A1 (en) * | 2002-01-11 | 2003-07-17 | Mcnc | User-executable method for complex model data analysis and associated system, computer device, and computer software program product |
US6859859B2 (en) * | 2002-08-08 | 2005-02-22 | Hitachi Global Storage Technologies Netherlands, B.V. | Method and system for efficiently calculating and storing expected access time information for DASD |
JP2004302751A (ja) * | 2003-03-31 | 2004-10-28 | Hitachi Ltd | 計算機システムの性能管理方法、および、記憶装置の性能を管理する計算機システム |
US7529728B2 (en) * | 2003-09-23 | 2009-05-05 | Salesforce.Com, Inc. | Query optimization in a multi-tenant database system |
US7363324B2 (en) * | 2004-12-17 | 2008-04-22 | International Business Machines Corporation | Method, system and program for prioritizing maintenance of database tables |
JP4711824B2 (ja) * | 2005-12-26 | 2011-06-29 | 富士通株式会社 | 業務管理者端末、環境管理局端末、ネットワーク事業者端末、業務遂行者端末、業務管理者端末の制御方法、環境管理局端末の制御方法、ネットワーク事業者端末の制御方法および業務遂行者プログラム |
JP2007183883A (ja) * | 2006-01-10 | 2007-07-19 | Fujitsu Ltd | 資源計画作成プログラム、該プログラムを記録した記録媒体、資源計画作成装置、および資源計画作成方法 |
JP2007249491A (ja) | 2006-03-15 | 2007-09-27 | Fujitsu Ltd | マルチサーバ環境においてバッチジョブを分散させるプログラム、装置、および方法 |
US7552121B2 (en) * | 2006-06-22 | 2009-06-23 | International Business Machines Corporation | Autonomic lock escalation in an SQL environment |
US7716425B1 (en) * | 2006-09-27 | 2010-05-11 | Hewlett-Packard Development Company, L.P. | Prefetching data in distributed storage systems |
JP2008134705A (ja) * | 2006-11-27 | 2008-06-12 | Hitachi Ltd | データ処理方法及びデータ分析装置 |
JP2009230581A (ja) * | 2008-03-24 | 2009-10-08 | Nippon Telegr & Teleph Corp <Ntt> | バッチジョブ制御システム、管理ノード、およびバッチジョブ制御方法 |
JP5021018B2 (ja) * | 2009-11-30 | 2012-09-05 | 株式会社日立製作所 | データ配置方法及びデータ管理システム |
US10838957B2 (en) * | 2010-06-17 | 2020-11-17 | Microsoft Technology Licensing, Llc | Slicing relational queries using spool operators |
JP5373870B2 (ja) * | 2010-10-25 | 2013-12-18 | 株式会社三菱東京Ufj銀行 | 予測装置、予測方法、及び、プログラム |
US9262477B1 (en) * | 2012-06-21 | 2016-02-16 | Pivotal Software, Inc. | Accuracy testing of query optimizers |
US10242052B2 (en) * | 2012-07-24 | 2019-03-26 | Unisys Corporation | Relational database tree engine implementing map-reduce query handling |
JP6029951B2 (ja) * | 2012-11-27 | 2016-11-24 | 株式会社日立製作所 | 時系列データベースの設定自動生成方法、設定自動生成システム並びに監視サーバ |
US9110949B2 (en) * | 2013-02-11 | 2015-08-18 | Oracle International Corporation | Generating estimates for query optimization |
US9412066B1 (en) * | 2013-03-11 | 2016-08-09 | Symantec Corporation | Systems and methods for predicting optimum run times for software samples |
JP6260130B2 (ja) * | 2013-07-25 | 2018-01-17 | 富士通株式会社 | ジョブ遅延検知方法、情報処理装置、およびプログラム |
WO2015075803A1 (ja) * | 2013-11-21 | 2015-05-28 | 富士通株式会社 | 情報処理装置、方法、プログラム及び記録媒体 |
US9645891B2 (en) * | 2014-12-04 | 2017-05-09 | Commvault Systems, Inc. | Opportunistic execution of secondary copy operations |
US10073421B2 (en) * | 2015-11-17 | 2018-09-11 | Rockwell Automation Technologies, Inc. | Predictive monitoring and diagnostics systems and methods |
-
2016
- 2016-03-24 JP JP2016060915A patent/JP6686602B2/ja active Active
-
2017
- 2017-03-21 US US15/464,878 patent/US10248458B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US10248458B2 (en) | 2019-04-02 |
US20170277563A1 (en) | 2017-09-28 |
JP2017174235A (ja) | 2017-09-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9852196B2 (en) | ETL tool interface for remote mainframes | |
US10572156B2 (en) | Capacity forecasting based on capacity policies and transactions | |
US11044319B2 (en) | Equipment analysis support apparatus, equipment analysis support method, and equipment analysis system | |
JP6299599B2 (ja) | 情報システム構築支援装置、情報システム構築支援方法および情報システム構築支援プログラム | |
WO2014054230A1 (ja) | 情報システム構築装置、情報システム構築方法および記憶媒体 | |
US20150332280A1 (en) | Compliant auditing architecture | |
JPWO2014054232A1 (ja) | 情報システム構築支援装置、情報システム構築支援方法および情報システム構築支援プログラム | |
JP6094594B2 (ja) | 情報システム構築支援装置、情報システム構築支援方法および情報システム構築支援プログラム | |
JP6686602B2 (ja) | 制御方法、制御プログラムおよび制御装置 | |
KR20200051835A (ko) | 데이터 분석 시스템에서의 메모리 할당 | |
JP6098685B2 (ja) | ワークフローシステム、ワークフローシステムの制御方法およびプログラム、ワークフローサーバ、ワークフローサーバの制御方法およびプログラム | |
JP5615431B2 (ja) | インパクト分析方法、インパクト分析装置及び記憶媒体 | |
JP2021189743A (ja) | データ分析支援装置、及びデータ分析支援方法 | |
US20240311347A1 (en) | Intelligent cloud portal integration | |
KR102546847B1 (ko) | Erp의 커스터마이징 자동화 처리 및 커스터마이징된 erp 솔루션의 제공 방법, 장치 및 시스템 | |
US20120198373A1 (en) | Focus-Driven User Interface | |
JP6259547B2 (ja) | 管理システム、及び、管理方法 | |
CN114637736B (zh) | 一种数据库拆分方法和装置 | |
US20200334124A1 (en) | Adaptive pre-processor | |
US20200233641A1 (en) | Global number range generation | |
JP2024041463A (ja) | エンジニアリング装置 | |
JP2015106329A (ja) | 運用作業の履歴を検索する情報処理装置、情報処理システム、運用作業履歴検索方法及びそのためのプログラム | |
JP2020166504A (ja) | データ提供システムおよびデータアクセス方法 | |
CA3000706A1 (en) | Scalable computing systems for generating notifications, and methods of operating thereof | |
JP2014174615A (ja) | メンテナンス作業支援装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20160401 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20180528 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181210 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190930 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191008 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191206 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200107 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200220 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200303 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200316 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6686602 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |