JPWO2016079786A1 - 計算機システム及びデータ処理方法 - Google Patents
計算機システム及びデータ処理方法 Download PDFInfo
- Publication number
- JPWO2016079786A1 JPWO2016079786A1 JP2016559707A JP2016559707A JPWO2016079786A1 JP WO2016079786 A1 JPWO2016079786 A1 JP WO2016079786A1 JP 2016559707 A JP2016559707 A JP 2016559707A JP 2016559707 A JP2016559707 A JP 2016559707A JP WO2016079786 A1 JPWO2016079786 A1 JP WO2016079786A1
- Authority
- JP
- Japan
- Prior art keywords
- processing
- request
- batch
- time
- processing request
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims 2
- 238000012545 processing Methods 0.000 claims abstract description 310
- 238000009826 distribution Methods 0.000 claims abstract description 48
- 238000000034 method Methods 0.000 claims abstract description 43
- 230000008569 process Effects 0.000 claims abstract description 41
- 238000012544 monitoring process Methods 0.000 claims description 17
- 238000003860 storage Methods 0.000 description 34
- 238000007726 management method Methods 0.000 description 22
- 230000004044 response Effects 0.000 description 7
- 238000010923 batch production Methods 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 6
- 238000012546 transfer Methods 0.000 description 4
- 230000000052 comparative effect Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000009825 accumulation Methods 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 231100000989 no adverse effect Toxicity 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000026676 system process Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5061—Partitioning or combining of resources
- G06F9/5066—Algorithms for mapping a plurality of inter-dependent sub-tasks onto a plurality of physical CPUs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/48—Program initiating; Program switching, e.g. by interrupt
- G06F9/4806—Task transfer initiation or dispatching
- G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
- G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
- G06F9/4887—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues involving deadlines, e.g. rate based, periodic
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/48—Program initiating; Program switching, e.g. by interrupt
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
- G06F9/5038—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the execution order of a plurality of tasks, e.g. taking priority or time dependency constraints into consideration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2209/00—Indexing scheme relating to G06F9/00
- G06F2209/50—Indexing scheme relating to G06F9/50
- G06F2209/5017—Task decomposition
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Debugging And Monitoring (AREA)
Abstract
Description
残りのバッチ処理時間(例えば秒)=想定分割数704×(平均実行時間705+ 平均実行間隔706)
バッチ予測終了時刻=現在時刻+残りのバッチ処理時間
想定分割数704=(総数806−位置805)/分割サイズ703
(X):バッチ処理キャンセル。管理者が、バッチ処理をキャンセルするか否かを判定できるようにする。
(Y):分割サイズ変更。管理者が、分割サイズ703を変更すべきか否かを判定できるようにする。
(1)制御部132(要求制御部151)が、分割バッチ要求に従いデータストア501を更新する場合、更新前のデータストア501と更新後のデータストア501との差分を管理するようになっている。例えば、制御部132は、新たなバッチ要求について最初の分割バッチ要求を実行する場合、更新前のデータストア501のスナップショットを確保しておく。これにより、バッチ処理がキャンセルされた場合、バッチ要求に従う更新対象のデータストア501を、確保されているスナップショットを基に更新前のデータストア501に戻すことができる。
(2)制御部132(要求制御部151)が、キャンセル対象のバッチ要求に対応した分割バッチ要求を記憶資源(例えば主記憶デバイス124)から破棄する。
(3)制御部132(要求制御部151)が、キャンセル要求を、第二サーバ計算機111Bに転送する。転送先の第二サーバ計算機111Bにおいて、制御部132B(例えば要求制御部151B)が、キャンセル対象のバッチ要求に対応した分割バッチ要求を記憶資源(例えば主記憶デバイス124B)から破棄し、且つ、バッチ要求に従う更新対象のデータストア501Bを、確保されているスナップショットを基に更新前のデータストア501Bに戻す。
(実行2)全順序配信部133が実行順序を決定すること、のいずれでもよい。従って、「実行間隔の制御」とは、実行1のタイミング(間隔)の制御、及び、実行2のタイミング(間隔)の制御、のうちのいずれでもよい。実行間隔の制御について、例えば以下の具体例(A)〜(E)がある。実行間隔の制御により、オンライン性能の低下を軽減できる。
(A)入力部134経由等で指定された時間間隔(パラメタ)が、実行1の間隔又は実行2の間隔である。
(B)入力部134経由等で指定されたオンライン要求数(パラメタ)と同数のオンライン要求が実行されたタイミングが、実行1又は実行2のタイミングである。
(C)モニタ結果情報を基に特定されたオンライン処理負荷が閾値(許容レイテンシ時間など)未満である間における時点、又は、モニタ結果情報を基に特定されたオンライン遅延率が閾値未満である間における時点が、実行1又は実行2のタイミングである。
(D)モニタ結果情報を基に特定されるバッチ処理進捗状況と、入力部134経由等で指定された目標終了時刻(バッチ処理の目標終了時刻)とに基づいて制御部132又は全順序配信部133により決定された間隔(タイミング)が、実行1又は実行2の間隔である。
(E)バッチ処理が通信ネットワーク171経由のデータ転送を必要とする処理(例えばデータコピー処理)の場合、データ転送にはネットワーク負荷がかかる。このため、モニタ部131がネットワーク帯域使用量を監視する。モニタ結果情報を基に特定されたネットワーク帯域使用量が閾値未満である間における時点が、実行1又は実行2のタイミングである。
Claims (15)
- 処理要求を実行する複数のプロセスと、
第一の処理要求より優先順位の低い第二の処理要求の実行を決定したとき、予め定められた分割サイズに従い前記第二の処理要求を基に分割第二処理要求を作成する制御部と、
1以上の第二の処理要求に対応した1以上の分割第二処理要求と1以上の第一の処理要求とのうちの少なくとも1つを含んだ1以上の処理要求の実行順序を決定し、前記複数のプロセスに、それぞれ、前記決定された実行順序で前記1以上の処理要求を実行させる全順序配信部と
を備えることを特徴とする計算機システム。 - データ処理の実行状況を監視するモニタ部を更に備え、
前記制御部は、前記モニタ部が出力するモニタ結果情報が、いずれの第一の処理要求も実行されていないことを示す場合に、前記第二の処理要求の実行を決定する、
ことを特徴とする請求項1に記載の計算機システム。 - 前記モニタ結果情報は、第一の処理要求のデータが実行される時間に関する情報である第一処理時間情報を含み、
前記制御部は、前記第一処理時間情報に基づいて、前記分割サイズを変更する、
ことを特徴とする請求項2に記載の計算機システム。 - 前記モニタ結果情報は、第一の処理要求のデータが実行される時間に関する情報である第一処理時間情報を含み、
前記第一処理時間情報に基づいて、分割第二処理要求を作成する間隔と実行順序を決定する間隔とのうちの少なくとも一方が変更される、
ことを特徴とする請求項2に記載の計算機システム。 - 第一の処理要求の実行遅延に関する情報であり前記モニタ結果情報を基に算出された遅延情報を出力する出力部
を更に備えることを特徴とする請求項3に記載の計算機システム。 - 第一の処理要求の実行遅延に関する情報であり前記モニタ結果情報を基に算出された遅延情報を出力する出力部
を更に備えることを特徴とする請求項4に記載の計算機システム。 - 前記第二の処理要求の終了時刻に関する情報を受け付ける入力部と
出力部と
を更に備え、
前記モニタ結果情報は、第一の処理要求の実行状況に関する情報である第一処理状況情報を含み、
前記制御部は、前記第一処理状況情報を基に、前記入力部が受けた終了時刻までに前記第二の処理要求を完了できるかどうかを判定し、
前記制御部が前記第二の処理要求を前記終了時刻までに完了できないと判定した場合、前記出力部が、前記第二の処理要求の予測終了時刻を出力する、
ことを特徴とする請求項5に記載の計算機システム。 - 前記第二の処理要求の終了時刻に関する情報を受け付ける入力部と
出力部と
を更に備え、
前記モニタ結果情報は、第一の処理要求の実行状況に関する情報である第一処理状況情報を含み、
前記制御部は、前記第一処理状況情報を基に、前記入力部が受けた終了時刻までに前記第二の処理要求を完了できるかどうかを判定し、
前記制御部が前記第二の処理要求を前記終了時刻までに完了できないと判定した場合、前記出力部が、前記第二の処理要求の予測終了時刻を出力する、
ことを特徴とする請求項6に記載の計算機システム。 - 前記第一の処理要求は、オンラインで受けた処理要求であり、
前記第二の処理要求は、バッチで処理することの処理要求である、
請求項1に記載の計算機システム。 - 前記複数のプロセスの各々が、前記制御部及び前記全順序配信部を有し、
前記第一及び第二の処理要求を受けたプロセスである対象プロセスの前記全順序配信部が、前記対象プロセスの前記制御部と、前記対象プロセス以外の少なくとも1つのプロセスとに、前記決定された実行順序で前記複数の処理要求を実行させる、
請求項1に記載の計算機システム。 - 前記2以上の分割第二処理要求は、それぞれ、複数の空き時間において行われ、
各空き時間は、第一の処理要求についてのデータ処理が行われていない時間である、
請求項1に記載の計算機システム。 - 特定第一処理間隔が特定第一処理所要時間よりも長い場合、前記空き時間は、前記特定第一処理間隔と前記特定第一処理所要時間との差分であり、
前記特定第一処理間隔が前記特定第一処理所要時間以下の場合、前記空き時間は、許容レイテンシ時間と前記特定第一処理所要時間との差分であり、
前記特定第一処理所要時間は、1以上の第一処理所要時間に基づいて決定された値であり、第一処理所要時間は、前記第一の処理要求の実行にかかる時間であり、
前記特定第一処理間隔は、1以上の特定第一処理間隔に基づいて決定された値であり、第一処理間隔は、前記第一の処理要求についてのデータ処理の開始から次の第一の処理要求についてのデータ処理の開始までの時間であり、
前記許容レイテンシ時間は、前記特定第一処理所要時間の許容値であり、
前記制御部が、前記空き時間に基づいて前記分割サイズを決定する、
請求項1に記載の計算機システム。 - 分割第二処理要求を作成する間隔と実行順序を決定する間隔とのうちの少なくとも一方が、データ処理の実行状況と指定されたパラメタとのうちの少なくとも1つに基づき変更される、
請求項1に記載の計算機システム。 - 第一の処理要求より優先順位の低い第二の処理要求の実行を決定したとき、予め定められた分割サイズに従い前記第二の処理要求を基に分割第二処理要求を作成し、
1以上の第二の処理要求に対応した1以上の分割第二処理要求と1以上の第一の処理要求とのうちの少なくとも1つを含んだ1以上の処理要求の実行順序を決定し、
前記複数のプロセスに、それぞれ、前記決定された実行順序で前記1以上の処理要求を実行させる、
ことを特徴とするデータ処理方法。 - 外部の計算機に接続された計算機であって、
第一の処理要求より優先順位の低い第二の処理要求の実行を決定したとき、予め定められた分割サイズに従い前記第二の処理要求を基に分割第二処理要求を作成する制御部と、
1以上の第二の処理要求に対応した1以上の分割第二処理要求と1以上の第一の処理要求とのうちの少なくとも1つを含んだ1以上の処理要求の実行順序を決定し、前記制御部と前記外部の計算機に、それぞれ、前記決定された実行順序で前記1以上の処理要求を実行させる全順序配信部と
を備えることを特徴とする計算機。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2014/080354 WO2016079786A1 (ja) | 2014-11-17 | 2014-11-17 | 計算機システム及びデータ処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2016079786A1 true JPWO2016079786A1 (ja) | 2017-04-27 |
JP6280237B2 JP6280237B2 (ja) | 2018-02-14 |
Family
ID=56013402
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016559707A Active JP6280237B2 (ja) | 2014-11-17 | 2014-11-17 | 計算機システム及びデータ処理方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US10795726B2 (ja) |
JP (1) | JP6280237B2 (ja) |
WO (1) | WO2016079786A1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7047027B2 (ja) * | 2020-07-30 | 2022-04-04 | 株式会社日立製作所 | 計算機システム、構成変更制御装置、および構成変更制御方法 |
US20220066821A1 (en) * | 2020-09-02 | 2022-03-03 | Samsung Electronics Co., Ltd. | Systems and method for batching requests in computational devices |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006092219A (ja) * | 2004-09-22 | 2006-04-06 | Sony Computer Entertainment Inc | グラフィックプロセッサ、制御用プロセッサおよび情報処理装置 |
JP2010283635A (ja) * | 2009-06-05 | 2010-12-16 | Yokogawa Electric Corp | データ送信装置、データ送信方法 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2723068B2 (ja) * | 1995-02-20 | 1998-03-09 | 日本電気株式会社 | ジョブ再実行方式 |
JP3774075B2 (ja) | 1999-01-18 | 2006-05-10 | 富士通株式会社 | トランザクション分割・連携装置および記録媒体 |
US7562035B2 (en) * | 2005-01-12 | 2009-07-14 | International Business Machines Corporation | Automating responses by grid providers to bid requests indicating criteria for a grid job |
JP4580845B2 (ja) * | 2005-08-24 | 2010-11-17 | パナソニック株式会社 | タスク実行装置 |
JP2008198153A (ja) * | 2007-02-16 | 2008-08-28 | Nomura Research Institute Ltd | オンライン処理を継続させながらバッチ処理を行う連続運用システム |
US20080320097A1 (en) * | 2007-06-22 | 2008-12-25 | Tenoware R&D Limited | Network distributed file system |
US9563470B2 (en) * | 2013-12-23 | 2017-02-07 | International Business Machines Corporation | Backfill scheduling for embarrassingly parallel jobs |
US9626120B1 (en) * | 2015-12-28 | 2017-04-18 | Veritas Technologies | Systems and methods for dynamically adjusting batch request sizes |
-
2014
- 2014-11-17 WO PCT/JP2014/080354 patent/WO2016079786A1/ja active Application Filing
- 2014-11-17 US US15/308,373 patent/US10795726B2/en active Active
- 2014-11-17 JP JP2016559707A patent/JP6280237B2/ja active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006092219A (ja) * | 2004-09-22 | 2006-04-06 | Sony Computer Entertainment Inc | グラフィックプロセッサ、制御用プロセッサおよび情報処理装置 |
JP2010283635A (ja) * | 2009-06-05 | 2010-12-16 | Yokogawa Electric Corp | データ送信装置、データ送信方法 |
Also Published As
Publication number | Publication date |
---|---|
US10795726B2 (en) | 2020-10-06 |
US20170068569A1 (en) | 2017-03-09 |
JP6280237B2 (ja) | 2018-02-14 |
WO2016079786A1 (ja) | 2016-05-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11983198B2 (en) | Multi-cluster warehouse | |
US10817497B2 (en) | Migration flow control | |
US9489137B2 (en) | Dynamic storage tiering based on performance SLAs | |
US20130263142A1 (en) | Control device, control method, computer readable recording medium in which program is recorded, and distributed processing system | |
JP6233413B2 (ja) | タスク割り当て判定装置、制御方法、及びプログラム | |
US10394606B2 (en) | Dynamic weight accumulation for fair allocation of resources in a scheduler hierarchy | |
US9514072B1 (en) | Management of allocation for alias devices | |
US20170220383A1 (en) | Workload control in a workload scheduling system | |
US9135064B2 (en) | Fine grained adaptive throttling of background processes | |
CN109815204A (zh) | 一种基于拥塞感知的元数据请求分发方法及设备 | |
JP6280237B2 (ja) | 計算機システム及びデータ処理方法 | |
JP2018063672A (ja) | メッセージ実行サーバー、制御方法、およびプログラム | |
US11003360B2 (en) | IO request processing according to processing sorting indexes | |
JP6279816B2 (ja) | ストレージ監視システムおよびその監視方法 | |
US20230244522A1 (en) | Detached Global Scheduler | |
JP5472885B2 (ja) | プログラム、ストリームデータ処理方法及びストリームデータ処理計算機 | |
RU2749649C2 (ru) | Способ и система для планирования обработки операций ввода/вывода | |
US11112996B2 (en) | Computer, computer system, and data quantity restriction method | |
WO2013082743A1 (zh) | 提高分布式对象存储系统的并发性能的方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170606 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170802 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20171107 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20171208 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20171226 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180118 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6280237 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |