JP6951846B2 - 計算機システム及びタスクの割当方法 - Google Patents
計算機システム及びタスクの割当方法 Download PDFInfo
- Publication number
- JP6951846B2 JP6951846B2 JP2017042896A JP2017042896A JP6951846B2 JP 6951846 B2 JP6951846 B2 JP 6951846B2 JP 2017042896 A JP2017042896 A JP 2017042896A JP 2017042896 A JP2017042896 A JP 2017042896A JP 6951846 B2 JP6951846 B2 JP 6951846B2
- Authority
- JP
- Japan
- Prior art keywords
- task
- data
- computers
- processor
- database
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/13—File access structures, e.g. distributed indices
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/16—File or folder operations, e.g. details of user interfaces specifically adapted to file systems
- G06F16/164—File meta data generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/903—Querying
- G06F16/90335—Query processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
- G06F9/5033—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering data affinity
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Human Computer Interaction (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
(1)データベースを構成する複数の計算機を管理する管理計算機が実行するプログラムであって、
前記管理計算機は、プロセッサ、前記プロセッサに接続される記憶装置、及び前記プロセッサに接続されるネットワークインタフェースを有し、
第1の処理の実行要求を受け付けた場合、前記第1の処理が使用するデータを特定する第1の手順と、
前記データベースを構成する複数の計算機の各々に、前記第1の処理が使用するデータの有無を問い合わせるデータ問合せを行う第2の手順と、
前記データ問合せに対する第1の応答に基づいて、前記第1の処理が使用するデータを保持する計算機を特定する第3の手順と、
前記特定された計算機に前記第1の処理を割り当てる第4の手順と、前記管理計算機に実行させることを特徴とするプログラム。
(2)(1)に記載のプログラムであって、
前記管理計算機は、前記データ問合せの対象の計算機を特定するための絞込み情報を保持し、
前記第1の手順では、前記絞込み情報に基づいて前記データ問合せの対象の計算機を特定することを特徴とするプログラム。
(3)(2)に記載のプログラムであって、
前記データベースを構成する複数の計算機に、前記データベースに割り当てられる記憶領域に格納されるデータを検索するための索引情報の生成を指示する手順と、
前記データベースを構成する複数の計算機から、前記データベースに割り当てられる記憶領域に格納されるデータに関する情報を含む第2の応答を受信する手順と、
前記第2の応答に基づいて、前記絞込み情報を生成する手順と、を前記管理計算機に実行させることを特徴とするプログラム。
(4)(3)に記載のプログラムであって、
前記管理計算機は、前記データベースを構成する複数の計算機の状態を管理する状態管理情報を保持し、
前記第4の手順は、
前記第1の処理が使用するデータを保持する計算機が複数存在する場合、前記状態管理情報を参照する手順と、
前記第1の処理が使用するデータを保持する複数の計算機の中から、前記第1の処理の負荷が小さい又は前記第1の処理の処理時間が短い計算機を選択する手順と、
前記選択された計算機に前記第1の処理を割り当てる手順と、を含むことを特徴とするプログラム。
101、201 CPU
102、202 メモリ
103、204 ネットワークインタフェース
111 タスク管理モジュール
112 ノード管理情報
113 絞込み情報
131 索引管理モジュール
132 タスク割当モジュール
133 検索問合せモジュール
200 タスク処理ノード
203 記憶装置
211 検索エンジン
212 データ管理モジュール
221 データ
222 索引情報
Claims (9)
- 複数の計算機を有する計算機システムであって、
前記複数の計算機が有する記憶領域を用いて構成され、第1検索キー及びデータ値を含むデータを格納するキーバリューストア型のデータベースを有し、
前記複数の計算機は、プロセッサ、前記プロセッサに接続される記憶装置、及び前記プロセッサに接続されるネットワークインタフェースを有し、
前記複数の計算機の少なくとも一つの計算機が有する前記プロセッサは、
前記データベースを構成する複数の計算機の各々に、前記第1検索キー及び前記データ値に関連する第2検索キーのいずれかを用いて、前記データベースを構成する複数の計算機の各々が前記データベースに割り当てている自記憶領域に格納されるデータを検索するための索引情報の生成を指示する第1の処理と、
第1のタスクの実行要求を受け付けた場合、前記第1のタスクが使用するデータを特定し、
前記データベースを構成する複数の計算機の各々に、前記第1のタスクが使用するデータの前記第2検索キーを含み、前記第1のタスクが使用するデータの有無を問い合わせるデータ問合せを行い、
前記データ問合せに対する第1の応答に基づいて、前記第1のタスクが使用するデータを保持する計算機を特定し、
前記特定された計算機に前記第1のタスクを割り当てる、第2の処理と、を実行することを特徴とする計算機システム。 - 請求項1に記載の計算機システムであって、
前記複数の計算機の少なくとも一つの計算機は、前記データ問合せの対象の計算機を選択するための絞込み情報を保持し、
前記第2の処理において、前記複数の計算機の少なくとも一つの計算機が有するプロセッサは、前記絞込み情報に基づいて、前記データ問合せの対象の計算機を特定することを特徴とする計算機システム。 - 請求項2に記載の計算機システムであって、
前記第1の処理において、前記複数の計算機の少なくとも一つの計算機が有するプロセッサは、
前記データベースを構成する複数の計算機の各々に前記索引情報の生成を指示した後、前記データベースを構成する複数の計算機から、前記自記憶領域に格納されるデータに関する情報を含む第2の応答を受信し、
前記第2の応答に基づいて、前記絞込み情報を生成し、
前記第1の処理において、前記データベースを構成する複数の計算機の各々が有するプロセッサは、
前記索引情報の生成の指示を受け付けた場合、前記索引情報を生成し、
前記第2の応答を送信し、
前記第2の処理において、前記データベースを構成する複数の計算機の各々が有するプロセッサは、
前記第1のタスクが割り当てられた場合、前記索引情報に基づいて、前記自記憶領域に格納されるデータを検索し、
前記検索されたデータを用いて前記第1のタスクを実行することを特徴とする計算機システム。 - 請求項3に記載の計算機システムであって、
前記複数の計算機の少なくとも一つの計算機は、前記データベースを構成する複数の計算機の構成及び稼働状態を管理する計算機管理情報を保持し、
前記第2の処理において、前記複数の計算機の少なくとも一つの計算機が有するプロセッサは、
前記第1のタスクが使用するデータを保持する計算機が複数存在する場合、前記計算機管理情報を参照し、
前記第1のタスクが使用するデータを保持する複数の計算機の中から、前記第1のタスクの負荷が小さい又は前記第1のタスクの処理時間が短い計算機を選択し、
前記選択された計算機に前記第1のタスクを割り当てることを特徴とする計算機システム。 - 複数の計算機を有する計算機システムにおけるタスクの割当方法であって、
前記複数の計算機が有する記憶領域を用いて構成され、第1検索キー及びデータ値を含むデータを格納するキーバリューストア型のデータベースを有し、
前記複数の計算機は、プロセッサ、前記プロセッサに接続される記憶装置、及び前記プロセッサに接続されるネットワークインタフェースを有し、
前記タスクの割当方法は、
前記複数の計算機の少なくとも一つの計算機が有する前記プロセッサが、前記データベースを構成する複数の計算機の各々に、前記第1検索キー及び前記データ値に関連する第2検索キーのいずれかを用いて、前記データベースを構成する複数の計算機の各々が前記データベースに割り当てている自記憶領域に格納されるデータを検索するための索引情報の生成を指示する第1のステップと、
前記複数の計算機の少なくとも一つの計算機が有する前記プロセッサが、第1のタスクの実行要求を受け付けた場合、前記データベースを構成する複数の計算機に前記第1のタスクを割り当てる第2のステップと、を含み、
前記第2のステップは、
前記複数の計算機の少なくとも一つの計算機が有する前記プロセッサが、前記第1のタスクが使用するデータを特定する第3のステップと、
前記複数の計算機の少なくとも一つの計算機が有する前記プロセッサが、前記データベースを構成する複数の計算機の各々に、前記第1のタスクが使用するデータの前記第2検索キーを含み、前記第1のタスクが使用するデータの有無を問い合わせるデータ問合せを行う第4のステップと、
前記複数の計算機の少なくとも一つの計算機が有する前記プロセッサが、前記データ問合せに対する第1の応答に基づいて、前記第1のタスクが使用するデータを保持する計算機を特定する第5のステップと、
前記複数の計算機の少なくとも一つの計算機が有する前記プロセッサが、前記特定された計算機に前記第1のタスクを割り当てる第6のステップと、
を含むことを特徴とするタスクの割当方法。 - 請求項5に記載のタスクの割当方法であって、
前記複数の計算機の少なくとも一つの計算機は、前記データ問合せの対象の計算機を選択するための絞込み情報を保持し、
前記第4のステップは、前記複数の計算機の少なくとも一つの計算機が有するプロセッサが、前記絞込み情報に基づいて、前記データ問合せの対象の計算機を特定するステップを含むことを特徴とするタスクの割当方法。 - 請求項6に記載のタスクの割当方法であって、
前記第1のステップは、
前記データベースを構成する複数の計算機の各々が有するプロセッサが、前記索引情報の生成の指示を受け付けた場合、前記索引情報を生成するステップと、
前記データベースを構成する複数の計算機の各々が有するプロセッサが、前記自記憶領域に格納されるデータに関する情報を含む第2の応答を送信するステップと、
前記複数の計算機の少なくとも一つの計算機が有するプロセッサが、前記データベースを構成する複数の計算機から、前記第2の応答を受信するステップと、
前記複数の計算機の少なくとも一つの計算機が有するプロセッサが、前記第2の応答に基づいて、前記絞込み情報を生成するステップと、を含み、
前記第6のステップは、
前記データベースを構成する複数の計算機の各々が有するプロセッサが、前記第1のタスクが割り当てられた場合、前記索引情報に基づいて、前記自記憶領域に格納されるデータを検索するステップと、
前記データベースを構成する複数の計算機の各々が有するプロセッサが、前記検索されたデータを用いて前記第1のタスクを実行するステップと、
を含むことを特徴とするタスクの割当方法。 - 請求項7に記載のタスクの割当方法であって、
前記複数の計算機の少なくとも一つの計算機は、前記データベースを構成する複数の計算機の構成及び稼働状態を管理する計算機管理情報を保持し、
前記第6のステップは、
前記複数の計算機の少なくとも一つの計算機が有するプロセッサが、前記第1のタスクが使用するデータを保持する計算機が複数存在する場合、前記計算機管理情報を参照するステップと、
前記複数の計算機の少なくとも一つの計算機が有するプロセッサが、前記第1のタスクが使用するデータを保持する複数の計算機の中から、前記第1のタスクの負荷が小さい又は前記第1のタスクの処理時間が短い計算機を選択するステップと、
前記複数の計算機の少なくとも一つの計算機が有するプロセッサが、前記選択された計算機に前記第1のタスクを割り当てるステップと、
を含むことを特徴とするタスクの割当方法。 - 第1検索キー及びデータ値を含むデータを格納するキーバリューストア型のデータベースを構成する複数のタスク処理ノード及び前記タスク処理ノードにタスクを割り当てるタスク管理ノードを備える計算機システムであって、
前記タスク処理ノードは、第1のプロセッサ、前記第1のプロセッサに接続される第1のメモリ、前記第1のプロセッサに接続される記憶装置、及び前記第1のプロセッサに接続される第1のネットワークインタフェースを有し、
前記タスク管理ノードは、第2のプロセッサ、前記第2のプロセッサに接続される第2のメモリ、及び前記第2のプロセッサに接続される第2のネットワークインタフェースを有し、
前記タスク処理ノードは、
前記データベースに対するデータの入出力を制御するデータ管理モジュールと、
前記データベースからデータを検索する検索エンジンと、を有し、
前記タスク管理ノードは、
前記タスク処理ノードへのタスクの割当てを制御するタスク管理モジュールを有し、
前記タスク処理ノードの状態を管理するノード管理情報と、
タスクが使用するデータの有無を問い合わせるタスク処理ノードを選択するための絞込み情報と、を保持し、
前記タスク管理モジュールは、
前記複数のタスク処理ノードの各々に、前記第1検索キー及び前記データ値に関連する第2検索キーのいずれかを用いて、前記複数のタスク処理ノードの各々が前記データベースに割り当てている自記憶領域に格納されるデータを検索するための索引情報の生成を指示し、
第1のタスクの実行要求を受け付けた場合、前記第1のタスクの実行要求を解析することによって、前記第1のタスクが使用するデータを特定し、
前記絞込み情報に基づいて、前記第1のタスクが使用するデータの前記第2検索キーを含み、前記第1のタスクが使用するデータの有無を問い合わせるデータ問合せの対象のタスク処理ノードを特定し、
前記特定されたタスク処理ノードに前記データ問合せを行い、
前記データ問合せに対する応答を受信し、
前記応答及び前記ノード管理情報に基づいて、前記第1のタスクを割り当てるタスク処理ノードを選択し、
前記選択されたタスク処理ノードに前記第1のタスクを割り当て、
前記検索エンジンは、
前記タスク管理モジュールからの指示を受信した場合、前記索引情報を生成し、
前記第1のタスクが割り当てられた場合、前記索引情報に基づいて、前記自記憶領域に格納されるデータの中から、前記第1のタスクが使用するデータを検索し、
前記検索されたデータを用いて前記第1のタスクを実行することを特徴とする計算機システム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017042896A JP6951846B2 (ja) | 2017-03-07 | 2017-03-07 | 計算機システム及びタスクの割当方法 |
US15/870,896 US20180260463A1 (en) | 2017-03-07 | 2018-01-13 | Computer system and method of assigning processing |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017042896A JP6951846B2 (ja) | 2017-03-07 | 2017-03-07 | 計算機システム及びタスクの割当方法 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2018147301A JP2018147301A (ja) | 2018-09-20 |
JP2018147301A5 JP2018147301A5 (ja) | 2020-03-12 |
JP6951846B2 true JP6951846B2 (ja) | 2021-10-20 |
Family
ID=63446419
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017042896A Active JP6951846B2 (ja) | 2017-03-07 | 2017-03-07 | 計算機システム及びタスクの割当方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US20180260463A1 (ja) |
JP (1) | JP6951846B2 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110728363B (zh) * | 2018-06-29 | 2022-11-18 | 华为技术有限公司 | 任务处理方法和装置 |
JP7372221B2 (ja) * | 2020-09-30 | 2023-10-31 | Kddi株式会社 | Ai処理分散方法およびシステム |
CN113094391B (zh) * | 2021-04-22 | 2022-08-26 | 浪潮通用软件有限公司 | 一种支持缓存的数据汇总的计算方法、装置及设备 |
CN113535730A (zh) * | 2021-07-21 | 2021-10-22 | 挂号网(杭州)科技有限公司 | 搜索引擎的索引更新方法及系统、电子设备、存储介质 |
CN118277456B (zh) * | 2024-06-03 | 2024-09-20 | 天津南大通用数据技术股份有限公司 | 一种mpp分布式系统中的发起节点输出方法 |
-
2017
- 2017-03-07 JP JP2017042896A patent/JP6951846B2/ja active Active
-
2018
- 2018-01-13 US US15/870,896 patent/US20180260463A1/en not_active Abandoned
Also Published As
Publication number | Publication date |
---|---|
US20180260463A1 (en) | 2018-09-13 |
JP2018147301A (ja) | 2018-09-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6951846B2 (ja) | 計算機システム及びタスクの割当方法 | |
JP7046172B2 (ja) | シャード・データベースのシャード・テーブルにレコードを記憶するためのコンピュータ実装方法、コンピュータ・プログラム製品、およびシステム、シャード・データベースのシャード・テーブルからレコードを検索するためのコンピュータ実装方法、コンピュータ・プログラム製品、およびシステム、ならびにシャード・データベースを記憶するためのシステム | |
CN111597148B (zh) | 用于分布式文件系统的分布式元数据管理方法 | |
US10904316B2 (en) | Data processing method and apparatus in service-oriented architecture system, and the service-oriented architecture system | |
US10394782B2 (en) | Chord distributed hash table-based map-reduce system and method | |
US10908834B2 (en) | Load balancing for scalable storage system | |
CN106682215B (zh) | 一种数据处理方法和管理节点 | |
CN104954468A (zh) | 资源的分配方法及装置 | |
US20170228422A1 (en) | Flexible task scheduler for multiple parallel processing of database data | |
CN109196807B (zh) | 网络节点以及操作网络节点以进行资源分发的方法 | |
CN113760847A (zh) | 日志数据处理方法、装置、设备及存储介质 | |
JP2018147301A5 (ja) | ||
CN111857539A (zh) | 用于管理存储系统的方法、设备和计算机程序产品 | |
JP6268116B2 (ja) | データ処理装置、データ処理方法およびコンピュータプログラム | |
JP5371656B2 (ja) | ファイル検索システム | |
US20220342888A1 (en) | Object tagging | |
JP6189266B2 (ja) | データ処理装置、データ処理方法及びデータ処理プログラム | |
KR100983479B1 (ko) | 분산 스페이스를 이용하여 분산 프로그래밍 환경을 제공하기 위한 방법, 시스템 및 컴퓨터 판독 가능한 기록 매체 | |
JP5626937B1 (ja) | リソース提供装置、リソース提供方法、およびリソース提供システム | |
US8832176B1 (en) | Method and system for processing a large collection of documents | |
JP6233846B2 (ja) | 可変長ノンスの生成 | |
JP6607044B2 (ja) | サーバー装置、分散ファイルシステム、分散ファイルシステム制御方法、および、プログラム | |
KR101648401B1 (ko) | 데이터 관리 및 분석을 위한 데이터베이스 장치, 스토리지 유닛 및 그 방법 | |
JP6349837B2 (ja) | スケジューラ装置及びそのスケジューリング方法、演算処理システム、並びにコンピュータ・プログラム | |
JP2022014633A (ja) | 分散処理システム、分散処理装置、データベース管理装置及び方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200131 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200131 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20201214 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210209 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210326 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210907 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210927 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6951846 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |