JP2023122310A - データ入力制御装置、データ入力制御方法、及びプログラム - Google Patents

Abstract

【課題】クラスタに対して割り当てる処理量を決定する新たな技術を提供する。【解決手段】クラスタ２０は、複数のノード３０を利用して、データに対する加工処理及び集計処理を行う。データ入力制御装置２０００は、メモリ状況情報４０を利用し、クラスタ２０に処理させる対象データ１０について、データの抽出サイズを決定する。メモリ状況情報４０は、クラスタ２０において過去にデータの加工処理及び集計処理が行われた際における、クラスタ２０のメモリの状況に関する情報である。抽出サイズは、クラスタ２０における過去のメモリ使用状況が入力されたことに応じて抽出サイズを出力するように訓練されたサイズ決定モデルに対し、メモリ状況情報４０を適用することで決定される。データ入力制御装置２０００は、対象データ１０から、抽出サイズと等しいサイズを持つ複数の部分データ１２を抽出し、各部分データ１２を順次クラスタ２０に処理させる。【選択図】図１

Description

本開示は、複数のノードから成るクラスタを利用した並列分散処理に関する。

複数のノードから成るクラスタを用いて並列分散処理を行う技術が開発されている。例えば特許文献１は、複数の処理で構成される依頼処理を複数のスレーブに割り付けて処理させる技術を開示している。特許文献１において、マスタは、各スレーブの処理履歴から各スレーブの処理能力を定め、処理能力に応じた量の処理を各スレーブに割り付ける。

特開２００４－０６２６８６号公報

特許文献１は、スレーブの処理能力に応じた処理量を決定する具体的な方法について言及していない。本発明はこの課題に鑑みてなされたものであり、その目的の一つは、クラスタに対して割り当てる処理量を決定する新たな技術を提供することである。

本開示のデータ入力制御装置は、複数のノードを利用してデータに対する加工処理及び集計処理を行うクラスタに処理させる対象データについて、データの抽出サイズを決定するサイズ決定部と、前記対象データから、前記抽出サイズと等しいサイズを持つ複数の部分データを抽出し、各前記部分データを順次前記クラスタに処理させる制御部と、を有する。前記サイズ決定部は、前記クラスタにおいて過去にデータの加工処理及び集計処理が行われた際における前記クラスタのメモリの状況に関するメモリ状況情報を取得し、前記クラスタにおける過去のメモリ使用状況が入力されたことに応じて前記抽出サイズを出力するように訓練されたサイズ決定モデルに対し、前記取得したメモリ状況情報を入力することで、前記抽出サイズを決定する。

本開示のデータ入力制御方法は、コンピュータによって実行される。当該制御方法は、複数のノードを利用してデータに対する加工処理及び集計処理を行うクラスタに処理させる対象データについて、データの抽出サイズを決定するサイズ決定ステップと、
前記対象データから、前記抽出サイズと等しいサイズを持つ複数の部分データを抽出し、各前記部分データを順次前記クラスタに処理させる制御ステップと、を有する。前記サイズ決定ステップにおいて、前記クラスタにおいて過去にデータの加工処理及び集計処理が行われた際における前記クラスタのメモリの状況に関するメモリ状況情報を取得し、前記クラスタにおける過去のメモリ使用状況が入力されたことに応じて前記抽出サイズを出力するように訓練されたサイズ決定モデルに対し、前記取得したメモリ状況情報を入力することで、前記抽出サイズを決定する。

本開示のプログラムは、本開示のデータ入力制御方法をコンピュータに実行させる。

本開示によれば、クラスタに対して割り当てる処理量を決定する新たな技術が提供される。

実施形態１のデータ入力制御装置の動作の概要を例示する図である。 実施形態１のデータ入力制御装置の機能構成を例示するブロック図である。 データ入力制御装置を実現するコンピュータのハードウエア構成を例示するブロック図である。 実施形態１のデータ入力制御装置によって実行される処理の流れを例示するフローチャートである。 メモリ状況情報をテーブル形式で例示する図である。 メモリ状況情報をテーブル形式で例示する図である。

以下では、本開示の実施形態について、図面を参照しながら詳細に説明する。各図面において、同一又は対応する要素には同一の符号が付されており、説明の明確化のため、必要に応じて重複説明は省略される。また、特に説明しない限り、所定値や閾値などといった予め定められている値は、その値を利用する装置からアクセス可能な記憶部などに予め格納されている。さらに、特に説明しない限り、記憶部は、１つ以上の任意の数の記憶装置で構成される。

図１は、実施形態１のデータ入力制御装置２０００の動作の概要を例示する図である。ここで、図１は、データ入力制御装置２０００の概要の理解を容易にするための図であり、データ入力制御装置２０００の動作は、図１に示したものに限定されない。

データ入力制御装置２０００は、クラスタ２０に対して入力されるデータに関する制御を行う。そこでまず、クラスタ２０について説明する。

クラスタ２０は複数のノード３０で構成され、入力されたデータの加工処理と集計処理を行う。クラスタ２０によって行われる処理は、データの並列分散処理とも表現することができる。例えば加工処理は、型変換処理、桁数統一処理、又は加算処理などである。また、例えば集計処理は、標準偏差、合計値、又は平均値などといった統計値を算出する処理である。

加工処理は、複数のノード３０によって行われる。クラスタ２０に対して入力されたデータは、複数のデータに分割され、それぞれ異なるノード３０に入力される。なお、１つのデータに対して加工処理を行うノード３０は、１つには限定されない。例えば、或るノード３０がデータに対して第１の加工処理を行った後、他のノード３０が、第１の加工処理によって得られたデータに対して第２の加工処理を行ってもよい。

集計処理は、１つ以上のノード３０によって行われる。集計処理を行うノード３０は、加工処理によって得られた複数のデータを取得し、取得してデータについての集計処理を行い、その結果を出力する。

データ入力制御装置２０００は、対象データ１０をクラスタ２０に処理させる。対象データ１０は、クラスタ２０による加工処理及び集計処理の対象となるデータである。ここで、クラスタ２０では、一度に大量のデータが入力されると、メモリ不足が原因で、データを正常に処理できなかったり、データの処理に要する時間が長くなってしまうことがある。そこでデータ入力制御装置２０００は、対象データ１０から互いに重複しない複数の部分データ１２を抽出し、各部分データ１２を順次クラスタ２０に処理させる。

以下、「クラスタ２０が１つの部分データ１２を取得し、その部分データ１２に対して加工処理及び集計処理を行い、その処理結果を出力する」という一連の処理のことを、１サイクルの処理と呼ぶ。対象データ１０からＮ個の部分データ１２が抽出される場合、データ入力制御装置２０００は、Ｎサイクルの処理を行うことになる。

ここで、部分データ１２のサイズが大きすぎると、各サイクルでメモリ不足が発生してしまう蓋然性が高くなる。一方、部分データ１２のサイズが小さすぎると、各サイクルでメモリの余剰が多くなり、対象データ１０に対する処理の効率が低くなる蓋然性が高くなる。

そこでデータ入力制御装置２０００は、クラスタ２０でメモリ容量の不足が生じることを避けつつ、対象データ１０の処理が効率よく行われるようにするために、適切な部分データ１２のサイズ（以下、抽出サイズ）を決定する。部分データ１２のサイズの決定には、メモリ状況情報４０が利用される。メモリ状況情報４０は、クラスタ２０においてデータの加工処理及び集計処理が行われている際におけるクラスタ２０のメモリの状況（処理に利用されているノード３０のメモリの状況）を示す。メモリの状況は、例えば、ノード３０のメモリ使用量や、ノード３０におけるメモリ異常の発生の有無などによって表される。

メモリ状況情報４０は、クラスタ２０においてデータの加工処理及び集計処理が行われている間に、各ノード３０におけるメモリの状況を監視することで生成することができる。メモリ状況情報４０の生成は、データ入力制御装置２０００によって行われてもよいし、他の装置によって行われてもよい。以下、メモリ状況情報４０を生成する装置のことを、メモリ状況情報生成装置と呼ぶ。メモリ状況情報生成装置によって生成されたメモリ状況情報４０は、記憶部５０に格納される。

データ入力制御装置２０００は、記憶部５０に格納されているメモリ状況情報４０（言い換えれば、過去に行われたクラスタ２０によるデータの加工処理及び集計処理についてのメモリ状況情報４０）を取得する。さらに、データ入力制御装置２０００は、取得したメモリ状況情報４０を利用して、抽出サイズを決定する。そして、データ入力制御装置２０００は、抽出サイズに等しい各部分データ１２を、順次クラスタ２０に処理させる。

抽出サイズの決定は、クラスタ２０におけるメモリの状況が入力されたことに応じて抽出サイズを出力するように構成された機械学習モデル（以下、サイズ決定モデル）を利用して行われる。サイズ決定モデルの詳細については後述する。

＜作用効果の一例＞
本実施形態のデータ入力制御装置２０００によれば、クラスタ２０に対して一度に割り当てる（投入する）データのサイズである抽出サイズが、メモリ状況情報４０をサイズ決定モデルに適用することで決定される。このように、データ入力制御装置２０００によれば、クラスタ２０に対して一度に割り当てるデータのサイズを決定する新たな技術が提供される。また、データ入力制御装置２０００によれば、クラスタ２０においてメモリ容量の不足によるメモリ異常がが生じることを避けつつ、データの処理が効率よく行われるようにすることができる。

以下、本実施形態のデータ入力制御装置２０００について、より詳細に説明する。

＜機能構成の例＞
図２は、実施形態１のデータ入力制御装置２０００の機能構成を例示するブロック図である。データ入力制御装置２０００は、サイズ決定部２０２０及び制御部２０４０を有する。サイズ決定部２０２０は、メモリ状況情報４０を利用して抽出サイズを決定する。制御部２０４０は、対象データ１０から、抽出サイズに等しいサイズの部分データ１２を順次抽出し、抽出した部分データ１２をクラスタ２０に処理させる。

＜ハードウエア構成の例＞
データ入力制御装置２０００の各機能構成部は、各機能構成部を実現するハードウエア（例：ハードワイヤードされた電子回路など）で実現されてもよいし、ハードウエアとソフトウエアとの組み合わせ（例：電子回路とそれを制御するプログラムの組み合わせなど）で実現されてもよい。以下、データ入力制御装置２０００の各機能構成部がハードウエアとソフトウエアとの組み合わせで実現される場合について、さらに説明する。

図３は、データ入力制御装置２０００を実現するコンピュータ５００のハードウエア構成を例示するブロック図である。コンピュータ５００は、任意のコンピュータである。例えばコンピュータ５００は、PC（Personal Computer）やサーバマシンなどといった、据え置き型のコンピュータである。その他にも例えば、コンピュータ５００は、スマートフォンやタブレット端末などといった可搬型のコンピュータである。コンピュータ５００は、データ入力制御装置２０００を実現するために設計された専用のコンピュータであってもよいし、汎用のコンピュータであってもよい。

例えば、コンピュータ５００に対して所定のアプリケーションをインストールすることにより、コンピュータ５００で、データ入力制御装置２０００の各機能が実現される。上記アプリケーションは、データ入力制御装置２０００の各機能構成部を実現するためのプログラムで構成される。なお、上記プログラムの取得方法は任意である。例えば、当該プログラムが格納されている記憶媒体（DVD ディスクや USB メモリなど）から、当該プログラムを取得することができる。その他にも例えば、当該プログラムが格納されている記憶装置を管理しているサーバ装置から、当該プログラムをダウンロードすることにより、当該プログラムを取得することができる。

コンピュータ５００は、バス５０２、プロセッサ５０４、メモリ５０６、ストレージデバイス５０８、入出力インタフェース５１０、及びネットワークインタフェース５１２を有する。バス５０２は、プロセッサ５０４、メモリ５０６、ストレージデバイス５０８、入出力インタフェース５１０、及びネットワークインタフェース５１２が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ５０４などを互いに接続する方法は、バス接続に限定されない。

プロセッサ５０４は、CPU（Central Processing Unit）、GPU（Graphics Processing Unit）、又は FPGA（Field－Programmable Gate Array）などの種々のプロセッサである。メモリ５０６は、RAM（Random Access Memory）などを用いて実現される主記憶装置である。ストレージデバイス５０８は、ハードディスク、SSD（Solid State Drive）、メモリカード、又は ROM（Read Only Memory）などを用いて実現される補助記憶装置である。

入出力インタフェース５１０は、コンピュータ５００と入出力デバイスとを接続するためのインタフェースである。例えば入出力インタフェース５１０には、キーボードなどの入力装置や、ディスプレイ装置などの出力装置が接続される。

ネットワークインタフェース５１２は、コンピュータ５００をネットワークに接続するためのインタフェースである。このネットワークは、LAN（Local Area Network）であってもよいし、WAN（Wide Area Network）であってもよい。

ストレージデバイス５０８は、データ入力制御装置２０００の各機能構成部を実現するプログラム（前述したアプリケーションを実現するプログラム）を記憶している。プロセッサ５０４は、このプログラムをメモリ５０６に読み出して実行することで、データ入力制御装置２０００の各機能構成部を実現する。

データ入力制御装置２０００は、１つのコンピュータ５００で実現されてもよいし、複数のコンピュータ５００で実現されてもよい。後者の場合において、各コンピュータ５００の構成は同一である必要はなく、それぞれ異なるものとすることができる。

＜処理の流れ＞
図４は、実施形態１のデータ入力制御装置２０００によって実行される処理の流れを例示するフローチャートである。サイズ決定部２０２０は、メモリ状況情報４０を利用して抽出サイズを決定する（Ｓ１０２）。制御部２０４０は、対象データ１０から、そのサイズが抽出サイズである部分データ１２を順次抽出し、抽出した部分データ１２をクラスタ２０に処理させる（Ｓ１０４）。

＜対象データ１０について＞
対象データ１０は、クラスタ２０による加工処理及び集計処理の対象となるデータである。例えばデータ入力制御装置２０００は、データ入力制御装置２０００の外部で動作するアプリケーションから、対象データ１０をクラスタ２０に処理させるためのリクエストを受け付ける。例えばこのリクエストには、リクエスト元のアプリケーションの識別情報や、対象データ１０へアクセスするためのアクセス情報が含まれている。アクセス情報は、例えば、対象データ１０が格納されている記憶部の識別情報（URLなど）や、対象データ１０が格納されている当該記憶部上の領域を表すパスなどを示す。

なお、同一のアプリケーションであっても、クラスタ２０に処理させたいデータの種類が複数存在しうる。そこで上記リクエストは、対象データ１０の種類をさらに示してもよい。データの種類としては、例えば、トラフィックデータやログデータなどといった種類がある。また、トラフィックやログの種類をさらに示すことにより、データの種類がさらに細かく分類されてもよい。例えばトラフィックデータであれば、「Ａという種類のトラフィックに関するトラフィックデータ」や「Ｂという種類のトラフィックに関するトラフィックデータ」などのように分類することができる。

＜メモリ状況情報４０について＞
メモリ状況情報４０は、クラスタ２０によってデータの加工処理及び集計処理が行われている間における、クラスタ２０のメモリの状況を示す。前述したように、例えばメモリ状況情報４０は、各ノード３０のメモリ使用量や、各ノード３０におけるメモリ異常の発生回数などを示す。メモリ異常とは、例えば、メモリ不足によるプロセスの起動失敗やプロセスの強制終了などである。

図５及び図６は、メモリ状況情報４０をテーブル形式で例示する図である。メモリ状況情報４０は、クラスタ２０によって対象データ１０が処理された際のクラスタ２０のメモリの状況について、アプリケーション識別情報４１、データ種別４２、開始日時４３、終了日時４４、処理結果４５、データ総量４６、抽出サイズ４７、メモリ使用量４８、及びメモリ異常発生回数４９という９種類のデータを示す。

アプリケーション識別情報４１は、リクエスト元のアプリケーションの識別情報（名称など）を示す。データ種別４２は、対象データ１０の種類を示す。開始日時４３と終了日時４４はそれぞれ、クラスタ２０による対象データ１０の処理が開始された日時と終了した日時を示す。処理結果４５は、クラスタ２０による対象データ１０の処理が正常に終了したか否かを示す。データ総量４６は、対象データ１０のサイズを示す。抽出サイズ４７は、データ入力制御装置２０００によって決定された抽出サイズを示す。メモリ使用量４８は、各ノード３０によるメモリの使用量を示す。メモリ異常発生回数４９は、メモリ異常が発生した回数を示す。なお、図６の例において、メモリ異常発生回数４９は、各ノード３０で発生したメモリ異常の発生回数の合計値を示している。しかしながら、メモリ異常発生回数４９は、メモリ異常の発生回数をノード３０ごとに示してもよい。

例えばメモリ状況情報４０は、メモリの状況を監視するソフトウエア（以下、メモリ監視ソフトウエア）を各ノード３０上で動作させることによって生成することができる。メモリ監視ソフトウエアは、例えば、ノード３０のメモリ使用量を示す情報を、定期的に、メモリ状況情報生成装置へ送信する。また、メモリ監視ソフトウエアは、ノード３０においてメモリ異常が発生したら、メモリ異常の発生日時を示す情報を、メモリ状況情報生成装置へ送信する。メモリ状況情報生成装置は、各ノード３０のメモリ監視ソフトウエアから送信されるこれらの情報を利用して、メモリ状況情報４０を生成する。なお、メモリ監視ソフトウエアは、能動的にメモリ状況情報生成装置へ各種の情報を送信する代わりに、メモリ状況情報装置からのリクエストに応じて各種の情報を送信してもよい。

＜抽出サイズの決定：Ｓ１０２＞
サイズ決定部２０２０は、メモリ状況情報４０を利用して抽出サイズを決定する（Ｓ１０２）。ここで、サイズ決定部２０２０は、記憶部５０に格納されているメモリ状況情報４０を全て利用してもよいし、記憶部５０に格納されているメモリ状況情報４０のうちの一部を利用してもよい。

後者の場合において、抽出サイズの決定に利用するメモリ状況情報４０を選択する方法は様々である。例えばサイズ決定部２０２０は、記憶部５０から、過去所定期間に生成されたメモリ状況情報４０を取得する。その他にも例えば、サイズ決定部２０２０は、直近所定個のメモリ状況情報４０を取得する。その他にも例えば、前述したように特定のアプリケーションからリクエストを受け付けた場合、サイズ決定部２０２０は、当該アプリケーションの識別情報を示すメモリ状況情報４０（すなわち、当該アプリケーションからリクエストされたデータを処理した際におけるクラスタ２０についてのメモリ状況情報４０）を取得してもよい。その他にも例えば、アプリケーションからのリクエストに対象データ１０の種類が示されている場合、サイズ決定部２０２０は、対象データ１０の種類と同じ種類を示すメモリ状況情報４０を取得してもよい。

なお、メモリ状況情報４０の選択には、複数の条件が利用されてもよい。例えば、「過去所定期間に生成され、かつ、リクエスト元のアプリケーションの識別情報を示し、かつ、対象データ１０の種類と同じ種類を示す」などといった条件である。

前述したように、抽出サイズの決定は、サイズ決定モデルを利用して行われる。サイズ決定モデルとしては、任意の機械学習モデル（例えばニューラルネットワークや SVM（support vector machine）など）を利用することができる。

サイズ決定モデルは、例えば、メモリ使用量が入力されたことに応じて抽出サイズを出力するように構成される。なお、抽出サイズの決定に利用するメモリ状況情報４０として、複数のメモリ状況情報４０が選択された場合、例えばサイズ決定部２０２０は、これら複数のメモリ状況状況４０それぞれが示すメモリ使用量の統計値を算出し、当該統計値をサイズ決定モデルへの入力として利用する。

サイズ決定モデルは、抽出サイズの決定に利用されるメモリ状況情報４０よりも過去のメモリ状況情報４０を利用して、予め訓練される。例えばデータ入力制御装置２０００は、過去のメモリ状況情報４０のうち、メモリ異常が発生しなかったケースを示すメモリ状況情報４０を正例のデータとして利用して、サイズ決定モデルを訓練する。具体的には、データ入力制御装置２０００は、正例のメモリ状況情報４０が示すメモリ使用量４８を訓練用の入力データとし、なおかつ、そのメモリ状況情報４０が示す抽出サイズ４７を正解の出力データとして利用して、サイズ決定モデルを訓練する。なお、サイズ決定モデルの訓練には、負例のメモリ状況情報４０（すなわち、メモリ異常が発生したケースを示すメモリ状況情報４０）がさらに利用されてもよい。

抽出サイズの決定には、メモリ使用量に加え、対象データ１０の処理時間がさらに利用されてもよい。この場合、サイズ決定モデルは、メモリ状況情報４０によって示されているメモリ使用量及び処理時間（開始日時４３と終了日時４４との差分）を入力として取得して、抽出サイズを出力する。そのため、サイズ決定モデルの訓練も、過去のメモリ状況情報４０が示すメモリ使用量及び処理時間を用いて行われる。

なお、サイズ決定モデルは、繰り返し更新されることが好適である。例えばサイズ決定部２０２０は、所定の時間が経過する度に、当該所定の時間の間に生成された１つ以上のメモリ状況情報４０を利用してサイズ決定モデルの訓練を行うことで、サイズ決定モデルのパラメータ（例えば、ニューラルネットワークにおける各ノード間の重み）を更新する。このようにサイズ決定モデルの更新を繰り返すことにより、サイズ決定モデルの精度を向上させていくことができる。よって、抽出サイズの適切さを向上させていくことができる。

＜クラスタ２０の制御：Ｓ１０４＞
サイズ決定部２０２０によって抽出サイズが決定されたら、制御部２０４０は、対象データ１０から、そのサイズが抽出サイズと等しい部分データ１２を順次抽出し、抽出した部分データ１２をクラスタ２０に処理させる（Ｓ１０４）。例えば、対象データ１０からＮ個の部分データ１２が抽出される場合、データ入力制御装置２０００は、クラスタ２０にＮサイクルの処理を順次実行させる。なお、対象データ１０のサイズが抽出サイズの整数倍でない場合、最後の１つの部分データ１２については、そのサイズが抽出サイズ未満となる。

ここで、クラスタに特定のデータを処理させる方法には、様々な方法を採用できる。例えば、まず制御部２０４０は、対象データ１０が格納されている記憶部から、１サイクル目の処理に利用する部分データ１２を読み出す。言い換えれば、制御部２０４０は、対象データ１０のうち、先頭から抽出サイズ分のデータを読み出す。そして制御部２０４０は、読み出した部分データ１２をクラスタ２０に投入することで、クラスタ２０に１サイクル目の処理を実行させる。１サイクル目の処理が完了したら、制御部２０４０は、２サイクル目の部分データ１２を記憶部から読み出し、クラスタ２０に投入する。制御部２０４０は、このように部分データ１２を順次記憶部から読み出してクラスタ２０に投入するという処理を、全てのサイクルが完了するまで繰り返す。

なお、前述したように、部分データ１２に対する加工処理は、複数のノード３０によって行われる。そのため部分データ１２は、複数のデータに分割され、分割されたデータがそれぞれ異なるノード３０に投入される。このように部分データ１２を分割して各ノード３０に投入する処理は、データ入力制御装置２０００によって行われてもよいし、データ入力制御装置２０００以外の装置によって行われてもよい。例えば、クラスタ２０に含まれる複数のノード３０を管理する管理装置がデータ入力制御装置２０００とは別途設けられている場合、この管理装置が部分データ１２を分割し、分割された各データをノード３０に投入してもよい。

ここで、サイクルの途中でメモリ異常が発生する可能性がある。クラスタ２０におけるメモリ異常の発生は、例えば前述した、ノード３０上で動作するメモリ監視ソフトウエアから通知を受信することで把握することができる。或るサイクルでメモリ異常が検出された場合、例えば制御部２０４０は、そのサイクルでクラスタ２０に処理させる部分データ１２のサイズを抽出サイズよりも小さくした上で、そのサイクルをクラスタ２０にリトライさせる。

例えば、抽出サイズが S であり、m サイクル目でメモリ異常が発生したとする。ここで、m サイクル目における部分データ１２は、対象データ１０のうち、[m*(S-1),m*s] という範囲のデータとなる。例えば制御部２０４０は、メモリ異常が発生した m サイクル目で処理させる部分データ１２のサイズを、所定割合 r（１０％など）だけ小さい S(1-r) に変更する。これにより、m サイクル目でクラスタ２０に処理させるデータの範囲は、[m*(S-1),m*(S-1)+S(1-r)]に変更される。

データ入力制御装置２０００は、上述のようにサイズを変更した部分データ１２をクラスタ２０に投入することで、m サイクル目の処理をリトライさせる。メモリ異常が発生することなくリトライが完了したら、クラスタ２０による処理は m+1 サイクル目に移行する。

上述した部分データ１２のサイズの削減は、メモリ異常が発生したサイクルのみに適用されてもよいし、その後のサイクルにもしばらく適用されてもよい。前者の場合、m+1 サイクル目の処理では、サイズ決定部２０２０によって決定された抽出サイズを持つ部分データ１２がクラスタ２０に投入される。この部分データ１２の範囲は、[m*(S-1)+S(1-r),m*S+S(1-r)]となる。

メモリ異常が発生したサイクルより後のサイクルにもサイズの削減を適用する場合、例えば、メモリ異常が発生したサイクルだけでなく、その後の所定数のサイクルについても、同様に削減したサイズ（前述の例では S(1-r)）の部分データ１２が抽出される。なお、メモリ異常が発生したサイクル以後、サイズの削減量を段階的に小さくしてもよい。また、データ入力制御装置２０００は、メモリ異常が発生したサイクルより後の所定数のサイクルのそれぞれについて、メモリ異常が発生していないかどうかを判定し、これら所定数のサイクルのいずれにおいてもメモリ異常が発生しなかった場合に、部分データ１２のサイズを元のサイズに戻すようにしてもよい。

以上、実施の形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

なお、上述の例において、プログラムは、コンピュータに読み込まれた場合に、実施形態で説明された１又はそれ以上の機能をコンピュータに行わせるための命令群（又はソフトウェアコード）を含む。プログラムは、非一時的なコンピュータ可読媒体又は実体のある記憶媒体に格納されてもよい。限定ではなく例として、コンピュータ可読媒体又は実体のある記憶媒体は、random-access memory（RAM）、read-only memory（ROM）、フラッシュメモリ、solid-state drive（SSD）又はその他のメモリ技術、CD-ROM、digital versatile disc（DVD）、Blu-ray（登録商標）ディスク又はその他の光ディスクストレージ、磁気カセット、磁気テープ、磁気ディスクストレージ又はその他の磁気ストレージデバイスを含む。プログラムは、一時的なコンピュータ可読媒体又は通信媒体上で送信されてもよい。限定ではなく例として、一時的なコンピュータ可読媒体又は通信媒体は、電気的、光学的、音響的、またはその他の形式の伝搬信号を含む。

上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）
複数のノードを利用してデータに対する加工処理及び集計処理を行うクラスタに処理させる対象データについて、データの抽出サイズを決定するサイズ決定部と、
前記対象データから、前記抽出サイズと等しいサイズを持つ複数の部分データを抽出し、各前記部分データを順次前記クラスタに処理させる制御部と、を有し、
前記サイズ決定部は、
前記クラスタにおいて過去にデータの加工処理及び集計処理が行われた際における前記クラスタのメモリの状況に関するメモリ状況情報を取得し、
前記クラスタにおける過去のメモリ使用状況が入力されたことに応じて前記抽出サイズを出力するように訓練されたサイズ決定モデルに対し、前記取得したメモリ状況情報を入力することで、前記抽出サイズを決定する、データ入力制御装置。
（付記２）
前記メモリ状況情報は、データの処理を前記クラスタにリクエストするアプリケーションの識別情報に対応づけて、そのアプリケーションからリクエストされたデータを処理した際における前記クラスタのメモリの状況を示し、
前記サイズ決定部は、前記対象データの処理を前記クラスタにリクエストしたアプリケーションの識別情報を取得し、その識別情報を示す前記メモリ状況情報を利用して前記抽出サイズを決定する、付記１に記載のデータ入力制御装置。
（付記３）
前記メモリ状況情報は、データの種類に対応づけて、その種類のデータを処理した際における前記クラスタのメモリの状況を示し、
前記サイズ決定部は、前記対象データの種類を示す情報を取得し、その種類を示す前記メモリ状況情報を利用して前記抽出サイズを決定する、付記１又は２に記載のデータ入力制御装置。
（付記４）
前記制御部は、前記部分データについての加工処理又は集約処理においてメモリ異常が発生した場合、前記部分データのサイズを前記抽出サイズよりも小さいサイズに変更し、前記変更後の部分データを前記クラスタに処理させる、付記１から３いずれか一項に記載のデータ入力制御装置。
（付記５）
前記メモリ状況情報は、前記クラスタにおいてメモリ異常が検出された回数を示す、付記１から４いずれか一項に記載のデータ入力制御装置。
（付記６）
前記サイズ決定部は、前記取得したメモリ状況情報を用いて前記サイズ決定モデルのパラメータを更新する、付記１から５いずれか一項に記載のデータ入力制御装置。
（付記７）
コンピュータによって実行されるデータ入力制御方法であって、
複数のノードを利用してデータに対する加工処理及び集計処理を行うクラスタに処理させる対象データについて、データの抽出サイズを決定するサイズ決定ステップと、
前記対象データから、前記抽出サイズと等しいサイズを持つ複数の部分データを抽出し、各前記部分データを順次前記クラスタに処理させる制御ステップと、を有し、
前記サイズ決定ステップにおいて、
前記クラスタにおいて過去にデータの加工処理及び集計処理が行われた際における前記クラスタのメモリの状況に関するメモリ状況情報を取得し、
前記クラスタにおける過去のメモリ使用状況が入力されたことに応じて前記抽出サイズを出力するように訓練されたサイズ決定モデルに対し、前記取得したメモリ状況情報を入力することで、前記抽出サイズを決定する、データ入力制御方法。
（付記８）
前記メモリ状況情報は、データの処理を前記クラスタにリクエストするアプリケーションの識別情報に対応づけて、そのアプリケーションからリクエストされたデータを処理した際における前記クラスタのメモリの状況を示し、
前記サイズ決定ステップにおいて、前記対象データの処理を前記クラスタにリクエストしたアプリケーションの識別情報を取得し、その識別情報を示す前記メモリ状況情報を利用して前記抽出サイズを決定する、付記７に記載のデータ入力制御方法。
（付記９）
前記メモリ状況情報は、データの種類に対応づけて、その種類のデータを処理した際における前記クラスタのメモリの状況を示し、
前記サイズ決定ステップにおいて、前記対象データの種類を示す情報を取得し、その種類を示す前記メモリ状況情報を利用して前記抽出サイズを決定する、付記７又は８に記載のデータ入力制御方法。
（付記１０）
前記制御ステップにおいて、前記部分データについての加工処理又は集約処理においてメモリ異常が発生した場合、前記部分データのサイズを前記抽出サイズよりも小さいサイズに変更し、前記変更後の部分データを前記クラスタに処理させる、付記７から９いずれか一項に記載のデータ入力制御方法。
（付記１１）
前記メモリ状況情報は、前記クラスタにおいてメモリ異常が検出された回数を示す、付記７から１０いずれか一項に記載のデータ入力制御方法。
（付記１２）
前記サイズ決定ステップにおいて、前記取得したメモリ状況情報を用いて前記サイズ決定モデルのパラメータを更新する、付記７から１１いずれか一項に記載のデータ入力制御方法。
（付記１３）
コンピュータに、
複数のノードを利用してデータに対する加工処理及び集計処理を行うクラスタに処理させる対象データについて、データの抽出サイズを決定するサイズ決定ステップと、
前記対象データから、前記抽出サイズと等しいサイズを持つ複数の部分データを抽出し、各前記部分データを順次前記クラスタに処理させる制御ステップと、を実行させ、
前記サイズ決定ステップにおいて、
前記クラスタにおいて過去にデータの加工処理及び集計処理が行われた際における前記クラスタのメモリの状況に関するメモリ状況情報を取得し、
前記クラスタにおける過去のメモリ使用状況が入力されたことに応じて前記抽出サイズを出力するように訓練されたサイズ決定モデルに対し、前記取得したメモリ状況情報を入力することで、前記抽出サイズを決定する、プログラム。
（付記１４）
前記メモリ状況情報は、データの処理を前記クラスタにリクエストするアプリケーションの識別情報に対応づけて、そのアプリケーションからリクエストされたデータを処理した際における前記クラスタのメモリの状況を示し、
前記サイズ決定ステップにおいて、前記対象データの処理を前記クラスタにリクエストしたアプリケーションの識別情報を取得し、その識別情報を示す前記メモリ状況情報を利用して前記抽出サイズを決定する、付記１３に記載のプログラム。
（付記１５）
前記メモリ状況情報は、データの種類に対応づけて、その種類のデータを処理した際における前記クラスタのメモリの状況を示し、
前記サイズ決定ステップにおいて、前記対象データの種類を示す情報を取得し、その種類を示す前記メモリ状況情報を利用して前記抽出サイズを決定する、付記１３又は１４に記載のプログラム。
（付記１６）
前記制御ステップにおいて、前記部分データについての加工処理又は集約処理においてメモリ異常が発生した場合、前記部分データのサイズを前記抽出サイズよりも小さいサイズに変更し、前記変更後の部分データを前記クラスタに処理させる、付記１３から１５いずれか一項に記載のプログラム。
（付記１７）
前記メモリ状況情報は、前記クラスタにおいてメモリ異常が検出された回数を示す、付記１３から１６いずれか一項に記載のプログラム。
（付記１８）
前記サイズ決定ステップにおいて、前記取得したメモリ状況情報を用いて前記サイズ決定モデルのパラメータを更新する、付記１３から１７いずれか一項に記載のプログラム。

１０ 対象データ
１２ 部分データ
２０ クラスタ
３０ ノード
４０ メモリ状況情報
４１ アプリケーション識別情報
４２ データ種別
４３ 開始日時
４４ 終了日時
４５ 処理結果
４６ データ総量
４７ 抽出サイズ
４８ メモリ使用量
４９ メモリ異常発生回数
５０ 記憶部
５００ コンピュータ
５０２ バス
５０４ プロセッサ
５０６ メモリ
５０８ ストレージデバイス
５１０ 入出力インタフェース
５１２ ネットワークインタフェース
２０００ データ入力制御装置
２０２０ サイズ決定部
２０４０ 制御部

Claims (8)

1. 複数のノードを利用してデータに対する加工処理及び集計処理を行うクラスタに処理させる対象データについて、データの抽出サイズを決定するサイズ決定部と、
   前記対象データから、前記抽出サイズと等しいサイズを持つ複数の部分データを抽出し、各前記部分データを順次前記クラスタに処理させる制御部と、を有し、
   前記サイズ決定部は、
   前記クラスタにおいて過去にデータの加工処理及び集計処理が行われた際における前記クラスタのメモリの状況に関するメモリ状況情報を取得し、
   前記クラスタにおける過去のメモリ使用状況が入力されたことに応じて前記抽出サイズを出力するように訓練されたサイズ決定モデルに対し、前記取得したメモリ状況情報を入力することで、前記抽出サイズを決定する、データ入力制御装置。
2. 前記メモリ状況情報は、データの処理を前記クラスタにリクエストするアプリケーションの識別情報に対応づけて、そのアプリケーションからリクエストされたデータを処理した際における前記クラスタのメモリの状況を示し、
   前記サイズ決定部は、前記対象データの処理を前記クラスタにリクエストしたアプリケーションの識別情報を取得し、その識別情報を示す前記メモリ状況情報を利用して前記抽出サイズを決定する、請求項１に記載のデータ入力制御装置。
3. 前記メモリ状況情報は、データの種類に対応づけて、その種類のデータを処理した際における前記クラスタのメモリの状況を示し、
   前記サイズ決定部は、前記対象データの種類を示す情報を取得し、その種類を示す前記メモリ状況情報を利用して前記抽出サイズを決定する、請求項１又は２に記載のデータ入力制御装置。
4. 前記制御部は、前記部分データについての加工処理又は集約処理においてメモリ異常が発生した場合、前記部分データのサイズを前記抽出サイズよりも小さいサイズに変更し、前記変更後の部分データを前記クラスタに処理させる、請求項１から３いずれか一項に記載のデータ入力制御装置。
5. 前記メモリ状況情報は、前記クラスタにおいてメモリ異常が検出された回数を示す、請求項１から４いずれか一項に記載のデータ入力制御装置。
6. 前記サイズ決定部は、前記取得したメモリ状況情報を用いて前記サイズ決定モデルのパラメータを更新する、請求項１から５いずれか一項に記載のデータ入力制御装置。
7. コンピュータによって実行されるデータ入力制御方法であって、
   複数のノードを利用してデータに対する加工処理及び集計処理を行うクラスタに処理させる対象データについて、データの抽出サイズを決定するサイズ決定ステップと、
   前記対象データから、前記抽出サイズと等しいサイズを持つ複数の部分データを抽出し、各前記部分データを順次前記クラスタに処理させる制御ステップと、を有し、
   前記サイズ決定ステップにおいて、
   前記クラスタにおいて過去にデータの加工処理及び集計処理が行われた際における前記クラスタのメモリの状況に関するメモリ状況情報を取得し、
   前記クラスタにおける過去のメモリ使用状況が入力されたことに応じて前記抽出サイズを出力するように訓練されたサイズ決定モデルに対し、前記取得したメモリ状況情報を入力することで、前記抽出サイズを決定する、データ入力制御方法。
8. コンピュータに、
   複数のノードを利用してデータに対する加工処理及び集計処理を行うクラスタに処理させる対象データについて、データの抽出サイズを決定するサイズ決定ステップと、
   前記対象データから、前記抽出サイズと等しいサイズを持つ複数の部分データを抽出し、各前記部分データを順次前記クラスタに処理させる制御ステップと、を実行させ、
   前記サイズ決定ステップにおいて、
   前記クラスタにおいて過去にデータの加工処理及び集計処理が行われた際における前記クラスタのメモリの状況に関するメモリ状況情報を取得し、
   前記クラスタにおける過去のメモリ使用状況が入力されたことに応じて前記抽出サイズを出力するように訓練されたサイズ決定モデルに対し、前記取得したメモリ状況情報を入力することで、前記抽出サイズを決定する、プログラム。

Images