JP2020038623A - データを記憶するための方法、装置及びシステム - Google Patents
データを記憶するための方法、装置及びシステム Download PDFInfo
- Publication number
- JP2020038623A JP2020038623A JP2019127387A JP2019127387A JP2020038623A JP 2020038623 A JP2020038623 A JP 2020038623A JP 2019127387 A JP2019127387 A JP 2019127387A JP 2019127387 A JP2019127387 A JP 2019127387A JP 2020038623 A JP2020038623 A JP 2020038623A
- Authority
- JP
- Japan
- Prior art keywords
- data
- storage
- record
- type
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/0614—Improving the reliability of storage systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/061—Improving I/O performance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0629—Configuration or reconfiguration of storage systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0629—Configuration or reconfiguration of storage systems
- G06F3/0631—Configuration or reconfiguration of storage systems by allocating resources to storage systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0638—Organizing or formatting or addressing of data
- G06F3/064—Management of blocks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
- G06F3/0652—Erasing, e.g. deleting, data cleaning, moving of data to a wastebasket
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0653—Monitoring storage devices or systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
Description
Claims (16)
- データを記憶するための方法であって、前記方法は分散型オブジェクトストレージのスタンドアロンストレージエンジンに使用され、前記スタンドアロンストレージエンジンのディスクにストレージファイルが構成され、前記ストレージファイルのストレージスペースは少なくとも2つのデータブロックに分けられ、且つ前記少なくとも2つのデータブロックの間ではリンクリスト構造を使用し、
前記方法は、
記憶対象レコードのデータのサイズに基づいて、前記記憶対象レコードのタイプを確定することと、
前記ストレージファイルにおいて前記タイプの現在のストレージ情報を検索することであって、前記現在のストレージ情報は、現在割り当てられたデータブロックの情報と当該データブロックのうち現在記憶されたレコードの情報とを含み、前記ストレージファイルのうち同じ前記タイプで記憶されたレコードのデータのサイズは同じであり、異なる前記タイプで記憶されたレコードのデータのサイズは異なる、ことと、
前記現在のストレージ情報に基づいて、前記現在割り当てられたデータブロックに残りのストレージスペースが存在するか否かを確定することと、
前記残りのストレージスペースがないと確定されたことに応答して、前記タイプに新しいデータブロックを割り当てて、前記記憶対象レコードを前記新しいデータブロックに記憶することと、を含むデータを記憶するための方法。 - 前記残りのストレージスペースがあると確定されたことに応答して、前記残りのストレージスペースが前記記憶対象レコードのデータのサイズより小さくないか否かをさらに確定することと、
前記残りのストレージスペースが前記記憶対象レコードのデータのサイズより小さいと確定されたことに応答して、前記記憶対象レコードの一部のデータを前記残りのストレージスペースに記憶することと、
前記タイプに新しいデータブロックを割り当てて、前記記憶対象レコードの残りのデータを当該新しいデータブロックに記憶することと、をさらに含むことを特徴とする
請求項1に記載のデータを記憶するための方法。 - 前記少なくとも2つのデータブロックのストレージスペースは同じであり、且つ異なる前記タイプで記憶されたレコードのデータのサイズはすべて所定の数値の整数倍であることを特徴とする
請求項1に記載のデータを記憶するための方法。 - 前記タイプの前記現在のストレージ情報を更新し、前記記憶対象レコードの記憶後の位置情報を生成し、前記位置情報を出力することをさらに含み、
前記位置情報は、レコードの前記タイプ、レコードの識別子及びレコードの位置するデータブロックの識別子のうち少なくとも1つを含むことを特徴とする
請求項1乃至3のいずれか一項に記載のデータを記憶するための方法。 - 前記ディスクに少なくとも2つの前記ストレージファイルが構成され、且つ前記ディスクのディレクトリに各前記ストレージファイルのインデックス情報が記憶されていることを特徴とする
請求項4に記載のデータを記憶するための方法。 - 前記ディレクトリから読み取り対象レコードの位置情報を検索することと、
前記読み取り対象レコードの位置情報に基づいて、前記読み取り対象レコードの前記タイプ及び対応する前記ストレージファイルのうち位置するデータブロックにおける位置オフセットを確定することと、
前記読み取り対象レコードの前記タイプに基づいて、前記読み取り対象レコードの長さを確定し、前記位置オフセットによって表示された位置から始まって、前記読み取り対象レコードの長さに対応する長さのデータを読み取り、読み取ったデータを前記読み取り対象レコードとして出力することと、をさらに含むことを特徴とする
請求項5に記載のデータを記憶するための方法。 - 前記ディレクトリから削除対象レコードの位置情報を検索することと、
前記削除対象レコードの位置情報に基づいて、対応する前記ストレージファイルで前記削除対象レコードの属する前記タイプの前記現在のストレージ情報を獲得することと、
獲得された前記現在のストレージ情報に基づいて、現在記憶されたレコードから最後のレコードを読み取り、読み取られたレコードを前記削除対象レコードの位置する位置へ転送し記憶することと、
前記読み取られたレコードの転送前のデータブロック中のデータをクリアし、前記読み取られたレコードの位置情報を修正することと、をさらに含むことを特徴とする
請求項5に記載のデータを記憶するための方法。 - 前記読み取られたレコードの転送前のデータブロック中のデータをクリアした後、前記データを記憶するための方法は、
前記読み取られたレコードが転送前に位置したデータブロックにデータが存在するか否かを確定することと、
当該データブロックにデータが存在しない場合、再び割り当てるために当該データブロックを回収することと、をさらに含むことを特徴とする
請求項7に記載のデータを記憶するための方法。 - 前記記憶対象レコードのデータのサイズに基づいて、前記記憶対象レコードの前記タイプを確定する前に、前記データを記憶するための方法は、
記憶待ちオブジェクトを分割して得られた少なくとも1つのサブオブジェクト中のサブオブジェクトに対して、前記サブオブジェクトをコーディングして副本を獲得することと、
当該副本の説明情報及びデータに対して配列化処理を行って、前記サブオブジェクトの記憶対象レコードを生成することと、をさらに含むことを特徴とする
請求項1乃至8のいずれか一項に記載のデータを記憶するための方法。 - 前記サブオブジェクトの記憶対象レコードを生成することは、
配列化後の前記副本のデータのサイズが前記ストレージファイル中の各前記タイプに対応するデータのサイズ中の1つと同じであるか否かを確定することと、
前記副本のデータのサイズが各前記タイプに対応するデータのサイズとすべて異なり、且つ一部の前記タイプに対応するデータのサイズより小さい場合、前記副本のデータの後ろをゼロで埋めて、ゼロで埋めた後の前記副本のデータのサイズが目標タイプに対応するデータのサイズと同じであり、且つ前記サブオブジェクトの1つの記憶対象レコードを生成するようにすることと、
前記副本のデータのサイズが各前記タイプに対応するデータのサイズの最大値より大きい場合、前記副本に対して分割しゼロで埋めることにより、分割後の各副本のデータのサイズが各前記タイプに対応するデータのサイズ中の1つとそれぞれ同じであるようにし、且つ前記サブオブジェクトの少なくとも二つの記憶対象レコードを生成することと、を含み、
前記目標タイプは、前記一部の前記タイプのうちの対応するデータのサイズが最も小さい前記タイプであることを特徴とする
請求項9に記載のデータを記憶するための方法。 - データを記憶するための装置であって、前記装置は分散型オブジェクトストレージのスタンドアロンストレージエンジンに構成され、前記スタンドアロンストレージエンジンのディスクにストレージファイルが構成され、前記ストレージファイルのストレージスペースは少なくとも2つのデータブロックに分けられ、且つ前記少なくとも2つのデータブロックの間ではリンクリスト構造を使用し、
前記装置は、
記憶対象レコードのデータのサイズに基づいて、前記記憶対象レコードのタイプを確定するように構成されるタイプ確定ユニットと、
前記ストレージファイルにおいて前記タイプの現在のストレージ情報を検索するように構成される検索ユニットであって、前記現在のストレージ情報は、現在割り当てられたデータブロックの情報と当該データブロックのうち現在記憶されたレコードの情報とを含み、前記ストレージファイルのうち同じ前記タイプで記憶されたレコードのデータのサイズは同じであり、異なる前記タイプで記憶されたレコードのデータのサイズは異なる、検索ユニットと、
前記現在のストレージ情報に基づいて、前記現在割り当てられたデータブロックに残りのストレージスペースが存在するか否かを確定するように構成されるスペース確定ユニットと、
前記残りのストレージスペースがないと確定されたことに応答して、前記タイプに新しいデータブロックを割り当てて、前記記憶対象レコードを前記新しいデータブロックに記憶するように構成される第1割り当てユニットと、を備えるデータを記憶するための装置。 - データを記憶するためのシステムであって、
第1サブシステム、第2サブシステム及び請求項1乃至10のいずれか一項に記載のスタンドアロンストレージエンジンがインストールされた第3サブシステムを備え、
前記第1サブシステムは、ユーザによって送信された記憶待ちオブジェクトを含む記憶要求を受信し、前記記憶待ちオブジェクトを少なくとも1つのサブオブジェクトに分割し、前記記憶待ちオブジェクトと前記少なくとも1つのサブオブジェクトとの間の対応関係を前記第2サブシステムに送信し、前記少なくとも1つのサブオブジェクトを前記第3サブシステムに送信するように構成され、
前記第2サブシステムは、前記記憶待ちオブジェクトと前記少なくとも1つのサブオブジェクトとの間の対応関係をリストに記憶するように構成され、
前記第3サブシステムは、前記少なくとも1つのサブオブジェクト中のサブオブジェクトに対してコーディング及び配列化処理を行って、当該サブオブジェクトの記憶対象レコードを生成し、生成された当該記憶対象レコードを記憶するように構成されるデータを記憶するためのシステム。 - 前記第3サブシステムは、データ記憶完了を表示するための応答情報を前記第1サブシステムに送信するようにさらに構成され、
前記第1サブシステムは、前記応答情報を受信した場合、前記記憶待ちオブジェクトのクエリ識別子を生成し、前記クエリ識別子を前記ユーザにフィードバックするようにさらに構成されることを特徴とする
請求項12に記載のデータを記憶するためのシステム。 - 前記第1サブシステムは、前記ユーザによって送信されたクエリ識別子を含む読み取り要求を受信し、前記読み取り要求中のクエリ識別子を前記第2サブシステムに送信するようにさらに構成され、
前記第2サブシステムは、前記読み取り要求中のクエリ識別子によって示されたオブジェクトに対応するサブオブジェクトリストを獲得し、前記サブオブジェクトリストを前記第3サブシステムに送信するようにさらに構成され、
前記第3サブシステムは、前記サブオブジェクトリストに基づいて対応するレコードを読み取り、読み取られたレコードを解析してオブジェクトデータを取得し、前記第1サブシステムが前記オブジェクトデータを前記ユーザにフィードバックするために前記オブジェクトデータを前記第1サブシステムに送信するようにさらに構成されることを特徴とする
請求項13に記載のデータを記憶するためのシステム。 - 電子機器であって、
1つまたは複数のプロセッサーと、
1つまたは複数のプログラムを記憶するための記憶装置と、を備え、
前記1つまたは複数のプログラムが前記1つまたは複数のプロセッサーによって実行されると、前記1つまたは複数のプロセッサーが請求項1乃至10のいずれか一項に記載の方法を実現する電子機器。 - コンピュータプログラムが記憶されているコンピュータ可読媒体であって、
前記コンピュータプログラムがプロセッサーによって実行される時、請求項1乃至10のいずれか一項に記載の方法が実現されるコンピュータ可読媒体。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811024928.8A CN109254733B (zh) | 2018-09-04 | 2018-09-04 | 用于存储数据的方法、装置和系统 |
CN201811024928.8 | 2018-09-04 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020038623A true JP2020038623A (ja) | 2020-03-12 |
JP6778795B2 JP6778795B2 (ja) | 2020-11-04 |
Family
ID=65046720
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019127387A Active JP6778795B2 (ja) | 2018-09-04 | 2019-07-09 | データを記憶するための方法、装置及びシステム |
Country Status (3)
Country | Link |
---|---|
JP (1) | JP6778795B2 (ja) |
KR (1) | KR102240557B1 (ja) |
CN (1) | CN109254733B (ja) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112699092A (zh) * | 2021-01-13 | 2021-04-23 | 浪潮云信息技术股份公司 | 一种RocksDB存储大值数据的方法 |
CN113010105A (zh) * | 2021-02-25 | 2021-06-22 | 深圳市广和通无线股份有限公司 | 一种数据备份的方法、装置、设备和计算机可读存储介质 |
CN113495889A (zh) * | 2021-07-07 | 2021-10-12 | 浙江大华技术股份有限公司 | 一种分布式对象存储方法、装置、电子设备及存储介质 |
CN113836332A (zh) * | 2021-09-08 | 2021-12-24 | 北京灵汐科技有限公司 | 存储设备 |
CN115190136A (zh) * | 2021-04-21 | 2022-10-14 | 统信软件技术有限公司 | 一种数据存储方法、数据传输方法及计算设备 |
CN115933972A (zh) * | 2022-11-24 | 2023-04-07 | 中国华能集团清洁能源技术研究院有限公司 | 多专业仿真平台的分布式数据存储方法及系统 |
CN116521091A (zh) * | 2023-06-28 | 2023-08-01 | 苏州浪潮智能科技有限公司 | 数据读取方法、装置、设备、数据传输系统及存储介质 |
CN116910825A (zh) * | 2023-09-12 | 2023-10-20 | 上海融和元储能源有限公司 | 一种基于kafka的数据同步方法及装置 |
CN117078213A (zh) * | 2023-10-11 | 2023-11-17 | 潍坊威尔信息技术有限公司 | 基于大数据整合分析的建筑工程管理平台 |
CN117082083A (zh) * | 2023-08-30 | 2023-11-17 | 杭州浩联智能科技有限公司 | 一种基于分布式物联网架构的数据存储方法、装置及介质 |
Families Citing this family (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109918381B (zh) * | 2019-03-13 | 2021-06-11 | 北京百度网讯科技有限公司 | 用于存储数据的方法和装置 |
CN110059087B (zh) * | 2019-03-26 | 2023-02-28 | 创新先进技术有限公司 | 一种块链式账本中的数据属性标识方法、装置及设备 |
CN112085424A (zh) * | 2019-06-14 | 2020-12-15 | 北京京东振世信息技术有限公司 | 存储物品的方法、装置、设备和计算机可读介质 |
CN110427377B (zh) * | 2019-08-02 | 2023-12-26 | 北京博睿宏远数据科技股份有限公司 | 数据处理方法、装置、设备和存储介质 |
CN110727639B (zh) * | 2019-10-08 | 2023-09-19 | 深圳市网心科技有限公司 | 碎片数据读取方法、电子设备、系统及介质 |
CN112765046A (zh) * | 2019-10-21 | 2021-05-07 | 伊姆西Ip控股有限责任公司 | 用于回收存储空间的方法、设备和计算机程序产品 |
CN110781146A (zh) * | 2019-10-28 | 2020-02-11 | 宁波三星智能电气有限公司 | 事件存储方法、电力终端及计算机可读存储介质 |
CN111399762B (zh) | 2019-11-27 | 2021-06-18 | 杭州海康威视系统技术有限公司 | 数据存储方法、装置及存储系统 |
CN111198807B (zh) * | 2019-12-18 | 2023-10-27 | 中移(杭州)信息技术有限公司 | 数据流分析方法、装置、计算机设备及存储介质 |
CN111522507B (zh) * | 2020-04-14 | 2021-10-01 | 中山大学 | 一种低延迟的文件系统地址空间管理方法、系统及介质 |
CN113296684B (zh) * | 2020-05-12 | 2025-02-21 | 阿里巴巴集团控股有限公司 | 分布式系统中的数据写入方法及装置、分布式系统 |
CN111694521B (zh) * | 2020-06-17 | 2022-08-05 | 杭州海康威视系统技术有限公司 | 存储文件的方法、装置及系统 |
CN111797032B (zh) * | 2020-06-19 | 2022-09-23 | 南京南瑞继保工程技术有限公司 | 存储结构、方法、装置、设备及可读存储介质 |
CN114430458B (zh) * | 2020-10-29 | 2023-12-19 | 北京小米移动软件有限公司 | 防抖数据获取方法、防抖数据获取装置以及存储介质 |
CN112506918B (zh) * | 2020-11-03 | 2024-06-04 | 深圳市宏电技术股份有限公司 | 数据存取方法、终端及计算机可读存储介质 |
CN113486026A (zh) * | 2021-08-02 | 2021-10-08 | 北京字节跳动网络技术有限公司 | 数据处理方法、装置、设备及介质 |
CN113986117A (zh) * | 2021-09-13 | 2022-01-28 | 阿里云计算有限公司 | 文件的存储方法、系统、计算设备及存储介质 |
CN114116795B (zh) * | 2021-11-01 | 2022-12-20 | 北京力控元通科技有限公司 | 一种数据存储和查询方法、装置、存储介质及电子设备 |
CN115061401A (zh) * | 2022-06-15 | 2022-09-16 | 广东万颗子智控科技有限公司 | 空调控制参数的加载方法、装置、计算机设备和存储介质 |
CN114816277B (zh) * | 2022-06-30 | 2022-11-11 | 广东睿江云计算股份有限公司 | 文件数据块顺序性保障的控制方法及控制系统 |
CN116010997B (zh) * | 2023-03-20 | 2023-08-01 | 中国信息通信研究院 | 基于区块链的连续性校验的数据资源托管方法和装置 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070136384A1 (en) * | 2005-12-13 | 2007-06-14 | Dietmar Hepper | Method and apparatus for organizing nodes in a network |
JP2011191835A (ja) * | 2010-03-12 | 2011-09-29 | Hitachi Ltd | 計算機システムおよびアプリケーションプログラムの実行方法 |
JP2012073777A (ja) * | 2010-09-28 | 2012-04-12 | Kddi Corp | 分散ファイルシステム制御装置 |
JP2017076370A (ja) * | 2015-10-14 | 2017-04-20 | バイドゥ ネットコム サイエンス アンド テクノロジー(ペキン) カンパニー リミテッド | 分散システム用ファイル処理方法、および装置 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20030058687A (ko) * | 2001-12-31 | 2003-07-07 | 주식회사 케이티 | 공간 데이터 특성에 따른 데이터 관리방법 |
KR100449419B1 (ko) * | 2002-06-14 | 2004-09-18 | 학교법인 인하학원 | 데이터 크기에 따른 선별적 공간데이터 관리방법 |
KR100694069B1 (ko) * | 2004-11-29 | 2007-03-12 | 삼성전자주식회사 | 상이한 크기를 가지는 복수 개의 데이터 블록들을포함하는 저장 장치 및 이를 이용한 파일 관리 방법 및이를 포함하는 인쇄 장치 |
KR100834574B1 (ko) * | 2006-09-29 | 2008-06-02 | 한국전자통신연구원 | 파일 저장 시스템 및 그 시스템에서의 파일 저장 및 검색방법 |
CN100583832C (zh) * | 2007-03-30 | 2010-01-20 | 华为技术有限公司 | 数据管理方法及系统 |
CN101446976A (zh) * | 2008-12-26 | 2009-06-03 | 中兴通讯股份有限公司 | 一种分布式文件系统中的文件存储方法 |
JP5677336B2 (ja) | 2011-08-01 | 2015-02-25 | 株式会社東芝 | メモリ・デバイス |
US9582204B2 (en) | 2014-01-07 | 2017-02-28 | Apple Inc. | Speculative prefetching of data stored in flash memory |
KR101525453B1 (ko) * | 2014-04-09 | 2015-06-04 | 인하대학교 산학협력단 | 데이터 접근빈도를 이용한 raid 시스템의 데이터 복제 방법 |
CN106462491B (zh) * | 2014-12-31 | 2020-08-14 | 华为技术有限公司 | 一种存储数据的管理方法、存储管理器及存储系统 |
CN107967121B (zh) * | 2017-10-25 | 2020-04-14 | 华为技术有限公司 | 数据写入方法和存储设备 |
-
2018
- 2018-09-04 CN CN201811024928.8A patent/CN109254733B/zh active Active
-
2019
- 2019-07-09 JP JP2019127387A patent/JP6778795B2/ja active Active
- 2019-07-11 KR KR1020190083622A patent/KR102240557B1/ko not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070136384A1 (en) * | 2005-12-13 | 2007-06-14 | Dietmar Hepper | Method and apparatus for organizing nodes in a network |
JP2007164794A (ja) * | 2005-12-13 | 2007-06-28 | Thomson Licensing | ネットワーク内のノードを自動的に分類する方法および装置 |
JP2011191835A (ja) * | 2010-03-12 | 2011-09-29 | Hitachi Ltd | 計算機システムおよびアプリケーションプログラムの実行方法 |
JP2012073777A (ja) * | 2010-09-28 | 2012-04-12 | Kddi Corp | 分散ファイルシステム制御装置 |
JP2017076370A (ja) * | 2015-10-14 | 2017-04-20 | バイドゥ ネットコム サイエンス アンド テクノロジー(ペキン) カンパニー リミテッド | 分散システム用ファイル処理方法、および装置 |
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112699092A (zh) * | 2021-01-13 | 2021-04-23 | 浪潮云信息技术股份公司 | 一种RocksDB存储大值数据的方法 |
CN113010105A (zh) * | 2021-02-25 | 2021-06-22 | 深圳市广和通无线股份有限公司 | 一种数据备份的方法、装置、设备和计算机可读存储介质 |
CN115190136B (zh) * | 2021-04-21 | 2024-03-01 | 统信软件技术有限公司 | 一种数据存储方法、数据传输方法及计算设备 |
CN115190136A (zh) * | 2021-04-21 | 2022-10-14 | 统信软件技术有限公司 | 一种数据存储方法、数据传输方法及计算设备 |
CN113495889A (zh) * | 2021-07-07 | 2021-10-12 | 浙江大华技术股份有限公司 | 一种分布式对象存储方法、装置、电子设备及存储介质 |
CN113495889B (zh) * | 2021-07-07 | 2024-03-15 | 浙江大华技术股份有限公司 | 一种分布式对象存储方法、装置、电子设备及存储介质 |
CN113836332A (zh) * | 2021-09-08 | 2021-12-24 | 北京灵汐科技有限公司 | 存储设备 |
CN115933972A (zh) * | 2022-11-24 | 2023-04-07 | 中国华能集团清洁能源技术研究院有限公司 | 多专业仿真平台的分布式数据存储方法及系统 |
CN115933972B (zh) * | 2022-11-24 | 2024-05-31 | 中国华能集团清洁能源技术研究院有限公司 | 多专业仿真平台的分布式数据存储方法及系统 |
CN116521091A (zh) * | 2023-06-28 | 2023-08-01 | 苏州浪潮智能科技有限公司 | 数据读取方法、装置、设备、数据传输系统及存储介质 |
CN116521091B (zh) * | 2023-06-28 | 2023-09-15 | 苏州浪潮智能科技有限公司 | 数据读取方法、装置、设备、数据传输系统及存储介质 |
CN117082083A (zh) * | 2023-08-30 | 2023-11-17 | 杭州浩联智能科技有限公司 | 一种基于分布式物联网架构的数据存储方法、装置及介质 |
CN116910825B (zh) * | 2023-09-12 | 2023-12-15 | 上海融和元储能源有限公司 | 一种基于kafka的数据同步方法及装置 |
CN116910825A (zh) * | 2023-09-12 | 2023-10-20 | 上海融和元储能源有限公司 | 一种基于kafka的数据同步方法及装置 |
CN117078213A (zh) * | 2023-10-11 | 2023-11-17 | 潍坊威尔信息技术有限公司 | 基于大数据整合分析的建筑工程管理平台 |
CN117078213B (zh) * | 2023-10-11 | 2024-03-29 | 潍坊威尔信息技术有限公司 | 基于大数据整合分析的建筑工程管理平台 |
Also Published As
Publication number | Publication date |
---|---|
CN109254733A (zh) | 2019-01-22 |
KR102240557B1 (ko) | 2021-04-14 |
KR20200027413A (ko) | 2020-03-12 |
CN109254733B (zh) | 2021-10-01 |
JP6778795B2 (ja) | 2020-11-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6778795B2 (ja) | データを記憶するための方法、装置及びシステム | |
US11645183B1 (en) | User interface for correlation of virtual machine information and storage information | |
US9507800B2 (en) | Data management in distributed file systems | |
US11232070B2 (en) | Metadata compaction in a distributed storage system | |
US8775479B2 (en) | Method and system for state maintenance of a large object | |
CN105183839A (zh) | 一种基于Hadoop的小文件分级索引的存储优化方法 | |
CN110457281A (zh) | 数据处理方法、装置、设备及介质 | |
CN110347651A (zh) | 基于云存储的数据同步方法、装置、设备及存储介质 | |
US20160048430A1 (en) | Method of operating a shared nothing cluster system | |
EP3610364B1 (en) | Wan optimized micro-service based deduplication | |
CN104679665A (zh) | 一种实现分布式文件系统块存储的方法及系统 | |
JP2016512906A (ja) | データを柔軟に配置するための多層記憶管理 | |
US11625192B2 (en) | Peer storage compute sharing using memory buffer | |
CN104881466A (zh) | 数据分片的处理以及垃圾文件的删除方法和装置 | |
US20180107404A1 (en) | Garbage collection system and process | |
CN103067519A (zh) | 一种异构平台下数据分布存储的方法及装置 | |
CN105653209A (zh) | 一种对象存储数据传输方法及装置 | |
CN108540510B (zh) | 一种云主机创建方法、装置及云服务系统 | |
CN110245129B (zh) | 一种分布式全局数据去重方法和装置 | |
CN109597903A (zh) | 图像文件处理装置和方法、文件存储系统及存储介质 | |
CN112866406B (zh) | 一种数据存储方法、系统、装置、设备及存储介质 | |
CN113806300A (zh) | 数据存储方法、系统、装置、设备及存储介质 | |
CN117111856A (zh) | 一种数据湖数据处理方法、装置、系统、设备及介质 | |
CN102282545A (zh) | 存储系统 | |
US20190243807A1 (en) | Replication of data in a distributed file system using an arbiter |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190710 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190710 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200731 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200915 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201012 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6778795 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |