JP2014199504A - 顧客別データクレンジング処理システム及び顧客別データクレンジング処理方法 - Google Patents
顧客別データクレンジング処理システム及び顧客別データクレンジング処理方法 Download PDFInfo
- Publication number
- JP2014199504A JP2014199504A JP2013073930A JP2013073930A JP2014199504A JP 2014199504 A JP2014199504 A JP 2014199504A JP 2013073930 A JP2013073930 A JP 2013073930A JP 2013073930 A JP2013073930 A JP 2013073930A JP 2014199504 A JP2014199504 A JP 2014199504A
- Authority
- JP
- Japan
- Prior art keywords
- data
- data cleansing
- policy
- provider
- master
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 232
- 238000003672 processing method Methods 0.000 title claims description 120
- 238000000034 method Methods 0.000 claims description 252
- 230000008569 process Effects 0.000 claims description 234
- 238000003860 storage Methods 0.000 claims description 21
- 235000016496 Panda oleosa Nutrition 0.000 claims description 4
- 240000000220 Panda oleosa Species 0.000 claims description 4
- 230000002159 abnormal effect Effects 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 4
- 238000004886 process control Methods 0.000 claims description 2
- 238000004458 analytical method Methods 0.000 description 18
- 230000006870 function Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 12
- 230000004044 response Effects 0.000 description 5
- 238000009826 distribution Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 235000013305 food Nutrition 0.000 description 4
- 238000012795 verification Methods 0.000 description 4
- 238000007418 data mining Methods 0.000 description 3
- 230000005012 migration Effects 0.000 description 3
- 238000013508 migration Methods 0.000 description 3
- 238000004220 aggregation Methods 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 2
- 230000008676 import Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 235000012149 noodles Nutrition 0.000 description 2
- 239000000758 substrate Substances 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 240000005499 Sasa Species 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 235000013361 beverage Nutrition 0.000 description 1
- 238000009933 burial Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
【解決手段】基盤事業者用装置に、データ提供者用装置から提供される元データの不正値の型に対する処理ポリシを含むクデータレンジング処理ポリシマスタを元にデータクレンジング処理するデータクレンジング処理制御装置(データクレンジング処理サーバ)を有する。
【選択図】図2
Description
そして、サービス享受事業者やサービス提供事業者が所有するオリジナルユーザ情報は、有益な情報を含んでいる。サービス基盤事業者は、この有益なオリジナルユーザ情報の提供を受け、当該情報の分析を可能とすれば、よりよいビジネス支援を行うことが期待できる。
なお、データ提供者側として、「データ提供事業者」とし、データ享受者側として、「データ享受事業者」としているが、「事業者」に限らず、「ユーザ」個人であってもよい。従って、後述する実施例では、単に「データ提供者」、「データ享受者」と言う場合もある。
第一は、サービス提供者(以下、テータ提供者と言う)用装置10側から提供するデータ(元データ)を、当該データ提供者用装置側にて、データクレンジング処理を行い、当該データクレンジング処理済みのデータ(データクレンジング処理後データ)をデータ享受者(以下、データ享受者と言う)用装置20側に提供する方法である。
この方法の場合は、データクレンジング処理ポリシをデータ提供者側のポリシに従うか、もしくはデータ享受者側のポリシに従うかは、2社間で取り決めておくことが要求される。
この方法の場合、(1)データ享受者用装置20側は、元データが正常値か不正値かの判断が難しい。また、(2)データ提供者用装置10側のデータクレンジング処理ポリシに従うか、もしくはデータ享受者用装置20側のデータクレンジング処理ポリシに従うかの判断も必要であり、これら(1)及び(2)は、データ提供者側とデータ享受者側の2社間の取り決めておくことが要求される。
少なくとも1つのサービス基盤事業者装置と、複数のデータ提供者装置と、複数のデータ享受者装置とを有したデータ提供システムであって、
前記サービス基盤事業者装置は、
入出力手段、記憶手段、制御手段、を有し、
前記入出力手段は、
前記データ提供者装置及び前記データ享受者装置との間でデータの授受を行い、
前記記憶手段は、前記データ提供者装置から提供されるデータにデータクレンジング処理するデータクレンジング処理ポリシマスタを有し、
前記制御手段は、前記データクレンジング処理ポリシマスタのデータクレンジング処理ポリシをもって、前記データのデータクレンジング処理を行う機能を有し、
前記データ提供者装置から提供されるデータ、及び当該データのフィールド型属性情報を受信する受信部と、
前記データクレンジング処理ポリシを受信するデータクレンジング処理ポリシ受信部と、
前記データクレンジング処理ポリシに従って、前記データ提供者装置から提供されるデータをデータクレンジング処理するデータクレンジング処理手段と、
前記データクレンジング処理手段にてデータクレンジング処理した後のデータクレンジング処理後データを前記データ享受者装置に送信する手段と、
を有することを特徴とする。
前記データ享受者装置のデフォルトデータクレンジング処理ポリシ、前記データ提供者装置から提供されるデータ用のデータ享受者データクレンジング処理ポリシ、及び前記データ提供者装置のデフォルトデータクレンジング処理ポリシ、前記データ提供者装置から提供されるデータ用のデータ提供者データクレンジング処理ポリシを受信し、前記データクレンジング処理ポリシマスタに反映する手段、
を有することを特徴とする。
フィールド型属性マスタ、不正値マスタ、処理方法マスタ、を有し、当該フィールド型属性マスタ、不正値マスタ、処理方法マスタ、から前記サービス基盤事業者装置のデータクレンジング処理ポリシを作成する手段を有し、前記データクレンジング処理ポリシマスタに反映する手段は、前記サービス基盤事業者装置のデータクレンジング処理ポリシを前記データクレンジング処理ポリシマスタに反映する
ことを特徴とする。
前記不正値は、「空白(NULL)」、「全角半角不統一」、「不正文字」、「異常値」、「ひらがな文字不統一」、「カナ文字不統一」、「英字不統一」、「数値不統一」、「記号不統一」、「漢字文字不統一」、「電話番号非正規化」、「郵便番号非正規化」、「住所非正規化」、「金額非正規化」、の1つ以上であり、
前記フィールドの型属性は、「主キー」、「名前」、「郵便番号」、「住所」、「数量」、「金額」、「日付」、の1つ以上であり、
前記処理方法は、「何もしない」、「レコード全てを削除」、「データ提供者フォーマットに合わせる」、「データ提供者正規化に合わせる」、「空白にする」、「平均値に置き換える」、の1つ以上である
ことを特徴とする。
事業者のデータ提供者用装置から提供される元データを受け、当該元データをデータ享受者用装置に提供する基盤事業者用装置を備え、複数の事業者間で共有するデータをデータクレンジング処理する顧客別データクレンジング処理システムにおいて、
前記基盤事業者装置は、
前記データ提供者用装置からの元データをデータクレンジング処理するデータクレンジング処理制御装置及び前記元データの各フィールドに生じうる不正値を定義する不正値マスタ、前記元データの各フィールドに生じうる不正値に対する処理方法を有するデータクレンジング処理ポリシマスタを有し、
前記データ提供者用装置は、
前記元データに対して、当該データの値が不正値の場合、当該不正値が前記不正値マスタのどの項目に対応するかを指定する手段を有し、
前記データ享受者用装置は、
前記元データに対して網羅的に準備したフィールド型属性型に対して、不正値に対する処理ポリシを設定する手段を有し、
前記データクレンジング処理制御装置は、
前記データ提供者用装置側にて設定した元データのフィールド型属性情報に対して、前記データ享受者用装置側にて設定した処理ポリシを前記データクレンジング処理ポリシマスタから読み取る読取手段と、当該読み取ったデータクレンジング処理ポリシに従って前記元データをデータクレンジング処理する制御手段と、を有する
ことを特徴とする。
少なくとも1つのサービス基盤事業者装置と、複数のデータ提供者装置と、複数のデータ享受者装置とを有したデータ提供システムにおける顧客別データクレンジング処理方法であって、
前記サービス基盤事業者装置は、
入出力手段、記憶手段、制御手段、を有し、
前記入出力手段は、
前記データ提供者装置及び前記データ享受者装置との間でデータの授受を行い、
前記記憶手段は、前記データ提供者装置から提供されるデータにデータクレンジング処理するデータクレンジング処理ポリシマスタを有し、
前記制御手段は、前記データクレンジング処理ポリシマスタのデータクレンジング処理ポリシをもって、前記データのデータクレンジング処理を行う機能を有し、
前記データ提供者装置から提供されるデータ、及び当該データのフィールド型属性情報を受信するステップと、
前記データクレンジング処理ポリシマスタのデータクレンジング処理ポリシを受信するステップと、
前記データクレンジング処理ポリシに従って、前記データ提供者装置から提供されるデータをデータクレンジング処理するステップと、
前記データクレンジング処理手段にてデータクレンジング処理した後のデータクレンジング処理後データを前記データ享受者装置に送信するステップと、
を有することを特徴とする。
前記データ享受者装置のデフォルトデータクレンジング処理ポリシ、前記データ提供者装置から提供されるデータ用のデータ享受者データクレンジング処理ポリシ、及び前記データ提供者装置のデフォルトデータクレンジング処理ポリシ、前記データ提供者装置から提供されるデータ用のデータ提供者データクレンジング処理ポリシを受信し、前記データクレンジング処理ポリシマスタに反映するステップ、
を有することを特徴とする。
フィールド型属性マスタ、不正値マスタ、処理方法マスタ、を有し、当該フィールド型属性マスタ、不正値マスタ、処理方法マスタ、から前記サービス基盤事業者装置のデータクレンジング処理ポリシを作成するステップを有し、前記データクレンジング処理ポリシマスタに反映する手段は、前記サービス基盤事業者装置のデータクレンジング処理ポリシを前記データクレンジング処理ポリシマスタに反映するステップを有する
ことを特徴とする。
前記不正値は、「空白(NULL)」、「全角半角不統一」、「不正文字」、「異常値」、「ひらがな文字不統一」、「カナ文字不統一」、「英字不統一」、「数値不統一」、「記号不統一」、「漢字文字不統一」、「電話番号非正規化」、「郵便番号非正規化」、「住所非正規化」、「金額非正規化」、の1つ以上であり、
前記フィールドの型属性は、「主キー」、「名前」、「郵便番号」、「住所」、「数量」、「金額」、「日付」、の1つ以上であり、
前記処理方法は、「何もしない」、「レコード全てを削除」、「データ提供者フォーマットに合わせる」、「データ提供者正規化に合わせる」、「空白にする」、「平均値に置き換える」、の1つ以上である
ことを特徴とする。
サービス提供システムは、アプリケーションサービスやSI、つまり予約機能や業務SaaSなどのサービス(第1のサービスS1)をサービス提供事業者側に提供するサービス基盤事業者システム又は装置(以下、サービス基盤事業者装置と称する)と、サービス享受事業者(飲食店など)の要望に応じて第1のサービスをカスタマイズしてサービス享受事業者に提供するサービス提供事業者システム又は装置(以下、サービス提供事業者装置と称する)と、から構成される。
まず、サービス提供システムの概要について説明する。サービス提供システムのサービス基盤事業者装置は、サービス提供事業者装置に対して予約管理サービス(アプリケーションサービス)などを提供するアプリケーションサーバ(以下、サービス基盤事業者用サーバと言う)を有する。
従って、サービス基盤事業者装置は、サービス提供事業者装置に対して、第1のサービスS1を提供し、サービス提供事業者装置はサービス享受事業者に対して、カスタマイズした第1のサービス(サービス開始)を提供し、また該提供した第1のサービスに基づくユーザ情報(オリジナル情報)Ia、Ibなどを管理するのみであった。
(1)データ提供者の数がN者、データ享受者の数がM者いる場合、基盤事業者を通してデータの享受を行う。
(2)基盤事業者のサーバ上に、データ提供者の元データに対して、データクレンジング処理する「データクレンジング処理手段」を搭載する。つまり、基盤事業者を中心に本発明のシステムを実装する。
(3)また、基盤事業者のサーバ上に「データクレンジング処理ポリシマスタ」(図14)を持たせる。
(4)「データクレンジング処理ポリシマスタ」(図14)は、デフォルト値として、データ提供者が設定する「デフォルトデータクレンジング処理マスタ」(図12)の値が設定される
(5)データ提供者は、「元データ」(図4)のフィールド毎にフィールドの「属性」を「元データフィールド型属性情報マスタ」(図7)に登録する。「元データ」は「元データソースマスタ」(図2)で管理する
(6)データ提供者は、「元データフィールド型属性情報マスタ」(図7)の中の「フィールド型ID」は「フィールド型属性マスタ」(図8)から選択する。
(7)「フィールド型属性マスタ」(図8)は、網羅的にフィールドの型を準備しておく。もし「フィールド型属性マスタ」に対応する型が無い場合は、データ提供者は「フィールド型属性マスタ」にフィールドの型を追加する。
(8)「不正値」は、「不正値マスタ(図5)」で管理する。「不正値マスタ(図5)」は、網羅的に不正値を準備しておく。もし「不正値マスタ(図5)」に対応する不正値が無い場合は、データ提供者は「不正値マスタ」に不正値を追加する。
(9)不正値の「処理方法」は、「処理方法マスタ」(図10)で管理する。「処理方法マスタ」は、網羅的に処理方法を準備しておく。もし「処理方法マスタ」に対応する処理方法が無い場合は、データ提供者は「処理方法マスタ」(図10)に処理方法を追加する。
(10)データ提供者は、「フィールド型属性」に対する「処理方法」を「データクレンジング処理ポリシ設定画面」(図11)で指定して「デフォルトデータクレンジング処理マスタ」(図12)の各ID(値)を設定する。データ提供者IDはデフォルト値として「0」とする。
(11)「データクレンジング処理ポリシ設定画面」(図11)は、同図に示すように、「不正値」(「空白」、「全角半角不統一」、「不正文字」、「非フォーマット」、・・・)に対するフィールドの型属性(「主キー」、「名前」、「郵便番号」、「住所」、「数量」、「金額」、・・・)の値として「処理ID」を設定する。
(12)データ享受者は、「データクレンジング処理ポリシ設定画面」(図11)をもって「データクレンジング処理ポリシ」を設定できるようにする。設定された「データクレンジング処理ポリシ」は、「データクレンジング処理ポリシマスタ」(図14)に反映する。ここで、データ享受者は「データ享受者マスタ」(図13)で管理される。
(13)「データクレンジング処理ポリシマスタ」(図14)の値は、一度データ享受者により、データの「不正値」に対する処理ポリシ、つまり「処理方法」を設定する。このようにデータ提供者の元データの「不正値」に対して処理ポリシを設定することにより、結果として、データ享受者は一回の処理ポリシ設定で、N者のデータ提供者の元データに対するデータクレンジング処理ポリシを設定することができる。
(14)データ提供者およびデータ享受者は、データ提供者の特定のデータに対するデータクレンジング処理ポリシを設定できる。特定のデータに対するデータクレンジング処理ポリシが設定されている場合には、デフォルトデータクレンジング処理ポリシよりも優先して使用される。
(15)基盤事業者のデータクレンジング処理サーバは、データ提供者側にて指定した「不正値」(図12の不正値ID)に対して、データ享受者の指定した「処理方法」を「データクレンジング処理ポリシマスタ」から読み取って、処理プログラムを実行する。
(16)基盤事業者は、「不正値マスタ」(図9)と「処理方法マスタ」(図10)に対応する処理を実現するプログラムを基盤事業者側のサーバ上に持つ。
以下、その詳細な実施例について説明する。
各サービス享受事業者装置1は、例えば複数の店舗(a1、a2)や複数の企業(b1、b2)側の装置であって、サービス享受事業者用サーバ11からなる。そして、各サービス享受事業者用サーバ11は、オリジナルユーザ情報、つまり元データ(IaやIb)をサービス提供事業者装置2に対して出力する。
そして、当該データクレンジング処理ポリシに応じて、データ提供者事業者用サーバから提供される元データをデータクレンジング処理し、データクレンジング処理後データSとして出力する機能を有する。
なお、ここで、元データに対して、所望の分析を必要に応じて行ってもよい。また、この分析は、データクレンジング処理後データを元にデータ享受者側にて行なってもよいが、本発明の本質ではないので、その説明は省略する。
これらのDBの内容については後述する。
制御手段3131は、データ提供者及びデータ享受者認識部31311、データ及びフィールド型属性情報受信部31312、データクレンジング処理部31313、データクレンジング処理後データ配信部31314、データクレンジング処理ポリシ受信部31315、データ書込み・読出し部31316、などを有する。
これにより、データ享受者用サーバ1216は、一度、データクレンジング処理して欲しいデータクレンジング処理ポリシを設定するだけで、サービス基盤事業者用サーバ31からデータクレンジング処理後データを享受することができる。
図4は、データ提供者用サーバから提供されるデータ(元データI)の一例を示す図であって、図5の元データマスタのデータ提供者名「かかか商店 株式会社」の元データ名「売上ジャーナルテーブル」を示すテーブルである。
同図において、不正値マスタは、不正値ID(「1」、「2」、「3」、「4」、・・・)、不正値の型(「空白」、「全角半角不統一」、「不正文字」、「非正規化」、・・・)などの各情報901〜902を含んでいる。
また、縦方向には、「不正値」(図9参照)の「空白」、「全角半角不統一」、「不正文字」、「非フォーマット」、などが表示される。
そして、「不正値」に対応する「フィールド型属性」は、セレクトボックスをもって、処理方法〈図10参照〉の処理ID(1〜9、・・・)を設定する。
図15は、本発明の顧客別データクレンジング処理方法の処理フローを説明する図である。本例では、データ提供者用サーバ121が2つの場合を示し、データ享受者用サーバ1216が1つの場合を示している。また、各者のデフォルトデータクレンジング処理ポリシは設定済みとし、かつフィールド型属性マスタ、不正値マスタ、処理方法マスタがデータ提供者用サーバおよびデータ享受者用サーバに共有されているものとする。図において以下の処理を実行する。
(1)データ提供者(A社)は、上述した3つのマスタを元にデータIa用フィールド型属性情報FIa、およびデータIa用A社データクレンジング処理ポリシCaIaを作成する。
(2)そして、データ提供者(A社)は、基盤事業者に対して、データIa&フィールド型属性情報FIa、およびデータIa用A社データクレンジング処理ポリシCaIaを送信する。
(3)データ提供者(B社)も、上記(2)、(3)と同様な処理を行う。
(4)データ享受者(P社)は、基盤事業者に対して、データIaのフィールド型属性情報FIa、およびデータIa用A社データクレンジング処理ポリシCaIaを要求する。
(5)基盤事業者は、この要求に応答し、データ享受者(P社)に対して、データ提供者〈A社〉のデータIaのフィールド型属性情報FIa、およびデータIa用A社データクレンジング処理ポリシCaIaを送信する。
(6)データ享受者(P社)は、FIa、CaIaを受信し、これらを参照して、データIa用データクレンジング処理ポリシCpIaを作成し、基盤事業者に送信する。
(7)また、データ享受者(P社)は、基盤事業者に対して、データクレンジング処理後データを要求する。
(8)基盤事業者は、この要求を元にデータクレンジング処理を実行し、データクレンジング処理後データをサービス享受者(P社)に送信する。
(9)サービス享受事業者(P社)は、このデータクレンジング処理後データを受信する。
また、ステップS315にて、データ享受者(P社)用サーバ1216からの要求に応答し、データ享受者(P社)に対して、データ提供者〈A社〉のデータIaのフィールド型属性情報FIa、およびデータIa用A社データクレンジング処理ポリシCaIaを送信する。
基盤事業者側は、基盤事業者側からの「処理方法」を受け、当該「処理方法」を元に、ステップS3119にて、「データクレンジング処理ポリシマスタ」を作成し、記憶装置に記憶する。
不正値で無い場合(N)は、ステップS1430に進み、後述する処理を行う。
図21のステップS1424にて、CpIaが有る場合は、図22において、ステップS14241にて、図14の処理ポリシを参照し、処理方法IDを取得する。
2 サービス提供事業者装置
3 サービス基盤事業者装置
31 基盤事業者用サーバ
311 入出力装置(入出力インターフェース手段)
312 記憶装置(記憶手段)
313 演算装置(制御手段)
121 サービス提供事業者用サーバ
31 サービス基盤事業者用サーバ
121 データ提供者用サーバ
1216 データ享受者用サーバ
3121 データ提供事業者及びデータ享受者マスタDB/データ及びフィールド型属性情報管理DB
3122 データ提供者&データ享受者データクレンジング処理ポリシ情報管理マスタDB
3123 フィールド型属性マスタDB
3124 不正値マスタDB
3125 処理方法マスタDB
31311 データ提供者&データ享受者認識部
31312 データ&フィールド型属性情報受信部
31313 データクレンジング処理部
31314 データクレンジング処理後データ配信部
31315 データクレンジング処理ポリシ受信部
31316 データ書込み・読出し部
Claims (9)
- 少なくとも1つのサービス基盤事業者装置と、複数のデータ提供者装置と、複数のデータ享受者装置とを有したデータ提供システムであって、
前記サービス基盤事業者装置は、
入出力手段、記憶手段、制御手段、を有し、
前記入出力手段は、
前記データ提供者装置及び前記データ享受者装置との間でデータの授受を行い、
前記記憶手段は、前記データ提供者装置から提供されるデータに対するデータクレンジング処理ポリシマスタを有し、
前記制御手段は、前記データクレンジング処理ポリシマスタのデータクレンジング処理ポリシをもって、前記データのデータクレンジング処理を行う機能を有し、
前記データ提供者装置から提供されるデータ、及び当該データのフィールド型属性情報を受信する受信部と、
前記データクレンジング処理ポリシを受信するデータクレンジング処理ポリシ受信部と、
前記データクレンジング処理ポリシに従って、前記データ提供者装置から提供されるデータをデータクレンジング処理するデータクレンジング処理手段と、
前記データクレンジング処理手段にてデータクレンジング処理した後のデータクレンジング処理後データを前記データ享受者装置に送信する手段と、
を有することを特徴とする顧客別データクレンジング処理システム。 - 請求項1に記載された顧客別データクレンジング処理システムにおいて、
前記制御手段は、更に、
前記データ享受者装置のデフォルトデータクレンジング処理ポリシ、前記データ提供者装置から提供されるデータ用のデータ享受者データクレンジング処理ポリシ、及び前記データ提供者装置のデフォルトデータクレンジング処理ポリシ、前記データ提供者装置から提供されるデータ用のデータ提供者データクレンジング処理ポリシを受信し、前記データクレンジング処理ポリシマスタに反映する手段、
を有することを特徴とする顧客別データクレンジング処理システム。 - 請求項2に記載された顧客別データクレンジング処理システムにおいて、
前記制御手段は、更に、
フィールド型属性マスタ、不正値マスタ、処理方法マスタ、を有し、当該フィールド型属性マスタ、不正値マスタ、処理方法マスタ、から前記サービス基盤事業者装置のデータクレンジング処理ポリシを作成する手段を有し、前記データクレンジング処理ポリシマスタに反映する手段は、前記サービス基盤事業者装置のデータクレンジング処理ポリシを前記データクレンジング処理ポリシマスタに反映する
ことを特徴とする顧客別データクレンジング処理システム。 - 請求項1に記載された顧客別データクレンジング処理システムにおいて、
前記データクレンジング処理ポリシマスタは、前記データ提供者装置から提供されるデータの元データフィールド名、当該フィールド名のフィールド型属性に生じうる各々の不正値に対応する処理方法を含み、
前記不正値は、「空白(NULL)」、「全角半角不統一」、「不正文字」、「異常値」、「ひらがな文字不統一」、「カナ文字不統一」、「英字不統一」、「数値不統一」、「記号不統一」、「漢字文字不統一」、「電話番号非正規化」、「郵便番号非正規化」、「住所非正規化」、「金額非正規化」、の1つ以上であり、
前記フィールドの型属性は、「主キー」、「名前」、「郵便番号」、「住所」、「数量」、「金額」、「日付」、の1つ以上であり、
前記処理方法は、「何もしない」、「レコード全てを削除」、「データ提供者フォーマットに合わせる」、「データ提供者正規化に合わせる」、「空白にする」、「平均値に置き換える」、の1つ以上である
ことを特徴とする顧客別データクレンジング処理システム。 - 事業者のデータ提供者用装置から提供される元データを受け、当該元データをデータ享受者用装置に提供する基盤事業者用装置を備え、複数の事業者間でデータを共有するデータをデータクレンジング処理する顧客別データクレンジング処理システムにおいて、
前記基盤事業者装置は、
前記データ提供者用装置からの元データをデータクレンジング処理するデータクレンジング処理制御装置及び前記元データの各フィールドに生じうる不正値を定義する不正値マスタ、前記元データの各フィールドに生じうる不正値に対する処理方法を有するデータクレンジング処理ポリシマスタを有し、
前記データ提供者用装置は、
前記元データに対して、当該データの値が不正値の場合、当該不正値が前記不正値マスタのどの項目に対応するかを指定する手段を有し、
前記データ享受者用装置は、
前記元データに対して網羅的に準備したフィールド型属性型に対して、不正値に対する処理ポリシを設定する手段を有し、
前記データクレンジング処理制御装置は、
前記データ提供者用装置側にて設定した元データのフィールド型属性情報に対して、前記データ享受者用装置側にて設定した処理ポリシを前記データクレンジング処理ポリシマスタから読み取る読取手段と、当該読み取ったデータクレンジング処理ポリシに従って前記元データをデータクレンジング処理する処理する制御手段と、を有する
ことを特徴とする顧客別データクレンジング処理システム。 - 少なくとも1つのサービス基盤事業者装置と、複数のデータ提供者装置と、複数のデータ享受者装置とを有したデータ提供システムにおける顧客別データクレンジング処理方法であって、
前記サービス基盤事業者装置は、
入出力手段、記憶手段、制御手段、を有し、
前記入出力手段は、
前記データ提供者装置及び前記データ享受者装置との間でデータの授受を行い、
前記記憶手段は、前記データ提供者装置から提供されるデータに対するデータクレンジング処理ポリシマスタを有し、
前記制御手段は、前記データクレンジング処理ポリシマスタのデータクレンジング処理ポリシをもって、前記データのデータクレンジング処理を行う機能を有し、
前記データ提供者装置から提供されるデータ、及び当該データのフィールド型属性情報を受信するステップと、
前記データクレンジング処理ポリシマスタのデータクレンジング処理ポリシを受信するステップと、
前記データクレンジング処理ポリシに従って、前記データ提供者装置から提供されるデータをデータクレンジング処理するステップと、
前記データクレンジング処理手段にてデータクレンジング処理した後のデータクレンジング処理後データを前記データ享受者装置に送信するステップと、
を有することを特徴とする顧客別データクレンジング処理方法。 - 請求項6に記載された顧客別データクレンジング処理方法において、
前記制御手段は、更に、
前記データ享受者装置のデフォルトデータクレンジング処理ポリシ、前記データ提供者装置から提供されるデータ用のデータ享受者データクレンジング処理ポリシ、及び前記データ提供者装置のデフォルトデータクレンジング処理ポリシ、前記データ提供者装置から提供されるデータ用のデータ提供者用データクレンジング処理ポリシを受信し、前記データクレンジング処理ポリシマスタに反映するステップ、
を有することを特徴とする顧客別データクレンジング処理方法。 - 請求項7に記載された顧客別データクレンジング処理システムにおいて、
前記制御手段は、更に、
フィールド型属性マスタ、不正値マスタ、処理方法マスタ、を有し、当該フィールド型属性マスタ、不正値マスタ、処理方法マスタ、から前記サービス基盤事業者装置のデータクレンジング処理ポリシを作成するステップを有し、前記データクレンジング処理ポリシマスタに反映する手段は、前記サービス基盤事業者装置のデータクレンジング処理ポリシを前記データクレンジング処理ポリシマスタに反映するステップを有する
ことを特徴とする顧客別データクレンジング処理システム。 - 請求項6に記載された顧客別データクレンジング処理方法において、
前記データクレンジング処理ポリシマスタは、前記データ提供者装置から提供されるデータの元データフィールド名、当該フィールド名のフィールド型属性に生じうる各々の不正値に対応するフィールドの型属性、当該不正値に対する処理方法を含み、
前記不正値は、「空白(NULL)」、「全角半角不統一」、「不正文字」、「異常値」、「ひらがな文字不統一」、「カナ文字不統一」、「英字不統一」、「数値不統一」、「記号不統一」、「漢字文字不統一」、「電話番号非正規化」、「郵便番号非正規化」、「住所非正規化」、「金額非正規化」、の1つ以上であり、
前記フィールドの型属性は、「主キー」、「名前」、「郵便番号」、「住所」、「数量」、「金額」、「日付」、の1つ以上であり、
前記処理方法は、「何もしない」、「レコード全てを削除」、「データ提供者フォーマットに合わせる」、「データ提供者正規化に合わせる」、「空白にする」、「平均値に置き換える」、の1つ以上である
ことを特徴とする顧客別データクレンジング処理方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013073930A JP2014199504A (ja) | 2013-03-29 | 2013-03-29 | 顧客別データクレンジング処理システム及び顧客別データクレンジング処理方法 |
SG11201401593PA SG11201401593PA (en) | 2013-03-29 | 2013-07-24 | Customer-specific data cleansing processing system and customer-specific data cleansing processing method |
PCT/JP2013/070075 WO2014155761A1 (ja) | 2013-03-29 | 2013-07-24 | 顧客別データクレンジング処理システム及び顧客別データクレンジング処理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013073930A JP2014199504A (ja) | 2013-03-29 | 2013-03-29 | 顧客別データクレンジング処理システム及び顧客別データクレンジング処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014199504A true JP2014199504A (ja) | 2014-10-23 |
JP2014199504A5 JP2014199504A5 (ja) | 2016-05-26 |
Family
ID=51622804
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013073930A Pending JP2014199504A (ja) | 2013-03-29 | 2013-03-29 | 顧客別データクレンジング処理システム及び顧客別データクレンジング処理方法 |
Country Status (3)
Country | Link |
---|---|
JP (1) | JP2014199504A (ja) |
SG (1) | SG11201401593PA (ja) |
WO (1) | WO2014155761A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106407266B (zh) * | 2016-08-25 | 2019-12-31 | 中广核工程有限公司 | 一种三维计算结果格式化提取方法和装置 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10293704A (ja) * | 1997-04-18 | 1998-11-04 | Hitachi Ltd | ログデータの収集と管理をする情報処理装置 |
JP2006039961A (ja) * | 2004-07-27 | 2006-02-09 | Carlex Co Ltd | 販売支援装置、販売支援方法、販売支援システム、およびプログラム |
JP2008090855A (ja) * | 2000-10-11 | 2008-04-17 | Malik M Hasan | 健康管理データ通信システム |
JP2008537266A (ja) * | 2005-04-20 | 2008-09-11 | ザ・ボーイング・カンパニー | 適応性のあるデータクリーニング |
US20100179945A1 (en) * | 2009-01-15 | 2010-07-15 | Bmc Software, Inc. | Normalization Engine to Manage Configuration Management Database Integrity |
JP2010244539A (ja) * | 2009-04-07 | 2010-10-28 | Business Objects Software Ltd | ルールベースフォーマッティングを使用したデータクレンジングのシステム及び方法 |
JP2010262587A (ja) * | 2009-05-11 | 2010-11-18 | Fujitsu Ltd | データ変換プログラム、データ変換方法、およびデータ変換装置 |
US20120023142A1 (en) * | 2010-07-23 | 2012-01-26 | Donato Diorio | Data Normalizer |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5810719B2 (ja) * | 2011-07-29 | 2015-11-11 | 富士通株式会社 | データ配置変更プログラム、データ配置変更方法およびデータ配置変更装置 |
-
2013
- 2013-03-29 JP JP2013073930A patent/JP2014199504A/ja active Pending
- 2013-07-24 SG SG11201401593PA patent/SG11201401593PA/en unknown
- 2013-07-24 WO PCT/JP2013/070075 patent/WO2014155761A1/ja active Application Filing
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10293704A (ja) * | 1997-04-18 | 1998-11-04 | Hitachi Ltd | ログデータの収集と管理をする情報処理装置 |
JP2008090855A (ja) * | 2000-10-11 | 2008-04-17 | Malik M Hasan | 健康管理データ通信システム |
JP2006039961A (ja) * | 2004-07-27 | 2006-02-09 | Carlex Co Ltd | 販売支援装置、販売支援方法、販売支援システム、およびプログラム |
JP2008537266A (ja) * | 2005-04-20 | 2008-09-11 | ザ・ボーイング・カンパニー | 適応性のあるデータクリーニング |
US20100179945A1 (en) * | 2009-01-15 | 2010-07-15 | Bmc Software, Inc. | Normalization Engine to Manage Configuration Management Database Integrity |
JP2010244539A (ja) * | 2009-04-07 | 2010-10-28 | Business Objects Software Ltd | ルールベースフォーマッティングを使用したデータクレンジングのシステム及び方法 |
JP2010262587A (ja) * | 2009-05-11 | 2010-11-18 | Fujitsu Ltd | データ変換プログラム、データ変換方法、およびデータ変換装置 |
US20120023142A1 (en) * | 2010-07-23 | 2012-01-26 | Donato Diorio | Data Normalizer |
Also Published As
Publication number | Publication date |
---|---|
SG11201401593PA (en) | 2014-12-30 |
WO2014155761A1 (ja) | 2014-10-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
AU2012290778B2 (en) | System and method for accessing a hub | |
KR101687927B1 (ko) | 이벤트 리뷰들을 획득하는 방법 및 시스템 | |
GB2559521A (en) | Platform for the delivery of content and services to networked connected computing devices | |
US9659106B2 (en) | Software application customized for target market | |
US20130030909A1 (en) | Customizable social campaigns | |
WO2014070249A1 (en) | Electronic publishing mechanisms | |
WO2014028129A2 (en) | Detecting and transmitting a redeemable document | |
US20140288980A1 (en) | Mobile solution for venues and teams to increase their seat revenue | |
JP2015018342A (ja) | 電子文通装置、プログラム。 | |
Pawar et al. | Developing an Improvised E-Menu Recommendation System for Customer | |
US9880985B2 (en) | Revision of a portion of a document via social media | |
WO2014091788A1 (ja) | 顧客別データフォーマット変換データ提供システム及び顧客別データフォーマット変換データ提供方法 | |
US20160110766A1 (en) | System and method of displaying social ads along with organic or paid search results | |
CN113254016A (zh) | 界面生成方法、界面信息处理方法、设备及存储介质 | |
US10324975B2 (en) | Bulk keyword management application | |
WO2014155761A1 (ja) | 顧客別データクレンジング処理システム及び顧客別データクレンジング処理方法 | |
TWI515677B (zh) | Information processing system, information processing apparatus, information processing method, recording medium, and program | |
JP6108432B2 (ja) | 匿名化データの粒度管理装置および粒度管理方法 | |
JP6826360B2 (ja) | メンバー情報管理システム及びメンバー情報管理プログラム | |
JP2015108934A (ja) | 広告配信システム及び広告配信方法 | |
TWM560616U (zh) | 提供關聯功能表選單的電子裝置 | |
US20160224353A1 (en) | Method and apparatus for generating a plurality of graphical user interfaces | |
Hasanaj et al. | Development of the application for cinema management with. net technology | |
Patino | Better Reviews | |
CN117170624A (zh) | 应用程序构建方法、装置、设备、存储介质及程序产品 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160328 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160328 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170412 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170607 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20170620 |