[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN107679116A - 数据处理方法及装置和电子设备 - Google Patents

数据处理方法及装置和电子设备 Download PDF

Info

Publication number
CN107679116A
CN107679116A CN201710840322.0A CN201710840322A CN107679116A CN 107679116 A CN107679116 A CN 107679116A CN 201710840322 A CN201710840322 A CN 201710840322A CN 107679116 A CN107679116 A CN 107679116A
Authority
CN
China
Prior art keywords
data
channel
translated
standardized
same
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710840322.0A
Other languages
English (en)
Inventor
魏青格乐图
王颖远
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Advanced New Technologies Co Ltd
Advantageous New Technologies Co Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN201710840322.0A priority Critical patent/CN107679116A/zh
Publication of CN107679116A publication Critical patent/CN107679116A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25Integrating or interfacing systems involving database management systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21Design, administration or maintenance of databases
    • G06F16/215Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本说明书实施例提供一种数据处理方法及装置和电子设备,获取多个相同业务的不同渠道流入的数据;将所述不同渠道流入的数据,转译为标准化的数据;将转译后标准化的数据与对应的渠道进行关联;将关联有渠道的标准化的数据进行存储。

Description

数据处理方法及装置和电子设备
技术领域
本说明书实施例涉及互联网技术领域,尤其涉及一种数据处理方法及装置和电子设备。
背景技术
如今,同质化的应用越来越多,有的应用平台中甚至会出现多个具有相同或者相似功能的不同系统;有些系统可能由于实现目的不同、面向的终端用户不同,从而会有不同的应用,但是功能大致相同;这些不同的系统或者应用以下称为渠道。这些具有相同业务的渠道拥有的数据会造成大量重复,但是由于不同的渠道可能具有不同的数据格式,相互之间无法识别,容易会形成众多的数据壁垒。
发明内容
本说明书实施例提供的一种数据处理方法及装置和电子设备:
根据本说明书实施例的第一方面,提供一种数据处理方法,所述方法包括:
获取多个相同业务的不同渠道流入的数据;
将所述不同渠道流入的数据,转译为标准化的数据;
将转译后标准化的数据与对应的渠道进行关联;
将关联有渠道的标准化的数据进行存储。
根据本说明书实施例的第二方面,提供一种数据处理装置,所述装置包括:
获取单元,获取多个相同业务的不同渠道流入的数据;
转译单元,将所述不同渠道流入的数据,转译为标准化的数据;
关联单元,将转译后标准化的数据与对应的渠道进行关联;
存储单元,将关联有渠道的标准化的数据进行存储。
根据本说明书实施例的第三方面,提供一种电子设备,包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为:
获取多个相同业务的不同渠道流入的数据;
将所述不同渠道流入的数据,转译为标准化的数据;
将转译后标准化的数据与对应的渠道进行关联;
将关联有渠道的标准化的数据进行存储。
通过本说明书实施例,将不同渠道流入的数据转译后统一标准化的数据,从而破除数据壁垒,可以识别不同渠道之间的数据的真正含义;进而可以基于这些标准化的数据进行大数据的分析。
附图说明
图1是本说明书一实施例提供的实现数据处理的系统结构图;
图2是本说明书一实施例提供的数据处理方法的流程图;
图3是本说明书一实施例提供的实现数据处理的系统结构图;
图4是本说明书一实施例提供的数据处理装置的模块示意图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本说明书相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本说明书的一些方面相一致的装置和方法的例子。
在本说明书使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本说明书。在本说明书和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本说明书可能采用术语第一、第二、第三等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本说明书范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
随着大数据技术的不断发展、应用,如今的数据已经可以认为是一种无形的资产;拥有更多数据的一方可以在当前或者未来具有更多的优势。例如,如今越来越常见的针对用户的个性化服务,这些服务的实现往往需要依赖海量的数据;所述数据可以包括用户行为数据,行业数据,业务数据等各种维度各种类型的数据;服务提供方可以通过分析数据,从而预测用户的一些可能的需求,从而有针对性地提供服务。
如前所述,同质化的应用越来越多,有的应用平台中甚至会出现多个具有相同或者相似功能的不同系统;有些系统可能由于实现目的不同、面向的终端用户不同,从而会有不同的应用,但是功能大致相同;这些不同的系统或者应用以下称为渠道。这些具有相同业务的渠道拥有的数据会造成大量重复,但是由于不同的渠道可能具有不同的数据格式,相互之间无法识别,容易会形成众多的数据壁垒。互联网中每天都会产生海量的数据,但是这些数据目前并不能有效的收集,由于渠道太多,即使同一业务也会存在很多不同的渠道,而不同渠道的数据又由于差异,导致无法相互识别,不能做到互通有无。例如,采集了多个渠道的数据,但是不同渠道的数据往往会分开存储;相互之间没有任何关联。假如同一个数据由于来自不同的渠道,那么由于存在差异,也会被收集多次,造成储存资源的浪费。
举例说明,某用户患有慢性疾病,需要定期进行检查;第一次他通过A平台挂号;一个月后,第二次他改为通过B平台挂号;再一个月后,第三次他又改为通过C平台挂号;这样导致了他三次挂号的行为数据分别存储在三个系统中,而这些系统都是独立封闭的;因此,服务提供方无法从单个系统的数据中挖掘出用户的真正需求;如果用户是在同一个渠道进行挂号,那么通过用户的三次挂号行为,可以分析出用户需要定期进行检查,那么针对这一分析结果完全可以提前自动地帮用户挂号,提醒用户。
以下请求参考图1所示本说明书实施例中提供的实现数据处理的系统架构图。图1所示该系统可以包括多个不同渠道11,处理组件12,以及数据平台13;
渠道11,可以是指具有相同业务的不同系统或者应用;如支付宝中有预约挂号平台、智慧医院、服务窗;这些渠道在医疗行业内都具有相同或者相似的业务,包括预约挂号、查看报告等。
处理组件12,可以用于接收所述多个不同渠道11流入的数据,并对这些数据进行处理后,形成统一的标准化的数据;所述处理组件12具体可以包括Msgbroker(消息代理组件)。
数据平台13,可以用于供处理组件12存储处理后的数据。
值得一提的是,所述处理组件12和数据平台13可以是相互独立的;或者,所述处理组件12也可以是集成在数据平台13中的,也就是说,处理组件12可以是数据平台13中的一个软件模块,一个组成部分。
以下请结合图2所示的例子介绍本说明书一种实现数据处理的方法的实施例,如图2所示,该方法可以包括以下步骤:
步骤210:获取多个相同业务的不同渠道流入的数据。
本实施例中,渠道的数据可以通过上述处理组件提供的接口流入。举例说明,不同渠道的数据可以通过openapi接口,流入到处理组件。
值得一提的是,本说明书中对于数据流入失败的情况,还建立有补充机制:
在任意渠道流入数据失败的情况下,向该渠道返回流入失败通知;
所述渠道接收到返回流入失败通知的情况下,重新发送数据。从而确定渠道流入数据的完整性。
步骤220:将所述不同渠道流入的数据,转译为标准化的数据。
由于不同渠道的数据可能存在格式的差异,例如通常情况下,数据可以是由字段类型以及字段类型的字段值构成的。
举例说明,一段代表用户A预约挂号D日“口腔科”普通门诊的行为数据,可以是由以下字段类型和字段类型的字段值构成的:
可以记为{(User,用户A),(Time,D日),(Department,口腔科),(Type,普通门诊)}。
如前所述,由于不同渠道中相同含义的字段类型设置的不同,例如:
渠道A中,表示用户的字段类型为:User;
而渠道B中,同样表示用户的字段类型为:Yonghu。
本实施例中,所述步骤220,具体可以包括:
根据所述不同渠道对应的转译模版,将所述不同渠道流入的相同含义的不同字段类型转译为统一的字段类型;
本实施例中,所述转译模版中记录有不同渠道的特有字段类型与统一的字段类型的对应关系。
沿用上述例子,假设表示用户的统一的字段类型为:Username;
对于渠道A中表示用户的字段类型为:User;该渠道A对应的转译模版中可以记录有User和Username的对应关系;因此,经过转译模版转译后,渠道A流入的数据中表示用户的字段类型就从User更改为Username;
对于渠道B中表示用户的字段类型为:Yonghu;该渠道B对应的转译模版中可以记录有Yonghu和Username的对应关系;因此,经过转译模版转译后,渠道B流入的数据中表示用户的字段类型就从Yonghu更改为Username。
本实施例中,所述转译模版可以是人为预先设置的;即根据渠道的特有字段类型,将其与统一的字段类型建立对应关系;
或者,
所述转译模版也可以是通过机器学习计算生成的。例如,对渠道流入的字段值进行语义分析,从而确定字段类型的含义;将不同渠道的含义相同的字段类型关联统一的字段类型。举例说明,可以对渠道流入的字段值“张三”进行语义分析,可以分析出“张三”这个字段值对应的字段类型“user”是表示用户,进而建立“user”与统一的表示用户的字段类型“Username”的对应关系。
步骤230:将转译后标准化的数据与对应的渠道进行关联。
在将渠道流入的数据转译为标准化的数据之后,还需要关联对应的渠道,从而可以知道这个数据的来源。
所述关联,可以指将转译后标准化的数据与对应的渠道标识进行关联。所述渠道标识具有唯一性,例如ID。
步骤240:将关联有渠道的标准化的数据进行存储。
如前所述,处理组件可以将处理后的数据存储在数据平台。
本实施例中,数据存储可以采用Hbase作为数据存储方式;数据传递可以使用Msgbroker消息模式。
通过本实施例,将不同渠道流入的数据转译后统一标准化的数据,从而破除数据壁垒,可以识别不同渠道之间的数据的真正含义;进而可以基于这些标准化的数据进行大数据的分析。
如前所述,在实际应用中,不同渠道的数据往往存在着重复的问题;因此,转译后标准化的数据之中也可能会存在有大量重复数据;存储大量重复的数据显然是造成存储资源的浪费。针对此,本说明书在图2实施例的基础上,在所述步骤130之前,还可以包括:
判断转译后标准化的数据是否与已有数据相同;所述已有数据为已存储的标准化的数据;
所述步骤140将转译后标准化的数据与对应的渠道进行关联,具体可以包括:
在转译后标准化的数据与已有数据不相同的情况下,将该转译后标准化的数据与对应的渠道进行关联。
另一方面,所述方法还包括:
在转译后标准化的数据与已有数据相同的情况下,将所述已有数据与该转译后标准化的数据对应的渠道进行关联。
本实施例中,将转译后标准化的数据与已经存储了的标准化的数据进行比较,判断是否相同。如果相同,说明转译后标准化的数据已经存在,是一个无效的数据,进而可以将所述已有数据与该转译后标准化的数据对应的渠道进行关联;
如果不相同,说明转译后标准化的数据是一个有效的数据,进而可以将该转译后标准化的数据与对应的渠道进行关联。
举例说明,假设转译后标准化的数据A的渠道1;
如果转译后标准化的数据A与已有数据比较,确定数据A与所有的已有数据都不相同,说明数据A是一个有效的数据,则可以将数据A与渠道1关联;
如果转译后标准化的数据A与已有数据B相同,说明数据A是一个无效的数据,而已有数据B关联有渠道2;则可以将已有数据B关联渠道1,也就是说已有数据B不仅关联了渠道2,还关联了渠道1;根据已有数据B可以识别出数据B的来源渠道为渠道1和渠道2。
通过本实施例,可以对转译后标准化的数据进行清洗,合并重复的数据。
值得一提的是,所述判断转译后标准化的数据是否与已有数据相同,具体可以包括:
A1:判断转译后标准化的数据与已有数据之间相同字段类型的字段值是否一致;
A2:统计字段值一致的相同字段类型的数量;
A3:计算所统计的数量占全部字段类型数量的比例;
A4:在所述比例超过阈值的情况下,确定转译后标准化的数据与已有数据相同;
A5:在所述比例不超过阈值的情况下,确定转译后标准化的数据与已有数据不相同。
举例说明,转译后标准化的数据A为{(User,用户A),(Time,D日),(Department,口腔科),(Type,普通门诊)};
已有数据B{(User,用户A),(Time,D日),(Department,口腔科),(Type,专家门诊)};
其中,字段类型User的字段值相同都为“用户A”;
字段类型Time的字段值相同都为“D日”;
字段类型Department的字段值相同都为“口腔科”;
字段类型Type的字段值不相同,数据A为“普通门诊”,数据B为“专家门诊”;
统计字段值一致的相同字段类型的数据为3;
计算所统计的数量占全部字段类型数据的比例为:3/4=75%。
本实施例中,所述阈值可以是人为预先设定的;
随着计算机技术的不断发展,特别是人工智能的进步,所述阈值还可以是通过机器学习计算得到的。例如,基于历史处理时的阈值,通过机器学习算法可以计算出一个最优的阈值。
再有的,所述阈值还可以是基于大数据技术计算得到的。例如,通过海量数据,发现大部分设定的阈值均为90%,则可以确定本检测过程中阈值也可以设定为90%。
需要说明的是,如果阈值设定为100%,则说明只有在转译后标准化的数据与已有数据之间所有相同字段类型的字段值都一致的情况下,才可以被确定相同,也可以认为是完全相同。
如果所计算出的比例超过了这个设定的阈值,那么可以确定转译后标准化的数据与已有数据相同;
反之,如果所计算出的比例没有超过这个设定的阈值,那么可以确定转译后标准化的数据与已有数据不相同。
值得一提的是,本说明书中还可以根据实际应用情况,对每一个字段类型设定权重。例如,对于较为重要的字段类型设定较大的权重,对于较为不重要的字段类型设定较小的权重。
举例说明,转译后标准化的数据A为{(User,用户A),(Time,D日),(Department,口腔科),(Type,普通门诊)};
已有数据B{(User,用户A),(Time,D日),(Department,口腔科),(Type,专家门诊)};
对于表示用户的字段类型“User”,权重为1.5;
对于表示日期的字段类型“Time”,权重为1.3;
对于表示科室的字段类型“Department”,权重为1;
对于表示门诊类型的字段类型“Type”,权重为0.5;
那么,计算所统计的数量占全部字段类型数据的比例为:(1.5+1.3+1)/4=95%。
以下请求参考图3所示本说明书实施例中提供的实现数据处理的系统架构图。图3可以认为是在图1基础上的数据应用过程;图3所示该系统可以包括数据平台31,处理组件32,以及多个不同渠道33;
其中,数据平台31,可以是指存储有标准化的数据,可以为渠道提供数据服务;所述数据平台可以将包含数据的消息发送给处理组件32;所述消息可以理解为提供的服务内容;
处理组件32,用于负责接收数据平台发送的消息,并根据消息类型(MessageType);以及根据订阅关系(Binding),将该消息发送到订阅该消息的渠道。所述订阅关系,可以是在渠道订阅了某种消息后构建的;例如,某医疗渠道订阅了数据平台的挂号服务,那么数据平台中就可以生成挂号内容消息与该医疗渠道之间的订阅关系。
上述消息可以具有消息类型,不同的消息类型可以由唯一的标识进行区分,例如,TOPIC/eventcode唯一标识。具体地,消息类型可以包括查询服务、数据决策服务、渠道路由服务等。
渠道33,可以是订阅了数据平台中某些服务的订阅者。例如,订阅了挂号消息的挂号平台。
一般的,渠道33可以订阅多种不同的消息;数据平台也可以发送多种不同的消息。
数据平台31基于前述收集到的来自各个不同渠道的数据,并转译为标准化的数据后,可以对这些数据进行分析,归纳,统计等生成服务内容;从而根据订阅关系,将消息发送给订阅的渠道。
具体地,在图1所示实施例的基础上,所述方法还可以包括:
接收数据平台发送的基于存储的数据分析得出的用于提供服务的消息;
获取所述消息的消息类型;
根据订阅关系,确定订阅所述消息类型的渠道;
将所述消息发送给所述渠道。
举例说明,数据平台收集到预约挂号平台这个渠道中关于某医院某医生下周三的号源还有30个;服务窗这个渠道中该医生的号源还有35个;而来自智慧医院渠道的数据表明该医生下周三停诊。基于上述数据,说明预约挂号平台和服务窗这两个平台并没有收到医生停诊的通知,依然可以挂号,可想而知,到时患者在下周三去医院并不能取号,从而浪费患者时间,降低了渠道的公信力。假设预约挂号平台在数据平台订阅了关于挂号服务的话,数据平台就可以将医生停诊的消息发送给预约挂号平台;这样预约挂号平台就可以取消该医生下周三的号源。
与前述数据处理方法实施例相对应,本说明书还提供了数据处理装置的实施例。所述装置实施例可以通过软件实现,也可以通过硬件或者软硬件结合的方式实现。以软件实现为例,作为一个逻辑意义上的装置,是通过其所在设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言,本说明书数据处理装置所在设备的一种硬件结构可以包括处理器、网络接口、内存以及非易失性存储器之外,实施例中装置所在的设备通常根据该数据处理实际功能,还可以包括其他硬件,对此不再赘述。
参见图4,为本说明书一实施例提供的数据处理装置的模块图,所述装置对应了图2所示实施例,所述装置包括:
获取单元410,获取多个相同业务的不同渠道流入的数据;
转译单元420,将所述不同渠道流入的数据,转译为标准化的数据;
关联单元430,将转译后标准化的数据与对应的渠道进行关联;
存储单元440,将关联有渠道的标准化的数据进行存储。
在一个可选的实施例中:
所述数据由若干字段类型以及所述字段类型的字段值组成;
所述转译单元420,具体包括:
根据所述不同渠道对应的转译模版,将所述不同渠道流入的相同含义的不同字段类型转译为统一的字段类型;所述转译模版中记录有不同渠道的特有字段类型与统一的字段类型的对应关系。
在一个可选的实施例中:
所述关联单元430之前,所述装置还包括:
判断子单元,判断转译后标准化的数据是否与已有数据相同;所述已有数据为已存储的标准化的数据;
所述关联单元430,具体包括:
在转译后标准化的数据与已有数据不相同的情况下,将该转译后标准化的数据与对应的渠道进行关联。
在一个可选的实施例中:
所述装置还包括:
关联子单元,在转译后标准化的数据与已有数据不相同的情况下,将所述已有数据与该转译后标准化的数据对应的渠道进行关联。
在一个可选的实施例中:
所述判断子单元,具体包括:
字段值判断子单元,判断转译后标准化的数据与已有数据之间相同字段类型的字段值是否一致;
数量统计子单元,统计字段值一致的相同字段类型的数量;
比例计算子单元,计算所统计的数量占全部字段类型数量的比例;
第一确定子单元,在所述比例超过阈值的情况下,确定转译后标准化的数据与已有数据相同;
第二确定子单元,在所述比例不超过阈值的情况下,确定转译后标准化的数据与已有数据不相同。
在一个可选的实施例中:
所述装置还包括:
接收子单元,接收数据平台发送的基于存储的数据分析得出的用于提供服务的消息;
获取子单元,获取所述消息的消息类型;
确定子单元,根据订阅关系,确定订阅所述消息类型的渠道;
发送子单元,将所述消息发送给所述渠道。
在一个可选的实施例中:
所述指定服务类型包括:
查询服务、数据决策服务、渠道路由服务。
在一个可选的实施例中:
在所述获取单元410之后,所述装置还包括:
返回单元,在任意渠道流入数据失败的情况下,向该渠道返回流入失败通知。
上述实施例阐明的系统、装置、模块或单元,具体可以由计算机芯片或实体实现,或者由具有某种功能的产品来实现。一种典型的实现设备为计算机,计算机的具体形式可以是个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件收发设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任意几种设备的组合。
上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程,在此不再赘述。
对于装置实施例而言,由于其基本对应于方法实施例,所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本说明书方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
以上图4描述了数据处理装置的内部功能模块和结构示意,其实质上的执行主体可以为一种电子设备,包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为:
获取多个相同业务的不同渠道流入的数据;
将所述不同渠道流入的数据,转译为标准化的数据;
将转译后标准化的数据与对应的渠道进行关联;
将关联有渠道的标准化的数据进行存储。
在一个可选的实施例中:
所述数据由若干字段类型以及所述字段类型的字段值组成;
所述将所述不同渠道流入的数据,转译为标准化的数据,具体包括:
根据所述不同渠道对应的转译模版,将所述不同渠道流入的相同含义的不同字段类型转译为统一的字段类型;所述转译模版中记录有不同渠道的特有字段类型与统一的字段类型的对应关系。
在一个可选的实施例中:
所述将转译后标准化的数据与对应的渠道进行关联之前,还包括:
判断转译后标准化的数据是否与已有数据相同;所述已有数据为已存储的标准化的数据;
将转译后标准化的数据与对应的渠道进行关联,具体包括:
在转译后标准化的数据与已有数据不相同的情况下,将该转译后标准化的数据与对应的渠道进行关联。
在一个可选的实施例中:
所述处理器还被配置为:
在转译后标准化的数据与已有数据不相同的情况下,将所述已有数据与该转译后标准化的数据对应的渠道进行关联。
在一个可选的实施例中:
所述判断转译后标准化的数据是否与已有数据相同,具体包括:
判断转译后标准化的数据与已有数据之间相同字段类型的字段值是否一致;
统计字段值一致的相同字段类型的数量;
计算所统计的数量占全部字段类型数量的比例;
在所述比例超过阈值的情况下,确定转译后标准化的数据与已有数据相同;
在所述比例不超过阈值的情况下,确定转译后标准化的数据与已有数据不相同。
在一个可选的实施例中:
所述处理器还被配置为:
接收数据平台发送的基于存储的数据分析得出的用于提供服务的消息;
获取所述消息的消息类型;
根据订阅关系,确定订阅所述消息类型的渠道;
将所述消息发送给所述渠道。
在一个可选的实施例中:
所述指定服务类型包括:
查询服务、数据决策服务、渠道路由服务。
在一个可选的实施例中:
在所述获取多个相同业务的不同渠道流入的数据之后,还包括:
在任意渠道流入数据失败的情况下,向该渠道返回流入失败通知。
在上述电子设备的实施例中,应理解,该处理器可以是中央处理单元(英文:Central Processing Unit,简称:CPU),还可以是其他通用处理器、数字信号处理器(英文:Digital Signal Processor,简称:DSP)、专用集成电路(英文:Application SpecificIntegrated Circuit,简称:ASIC)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等,而前述的存储器可以是只读存储器(英文:read-only memory,缩写:ROM)、随机存取存储器(英文:random access memory,简称:RAM)、快闪存储器、硬盘或者固态硬盘。结合本发明实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成,或者用处理器中的硬件及软件模块组合执行完成。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于电子设备实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本说明书的其它实施方案。本说明书旨在涵盖本说明书的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本说明书的一般性原理并包括本说明书未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本说明书的真正范围和精神由下面的权利要求指出。
应当理解的是,本说明书并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本说明书的范围仅由所附的权利要求来限制。

Claims (17)

1.一种数据处理方法,所述方法包括:
获取多个相同业务的不同渠道流入的数据;
将所述不同渠道流入的数据,转译为标准化的数据;
将转译后标准化的数据与对应的渠道进行关联;
将关联有渠道的标准化的数据进行存储。
2.根据权利要求1所述的方法,所述数据由若干字段类型以及所述字段类型的字段值组成;
所述将所述不同渠道流入的数据,转译为标准化的数据,具体包括:
根据所述不同渠道对应的转译模版,将所述不同渠道流入的相同含义的不同字段类型转译为统一的字段类型;所述转译模版中记录有不同渠道的特有字段类型与统一的字段类型的对应关系。
3.根据权利要求1所述的方法,所述将转译后标准化的数据与对应的渠道进行关联之前,所述方法还包括:
判断转译后标准化的数据是否与已有数据相同;所述已有数据为已存储的标准化的数据;
将转译后标准化的数据与对应的渠道进行关联,具体包括:
在转译后标准化的数据与已有数据不相同的情况下,将该转译后标准化的数据与对应的渠道进行关联。
4.根据权利要求3所述的方法,所述方法还包括:
在转译后标准化的数据与已有数据不相同的情况下,将所述已有数据与该转译后标准化的数据对应的渠道进行关联。
5.根据权利要求3所述的方法,所述判断转译后标准化的数据是否与已有数据相同,具体包括:
判断转译后标准化的数据与已有数据之间相同字段类型的字段值是否一致;
统计字段值一致的相同字段类型的数量;
计算所统计的数量占全部字段类型数量的比例;
在所述比例超过阈值的情况下,确定转译后标准化的数据与已有数据相同;
在所述比例不超过阈值的情况下,确定转译后标准化的数据与已有数据不相同。
6.根据权利要求1所述的方法,所述方法还包括:
接收数据平台发送的基于存储的数据分析得出的用于提供服务的消息;
获取所述消息的消息类型;
根据订阅关系,确定订阅所述消息类型的渠道;
将所述消息发送给所述渠道。
7.根据权利要求6所述的方法,所述指定服务类型包括:
查询服务、数据决策服务、渠道路由服务。
8.根据权利要求1所述的方法,在所述获取多个相同业务的不同渠道流入的数据之后,所述方法还包括:
在任意渠道流入数据失败的情况下,向该渠道返回流入失败通知。
9.一种数据处理装置,所述装置包括:
获取单元,获取多个相同业务的不同渠道流入的数据;
转译单元,将所述不同渠道流入的数据,转译为标准化的数据;
关联单元,将转译后标准化的数据与对应的渠道进行关联;
存储单元,将关联有渠道的标准化的数据进行存储。
10.根据权利要求9所述的装置,所述数据由若干字段类型以及所述字段类型的字段值组成;
所述转译单元,具体包括:
根据所述不同渠道对应的转译模版,将所述不同渠道流入的相同含义的不同字段类型转译为统一的字段类型;所述转译模版中记录有不同渠道的特有字段类型与统一的字段类型的对应关系。
11.根据权利要求9所述的装置,所述关联单元之前,所述装置还包括:
判断子单元,判断转译后标准化的数据是否与已有数据相同;所述已有数据为已存储的标准化的数据;
所述关联单元,具体包括:
在转译后标准化的数据与已有数据不相同的情况下,将该转译后标准化的数据与对应的渠道进行关联。
12.根据权利要求11所述的装置,所述装置还包括:
关联子单元,在转译后标准化的数据与已有数据不相同的情况下,将所述已有数据与该转译后标准化的数据对应的渠道进行关联。
13.根据权利要求11所述的装置,所述判断子单元,具体包括:
字段值判断子单元,判断转译后标准化的数据与已有数据之间相同字段类型的字段值是否一致;
数量统计子单元,统计字段值一致的相同字段类型的数量;
比例计算子单元,计算所统计的数量占全部字段类型数量的比例;
第一确定子单元,在所述比例超过阈值的情况下,确定转译后标准化的数据与已有数据相同;
第二确定子单元,在所述比例不超过阈值的情况下,确定转译后标准化的数据与已有数据不相同。
14.根据权利要求8所述的装置,所述装置还包括:
接收子单元,接收数据平台发送的基于存储的数据分析得出的用于提供服务的消息;
获取子单元,获取所述消息的消息类型;
确定子单元,根据订阅关系,确定订阅所述消息类型的渠道;
发送子单元,将所述消息发送给所述渠道。
15.根据权利要求14所述的装置,所述指定服务类型包括:
查询服务、数据决策服务、渠道路由服务。
16.根据权利要求8所述的装置,在所述获取单元之后,所述装置还包括:
返回单元,在任意渠道流入数据失败的情况下,向该渠道返回流入失败通知。
17.一种电子设备,包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为:
获取多个相同业务的不同渠道流入的数据;
将所述不同渠道流入的数据,转译为标准化的数据;
将转译后标准化的数据与对应的渠道进行关联;
将关联有渠道的标准化的数据进行存储。
CN201710840322.0A 2017-09-18 2017-09-18 数据处理方法及装置和电子设备 Pending CN107679116A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710840322.0A CN107679116A (zh) 2017-09-18 2017-09-18 数据处理方法及装置和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710840322.0A CN107679116A (zh) 2017-09-18 2017-09-18 数据处理方法及装置和电子设备

Publications (1)

Publication Number Publication Date
CN107679116A true CN107679116A (zh) 2018-02-09

Family

ID=61135951

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710840322.0A Pending CN107679116A (zh) 2017-09-18 2017-09-18 数据处理方法及装置和电子设备

Country Status (1)

Country Link
CN (1) CN107679116A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108922607A (zh) * 2018-05-31 2018-11-30 康键信息技术(深圳)有限公司 服务器、数据处理的方法及存储介质
CN109325798A (zh) * 2018-08-22 2019-02-12 深圳市佰仟金融服务有限公司 一种电销数据统计的方法以及一种电销平台
CN113542284A (zh) * 2021-07-19 2021-10-22 恩亿科(北京)数据科技有限公司 id包转译应用方法、系统、存储介质及电子设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040213298A1 (en) * 2003-04-11 2004-10-28 Akihiro Sato Data multiplexing apparatus, data multiplexing method, and transmission apparatus
CN101159730A (zh) * 2007-09-19 2008-04-09 华为技术有限公司 多媒体联络中心处理信息的方法、系统及装置
CN104298779A (zh) * 2014-11-04 2015-01-21 中国银行股份有限公司 海量数据加工的处理方法和系统
CN104462121A (zh) * 2013-09-18 2015-03-25 腾讯科技(深圳)有限公司 数据处理方法、装置及系统
CN104766240A (zh) * 2015-03-24 2015-07-08 中国银行股份有限公司 电子银行业务数据处理系统及方法
CN106651066A (zh) * 2015-10-29 2017-05-10 奇点新源国际技术开发(北京)有限公司 数据处理方法及数据处理平台

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040213298A1 (en) * 2003-04-11 2004-10-28 Akihiro Sato Data multiplexing apparatus, data multiplexing method, and transmission apparatus
CN101159730A (zh) * 2007-09-19 2008-04-09 华为技术有限公司 多媒体联络中心处理信息的方法、系统及装置
CN104462121A (zh) * 2013-09-18 2015-03-25 腾讯科技(深圳)有限公司 数据处理方法、装置及系统
CN104298779A (zh) * 2014-11-04 2015-01-21 中国银行股份有限公司 海量数据加工的处理方法和系统
CN104766240A (zh) * 2015-03-24 2015-07-08 中国银行股份有限公司 电子银行业务数据处理系统及方法
CN106651066A (zh) * 2015-10-29 2017-05-10 奇点新源国际技术开发(北京)有限公司 数据处理方法及数据处理平台

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108922607A (zh) * 2018-05-31 2018-11-30 康键信息技术(深圳)有限公司 服务器、数据处理的方法及存储介质
CN109325798A (zh) * 2018-08-22 2019-02-12 深圳市佰仟金融服务有限公司 一种电销数据统计的方法以及一种电销平台
CN113542284A (zh) * 2021-07-19 2021-10-22 恩亿科(北京)数据科技有限公司 id包转译应用方法、系统、存储介质及电子设备
CN113542284B (zh) * 2021-07-19 2023-06-30 恩亿科(北京)数据科技有限公司 id包转译应用方法、系统、存储介质及电子设备

Similar Documents

Publication Publication Date Title
Tran et al. Low validity of Google Trends for behavioral forecasting of national suicide rates
CN111949890B (zh) 基于医学领域的数据推荐方法、设备、服务器及存储介质
Salathé et al. The dynamics of health behavior sentiments on a large online social network
CN109327353B (zh) 业务流量确定方法、装置及电子设备
CN110310020B (zh) 基于数据分析的项目方案管理方法、相关装置及存储介质
CN107679116A (zh) 数据处理方法及装置和电子设备
CN108428001B (zh) 信用分值预测方法及装置
Schaubel et al. Analysis of clustered recurrent event data with application to hospitalization rates among renal failure patients
CN109299085A (zh) 一种数据处理方法、电子设备及存储介质
CN109522705B (zh) 一种权限管理方法、装置、电子设备及介质
CN109215794B (zh) 异常用户的识别方法及装置、存储介质、电子设备
CN110222790A (zh) 用户身份识别方法、装置及服务器
CN108429636B (zh) 定位异常系统的方法及装置和电子设备
CN111694993B (zh) 一种创建数据索引的方法、装置、电子设备及介质
CN114334111B (zh) 医疗信息管理方法、装置、服务器及可读存储介质
CN111241821B (zh) 确定用户的行为特征的方法和装置
US20160267230A1 (en) Touchless processing
CN111651522A (zh) 一种数据同步方法及装置
CN110717653A (zh) 风险识别方法及装置和电子设备
WO2019187107A1 (ja) 情報処理装置、制御方法、及びプログラム
Nowak et al. Using an agent-based model to examine deimplementation of breast cancer screening
CN113923189B (zh) 基于数据流的ip地址备案信息核查方法及设备
WO2021184588A1 (zh) 集群优化方法、装置、服务器及介质
CN109285599B (zh) 在医学云基础架构中提供失败参数
CN113780580A (zh) 基于机器学习的数据分析方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20200923

Address after: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman Islands

Applicant after: Innovative advanced technology Co.,Ltd.

Address before: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman Islands

Applicant before: Advanced innovation technology Co.,Ltd.

Effective date of registration: 20200923

Address after: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman Islands

Applicant after: Advanced innovation technology Co.,Ltd.

Address before: A four-storey 847 mailbox in Grand Cayman Capital Building, British Cayman Islands

Applicant before: Alibaba Group Holding Ltd.

RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180209