CN110383319B - 大规模异构数据摄取和用户解析 - Google Patents

Abstract

本公开涉及用于高效组织大规模异构数据的数据关联、属性、注释和解释系统及相关方法。传入数据被接收并提取识别信息(“信息”)。多个维度减少函数被应用于信息，并基于函数结果将信息分组成相似信息的集合。对集合应用过滤规则以排除集合中的不匹配信息。然后，基于集合是否包含至少一个公共信息，将集合合并成信息组。公共链接可以与组中的信息关联。如果传入的数据包括与公共链接关联的识别信息，则传入的数据被分配公共链接。在一些实施例中，传入的数据不被改变而是被分配到域中。

Description

大规模异构数据摄取和用户解析

技术领域

本公开涉及用于高效组织与用户关联的大规模异构数据元素的数据关联、属性、注释和解释系统及相关方法。该系统和方法可以被实现以提供对用户历史数据元素的实时访问，这在之前未实现。

背景技术

信用事件可以被收集、编译和分析以便以信用报告的形式提供个人信用度，信用报告典型地包括多个信用属性，诸如信用分数、信用账户信息以及与用户的财务价值有关的其他信息。例如，信用分数是重要的，因为它可以在交易实体之间建立必要的信任级别。例如，金融机构，诸如贷方、信用卡提供商、银行、汽车经销商、经纪人等，可以基于信用分数更安全地进行商业交易。

发明内容

公开了与用于高效组织大规模异构数据的数据关联、属性、注释和解释系统及相关方法有关的系统和方法。

一个一般方面包括一种用于为收集的事件信息确定帐户持有者标识的计算机系统，该计算机系统包括：一个或多个硬件计算机处理器；以及一个或多个存储设备，其配置为存储软件指令，软件指令配置为被一个或多个硬件计算机处理器执行以使计算机系统：从多个数据源接收与相应多个事件关联的多个事件信息；对于每个事件信息：访问包括数据源与标识符参数之间关联的数据存储，标识符参数至少包括对来自相应数据源的事件信息中包括的一个或多个标识符的指示；至少基于事件信息的数据源的标识符参数，确定如被访问的数据存储中指示的事件信息中包括的标识符；至少基于相应标识符参数从事件信息中提取标识符，其中，标识符的组合包括与唯一用户关联的唯一标识，访问多个散列函数，每个散列函数与标识符的组合关联；对于每个唯一标识，通过对多个散列函数求值计算多个散列值；基于唯一标识是否共享使用公共散列函数计算出的公共散列值，选择性地将唯一标识分组成与公共散列值关联的唯一标识集合；对于每个唯一标识集合：应用一个或多个匹配规则，一个或多个匹配规则包括用于在集合内比较唯一标识的标准；将满足一个或多个匹配规则的唯一标识确定为唯一标识匹配集合；对各自包括至少一个公共唯一标识的唯一标识匹配集合进行合并，以提供与其他合并集合不具有公共唯一标识的一个或多个合并集合；对于每个合并集合：确定反向个人标识符；将反向个人标识符与合并集合中的唯一标识中的每一个关联；对于每个唯一标识：识别与关联于唯一标识的标识符的组合中的至少一个关联的事件信，以及将反向个人标识符与识别的事件信息关联。该方面的其他实施例包括相应的计算机系统、装置以及记录在一个或多个计算机存储设备上的计算机程序，其各自被配置以执行方法的动作。

实施方式可以包括以下特征中的一个或多个。计算机系统，其中，散列函数至少包括：第一散列函数，其对从事件信息中提取的至少第一标识符的部分和至少第二标识符的部分的第一组合求值；以及第二散列函数，其对从事件信息中提取的至少第一标识符的部分和至少第三标识符的部分的第二组合求值。计算机系统，其中，基于第一标识符或第二标识符中的一个或多个的标识符类型，选择第一散列函数。计算机系统，其中，第一标识符是用户的社会保险号码，第二标识符是用户的姓氏，并且第一组合是少于社会保险号码所有数字与少于用户姓氏所有字符的串接。计算机系统，其中，第一事件集合包括与第一散列值关联的多个事件，第二事件集合包括各自与第二散列值关联的多个事件。计算机系统，其中，标识符选自：名字、姓氏、中间名首字母、中间名、出生日期、社会保险号码、纳税人ID或国家ID。计算机系统，其中，计算机系统生成将反向个人标识符关联到合并集合中的剩余唯一标识中的每一个的反向映射，并将映射存储在数据存储中。计算机系统还包括：基于分配给剩余唯一标识的反向个人标识符，将反向个人标识符分配给包括剩余唯一标识的多个事件信息中的每一个。计算机系统，其中，散列函数包括位置敏感散列算法。计算机系统，其中，一个或多个匹配规则包括一个或多个标识解析规则，一个或多个标识解析规则将一个或多个集合中的u与外部数据库或CRM系统中的帐户持有者信息进行比较以识别针对一个或多个匹配规则的匹配。计算机系统，其中，标识解析规则包括指示帐户持有者信息与标识符之间匹配标准的标准。计算机系统，其中，合并集合包括，对于一个或多个集合中的每一个，重复以下过程：将集合中的每个唯一标识与集合中的另一个唯一标识配对以创建唯一标识对；确定对中的公共唯一标识；以及响应于确定公共唯一标识，对来自具有公共唯一标识的对中的非公共唯一标识分组，直到结果组内包含的唯一标识列表在结果组之间彼此互斥。计算机系统，其中，确定对中的公共唯一标识还包括对对中的唯一标识分类。所描述技术的实施方式可以包括硬件、方法或过程、或计算机可访问介质上的计算机软件。

另一个一般方面包括一种计算机系统，其包括：一个或多个硬件计算机处理器，以及一个或多个存储设备，其配置为存储软件指令，软件指令配置为被一个或多个硬件计算机处理器执行以使计算机系统：从一个或多个数据源接收多个事件，其中，事件中的至少一些具有异构结构；存储异构结构的事件以供外部过程访问；对于每个数据源：至少部分地基于数据结构或来自数据源的数据识别域；访问与识别的域关联的词汇；以及对于每个事件信息：确定事件是否与词汇中的一些或全部匹配；将事件与相应域或词汇关联；基于确定的域将一个或多个标签与事件的部分关联。该方面的其他实施例包括相应的计算机系统、装置以及记录在一个或多个计算机存储设备上的计算机程序，其各自被配置以执行方法的动作。

实施方式可以包括以下特征中的一个或多个。计算机系统包括软件指令，当被一个或多个硬件处理器执行时，配置为使计算机系统：接收针对第一域中的与用户关联的信息的请求；执行一个或多个域解析器，一个或多个域解析器配置为识别具有关联于第一域的一个或多个标签的与用户关联的事件；以及向请求实体提供识别的事件中的至少一些。计算机系统，其中，识别的事件中的至少一些仅包括识别的事件中与关联于第一域的一个或多个标签关联的部分。所描述技术的实施方式可以包括硬件、方法或过程、或计算机可访问介质上的计算机软件。

另一个一般方面包括一种计算机化方法，包括，通过具有一个或多个计算机处理器的计算系统：从一个或多个数据源接收多个事件信息，多个事件信息具有异构数据结构；至少部分地基于数据源、与数据源关联的数据结构、或来自数据源的事件信息中的一个或多个，为一个或多个数据源中的每一个确定域；访问与确定的域关联的域词典，域词典包括域词汇、域语法和/或注释标准；基于注释标准使用域词汇注释来自确定的域的事件信息的一个或多个部分；接收针对事件信息或事件信息中包括的数据的请求；基于事件信息的一个或多个注释部分解释事件信息；以及基于解释提供请求的数据。该方面的其他实施例包括相应的计算机系统、装置以及记录在一个或多个计算机存储设备上的计算机程序，其各自被配置以执行方法的动作。

附图说明

现在将参考以下附图描述某些实施例。在所有附图中，附图标记可被重复使用以指示所引用的元素之间的对应关系。提供附图是为了说明在此描述的示例性实施例，而不是为了限制本公开或权利要求的范围。

图1A示出了根据一些实施例的本公开的示例性信用数据系统。

图1B示出了根据一些实施例的信用数据的示例性生成、流程和存储。

图2A示出了根据一些实施例的顺序处理异构事件集合的示例。

图2B示出了根据一些实施例的与各种应用或服务交互的示例性信用数据系统。

图3示出了根据一些实施例的用于同时创建信用状态和信用关联以供分析的示例性信用数据系统结构。

图4示出了本实施例中的示例性批量索引过程，包括标识剥离、标识匹配和标识戳记。

图5示出了根据一些实施例的标识剥离的示例。

图6示出了根据一些实施例的使用散列算法减少数据维度的示例性过程。

图7示出了根据一些实施例的示例性标识解析过程。

图8示出了根据一些实施例的示例性集合合并过程。

图9示出了根据一些实施例的将反向个人标识符(“反向PID”)与唯一标识关联的示例。

图10示出了根据一些实施例的对信用事件戳记反向PID的示例。

图11A-11D示出了样例标识匹配过程的示例性实施方式。

图12是根据一些实施例的用于高效组织大规模异构数据的示例性方法的流程图。

图13A-13C示出了示例性数据模型，展示了当数据从数据摄取流向数据消耗时与数据关联的缺陷概率。

图14示出了可以提供关于个人的异构事件信息的各种类型的数据源，其可以在各实施例中被访问和分析。

图15示出了根据一些实施例的示例性域及其关联的词汇。

图16示出了根据一些实施例的用于给事件信息标记标签然后使用带标签的事件信息提供数据理解的示例性系统和过程。

图17是根据一些实施例的用于解释传入数据以使系统中的缺陷影响最小化的示例性方法的流程图。

具体实施方式

本公开提供了与用于高效组织大规模异构数据的数据关联、属性、注释和解释系统及相关方法有关的系统和方法的各种体系结构和实施例。所公开的系统和方法可以被实现以基于智能有效的信用数据体系结构提供信用数据。

更准确可靠的信用相关信息可以进一步提升审阅信用相关信息的实体的置信水平。例如，准确可靠地提供信用陈述、现金流、余额陈述、信用分数或其他信用属性可以更准确地描绘个人信用度。理想地，收集与个人相关的所有信用相关信息并在每次收集信用相关信息时更新个人的信用属性将提供这种更加准确可靠的信用属性。然而，存在非常实际的技术挑战，难以获得更及时、准确、可靠的信用属性。相同或类似的挑战也可以适用于其他类型的数据收集、存储、分析等。例如，系统还可能受困于特定个体的与旅行相关事件、犯罪相关事件、教育相关事件等关联的大量事件数据的及时解析。因此，本文中任何关于信用相关信息的上下文中的技术问题和解决方案的讨论同样适用于其他类型的信息。

一个技术挑战涉及需要被收集、分析、存储并供请求实体访问的大量信用事件的处理。例如，如果有4千万人，并且每个人有20个帐户(例如，银行帐户、抵押贷款、汽车租赁、信用卡)，则有8亿个帐户持续产生信用事件。通过适度假设，如果每个信用事件包含1000字节数据，则12个月的大量原始信用事件可以是大约10千兆字节或更多的数据。如果一些内部准则或外部规定要求存档5年的信用事件，则数据量可能接近50千兆字节。人口增长和数字交易应用增加带来数字交易增加的趋势，使该挑战进一步复杂化。在传统的数据收集模型中，数据的收集和分析被视为横向过程中的不同步骤，这可能无法满足快速分析、陈述和报告的需求。

另一个技术挑战涉及各种格式的事件数据的处理。事件可以从各种实体接收，例如贷方、信用卡提供商、银行、汽车经销商、经纪人等。通常，实体提供的信用事件具有专有数据结构或模式。收集的数据通常存储在数据库(诸如关系数据库)中，数据库虽然具有结构化组织标准数据结构的优点，但是在收集具有异构结构的数据时可能无能为力。另外，此类数据库可能需要提取、转换和加载(ETL)操作的高资源消耗过程。ETL操作通常还需要大量的编程工作以合并来自新数据源的数据结构。

即使收集的数据被成功地转换为符合数据库提供的数据库模式，数据库模式也通常过于刚性而不能容纳信息。由有数据结构完全不同的新数据源持续出现，数据库模式扩展可能很快成为一项繁重的任务。因此，数据库管理器根据以下决定建立：(1)裁剪在某个点可能变得重要的额外信息(实质上是进行裁剪以将方形数据装入圆形模式)，或(2)在已知未来分析将会不准确的情况下完全丢弃可用的不相容信息。两种方法都不理想，因为两者都导致不完全性或不准确性。

除了在收集数据方面的挑战之外，还存在与分析相关的技术挑战。例如，此类系统为个人生成信用报告可能会非常慢。系统在(每年)几千兆字节的数据中搜索与请求的个人匹配的记录以生成信用陈述。此类系统可能花费数天或数周来计算4千万人的信用陈述。不仅延迟生成的陈述无法反映个人的当前状态，而且还表明大量计算资源被绑定到生成这些陈述的任务上。这对于根据信用数据检测诈骗的机制是不理想的，因为信用报告上的数据在提供给用户时可能是几天之前的旧数据。此外，即使欺诈性交易已被解除，也可能花费数天、数周或更多时间在信用报告上更新该变更。因此，毫不夸张地说，这些报告系统产生的信用陈述可能在其所反映的个人真实信用度方面产生误导。

延迟获得结果不是分析中的唯一挑战。通常，个人的个人可识别信息并不准确或不是最新的。例如，某人可能为一个信用卡使用街道地址“101Main Street”，而为她的抵押账户使用“101Main St.”，或者很常见的是，更改电话号码。来自一个金融机构的信用事件可能采用更新的电话号码，而来自另一个金融机构的信用事件可能采用过期的电话号码。这种不规则性和过期的个人可识别信息对数据分析人员提出了独特的挑战，诸如基于那些事件之间不匹配的个人识别信息来准确地解析来自多个源的用户信用事件。

信用数据存储和分析系统可以实现数据模型，其中将严格的ETL过程置于数据摄取附近，以便对传入数据进行标准化，其中，ETL过程涉及重构、转换和解释。如将要描述的，早期解释可能意味着将缺陷早期引入到数据流中，并且在数据消耗之前，每个缺陷的生命周期被延长，为缺陷提供了充分传播的机会。另外，因为此类系统为每个具有新数据结构的新传入数据更新ETL过程，所以大量的软件和工程工作被花费在合并新的传入数据上。最终，维持上游解释的边际努力可能压垮此类系统。此外，ETL过程可以变换原始数据或创建原始数据的基本相似副本。如果在原始数据转换成标准格式后在解释过程中发现一些缺陷，则可能会严重丢失信息。或者，如果原始事件数据基本是被复制的，则会存在存储空间浪费并且严重影响较大数据集的处理能力。在信用数据系统的各种实施方式中，可能遇到一个或多个以下技术问题或挑战：

·数据整合方法，诸如数据仓库和数据集市，试图从传入数据中提取有意义的数据项并且将它们转换成标准化的目标数据结构；

·随着数据源数量的增长，来自多种类型的源的数据的转换所需软件的大小和复杂度也增长；

·由于合并新的数据源和格式要求修改现有软件，所以合并新数据源的边际努力变得越来越大；

·合并新的数据源和类型可能导致修改目标数据结构，需要将现有数据从一种格式转换到另一种格式；

·软件修改和数据转换的复杂度可能导致缺陷。如果缺陷长时间存在而未被注意到，则必须花费大量的工作和成本通过进一步的软件修改和数据转换来消除缺陷的影响，并且不断循环；

·这些数据整合方法可能具有高缺陷杠杆作用，因为它们试图在更加接近摄取点处解释和转换数据。

因此，至少在缺乏灵活性、适应性、准确性、可靠性、互操作性、缺陷管理和存储优化方面，此类信用数据系统(以及其他大容量数据分析系统)在技术上受到挑战。

定义

为了便于理解本文讨论的系统和方法，下面定义多个术语。下面定义的术语以及本文使用的其他术语应当被解释为包括所提供的定义、术语的普通和惯用含义、和/或各个术语的任何其他隐含含义。因此，以下定义不限制这些术语的含义，而仅提供示例性定义。

术语“用户”、“个人”、“消费者”以及“顾客”应被解释为包括单个的人以及用户组，诸如例如已婚夫妇或家庭伙伴、组织、团体和商业实体。另外，这些术语可以互换使用。在一些实施例中，这些术语是指用户的计算设备，而不是计算设备的实际人类操作者，或者外加计算设备的实际人类操作者。

个人可识别信息(本文也称为“PII”)包括关于用户的任何信息，其可单独用于向第三方唯一地识别特定用户。根据实施例，并且根据可能提供给第三方的用户数据组合，PII可以包括名字和/或姓氏、中间名、地址、电子邮件地址、社会保险号码、IP地址、护照号码、车辆登记号牌号码、信用卡号码、出生日期、和/或家庭/工作/移动电话号码。在一些实施例中，一些非常难以与特定用户关联的用户ID可能仍然被认为是PII，诸如如果这些ID对于相应用户是唯一的。例如，用户的Facebook数字ID可以被认为是对Facebook和第三方的PII。

用户输入(也称为“输入”)通常是指用户提供的任何类型的输入，旨在被一个或多个计算设备接收和/或存储，以对显示的数据进行更新和/或对数据显示的方式进行更新。此类用户输入的非限制性示例包括键盘输入、鼠标输入、数字笔输入、语音输入、手指触摸输入(例如，通过触敏显示器)、手势输入(例如，手移动、手指移动、手臂移动、任何其他肢体的移动、和/或身体移动)等。

信用数据通常是指由一个或多个信用局(例如，Experian、TransUnion和Equifax)收集和维护的用户数据，诸如影响消费者信用度的数据。信用数据可以包括交易或状态数据，包括但不限于，信用查询、抵押支付、贷款情况、银行帐户、日常交易、信用卡数量、公用事业支付等。根据实施方式(以及可能是存储和/或访问信用数据的区域的规章)，一些或全部信用数据可以服从例如基于美国的公平信用报告法(FCRA)规定和/或其他类似的联邦法规的限制向请求实体共享信用数据的规章要求。如本文所使用，“管制数据”通常是指作为此类受管制数据的示例的信用数据。然而，管制数据可以包括其他类型的数据，诸如HIPPA管制医疗数据。信用数据可以描述与用户关联的每一个用户数据项，例如帐户余额、帐户交易或用户数据项的任何组合。

信用文件和信用报告各自通常是指与用户关联的信用数据的集合，诸如可以提供给用户、提供已经被用户授权访问用户信用数据的请求实体、或者提供给没有用户授权时具有访问用户信用数据的许可目的(例如，在FCRA下)的请求实体。

信用事件(或“事件”)通常是指由机构(包括银行、信用卡提供商或其他金融机构)向一个或多个信用局和/或本文所讨论的信用数据系统报告的与事件关联的信息。信用事件可以包括例如与支付、购买、账单支付到期日、银行交易、信用查询和/或可以报告给信用局的任何其他事件关联的信息。典型地，一个信用事件与一个单个用户关联。例如，信用事件可以是特定交易，诸如关于购买特定产品(例如，目标，$12.53，杂货店等)的详情，或者信用事件可以是与信用额度关联的信息(例如，Citi信用卡，余额$458，最低支付$29，信用限额$1000等。一般来说，信用事件与一个或多个唯一标识关联，其中每个唯一标识包括与特定用户(例如，消费者)关联的一个或多个唯一标识符。例如，每个标识符可以包括用户的一条或多条PII，诸如用户名、物理地址、社会保险号码(“SSN”)、银行帐户标识符、电子邮件地址、电话号码、国家ID(例如，护照或驾驶执照)等的全部或某些部分。

反向PID指的是分配给特定用户的唯一标识符，以形成一对一关系。反向PID可以与用户的标识符关联，诸如特定的PII(例如，SSN“555-55-5555”)或标识符的组合(例如，名字“John Smith”和地址“100 Connecticut Ave”)，以形成一对多关系(在PID和关联于用户的标识符的多个组合中的每一个之间)。当事件数据包括与特定反向PID关联的标识符或标识符的组合时，特定反向PID可以与事件数据关联(本文称为“戳记”)。因此，系统可以基于事件数据中包括的用户标识符的多个组合，使用反向PID及其关联的标识信息来识别与特定用户关联的事件数据。

信用数据系统

在确定是否向用户贷款、是否允许用户开立帐户、是否向用户租借时，和/或在作出有关可能将信用价值作为因素的许多其他关系或交易的决策时，实体(诸如贷方、信用卡提供商、银行、汽车经销商、经纪人等)通常请求并考虑与用户关联的信用数据。请求信用数据(可以包括针对信用报告或信用分数的请求)的实体可以向信用局或信卡转售商提交信用查询。信用报告或信用分数可以至少基于分析和计算与用户的银行帐户、日常交易、信用卡数量、贷款情况等关联的信用数据来确定。此外，其他实体先前的查询也可以影响用户的信用报告或信用分数。

实体(例如，金融机构)还可能希望获取用户最新的信用数据(例如，信用分数和/或信用报告)，以便更好地决定是否向用户贷款。然而，在生成新的信用报告或信用分数时可能存在较大的延迟。在一些情况下，信用局可以每月只更新一次用户的信用报告或信用分数。如上所述，引起较大延迟的原因可能是信用局需要收集、分析和计算大量数据来生成信用报告或信用分数。从信用事件收集可能影响用户信用价值的信用数据(诸如用户的信用分数)的过程在本文中通常被称为“数据摄取”。信用数据系统可以使用系统到系统的横向数据流实现数据摄取，诸如通过使用批量ETL过程(例如，如上文简要讨论的)。

在ETL数据摄取系统中，与多个用户关联的信用事件可从不同的数据源传输到数据库(在线系统)，诸如一个或多个关系数据库。在线系统可以从不同数据源提取、转换和加载与不同用户关联的原始数据。然后，在线系统可以在第一关系数据库中跨多个表对原始数据进行规范化、编辑和写入。当在线系统将数据插入数据库时，它必须将信用数据与关于消费者的识别数据相匹配，以便将数据链接到正确的消费者记录。当新数据传入时，在线系统需要重复该过程并更新第一关系数据库中的多个表。因为传入数据(诸如名字、地址等)经常包含错误，不符合已建立的数据结构、不完整、和/或具有其他数据质量或完整性问题，所以新数据可能引发重新评估某些先前确定的数据链接。在这种情况下，在线系统可能将信用数据解除链接并将其重新链接到新的和/或历史消费者记录。

在一些情况下，应该从信用数据存储中排除某些事件数据，诸如如果在数据源提供的数据文件中检测到错误，或者信用数据系统软件中存在缺陷并且可能已经错误地处理了历史数据。例如，非智能信用数据系统以日期格式MM/DD/YYYY存储数据，它可能接受来自使用日期格式为DD/MM/YY的数据源的传入数据，这可能在用户的信用价值计算中引入错误。或者，这样的数据可能导致信用数据系统完全拒绝该数据，这可能导致用户的信用价值的计算不完整和/或不准确。更糟的是，在错误数据已经被信用数据系统消耗以度量用户的(虽然不准确)信用价值的情况下，信用数据系统可能需要解决的复杂情况是不仅要排除错误数据，而且要解除错误数据的所有影响。这些一旦失败可能使在线数据库处于不一致或不准确的状态。

这种增量处理逻辑使得数据摄取过程复杂、容易出错并且速度慢。在ETL实施方式中，在线系统可以向包括第二数据库的批处理系统发送数据。然后，批处理系统可以提取、转换和加载与用户的信用属性关联的数据，以生成信用分数和分析报告，用于促销和帐户检查目的。由于提取、转换和加载数据到批处理系统需花费时间，信用分数和分析报告可能滞后于在线系统数小时甚至数天。在更新用户识别数据的情况下，滞后的批处理系统可能继续反映陈旧并且潜在不准确的用户识别数据，使得传入的信用数据和用户数据之间的链接可能被破坏，从而提供不准确的信用数据，直到链接被纠正并传送到批处理系统。

改进的信用数据系统综述

本公开描述了旨在解决上述技术问题的速度更快且更有效的信用数据系统。信用数据系统可以顺序处理异构事件集合、同时创建信用状态和信用属性以供分析、执行批量索引过程、和/或通过合并信用状态和实时事件以实时创建信用简档，下面将进一步详细描述每个过程。

批量索引过程通过首先减少原始信用事件的维度、识别假正类、然后提供可与用户关联的完整的经验证的唯一标识集合来对唯一标识进行有效地“聚类”，从而可以更加有效地将信用事件大规模地关联到正确用户。通过以特定顺序使用本发明的过程组合，信用数据系统以幂次级的效率解决了有效地识别属于特定用户的信用事件的特定问题。另外，分配反向PID实现了新的更有效的数据配置，利用该数据配置，信用数据系统可以以幂次级更快的速度提供所请求的关于用户的信用数据。改进的信用数据系统可以基于与用户关联的最新信用事件来生成对该用户的活动和状态的各种分析(诸如信用报告)。

信用数据系统可以实现惰性数据解释，其中系统不改变来自多个数据源的异构传入数据，而是在不对数据执行ETL过程的情况下注释数据或对数据标记标签。通过仅在数据摄取附近执行最小处理，信用系统使数据摄取附近的软件规模和复杂度最小，从而大大减少了缺陷形成和缺陷管理的问题。另外，通过省去ETL处理并且以其原始异构形式保存数据，系统可以接受任何类型的数据而不丢失有价值的信息。域分类和域词汇注释提供了新的数据结构，其允许后期定位解释组件(诸如解析器)。后期定位解析器减少了系统的整体缺陷影响并且使解析器易于添加和适配，从而改进了现有系统。

虽然本文参考各种特征和优点讨论了信用数据系统或其他类似命名系统的一些实施例，但是任何所讨论的特征和优点可以在信用数据系统的附加限制中组合或分离。

图1A示出了本公开的示例性信用数据系统102，其可以由信用局或信用局的授权代理来实现。在图1A中，信用数据系统102接收与不同用户120A-120C关联的信用事件122A-122C。信用数据系统102可以包括诸如索引引擎104、识别引擎106、事件高速缓存引擎108、分类引擎110和/或信用数据存储112等组件。如将进一步详细描述的，信用数据系统102可以有效地将特定信用事件匹配到适当的相应用户。信用数据系统102可以将信用事件122A-122C、信用数据114、和/或不同用户与信用事件122A-122C或信用数据114之间的关联存储在信用数据存储112中，信用数据存储112可以是信用局的信用数据库。在一些实施例中，信用数据库可以跨多个数据库和/或多个信用数据存储112分布。因此，本文所讨论的信用数据摄取和存储过程、组件、体系结构等可用于替代大部分现有信用数据存储系统，诸如批处理系统。响应于从外部实体116(例如，金融机构、贷方、潜在土地持有者等)接收信用查询请求，信用数据系统102可以基于目标用户的更新的信用事件数据快速生成任何被请求的信用数据118(例如，特定交易、信用报告、信用分数、特定请求实体的定制信用属性等)。

另外，信用数据系统可以实现批量索引过程。引入批量索引过程可消除对来自不同信用事件的数据进行ETL以符合特定数据库或数据结构的需要，因此可减少或甚至消除与信用事件的ETL相关的瓶颈。如将在本申请中进一步详细描述的，批量索引过程利用了信用数据系统102的组件索引引擎104、识别引擎106、事件高速缓存引擎108、分类引擎110和/或信用数据存储112。索引引擎104可以将散列值分配给唯一标识(参照图4-10进一步详细描述)，以便于对类似的唯一标识进行“聚类”。识别引擎106可以应用匹配规则来解决与“聚类的”唯一标识有关的任何问题，从而生成仅包含与用户关联的经验证的唯一标识的子集。分类引擎110可以将子集合并成与同一用户关联的唯一标识的组。事件高速缓存引擎108可以生成反向个人标识符(“反向PID”)，并将组中的每个唯一标识与反向PID关联。信用数据系统102可以将反向PID与唯一标识之间的关联作为反向PID映射存储在信用数据存储112或任何其他可访问数据存储中。然后，使用反向PID映射，信用数据系统102可以为包含组中任何唯一标识的信用事件戳记用户关联的反向PID。信用数据系统102可以在平面文件或数据库中存储与属于用户的信用事件122A-122N相关的戳记关联140。将参照图4-10进一步详细描述每个组件及其内部工作。

异构信用事件的不变处理

图1B示出了根据一些实施例的异构信用事件的示例性生成、流程和存储。用户120与一个或多个商业实体124A-124N(诸如商家)进行交易。交易可以包括购买、销售、借用、贷款等，并且交易可以生成信用事件。例如，用户120使用信用卡贷款购买物品，生成信用交易数据，该信用交易数据被金融机构126A-126B(诸如VISA、MasterCard、American Express、银行、抵押贷款等)收集。金融机构126A-B可以将这些交易作为信用事件122A-122N与信用数据存储112共享。

每个信用事件122A-122N可以包含将信用事件122A-122N与生成信用事件122A-122N的特定用户120关联起来的一个或多个唯一标识。唯一标识可包括各种用户识别信息，诸如姓名(名字、中间名、姓氏和/或全名)、地址、社会保险号码(“SSN”)、银行帐户信息、电子邮件地址、电话号码、国家ID(护照或驾驶执照)等。唯一标识还可包括部分姓名、部分地址、部分电话号码、部分国家ID等。当金融机构126A-126B提供信用事件122A-122N供信用数据系统收集和分析时，通常可通过用户识别信息的组合将信用事件识别为与特定用户关联。例如，可能有多个人共享相同的名字和姓氏(考虑“James Smith”)，因此名字和姓氏可能过于包容其他用户的信用事件。然而，用户识别信息的组合，诸如全名加电话号码，可以实现满足需求的识别。虽然每个金融机构126可以提供不同格式的信用事件122A-122N，但是信用事件可能包括用户识别信息或用户识别信息的组合，其可以用于关联信用事件应该关联到哪个用户。这种用户识别信息或用户识别信息的组合形成用户的唯一标识。因此，多个唯一标识可以与特定用户关联。

信用数据系统可利用异构信用事件122A-122N工作，异构信用事件122A-122N具有不同的数据结构并且提供异构信用事件122A-122N带有的不同的唯一标识。例如，来自抵押金融机构的信用事件可以包括SSN和国家ID，而来自VISA的信用事件可以包括姓名和地址，但不包括SSN或国家ID。信用数据系统不是对信用事件122A-122N进行ETL使信用事件122A-122N标准化以用于存储在信用数据存储112中，而是可以执行批量索引过程(如后文参考图4-10详细描述的)，为可能与用户120关联的唯一标识集合产生反向PID。反向PID可以被分配给信用事件122A-122N。

如将进一步详细描述的，批量索引过程减少或消除了与异构格式ETL相关的巨大计算资源开销，显著降低了处理开销。另外，将反向PID分配给信用事件的有益效果在于，一旦将正确的反向PID分配给信用事件，信用数据系统120就不再需要基于信用事件所包含的唯一标识来管理信用事件。换句话说，一旦信用数据系统120已识别出与信用事件关联的用户，它就不再需要执行搜索操作在信用事件122A-122N中寻找唯一标识，而是简单地查找分配给信用事件122A-122N的用户的反向PID。例如，响应于从外部实体116(诸如金融机构、贷方、潜在土地持有者等)接收信用数据请求118，具有批量索引过程的信用数据系统可以使用用户的反向PID来快速编辑出用户120的信用事件列表，并且可以几乎即时地提供任何被请求的信用数据114。

顺序处理异构事件集合的示例

图2A-2B示出了异构事件集合的顺序处理的示例。信用数据系统可以通过高吞吐量摄取过程204从高吞吐量数据源202接收原始信用事件。然后，信用数据系统可以将原始信用事件存储在数据存储206中。信用数据系统可以对原始信用事件进行高吞吐量清洁过程208。然后，信用数据系统可以生成规范化清洁事件并将其存储在数据存储210中。信用数据系统可以进行高吞吐量标识解析和键戳记过程212。信用数据系统可以将带有键戳记的已识别事件存储在数据存储214中。然后，可在过程216中对已识别信用事件进行分类并将其存储在事件集合数据存储218中。

信用数据系统还可以在过程220中生成局视图。在过程220中，信用数据系统可在过程222将与用户关联的用户事件集合(数据存储214中的已识别事件，其已经可选地由分类过程216分类)从事件集合数据存储218加载到内存中。然后，系统可以计算属性224、对模型226评分、并生成嵌套的局视图228。然后，信用数据系统可以将属性计算存储在分析数据(列式)存储230中。分析数据可用于应用234中为用户生成信用分数。嵌套的局视图可以存储在信用状态(KV容器)数据存储232中。信用状态数据存储中的数据可以用于数据管理器应用过程236和信用查询服务238中。

在顺序处理期间，信用事件可以在被金融机构发送到信用数据系统时保持相同的状态。财务数据也可以保持不变。

同时创建信用状态和信用属性以供分析的示例

图3示出了用于同时创建信用状态和信用属性以供分析的示例性信用数据结构。数据结构300可以被虚拟地划分为三个交互层：批处理层302、服务层320和速度层340。在批处理层302中，高吞吐量数据源304可以通过高吞吐量摄取过程306向数据存储310发送原始信用事件。信用数据系统可以对原始信用事件进行修正和PID戳记312，并将修正的信用事件存储在数据存储314中。然后，信用数据系统可以预计算316与每个用户关联的修正的信用事件，以生成信用状态并将每个用户的信用状态存储在数据存储322中。信用数据系统可以将与每个用户关联的所有信用属性存储在数据存储324中。然后，与用户关联的信用属性可被各种信用应用326访问。

在速度层340中，各种高频数据源342可以通过高频摄取过程344向信用数据系统发送新信用事件。信用数据系统可以进行低延时修正过程348，然后将与各个用户关联的新信用事件存储在数据存储350中。与用户关联的新的信用事件可能引起用户的信用状态的改变。新信用状态可以存储在数据存储328中。然后，信用数据系统可以执行信用简档查找服务过程330来查找水印，从而找到存储的与用户关联的信用状态。在一些实施例中，事件高速缓存引擎被配置为允许将甚至还没有记录到用户的完整信用状态中的最近信用事件包括在提供给第三方请求者的信用属性中。例如，当事件数据被添加到信用数据存储(例如，可能花费数小时或甚至数天来完成)时，存储在新信用事件数据存储350中的事件可以存储最近的信用事件并且在接收到信用查询时被访问。因此，被求的报告/评分可以包括在接收到来自债权人的事件的几毫秒内的信用事件。

信用数据系统可以使用各种局应用332基于新信用状态来计算信用分数或为用户生成信用报告。另外，信用数据系统可以经由高频消息通道352向高频摄取过程344发送指令。新信用事件可以被高频摄取过程344再次发送到文件写入器过程346。然后，信用数据系统可以将新信用事件存储到事件批308中。然后，可以通过高吞吐量摄取过程306将新信用事件存储到数据存储310。

信用数据系统可以存储原始形式的信用事件、基于信用事件生成信用状态并为用户计算属性。当金融机构发送新信用事件、或者金融机构在现有的信用事件中检测到错误时，信用数据系统可以执行信用简档查找服务来改变信用状态或者将信用状态与实时事件合并。信用数据系统可以基于更新的信用状态生成更新的信用简档。

同时创建信用状态和信用属性可以监视用户信用状态改变，并在检测到改变时更新信用属性。用户信用状态的改变可以由新信用事件或在现有信用事件中检测到的错误引起。信用事件可以至少部分地保持相同，因为信用数据系统不提取、转换和加载数据到数据库中。如果信用数据系统后续检测到无效事件，则信用数据系统可以简单地从未来的创建中排除无效事件。因此，借助于信用数据系统，事件的实时报告可以在几分钟内反映在用户简档上。

批量索引过程的示例

图4示出了根据一些实施例的批量索引过程，其包括以下过程：标识剥离402、标识匹配410和标识戳记440。批量索引过程可以是用于对用户的不同唯一标识进行识别和分组的特别强大的过程(例如，来自VISA的带有过期的电话号码的信用事件可以与来自American Express的带有更新的电话号码的信用事件分为一组)。对不同标识进行分组的一个好处是用户的信用数据可以是准确且完整的。批量索引过程可以使信用数据系统更加有效且反应灵敏。

标识剥离过程402从信用事件中提取标识字段(例如，SSN、国家ID、电话号码、电子邮件等)。信用数据系统可以通过不同的金融机构(例如，信用卡提供商或贷方)和/或账户来划分404信用事件。然后，信用数据系统可以从划分的信用事件中提取406标识字段，而不修改信用事件。标识剥离过程402可以包括针对不同金融机构提供的每种不同信用事件格式的专门提取过程。在一些实施例中，标识剥离过程402可以进行去重过程406，以在生成与信用事件关联的唯一标识(可以是标识字段的组合)之前移除相同或基本相似的标识字段。该过程将参考图5进一步详细描述。

在标识匹配过程410中，信用数据系统可以执行减少标识剥离过程402中确定的唯一标识的维度的过程。例如，位置敏感散列412过程可以是这种过程。取决于散列过程的设计，位置敏感散列过程可基于原始散列键(例如，唯一标识408)的相似性来计算冲突概率增加或减少的散列值(例如，标识散列值414)。例如，设计良好的散列过程可采用不同但相似的唯一标识符，诸如“John Smith，1983/08/24，92833-2983”和“Jonathan Smith，1983/08/24，92833”(全名、生日和ZIP码)，并将不同但相似的唯一标识符摘要为相同的散列值。基于共享的公共散列值，两个唯一标识可能作为与用户关联的潜在匹配唯一标识被分组到一个集合中(基于散列的分组过程的细节将参考图6进一步详细描述)。

然而，因为散列函数可能导致非预期的冲突，所以基于散列值的集合可能包含假正类(例如，将与用户不关联的一些信用事件错误地关联到用户。例如，John的其中一个唯一标识与Jane的其中一个唯一标识具有相同的散列值，并且在散列值关联之后，可能被分组到与Jane关联的同一唯一标识集合中)。信用数据系统可以对唯一标识集合应用匹配规则应用416，以从集合中去除假正类唯一标识。可以设计各种匹配规则以优化检测到假正类的几率。示例性匹配规则可以是“仅国家ID的精确匹配”，其将从与用户关联的唯一标识集合中移除未存档国家ID的唯一标识。另一匹配规则可以是“姓名和ZIP码两者的最小匹配”，其中，可以基于姓名和ZIP码两者的匹配的计算分数与最小阈值分数相比较来确定最小。一旦将每个集合中的假正类去除，所得到的匹配标识子集418仅包含经验证的唯一标识。

在一些实施例中，可以考虑每个用户标识符的可信度来设计匹配规则。例如，来自车管局的驾驶执照号码可以关联高置信水平，并且可能仅需要检查驾驶执照号码来获得精确匹配。另一方面，ZIP码的置信水平较低。而且，匹配规则可以被设计成考虑特定记录关联的历史。如果记录来自历史较长的已建立的银行帐户，则匹配规则可能不需要应用严格审查。另一方面，如果记录来自新开设的帐户，则可能需要更严格的匹配规则来去除假正类(例如，识别集合中的可能与另一用户关联的记录)。该过程将参考图7进一步详细描述。匹配规则可以应用于一些或全部集合。类似地，可以将一些或所有匹配规则应用于一个集合。

然后，可以将唯一标识子集418与包含用户的其他唯一标识的其他子集合并。每个子集418仅包含用于正确识别用户的唯一标识。然而，由于维度减少过程可能引入假负类，不能确保子集418被摘要成相同的散列值。因此，与用户关联的某些唯一标识在基于散列值分组时可能将被放入不同的子集418中。通过集合合并420过程，当子集具有公共唯一标识时，信用数据系统可以将两个子集合为一个组(例如，匹配标识422)，该组包含与特定用户关联的所有唯一标识。

然后，信用数据系统可以将反向PID分配给合并的组中的每个唯一标识。然后，根据这些分配，信用数据系统可以创建424反向PID映射426，其中每个反向PID与该关联于特定用户的组中的多个唯一标识关联。该过程将参考图9进一步详细描述。

在示例性标识戳记过程440中，反向PID映射426可用于戳记划分的信用事件404以生成PID戳记信用事件430。在一些实施例中，反向PID戳记使与反向PID关联的信用事件保持不变。该过程将参考图10进一步详细描述。

标识剥离的示例

图5示出了根据一些实施例的标识剥离过程的示例。在一些实施例中，信用数据系统可以“修正”从各个金融机构接收的异构信用事件510(例如，e1、e2、e3、e4、e5、……)。“修正”可以被认为是修复明显质量问题的过程。例如，街道地址可以是“100Main Street”或“100Main St.”。信用数据系统可以识别出街道门牌号码和街道名称之间没有空格的明显质量问题，和/或修改“St.”以读为“Street”，反之亦然。修正过程可以智能地对一些识别出的质量问题进行修复，但并不对一些其他识别出的质量问题进行修复。例如，尽管上述的地址可能获得修正，但是修正用户姓名可能是不理想的。截断、替换或以其他方式修改用户姓名可能导致比整体保留信息更严重的问题。因此，在一些实施例中，信用数据系统可以选择性地修正信用事件502。

信用数据系统可以通过不同的金融机构和/或账户来划分信用事件504。信用数据系统可以提取406信用事件的标识字段，并且可以可选地进行去重过程以去除冗余标识字段。然后，信用数据系统可以基于所提取的标识字段来生成唯一标识。标识剥离过程从信用事件510开始并提取唯一标识512。在图5的示例中，信用事件e1、e2、e3、e4、e5、……510可能包含记录：r1、r2、r3、r4、……512。记录又可以包含一些或全部唯一标识。

图5描述标识剥离过程的有益效果。如果有4千万人，每人有20个账户，产生超过10年的信用事件(每个事件占用1000字节)，则存在大约96千兆字节的信用事件数据。另一方面，当存在相同数量的人且这些人具有相同数量的帐户时，信用事件的标识属性仅占用大约3.2千兆字节。如果可以利用剥离的唯一标识408(其包括信用事件数据的1/30)在信用事件和特定用户之间建立正确关联，则信用数据系统显著缩小了需要被分析以关联到特定用户的数据的范围。因此，信用数据系统已经显著减小了随后的标识匹配过程的计算开销。

标识匹配：位置敏感散列的示例

图6示出了根据一些实施例的使用散列算法来减少数据维度的示例性过程。包含来自标识剥离过程的唯一标识(r1-r16)的记录在行中列出，不同的散列函数(h1-hk)在列中列出。以行、列展示表格仅用于说明目的，并且该过程可以以任何合理适用的方法来实现。另外，图中的冲突率(即，对不同的记录应用散列函数产生相同的散列值)并不反映涉及真实信用事件时发生冲突的可能性。

多个散列函数(例如，h1 602，h5 604等)可应用于每个记录(例如，r1-r16)以生成散列值(例如，h1'606，h5'608，h1'610，h1"612等)。这里，每个行-列组合表示将列中的散列函数应用于行中的记录以生成该行-列组合的散列值。例如，散列函数h1 602应用于唯一标识r2 620产生散列值h1'610。

在一些实施例中，每个散列函数可以被设计成控制给定记录的冲突概率。例如，h1602可以是针对通过与具有相似名字的其他记录发生冲突来查找相似名字的散列函数。另一方面，h5 604可以是针对SSN的散列函数，其中冲突的可能性低于针对查找相似名字的散列函数h1。可以设计各种散列函数以更好地控制冲突可能性。所公开的信用数据系统的有益效果之一是其能够替换或补充各种散列函数。信用数据系统不需要特定类型的散列函数，而是允许用户(例如，数据工程师)简单地交互不同的散列函数进行实验和设计，以改进整个系统。这个优点可能是非常显著的。例如，当数据工程师想要将信用数据系统迁移到使用另一个字符集(比如中文或韩文)的另一个国家时，数据工程师可以将针对英文字母体系的散列函数替换为针对中文或韩文字符所得结果更好的散列函数。此外，在国家ID格式不同的情况下，诸如韩国的SSN使用12位数字而美国SSN使用9位数字，可以用更适合12位数字的散列函数代替9位散列函数。

虽然图6示出了未修改的记录r1-r16，但是一些实施例可以预处理记录以得到更适合于给定散列函数的修改的记录。例如，记录中的名字可以与记录中的姓氏串接形成临时记录，供专用于这种修改的记录的散列函数使用。另一个示例可以是在应用散列函数之前将9位SSN号码截断到最后4位。类似地，用户可以修改记录以更好地控制冲突可能性和结果。

图6示出了生成两个不同散列值h1'606、610以及h1"612的散列函数h1。记录{r1,r2,r3,r4,和r5}与散列值h1'606关联，而记录{r12,r13,r14,r15,和r16}与散列值h1"612关联。基于与特定散列值的关联，可以将记录分组成集合。例如，该图示出了包含相关记录的散列值h1'组630和散列值h1"组632。类似地，图6基于与记录关联的公共散列值来识别并表示共六组记录。如针对记录r1示出的散列值h1'606和h5'608，每个记录可以与多个散列值关联，每个散列值对应每个散列函数。

如参考图4所描述的，具有公共散列值的记录可以被分组(“聚类”)进入一个集合。例如，记录{r1,r2,r3,r4,r5}共享公共散列值h1'，被分组进入集合630。类似地，记录{r2,r7,r15}共享公共散列值h4'，被分组进入集合632。如两组所示，一些记录(例如r2)可以被分组进入多个集合，而一些记录被分组进入一个集合。

这种基于散列值的分组可以是一个超快速的分组过程，其不需要很多计算资源来执行。散列函数的操作复杂度低，并且可以在较短的时间内计算大量数据的散列值。通过将相似的记录分组在一起成为集合，识别哪些记录与特定用户关联的过程被大大简化。在某种意义上，所有需要与用户关联的信用事件的范围已经被缩小到仅为集合中的记录。

然而，如参考图4简要提及的，使用散列函数和结果散列值来对记录进行分组可能不是理想的，因为它可能包含假正类。在一些实施例中，结果集合可以携带“潜在匹配”，但是这些集合可能包含还没有被严格验证与用户关联的记录。例如，具有特定散列值h1'的记录集合630，即{r1,r2,r3,r4,r5}，可能包含这样的记录，这些记录不是由于具有类似的唯一标识而是由于具有公共散列值而被包含在集合630中。

信用数据系统于是使用严格的标识解析过程(“匹配规则应用”)将这种假正类从每个集合中移除。

标识匹配：匹配规则的示例

图7示出了根据一些实施例的标识解析过程的示例。在参照图6描述的分组过程之后，信用数据系统可以将一个或多个标识解析规则(“匹配规则”)应用于记录集合以从集合中移除假正类记录。可以设计各种匹配规则以优化检测到假正类的可能性。示例性匹配规则可以是“仅国家ID的精确匹配”，其将从与用户关联的潜在匹配记录集合中移除诸如由于具有相同散列值而被分配给同一集合、但是通过匹配规则检查时发现具有不同国家ID的记录。匹配规则可以基于精确匹配或相似匹配。例如，匹配规则还可以包括“国家ID的完全匹配、国家ID和姓氏的最小匹配、国家ID的完全匹配和姓氏的相似匹配”。

在一些实施例中，匹配规则可以计算一个或多个置信度分数并与一个或多个关联的阈值进行比较。例如，匹配规则“姓名和ZIP码两者的最小匹配”可以具有确定最小匹配的阈值分数，并且该匹配规则可以抛除计算分数低于阈值的记录。匹配规则可以检查记录的标识符(例如，姓名、国家ID、年龄、生日等)、格式、长度或记录的其他特性和/或属性。一些示例包括：

·内容：除非国家ID精确匹配，否则拒绝。

·内容：如果存在国家ID的最小匹配且存在姓氏的最小匹配，接受。

·内容：如果存在国家ID的精确匹配且存在姓氏的相似匹配，接受。

·格式：如果用户识别信息(例如SSN)不包含9位数字，拒绝。

·长度：如果用户识别信息与相关联的存档用户识别信息的长度不匹配，拒绝。

·内容、格式和长度：如果驾驶执照不是以“CA”开头且后跟X位数字，拒绝。

匹配规则也可以是这些标准的任何其他组合。

在应用匹配规则之后得到的结果子集418与原始集合相比包含相同或较少的记录。图7示出了图6的散列值分组过程之后的原始集合(例如702和704)以及在应用匹配规则之后的结果子集(例如712和714)。例如，以它们各自的顺序，与h1'、h2'、h3'、h4'、h1"、h2'关联的集合最初分别包含5、6、4、3、5和3个记录。在应用匹配规则之后，结果子集分别包含3、3、2、2、2和2个记录，所有这些记录先前都包含在原始集合中。使用匹配规则提高了所有剩余记录是与用户关联的置信度。

标识匹配：集合合并的示例

图8示出了根据一些实施例的示例性集合合并过程。如关于现有系统所讨论的，用户有时改变他们的个人可识别信息。提供了一个示例，用户可能尚未更新其与抵押人关联的电话号码。如果用户在信用卡提供商(诸如VISA)处更新了他的电话号码，由抵押人和VISA报告的信用事件将包含不同的电话号码，而其他信息是相同的。这种不规则性对数据分析人员提出了独特的挑战，因为尽管两个信用事件都应该与特定用户关联，但是关联的唯一标识可能不同，因此散列函数可能不会将它们分组到同一集合中。当包含唯一标识的记录没有被分组到同一集合中时，匹配规则就不能修复假负类(记录本应该已经被放入同一集合中，但是没有)。因此，需要识别由同一用户生成的这种不规则记录并将这些记录正确地关联到用户。集合合并过程提供了有效解决该问题的解决方案。

在图7的匹配过程之后，每个结果子集包含能够以高置信度与用户关联的记录。在图8中，有6个这样的子集。第一子集802包含{r1,r3,r5}，第二子集804包含{r3,r5,r15}。这两个子集可能已经成为单独的子集，因为所有的散列函数都没有产生公共散列值。

对第一子集和第二子集进行进一步检查，发现两个子集都包含至少一个公共记录r3。因为每个子集与唯一用户关联，所以同一子集中的所有记录也可以与同一唯一用户关联。依据逻辑，如果与唯一用户关联的两个不同子集中存在至少一个公共记录，则这两个不同子集应当都与该唯一用户关联，并且这两个不同子集可以被合并到一个组中，该组包含这两个子集中的所有记录。因此，基于公共记录r3，第一子集802和第二子集804被组合以在集合合并过程之后产生包含两个子集的记录(即，{r1,r3,r5,r15}的扩展组。类似地，基于公共记录r15，包含{r2,r15}的另一个子集808可以被合并到该扩展组中，以形成包含{r1,r2,r3,r5,r15}的另一个扩展组820。类似地，基于其他子集806和810，可以形成包含{r10,r12,r16}的另一个组822。集合合并过程完成后，所有结果组的记录将是彼此互斥的。每个合并的组可以包含所有包含与用户关联的唯一标识的记录。

示例性集合合并过程

上述集合合并可以使用各种方法。当大量记录的数量为数百万甚至数十亿时，合并集合的速度就可能是非常重要的。这里，描述了一种有效的分组方法。

分组算法首先将每个集合简化为2阶关系(即，对)。然后，该算法通过最左边的记录对2阶关系进行分组。然后，该算法反转或旋转2阶关系以产生附加的对。然后，该算法再次通过最左边的记录对2阶关系进行分组。类似地，该算法重复这些过程，直到所有子集被合并到最终组中。每个最终组可以与一个用户关联。

为了说明的目的，图7中的子集在匹配规则之后被实施该算法。这些子集是：

{r1,r3,r5}，{r3,r5,r15}，{r10,r12}，{r2,r15}，{r12,r16}，以及{r1,r3}。

从子集开始，从子集生成记录对(即，将每个组简化为2阶关系)。例如，包含{r1,r3,r5}的第一子集可以生成对：

(r1,r3)

(r3,r5)

(r1,r5)

包含{r3,r5,r15}的第二子集可以生成对：

(r3,r5)

(r5,r15)

(r3,r15)

包含{r10,r12}的第三子集可以生成对：

(r10,r12)

包含{r2,r15}的第四子集可以生成对：

(r2,r15)

包含{r12,r16}的第五子集可以生成对：

(r12,r16)

包含{r1,r3}的第六子集可以生成对：

(r1,r3)

示例性合并过程可以列出所有的对。由于重复项不包含任何附加信息，因此已移除重复项：

(r1,r3)

(r3,r5)

(r1,r5)

(r5,r15)

(r3,r15)

(r10,r12)

(r2,r15)

(r12,r16)

旋转或反转每个对：

(r1,r3)

(r3,r1)

(r3,r5)

(r5,r3)

(r1,r5)

(r5,r1)

(r5,r15)

(r15,r5)

(r3,r15)

(r15,r3)

(r10,r12)

(r12,r10)

(r2,r15)

(r15,r2)

(r12,r16)

(r16,r12)

按第一个记录分组，其中第一个记录在各对之间是公共的：

{r1,r3,r5}

{r3,r1,r5,r15}

{r5,r3,r1,r15}-重复

{r15,r5,r3,r2}

{r10,r12}

{r12,r10,r16}

{r2,r15}

{r16,r12}

另一轮的生成对。重复项未示出：

(r1,r3)

(r3,r5)

(r1,r5)

(r3,r15)

(r1,r15)

(r5,r15)

(r15,r5)

(r15,r3)

(r15,r2)

(r5,r2)

(r3,r2)

(r10,r12)

(r12,r10)

(r12,r16)

(r10,r16)

(r2,r15)

(r16,r12)

旋转或反转每个对：重复项未示出：

(r1,r3)

(r3,r5)

(r1,r5)

(r3,r15)

(r1,r15)

(r15,r1)

(r5,r15)

(r5,r3)

(r5,r1)

(r3,r1)

(r15,r5)

(r15,r3)

(r15,r2)

(r5,r2)

(r2,r5)

(r3,r2)

(r2,r3)

(r10,r12)

(r12,r10)

(r12,r16)

(r10,r16)

(r16,r10)

(r2,r15)

(r16,r12)

按最左边的记录分组，其中第一个记录在各对之间是公共的：

{r1,r3,r5,r15}

{r2,r3,r5,r15}

{r3,r1,r2,r5,r15}

{r5,r1,r2,r3,r15}-重复

{r10,r12,r16}

{r12,r10,r16}-重复

{r15,r1,r2,r3,r5}-重复

{r16,r10,r12}-重复

另一轮的生成对。重复项未示出：

(r1,r3)

(r1,r5)

(r1,r15)

(r2,r3)

(r2,r5)

(r2,r15)

(r3,r5)

(r3,r15)

(r5,r15)

(r1,r2)

(r2,r1)

(r10,r12)

(r10,r16)

(r12,r16)

旋转或反转每个对。重复项未示出：

(r1,r3)

(r3,r1)

(r1,r5)

(r5,r1)

(r1,r15)

(r16,r1)

(r2,r3)

(r3,r2)

(r2,r5)

(r5,r2)

(r2,r15)

(r15,r2)

(r3,r5)

(r5,r3)

(r3,r15)

(r15,r3)

(r5,r15)

(r15,r5)

(r1,r2)

(r2,r1)

(r10,r12)

(r12,r10)

(r10,r16)

(r16,r10)

(r12,r16)

(r16,r12)

按最左边的记录分组，其中第一个记录在各对之间是公共的：

{r1,r2,r3,r5,r15}

{r3,r1,r2,r5,r15}-重复

{r5,r1,r2,r3,r15}-重复

{r10,r12,r16}

{r12,r10,r16}-重复

{r16,r10,r12}-重复

通过重复示例性过程：(1)创建对，(2)旋转或反转每个对，(3)通过最左边的记录分组，子集合并到图8所示的结果组中，它们是{r1,r2,r3,r5,r15}，和{r10,r12,r16}。

创建事件的反向PID和标识戳记的示例

图9示出了根据一些实施例的将反向PID与标识符关联的示例性过程。对于与一个用户关联的每个最终组，信用数据系统可以分配反向PID。反向PID可以由信用数据系统按顺序产生。图9提供了两个最终组，第一组902包含{r1,r2,r3,r5,r15}，第二组904包含{r10,r12,r16}。为第一组分配反向PID p1，而为第二组分配反向PID p2。每个反向PID与被分配的组内包含的所有记录关联。

信用数据系统可以创建反向PID映射426，其包含记录与反向PID之间的关联。反向PID映射426可以作为平面文件存储或存储在结构化数据库中。一旦生成了反向PID映射，信用数据系统可以递增地更新映射426。如参照图8所述，每个组表示与特定用户关联的所有记录(以及包含在记录内的唯一标识)的集合。因此，每当两个记录具有相同的反向PID时，信用数据系统可以确定这些记录与特定用户关联，而不管记录中存在差异。反向PID可用于戳记信用事件。

图10示出了标识戳记过程的示例。信用数据过程可以访问按贷方和/或账户划分的事件404以及反向PID映射426，并将其作为输入提供给戳记过程428，以基于包含在关联记录内的一个或多个唯一标识来生成PID戳记事件430。戳记的信用事件430可以存储在数据存储中。

从散列函数将相似记录分组为潜在匹配到合并集合到为信用事件戳记反向PID，信用数据系统最大程度地进行分组。分组用于缩小所分析的信用事件的范围，并用于未来快速访问信用事件。通过使用智能分组而不是进行大计算量的搜索，信用数据系统改进了几个数量级。例如，使用反向PID检索与用户关联的信用事件并生成信用报告在效率方面提高了100倍。

为了便于公开，图11A-11D示出了带有具体数据的图6-图8的示例性标识匹配过程。图11A提供了使用散列算法减少数据维度的示例性过程，应用于表格形式的具体值。图11A中表格的最左边的记录列11102列出了包含在信用事件内的记录r1-r16。例如，记录r1可以是{“John Smith”，“111-22-3443”，“06/10/1970”，“100 Connecticut Ave”，“Washington DC”，“20036”}，记录r2可以是{“Jonah Smith”，“221-11-4343”，“06/10/1984”，“100 Connecticut Ave”，“YourTown DC”，“20036”}，等等。

这些记录包含用户识别信息(例如，记录r1 654包含用户识别信息“John Smith”(姓名)，“111-22-3443”(SSN)，“06/10/1970”(生日)，“100 Connecticut Ave”(街道地址)，“YourTown DC”(城市和州)，“20036”(ZIP码)。从信用事件中提取用户识别信息(图4，406)，并且可选地进行去重。用户识别信息可以单独地或组合地提供唯一标识，该唯一标识可以将记录和关联的信用事件关联到特定用户。如图所示，记录可以包括唯一标识。

各种金融机构可以提供或多或少的不同的用户识别信息。例如，VISA仅可以提供名字和姓氏(例如，参见r1)，而American Express可以提供除名字和姓氏之外的中间名(例如，参见r15)。一些金融机构可以提供总体缺少一个或多个用户识别信息的信用事件，诸如不提供驾驶执照号码(例如，r1-r16不包括驾驶执照号码)。

尽管没有对记录可以应用多少散列函数进行限制，但是图11A示出了三个示例性散列函数h1 11104，h2 11106和h3 11108。如上所述，每个散列函数可被设计成针对(即，增加或减少冲突率)不同个人标识符或个人标识符的组合。另外，尽管不是必需的，个人标识符可以被预处理以生成散列键，以便于达到每个散列函数的目的。例如，散列函数h1 11104使用预处理散列键“SSN数字、用户姓氏、出生月、出生日的和”。记录r1可以被预处理以提供散列键“21Smith0610”。使用h1 11104的预处理，记录r2、r3、r4和r5也将提供相同的散列键“21Smith0610”。然而，对于散列函数h1 11104，记录r14将提供不同的散列键“47Smith0610”。不同的散列键可能得到不同的散列值。例如，r1、r2、r3、r4和r5的相同散列键21Smith0610”得到“KN00NKL”，而散列键“47Smith0610”得到一些其他的散列值。因此，根据散列函数h1 11104，共享相同散列值“KN00NKL”的记录(即r1、r2、r3、r4和r5)作为潜在匹配而分组。

散列函数h2 11106使用不同的预处理，即“SSN、出生月、出生日”。记录r3、r5和r15根据h2 11106的预处理产生散列键“111-22-34340610”。使用散列函数h2 11106，散列键计算为“VB556NB”。然而，散列函数可能导致非预期的冲突(换言之，假正类)。非预期冲突导致潜在匹配集合中存在非预期记录。例如，根据散列函数h2 11106的预处理，记录r14得到散列键“766-87-16420610”，其与r3、r5和r15关联的散列键“111-22-34340610”不同，但是仍然被计算为相同的散列值“VB556NB”。因此，当基于共享散列函数生成的相同散列值来关联记录时，属于某个用户的潜在记录集合可能无意中包括属于不同用户的记录。如上所述，并且还将用图7B中的具体样例来说明，匹配规则可以帮助解析每个集合中的假正类记录的标识。

每个散列函数可以产生多于一个的潜在匹配记录集合。例如，图11A示出了散列函数计算出两个散列值集合“VB556NB”和“NH1772TT”。每个散列值集合是一个潜在匹配记录集合。根据该示例，散列函数h2 11106产生散列值“VB556NB”，其具有潜在匹配记录集合{r3,r5,r14,r16}，以及散列值“NH1772TT”，具有潜在匹配记录集合{r8,r9,r10,r12}。

图11B示出了根据公共散列值的潜在匹配记录集合11202、11204、11206、11208。基于图11A，与散列值“KN00NKL”关联的潜在匹配记录集合11202包括{r1,r2,r3,r4,r5}。类似地，与散列值“VB556NB”关联的潜在匹配记录集合11204包括{r3,r5,r14,r16}。与散列值"NH1772TT"关联的潜在匹配记录集合11206包括{r8,r9,r10,r12}。类似地，与散列值“BBGT77TG”关联的潜在匹配记录集合11208包括{r12,r13,r14,r15,r16}。

每个集合可能包括假正类。例如，尽管与散列值“VB556NB”关联的潜在匹配记录集合11202包括{r1,r2,r3,r4,r5}，但是r2和r4似乎不属于应该与John(Frederick)Smith关联的记录集合，因为r2具有不同的“SSN和出生年”，并且r4具有不同的“名字、SSN、出生年、地址、城市、州和ZIP码”。确定r1、r3或r5是否为假正类是比较困难的，因为SSN和出生年份仅有微小的变化(SSN中两位数颠倒或出生年份仅相差一年)。因此，记录r2和r4可能是假正类，而r1、r3、r5是真正类。类似地，其他集合可能包含真正类和假正类。

图11C示出了应用一个或多个匹配规则解析图11B中的集合中的标识(即，去除此类假正类)。参考图7公开了各种匹配规则。例如，应用一个这样的规则“姓氏精确匹配，SSN中至多两位颠倒并且出生年相差少于2年”可以成功地从集合11302中移除可能的假正类，从而提供仅包含{r1,r3,r5}的子集。在一些实施例中，集合中的记录可能与用户的存档数据(例如，经验证的用户识别信息)进行比较。在一些实施例中，集合中的记录本身可以相互比较以首先确定极可能是真正类的个人标识符，然后针对所确定的个人标识符应用匹配规则。

在一些实施例中，匹配规则可计算置信度分数并与阈值进行比较以接受或拒绝集合中的记录。例如，具有散列值“VB556NB”的集合11304可以使用计算姓名的字符匹配分数的规则。记录r14具有全名“Eric Frederick”，其在集合11304中的其他记录中最佳匹配“John Frederick Smith”和/或“John Smith Frederick”的18个字符中的9个字符。因此，可计算出分数为50％并将其与最小匹配阈值例如70％进行比较，则信用数据系统可从集合11304中拒绝r14。可以设计其他匹配规则并将其应用于集合11302、11304、11306、11308以移除被拒绝的记录并生成子集。在一些实施例中，这些匹配规则中的一些或全部可以应用于不同的集合11302、11304、11306、11308。图11C示出了包含{r1,r3,r5}、{r3,r5,r15}、{r10,r12}和{r12,r16}的子集。

图11D示出了对图11C中识别的子集11302、11304、11306、11308应用集合合并规则，从而提供合并的组11402、11404。图11C中的每个子集11302、11304、11306、11308包含可以以高置信度与用户关联的记录。在应用匹配规则之后，图11C提供4个这样的子集。第一子集11302包含{r1,r3,r5}，第二子集11304包含{r3,r5,r15}。

对第一子集和第二子集进行进一步检查，发现两个子集都包含至少一个公共记录r3。因为每个子集与唯一用户关联，所以同一子集中的所有记录也可以与同一唯一用户关联。依据逻辑，如果与唯一用户关联的两个不同子集中存在至少一个公共记录，则这两个不同子集应当都与该唯一用户关联，并且这两个不同子集可以被合并到一个组中，该组包含这两个子集中的所有记录。因此，基于公共记录r3，第一子集11302和第二子集11304被组合以在集合合并过程之后产生包含两个子集的记录(即，{r1,r3,r5,r15}的组11402。类似地，基于其他子集11306和11308，可以形成包含{r10,r12,r16}的另一个组11404。集合合并过程完成后，所有结果组的记录将是彼此互斥的。每个合并的组可以包含所有包含与用户关联的唯一标识的记录。

当将关于图8描述的算法应用于原始子集时：

{r1,r3,r5}，{r3,r5,r15}，{r10,r12}，以及{r12,r16}

从子集开始，从子集生成记录对(即，将每个组简化为2阶关系)。例如，包含{r3,r5,r15}的第一子集可以生成对：

(r1,r3)

(r1,r5)

(r3,r5)

包含{r3,r5,r15}的第二子集可以生成对：

(r3,r5)

(r3,r15)

(r5,r15)

包含{r10,r12}的第三子集可以生成对：

(r10,r12)

包含{r12,r16}的第四子集可以生成对：

(r12,r16)

示例性合并过程可以列出所有的对。由于重复项不包含任何附加信息，因此已移除重复项：

(r1,r3)

(r1,r5)

(r3,r5)

(r3,r15)

(r5,r15)

(r10,r12)

(r12,r16)

旋转或反转每个对：

(r1,r3)

(r3,r1)

(r1,r5)

(r5,r1)

(r3,r5)

(r5,r3)

(r3,r15)

(r15,r3)

(r5,r15)

(r15,r5)

(r10,r12)

(r12,r10)

(r12,r16)

(r16,r12)

按第一个记录分组，其中第一个记录在各对之间是公共的：

{r1,r3,r5}

{r3,r1,r5,r15}

{r5,r1,r3,r15}

{r10,r12}

{r12,r10,r16}

{r15,r3,r5}

{r16,r12}

另一轮的生成对。重复项未示出：

(r3,r1)

(r3,r5)

(r3,r15)

(r1,r5)

(r1,r15)

(r5,r15)

(r10,r12)

(r16,r12)

(r10,r16)

旋转或反转每个对：重复项未示出：

(r3,r1)

(r1,r3)

(r3,r5)

(r5,r3)

(r3,r15)

(r15,r3)

(r1,r5)

(r5,r1)

(r1,r15)

(r15,r1)

(r5,r15)

(r15,r5)

(r10,r12)

(r12,r10)

(r16,r12)

(r12,r16)

(r10,r16)

(r16,r10)

按最左边的记录分组，其中第一个记录在各对之间是公共的：

{r1,r3,r5,r15}

{r3,r1,r5,r15}-重复

{r5,r1,r3,r15}-重复

{r10,r12,r16}

{r12,r10,r16}-重复

{r15,r1,r3,r5}-重复

{r16,r12,r10}-重复

在应用集合合并算法之后，两个组{r1,r3,r5,r15}和{r10,r12,r16}各自剩余包含彼此互斥的记录。

图12是用于高效组织大规模异构数据的说明性方法的流程图1200。所示方法由计算系统实现，该计算系统可以是信用数据系统。方法1200开始于框1202，其中计算系统从一个或多个数据源接收多个事件信息。事件信息数据源可以是金融机构。在一些实施例中，事件信息可以具有来自同一金融机构和/或跨多个金融机构的事件信息之间的异构数据结构。事件信息包含至少一个个人可识别信息(“标识字段”或“标识符”)，其将事件信息关联到与生成信用事件的账户关联的账户持有者。例如，信用事件信息(或简称“信用事件”)可包含将信用事件关联到执行信用交易而生成信用事件的特定用户的一个或多个标识字段。

计算机系统可以通过直接访问存储有来自数据源的已存在事件信息的存储设备或数据存储来访问多个事件信息，或者可以通过网络实时获取事件信息。

在框1204，计算机系统可提取事件信息中包括的帐户持有者的标识字段。标识字段提取可以涉及格式化、变换、匹配、语法解析等。标识字段可以包括SSN、姓名、地址、ZIP码、电话号码、电子邮件地址、或者可以单独地或组合地用于将事件信息归属于帐户持有者的任何东西。例如，姓名和地址可能足以识别帐户持有者。SSN也可用于识别帐户持有者。如果事件信息的数量为数十亿并且是从使用异构格式的许多数据源接收的，一些帐户可能不提供某些标识字段，并且一些标识字段可能包含误输入或错误信息。因此，当处理大量事件信息时，考虑标识字段的组合是非常重要的。例如，仅依据SSN来区分帐户持有者可能在SSN误输入时会导致错误识别关联的帐户持有者。通过依据其他可用的标识字段，诸如姓名和地址，智能计算机系统可以正确地将事件信息归属于同一用户。标识字段的组合可以形成用于将事件信息归属于与事件关联的用户的唯一标识。

在框1206，计算机系统可选地对唯一标识进行去重以移除相同的唯一标识。例如，一个事件信息在被提取时可以提供“John Smith”、“555-55-5555”(SSN)、“jsmith@email.com”(电子邮件)以及“333-3333-3333”电话号码。另一个事件信息也可以提供“JohnSmith”、“555-55-5555”(SSN)、“jsmith@email.com”(电子邮件)以及“333-3333-3333”电话号码。两个事件信息的唯一标识是相同的，因此可以被去重。由于唯一标识中的一个被移除，所以在框1208处仅对不重复的唯一标识进行操作。

在框1208，计算机系统可以用多个维度减少过程来减少唯一标识的维度。该框的目标是基于唯一标识中包含的一些相似性来“聚类”唯一标识。可用于基于所包含的相似性来减少唯一标识的维度的示例性过程可以是位置敏感散列函数。计算机系统可以提供多个这样的维度减少过程，每个过程针对唯一标识包含的相似性的一个方面，以提供相似(并且可能归属于特定用户)唯一标识的多个“聚类”。当使用位置敏感散列函数时，唯一标识与散列值关联，其中，应用的每个散列函数为给定的唯一标识生成散列值。因此，每个唯一标识可以与每个散列函数的散列值关联。

在框1210，计算机系统至少部分地基于维度减少函数的具有共同值的结果，将唯一标识分组成集合。分组成集合在图6中以抽象层面详细描述并且在图11B中使用具体样本值详细描述。如关于图6和图11B所描述的，结果集合包含潜在匹配并且还可能包含假正类。

在框1212处，计算机系统针对每个唯一标识集合应用一个或多个具有移除假正类的标准的匹配规则。在应用匹配规则移除假正类之后，集合在应用匹配规则之前可以成为它们先前集合的子集，仅包括经验证的唯一标识。

在框1214，计算机系统合并子集以得到唯一标识组。集合合并过程包括识别子集中的公共唯一标识，并且当计算机系统找到至少一个公共唯一标识时，合并包含该公共唯一标识的子集。集合合并在图8中以抽象层面详细描述并且在图11D中使用具体样本值详细描述。此外，上文公开了集合合并的有效方法的示例。在集合合并之后，合并的组包括彼此互斥的唯一标识。

在框1216，计算机系统为每个组提供唯一的反向PID。在某种意义上，该过程认识到每个组代表唯一的帐户持有者。在框1218，计算机系统将为每个组提供的反向PID分配给包含在每个关联的组内的所有唯一标识。在某种意义上，该过程认识到，在事件信息中找到的每个唯一标识符可以将事件信息识别为属于与反向PID关联的特定帐户持有者。

在框1220处，计算机系统检查事件信息以找到唯一标识符，并且当唯一标识符被找到时，用与该唯一标识符关联的反向PID来戳记该事件信息。

异构数据集合(HDC)的摄取和消耗

当系统收集和分析大量异构数据时，可能存在一些传入数据包含或引起“缺陷”。缺陷可以广义地定义为导致软件修改或数据转换的任何因素。例如，报告信用事件的一些金融机构可以提供非标准化数据，需要大量ETL处理作为数据摄取的一部分。在ETL的过程中，可能会引入一些缺陷。一个示例可以是电话号码使用“(###)###-####”格式，而没有使用“###.###.####”格式。另一个示例是欧洲日期格式对比美国日期格式。又一示例可以是由于采用夏令时而引入的缺陷。因此，这些缺陷可能由于ETL过程中的软件错误或缺乏设计普遍性而被引入。有时，人为错误也可能是导致某些格式缺陷的因素。因此，现有系统没有充分的准备解决缺陷的形成和处理，存在改进空间。

现有数据整合方法，诸如数据仓库和数据集市，试图从传入数据中提取有意义的数据项并将它们转换成标准化的目标数据结构。通常，随着提供异构数据的数据源的数量增长，对数量不断增长的异构数据集合进行转换或以其他方式进行处理所需的软件和工程工作的规模和复杂度也在增长。这种系统需求和人性需求可能增长到一个程度，使修改现有系统和维护所修改系统的边际努力可能造成更多缺陷。例如，合并新数据源和格式可能需要修改现有系统的数据结构，这有时可能需要将现有数据从旧数据格式转换为新数据格式。转换过程会引入新的缺陷。如果长时间存在而未被注意到，则必须花费大量的工作和成本通过进一步的软件修改和数据转换来消除缺陷的影响。讽刺的是，这种软件修改和数据转换可能导致缺陷。

本文描述的信用数据系统通过实现可称为数据的“惰性解释”来解决缺陷管理问题，这将在下面参考图13A-13C的缺陷模型进一步详细描述。

缺陷模型

图13A是一般缺陷模型13100，其示出了当数据跨多个系统状态从数据摄取流向数据消耗(即，从左到右)时与数据关联的缺陷概率。系统可以具有关联的“缺陷表面”13102，其可被定义为给定软件组件基于其功能范围和设计复杂度具有缺陷的概率分布。缺陷表面13102的高度可以反映功能范围与设计复杂度结合的缺陷概率P(D)。换句话说，在软件的功能范围和设计复杂度较高时，缺陷表面13102的高度将较高。在软件的功能范围和设计复杂度较低时，缺陷表面13102的高度将较低。缺陷表面13102大部分是平坦的，表明软件的功能范围和设计复杂度在状态之间不改变。

图13A还示出了“缺陷杠杆作用”的相关概念。缺陷杠杆作用可定义为下游软件组件可能受到给定缺陷影响的量(或距离)。数据摄取附近的缺陷13104距离下游较远，因此其缺陷杠杆作用比数据消耗附近的缺陷13106更大。根据缺陷概率和缺陷杠杆作用，可以计算缺陷力矩，其可以被定义为：

缺陷力矩＝缺陷概率*缺陷杠杆作用。

缺陷力矩可以理解为缺陷可能对系统的影响。缺陷力矩的积分和可以量化系统的缺陷量的期望值。因此，希望使缺陷力矩的和最小化。

图13B示出了使用ETL过程的系统的缺陷表面模型13200。重构、转换和标准化(所有这些都可以是ETL过程的一部分)是在早期数据摄取时实现的。而且，为了协助ETL过程，解释也在早期摄取时进行。理解收集作为分析和报告的一部分在数据流的末端进行，接近数据消耗。

如上所述，当处理异构数据源时，ETL过程的复杂度会增加。因此，图13B示出了在数据摄取附近较高(指示较高的功能范围和软件复杂度)而在数据消耗附近较低的缺陷表面13202。系统在缺陷杠杆作用最高处(接近数据摄取)表现出最高缺陷表面13202，并且在缺陷杠杆作用最低处(接近数据消耗)表现出最低缺陷表面13202。

当考虑缺陷力矩时，这种类型的从高到低的缺陷表面13202会引起问题。缺陷力矩被定义为缺陷概率和缺陷杠杆作用的乘积，其中缺陷力矩的积分和量化系统的缺陷量的期望值。在该现有系统中，因为高值与高值相乘，低值与低值相乘，所以乘积的积分和可能相当大。因此，缺陷量的期望值可能相当大。

图13C示出了信用数据系统的缺陷表面模型。与现有系统相反，信用数据系统不执行ETL过程(例如，重构、转换、标准化、记录等)，但它的处理过程可被限制在验证、修正(例如，执行质量控制)和匹配/链接传入数据。验证、修正和匹配/链接过程不像ETL过程的软件组件那样复杂，并且缺陷概率较低。因此，图13C示出了信用数据系统的缺陷表面13302在数据摄取附近较低而在数据消耗附近较高。相应地，系统在缺陷杠杆作用最高处(接近数据摄取)表现出最低缺陷表面13202，并且在缺陷杠杆作用最低处(接近数据消耗)表现出最高缺陷表面13202。

当考虑缺陷力矩时，这种类型的从低到高的缺陷表面13302是非常有益的。在信用数据系统中，因为低缺陷概率乘以高缺陷杠杆作用，高缺陷概率乘以低缺陷杠杆作用，所以乘积的积分和可以比现有系统小得多。因此，信用数据系统改进了关于数据摄取和数据消耗的缺陷管理。

数据的惰性解释

“惰性解释”系统并非是在数据摄取附近解释传入数据(如图3B中所示的用于传统系统的数据模型13200)，而是在从数据到理解的流水线中尽可能迟地延迟解释，以便使综合缺陷力矩最小化。图13C示出了根据一种实施方式的此类惰性解释系统的示例性缺陷模型13300。

惰性解释系统可以接受任何类型的事件数据，诸如来自具有各种数据类型、格式，结构、含义等的数据源的数据。例如，图14示出了与锚定实体1402(在该示例中示出为特定用户)相关的各种类型的事件数据。锚定实体可以是被提供事件数据解析的任何其他实体。例如，锚定实体可以是特定用户，并且各种数据源可以提供与该特定用户关联的异构数据事件，诸如车辆贷款记录1404、抵押记录1406、信用卡记录1408、公用事业记录1410、DMV记录1412、法院记录1414、税务记录1416、雇用记录1418等。

在一些实施例中，在访问新事件数据时，系统仅识别将数据绑定到正确锚定实体所需的最小信息。例如，锚定实体可以是特定用户，并且将新数据绑定到特定用户所需的最小信息可以是诸如姓名、国家ID或地址的识别信息。当接收新数据时，系统可以查找该数据中特定用户的识别信息的最小集合，并将该数据绑定到一个或多个用户关联标签(例如，当锚定实体是与信用事件关联的用户时，反向PID是用户关联标签的一个示例)。对于给定的数据，惰性解释系统可以后续使用标签来识别正确的锚定实体。绑定标签的过程可以是图13C中的匹配/链接过程。在一些实施例中，匹配/链接过程不改变传入数据或数据结构。

标记标签/匹配/链接过程可以类似于对书籍进行编目。例如，基于国际标准书号(“ISBN”)、书名和/或书的作者，图书馆员可以将书放在正确的区段和架子上。书的内容或情节在编目过程中不是必要的。类似地，基于识别锚定实体的最小信息，车辆贷款记录1404可以与特定锚定实体关联。在一些实施例中，每个记录和/或数据源可以与域关联(参考图15进一步描述)。例如，车辆贷款记录1404或车辆贷款数据源可以与“车辆贷款域”关联，信用卡记录1408或信用卡数据源可以与“信用域”关联，并且抵押记录1406或抵押数据源可以与“抵押域”关联。

在一些实施例中，惰性解释系统可以包括锚定实体解析(AER)过程，其校正绑定到先前接收的数据的标签以与最佳已知锚定实体关联。最佳已知锚定实体可以基于新传入数据中包含的信息动态地变化，诸如基于先前接收到的数据的分析，或者基于锚定实体本身解析的改进。在一些实施例中，锚定实体解析可更新先前绑定的标签。锚定实体解析过程可以周期性地或连续地在后台或前台中运行，可在预定事件发生时自动触发和/或由系统监督者、请求实体或其他用户发起。

惰性解释系统将缺陷概率限制在识别信息的解释和处理。通过去除传统系统的ETL过程，惰性解释系统减少了转换或以其他方式解决异构数据集合不断增长的规模和复杂度所需的软件和工程工作。如图13C所示，缺陷表面13302在数据消耗附近的状态上游的状态更低，从而减小了缺陷力矩。

域词典和词汇

惰性解释系统可以包括用于解释数据的一个或多个解析器(图13C，13304)。与现有系统的解释组件(图13B，13204)位于数据摄取附近不同，惰性解释系统的解释组件(例如，“解析器”)的位置更靠近数据消耗(图13C，13304)。解析器可以与域关联，诸如信用域1502、公用事业域1504和/或抵押域1506。

惰性解释系统可以将传入数据或数据源与一个或多个域关联。例如，信用卡记录1408或其数据源可能已经与“信用域”关联。每个域包括词典，词典包括该域的词汇。图15示出了域及其关联的词汇。例如，信用域1502可能具有关联的词典，包括词汇“@credit_limit”、“@current_balance”和“@past_due_balance”。类似地，公用事业域1504可能具有关联的词典，包括词汇“@current_balance”和“@pass_due_balance”。如图所示，词汇可跨不同域重复，例如“@current_balance”和“@past_due_balance”。然而，每个域具有其与特定域关联的解释规则集合和解析器，能够基于每个记录各自的域适当地解释相同词汇在一个域中不同于该词汇在另一个域中的解释。

基于词典和其中包含的词汇，一个或多个解析器利用匹配的词汇检查记录和标签字段或值的内容。解析过程可以类似于扫描书籍以识别/解释相关内容。类似于扫描历史书籍以获得与“George Washington”相关的内容并且用“@George_Washington”对描述GeorgeWashington的出生地、生日、年龄等的内容标记标签，信用解析器1508可以扫描来自信用数据源的记录或信用域中的记录，并且识别/解释可能与信用限额相关的内容并使用“@Credit_Limit”标签来标记所识别/解释的内容(图16示出了使用@Credit_Limit来标记所识别的内容的示例)。类似地，公用事业域解析器1510可以扫描来自公用事业数据源或公用事业域中的记录(诸如公用事业发票)，并识别可能与逾期余额相关的内容并用“@past_due_balance”标签来标记所识别的内容。

一旦被标记标签，包括图13C中的一致性检查、理解和/或报告的下游组件可使用记录的域的词汇来分析记录的内容。在一些实施例中，下游组件(例如，任何理解计算组件1512)可解释来自一个或多个域的记录以供其使用。例如，在确定潜在受押人的信用度之前，抵押评分组件可以在来自信用域的数据中查找“@Credit_Limit”。

有利地，惰性解释具有减少缺陷影响的有益效果。上述由解析器进行的解释，如图13C 13304所示，比现有系统提供的解释更接近数据消耗。因此，惰性解释系统中的缺陷具有有限的杠杆作用，因此其影响减小。

惰性解释系统的另一个有益效果是系统不需要改变原始的或现有的异构事件数据。代替对数据进行标准化用于存储和解释的ETL处理，系统标记标签并推迟解释至解析器。如果发现一个或多个解析器向域中引入缺陷，则数据工程师可以简单地更新该一个或多个域解析器。因为原始或现有事件数据未被更改，所以重新执行解析器可以快速消除缺陷而不丢失数据。另外，在一些实施例中，因为在整个数据流中没有复制数据，所以数据工程师可以修正、删除或排除任何数据而不需要更新其他数据库。

因此，惰性解释系统的数据摄取不需要ETL过程，因此，惰性解释系统允许快速且低成本地引入新数据源。

图16示出根据一些实施例的使用一些样本内容的惰性解释的示例性过程1600。域词典1602可以包括域词汇1604和域语法1606。域词汇1604可以包括用于注释(例如，如参考图15描述的标记标签)数据的关键字定义。域词汇1604可以包括“基元词”和“复合词”。在一些实施例中，基元词是直接与异构数据的一些部分关联(或“注释”)的标签。例如，惰性解释系统用@CreditLimit和@Balance对传入数据1610的一些部分标记标签。使用域语法1606从一个或多个基元词或其他变量合成复合词。域语法1606的示例可以是“N个记录的平均余额等于对每个帐户余额求和并除以N”，这可以在域语法1606中用两个基元词表示@Balance为“@AverageBalance[n]＝Sum(@Balance)/n”)。

域词典1602还可以包括用于异构数据源的预定义源模板1608。源模板1608用作透镜以暴露重要字段。例如，简单的示例性源模板可以是“对于来自VISA数据源的传入数据1610，第6个数据字段是@CreditLimit，第7个数据字段是@Balance”。注释添加器1612可以使用一个或多个这样的源模板1608来标记标签/注释域中的传入数据以生成注释数据1614。在一些实施例中，机器学习模型和/或其他人工智能可用于在确定和暴露重要字段时补充或替换源模板1608。

惰性解释系统还可以包括一个或多个域解析器1616。域解析器1616可以使用嵌入在其软件中的注释/标签和规则来向应用呈现完全注释的数据。在一些实施例中，除了或代替注释添加器1612提供的注释/标签，域解析器可以提供一些注释/标签以生成完全注释的数据。域解析器1616可以在向应用呈现完全注释的数据时或者在其自身的注释/标签中引用域词典1602。

提供分数计算应用1618和理解计算应用1620作为可以使用完全注释的数据的示例性应用。分数计算应用程序1618可以基于注释的数据计算一个或多个用户的信用分数(或其他分数)并提供给请求实体。类似地，理解计算应用1620可提供分析或报告，包括余额陈述、现金流量陈述、消费习惯、可能的储蓄提示等。在一些实施例中，各种应用，包括分数计算1618应用和理解计算1620应用，可使用完全注释的数据结合来自批量索引过程的反向PID来快速识别属于特定用户的所有注释的记录并生成与该用户相关的报告或分析。

图17是根据一些实施例的用于解释传入数据以最小化系统中的缺陷影响的说明性方法的流程图1700。根据实施例，图17的方法可以包括更少或更多的框，并且这些框可以以与所示出的顺序不同的顺序来执行。

从框1702开始，解释系统(例如，本文别处讨论的信用数据系统的一个或多个组件)从一个或多个数据源接收多个事件信息(见图14)。数据源可以是抵押人、信用卡供应商、公用事业公司、提供车辆贷款记录的车辆经销商、DMV、法院、IRS、雇主、银行、或者可以与需要实体解析的实体关联的任何其他信息源。在一些实施例中，数据源提供异构数据格式或结构的多个事件信息。

在框1704，惰性解释系统确定与数据源关联的信息的类别或类型(本文也称为“域”)。可以基于由数据源提供的信息确定数据源的域。在一些实施例中，系统能够通过检查数据源的数据结构来确定(或在数据源提供域信息的情况下确认)所关联的域。在一些实施例中，事件信息可以包括指示特定数据源的域的一些提示，并且系统能够基于这些提示来确定数据源的域。例如，如果事件信息(或大部分的事件信息)包括术语“水”或“气体”，则系统可自动确定数据源应与公用事业域关联。

在框1706，系统访问所确定域的域词典。域词典可以包括域词汇、域语法和/或注释标准，其中的示例在上文参考图16描述。

在框1708，系统用域词典注释来自已确定的域的事件信息。例如，基于注释标准，系统评估事件信息并识别可用域词汇注释的一个或多个部分。图16示出了注释之前的示例性事件信息1610，然后示出了具有与某事件信息关联的注释的已注释事件信息1614。在一些实施例中，事件信息仅被域注释(诸如示例性已注释事件信息1614中的)更新，否则不改变。在一些实施例中，一旦事件信息被注释，则它们保持不受干扰，直到系统接收到对事件信息的数据请求，诸如与特定注释关联的信息(例如，针对事件信息的@Creditlimit数据的请求可能被请求计算消费者跨多个账户的总信用额度，其可被包括在信用报告或类似的消费者风险分析报告中)。

在框1710，系统接收针对事件信息的数据请求。请求可以针对事件信息(例如，包括特定注释或注释的组合的所有事件信息)或针对事件信息中包括的特定数据(例如，具体与注释关联的事件信息的部分)。例如，参考图16的已注释事件信息1614，请求可以针对整个已注释信用事件信息或仅针对信用事件信息中的@Balance数据。数据请求可以来自系统的另一组件，诸如分数计算应用、理解计算应用等，或者可以来自另一请求实体，诸如第三方。

在框1712，系统用一个或多个域解析器分析事件信息以识别所请求的信息。如参考图16所描述的，域解析器可以使用域词典来解释事件信息。例如，域解析器可以使用域词汇来查找一个或多个基元词。然后，域解析器可以使用域语法基于一个或多个基元词确定复合词。在一些实施例中，域解析器可以请求另一个域解析器提供用于其解释的必要数据。例如，抵押域解析器可以在生成其复合词时根据需要信用分数的域语法向信用域解析器请求@credit_score。在框1714，系统向请求应用或请求实体提供所请求的数据。

附加实施例

应当理解，根据本文所述的任何特定实施例，未必可以实现所有目的或优点。因此，例如，某些实施例可以配置为以实现或优化本文所教导的一个优点或一组优点的方式操作，而不必实现本文所教导或建议的其他目的或优点。

本文描述的所有过程可以通过被包括一个或多个计算机或处理器的计算系统执行的软件代码模块来实现并且完全自动化。在一些实施例中，至少一些过程可以单独地或组合地使用诸如云计算、应用容器化或Lambda架构等虚拟化技术来实现。代码模块可以存储在任何类型的非暂时性计算机可读介质或其他计算机存储设备中。一些或所有方法可以在专用计算机硬件中实现。

根据本公开，除本文所述之外的许多其他变化将是显而易见的。例如，取决于实施例，本文所述的任何算法的某些动作、事件或功能可以以不同的顺序执行，或者可以被一起添加、合并或省略(例如，不是所有描述的动作或事件对于算法的实践都是必需的)。此外，在某些实施例中，动作或事件可以同时执行，例如，通过多线程处理、中断处理、或多处理器或处理器核，或在其他并行体系结构上执行，而不是顺序地执行。此外，不同的任务或过程可以由能够共同作用的不同机器和/或计算系统来执行。

除非另外具体说明，条件语言，诸如尤其是“可以(can)”，“可以(could)”，“可能(might)”或“可能(may)”等在上下文中被理解为一般用于传达某些实施例包括但其他实施例不包括某些特征、元素和/或过程。因此，这种条件语言通常不旨在暗示特征、元素和/或过程以任何方式对于一个或多个实施例是必需的，或者一个或多个实施例必须包括用于在有或没有用户输入或提示的情况下判定这些特征、元素和/或过程是否包括在任何特定实施例中或将在任何特定实施例中执行的逻辑。

除非另外特别说明，否则诸如短语“X，Y或Z中的至少一个”之类的析取语言在上下文中被理解为通常用于表示项目、术语等可以是X、Y或Z或其任何组合(例如，X、Y和/或Z)。因此，这种析取语言通常不旨在并且不应该意味着某些实施例要求各自存在至少一个X、至少一个Y、或至少一个Z。

本文描述的和/或在附图中示出的流程图中的任何过程描述、元素或框应当被理解为潜在地表示包括用于实现过程中的特定逻辑功能或元素的一个或多个可执行指令的代码模块、段或部分。替代的实施方式被包括在本文所述实施例的范围内，其中元素或功能被删除、以与所示出或讨论的不同顺序执行(包括基本上同时或以相反的顺序)，这取决于所涉及的功能，如本领域技术人员将理解的。

除非另有明确说明，否则诸如“一(a)”或“一个(an)”的冠词通常应当被解释为包括一个或多个所描述的项目。因此，诸如“被配置成……的设备”的短语旨在包括一个或多个所叙述的设备。此类一个或多个列举的装置也可以被共同配置为执行所陈述的叙述。例如，“被配置成执行叙述A、B和C的处理器”可以包括被配置成执行叙述A的第一处理器，其与被配置成执行叙述B和C的第二处理器一起工作。

应当强调的是，可以对上述实施例进行许多变化和修改，其元素应当被理解为是其他可接受的示例之一。所有这些修改和变化旨在包括在本公开的范围内。

Claims (13)

1.一种用于为收集的事件信息确定帐户持有者标识的计算机系统，所述计算机系统包括：

一个或多个硬件计算机处理器；以及

一个或多个存储设备，其配置为存储软件指令，所述软件指令配置为被所述一个或多个硬件计算机处理器执行以使所述计算机系统：

从多个数据源接收与相应多个事件关联的多个事件信息；

对于每个事件信息：

访问包括数据源与标识符参数之间关联的数据存储，所述标识符参数至少包括对来自相应数据源的事件信息中包括的一个或多个标识符的指示；

至少基于所述事件信息的数据源的标识符参数，确定如被访问的数据存储中指示的所述事件信息中包括的标识符；以及

至少基于相应标识符参数从所述事件信息中提取标识符，

其中，所述标识符的组合包括与唯一用户关联的唯一标识，

访问多个散列函数，每个所述散列函数与标识符的组合关联；

对于每个唯一标识，通过对所述多个散列函数求值计算多个散列值；

基于唯一标识是否共享使用公共散列函数计算出的公共散列值，选择性地将唯一标识分组成与公共散列值关联的唯一标识集合；

对于每个唯一标识集合：

应用一个或多个匹配规则，所述一个或多个匹配规则包括用于在所述集合内比较唯一标识的标准；以及

将满足所述一个或多个匹配规则的唯一标识确定为唯一标识匹配集合；

通过将每个唯一标识匹配集合简化为2阶关系，所述2阶关系具有在第一位置和第二位置中的记录，通过所述第一位置中的记录对所述2阶关系进行分组，旋转所述2阶关系以产生附加的对，通过所述第一位置中的记录对所述附加的对进行分组，重复上述过程，直到所述唯一标识匹配集合被合并，其中每个合并集合与一个用户关联，从而对各自包括至少一个公共唯一标识的唯一标识匹配集合进行合并，以提供与其他合并集合不具有公共唯一标识的一个或多个合并集合；

对于每个合并集合：

确定反向个人标识符；以及

将所述反向个人标识符与所述合并集合中的唯一标识中的每一个关联，以创建反向个人标识符映射；

对于每个唯一标识，使用所述反向个人标识符映射：

识别与关联于所述唯一标识的所述标识符的组合中的至少一个关联的事件信息；以及

将所述反向个人标识符与所述识别的事件信息关联，其中每个反向个人标识符与所述合并集合中的多个唯一标识相关联，所述合并集合与所述唯一用户相关联。

2.如权利要求1所述的计算机系统，其中，所述散列函数至少包括：

第一散列函数，其对从事件信息中提取的至少第一标识符的部分和至少第二标识符的部分的第一组合求值；以及

第二散列函数，其对从事件信息中提取的至少所述第一标识符的部分和至少第三标识符的部分的第二组合求值。

3.如权利要求2所述的计算机系统，其中，基于所述第一标识符或所述第二标识符中的一个或多个的标识符类型，选择所述第一散列函数。

4.如权利要求2所述的计算机系统，其中，所述第一标识符是所述用户的社会保险号码，所述第二标识符是所述用户的姓氏，并且所述第一组合是少于所述社会保险号码所有数字与少于所述用户姓氏所有字符的串接。

5.如权利要求2所述的计算机系统，其中，第一事件集合包括与第一散列值关联的多个事件，第二事件集合包括各自与第二散列值关联的多个事件。

6.如权利要求1所述的计算机系统，其中，所述标识符选自：名字、姓氏、中间名首字母、中间名、出生日期、社会保险号码、纳税人ID或国家ID。

7.如权利要求1所述的计算机系统，其中，所述计算机系统生成将反向个人标识符关联到所述合并集合中的剩余唯一标识中的每一个的反向映射，并将所述映射存储在数据存储中。

8.如权利要求1所述的计算机系统，还包括：基于分配给剩余唯一标识的所述反向个人标识符，将所述反向个人标识符分配给包括所述剩余唯一标识的所述多个事件信息中的每一个。

9.如权利要求1所述的计算机系统，其中，所述散列函数包括位置敏感散列。

10.如权利要求1所述的计算机系统，其中，所述一个或多个匹配规则包括一个或多个标识解析规则，所述一个或多个标识解析规则将一个或多个集合中的u与外部数据库或CRM系统中的帐户持有者信息进行比较以识别针对所述一个或多个匹配规则的匹配。

11.如权利要求10所述的计算机系统，其中，所述标识解析规则包括指示所述帐户持有者信息与所述标识符之间匹配标准的标准。

12.如权利要求1所述的计算机系统，其中，所述合并集合包括，对于一个或多个集合中的每一个，重复以下过程：

将集合中的每个唯一标识与所述集合中的另一个唯一标识配对以创建唯一标识对；

确定对中的公共唯一标识；以及

响应于确定所述公共唯一标识，对来自具有所述公共唯一标识的对中的非公共唯一标识分组，直到结果组内包含的唯一标识列表在结果组之间彼此互斥。

13.如权利要求12所述的计算机系统，其中，所述确定对中的公共唯一标识还包括对所述对中的唯一标识分类。

Images