CN116308754B - 一种银行信贷风险预警系统及其方法 - Google Patents
一种银行信贷风险预警系统及其方法 Download PDFInfo
- Publication number
- CN116308754B CN116308754B CN202310284316.7A CN202310284316A CN116308754B CN 116308754 B CN116308754 B CN 116308754B CN 202310284316 A CN202310284316 A CN 202310284316A CN 116308754 B CN116308754 B CN 116308754B
- Authority
- CN
- China
- Prior art keywords
- training
- information
- context
- background
- matrix
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 36
- 239000011159 matrix material Substances 0.000 claims description 176
- 238000012549 training Methods 0.000 claims description 138
- 239000013598 vector Substances 0.000 claims description 133
- 230000007246 mechanism Effects 0.000 claims description 41
- 238000013527 convolutional neural network Methods 0.000 claims description 27
- 230000006870 function Effects 0.000 claims description 25
- 230000011218 segmentation Effects 0.000 claims description 23
- 238000012545 processing Methods 0.000 claims description 20
- 238000006073 displacement reaction Methods 0.000 claims description 18
- 238000005457 optimization Methods 0.000 claims description 18
- 238000003062 neural network model Methods 0.000 claims description 12
- 238000005728 strengthening Methods 0.000 claims description 10
- 238000000354 decomposition reaction Methods 0.000 claims description 8
- 230000004913 activation Effects 0.000 claims description 5
- 238000012935 Averaging Methods 0.000 claims description 3
- 230000002708 enhancing effect Effects 0.000 claims 2
- 239000000463 material Substances 0.000 description 17
- 238000009826 distribution Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 13
- 230000008569 process Effects 0.000 description 12
- 238000013135 deep learning Methods 0.000 description 11
- 238000003860 storage Methods 0.000 description 10
- 238000004590 computer program Methods 0.000 description 9
- 238000013528 artificial neural network Methods 0.000 description 6
- 230000008901 benefit Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 238000007689 inspection Methods 0.000 description 4
- 238000005065 mining Methods 0.000 description 4
- 238000007792 addition Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003058 natural language processing Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000006798 recombination Effects 0.000 description 1
- 238000005215 recombination Methods 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及信贷风险识别领域，其具体地公开了一种银行信贷风险预警系统及其方法，其采用基于深度学习及人工智能的自然语言识别技术，对于报批材料中所蕴含的关于客户背景信息的隐藏关联关系进行准确刻画和深度语义理解，并利用空间注意力机制对语义特征信息进行增强，以此来进行银行信贷风险预警。通过这样的方式，提高信贷风险识别的效率。
Description
技术领域
本申请涉及信贷风险识别领域，且更为具体地，涉及一种银行信贷风险预警系统及其方法。
背景技术
信贷业务是商业银行的主体业务，信贷风险也是其面临的主要风险，其风险管理水平直接决定了商业银行的价值创造能力，所以在开展信贷业务审批时，风险识别和把控尤为重要。
银行工作人员在进行信贷业务审批时，要对报批材料进行材料齐全性审查、信息充分性审查、内容一致性审查和格式规范性审查，并按照银行相关规定进行审批后出具审批意见。在此过程中，银行工作人员需要从报批材料的信息(例如关于客户的背景信息)中识别可能存在的风险，但这很高程度上依赖人工经验，因此，对风险识别和把控的精准度并不高。与此同时，大量重复且繁琐的审查工作非常消耗银行工作人员的精力和体力，且报批材料的信息之间存在隐藏的关联关系，导致他们在有限的时间里并不能作出大量的准确判断，降低信贷风险识别的效率。因此，期待一种优化的银行信贷风险预警方案。
发明内容
为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种银行信贷风险预警系统及其方法，其采用基于深度学习及人工智能的自然语言识别技术，对于报批材料中所蕴含的关于客户背景信息的隐藏关联关系进行准确刻画和深度语义理解，并利用空间注意力机制对语义特征信息进行增强，以此来进行银行信贷风险预警。通过这样的方式，提高信贷风险识别的效率。
相应地，根据本申请的一个方面，提供了一种银行信贷风险预警系统，其包括：
客户信息抓取单元，用于获取待检测客户的背景信息，所述背景信息包括基本信息、关系人信息、关联企业信息、资产信息和历史贷款信息；
词嵌入化单元，用于对所述待检测客户的背景信息进行分词处理后通过词嵌入层以得到背景信息词向量的序列；
上下文理解单元，用于将所述背景信息词向量的序列输入基于转换器的上下文编码器以得到多个上下文背景特征向量；
全局化单元，用于将所述多个上下文背景特征向量进行二维排列以得到全局上下文背景特征矩阵；
局部关注强化单元，用于将所述全局上下文背景特征矩阵通过使用空间注意力机制的卷积神经网络模型以得到增强全局上下文背景特征矩阵；以及
风险预警结果生成单元，用于将所述增强全局上下文背景特征矩阵通过分类器以得到分类结果，所述分类结果用于表示是否产生信贷风险预警。
在上述银行信贷风险预警系统中，所述词嵌入化单元，包括：分词子单元，用于对所述待检测客户的背景信息进行分词处理以获得多个背景信息词；以及，文本结构化子单元，用于将所述多个背景信息词通过词嵌入层以将所述多个背景信息词中各个背景信息词转化为背景信息词向量以得到背景信息词向量的序列，其中，所述词嵌入层使用可学习的嵌入矩阵对所述各个背景信息词进行嵌入编码。
在上述银行信贷风险预警系统中，所述上下文理解单元，进一步用于：将所述背景信息词向量的序列排列为输入向量；将所述输入向量通过可学习嵌入矩阵分别转化为查询向量和关键向量；计算所述查询向量和所述关键向量的转置向量之间的乘积以得到自注意关联矩阵；对所述自注意关联矩阵进行标准化处理以得到标准化自注意关联矩阵；将所述标准化自注意关联矩阵输入Softmax激活函数进行激活以得到自注意力特征矩阵；以及，将所述自注意力特征矩阵与以所述背景信息词向量的序列中各个背景信息词向量作为值向量分别进行相乘以得到所述多个上下文背景特征向量。
在上述银行信贷风险预警系统中，所述局部关注强化单元，进一步用于：使用所述卷积神经网络模型的卷积编码部分对所述全局上下文背景特征矩阵进行深度卷积编码以得到初始卷积特征图；将所述初始卷积特征图输入所述卷积神经网络模型的空间注意力部分以得到空间注意力图；将所述空间注意力图通过Softmax激活函数以得到空间注意力特征图；计算所述空间注意力特征图和所述初始卷积特征图的按位置点乘以得到增强全局上下文背景特征图；以及，对所述增强全局上下文背景特征图进行沿通道维度的全局均值池化处理以得到所述增强全局上下文背景特征矩阵。
在上述银行信贷风险预警系统中，所述风险预警结果生成单元，包括：展开子单元，用于将所述增强全局上下文背景特征矩阵按照行向量或者列向量展开为分类特征向量；概率化子单元，用于将所述分类特征向量输入所述分类器的Softmax分类函数以得到所述分类特征向量归属于各个分类标签的概率值；以及，分类结果生成子单元，用于将最大概率值对应的分类标签确定为所述分类结果。
在上述银行信贷风险预警系统中，还包括用于对所述基于转换器的上下文编码器、所述使用空间注意力机制的卷积神经网络模型和所述分类器进行训练的训练模块。
在上述银行信贷风险预警系统中，所述训练模块，包括：训练信息抓取单元，用于获取待检测客户的训练背景信息，所述训练背景信息包括基本信息、关系人信息、关联企业信息、资产信息和历史贷款信息，以及，是否产生信贷风险预警的真实值；训练词嵌入化单元，用于对所述待检测客户的训练背景信息进行分词处理后通过词嵌入层以得到训练背景信息词向量的序列；训练上下文理解单元，用于将所述训练背景信息词向量的序列输入所述基于转换器的上下文编码器以得到多个训练上下文背景特征向量；训练全局化单元，用于将所述多个训练上下文背景特征向量进行二维排列以得到训练全局上下文背景特征矩阵；训练局部关注强化单元，用于将所述训练全局上下文背景特征矩阵通过所述使用空间注意力机制的卷积神经网络模型以得到训练增强全局上下文背景特征矩阵；逐位位移关联匹配优化单元，用于对所述训练增强全局上下文背景特征矩阵进行本征单位化的逐位位移关联匹配优化以得到优化后训练增强全局上下文背景特征矩阵；分类损失单元，用于将所述优化后训练增强全局上下文背景特征矩阵通过所述分类器以得到分类损失函数值；以及，训练单元，用于基于所述分类损失函数值来对所述基于转换器的上下文编码器、所述使用空间注意力机制的卷积神经网络模型和所述分类器进行训练。
在上述银行信贷风险预警系统中，所述逐位位移关联匹配优化单元，进一步用于：以如下公式对所述训练增强全局上下文背景特征矩阵进行本征单位化的逐位位移关联匹配优化以得到优化后训练增强全局上下文背景特征矩阵；其中，所述公式为：
其中，M和M'分别为所述训练增强全局上下文背景特征矩阵和所述优化后训练增强全局上下文背景特征矩阵，ve1到ven是所述训练增强全局上下文背景特征矩阵进行本征分解后得到的n个本征值，Me为所述n个本征值沿对角线排列所得到的本征单位化矩阵，其也为对角矩阵，d(Me,M)为所述本征单位化矩阵与所述训练增强全局上下文背景特征矩阵之间的距离，表示矩阵乘法，⊙表示点乘，⊕表示按位置相加。
根据本申请的另一方面，还提供了一种银行信贷风险预警方法，其包括：
获取待检测客户的背景信息，所述背景信息包括基本信息、关系人信息、关联企业信息、资产信息和历史贷款信息；
对所述待检测客户的背景信息进行分词处理后通过词嵌入层以得到背景信息词向量的序列；
将所述背景信息词向量的序列输入基于转换器的上下文编码器以得到多个上下文背景特征向量；
将所述多个上下文背景特征向量进行二维排列以得到全局上下文背景特征矩阵；
将所述全局上下文背景特征矩阵通过使用空间注意力机制的卷积神经网络模型以得到增强全局上下文背景特征矩阵；以及
将所述增强全局上下文背景特征矩阵通过分类器以得到分类结果，所述分类结果用于表示是否产生信贷风险预警。
根据本申请的再一方面，提供了一种电子设备，包括：处理器；以及，存储器，在所述存储器中存储有计算机程序指令，所述计算机程序指令在被所述处理器运行时使得所述处理器执行如上所述的银行信贷风险预警方法。
根据本申请的又一方面，提供了一种计算机可读介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行如上所述的银行信贷风险预警方法。
与现有技术相比，本申请提供的一种银行信贷风险预警系统及其方法，其采用基于深度学习及人工智能的自然语言识别技术，对于报批材料中所蕴含的关于客户背景信息的隐藏关联关系进行准确刻画和深度语义理解，并利用空间注意力机制对语义特征信息进行增强，以此来进行银行信贷风险预警。通过这样的方式，提高信贷风险识别的效率。
附图说明
通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
图1为根据本申请实施例的银行信贷风险预警系统的框图。
图2为根据本申请实施例的银行信贷风险预警系统的架构示意图。
图3为根据本申请实施例的银行信贷风险预警系统中训练模块的框图。
图4为根据本申请实施例的银行信贷风险预警方法的流程图。
图5为根据本申请实施例的银行信贷风险预警方法中对所述基于转换器的上下文编码器、所述使用空间注意力机制的卷积神经网络模型和所述分类器进行训练的流程图。
图6为根据本申请实施例的电子设备的框图。
具体实施方式
下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。
申请概述
相应地，由于银行工作人员需要从报批材料的信息(例如关于客户的背景信息)中识别可能存在的风险，在此过程中，对风险识别和把控的精准度依赖人工经验从而具有很大的差异性；与此同时，报批材料的信息中存在大量冗余信息，重复且繁琐的审查工作非常消耗银行工作人员的精力和体力，导致他们无法在有限的时间内去挖掘报批材料中内在的关于客户背景信息的隐藏关联关系并作出大量且准确的判断以识别潜在风险，从而降低信贷风险识别的效率。因此，在本申请的技术方案中，期待对于报批材料中所蕴含的关于客户背景信息的隐藏关联关系进行准确刻画和深度语义理解以基于此来进行银行信贷风险预警。在此过程中，难点在于如何充分地挖掘出所述关于客户背景信息的隐藏关联关系，以此来准确地进行信贷风险预警，从而提高信贷风险识别的效率。
近年来，深度学习以及神经网络已经广泛应用于计算机视觉、自然语言处理、文本信号处理等领域。此外，深度学习以及神经网络在图像分类、物体检测、语义分割、文本翻译等领域，也展现出了接近甚至超越人类的水平。
深度学习以及神经网络的发展为挖掘出所述关于客户背景信息的隐藏关联关系提供了新的解决思路和方案。本领域普通技术人员应知晓，基于深度学习的深度神经网络模型可以通过适当的训练策略，例如通过梯度下降的反向传播算法来调整所述深度神经网络模型的参数以使之能够模拟事物之间的复杂的非线性关联，而这显然适合于挖掘出所述关于客户背景信息的隐藏关联关系。
具体地，在本申请的技术方案中，首先，获取待检测客户的背景信息，所述背景信息包括基本信息、关系人信息、关联企业信息、资产信息和历史贷款信息。上述待检测客户的背景信息在报批材料的特定部分出现，因此可以由人工进行简单地选取或用文本识别选取工具进行选取，在此并不为本申请所局限。
考虑到所述待检测客户的背景信息为文本数据，也就是，所述待检测客户的背景信息为非结构化数据，因此，在本申请的技术方案中，对所述待检测客户的背景信息进行分词处理以避免词序混乱后通过词嵌入层以得到背景信息词向量的序列。这里，词嵌入层的作用是将一个词映射为一个背景信息词向量，所述词嵌入层可以基于词袋模型来构建，或者，基于低维语义嵌入模型来构建，例如，Word2Vec等。
接着，将所述背景信息词向量的序列输入基于转换器的上下文编码器以捕捉各个背景信息词向量之间的语义关联信息，从而得到多个上下文背景特征向量。也就是，基于transformer思想，利用转换器能够捕捉长距离上下文依赖的特性，对所述背景信息词向量的序列中各个背景信息词向量进行基于全局的上下文语义编码以得到以所述背景信息词向量的序列的整体语义关联为上下文背景的上下文语义关联特征表示，即，所述多个上下文背景特征向量。应可以理解，在本申请的技术方案中，通过所述基于转换器的编码器可以捕捉所述各个背景信息词向量的语义隐含特征基于全局的长距离依赖关联性特征分布信息。
考虑到所述待检测客户的背景信息中特定词及其组合的出现有特定的意义，因此在进行信贷风险预警过程中，应在特定词及其组合出现的空间位置上进行聚焦。在本申请的技术方案中，首先，将所述多个上下文背景特征向量进行二维排列以整合所述多个上下文背景特征向量所蕴含的语义隐藏关联特征，从而得到全局上下文背景特征矩阵。进一步地，鉴于注意力机制能够选择聚焦位置，产生更具分辨性的特征表示，且加入注意力模块后的特征会随着网络的加深产生适应性的改变。因此，在本申请的技术方案中，将所述全局上下文背景特征矩阵通过使用空间注意力机制的卷积神经网络模型中进行处理，以提取所述待检测客户的背景信息中聚焦于特定词及其组合出现的空间位置信息，从而得到增强全局上下文背景特征矩阵。值得一提的是，这里，所述空间注意力所提取到的上下文特征反映了空间维度特征差异的权重，用来抑制或强化不同空间位置的特征，以此来强化空间上聚焦于所述待检测客户的背景信息中特定词及其组合的出现的特征信息。
在得到所述增强全局上下文背景特征矩阵后，将其通过分类器以得到分类结果，所述分类结果用于表示是否产生信贷风险预警。也就是，在本申请的技术方案中，所述分类器的标签包括产生信贷风险预警(第一标签)，以及，不产生信贷风险预警(第二标签)，其中，所述分类器通过软最大值函数来确定所述增强全局上下文背景特征矩阵属于哪个分类标签。
这里，在将所述全局上下文背景特征矩阵通过使用空间注意力机制的卷积神经网络模型得到所述增强全局上下文背景特征矩阵时，所述增强全局上下文背景特征矩阵的某些特征值通过空间注意力机制给予了强化，也就是赋予了更高的权重值，从而使得所述增强全局上下文背景特征矩阵的整体特征分布向着由空间注意力机制强化的局部分布收敛，但是，这样也会导致没有被空间注意力机制强化的某些特征值变得偏离所述增强全局上下文背景特征矩阵的整体特征分布，而这些偏离整体特征分布的异常特征值会在模型的训练过程当中影响模型的训练效果。
因此，在本申请的技术方案中，优选地首先将所述增强全局上下文背景特征矩阵的整体特征分布通过线性变换转化为对角矩阵，例如记为M，再对所述增强全局上下文背景特征矩阵M进行本征单位化的逐位位移关联匹配优化，优化后的增强全局上下文背景特征矩阵M'表示为：
ve1到ven是所述增强全局上下文背景特征矩阵M进行本征分解后得到的n个本征值，Me为所述n个本征值沿对角线排列所得到的本征单位化矩阵，其也为对角矩阵，d(Me,M)为所述本征单位化矩阵Me与所述增强全局上下文背景特征矩阵M之间的距离。
也就是，通过基于所述增强全局上下文背景特征矩阵M的本征分解获得的所述本征单位化矩阵Me来对所述增强全局上下文背景特征矩阵M进行逐位位移关联，并以所述增强全局上下文背景特征矩阵M相对本征单位化空间内的投影距离来进行特征关联关系的匹配，可以解决模型参数在反向传播中的由于特征的关联性分布弱而导致的优化方向的不匹配问题，避免优化后的增强全局上下文背景特征矩阵M'的处于类目标域边缘的特征值被失配地约束在相反的优化方向，导致训练效果变差。
在介绍了本申请的基本原理之后，下面将参考附图来具体介绍本申请的各种非限制性实施例。
示例性系统
图1为根据本申请实施例的银行信贷风险预警系统的框图。如图1所示，根据本申请实施例的银行信贷风险预警系统100，包括：客户信息抓取单元110，用于获取待检测客户的背景信息，所述背景信息包括基本信息、关系人信息、关联企业信息、资产信息和历史贷款信息；词嵌入化单元120，用于对所述待检测客户的背景信息进行分词处理后通过词嵌入层以得到背景信息词向量的序列；上下文理解单元130，用于将所述背景信息词向量的序列输入基于转换器的上下文编码器以得到多个上下文背景特征向量；全局化单元140，用于将所述多个上下文背景特征向量进行二维排列以得到全局上下文背景特征矩阵；局部关注强化单元150，用于将所述全局上下文背景特征矩阵通过使用空间注意力机制的卷积神经网络模型以得到增强全局上下文背景特征矩阵；以及，风险预警结果生成单元160，用于将所述增强全局上下文背景特征矩阵通过分类器以得到分类结果，所述分类结果用于表示是否产生信贷风险预警。
图2为根据本申请实施例的银行信贷风险预警系统的架构示意图。如图2所示，在该架构中，首先，获取待检测客户的背景信息，所述背景信息包括基本信息、关系人信息、关联企业信息、资产信息和历史贷款信息；接着，对所述待检测客户的背景信息进行分词处理后通过词嵌入层以得到背景信息词向量的序列；然后，将所述背景信息词向量的序列输入基于转换器的上下文编码器以得到多个上下文背景特征向量；继而，将所述多个上下文背景特征向量进行二维排列以得到全局上下文背景特征矩阵；再将所述全局上下文背景特征矩阵通过使用空间注意力机制的卷积神经网络模型以得到增强全局上下文背景特征矩阵；最后，将所述增强全局上下文背景特征矩阵通过分类器以得到分类结果，所述分类结果用于表示是否产生信贷风险预警。
相应地，由于银行工作人员需要从报批材料的信息(例如关于客户的背景信息)中识别可能存在的风险，在此过程中，对风险识别和把控的精准度依赖人工经验从而具有很大的差异性；与此同时，报批材料的信息中存在大量冗余信息，重复且繁琐的审查工作非常消耗银行工作人员的精力和体力，导致他们无法在有限的时间内去挖掘报批材料中内在的关于客户背景信息的隐藏关联关系并作出大量且准确的判断以识别潜在风险，从而降低信贷风险识别的效率。因此，在本申请的技术方案中，期待对于报批材料中所蕴含的关于客户背景信息的隐藏关联关系进行准确刻画和深度语义理解以基于此来进行银行信贷风险预警。在此过程中，难点在于如何充分地挖掘出所述关于客户背景信息的隐藏关联关系，以此来准确地进行信贷风险预警，从而提高信贷风险识别的效率。
近年来，深度学习以及神经网络已经广泛应用于计算机视觉、自然语言处理、文本信号处理等领域。此外，深度学习以及神经网络在图像分类、物体检测、语义分割、文本翻译等领域，也展现出了接近甚至超越人类的水平。
深度学习以及神经网络的发展为挖掘出所述关于客户背景信息的隐藏关联关系提供了新的解决思路和方案。本领域普通技术人员应知晓，基于深度学习的深度神经网络模型可以通过适当的训练策略，例如通过梯度下降的反向传播算法来调整所述深度神经网络模型的参数以使之能够模拟事物之间的复杂的非线性关联，而这显然适合于挖掘出所述关于客户背景信息的隐藏关联关系。
在上述银行信贷风险预警系统100中，所述客户信息抓取单元110，用于获取待检测客户的背景信息，所述背景信息包括基本信息、关系人信息、关联企业信息、资产信息和历史贷款信息。上述待检测客户的背景信息在报批材料的特定部分出现，因此可以由人工进行简单地选取或用文本识别选取工具进行选取，在此并不为本申请所局限。
在上述银行信贷风险预警系统100中，所述词嵌入化单元120，用于对所述待检测客户的背景信息进行分词处理后通过词嵌入层以得到背景信息词向量的序列。考虑到所述待检测客户的背景信息为文本数据，也就是，所述待检测客户的背景信息为非结构化数据，因此，在本申请的技术方案中，对所述待检测客户的背景信息进行分词处理以避免词序混乱后通过词嵌入层以得到背景信息词向量的序列。这里，词嵌入层的作用是将一个词映射为一个背景信息词向量，所述词嵌入层可以基于词袋模型来构建，或者，基于低维语义嵌入模型来构建，例如，Word2Vec等。
具体地，在本申请实施例中，所述词嵌入化单元120的编码过程，包括：首先，通过分词子单元对所述待检测客户的背景信息进行分词处理以获得多个背景信息词；然后，通过文本结构化子单元将所述多个背景信息词通过词嵌入层以将所述多个背景信息词中各个背景信息词转化为背景信息词向量以得到背景信息词向量的序列，其中，所述词嵌入层使用可学习的嵌入矩阵对所述各个背景信息词进行嵌入编码。
在上述银行信贷风险预警系统100中，所述上下文理解单元130，用于将所述背景信息词向量的序列输入基于转换器的上下文编码器以得到多个上下文背景特征向量。也就是，将所述背景信息词向量的序列输入基于转换器的上下文编码器以捕捉各个背景信息词向量之间的语义关联信息，从而得到多个上下文背景特征向量。在本申请的技术方案中，基于transformer思想，利用转换器能够捕捉长距离上下文依赖的特性，对所述背景信息词向量的序列中各个背景信息词向量进行基于全局的上下文语义编码以得到以所述背景信息词向量的序列的整体语义关联为上下文背景的上下文语义关联特征表示，即，所述多个上下文背景特征向量。应可以理解，在本申请的技术方案中，通过所述基于转换器的编码器可以捕捉所述各个背景信息词向量的语义隐含特征基于全局的长距离依赖关联性特征分布信息。
具体地，在本申请实施例中，所述上下文理解单元130的编码过程，包括：首先，将所述背景信息词向量的序列排列为输入向量；接着，将所述输入向量通过可学习嵌入矩阵分别转化为查询向量和关键向量；然后，计算所述查询向量和所述关键向量的转置向量之间的乘积以得到自注意关联矩阵；继而，对所述自注意关联矩阵进行标准化处理以得到标准化自注意关联矩阵；再将所述标准化自注意关联矩阵输入Softmax激活函数进行激活以得到自注意力特征矩阵；最后，将所述自注意力特征矩阵与以所述背景信息词向量的序列中各个背景信息词向量作为值向量分别进行相乘以得到所述多个上下文背景特征向量。
在上述银行信贷风险预警系统100中，所述全局化单元140和所述局部关注强化单元150，用于将所述多个上下文背景特征向量进行二维排列以得到全局上下文背景特征矩阵，并将所述全局上下文背景特征矩阵通过使用空间注意力机制的卷积神经网络模型以得到增强全局上下文背景特征矩阵。考虑到所述待检测客户的背景信息中特定词及其组合的出现有特定的意义，因此在进行信贷风险预警过程中，应在特定词及其组合出现的空间位置上进行聚焦。在本申请的技术方案中，首先，将所述多个上下文背景特征向量进行二维排列以整合所述多个上下文背景特征向量所蕴含的语义隐藏关联特征，从而得到全局上下文背景特征矩阵。进一步地，鉴于注意力机制能够选择聚焦位置，产生更具分辨性的特征表示，且加入注意力模块后的特征会随着网络的加深产生适应性的改变。因此，在本申请的技术方案中，将所述全局上下文背景特征矩阵通过使用空间注意力机制的卷积神经网络模型中进行处理，以提取所述待检测客户的背景信息中聚焦于特定词及其组合出现的空间位置信息，从而得到增强全局上下文背景特征矩阵。值得一提的是，这里，所述空间注意力所提取到的上下文特征反映了空间维度特征差异的权重，用来抑制或强化不同空间位置的特征，以此来强化空间上聚焦于所述待检测客户的背景信息中特定词及其组合的出现的特征信息。
具体地，在本申请实施例中，所述局部关注强化单元150的编码过程，包括：首先，使用所述卷积神经网络模型的卷积编码部分对所述全局上下文背景特征矩阵进行深度卷积编码以得到初始卷积特征图；接着，将所述初始卷积特征图输入所述卷积神经网络模型的空间注意力部分以得到空间注意力图；然后，将所述空间注意力图通过Softmax激活函数以得到空间注意力特征图；继而，计算所述空间注意力特征图和所述初始卷积特征图的按位置点乘以得到增强全局上下文背景特征图；最后，对所述增强全局上下文背景特征图进行沿通道维度的全局均值池化处理以得到所述增强全局上下文背景特征矩阵。
在上述银行信贷风险预警系统100中，所述风险预警结果生成单元160，用于将所述增强全局上下文背景特征矩阵通过分类器以得到分类结果，所述分类结果用于表示是否产生信贷风险预警。也就是，在本申请的技术方案中，所述分类器的标签包括产生信贷风险预警(第一标签)，以及，不产生信贷风险预警(第二标签)，其中，所述分类器通过软最大值函数来确定所述增强全局上下文背景特征矩阵属于哪个分类标签。
具体地，在本申请实施例中，所述风险预警结果生成单元160，包括：展开子单元，用于将所述增强全局上下文背景特征矩阵按照行向量或者列向量展开为分类特征向量；概率化子单元，用于将所述分类特征向量输入所述分类器的Softmax分类函数以得到所述分类特征向量归属于各个分类标签的概率值；以及，分类结果生成子单元，用于将最大概率值对应的分类标签确定为所述分类结果。
在上述银行信贷风险预警系统100中，还包括用于对所述基于转换器的上下文编码器、所述使用空间注意力机制的卷积神经网络模型和所述分类器进行训练的训练模块200。
图3为根据本申请实施例的银行信贷风险预警系统中训练模块的框图。如图3所示，所述训练模块200，包括：训练信息抓取单元210，用于获取待检测客户的训练背景信息，所述训练背景信息包括基本信息、关系人信息、关联企业信息、资产信息和历史贷款信息，以及，是否产生信贷风险预警的真实值；训练词嵌入化单元220，用于对所述待检测客户的训练背景信息进行分词处理后通过词嵌入层以得到训练背景信息词向量的序列；训练上下文理解单元230，用于将所述训练背景信息词向量的序列输入所述基于转换器的上下文编码器以得到多个训练上下文背景特征向量；训练全局化单元240，用于将所述多个训练上下文背景特征向量进行二维排列以得到训练全局上下文背景特征矩阵；训练局部关注强化单元250，用于将所述训练全局上下文背景特征矩阵通过所述使用空间注意力机制的卷积神经网络模型以得到训练增强全局上下文背景特征矩阵；逐位位移关联匹配优化单元260，用于对所述训练增强全局上下文背景特征矩阵进行本征单位化的逐位位移关联匹配优化以得到优化后训练增强全局上下文背景特征矩阵；分类损失单元270，用于将所述优化后训练增强全局上下文背景特征矩阵通过所述分类器以得到分类损失函数值；以及，训练单元280，用于基于所述分类损失函数值来对所述基于转换器的上下文编码器、所述使用空间注意力机制的卷积神经网络模型和所述分类器进行训练。
这里，在将所述全局上下文背景特征矩阵通过使用空间注意力机制的卷积神经网络模型得到所述增强全局上下文背景特征矩阵时，所述增强全局上下文背景特征矩阵的某些特征值通过空间注意力机制给予了强化，也就是赋予了更高的权重值，从而使得所述增强全局上下文背景特征矩阵的整体特征分布向着由空间注意力机制强化的局部分布收敛，但是，这样也会导致没有被空间注意力机制强化的某些特征值变得偏离所述增强全局上下文背景特征矩阵的整体特征分布，而这些偏离整体特征分布的异常特征值会在模型的训练过程当中影响模型的训练效果。
因此，在本申请的技术方案中，优选地首先将所述增强全局上下文背景特征矩阵的整体特征分布通过线性变换转化为对角矩阵，例如记为M，再对所述增强全局上下文背景特征矩阵M进行本征单位化的逐位位移关联匹配优化，优化后的增强全局上下文背景特征矩阵M'表示为：
其中，M和M'分别为所述训练增强全局上下文背景特征矩阵和所述优化后训练增强全局上下文背景特征矩阵，ve1到ven是所述训练增强全局上下文背景特征矩阵进行本征分解后得到的n个本征值，Me为所述n个本征值沿对角线排列所得到的本征单位化矩阵，其也为对角矩阵，d(Me,M)为所述本征单位化矩阵与所述训练增强全局上下文背景特征矩阵之间的距离，表示矩阵乘法，⊙表示点乘，⊕表示按位置相加。
也就是，通过基于所述增强全局上下文背景特征矩阵M的本征分解获得的所述本征单位化矩阵Me来对所述增强全局上下文背景特征矩阵M进行逐位位移关联，并以所述增强全局上下文背景特征矩阵M相对本征单位化空间内的投影距离来进行特征关联关系的匹配，可以解决模型参数在反向传播中的由于特征的关联性分布弱而导致的优化方向的不匹配问题，避免优化后的增强全局上下文背景特征矩阵M'的处于类目标域边缘的特征值被失配地约束在相反的优化方向，导致训练效果变差。
综上，基于本申请实施例的银行信贷风险预警系统100被阐明，其采用基于深度学习及人工智能的自然语言识别技术，对于报批材料中所蕴含的关于客户背景信息的隐藏关联关系进行准确刻画和深度语义理解，并利用空间注意力机制对语义特征信息进行增强，以此来进行银行信贷风险预警。通过这样的方式，提高信贷风险识别的效率。
如上所述，根据本申请实施例的银行信贷风险预警系统100可以实现在各种终端设备中，例如用于银行信贷风险预警的服务器等。在一个示例中，根据本申请实施例的银行信贷风险预警系统100可以作为一个软件模块和/或硬件模块而集成到终端设备中。例如，该银行信贷风险预警系统100可以是该终端设备的操作系统中的一个软件模块，或者可以是针对于该终端设备所开发的一个应用程序；当然，该银行信贷风险预警系统100同样可以是该终端设备的众多硬件模块之一。
替换地，在另一示例中，该银行信贷风险预警系统100与该终端设备也可以是分立的设备，并且该银行信贷风险预警系统100可以通过有线和/或无线网络连接到该终端设备，并且按照约定的数据格式来传输交互信息。
示例性方法
图4为根据本申请实施例的银行信贷风险预警方法的流程图。如图4所示，根据本申请实施例的银行信贷风险预警方法，包括：S110，获取待检测客户的背景信息，所述背景信息包括基本信息、关系人信息、关联企业信息、资产信息和历史贷款信息；S120，对所述待检测客户的背景信息进行分词处理后通过词嵌入层以得到背景信息词向量的序列；S130，将所述背景信息词向量的序列输入基于转换器的上下文编码器以得到多个上下文背景特征向量；S140，将所述多个上下文背景特征向量进行二维排列以得到全局上下文背景特征矩阵；S150，将所述全局上下文背景特征矩阵通过使用空间注意力机制的卷积神经网络模型以得到增强全局上下文背景特征矩阵；以及，S160，将所述增强全局上下文背景特征矩阵通过分类器以得到分类结果，所述分类结果用于表示是否产生信贷风险预警。
图5为根据本申请实施例的银行信贷风险预警方法中对所述基于转换器的上下文编码器、所述使用空间注意力机制的卷积神经网络模型和所述分类器进行训练的流程图。如图5所示，对所述基于转换器的上下文编码器、所述使用空间注意力机制的卷积神经网络模型和所述分类器进行训练，包括步骤：S210，获取待检测客户的训练背景信息，所述训练背景信息包括基本信息、关系人信息、关联企业信息、资产信息和历史贷款信息，以及，是否产生信贷风险预警的真实值；S220，对所述待检测客户的训练背景信息进行分词处理后通过词嵌入层以得到训练背景信息词向量的序列；S230，将所述训练背景信息词向量的序列输入所述基于转换器的上下文编码器以得到多个训练上下文背景特征向量；S240，将所述多个训练上下文背景特征向量进行二维排列以得到训练全局上下文背景特征矩阵；S250，将所述训练全局上下文背景特征矩阵通过所述使用空间注意力机制的卷积神经网络模型以得到训练增强全局上下文背景特征矩阵；S260，对所述训练增强全局上下文背景特征矩阵进行本征单位化的逐位位移关联匹配优化以得到优化后训练增强全局上下文背景特征矩阵；S270，将所述优化后训练增强全局上下文背景特征矩阵通过所述分类器以得到分类损失函数值；以及，S280，基于所述分类损失函数值来对所述基于转换器的上下文编码器、所述使用空间注意力机制的卷积神经网络模型和所述分类器进行训练。
这里，本领域技术人员可以理解，上述银行信贷风险预警方法中的各个步骤和操作已经在上面参考图1到图3的银行信贷风险预警系统100的描述中得到了详细介绍，并因此，将省略其重复描述。
示例性电子设备
下面，参考图6来描述根据本申请实施例的电子设备。图6为根据本申请实施例的电子设备的框图。如图6所示，电子设备10包括一个或多个处理器11和存储器12。
处理器11可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备10中的其他组件以执行期望的功能。
存储器12可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器11可以运行所述程序指令，以实现上文所述的本申请的各个实施例的银行信贷风险预警方法中的功能以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如待检测客户的背景信息等各种内容。
在一个示例中，电子设备10还可以包括：输入装置13和输出装置14，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。
该输入装置13可以包括例如键盘、鼠标等等。
该输出装置14可以向外部输出各种信息，包括分类结果等。该输出装置14可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
当然，为了简化，图6中仅示出了该电子设备10中与本申请有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备10还可以包括任何其他适当的组件。
示例性计算机程序产品和计算机可读存储介质
除了上述方法和设备以外，本申请的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的银行信贷风险预警方法中的功能中的步骤。
所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
此外，本申请的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的银行信贷风险预警方法中的功能中的步骤。
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。
本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。
Claims (6)
1.一种银行信贷风险预警系统，其特征在于，包括：
客户信息抓取单元，用于获取待检测客户的背景信息，所述背景信息包括基本信息、关系人信息、关联企业信息、资产信息和历史贷款信息；
词嵌入化单元，用于对所述待检测客户的背景信息进行分词处理后通过词嵌入层以得到背景信息词向量的序列；
上下文理解单元，用于将所述背景信息词向量的序列输入基于转换器的上下文编码器以得到多个上下文背景特征向量；
全局化单元，用于将所述多个上下文背景特征向量进行二维排列以得到全局上下文背景特征矩阵；
局部关注强化单元，用于将所述全局上下文背景特征矩阵通过使用空间注意力机制的卷积神经网络模型以得到增强全局上下文背景特征矩阵；以及
风险预警结果生成单元，用于将所述增强全局上下文背景特征矩阵通过分类器以得到分类结果，所述分类结果用于表示是否产生信贷风险预警；
其中，还包括用于对所述基于转换器的上下文编码器、所述使用空间注意力机制的卷积神经网络模型和所述分类器进行训练的训练模块；
其中，所述训练模块，包括：
训练信息抓取单元，用于获取待检测客户的训练背景信息，所述训练背景信息包括基本信息、关系人信息、关联企业信息、资产信息和历史贷款信息，以及，是否产生信贷风险预警的真实值；
训练词嵌入化单元，用于对所述待检测客户的训练背景信息进行分词处理后通过词嵌入层以得到训练背景信息词向量的序列；
训练上下文理解单元，用于将所述训练背景信息词向量的序列输入所述基于转换器的上下文编码器以得到多个训练上下文背景特征向量；
训练全局化单元，用于将所述多个训练上下文背景特征向量进行二维排列以得到训练全局上下文背景特征矩阵；
训练局部关注强化单元，用于将所述训练全局上下文背景特征矩阵通过所述使用空间注意力机制的卷积神经网络模型以得到训练增强全局上下文背景特征矩阵；
逐位位移关联匹配优化单元，用于对所述训练增强全局上下文背景特征矩阵进行本征单位化的逐位位移关联匹配优化以得到优化后训练增强全局上下文背景特征矩阵；
分类损失单元，用于将所述优化后训练增强全局上下文背景特征矩阵通过所述分类器以得到分类损失函数值；以及
训练单元，用于基于所述分类损失函数值来对所述基于转换器的上下文编码器、所述使用空间注意力机制的卷积神经网络模型和所述分类器进行训练；
其中，所述逐位位移关联匹配优化单元，进一步用于：
以如下公式对所述训练增强全局上下文背景特征矩阵进行本征单位化的逐位位移关联匹配优化以得到优化后训练增强全局上下文背景特征矩阵；
其中，所述公式为：
其中，M和M′分别为所述训练增强全局上下文背景特征矩阵和所述优化后训练增强全局上下文背景特征矩阵，ve1到ven是所述训练增强全局上下文背景特征矩阵进行本征分解后得到的n个本征值，Me为所述n个本征值沿对角线排列所得到的本征单位化矩阵，其也为对角矩阵，d(Me,M)为所述本征单位化矩阵与所述训练增强全局上下文背景特征矩阵之间的距离，表示矩阵乘法，⊙表示点乘，/>表示按位置相加。
2.根据权利要求1所述的银行信贷风险预警系统，其特征在于，所述词嵌入化单元，包括：
分词子单元，用于对所述待检测客户的背景信息进行分词处理以获得多个背景信息词；以及
文本结构化子单元，用于将所述多个背景信息词通过词嵌入层以将所述多个背景信息词中各个背景信息词转化为背景信息词向量以得到背景信息词向量的序列，其中，所述词嵌入层使用可学习的嵌入矩阵对所述各个背景信息词进行嵌入编码。
3.根据权利要求2所述的银行信贷风险预警系统，其特征在于，所述上下文理解单元，进一步用于：
将所述背景信息词向量的序列排列为输入向量；
将所述输入向量通过可学习嵌入矩阵分别转化为查询向量和关键向量；
计算所述查询向量和所述关键向量的转置向量之间的乘积以得到自注意关联矩阵；
对所述自注意关联矩阵进行标准化处理以得到标准化自注意关联矩阵；
将所述标准化自注意关联矩阵输入Softmax激活函数进行激活以得到自注意力特征矩阵；以及
将所述自注意力特征矩阵与以所述背景信息词向量的序列中各个背景信息词向量作为值向量分别进行相乘以得到所述多个上下文背景特征向量。
4.根据权利要求3所述的银行信贷风险预警系统，其特征在于，所述局部关注强化单元，进一步用于：
使用所述卷积神经网络模型的卷积编码部分对所述全局上下文背景特征矩阵进行深度卷积编码以得到初始卷积特征图；
将所述初始卷积特征图输入所述卷积神经网络模型的空间注意力部分以得到空间注意力图；
将所述空间注意力图通过Softmax激活函数以得到空间注意力特征图；
计算所述空间注意力特征图和所述初始卷积特征图的按位置点乘以得到增强全局上下文背景特征图；以及
对所述增强全局上下文背景特征图进行沿通道维度的全局均值池化处理以得到所述增强全局上下文背景特征矩阵。
5.根据权利要求4所述的银行信贷风险预警系统，其特征在于，所述风险预警结果生成单元，包括：
展开子单元，用于将所述增强全局上下文背景特征矩阵按照行向量或者列向量展开为分类特征向量；
概率化子单元，用于将所述分类特征向量输入所述分类器的Softmax分类函数以得到所述分类特征向量归属于各个分类标签的概率值；以及
分类结果生成子单元，用于将最大概率值对应的分类标签确定为所述分类结果。
6.一种银行信贷风险预警方法，其特征在于，包括：
获取待检测客户的背景信息，所述背景信息包括基本信息、关系人信息、关联企业信息、资产信息和历史贷款信息；
对所述待检测客户的背景信息进行分词处理后通过词嵌入层以得到背景信息词向量的序列；
将所述背景信息词向量的序列输入基于转换器的上下文编码器以得到多个上下文背景特征向量；
将所述多个上下文背景特征向量进行二维排列以得到全局上下文背景特征矩阵；
将所述全局上下文背景特征矩阵通过使用空间注意力机制的卷积神经网络模型以得到增强全局上下文背景特征矩阵；以及
将所述增强全局上下文背景特征矩阵通过分类器以得到分类结果，所述分类结果用于表示是否产生信贷风险预警；
其中，还包括对所述基于转换器的上下文编码器、所述使用空间注意力机制的卷积神经网络模型和所述分类器进行训练；
其中，训练步骤包括：
获取待检测客户的训练背景信息，所述训练背景信息包括基本信息、关系人信息、关联企业信息、资产信息和历史贷款信息，以及，是否产生信贷风险预警的真实值；
对所述待检测客户的训练背景信息进行分词处理后通过词嵌入层以得到训练背景信息词向量的序列；
将所述训练背景信息词向量的序列输入所述基于转换器的上下文编码器以得到多个训练上下文背景特征向量；
将所述多个训练上下文背景特征向量进行二维排列以得到训练全局上下文背景特征矩阵；
将所述训练全局上下文背景特征矩阵通过所述使用空间注意力机制的卷积神经网络模型以得到训练增强全局上下文背景特征矩阵；
对所述训练增强全局上下文背景特征矩阵进行本征单位化的逐位位移关联匹配优化以得到优化后训练增强全局上下文背景特征矩阵；
将所述优化后训练增强全局上下文背景特征矩阵通过所述分类器以得到分类损失函数值；以及
基于所述分类损失函数值来对所述基于转换器的上下文编码器、所述使用空间注意力机制的卷积神经网络模型和所述分类器进行训练；
其中，对所述训练增强全局上下文背景特征矩阵进行本征单位化的逐位位移关联匹配优化以得到优化后训练增强全局上下文背景特征矩阵，进一步用于：
以如下公式对所述训练增强全局上下文背景特征矩阵进行本征单位化的逐位位移关联匹配优化以得到优化后训练增强全局上下文背景特征矩阵；
其中，所述公式为：
其中，M和M′分别为所述训练增强全局上下文背景特征矩阵和所述优化后训练增强全局上下文背景特征矩阵，ve1到ven是所述训练增强全局上下文背景特征矩阵进行本征分解后得到的n个本征值，Me为所述n个本征值沿对角线排列所得到的本征单位化矩阵，其也为对角矩阵，d(Me,M)为所述本征单位化矩阵与所述训练增强全局上下文背景特征矩阵之间的距离，表示矩阵乘法，⊙表示点乘，/>表示按位置相加。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310284316.7A CN116308754B (zh) | 2023-03-22 | 2023-03-22 | 一种银行信贷风险预警系统及其方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310284316.7A CN116308754B (zh) | 2023-03-22 | 2023-03-22 | 一种银行信贷风险预警系统及其方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116308754A CN116308754A (zh) | 2023-06-23 |
| CN116308754B true CN116308754B (zh) | 2024-02-13 |
Family
ID=86818406
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310284316.7A Active CN116308754B (zh) | 2023-03-22 | 2023-03-22 | 一种银行信贷风险预警系统及其方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116308754B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116777608A (zh) * | 2023-08-25 | 2023-09-19 | 北京佳格天地科技有限公司 | 基于大数据的农业金融风险监管系统、方法及存储介质 |
| CN117252689B (zh) * | 2023-11-13 | 2024-02-13 | 北京佳格天地科技有限公司 | 基于大数据的农业用户信贷决策支持方法及系统 |
| CN117710096B (zh) * | 2024-02-05 | 2024-04-16 | 北京佳格天地科技有限公司 | 基于地块信息的农业贷款的贷后风险监测方法及系统 |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110825845A (zh) * | 2019-10-23 | 2020-02-21 | 中南大学 | 一种基于字符与自注意力机制的层次文本分类方法及中文文本分类方法 |
| CN111046670A (zh) * | 2019-12-09 | 2020-04-21 | 大连理工大学 | 基于毒品案件法律文书的实体及关系联合抽取方法 |
| CN112101043A (zh) * | 2020-09-22 | 2020-12-18 | 浙江理工大学 | 一种基于注意力的语义文本相似度计算方法 |
| WO2021098651A1 (zh) * | 2019-11-22 | 2021-05-27 | 深圳前海微众银行股份有限公司 | 一种风险实体获取方法及装置 |
| CN113610626A (zh) * | 2021-07-26 | 2021-11-05 | 建信金融科技有限责任公司 | 银行信贷风险识别知识图谱构建方法、装置、计算机设备及计算机可读存储介质 |
| CN113705909A (zh) * | 2021-08-31 | 2021-11-26 | 平安银行股份有限公司 | 基于预测模型的风险等级预测方法、装置与存储介质 |
| CN113947161A (zh) * | 2021-10-28 | 2022-01-18 | 广东工业大学 | 一种基于注意力机制的多标签文本分类方法及系统 |
| CN114330966A (zh) * | 2021-10-15 | 2022-04-12 | 腾讯科技（深圳）有限公司 | 一种风险预测方法、装置、设备以及可读存储介质 |
| CN114429122A (zh) * | 2022-01-25 | 2022-05-03 | 重庆大学 | 一种基于循环注意力的方面级情感分析系统和方法 |
| CN114495224A (zh) * | 2022-01-24 | 2022-05-13 | 中国工商银行股份有限公司 | 一种信贷风险确定方法及装置 |
| CN114692602A (zh) * | 2022-03-23 | 2022-07-01 | 浙江工业大学 | 一种句法信息注意力引导的图卷积网络关系抽取方法 |
| CN114969316A (zh) * | 2021-02-24 | 2022-08-30 | 腾讯科技（深圳）有限公司 | 一种文本数据处理方法、装置、设备以及介质 |
| CN115602165A (zh) * | 2022-09-07 | 2023-01-13 | 杭州优航信息技术有限公司（Cn） | 基于金融系统的数字员工智能系统 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019023500A1 (en) * | 2017-07-26 | 2019-01-31 | The Trustees Of Dartmouth College | PERCEPTUAL APPARATUS IMPLEMENTED BY COMPUTER |
| US11748555B2 (en) * | 2021-01-22 | 2023-09-05 | Bao Tran | Systems and methods for machine content generation |
-
2023
- 2023-03-22 CN CN202310284316.7A patent/CN116308754B/zh active Active
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110825845A (zh) * | 2019-10-23 | 2020-02-21 | 中南大学 | 一种基于字符与自注意力机制的层次文本分类方法及中文文本分类方法 |
| WO2021098651A1 (zh) * | 2019-11-22 | 2021-05-27 | 深圳前海微众银行股份有限公司 | 一种风险实体获取方法及装置 |
| CN111046670A (zh) * | 2019-12-09 | 2020-04-21 | 大连理工大学 | 基于毒品案件法律文书的实体及关系联合抽取方法 |
| CN112101043A (zh) * | 2020-09-22 | 2020-12-18 | 浙江理工大学 | 一种基于注意力的语义文本相似度计算方法 |
| CN114969316A (zh) * | 2021-02-24 | 2022-08-30 | 腾讯科技（深圳）有限公司 | 一种文本数据处理方法、装置、设备以及介质 |
| CN113610626A (zh) * | 2021-07-26 | 2021-11-05 | 建信金融科技有限责任公司 | 银行信贷风险识别知识图谱构建方法、装置、计算机设备及计算机可读存储介质 |
| CN113705909A (zh) * | 2021-08-31 | 2021-11-26 | 平安银行股份有限公司 | 基于预测模型的风险等级预测方法、装置与存储介质 |
| CN114330966A (zh) * | 2021-10-15 | 2022-04-12 | 腾讯科技（深圳）有限公司 | 一种风险预测方法、装置、设备以及可读存储介质 |
| CN113947161A (zh) * | 2021-10-28 | 2022-01-18 | 广东工业大学 | 一种基于注意力机制的多标签文本分类方法及系统 |
| CN114495224A (zh) * | 2022-01-24 | 2022-05-13 | 中国工商银行股份有限公司 | 一种信贷风险确定方法及装置 |
| CN114429122A (zh) * | 2022-01-25 | 2022-05-03 | 重庆大学 | 一种基于循环注意力的方面级情感分析系统和方法 |
| CN114692602A (zh) * | 2022-03-23 | 2022-07-01 | 浙江工业大学 | 一种句法信息注意力引导的图卷积网络关系抽取方法 |
| CN115602165A (zh) * | 2022-09-07 | 2023-01-13 | 杭州优航信息技术有限公司（Cn） | 基于金融系统的数字员工智能系统 |
Non-Patent Citations (2)
| Title |
|---|
| 图神经网络在中文金融事件抽取系统中的研究与应用;汪腾睿;《中国优秀硕士学位论文全文数据库 信息科技辑 (月刊)》;20230115;1-55 * |
| 基于自注意力机制的中文标点符号预测模型;段大高等;《计算机工程》;20190517;第46卷(第5期);291-297 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116308754A (zh) | 2023-06-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11631007B2 (en) | Method and device for text-enhanced knowledge graph joint representation learning | |
| CN116308754B (zh) | 一种银行信贷风险预警系统及其方法 | |
| CN108959482B (zh) | 基于深度学习的单轮对话数据分类方法、装置和电子设备 | |
| CN115796173B (zh) | 针对监管报送需求的数据处理方法和系统 | |
| WO2023236977A1 (zh) | 一种数据处理方法及相关设备 | |
| CN116307624B (zh) | 一种erp系统的资源调度方法及其系统 | |
| CN113065331A (zh) | 基于实体上下文判别的实体情感识别方法和系统 | |
| CN115456789B (zh) | 基于交易模式识别的异常交易检测方法及其系统 | |
| CN112800774A (zh) | 基于注意力机制的实体关系抽取方法、装置、介质和设备 | |
| CN116309580B (zh) | 基于磁应力的油气管道腐蚀检测方法 | |
| CN116257406A (zh) | 用于智慧城市的网关数据管理方法及其系统 | |
| KR20220047228A (ko) | 이미지 분류 모델 생성 방법 및 장치, 전자 기기, 저장 매체, 컴퓨터 프로그램, 노변 장치 및 클라우드 제어 플랫폼 | |
| CN115951883B (zh) | 分布式微服务架构的服务组件管理系统及其方法 | |
| CN113434699A (zh) | Bert模型的预训练方法、计算机装置和存储介质 | |
| US20240046067A1 (en) | Data processing method and related device | |
| CN116341564A (zh) | 基于语义理解的问题推理方法和装置 | |
| CN111597816A (zh) | 一种自注意力命名实体识别方法、装置、设备及存储介质 | |
| CN110889290B (zh) | 文本编码方法和设备、文本编码有效性检验方法和设备 | |
| US20240028828A1 (en) | Machine learning model architecture and user interface to indicate impact of text ngrams | |
| Xiao et al. | LIDA‐YOLO: An unsupervised low‐illumination object detection based on domain adaptation | |
| CN117408596A (zh) | 智能物流配送管理系统及其方法 | |
| CN116912597A (zh) | 知识产权智能管理系统及其方法 | |
| Abdullah et al. | VAE-GAN3D: Leveraging image-based semantics for 3D zero-shot recognition | |
| Tang et al. | Interpretability rules: Jointly bootstrapping a neural relation extractorwith an explanation decoder | |
| Sharma et al. | Optical Character Recognition Using Hybrid CRNN Based Lexicon-Free Approach with Grey Wolf Hyperparameter Optimization |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |