CN113259348A - 异构数据处理方法、装置、计算机设备及存储介质 - Google Patents
异构数据处理方法、装置、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN113259348A CN113259348A CN202110519051.5A CN202110519051A CN113259348A CN 113259348 A CN113259348 A CN 113259348A CN 202110519051 A CN202110519051 A CN 202110519051A CN 113259348 A CN113259348 A CN 113259348A
- Authority
- CN
- China
- Prior art keywords
- data
- information
- key information
- heterogeneous data
- heterogeneous
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 24
- 238000012545 processing Methods 0.000 claims abstract description 18
- 238000000034 method Methods 0.000 claims abstract description 15
- 238000004422 calculation algorithm Methods 0.000 claims description 25
- 238000000605 extraction Methods 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 11
- 230000011218 segmentation Effects 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 7
- 238000012795 verification Methods 0.000 claims description 6
- 238000013145 classification model Methods 0.000 claims description 5
- 238000004891 communication Methods 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000012163 sequencing technique Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 230000004069 differentiation Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/12—Applying verification of the received information
- H04L63/123—Applying verification of the received information received data contents, e.g. message integrity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/602—Providing cryptographic facilities or services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/64—Protecting data integrity, e.g. using checksums, certificates or signatures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/04—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
- H04L63/0428—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
Landscapes
- Engineering & Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Theoretical Computer Science (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- Bioethics (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Storage Device Security (AREA)
Abstract
本发明涉及数据处理领域,公开了一种异构数据处理方法、装置、计算机设备及存储介质,所述方法包括:通过获取异构数据,并基于异构数据的数据类型,提取异构数据的关键信息,将关键信息加密后存储到区块链,在需要对异构数据的完整性进行验证时,从区块链中获取加密的关键信息验证异构数据的完整性,在V2X终端对海量异构数据进行传输时,提高异构数据的安全性和可靠性。
Description
技术领域
本发明涉及数据处理领域,尤其涉及异构数据处理方法、装置、计算机设备及存储介质。
背景技术
目前,V2X技术(Vehicle to Everything,车用无线通信技术)可实现250Kph高速率与高密度通信,支持异构数据传输,尤其是在商业化应用中,V2X终端作为信息交互关键节点需要传输海量异构数据,与道路安全、账户安全、金融安全等息息相关。
为确保数据使用过程中的安全性,当前,往往在生成车用无线通信中的异构数据时进行加密,另一通信终端在接收到加密数据时,进行解密使用,随着5G等新型网络的发展,数据传输交互的速度有了本质的提升,使得在一定时间内,需要处理的数据量增大,在数据量较大时,采用这种先加密再解密的方式,耗费时间远大于数据传输,而使得无法及时响应后续参与通信的数据,导致数据处理异常,因而,亟需一种可以提高车用无线通信中异构数据处理效率的方法。
发明内容
本发明实施例提供异构数据处理方法、装置、计算机设备和存储介质,以提高V2X终端对海量异构数据进行加解密时,密钥的安全性和可靠性。
为了解决上述技术问题,本申请实施例提供一种异构数据处理方法,包括:
获取异构数据;
基于所述异构数据的数据类型,提取所述异构数据的关键信息;
将所述关键信息加密后存储到区块链;
在对所述异构数据的完整性进行验证时,从所述区块链中获取加密的关键信息验证所述异构数据的完整性。
为了解决上述技术问题,本申请实施例还提供一种异构数据处理装置,包括:
获取模块,用于获取异构数据;
提取模块,用于基于所述异构数据的数据类型,提取所述异构数据的关键信息;
加密模块,用于将所述关键信息加密后存储到区块链;
验证模块,用于在对所述异构数据的完整性进行验证时,从所述区块链中获取加密的关键信息验证所述异构数据的完整性。
为了解决上述技术问题,本申请实施例还提供一种计算机设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述异构数据处理方法的步骤。
为了解决上述技术问题,本申请实施例还提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述异构数据处理方法的步骤。
本发明实施例提供的异构数据处理方法、装置、计算机设备及存储介质,通过获取异构数据,并基于异构数据的数据类型,提取异构数据的关键信息,将关键信息加密后存储到区块链,在需要对异构数据的完整性进行验证时,从区块链中获取加密的关键信息验证异构数据的完整性,在V2X终端对海量异构数据进行传输时,提高异构数据的安全性和可靠性。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对本发明实施例的描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本申请可以应用于其中的示例性系统架构图;
图2是本申请的异构数据处理方法的一个实施例的流程图;
图3是根据本申请的异构数据处理装置的一个实施例的结构示意图;
图4是根据本申请的计算机设备的一个实施例的结构示意图。
具体实施方式
除非另有定义,本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同;本文中在申请的说明书中所使用的术语只是为了描述具体的实施例的目的,不是旨在于限制本申请;本申请的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”以及它们的任何变形,意图在于覆盖不排他的包含。本申请的说明书和权利要求书或上述附图中的术语“第一”、“第二”等是用于区别不同对象,而不是用于描述特定顺序。
在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
请参阅图1,如图1所示,系统架构100可以包括终端设备101、102、103,网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互,以接收或发送消息等。
终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备,包括但不限于智能手机、平板电脑、电子书阅读器、MP3播放器(Moving Picture EpertsGroup Audio Layer III,动态影像专家压缩标准音频层面3)、MP4(Moving PictureEperts Group Audio Layer IV,动态影像专家压缩标准音频层面4)播放器、膝上型便携计算机和台式计算机等等。
服务器105可以是提供各种服务的服务器,例如对终端设备101、102、103上显示的页面提供支持的后台服务器。
需要说明的是,本申请实施例所提供的异构数据处理方法由服务器执行,相应地,异构数据处理装置设置于服务器中。
应该理解,图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和服务器,本申请实施例中的终端设备101、102、103具体可以对应的是实际生产中的应用系统。
请参阅图2,图2示出本发明实施例提供的一种异构数据处理方法,以该方法应用在图1中的服务端为例进行说明,详述如下:
S201:获取异构数据。
具体的,通过通信网络获取在V2X技术在商业化应用场景中产生的异构数据,其中,应用场景包括但不限于持编队行驶、高级驾驶、远程驾驶、自动驾驶、汽车电子支付、自动泊车、自动加油、交通路网规划与控制,异构数据包括但不限于视频、图像、语音、文本、交通信息和电子支付数据与控制指令。
S202:基于异构数据的数据类型,提取异构数据的关键信息。
具体的,基于异构数据的数据类型,采用信息摘要技术对异构数据进行信息提取,得到关键信息,其中,异构数据的数据类型包括视频数据、图像数据、语音数据、文本数据及其它数据,其中,其它数据包括但不限于交通信息和电子支付数据与控制指令,关键信息是通过信息摘要技术在异构数据中提取的具有一定长度的数据信息,该关键信息用来保证异构数据的完整性,防止在V2X技术在商业化应用场景,异构数据在传输过程中被篡改。
S203:将关键信息加密后存储到区块链。
S204:在需要对异构数据的完整性进行验证时,从区块链中获取加密的关键信息验证异构数据的完整性。
具体的,从区块链中获取加密的关键信息并进行解密,将解密后的与异构数据中相应的数据段进行比较,若数据段一致,则证明异构数据是完整的、可靠的,否则证明异构数据不是完整的,有可能被篡改过。
在本实施例中,通过获取异构数据,并基于异构数据的数据类型,提取异构数据的关键信息,将关键信息加密后存储到区块链,在需要对异构数据的完整性进行验证时,从区块链中获取加密的关键信息验证异构数据的完整性,在V2X终端对海量异构数据进行传输时,提高异构数据的安全性和可靠性。
在本实施例的一些可选的实现方式中,步骤S202中,异构数据的数据类型为图片数据,提取异构数据的关键信息的步骤包括步骤S20201至S20205:
S20201:采用预设的判断方式,获取图片数据的类别信息和层次信息。
具体的,预设的判断方式可以是相似度计算方法、聚类算法等,其中,相似度计算方法通过计算图片数据中像素点的相似度值,并根据相似度值对图片数据中的像素点进行分类来获取类别信息和层次信息,聚类算法通过对图片数据中的像素点进行聚类来获取类别信息和层次信息,通过采用相似度计算方法、聚类算法等对图片数据中的像素点的相似度值,并根据相似度值对像素点进行分类,得到图片数据的类别信息,同时,对类别信息进行分层得到层次信息。例如,获取到的层次信息包括第一层次、第二层次、第三层次、以此类推,类别信息包括第一层次的类别数量为1、第二层次的类别数量为2、第三层次的类别数量为3、以此类推,此处需要特别说明的是,可以采用数字对每一层次以及每一层次中的每一类别进行标记,实现层次区分和不同层次中的不同类别的区分。
S20202:根据类别信息和层次信息,采用聚类算法对图片数据进行聚类处理,得到每一层次中每一类别的聚类中心。
具体的,可以根据类别信息和层次信息对图像数据聚类结果进行分类序号标记和分层序号标记,得到层次序号和类别序号,根据层次序号和类别序号获取每一个层次的每一类别的聚类中心C(i,j),其中,i为层次序号,j为类别序号,i=1、2、3、以此类推,j=1、2、3、以此类推。
S20203:根据类别信息和层次信息,将聚类中心进行排序得到聚类中心序列,根据聚类中心序列,生成聚类中心向量。
具体的,可以根据类别信息和层次信息对图像数据聚类结果进行分类序号标记和分层序号标记,得到层次序号和类别序号,根据层次序号和类别序号对聚类中心进行排序得到聚类中心序列V=(C(i,j)),该聚类中心序列V=(C(i,j))即为聚类中心向量。
S20204:按照聚类中心序列中聚类中心的顺序,依次获取每个聚类中心对应的像素值,得到像素值序列,并根据像素值序列生成像素值向量。
具体的,可以按照聚类中心序列中聚类中心的顺序,依次获取每个聚类中心对应的像素值P(i,j),得到像素值序列S=(P(i,j)),该像素值序列S=(P(i,j))即为像素值向量。
S20205:将聚类中心向量和像素值向量作为关键信息。
在本实施例中,采用预设的判断方式,获取图片数据的类别信息和层次信息,根据类别信息和层次信息,采用聚类算法对图片数据进行聚类处理,得到每一层次中每一类别的聚类中心和聚类中心对应的像素值,根据类别信息和层次信息,将聚类中心进行排序得到聚类中心序列,根据聚类中心序列,得到聚类中心向量,根据类别信息和层次信息,将像素值进行排序得到像素值序列,根据像素值序列,得到像素值向量,将聚类中心向量和像素值向量作为所述关键信息,可使得V2X终端在对图片数据进行加解密时,仅需对关键信息进行加解密,大大节省了V2X终端的计算资源和存储资源的占用,提高了V2X终端的工作效率。
在本实施例的一些可选的实现方式中,步骤S202中,异构数据的数据类型为视频数据,提取异构数据的关键信息的步骤包括步骤S2022至S2024:
S2022:获取所述视频数据中每一帧目标图像的向量信息,所述向量信息包括每一帧目标图像中目标物体的位置信息、时间信息、类别信息。
具体的,采用目标检测与物体分类算法获取视频数据中每一帧目标图像中目标物体的位置信息、时间信息、类别信息,其中,目标物体的位置信息为目标物体在目标图像中的坐标位置,时间信息为目标图像在视频数据中出现的时间点或时间段,类别信息为目标物体的像素点的类别标记,向量信息根据目标物体的位置信息、时间信息、类别信息合成。
示例性的,向量信息表示为LT=[x,y,t,type],其中,x,y为目标物体的位置信息,t为时间(也是每一帧目标图像的索引),type是目标物体的类别。
S2023:在预设周期内,当目标物体的类别信息不一致和/或目标物体的位置信息的变化量超过预设偏移量和/或图像帧数变化量超过预设第一阈值,则确定在预设周期内发生改变的图像帧数和图像帧数发生改变的时刻。
具体的,假设视频数据的总时长为Z,则预设周期Zt的取值范围为0<Zt≤Z,例如,总时长Z为60分钟,预设周期为0<Zt≤60,该预设周期的具体数值可根据实际需求进行设置,预设偏移量为分析在预设周期内的历史数据获得目标物体的位置信息变化量的阈值,预设第一阈值为分析在预设周期内历史数据获得图像帧数变化量的阈值,当位置信息的变化量、图像帧数变化量、类别信息之一或两两之间或三者同时发生改变时,确定在预设周期内发生改变的图像帧数和图像帧数发生改变的时刻。
例如,在检测视频数据中同一目标的情况下,假设位置信息的变化量为D,预设偏移量为DT,在预设周期内,被检测目标位置在T时刻的前后位置信息的变化量D=|x2-x1|+|y2-y1|,若D>DT,则确定在预设周期内发生改变的图像帧数和图像帧数发生改变的时刻;
在检测视频数据中同一目标的情况下,若被检测目标在T时刻之前检测到的类别信息为type1,在T时刻之后检测到的类别信息为type2,则确定在预设周期内发生改变的图像帧数和图像帧数发生改变的时刻;
在检测视频数据中同一目标的情况下,假设发生改变的图像帧数为K,针对发生改变的图像帧数的预设第一阈值为KT,若被检测目标在T时刻之前检测到的图像帧数为N1,在T时刻之后检测到的图像帧数为N2,且发生改变的图像帧数K=|N2-N1|>KT,则确定在预设周期内发生改变的图像帧数和图像帧数发生改变的时刻。
S2024:根据图像帧数和图像帧数发生改变的时刻进行信息提取,得到关键信息。
具体的,假设发生改变的图像帧数为K,图像帧数发生改变的时刻为C,则提取t(C-K/2)到t(C+K/2)之间的图像帧数,得到关键信息。
在本实施例中,通过对视频数据进行信息提取得到关键信息,可使得V2X终端在对视频数据进行加解密时,仅需对关键信息进行加解密,大大节省了V2X终端的计算资源和存储资源的占用,提高了V2X终端的工作效率。
在本实施例的一些可选的实现方式中,步骤S202中,异构数据的数据类型为语音数据,提取异构数据的关键信息的步骤包括S2025至S2026:
S2025:将当前时间段的语音数据与前一时间段的语音数据进行差值计算,得到数据差值信息。
具体的,对同一段语音数据,检测当前时间段语音数据和前一时间段的语音数据的中心频率、波峰、波谷、幅度等数据指标,将当前时间段语音数据和前一时间段的语音数据的数据指标进行差值计算,得到数据差值信息。
S2026:若数据差值信息超过预设第二阈值,则从语音数据中进行信息提取,得到关键信息。
具体的,预设第二阈值根据历史数据分析得到,若数据差值信息超过预设第二阈值,则采用关键信息摘要技术对语音数据进行信息提取,得到关键信息。
在本实施例中,通过对语音数据进行信息提取得到关键信息,可使得V2X终端在对语音数据进行加解密时,仅需对关键信息进行加解密,大大节省了V2X终端的计算资源和存储资源的占用,提高了V2X终端的工作效率。
在本实施例的一些可选的实现方式中,步骤S202中,异构数据的数据类型为文本数据,提取异构数据的关键信息的步骤包括S2027至S2030:
S2027:对文本数据进行分词频率统计,得到分词频率统计结果。
具体的,采用数据分析处理算法对文本数据进行词频统计,得到分词频率统计结果。
S2028:将文本数据输入预设的文本分类模型,得到文本分类结果。
具体的,预设的文本分类模型通过对历史的文本数据进行预训练得到,其可对文本数据中的单词、短语、句子以及语义、语法结构进行分析,从而实现将文本数据输入预设的文本分类模型,得到文本分类结果。
S2029:对文本数据进行预设长度的字符串提取,得到预设长度的字符串。
具体的,可以采用关键信息摘要技术对文本数据进行预设长度的字符串提取。
S2030:将分词频率统计结果、文本分类结果及预设长度的字符串作为关键信息。
在本实施例中,通过对文本数据进行信息提取得到关键信息,可使得V2X终端在对文本数据进行加解密时,仅需对关键信息进行加解密,大大节省了V2X终端的计算资源和存储资源的占用,提高了V2X终端的工作效率。
进一步的,当异构数据的类型为关系型数据、非关系型数据等其它数据时,可直接采用国密SM3算法进行信息提取,得到关键信息,其中,SM3算法是一种密码杂凑算法,适用于商用密码应用中的数字签名和验证消息认证码的生成与验证以及随机数的生成,在此处用于对关系型数据、非关系型数据等其它数据进行消息摘要实现信息提取,得到关键信息。
在本实施例的一些可选的实现方式中,步骤S203中,将关键信息加密后存储到区块链的步骤包括:
S2031:基于国密算法,对关键信息进行非对称加密,得到加密关键信息。
具体的,采用国密SM2算法对关键信息进行非对称加密,保证关键信息的安全,且由于关键信息的数据量远远小于原始异构数据的数据量,因此在对关键信息进行非对称加密时,减少了加密所需的耗时,提高了V2X终端的计算效率,其中,国密SM2算法是椭圆曲线公钥密码算法,是一种更先进安全的算法,在我国商用密码体系中被用来替换RSA算法,相比于RSA算法,具有密码复杂度高、处理速度快、机器性能消耗更小等优点,因此采用国密SM2算法对关键信息进行非对称加密,提高了关键信息的安全性,提高了对关键信息进行加解密的效率。
可选的,采用国密SM2算法对关键信息进行非对称加密之前,可采用国密SM1硬件对关键信息进行对称加密,通过采用硬件方式对关键信息进行对称加密,其中,国密SM1算法是一种商用密码分组标准对称算法,其具有算法不公开,只能用硬件实现其加密功能的特性,进一步提高关键信息的安全性。
S2032:将加密关键信息存储到区块链。
具体的,在步骤S2032中,将加密关键信息存储到区块链,由于关键信息的数据量远远小于原始异构数据的数据量,使得生成的区块远远小于直接将原始异构数据加密后存储所需要的区块,节省了大量存储空间,且可以通过区块链上存储的加密关键信息验证原始异构数据的完整性,确保原始异构数据的安全性,此处需要特别说明的是,加密关键信息可以存储到区块链上所有的共识区块,也可以存储到相应的共识区块。
可选的,可以将原始异构数据以非加密形式保存到区块链上相应的共识区块,节省了区块链的存储空间,并可通过获取区块链上原始异构数据对应的关键信息验证原始异构数据的完整性,确保原始异构数据的安全性。
在本实施例中,通过采用国密算法对关键信息进行加密后存储到区块链上,提高了关键信息的安全性,保证关键信息不被篡改且真实有效。
在本实施例的一些可选的实现方式中,基于异构数据的数据类型,提取异构数据的关键信息的步骤之后,该异构数据处理方法还包括:
计算关键信息的数据量;
若数据量超过预设第三阈值,则减少数据量,直至数据量低于预设第三阈值。
具体的,预设第三阈值根据历史数据分析得到,若关键信息的数据量超过预设第三阈值,可采用压缩算法对关键信息进行压缩,直至关键信息的数据量低于预设第三阈值;或预设随机数范围,在随机数范围内随机选取随机数,以该随机数为数据段的数据长度,在关键信息中进行数据段提取,直至关键信息的数据量低于预设第三阈值。
在本实施例中,通过计算关键信息的数据量,若关键信息的数据量超过预设第三阈值,则减少关键信息的数据量,直至数据量低于预设第三阈值,可控制关键信息的数据量,提高V2X终端的工作效率,且保证关键信息真实有效。
应理解,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本发明实施例的实施过程构成任何限定。
图3示出与上述实施例异构数据处理方法一一对应的异构数据处理装置的原理框图。如图3所示,该异构数据处理装置包括获取模块31、提取模块32、加密模块33和验证模块34。各功能模块详细说明如下:
获取模块31,用于获取异构数据。
提取模块32,用于基于异构数据的数据类型,提取异构数据的关键信息。
加密模块33,用于将关键信息加密后存储到区块链。
验证模块34,用于在对异构数据的完整性进行验证时,从区块链中获取加密的关键信息验证异构数据的完整性。
在一实施例中,提取模块32包括第一提取单元,该单元详细说明如下:
获取单元,用于采用预设的判断方式,获取图片数据的类别信息和层次信息。
聚类单元,用于根据类别信息和层次信息,采用聚类算法对所述图片数据进行聚类处理,得到每一层次中每一类别的聚类中心。
第一排序单元,用于根据类别信息和层次信息,将聚类中心进行排序得到聚类中心序列,根据聚类中心序列,生成聚类中心向量。
第二排序单元,用于按照聚类中心序列中聚类中心的顺序,依次获取每个聚类中心对应的像素值,得到像素值序列,并根据像素值序列生成像素值向量。
第一关键信息确认单元,用于将聚类中心向量和像素值向量作为关键信息。
在一实施例中,提取模块32包括向量信息获取单元、确定单元和第二提取单元,各个单元详细说明如下:
向量信息获取单元,用于获取所述视频数据中每一帧目标图像的向量信息,所述向量信息包括每一帧目标图像中目标物体的位置信息、时间信息、类别信息。
确定单元,用于在预设周期内,当目标物体的类别信息不一致和/或目标物体的位置信息的变化量超过预设偏移量和/或图像帧数变化量超过预设第一阈值,则确定在预设周期内发生改变的图像帧数和图像帧数发生改变的时刻。
第二提取单元,用于根据图像帧数和图像帧数发生改变的时刻进行信息提取,得到关键信息。
在一实施例中,提取模块32包括差值计算单元和第三提取单元,各个单元详细说明如下:
差值计算单元,用于将当前时间段的语音数据与前一时间段的语音数据进行差值计算,得到数据差值信息。
第三提取单元,用于若数据差值信息超过预设第二阈值,则从语音数据中进行信息提取,得到关键信息。
在一实施例中,提取模块32包括频率统计单元、文本分类单元、第四提取单元和第五提取单元,各个单元详细说明如下:
频率统计单元,用于对文本数据进行分词频率统计,得到分词频率统计结果。
文本分类单元,用于将文本数据输入预设的文本分类模型,得到文本分类结果。
第四提取单元,用于对文本数据进行预设长度的字符串提取,得到预设长度的字符串;
第二关键信息确认单元,用于将分词频率统计结果、文本分类结果及预设长度的字符串作为关键信息。
在一实施例中,加密模块33包括非对称加密但愿和存储单元,各个单元详细说明如下:
非对称加密单元,用于基于国密算法,对关键信息进行非对称加密,得到加密关键信息。
存储单元,用于将加密关键信息存储到区块链。
在一实施例中,异构数据处理装置还包括数据量计算单元和数据量减少单元,各个单元的详细说明具体如下:
数据量计算单元,用于计算关键信息的数据量。
数据量减少单元,用于若数据量超过预设第三阈值,则减少数据量,直至数据量低于预设第三阈值。
关于异构数据处理装置的具体限定可以参见上文中对于异构数据处理方法的限定,在此不再赘述。上述异构数据处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
为解决上述技术问题,本申请实施例还提供计算机设备。具体请参阅图4,图4为本实施例计算机设备基本结构框图。
所述计算机设备4包括通过系统总线相互通信连接存储器41、处理器42、网络接口43。需要指出的是,图中仅示出了具有组件连接存储器41、处理器42、网络接口43的计算机设备4,但是应理解的是,并不要求实施所有示出的组件,可以替代的实施更多或者更少的组件。其中,本技术领域技术人员可以理解,这里的计算机设备是一种能够按照事先设定或存储的指令,自动进行数值计算和/或信息处理的设备,其硬件包括但不限于微处理器、专用集成电路(Application Specific Integrated Circuit,ASIC)、可编程门阵列(Field-Programmable Gate Array,FPGA)、数字处理器(Digital Signal Processor,DSP)、嵌入式设备等。
所述计算机设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述计算机设备可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。
所述存储器41至少包括一种类型的可读存储介质,所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如,SD或D界面显示存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中,所述存储器41可以是所述计算机设备4的内部存储单元,例如该计算机设备4的硬盘或内存。在另一些实施例中,所述存储器41也可以是所述计算机设备4的外部存储设备,例如该计算机设备4上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。当然,所述存储器41还可以既包括所述计算机设备4的内部存储单元也包括其外部存储设备。本实施例中,所述存储器41通常用于存储安装于所述计算机设备4的操作系统和各类应用软件,例如电子文件的控制的程序代码等。此外,所述存储器41还可以用于暂时地存储已经输出或者将要输出的各类数据。
所述处理器42在一些实施例中可以是中央处理器(Central Processing Unit,CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器42通常用于控制所述计算机设备4的总体操作。本实施例中,所述处理器42用于运行所述存储器41中存储的程序代码或者处理数据,例如运行电子文件的控制的程序代码。
所述网络接口43可包括无线网络接口或有线网络接口,该网络接口43通常用于在所述计算机设备4与其他电子设备之间建立通信连接。
本申请还提供了另一种实施方式,即提供一种计算机可读存储介质,所述计算机可读存储介质存储有界面显示程序,所述界面显示程序可被至少一个处理器执行,以使所述至少一个处理器执行如上述的异构数据处理方法的步骤。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本申请各个实施例所述的方法。
显然,以上所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例,附图中给出了本申请的较佳实施例,但并不限制本申请的专利范围。本申请可以以许多不同的形式来实现,相反地,提供这些实施例的目的是使对本申请的公开内容的理解更加透彻全面。尽管参照前述实施例对本申请进行了详细的说明,对于本领域的技术人员来而言,其依然可以对前述各具体实施方式所记载的技术方案进行修改,或者对其中部分技术特征进行等效替换。凡是利用本申请说明书及附图内容所做的等效结构,直接或间接运用在其他相关的技术领域,均同理在本申请专利保护范围之内。
Claims (10)
1.异构数据处理方法,其特征在于,所述方法包括:
获取异构数据;
基于所述异构数据的数据类型,提取所述异构数据的关键信息;
将所述关键信息加密后存储到区块链;
在对所述异构数据的完整性进行验证时,从所述区块链中获取加密的关键信息验证所述异构数据的完整性。
2.如权利要求1所述的异构数据处理方法,所述异构数据的数据类型为图片数据,其特征在于,所述提取所述异构数据的关键信息的步骤包括:
采用预设的判断方式,获取所述图片数据的类别信息和层次信息;
根据所述类别信息和所述层次信息,采用聚类算法对所述图片数据进行聚类处理,得到每一层次中每一类别的聚类中心;
根据所述类别信息和所述层次信息,将所述聚类中心进行排序得到聚类中心序列,根据所述聚类中心序列,生成聚类中心向量;
按照所述聚类中心序列中聚类中心的顺序,依次获取每个聚类中心对应的像素值,得到像素值序列,并根据所述像素值序列生成像素值向量;
将所述聚类中心向量和所述像素值向量作为所述关键信息。
3.如权利要求1所述的异构数据处理方法,所述异构数据的数据类型为视频数据,其特征在于,所述提取所述异构数据的关键信息的步骤包括:
获取所述视频数据中每一帧目标图像的向量信息,所述向量信息包括每一帧目标图像中目标物体的位置信息、时间信息、类别信息;
在预设周期内,当所述目标物体的类别信息不一致和/或所述目标物体的位置信息的变化量超过预设偏移量和/或所述图像帧数变化量超过预设第一阈值,则确定在所述预设周期内发生改变的图像帧数和图像帧数发生改变的时刻;
根据所述图像帧数和所述图像帧数发生改变的时刻进行信息提取,得到所述关键信息。
4.如权利要求1所述的异构数据处理方法,所述异构数据的数据类型为语音数据,其特征在于,所述提取所述异构数据的关键信息的步骤包括:
将当前时间段的语音数据与前一时间段的语音数据进行差值计算,得到数据差值信息;
若所述数据差值信息超过预设第二阈值,则从所述语音数据中进行信息提取,得到所述关键信息。
5.如权利要求1所述的异构数据处理方法,所述异构数据的数据类型为文本数据,其特征在于,所述提取所述异构数据的关键信息的步骤包括:
对所述文本数据进行分词频率统计,得到分词频率统计结果;
将所述文本数据输入预设的文本分类模型,得到文本分类结果;
对所述文本数据进行预设长度的字符串提取,得到所述预设长度的字符串;
将所述分词频率统计结果、所述文本分类结果及所述预设长度的字符串作为所述关键信息。
6.如权利要求1所述的异构数据处理方法,其特征在于,所述将所述关键信息加密后存储到区块链的步骤包括:
基于国密算法,对所述关键信息进行非对称加密,得到加密关键信息;
将所述加密关键信息存储到所述区块链。
7.如权利要求1所述的异构数据处理方法,其特征在于,所述基于所述异构数据的数据类型,提取所述异构数据的关键信息的步骤之后,所述方法还包括:
计算所述关键信息的数据量;
若所述数据量超过预设第三阈值,则减少所述数据量,直至所述数据量低于所述预设第三阈值。
8.异构数据处理方法装置,其特征在于,所述装置包括:
获取模块,用于获取异构数据;
提取模块,用于基于所述异构数据的数据类型,提取所述异构数据的关键信息;
加密模块,用于将所述关键信息加密后存储到区块链;
验证模块,用于在需要对所述异构数据的完整性进行验证时,从所述区块链中获取加密的关键信息验证所述异构数据的完整性。
9.一种计算机设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的异构数据处理方法。
10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的异构数据处理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110519051.5A CN113259348A (zh) | 2021-05-12 | 2021-05-12 | 异构数据处理方法、装置、计算机设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110519051.5A CN113259348A (zh) | 2021-05-12 | 2021-05-12 | 异构数据处理方法、装置、计算机设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113259348A true CN113259348A (zh) | 2021-08-13 |
Family
ID=77223246
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110519051.5A Pending CN113259348A (zh) | 2021-05-12 | 2021-05-12 | 异构数据处理方法、装置、计算机设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113259348A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114168218A (zh) * | 2021-11-30 | 2022-03-11 | 深圳市名竹科技有限公司 | 数据处理方法、装置、计算机设备和存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102893535A (zh) * | 2010-03-12 | 2013-01-23 | 韩国电子通信研究院 | 用于在多输入多输出系统中传送和接收数据的方法和设备 |
KR102010571B1 (ko) * | 2017-11-15 | 2019-08-13 | 한전케이디엔 주식회사 | 블록체인을 이용한 스마트그리드 이종 데이터 보안 저장 방법 |
CN112130999A (zh) * | 2020-09-23 | 2020-12-25 | 南方电网科学研究院有限责任公司 | 一种基于边缘计算的电力异构数据处理方法 |
CN112732835A (zh) * | 2021-01-12 | 2021-04-30 | 宁波云麟信息科技有限公司 | 基于区块链的异构数据存储方法和电子设备 |
-
2021
- 2021-05-12 CN CN202110519051.5A patent/CN113259348A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102893535A (zh) * | 2010-03-12 | 2013-01-23 | 韩国电子通信研究院 | 用于在多输入多输出系统中传送和接收数据的方法和设备 |
KR102010571B1 (ko) * | 2017-11-15 | 2019-08-13 | 한전케이디엔 주식회사 | 블록체인을 이용한 스마트그리드 이종 데이터 보안 저장 방법 |
CN112130999A (zh) * | 2020-09-23 | 2020-12-25 | 南方电网科学研究院有限责任公司 | 一种基于边缘计算的电力异构数据处理方法 |
CN112732835A (zh) * | 2021-01-12 | 2021-04-30 | 宁波云麟信息科技有限公司 | 基于区块链的异构数据存储方法和电子设备 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114168218A (zh) * | 2021-11-30 | 2022-03-11 | 深圳市名竹科技有限公司 | 数据处理方法、装置、计算机设备和存储介质 |
CN114168218B (zh) * | 2021-11-30 | 2024-03-29 | 深圳市名竹科技有限公司 | 数据处理方法、装置、计算机设备和存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111080295B (zh) | 一种基于区块链的电子合同处理方法以及设备 | |
CN111835511A (zh) | 数据安全传输方法、装置、计算机设备及存储介质 | |
CN112508075B (zh) | 基于横向联邦的dbscan聚类方法、及其相关设备 | |
CN113761577B (zh) | 一种大数据脱敏的方法、装置、计算机设备及存储介质 | |
CN108848058A (zh) | 智能合约处理方法及区块链系统 | |
CN114826553A (zh) | 一种群签名和同态加密的云存储数据安全保护方法及装置 | |
CN114666135A (zh) | 数据加密方法及装置、电子设备和存储介质 | |
CN113704781A (zh) | 文件安全传输方法、装置、电子设备及计算机存储介质 | |
CN103136459A (zh) | 一种加密数字内容的版权标识方法和系统 | |
CN111859431A (zh) | 电子文件签章方法、装置、电子设备及存储介质 | |
CN115001683B (zh) | 支付数据的安全保护方法、装置、电子设备及存储介质 | |
CN113259348A (zh) | 异构数据处理方法、装置、计算机设备及存储介质 | |
WO2020077626A1 (zh) | 一种指静脉信息识别方法及装置 | |
CN112085469B (zh) | 基于向量机模型的数据审批方法、装置、设备及存储介质 | |
CN114077749A (zh) | 基于区块链的数据处理方法、及其相关设备 | |
CN117633898B (zh) | 一种医疗数据管理方法、装置、电子设备及存储介质 | |
CN113537982A (zh) | 金融设备的安全校验方法、装置、设备及存储介质 | |
CN116668188A (zh) | 一种金融数据分级加密方法及系统 | |
CN114553516B (zh) | 一种数据的处理方法、装置及设备 | |
CN116614307A (zh) | 一种适用于电力边缘计算芯片的数据安全传输方法及系统 | |
CN113434824B (zh) | 一种软件服务授权管理方法、装置、设备及存储介质 | |
KR102133902B1 (ko) | 보안 입력장치 | |
CN106411888A (zh) | 签核文档加密装置与方法 | |
CN117522417B (zh) | 一种基于量子加密的交易安全验证方法及装置 | |
CN116108502B (zh) | 一种安全电子文件的生成及解密方法、系统、设备及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210813 |