CN112639828A - 数据处理的方法、训练神经网络模型的方法及设备 - Google Patents
数据处理的方法、训练神经网络模型的方法及设备 Download PDFInfo
- Publication number
- CN112639828A CN112639828A CN201980010339.0A CN201980010339A CN112639828A CN 112639828 A CN112639828 A CN 112639828A CN 201980010339 A CN201980010339 A CN 201980010339A CN 112639828 A CN112639828 A CN 112639828A
- Authority
- CN
- China
- Prior art keywords
- data
- neural network
- network model
- trained
- association
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003062 neural network model Methods 0.000 title claims abstract description 402
- 238000000034 method Methods 0.000 title claims abstract description 149
- 238000012549 training Methods 0.000 title claims abstract description 110
- 238000003672 processing method Methods 0.000 title description 6
- 239000013598 vector Substances 0.000 claims abstract description 525
- 238000012545 processing Methods 0.000 claims abstract description 291
- 239000011159 matrix material Substances 0.000 claims description 177
- 230000015654 memory Effects 0.000 claims description 59
- 230000008569 process Effects 0.000 claims description 43
- 239000010410 layer Substances 0.000 description 154
- 238000013528 artificial neural network Methods 0.000 description 62
- 238000013527 convolutional neural network Methods 0.000 description 52
- 230000006870 function Effects 0.000 description 45
- 238000004364 calculation method Methods 0.000 description 37
- 238000011176 pooling Methods 0.000 description 35
- 238000004891 communication Methods 0.000 description 26
- 238000012795 verification Methods 0.000 description 16
- 238000010586 diagram Methods 0.000 description 11
- 238000002474 experimental method Methods 0.000 description 11
- 239000000284 extract Substances 0.000 description 11
- 230000001537 neural effect Effects 0.000 description 11
- 210000002569 neuron Anatomy 0.000 description 9
- 238000013500 data storage Methods 0.000 description 8
- 230000004913 activation Effects 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 7
- 238000012216 screening Methods 0.000 description 7
- 230000003595 spectral effect Effects 0.000 description 7
- 238000012937 correction Methods 0.000 description 6
- 230000004927 fusion Effects 0.000 description 5
- 238000010606 normalization Methods 0.000 description 5
- 239000000872 buffer Substances 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 4
- 230000002441 reversible effect Effects 0.000 description 4
- 238000000926 separation method Methods 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 238000013508 migration Methods 0.000 description 3
- 230000005012 migration Effects 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 238000001228 spectrum Methods 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- MHABMANUFPZXEB-UHFFFAOYSA-N O-demethyl-aloesaponarin I Natural products O=C1C2=CC=CC(O)=C2C(=O)C2=C1C=C(O)C(C(O)=O)=C2C MHABMANUFPZXEB-UHFFFAOYSA-N 0.000 description 2
- 241000283973 Oryctolagus cuniculus Species 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000013480 data collection Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000037361 pathway Effects 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 230000002829 reductive effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 241000255925 Diptera Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 239000012792 core layer Substances 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 239000004576 sand Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
一种数据处理的方法，包括：获取多个待处理数据(501)；使用第一神经网络模型对多个待处理数据进行处理，得到与多个待处理数据一一对应的多个第一矢量(502)，其中，第一神经网络模型是基于通用数据训练获得；获取第一关联关系信息(503)，第一关联关系信息用于指示至少一个第一矢量组，每个第一矢量组包括满足先验假设的两个第一矢量；将多个第一矢量以及第一关联关系信息输入第二神经网络模型，得到针对第一待处理数据的处理结果(504)，第一待处理数据是多个待处理数据中的任一数据。所述数据处理的方法的目的在于削弱神经网络模型对待训练数据的依赖性。
Description
PCT国内申请，说明书已公开。
Claims (30)
- PCT国内申请，权利要求书已公开。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/CN2019/099653 WO2021022521A1 (zh) | 2019-08-07 | 2019-08-07 | 数据处理的方法、训练神经网络模型的方法及设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112639828A true CN112639828A (zh) | 2021-04-09 |
Family
ID=74503009
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201980010339.0A Pending CN112639828A (zh) | 2019-08-07 | 2019-08-07 | 数据处理的方法、训练神经网络模型的方法及设备 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN112639828A (zh) |
| WO (1) | WO2021022521A1 (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113360659A (zh) * | 2021-07-19 | 2021-09-07 | 云南大学 | 一种基于半监督学习的跨领域情感分类方法及系统 |
| CN113518035A (zh) * | 2021-05-26 | 2021-10-19 | 香港中文大学（深圳） | 路由确定方法及装置 |
| CN113642807A (zh) * | 2021-09-01 | 2021-11-12 | 智慧足迹数据科技有限公司 | 人口流动预测方法及相关装置 |
| CN114238692A (zh) * | 2022-02-23 | 2022-03-25 | 北京嘉沐安科技有限公司 | 一种面向网络直播的视频大数据精准检索方法及系统 |
Families Citing this family (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113095870B (zh) * | 2021-03-16 | 2022-05-27 | 支付宝(杭州)信息技术有限公司 | 一种预测方法、装置、计算机设备以及存储介质 |
| CN112926569B (zh) * | 2021-03-16 | 2022-10-18 | 重庆邮电大学 | 一种社交网络中的自然场景图像文本检测方法 |
| CN113222328B (zh) * | 2021-03-25 | 2022-02-25 | 中国科学技术大学先进技术研究院 | 基于路段污染相似性的空气质量监测设备布点选址方法 |
| CN112989134B (zh) * | 2021-03-29 | 2023-08-25 | 腾讯科技（深圳）有限公司 | 节点关系图的处理方法、装置、设备及存储介质 |
| CN112950291B (zh) * | 2021-03-31 | 2023-07-21 | 北京奇艺世纪科技有限公司 | 模型的偏差优化方法、装置、设备及计算机可读介质 |
| CN113194458B (zh) * | 2021-04-08 | 2022-05-13 | 南京中新赛克科技有限责任公司 | 多卡宝号码识别方法、装置 |
| CN115396831A (zh) * | 2021-05-08 | 2022-11-25 | 中国移动通信集团浙江有限公司 | 交互模型生成方法、装置、设备及存储介质 |
| CN113239844B (zh) * | 2021-05-26 | 2022-11-01 | 哈尔滨理工大学 | 一种基于多头注意力目标检测的智能化妆镜系统 |
| CN113505193A (zh) * | 2021-06-01 | 2021-10-15 | 华为技术有限公司 | 一种数据处理方法及相关设备 |
| CN113724036B (zh) * | 2021-07-29 | 2024-10-01 | 杭州淘天电子商务科技有限公司 | 提供问题咨询服务的方法及电子设备 |
| CN113626650A (zh) * | 2021-08-04 | 2021-11-09 | 支付宝(杭州)信息技术有限公司 | 业务处理方法、装置和电子设备 |
| CN114529765B (zh) * | 2022-02-16 | 2024-07-26 | 腾讯科技（深圳）有限公司 | 一种数据处理方法、设备以及计算机可读存储介质 |
| CN114863162A (zh) * | 2022-03-28 | 2022-08-05 | 北京百度网讯科技有限公司 | 对象分类方法、深度学习模型的训练方法、装置和设备 |
| CN116935230B (zh) * | 2023-09-13 | 2023-12-15 | 山东建筑大学 | 作物病虫害识别方法、装置、设备及介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106897746A (zh) * | 2017-02-28 | 2017-06-27 | 北京京东尚科信息技术有限公司 | 数据分类模型训练方法和装置 |
| CN107766324A (zh) * | 2017-09-25 | 2018-03-06 | 浙江大学 | 一种基于深度神经网络的文本一致性分析方法 |
| US20190139622A1 (en) * | 2017-08-03 | 2019-05-09 | Zymergen, Inc. | Graph neural networks for representing microorganisms |
| CN109766840A (zh) * | 2019-01-10 | 2019-05-17 | 腾讯科技（深圳）有限公司 | 人脸表情识别方法、装置、终端及存储介质 |
| CN110083829A (zh) * | 2019-04-03 | 2019-08-02 | 平安科技（深圳）有限公司 | 情感极性分析方法及相关装置 |
-
2019
- 2019-08-07 WO PCT/CN2019/099653 patent/WO2021022521A1/zh active Application Filing
- 2019-08-07 CN CN201980010339.0A patent/CN112639828A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106897746A (zh) * | 2017-02-28 | 2017-06-27 | 北京京东尚科信息技术有限公司 | 数据分类模型训练方法和装置 |
| US20190139622A1 (en) * | 2017-08-03 | 2019-05-09 | Zymergen, Inc. | Graph neural networks for representing microorganisms |
| CN107766324A (zh) * | 2017-09-25 | 2018-03-06 | 浙江大学 | 一种基于深度神经网络的文本一致性分析方法 |
| CN109766840A (zh) * | 2019-01-10 | 2019-05-17 | 腾讯科技（深圳）有限公司 | 人脸表情识别方法、装置、终端及存储介质 |
| CN110083829A (zh) * | 2019-04-03 | 2019-08-02 | 平安科技（深圳）有限公司 | 情感极性分析方法及相关装置 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113518035A (zh) * | 2021-05-26 | 2021-10-19 | 香港中文大学（深圳） | 路由确定方法及装置 |
| CN113360659A (zh) * | 2021-07-19 | 2021-09-07 | 云南大学 | 一种基于半监督学习的跨领域情感分类方法及系统 |
| CN113360659B (zh) * | 2021-07-19 | 2022-11-22 | 云南大学 | 一种基于半监督学习的跨领域情感分类方法及系统 |
| CN113642807A (zh) * | 2021-09-01 | 2021-11-12 | 智慧足迹数据科技有限公司 | 人口流动预测方法及相关装置 |
| CN113642807B (zh) * | 2021-09-01 | 2022-04-12 | 智慧足迹数据科技有限公司 | 人口流动预测方法及相关装置 |
| CN114238692A (zh) * | 2022-02-23 | 2022-03-25 | 北京嘉沐安科技有限公司 | 一种面向网络直播的视频大数据精准检索方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2021022521A1 (zh) | 2021-02-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112639828A (zh) | 数据处理的方法、训练神经网络模型的方法及设备 | |
| CN110188795B (zh) | 图像分类方法、数据处理方法和装置 | |
| CN110084281B (zh) | 图像生成方法、神经网络的压缩方法及相关装置、设备 | |
| CN112446270B (zh) | 行人再识别网络的训练方法、行人再识别方法和装置 | |
| CN112446398B (zh) | 图像分类方法以及装置 | |
| CN112446476A (zh) | 神经网络模型压缩的方法、装置、存储介质和芯片 | |
| CN110222717B (zh) | 图像处理方法和装置 | |
| CN110175671A (zh) | 神经网络的构建方法、图像处理方法及装置 | |
| CN111507378A (zh) | 训练图像处理模型的方法和装置 | |
| WO2022001805A1 (zh) | 一种神经网络蒸馏方法及装置 | |
| CN111914997B (zh) | 训练神经网络的方法、图像处理方法及装置 | |
| CN110309856A (zh) | 图像分类方法、神经网络的训练方法及装置 | |
| CN112418392A (zh) | 一种神经网络构建方法以及装置 | |
| CN111797881B (zh) | 图像分类方法及装置 | |
| CN113570029A (zh) | 获取神经网络模型的方法、图像处理方法及装置 | |
| CN113011575A (zh) | 神经网络模型更新方法、图像处理方法及装置 | |
| CN112561027A (zh) | 神经网络架构搜索方法、图像处理方法、装置和存储介质 | |
| CN113705769A (zh) | 一种神经网络训练方法以及装置 | |
| CN112215332B (zh) | 神经网络结构的搜索方法、图像处理方法和装置 | |
| CN110222718B (zh) | 图像处理的方法及装置 | |
| CN112529146B (zh) | 神经网络模型训练的方法和装置 | |
| CN112561028B (zh) | 训练神经网络模型的方法、数据处理的方法及装置 | |
| CN111797882B (zh) | 图像分类方法及装置 | |
| CN113011562A (zh) | 一种模型训练方法及装置 | |
| CN111695673B (zh) | 训练神经网络预测器的方法、图像处理方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| AD01 | Patent right deemed abandoned |
Effective date of abandoning: 20241101 |