[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN108986022A - 图像美化方法及相关产品 - Google Patents

图像美化方法及相关产品 Download PDF

Info

Publication number
CN108986022A
CN108986022A CN201810799954.1A CN201810799954A CN108986022A CN 108986022 A CN108986022 A CN 108986022A CN 201810799954 A CN201810799954 A CN 201810799954A CN 108986022 A CN108986022 A CN 108986022A
Authority
CN
China
Prior art keywords
image
address
data
instruction
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810799954.1A
Other languages
English (en)
Inventor
不公告发明人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Cambricon Information Technology Co Ltd
Original Assignee
Shanghai Cambricon Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Cambricon Information Technology Co Ltd filed Critical Shanghai Cambricon Information Technology Co Ltd
Priority to CN201810799954.1A priority Critical patent/CN108986022A/zh
Publication of CN108986022A publication Critical patent/CN108986022A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F7/00Methods or arrangements for processing data by operating upon the order or content of the data handled
    • G06F7/38Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation
    • G06F7/48Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation using non-contact-making devices, e.g. tube, solid state device; using unspecified devices
    • G06F7/544Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation using non-contact-making devices, e.g. tube, solid state device; using unspecified devices for evaluating functions by calculation
    • G06F7/5443Sum of products
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/06Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/263Language identification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/40Processing or translation of natural language
    • G06F40/58Use of machine translation, e.g. for multi-lingual retrieval, for server-side translation for client devices or for real-time translation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/30003Arrangements for executing specific machine instructions
    • G06F9/30007Arrangements for executing specific machine instructions to perform operations on data operands
    • G06F9/3001Arithmetic instructions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/38Concurrent instruction execution, e.g. pipeline or look ahead
    • G06F9/3818Decoding for concurrent execution
    • G06F9/382Pipelined decoding, e.g. using predecoding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/38Concurrent instruction execution, e.g. pipeline or look ahead
    • G06F9/3824Operand accessing
    • G06F9/3826Bypassing or forwarding of data results, e.g. locally between pipeline stages or within a pipeline stage
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/445Program loading or initiating
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/044Recurrent networks, e.g. Hopfield networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241Advertisements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • G06Q30/0282Rating or review of business operators or products
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/20Processor architectures; Processor configuration, e.g. pipelining
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/60Memory management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration using local operators
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/94Hardware or software architectures specially adapted for image or video understanding
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/26Speech to text systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2207/00Indexing scheme relating to methods or arrangements for processing data by operating upon the order or content of the data handled
    • G06F2207/38Indexing scheme relating to groups G06F7/38 - G06F7/575
    • G06F2207/48Indexing scheme relating to groups G06F7/48 - G06F7/575
    • G06F2207/4802Special implementations
    • G06F2207/4818Threshold devices
    • G06F2207/4824Neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/40Processing or translation of natural language
    • G06F40/42Data-driven translation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/082Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/28Indexing scheme for image data processing or generation, in general involving image processing hardware
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07Target detection
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Strategic Management (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Human Computer Interaction (AREA)
  • General Business, Economics & Management (AREA)
  • Economics (AREA)
  • Game Theory and Decision Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Neurology (AREA)
  • Marketing (AREA)

Abstract

本公开提供了一种图像美化方法,所述方法应用于计算装置内,所述计算装置包括:DMA单元和运算单元;所述方法包括如下步骤:通过DMA单元获取待处理的第一图像,所述第一图像携带有具备第一指标大小的图像参数;运算单元调用运算指令对所述第一图像进行美化处理,从而获得第二图像;其中,所述第二图像携带有具备第二指标大小的图像参数,所述第二指标大小优于所述第一指标大小,所述运算指令为预先设置用于图像美化的指令。本申请提供的技术方案具有进行图像美化速度快,效率高的优点。

Description

图像美化方法及相关产品
技术领域
本申请涉及信息处理技术领域,具体涉及一种图像美化方法及相关产品。
背景技术
随着信息技术的不断发展和人们日益增长的需求,人们对信息及时性的要求越来越高了。目前,终端对信息的获取以及处理均是基于通用处理器获得的,例如在通用处理器运行指定应用程序以美化图像等等。
在实践中发现,这种基于通用处理器运行软件程序来处理信息的方式,受限于通用处理器的运行速率,特别是在通用处理器负荷较大的情况下,图像美化效率较低、时延较大。
申请内容
本申请实施例提供了一种图像美化方法及相关产品,可提升计算装置进行图像美化处理速度,提高效率。
第一方面,提供一种图像美化方法,应用于计算装置内,所述计算装置包括运算单元和直接内存访问DMA单元,所述DMA单元包括DMA控制器和寄存器模块;所述方法包括:
所述DMA控制器从所述寄存器模块获取第一地址和第二地址;所述DMA控制器从所述第一地址对应的存储空间中获取待处理的第一图像,所述第一图像携带有具备第一指标大小的图像参数;
所述运算单元获取运算指令,以调用所述运算指令对所述第一图像进行美化处理,从而获得第二图像;并将所述第二图像发送至所述DMA控制器;其中,所述第二图像携带有具备第二指标大小的图像参数,所述第二指标大小优于所述第一指标大小,所述运算指令为预先设置用于图像美化的指令;
DMA控制器将所述第二图像存储至所述第二地址对应的存储空间中。
在一些可能的实施例中,所述计算装置还包括寄存器单元以及控制器单元,所述第一图像还携带有用户输入的图像优化参数,所述运算单元获取运算指令,以调用所述运算指令对所述第一图像进行美化处理,从而获得第二图像包括:
所述控制器单元从所述寄存器单元中提取运算指令,并发送给所述运算单元;
所述运算单元调用所述运算指令,根据所述图像优化参数对所述第一图像中的目标图像参数进行美化处理,从而获得第二图像;其中,所述目标图像参数与所述图像优化参数关联。
在一些可能的实施例中,所述计算装置还包括寄存器单元以及控制器单元,所述运算单元获取运算指令,以调用所述运算指令对所述第一图像进行美化处理,从而获得第二图像包括:
所述控制器单元从所述寄存器单元中提取运算指令,并发送给所述运算单元;
所述运算单元调用所述运算指令,对所述第一图像中的指定图像参数进行美化处理,从而获得第二图像;其中,所述指定图像参数为用户侧或终端侧自定义设置的。
在一些可能的实施例中,所述调用所述运算指令对所述第一图像进行美化处理,从而获得第二图像包括:
所述运算单元调用所述运算指令对所述第一图像进行特征提取,从而获得特征图像;
所述运算单元对所述特征图像进行预处理,从而获得第二图像;
其中,所述预处理包括以下处理中的任一项或多项的组合:平移、伸缩变换、非线性转换、归一化、格式转换、数据去重、数据异常处理以及数据缺失填补。
在一些可能的实施例中,所述调用所述运算指令对所述第一图像进行特征提取,从而获得特征图像包括:
所述运算单元基于至少一个线程的运算指令集,对所述第一图像进行特征提取,从而获得特征图像;其中,所述运算指令集包括至少一个所述运算指令,且所述运算指令集中各个运算指令的调用顺序是用户侧或终端侧自定义设置的。
在一些可能的实施例中,所述图像参数或所述图像优化参数包括以下参数中的任一项或多项的组合:色差、清晰度、对比度、分辨率、美白、磨皮、祛痘、瘦脸、瘦身以及瘦腿。
在一些可能的实施例中,所述DMA控制器获取待处理的第一图像包括:
所述运算单元获取用户输入的待处理的原始图像,所述原始图像具备第一指标大小的分辨率;
所述运算单元对所述原始图像进行预处理,从而获得待处理的所述第一图像;其中,所述预处理为用户侧或终端侧预先设置的操作处理。
在一些可能的实施例中,所述预处理包括以下处理中的任一项或多项的组合:平移、伸缩变换、非线性转换、归一化、格式转换、数据去重、数据异常处理以及数据缺失填补。
在一些可能的实施例中,所述运算单元包括通过互联模块互联的主运算模块以及多个从运算模块,所述运算指令为卷积运算指令时,
所述调用所述运算指令对所述第一图像进行美化处理包括:
所述从运算模块实现卷积神经网络算法中的输入数据和卷积核的卷积运算,所述输入数据为所述第一图像,所述卷积神经网络算法与所述卷积运算指令对应;
所述互联模块实现所述主运算模块与所述从运算模块之前的数据传输,在神经网络全连接层正向运算开始之前,所述主运算模块通过互联模块将所述输入数据发送给每个从运算模块,在从运算模块计算结束后,互联模块逐级将各个从运算模块的输出标量拼成中间向量,并返回给主运算模块;
所述主运算模块将所有输入数据对应的中间向量拼接成中间结果,并对所述中间结果执行后续运算。
在一些可能的实施例中,所述对所述中间结果执行后续运算包括:
所述主运算模块将中间结果与偏置数据相加,然后执行激活操作。
在一些可能的实施例中,所述主运算模块包括第一运算单元,所述第一运算单元包括向量加法单元以及激活单元,
所述主运算模块将中间结果与偏置数据相加,然后执行激活操作包括:
所述向量加法单元实现卷积神经网络正向计算中的加偏置操作,将偏置数据与中间结果对位相加得到偏置结果;
所述激活单元对偏置结果执行激活函数操作。
在一些可能的实施例中,所述主运算模块包括第一存储单元、第一运算单元、第一数据依赖关系判定单元和第一存储单元;
所述第一存储单元缓存主运算模块在计算过程中用到的输入数据和输出数据,所述输出数据包括所述第二图像;
所述第一运算单元完成主运算模块的各种运算功能;
所述数据依赖关系判定单元保证对所述第一存储单元的数据的读写不存在一致性冲突,并负责从第一存储单元读取输入的神经元向量,并通过互联模块发送给从运算模块;以及
来自互连模块的中间结果向量被发送到第一运算单元。
在一些可能的实施例中,所述从运算模块包括第二运算单元,所述第二运算单元包括向量乘单元以及累加单元,
所述从运算模块实现卷积神经网络算法中的输入数据和卷积核的卷积运算包括:
所述向量乘单元实现卷积运算中的向量乘运算;
所述累加单元实现卷积运算中的累加运算。
在一些可能的实施例中,所述从运算单元包括第二运算单元、第二数据依赖关系判定单元、第二存储单元和第三存储单元;
所述第二运算单元完成从运算模块的各种算术逻辑运算;
所述第二数据依赖关系判定单元负责计算过程中对第二存储单元和第三存储单元的读写操作,并保证对第二存储单元和第三存储单元的读写不存在一致性冲突;
所述第二存储单元缓存输入数据以及该从运算模块计算得到的输出标量;以及
所述第三存储单元缓存该从运算模块在计算过程中需要的卷积核。
在一些可能的实施例中,所述第一数据依赖关系或所述第二数据依赖关系通过以下方式保证读写不存在一致性冲突:在相应存储单元中存储的数据/指令所对应的存储地址不重叠;或者,判断尚未执行的控制信号与正在执行过程中的控制信号的数据之间是否存在依赖关系,如果不存在,允许该条控制信号立即发射,否则需要等到该条控制信号所依赖的所有控制信号全部执行完成后该条控制信号才允许被发射;
其中,所述控制信号为所述控制器单元从寄存器单元中获取的运算指令,并将该运算指令译码为控制其他模块行为的控制信号,所述其他模块包括所述主运算模块和多个所述从运算模块。
在一些可能的实施例中,多个从运算模块利用相同的所述输入数据与各自的卷积核,并行地计算出各自的输出标量。
在一些可能的实施例中,所述主运算模块使用的激活函数active是非线性函数sigmoid,tanh,relu,softmax中的任一个或线性函数。
在一些可能的实施例中,所述互联模块构成所述主运算模块和所述多个从运算模块之间的连续或离散化数据的数据通路,互连模块为以下任一种结构:树状结构、环状结构、网格状结构、分级互连、总线结构。
在一些可能的实施例中,所述DMA控制器从所述寄存器模块获取第一地址和第二地址,包括:
所述DMA控制器接收DMA指令,并根据所述DMA指令从所述寄存器模块获取所述第一第一地址和所述第二地址;
其中,所述DMA指令为载入/存储结构的指令,且所述DMA指令为定长指令。
在一些可能的实施例中,所述第一地址对应的存储空间包括所述计算装置的外部的存储设备或者内部存储模块;所述第二地址对应的存储空间包括所述计算装置的外部存储设备或者内部存储设备。
在一些可能的实施例中,所述第一地址和第二地址还标记所属的存储空间的类型,若所述存储空间是外部存储设备,则所述第一地址和第二地址还标记所属的流;若所述存储空间为内部存储模块,则所述第一地址和第二地址还标记所属内部存储模块的子模块;
其中,所述流为多张图像交替传送时的分组。
在一些可能的实施例中,所述DMA指令包括一个操作码和至少一个操作域,所述操作码用于指示该指令的功能;所述至少一个操作域包括用于指示对所述第一图像进行数据转换的方式的操作域;所述DMA指令包括数据传送指令和地址跳转指令;
所述数据传送指令包括五个操作域,分别为第一操作域、第二操作域、第三操作域、第四操作域和第五操作域,所述第一操作域用于指示所述第一地址所属的存储空间,所述第二操作域用于指示所述第一地址,所述第三操作域用于指示所述第二地址所属的存储空间,所述第四操作域用于指示所述第二地址,所述第五操作域用于指示第一图像的每次传输的数据量;
所述地址跳转指令包括两个操作域,分别为第六操作域和第七操作域,所述第六操作域用于指示地址寄存器的编号,所述第七操作域用于指示跳转值寄存器的编号;
其中,所述地址寄存器用于存储所述第一地址,所述跳转值寄存器用于存储所述第一地址的跳转值。
在一些可能的实施例中,所述DMA控制器接收DMA指令后,所述方法还包括:
所述DMA控制器将所述DMA指令展开为系统DMA指令;
所述DMA控制器根据DMA指令从所述寄存器模块获取第一地址和第二地址,包括:
所述DMA控制器根据所述系统DMA指令从所述寄存器模块获取所述第一地址和第二地址。
第二方面,提供一种计算装置,所述计算装置包括用于执行上述第一方面的方法的功能单元。
第三方面,提供一种计算机可读存储介质,其存储用于电子数据交换的计算机程序,其中,所述计算机程序使得计算机执行第一方面提供的方法。
第四方面,提供一种计算机程序产品,所述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,所述计算机程序可操作来使计算机执行第一方面提供的方法。
第五方面,提供了一种芯片,所述芯片包括如上第二方面提供的计算装置。
第六方面,提供了一种芯片封装结构,所述芯片封装结构包括如上第五方面提供的芯片。
第七方面,提供了一种板卡,所述板卡包括如上第六方面提供的芯片封装结构。
第八方面,提供了一种电子设备,所述电子设备包括如上第七方面提供的板卡。
在一些实施例中,所述电子设备包括数据处理装置、机器人、电脑、打印机、扫描仪、平板电脑、智能终端、手机、行车记录仪、导航仪、传感器、摄像头、服务器、云端服务器、相机、摄像机、投影仪、手表、耳机、移动存储、可穿戴设备、交通工具、家用电器、和/或医疗设备。
在一些实施例中,所述交通工具包括飞机、轮船和/或车辆;所述家用电器包括电视、空调、微波炉、冰箱、电饭煲、加湿器、洗衣机、电灯、燃气灶、油烟机;所述医疗设备包括核磁共振仪、B超仪和/或心电图仪。
实施本申请实施例,具有如下有益效果:
可以看出,通过本申请实施例,所述DMA控制器从所述寄存器模块获取第一地址和第二地址;所述DMA控制器从所述第一地址对应的存储空间中获取待处理的第一图像,所述第一图像携带有具备第一指标大小的图像参数;所述运算单元获取运算指令,以调用所述运算指令对所述第一图像进行美化处理,从而获得第二图像;并将所述第二图像发送至所述DMA控制器;其中,所述第二图像携带有具备第二指标大小的图像参数,所述第二指标大小优于所述第一指标大小,所述运算指令为预先设置用于图像美化的指令;DMA控制器将所述第二图像存储至所述第二地址对应的存储空间中;这样能够快速、稳定地实现图像美化,相比于现有技术利用通用处理器来美化图像,功耗更低,速度更快。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1A是本申请实施例提供的一种计算装置的结构示意图。
图1B是卷积神经网络算法的示意流程图。
图1C是根据本发明实施例的支持卷积神经网络正向运算的装置的指令示意图。
图1D示出了根据本发明实施例的用于执行卷积神经网络正向运算的装置的整体结构的示例框图。
图1E示意性示出了根据本发明实施例的用于执行卷积神经网络正向运算的装置中H树模块(互连模块一种实现方式)的结构。
图1F示出了根据本发明实施例的用于执行卷积神经网络正向运算的装置中主运算模块结构的示例框图。
图1G示出了根据本发明实施例的用于执行卷积神经网络正向运算的装置中从运算模块结构的示例框图。
图1H示出了根据本发明实施例的单层卷积神经网络正向运算过程的示例框图。
图2是本申请实施例提供的一种图像美化方法的流程示意图。
图3是本申请实施例提供的一种基于单线程的运算指令调用示意图。
图4是本申请实施例提供的一种基于多线程的运算指令调用示意图。
图5是本申请实施例提供的又一种计算装置的结构示意图。
图6为本申请实施例的提供的DMA单元的具体结构示意图。
图7为本申请一具体实施例的具体结构示意图。
图8为本申请实施例的指令集的格式示意图。
图9为本申请实施例的DMA控制模块执行DMA指令的流水线时空图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请的说明书和权利要求书及所述附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
首先介绍本申请使用的计算装置。参阅图1A,提供了一种计算装置,该计算装置包括:存储介质611(可选的)、寄存器单元612、互联模块613、运算单元614、控制器单元615和直接内存访问(direct memory access,DMA)单元616;
其中,运算单元614包括:加法计算器、乘法计算器、比较器、激活运算器中至少二种。
互联模块613,用于控制运算单元614中计算器的连接关系使得该至少二种计算器组成不同的计算拓扑结构。
指令存储单元(可以是寄存器单元,指令缓存,高速暂存存储器)612,用于存储该运算指令、数据块的在存储介质的地址、运算指令对应的计算拓扑结构。
该运算指令可以包括:操作域以及操作码,以卷积运算指令为例,如表1所示,其中,寄存器号0、寄存器号1、寄存器号2、寄存器号3、寄存器号4可以为操作域。其中,每个寄存器号0、寄存器号1、寄存器号2、寄存器号3、寄存器号4可以是一个或者多个寄存器。
表1
存储介质611可以为片外存储器,当然在实际应用中,也可以为片内存储器,用于存储数据块,该数据块具体可以为n维数据,n为大于或等于1的整数,例如,n=1时,为1维数据,即向量,如n=2时,为2维数据,即矩阵,如n=3或3以上时,为多维数据。
控制器单元615,用于从寄存器单元612内提取运算指令、该运算指令对应的操作域以及该运算指令对应的第一计算拓扑结构,将该运算指令译码成执行指令,该执行指令用于控制运算单元执行运算操作,将该操作域传输至DMA单元616,将该计算拓扑结构传输至互联模块613。
DMA单元616,用于从存储介质611中提取该操作域对应的数据块,并将该数据块传输至互联模块613。
互联模块613、用于接收第一计算拓扑结构和数据块。一个实施例里,互联模块613还根据第一计算拓扑结构对数据块重新摆放。
运算单元614,用于该执行指令调用运算单元614的计算器对该数据块执行运算操作得到运算结果,将该运算结果传输至DMA单元616存储在存储介质611内。一个实施例里,运算单元614,用于按第一计算拓扑结构以及该执行指令调用计算器对重新摆放的数据块执行运算操作得到运算结果,将该运算结果传输至DMA单元616存储在存储介质611内。
另一个实施例里,互联模块613、用于依据控制运算单元614中计算器的连接关系形成第一计算拓扑结构。
本申请提供的计算装置设置了互联模块613,此互联模块613能够根据运算指令的需要将运算单元614内的计算器组合连接得到与该运算指令对应的计算拓扑结构,进而在后续的运算单元614运算时无需对计算的中间数据执行存储或提取操作,此结构实现单一指令即能实现一次输入即能够进行多次计算器的运算得到计算结果的优点,提高了计算效率。
下面通过不同的运算指令来说明如图1A所示的计算装置的具体计算方法,这里的运算指令以卷积运算指令为例,该卷积运算指令可以应用在神经网络中,所以该卷积运算指令也可以称为卷积神经网络运算指令。对于卷积运算指令来说,其实际需要执行的公式可以为:s=s(∑wxi+b),其中,即将卷积核w乘以输入数据xi,进行求和,然后加上偏置b后做激活运算s(h),得到最终的输出结果s。依据该公式即可以得到该计算拓扑结构为,乘法运算器-加法运算器-(可选的)激活运算器。
如图1A所示的计算装置执行卷积运算指令的方法具体可以为:
控制器单元615从寄存器单元612内提取卷积运算指令、卷积运算指令对应的操作域以及卷积运算指令对应的第一计算拓扑结构(乘法运算器-加法运算器-加法运算器-激活运算器),控制器单元615将该操作域传输至DMA单元,将该第一计算拓扑结构传输至互联模块。
DMA单元616从存储介质611内提取该操作域对应的卷积核w和偏置b(当b为0时,不需要提取偏置b),将卷积核w和偏置b传输至运算单元614。
运算单元614的乘法运算器将卷积核w与输入数据xi执行乘法运算以后得到第一结果,将第一结果输入到加法运算器执行加法运算得到第二结果,将第二结果和偏置b执行加法运算得到第三结果,将第三结果输到激活运算器执行激活运算得到输出结果s,将输出结果s传输至DMA单元616存储至存储介质611内。其中,每个步骤后都可以直接输出结果传输到DMA单元616存储至存储介质611内,无需下面的步骤。另外,将第二结果和偏置b执行加法运算得到第三结果这一步骤可选,即当b为0时,不需要这个步骤。
另外,加法运算和乘法运算的顺序可以调换。
本申请提供的技术方案通过一个指令即卷积运算指令即实现了卷积的计算,在卷积计算的中间数据(例如第一结果、第二结果、第三结果)均无需存储或提取,减少了中间数据的存储以及提取操作,所以其具有减少对应的操作步骤,提高卷积的计算效果的优点。
应理解的,本申请允许使用的指令集可包括一个或多个运算指令,该运算指令包括但不限于COMPUTE指令(运算指令)、CONFIG指令、IO指令、NOP指令、JUMP指令和MOVE指令等。所述COMPUTE指令包括但不限于卷积运算(CONV)指令、池化pooling运算指令等等。其中,本申请具体可执行的计算指令包括:
卷积运算指令。在一种实施例中,卷积COMPUTE指令(即卷积运算指令)包括:
卷积神经网络sigmoid指令,根据该指令,装置分别从存储器(优选的高速暂存存储器或者标量寄存器堆)的指定地址取出指定大小的输入数据和卷积核,在卷积运算部件中做卷积操作,优选的,然后将输出结果做sigmoid激活;
卷积神经网络TanH指令,根据该指令,装置分别从存储器(优选的高速暂存存储器)的指定地址取出指定大小的输入数据和卷积核,在卷积运算部件中做卷积操作,优选的,然后将输出结果做TanH激活;
卷积神经网络ReLU指令,根据该指令,装置分别从存储器(优选的高速暂存存储器)的指定地址取出指定大小的输入数据和卷积核,在卷积运算部件中做卷积操作,优选的,然后将输出结果做ReLU激活;以及
卷积神经网络group指令,根据该指令,装置分别从存储器(优选的高速暂存存储器)的指定地址取出指定大小的输入数据和卷积核,划分group之后,在卷积运算部件中做卷积操作,优选的,然后将输出结果做激活。
卷积运算指令(纯卷积运算指令),可根据该指令,装置分别从存储器(优选的,为高速暂存存储器)的指定地址取出设定大小的输入数据和卷积核,在卷积运算部件中做卷积操作。上述设定大小即用户或厂家可以自行设定的大小,例如,在第一厂家的计算装置中,可以将设定大小设定为Abit数据,在第二厂家的计算装置中,可以将设定大小设定为Bbit数据,上述A bite数据与B bit数据大小不同。
池化Pooling指令。在一个实施例中,池化COMPUTE指令(即pooling运算指令,本申请也称为pooling指令)具体包括:
Maxpooling正向运算指令,根据该指令,装置分别从存储器(优选的高速暂存存储器或者标量寄存器堆)的指定地址取出指定大小的输入数据,在pooling运算部件中做Maxpooling正向运算操作,然后将输出结果写回到存储器(优选的高速暂存存储器或者标量寄存器堆)的指定存储地址。
Maxpooling反向训练指令,根据该指令,装置分别从存储器(优选的高速暂存存储器或者标量寄存器堆)的指定地址取出指定大小的输入数据,在pooling运算部件中做maxpooling反向训练操作,然后将输出结果写回到存储器(优选的高速暂存存储器或者标量寄存器堆)的指定存储地址。
Avgpooling正向运算指令,根据该指令,装置分别从存储器(优选的高速暂存存储器或者标量寄存器堆)的指定地址取出指定大小的输入数据,在pooling运算部件中做Avgpooling正向运算操作,然后将输出结果写回到存储器(优选的高速暂存存储器或者标量寄存器堆)的指定存储地址。
Avgpooling反向训练指令,根据该指令,装置分别从存储器(优选的高速暂存存储器或者标量寄存器堆)的指定地址取出指定大小的输入数据,在pooling运算部件中做Avgpooling反向训练操作,然后将输出结果写回到存储器(优选的高速暂存存储器或者标量寄存器堆)的指定存储地址。
Minpooling正向运算指令,根据该指令,装置分别从存储器(优选的高速暂存存储器或者标量寄存器堆)的指定地址取出指定大小的输入数据,在pooling运算部件中做Minpooling正向运算操作,然后将输出结果写回到存储器(优选的高速暂存存储器或者标量寄存器堆)的指定存储地址。
Minpooling反向训练指令,根据该指令,装置分别从存储器(优选的高速暂存存储器或者标量寄存器堆)的指定地址取出指定大小的输入数据,在pooling运算部件中做Minpooling反向训练操作,然后将输出结果写回到存储器(优选的高速暂存存储器或者标量寄存器堆)的指定存储地址。
batch normalization指令可用于完成batch normalization的计算。
全连接指令,其可包括全连接层正向运算指令。
全连接层正向运算指令,根据该指令,装置从存储器的指定地址取出权值数据和偏执数据,在运算单元中进行全连接运算,并将结果写回高速暂存存储器的指定地址。
CONFIG指令在每层人工神经网络计算开始前配置当前层计算需要的各种常数。例如在池化层中,1/kernel_area可以使用config指令配置得到。又如在执行batchnormalization运算时,CONFIG指令在batch normalization计算开始前配置当前层计算需要的各种常数等。
IO指令实现从外部存储空间读入计算需要的输入数据以及在计算完成后将数据存回至外部空间。
NOP指令负责清空当前装置内部所有控制信号缓存队列中的控制信号,保证NOP指令之前的所有指令全部指令完毕。NOP指令本身不包含任何操作;
JUMP指令负责控制将要从指令存储单元读取的下一条指令地址的跳转,用来实现控制流的跳转;
MOVE指令负责将装置内部地址空间某一地址的数据搬运至装置内部地址空间的另一地址,该过程独立于运算单元,在执行过程中不占用运算单元的资源。
可选地,该计算装置能够执行的运算指令具体还可以包括:
矩阵乘向量指令(MMV),根据该指令,装置从高速暂存存储器的指定地址取出设定长度的矩阵数据和向量数据,在运算单元中进行矩阵乘向量的乘法运算,并将计算结果写回至高速暂存存储器的指定地址;值得说明的是,向量可以作为特殊形式的矩阵(只有一行元素的矩阵)存储于高速暂存存储器中。
向量乘矩阵指令(VMM),根据该指令,装置从高速暂存存储器的指定地址取出设定长度的向量数据和矩阵数据,在运算单元中进行向量乘矩阵的乘法运算,并将计算结果写回至高速暂存存储器的指定地址;值得说明的是,向量可以作为特殊形式的矩阵(只有一行元素的矩阵)存储于高速暂存存储器中。
矩阵乘标量指令(VMS),根据该指令,装置从高速暂存存储器的指定地址取出设定长度的矩阵数据,从标量寄存器堆的指定地址中取出指定大小的矩阵数据,在运算单元中进行标量乘矩阵的乘法运算,并将计算结果写回至高速暂存存储器的指定地址,需要说明的是,标量寄存器堆不仅存储有矩阵的地址,还存储有标量数据。
张量运算指令(TENS),根据该指令,装置从高速暂存存储器的两个指定地址取出分别取出设定长度的两块矩阵数据,在运算单元中对两矩阵数据进行张量运算,并将计算结果写回至高速暂存存储器的指定地址。
矩阵加法指令(MA),根据该指令,装置从高速暂存存储器的两个指定地址取出分别取出设定长度的两块矩阵数据,在运算单元中对两矩阵进行加法运算,并将计算结果写回至高速暂存存储器的指定地址。
矩阵减法指令(MS),根据该指令,装置从高速暂存存储器的两个指定地址取出分别取出设定长度的两块矩阵数据,在运算单元中对两矩阵进行减法运算,并将计算结果写回至高速暂存存储器的指定地址。
矩阵检索指令(MR),根据该指令,装置从高速暂存存储器的指定地址取出设定长度的向量数据,从高速暂存存储器的指定地址取出指定大小的矩阵数据,在运算单元中,该向量是索引向量,输出的向量中的第i个元素是以索引向量的第i个元素作为索引,在矩阵的第i列中找到的数,该输出向量写回至高速暂存存储器的指定地址。
矩阵加载指令(ML),根据该指令,装置从指定外部源地址载入设定长度的数据至高速暂存存储器的指定地址。
矩阵存储指令(MS),根据该指令,装置将高速暂存存储器的指定地址的设定长度的矩阵数据存至外部目的地址处。
矩阵搬运指令(MMOVE),根据该指令,装置将高速暂存存储器的指定地址的设定长度的矩阵数据存至高速暂存存储器的另一指定地址处。
向量内积指令(VP)。根据该指令,装置分别从存储器(优选的高速暂存存储器或者标量寄存器堆)的指定地址取出指定大小的向量数据,在向量运算单元中将两向量进行内积(张量)运算,并将结果写回。优选的,结果写会至存储器(优选的高速暂存存储器或者标量寄存器堆)得指定地址。
向量外积指令(TENS)。根据该指令,装置分别从存储器(优选的高速暂存存储器或者标量寄存器堆)的指定地址取出指定大小的向量数据,在向量运算单元中将两向量进行外积运算,并将结果写回。优选的,并将结果写回至存储器(优选的高速暂存存储器或者标量寄存器堆)的指定地址;
向量四则运算,包括:向量加标量指令(VAS),根据该指令,装置从存储器(优选的高速暂存存储器或者标量寄存器堆)的指定地址取出指定大小的向量数据,从存储器标量寄存器堆的指定地址取出标量数据,在标量运算单元中将向量的每一个元素加上该标量值,并将结果写回并将结果写回。优选的,并将结果写回至存储器(优选的高速暂存存储器或者标量寄存器堆)的指定地址;
标量减向量指令(SSV)。根据该指令,装置从存储器(优选的高速暂存存储器或者标量寄存器堆)标量寄存器堆的指定地址取出标量数据,从存储器(优选的高速暂存存储器或者标量寄存器堆)的指定地址取出向量数据,在向量运算单元中用该标量减去向量中的相应元素,并将结果写回并将结果写回。优选的,并将结果写回存储器(优选的高速暂存存储器或者标量寄存器堆)的指定地址;
向量除法指令(VD)。根据该指令,装置从存储器(优选的高速暂存存储器或者标量寄存器堆)的指定地址取出分别取出指定大小的向量数据,在向量运算单元中将两向量对位相除,并将结果写回并将结果写回。优选的,并将结果写回至存储器(优选的高速暂存存储器或者标量寄存器堆)高速暂存存储器的指定地址;
标量除向量指令(SDV)。根据该指令,装置从存储器(优选的高速暂存存储器或者标量寄存器堆)标量寄存器堆的指定位置取出标量数据,从存储器(优选的高速暂存存储器)的指定位置取出指定大小的向量数据,在向量运算单元中用标量分别除以向量中的相应元素,并将结果写回并将结果写回。优选的,并将结果写回至存储器(优选的高速暂存存储器或者标量寄存器堆)的指定位置;
向量逻辑指令,包括:
向量间与指令(VAV)。根据该指令,装置从存储器(优选的高速暂存存储器或者标量寄存器堆)的指定地址取出分别取出指定大小的向量数据,在向量运算单元中将两向量对位相与,并将结果写回并将结果写回。优选的,并将结果写回至存储器(优选的高速暂存存储器或者标量寄存器堆)的指定地址;
向量内与指令(VAND)。根据该指令,装置从存储器(优选的高速暂存存储器或者标量寄存器堆)的指定地址取出指定大小的向量数据,在向量运算单元中向量中每一位相与,并将结果写回并将结果写回。优选的,并将结果写回至存储器(优选的高速暂存存储器或者标量寄存器堆)标量寄存器堆的指定地址;
向量间或指令(VOV)。根据该指令,装置从存储器(优选的,高速暂存存储器)的指定地址取出分别取出指定大小的向量数据,在向量运算单元中将两向量对位相或,并将结果写回并将结果写回。优选的,并将结果写回至存储器(优选的,高速暂存存储器或者标量寄存器堆)的指定地址;
向量内或指令(VOR)。根据该指令,装置从存储器(优选的,高速暂存存储器或者标量寄存器堆)的指定地址取出指定大小的向量数据,在向量运算单元中向量中每一位相或,并将结果写回并将结果写回。优选的,并将结果写回至存储器(优选的,高速暂存存储器或者标量寄存器堆)标量寄存器堆的指定地址;
超越函数指令,根据该指令,装置从存储器(优选的,高速暂存存储器或者标量寄存器堆)的指定地址取出指定大小的向量数据,在运算单元中对向量数据做超越函数运算,并将结果写回并将结果写回。优选的,并将结果写回至存储器(优选的高速暂存存储器或者标量寄存器堆)存储单元的指定地址。优选的,将结果写回至存储器(优选的,高速暂存存储器或者标量寄存器堆)的指定地址。
向量比较运算指令,包括
大于等于运算指令(GE),根据该指令,装置可以直接从指令中或者通过访问指令提供的寄存器存储器(优选的,高速暂存存储器或者标量寄存器堆)的编号来获得指令的参数,包括向量的长度、两向量的起始地址以及输出向量的存储地址,然后读取两向量数据,在向量比较运算单元中对向量中所有位置上的元素进行比较,若某位置行前一向量的值大于或等于后一向量的值,则将比较结果向量在该位置上的值置为1,否则置为0。最后将比较结果写回至存储器(优选的,高速暂存存储器或者标量寄存器堆)的指定存储地址。
小于等于运算指令(LE),根据该指令,装置可以直接从指令中或者通过访问指令提供的存储器(优选的,高速暂存存储器或者标量寄存器堆)的编号寄存器号来获得指令的参数,包括向量的长度、两向量的起始地址以及输出向量的存储地址,然后读取两向量数据,在向量比较运算单元中对向量中所有位置上的元素进行比较,若某位置行前一向量的值小于或等于后一向量的值,则将比较结果向量在该位置上的值置为1,否则置为0。最后将比较结果写回到存储器(优选的,高速暂存存储器或者标量寄存器堆)值的指定存储地址。
大于运算指令(GT),根据该指令,装置可以直接从指令中或者通过访问指令提供的存储器(优选的,高速暂存存储器或者标量寄存器堆)的编号寄存器号来获得指令的参数,包括向量的长度、两向量的起始地址以及输出向量的存储地址,然后读取两向量数据,在向量比较运算单元中对向量中所有位置上的元素进行比较,若某位置行前一向量的值大于后一向量的值,则将比较结果向量在该位置上的值置为1,否则置为0。最后将比较结果写回值到存储器(优选的高速暂存存储器或者标量寄存器堆)的指定存储地址。
小于运算指令(LT),根据该指令,装置可以直接从指令中或者通过访问指令提供的存储器(优选的,高速暂存存储器或者标量寄存器堆)的编号寄存器号来获得指令的参数,包括向量的长度、两向量的起始地址以及输出向量的存储地址,然后读取两向量数据,在向量比较运算单元中对向量中所有位置上的元素进行比较,若某位置行前一向量的值小于后一向量的值,则将比较结果向量在该位置上的值置为1,否则置为0。最后将比较结果写回到存储器(优选的,高速暂存存储器或者标量寄存器堆)值的指定存储地址。
等于运算指令(EQ),根据该指令,装置可以直接从指令中或者通过访问指令提供的存储器(优选的高速暂存存储器或者标量寄存器堆)的编号寄存器号来获得指令的参数,包括向量的长度、两向量的起始地址以及输出向量的存储地址,然后读取两向量数据,在向量比较运算单元中对向量中所有位置上的元素进行比较,若某位置行前一向量的值等于后一向量的值,则将比较结果向量在该位置上的值置为1,否则置为0。最后将比较结果写回值到存储器(优选的,高速暂存存储器或者标量寄存器堆)的编号的指定存储地址。
不等于运算指令(UEQ),根据该指令,装置可以直接从指令中或者通过访问指令提供的存储器(优选的,高速暂存存储器或者标量寄存器堆)的编号寄存器号来获得指令的参数,包括向量的长度、两向量的起始地址以及输出向量的存储地址,然后读取两向量数据,在向量比较运算单元中对向量中所有位置上的元素进行比较,若某位置行前一向量的值不等于后一向量的值,则将比较结果向量在该位置上的值置为1,否则置为0。最后将比较结果写回值到存储器(优选的,高速暂存存储器或者标量寄存器堆)的指定存储地址。
向量最大值指令(VMAX)。根据该指令,装置从存储器(优选的,高速暂存存储器或者标量寄存器堆)高速暂存存储器的指定地址取出指定大小的向量数据,从中选出最大的元素作为结果,并将结果写回并将结果写回。优选的,并将结果写回至存储器(优选的,高速暂存存储器或者标量寄存器堆)标量寄存器堆的指定地址;
向量最小值指令(VMIN)。根据该指令,装置从存储器(优选的,高速暂存存储器或者标量寄存器堆)高速暂存存储器的指定地址取出指定大小的向量数据,从中选出最小的元素作为结果,并将结果写回并将结果写回。优选的,并将结果写回至存储器(优选的,高速暂存存储器或者标量寄存器堆)标量寄存器堆的指定地址;
循环移位运算指令:根据该指令,装置可以直接从指令中或者通过访问指令提供的存储器(优选的,高速暂存存储器或者标量寄存器堆)的编寄存器号来获得指令的参数,然后在向量移位单元(可以是独立的向量移位单元也可以是使用运算单元)中进行循环移位移位,并将移位后的结果写回至存储器(优选的,高速暂存存储器或者标量寄存器堆)高速暂存存储器的指定存储地址。循环移位运算指令格式可包含四个操作域,向量的起始地址和长度,移位步长,以及输出向量的存储地址,
随机向量生成指令,根据该指令,装置从指令或从存储器(优选的,高速暂存存储器或者标量寄存器堆)寄存器堆中读取一个或多个随机分布参数,以及要生成的随机向量的大小和存储地址,然后在随机向量生成单元中生成服从随机分布的随机向量,并将生成的随机向量结果写回至指定的存储器(优选的,高速暂存存储器或者标量寄存器堆)的存储地址。
随机向量生成指令具体可以为:
均匀分布指令(UNIF),根据该指令,装置从指令或从存储器(优选的,高速暂存存储器或者标量寄存器堆)寄存器堆中读取均匀分布的上界参数和下界参数,以及要生成的随机向量的大小和存储地址,然后在随机向量生成单元中生成服从该均匀分布的随机向量,并将生成的随机向量结果写回至指定的存储器(优选的,高速暂存存储器或者标量寄存器堆)的存储地址。
高斯分布指令(GAUS),根据该指令,装置从指令或从寄存器存储器(优选的,高速暂存存储器或者标量寄存器堆)堆中读取高斯分布的均值参数和方差参数,以及要生成的随机向量的大小和存储地址,然后在随机向量生成单元中生成服从该高斯分布的随机向量,并将生成的随机向量结果写回至指定的存储器(优选的,高速暂存存储器或者标量寄存器堆)的存储地址。
在利用如图1A所示的计算装置具体执行卷积神经网络算法(即卷积运算指令)时,请参见图1B示出卷积神经网络算法的示意流程图。如图1B所示,卷积神经网络包括输出数据及激活函数,输入数据层,和卷积核。
首先,其每一次的计算过程,首先需要依据卷积窗口,选取出输入数据层中对应的输入数据xi,然后将输入数据和卷积核进行加和运算。其输出数据的计算过程为s=s(∑wxi+b),即将卷积核w乘以输入数据xi,进行求和,然后加上偏置b后做激活运算s(h),得到最终的输出数据s。其中,卷积核和输入数据的乘法是向量乘法。
卷积窗口依据卷积核在X轴上的大小kx和在Y轴上的大小ky,在X轴尺寸为W和Y轴尺寸为H的输入数据上,从最开始选取出和卷积核同样大小的输入数据,然后依据卷积窗口的平移位矢Sx和Sy,以此先作水平平移,然后再作垂直平移,将全部输入数据做遍历。
图1C是根据本发明实施例的指令集的格式示意图,如图1C所示,卷积神经网络运算指令包括至少1个操作码和至少1个操作域,其中,操作码用于指示该卷积神经网络运算指令的功能,卷积神经网络运算单元通过识别该操作码可进行卷积神经网络运算,操作域用于指示该卷积神经网络运算指令的数据信息,其中,数据信息可以是立即数或寄存器号(可选地,可为寄存器堆),包括输入数据的起始地址和数据长度,卷积核的起始地址和数据长度,以及激活函数的类型。
指令集包含有不同功能的卷积神经网络COMPUTE指令以及CONFIG指令、IO指令、NOP指令、JUMP指令和MOVE指令。关于这些运算指令可参见前述实施例中的相关介绍,这里不再赘述。
可选地,该指令集还可包括卷积激活CONV_ACTIVATE指令。
卷积激活CONV_ACTIVATE指指令,根据该指令,装置分别从高速暂存存储器(优选的)的指定地址取出设定大小的输入数据和卷积核,在卷积运算部件中做卷积操作,然后将输出结果做激活函数运算;上述设定大小可以由厂家或用户自行定义。
在一个实施例中,CONV_ACTIVATE指令包括:卷积运算指令和激活指令。其中,激活指令用于进行激活函数运算,卷积运算指令用于进行卷积运算,具体可参见前述实施例中的相关介绍,这里不再赘述。
图1D是本发明实施例提供的卷积神经网络正向运算装置的结构示意图。如图3所示,该装置包括指令存储单元1、控制器单元2、DMA单元3、互连模块4、主运算模块5和多个从运算模块6。指令存储单元1、控制器单元2、DMA单元3、互连模块4、主运算模块5和从运算模块6均可以通过硬件电路(例如包括但不限于FPGA、CGRA、专用集成电路ASIC、模拟电路和忆阻器等)实现。
指令存储单元1通过DMA单元3读入指令并存储读入的指令。
控制器单元2从指令存储单元1中读取指令,将指令译成控制其他模块行为的控制信号并发送给其他模块如DMA单元3、主运算模块5和从运算模块6等。
DMA单元3能够访问外部地址空间,直接向装置内部的各个存储单元读写数据,完成数据的加载和存储。
互连模块4用于连接主运算模块和从运算模块,可以实现成不同的互连拓扑(如树状结构、环状结构、网格状结构、分级互连,总线结构等)。
图1E示意性示出了互连模块4的一种实施方式:H树模块。互连模块4构成主运算模块5和多个从运算模块6之间的数据通路,是由多个节点构成的二叉树通路,每个节点将上游的数据同样地发给下游的两个节点,将下游的两个节点返回的数据进行合并,并返回给上游的节点。例如,在卷积神经网络开始计算阶段,主运算模块5内的神经元数据通过互连模块4发送给各个从运算模块6;当从运算模块6的计算过程完成后,当从运算模块的计算过程完成后,每个从运算模块输出的神经元的值会在互连模块中逐级拼成一个完整的由神经元组成的向量。举例说明,假设装置中共有N个从运算模块,则输入数据xi被发送到N个从运算模块,每个从运算模块将输入数据xi与该从运算模块相应的卷积核做卷积运算,得到一标量数据,各从运算模块的标量数据被互连模块4合并成一个含有N个元素的中间向量。假设卷积窗口总共遍历得到A*B个(X方向为A个,Y方向为B个,X、Y为三维正交坐标系的坐标轴)输入数据xi,则对A*B个xi执行上述卷积操作,得到的所有向量在主运算模块中合并得到A*B*N的三维中间结果。
图1F示出了根据本发明实施例的用于执行卷积神经网络正向运算的装置中主运算模块5的结构的示例框图。如图1F所示,主运算模块5包括第一运算单元51、第一数据依赖关系判定单元52和第一存储单元53。
其中,第一运算单元51包括向量加法单元511以及激活单元512。第一运算单元51接收来自控制器单元的控制信号,完成主运算模块5的各种运算功能,向量加法单元511用于实现卷积神经网络正向计算中的加偏置操作,该部件将偏置数据与所述中间结果对位相加得到偏置结果,激活单元512对偏置结果执行激活函数操作。所述偏置数据可以是从外部地址空间读入的,也可以是存储在本地的。
第一数据依赖关系判定单元52是第一运算单元51读写第一存储单元53的端口,保证第一存储单元53中数据的读写一致性。同时,第一数据依赖关系判定单元52也负责将从第一存储单元53读取的数据通过互连模块4发送给从运算模块,而从运算模块6的输出数据通过互连模块4直接发送给第一运算单元51。控制器单元2输出的指令发送给第一运算单元51和第一数据依赖关系判定单元52,来控制其行为。
第一存储单元53用于缓存主运算模块5在计算过程中用到的输入数据和输出数据。
图1G示出了根据本发明实施例的用于执行卷积神经网络正向运算的装置中从运算模块6的结构的示例框图。如图1E所示,每个从运算模块6包括第二运算单元61、数据依赖关系判定单元62、第二存储单元63和第三存储单元64。
第二运算单元61接收控制器单元2发出的控制信号并进行卷积运算。第二运算单元包括向量乘单元611和累加单元612,分别负责卷积运算中的向量乘运算和累加运算。
第二数据依赖关系判定单元62负责计算过程中对第二存储单元63的读写操作。第二数据依赖关系判定单元62执行读写操作之前会首先保证指令之间所用的数据不存在读写一致性冲突。例如,所有发往数据依赖关系单元62的控制信号都会被存入数据依赖关系单元62内部的指令队列里,在该队列中,读指令的读取数据的范围如果与队列位置靠前的写指令写数据的范围发生冲突,则该指令必须等到所依赖的写指令被执行后才能够执行。
第二存储单元63缓存该从运算模块6的输入数据和输出标量数据。
第三存储单元64缓存该从运算模块6在计算过程中需要的卷积核数据。
图1H是本发明实施例提供的卷积神经网络运算装置执行卷积神经网络的流程图,如图1H所示,执行卷积神经网络指令的过程包括:
在步骤S1,在指令存储单元1的首地址处预先存入一条IO指令。
在步骤S2,运算开始,控制器单元2从指令存储单元1的首地址读取该条IO指令,根据译出的控制信号,DMA单元3从外部地址空间读取相应的所有卷积神经网络运算指令,并将其缓存在指令存储单元1中。
在步骤S3,控制器单元2接着从指令存储单元读入下一条IO指令,根据译出的控制信号,DMA单元3从外部地址空间读取主运算模块5需要的所有数据(例如,包括输入数据、用于作快速的激活函数运算的插值表、用于配置运算器件参数的常数表、偏置数据等)至主运算模块5的第一存储单元53。
在步骤S4,控制器单元2接着从指令存储单元读入下一条IO指令,根据译出的控制信号,DMA单元3从外部地址空间读取从运算模块6需要的卷积核数据。
在步骤S5,控制器单元2接着从指令存储单元读入下一条CONFIG指令,根据译出的控制信号,装置配置该层神经网络计算需要的各种常数。例如,第一运算单元51、第二运算单元61根据控制信号里的参数配置单元内部寄存器的值,所述参数包括例如激活函数需要的数据。
在步骤S6,控制器单元2接着从指令存储单元读入下一条COMPUTE指令,根据译出的控制信号,主运算模块5首先通过互连模块4将卷积窗口内的输入数据发给各从运算模块6,保存至从运算模块6的第二存储单元63,之后,再依据指令移动卷积窗口。
在步骤S7,根据COMPUTE指令译出的控制信号,从运算模块6的运算单元61从第三存储单元64读取卷积核,从第二存储单元63读取输入数据,完成输入数据和卷积核的卷积运算,将中间结果通过互连模块4返回。
在步骤S8,在互连模块4中,各从运算模块6返回的中间结果被逐级拼成完整的中间向量。
在步骤S9,主运算模块5得到互连模块4返回的中间向量,卷积窗口遍历所有输入数据,主运算模块将所有返回向量拼接成中间结果,根据COMPUTE指令译出的控制信号,从第一存储单元53读取偏置数据,与中间结果通过向量加单元511相加得到偏置结果,然后激活单元512对偏置结果做激活,并将最后的输出数据写回至第一存储单元53中。
在步骤S10,控制器单元2接着从指令存储单元读入下一条IO指令,根据译出的控制信号,DMA单元3将第一存储单元53中的输出数据存至外部地址空间指定地址,运算结束。
对于多层神经网络卷积层,其实现过程与单层神经网络卷积层类似,当上一层卷积神经网络执行完毕后,下一层的运算指令会将主运算单元中存储的上一层的输出数据地址作为本层的输入数据地址。同样地,指令中的卷积核和偏置数据地址也会变更至本层对应的地址。
通过采用用于执行卷积神经网络正向运算的装置和指令集,解决了CPU和GPU运算性能不足,前端译码开销大的问题。有效提高了对多层卷积神经网络正向运算的支持。
通过采用针对多层卷积神经网络正向运算的专用片上缓存,充分挖掘了输入神经元和卷积核数据的重用性,避免了反复向内存读取这些数据,降低了内存访问带宽,避免了内存带宽成为多层卷积神经网络正向运算性能瓶颈的问题。
基于前述实施例,参见图2,图2是本发明实施例提供的一种图像美化方法流程示意图。如图2所示的方法可包括如下实施步骤:
步骤S102、计算装置获取待处理的第一图像,所述第一图像携带有具备第一指标大小的图像参数;
所述第一图像为用户输入需进行图像美化的图像,该图像可以为图片,也可为视频帧图像。所述第一图像的数量本申请不做限定,可以为一个或多个。也即是说,所述第一图像也可是一个或多个图片,也可以是一段或者多段视频中的帧图像等。
在可选实施例中,所述第一图像还可携带有用户输入的图像美化选项(即本申请中的图像优化参数),所述图像美化选项包括但不限于以下参数选项中的任一项或多项的组合:色差、清晰度、对比度、亮度、分辨率、美白、磨皮、祛痘、瘦脸、瘦身、瘦腿、除皱纹、除黑眼圈、增高、面部重塑以及其他用于图像美化的参数。
步骤S104、所述计算装置将所述第一图像作为运算单元的输入,以调用运算指令对所述第一图像进行美化处理,从而获得第二图像;
其中,所述第二图像携带有具备第二指标大小的图像参数,所述第二指标大小优于所述第一指标大小,所述运算指令为预先设置用于图像美化的指令。
所述运算指令包括但不限于卷积运算指令、池化pooling指令、归一化指令以及非线性激活指令等等,具体可参见前述图1A-图1H所述实施例中的相关介绍。可选地,在所述计算装置(如运算单元)中如何调用相关运算指令以美化图像,也可参见前述图1A-图1H所述实施例中相关指令调用的具体阐述,这里不再赘述。
所述第一指标大小和所述第二指标大小均用于描述图像包含的图像参数,且所述第一指标大小小于或等于所述第二指标大小,即所述第一指标大小比所述第二指标大小差。例如,以所述图像参数为对比度或亮度为例,所述第一指标大小可为10%,所述第二指标大小可为70%。
下面介绍本申请涉及的一些具体实施例。
步骤S102中,所述第一图像的输入格式可以是图像格式,如bmp、gif、jpeg等格式;或者也可以是由图像的像素点转换而来的多维矩阵数据。
在可选实施例中,步骤S102的具体实施方式可为:获取用户输入的待处理的原始图像;对所述原始图像进行预处理,从而获得待处理的所述第一图像,其中,所述预处理为用户侧或终端侧(即计算装置侧)自定义设置的操作处理,该操作处理包括以下处理中的任一项或多项的组合:平移、伸缩变换、非线性运算转换、归一化、格式转换、数据去重、数据异常处理、数据缺失填补、色彩转换以及图像修复等。
具体实现中,计算装置获取用户输入的待处理的原始图像。关于所述原始图像可参见前述关于所述第一图像的相关说明,这里不再赘述。进一步地,所述计算装置可调用相关的运算指令对所述原始图像进行诸如归一化、平移、伸缩变换等等预处理,从而得到待处理的所述第一图像。所述预处理包括但不限于格式转换处理(如归一化处理等)、色彩转换(如变为灰度图像)、图像修复、平移以及伸缩变换等等操作处理。相应地,这里的所述运算指令可为与所述预处理相关的指令,例如当所述预处理为归一化处理时,则对应的运算指令为可归一化指令。
所述预处理包括但不限于以下处理中的任一项或多项的组合:数据格式转换(如归一化处理、整型数据转换等)、数据去重、数据异常处理、数据缺失填补、伸缩、平移等等。以数据格式转换为例,具体可以是连续数据与离散数据的互换、幂次转换,具体将神经网络输入数据(目标图像的多维矩阵)中非幂次权值数据转换为幂次权值数据、浮点数据统计,具体为统计获得人工神经网络正向运算中存储各个类型数据所需的指数位偏移及指数位所需的比特位数、浮点数据转换,具体为短位数浮点数据类型与长位数浮点数据类型等等,本申请不做限定。
应理解的,当所述预处理为平移、伸缩变换以及非线性运算转换等操作处理时,可理解为计算装置将所述第一图像转换为装置能识别的图像像素数据。反之,后续计算装置对图像像素数据进行类似的预处理时,可理解为计算装置可将图像像素数据映射/转换为对应的图像,以便输出给用户查看。
步骤S104存在以下几种具体实施方式。
作为步骤S104的一种具体实施方式可为:计算装置可调用运算指令,默认对所述第一图像中的指定图像参数进行美化/优化处理,从而获得美化后的第二图像。所述指定图像参数为用户侧或计算装置侧(即终端侧)预先自定义设置的。
应理解的,计算装置中可为每个图像美化选项(即图像优化参数)分别设置对应的网络模型,该网络模型可由不同或相同的运算指令组成。相应地,S104中,在图像美化时,所述计算装置可调用相应地的一个或多个网络模型中的运算指令对所述第一图像进行美化,以获得美化后的第二图像。这里的网络模型为多个时,各个网络模型实现的图像美化功能可不同,例如一个网络模型实现美白,另一个网络模型实现瘦身瘦脸等美化功能,本申请不做限定。
作为S104的又一种具体实施方式可为:当所述第一图像携带有用户输入的图像美化选项(即图像优化参数)时,计算装置可调用相关的运算指令,根据所述图像美化选项对所述第一图像进行对应目标图像参数的优化和调整,以得到优化后的第二图像。所述目标图像参数与所述图像美化选项对应,例如所述图像美化选项为瘦脸,则所述目标图像参数为人脸大小。
应理解的,当计算装置使用同一个网络模型时,可由用户主动选择并输入相应地的图像美化选项,以便计算装置调用所述网络模型中的相关运算指令,按照所述图像美化选项所指示的美化方向对所述第一图像进行相应地美化,从而获得美化后的第二图像。
上述步骤S104的两个实施方式中,均涉及如下两种实现操作:
第一种实现操作:所述计算装置调用运算指令对所述第一图像进行特征提取,可直接获得并输出第二图像。
第二种实现操作:计算装置调用运算指令对所述第一图像进行特征提取,从而获得特征图像;进一步地,对所述特征图像进行预处理,从而获得第二图像;其中,所述预处理为用户侧或终端侧预先设置的操作处理。
首先,介绍特征提取涉及的一些具体实施例。本申请中所述特征提取的目的在于:对所述第一图像进行图像美化,使其变为美化后的第二图像。也即是本申请中的特征提取也可理解为图像美化。
具体的,计算装置在运算单元中可调用相关的运算指令,以对所述第一图像进行特征提取,从而获得特征图像。应理解的,当所述第一图像的表达形式为多维矩阵时,对所述第一图像进行特征提取,属于数据降维以及图像美化的处理过程,在一定程度上可降低数据处理复杂度,减轻计算装置的计算负荷,提高运算效率。
在可选实施例中,所述运算指令可为用于特征提取的指令,具体可参见前述实施例中的相关介绍,这里不再赘述。
在可选实施例中,所述运算指令可包括以下指令中的任一项或多项的组合:卷积运算指令、归一化指令、非线性激活指令以及池化指令。需要说明的是,当所述算指令的数量为多个,也可称为运算指令集时,所述运算指令集中的各个运算指令被调用的次序、数量以及调用线程可为用户侧或计算装置(如终端)侧自定义设置的,本申请并不做限定。
如图3示例性给出一种基于单线程调用运算指令进行特征提取的示意图。具体的,控制器单元可以从寄存器单元中提取卷积运算指令发送至运算单元对所述第一图像进行处理,从而获得第一中间图像。然后,控制器单元可以从寄存器单元中提取归一化指令发送至运算单元对所述第一中间图像进行处理,从而获得第二中间图像。然后,控制器单元可以从寄存器单元中提取非线性激活指令发送至运算单元对所述第二中间图像进行处理,从而获得第三中间图像。然后,控制器单元可以从寄存器单元中提取池化指令发送至运算单元对所述第三中间图像进行处理,从而获得特征提取后的特征图像。
可选地,图3所示的各个运算指令在具体被调用执行时,其执行顺序可以变化的,例如先调用归一化指令在调用卷积运算指令等,本申请不做限定。
在可选实施例中,本申请支持多线程(即多条流水线)的特征提取处理。也即是本申请中所述特征提取的实现操作可以是分线程或线程合并的方式来实现的。所述分线程的实现方式包括但不限于数据的拷贝、数据的分组等方式,所述线程合并的实现方式包括但不限于数据的相加减、数据的相乘、数据的组合摆放等方式。
如图4示出基于多线程调用运算指令进行特征提取的示意图。具体的,计算装置可同时进行两个线程的数据操作,且每个线程中所需使用的运算指令可以相同,也可不同,且各运算指令的调用顺序及调用数量也不做限定。如图4,其中一个线程同时会顺序执行两次图3中的运算指令;另一线程会顺序执行一次图3的运算指令。
需要说明的是,本申请涉及多线程的特征提取时,其特征提取后的特征图像(即特征图像数据)可由各线程处理后的结果数据汇聚而成。即所述特征提取后的特征图像数据可包括但不限于多个相同维度的矩阵数据,或者多个不同维度的矩阵数据,不做限定。
其次,介绍关于对所述特征图像进行预处理所涉及的实施例。具体可参见步骤S102中对所述原始图像进行预处理的相关描述,所述预处理包括但不限于:平移、伸缩变化以及非线性运算变化等等。
下面结合前述图1A-1H所述实施例,简要介绍本申请实施例。
步骤S102中,所述计算装置可通过DMA单元获取用户输入的待处理的第一图像。
上述DMA单元包括DMA控制器和寄存器模块,该DMA控制器从上述寄存器模块中获取第一地址和第二地址,并从该第一地址对应的存储空间中获取上述第一图像,上述计算装置中的运算单元根据该第一图像得到的第二图像后,上述DMA控制器将上述第二图像存储至上述第二地址对应的存储空间。
其中,上述第一地址对应的存储空间属于外部存储设备或者上述计算装置的内部存储设备,上述第二地址对应的存储空间属于外部存储设备或者上述计算装置的内部存储设备,且上述第一地址对应的存储空间和上述第二地址对应的存储空间可以属于相同的存储空间或者不同的存储空间。
在一些可能的实施例中,上述DMA控制器接收DMA指令,并根据该DMA指令从上述内存器模块中获取上述第一地址和第二地址。
进一步地,上述DMA控制器接收上述DMA指令后,将该DMA指令展开为系统DMA指令,然后根据系统DMA指令从上述寄存器模块中获取上述第一地址和第二地址。
其中,上述DMA指令为载入/存储结构的指令,且该DMA指令为定长指令。
进一步地,上述第一地址和第二地址还标记所属的存储空间的类型,若该存储空间为外部存储设备,则上述第一地址和第二地址还标记所属的流;若上述存储空间为内部存储模块,则上述第一地址和第二地址还标记所属内部存储模块的子模块;
其中,上述流为多张图像交替传送时的分组。
进一步地,上述DMA指令包括一个操作码和至少一个操作域,该操作码用于指示该指令的功能,上述DMA指令包括数据传送指令和地址跳转指令;
上述数据传送指令包括五个操作域,分别为第一操作域、第二操作域、第三操作域、第四操作域和第五操作域,上述第一操作域用于指示上述第一地址所属的存储空间,上述第二操作域用于指示上述第一地址,上述第三操作域用于指示上述第二地址所属的存储空间,上述第四操作域用于指示上述第二地址,上述第五操作域用于指示第一图像的每次传输的数据量;
上述地址跳转指令包括两个操作域,分别为第六操作域和第七操作域,该第六操作域用于指示地址寄存器的编号,上述第七操作域用于指示跳转值寄存器的编号;
其中,上述地址寄存器用于存储上述第一地址,所述跳转值寄存器用于存储该第一地址的跳转值。
需要说明的是,上述DMA控制器从上述第一地址对应的存储空间中读取上述第一图像是分多次读取的,每次读取的大小为上述第五操作域指示第一图像的每次传输的数据量。
在一些可能的实施例中,上述DMA指令还包括用于指示对上述第一图像进行数据转换的方式的操作域。上述DMA控制器获取上述第一图像后,该操作域对应的数据转换方式对该第一图像进行转换。
可选实施例中,所述计算装置可为图1A或图1D所示的计算装置。具体的,所述计算装置可通过DMA单元将各种运算指令存储至寄存器单元或指令存储单元中;进一步地,所述计算装置可通过DMA单元对各种运算指令进行读写和存储操作。控制器单元用于控制从寄存器单元(也可是指令存储单元等)中读取各种运算指令,并将该运算指令译码为可执行的运算指令。可选地,还可将该运算指令发送给运算单元,以在运算单元中执行该运算指令,具体可根据该运算指令对应的计算拓扑结构依次调用相关的运算器进行数据处理,下面将以卷积运算指令为例进行详细阐述。互联模块(或互连模块)用于接收输入数据(这里即第一图像)以及接收计算拓扑结构,该计算拓扑结构为运算指令所对应的拓扑结构,例如所述运算指令为卷积运算指令时,其对应计算拓扑结构可为:乘法运算器-加法运算器-(可选的)激活运算器。其中,每种运算器均用于执行对应的运算功能操作,例如乘法运算器用于执行乘法运算操作等等,本申请不做赘述。
关于步骤S102的其他阐述可参见前述实施例所述,这里不再赘述。
相应地,步骤S104中的具体实施方式简要阐述如下。
具体实现中,所述计算装置通过控制器单元以及DMA单元从所述寄存器单元(也可为指令存储单元)中提取相应地的运算指令,所述运算指令用于对所述第一图像进行处理(具体可为图像美化处理),关于所述运算指令可参见前述实施例中的相关介绍,例如可为用于图像美化的运算指令,所述运算指令的数量本申请不做限定。
进一步地,在所述控制器单元提取到所述运算指令后,可将所述运算指令传输到所述运算单元中,以在所述运算单元中根据所述运算指令对应的计算拓扑结构顺序对所述第一图像进行图像美化处理,从而获得第二图像。
下面以所述运算指令为卷积运算指令为例,详细阐述步骤S104的具体实施过程。
在一种具体实施方式中,参见图1A所示的所述计算装置。所述计算装置通过DMA单元获取存储介质或片外存储器中用户输入的待处理的第一图像。可选地,所述计算装置可通过运算单元调用相关运算指令对所述第一图像进行预设格式的转换处理,从而获得所述计算装置能识别处理的图像数据,如由i个xi像素数据组成的矩阵或向量等等。所述预设格式为用户侧或计算装置侧自定义设置的。进一步地,所述计算装置通过DMA单元以及控制器单元从所述寄存器单元中提取卷积运算指令,并将其发送给运算单元,以在运算单元执行,也即是需执行的公式为s=s(∑wxi+b)。其中,w为卷积核,xi为输入数据。相应地,所述运算单元对所述输入数据xi(即第一图像)执行所述卷积运算指令。具体的,在所述运算单元中调用乘法器将卷积核w乘以输入数据xi,然后调用加法运算器进行求和,然后加上偏置b后调用激活运算器做激活运算s(h),得到最终的输出结果s。该输出结果即为所述第二图像或中间数据。当其为中间数据时,可根据上述卷积运算指令类似的计算原理,进一步调用其他运算指令对中间数据进行处理,依次类推,直至获得所述第二图像息。
在又一种具体实施方式中,参见图1D所示的计算装置。类似前述S104的一种具体实施方式的具体实施过程,利用1D所示的计算装置。所述运算单元具体可包括主运算模块、从运算模块以及连接该主运算模块和从运算模块的互连模块。该互连模块可用于实现主、从运算模块之间的数据传输、接收运算指令对应的计算拓扑结构等等。所述计算装置可控制在所述主运算模块中实现所述卷积运算中的加偏置b和激活s(h)操作,控制在所述各个从运算模块中实现向量乘法wxi以及累加∑操作。具体的,所述计算装置可通过控制器单元将输入数据xi(即第一图像)传输至各个从运算模块中,以控制在各个从运算模块中先调用乘法运算器将卷积核w乘以输入数据xi,然后调用加法运算器进行求和,获得输出标量。然后通过互联模块依次逐级将各个从运算模块的输出标量进行累加、拼接为中间向量,并传输给主运算模块中。进一步,在所述主运算模块中调用加法运算器将将所有输入数据对应的中间向量拼接成中间结果,并将中间结果加上偏置b后,再调用激活运算器做激活运算s(h),得到最终的输出结果s。
关于如何在所述计算装置中调用相关运算指令对所述第一图像进行处理,可具体参见前述图1A-图1H中的相关介绍。也即是前述图1A-图1H所述实施例也可对应适用于本申请中图2所述的图像美化方法实施例中,这里不再赘述。应理解的,上述仅以卷积运算指令为例阐述卷积运算指令的调用和数据处理,其并不构成限定;相应地,当运算指令为不同于所述卷积运算指令的其他指令时,也可采用类似于卷积运算指令的相关处理方式,实现本申请方法实施例的步骤。
通过实施本发明实施例,能够快速、稳定地实现图像美化,相比于现有技术利用通用处理器来实现图像美化,功耗更低,速度更快。
请参见图5,是本发明实施例提供的一种计算装置(如终端)的结构示意图。如图5所示的计算装置包括DMA单元616和运算单元614;其中,,该DMA单元616包括DMA控制器和寄存器模块;
所述DMA控制器,用于从所述寄存器模块中获取第一地址和第二地址;并从所述第一地址对应的存储空间中获取待处理的第一图像,所述第一图像携带有具备第一指标大小的图像参数;
所述运算单元614用于获取运算指令,以调用所述运算指令对所述第一图像进行美化处理,从而获得第二图像;并将所述第二图像发送至所述DMA控制器;其中,所述第二图像携带有具备第二指标大小的图像参数,所述第二指标大小优于所述第一指标大小,所述运算指令为预先设置用于图像美化的指令;
DMA控制器,还用于将所述第二图像存储至所述第二地址对应的存储空间中。
可选地,所述计算装置还可包括:存储介质611、寄存器单元612、互联模块613和控制器单元615。关于这些功能单元可参见前述图1A-图1H所述实施例中的相关阐述。
其中,上述存储介质611可为外部存储设备,或者内部存储设备。上述第一地址对应的存储空间和上述第二地址对应的存储空间均可为外部存储设备,或者内部存储设备。
进一步地,上述第一地址对应的存储空间和上述第二地址对应的存储空间中,一个属于外部存储设备,一个属于内部存储设备;或者上述第一地址对应的存储空间和上述第二地址对应的存储空间属于同一存储设备。
在可选实施例中,所述计算装置还包括寄存器单元以及控制器单元,所述第一图像还携带有用户输入的图像优化参数,
所述控制器单元用于从所述寄存器单元中提取运算指令,并发送给所述运算单元;
所述运算单元用于调用运算指令,根据所述图像优化参数对所述第一图像中的目标图像参数进行美化处理,从而获得第二图像;其中,所述目标图像参数与所述图像优化参数关联。
在可选实施例中,所述计算装置还包括寄存器单元以及控制器单元,
所述控制器单元用于从所述寄存器单元中提取运算指令,并发送给所述运算单元;
所述运算单元用于调用运算指令,对所述第一图像中的指定图像参数进行美化处理,从而获得第二图像;其中,所述指定图像参数为用户侧或终端侧自定义设置的。
在可选实施例中,
所述运算单元用于调用运算指令对所述第一图像进行特征提取,从而获得特征图像;
所述运算单元还用于对所述特征图像进行预处理,从而获得第二图像;
其中,所述预处理包括以下处理中的任一项或多项的组合:平移、伸缩变换、非线性转换、归一化、格式转换、数据去重、数据异常处理以及数据缺失填补。
在可选实施例中,所述图像优化参数包括以下参数中的任一项或多项的组合:色差、清晰度、对比度、分辨率、美白、磨皮、祛痘、瘦脸、瘦身以及瘦腿。
在可选实施例中,所述运算单元包括通过互联模块互联的主运算模块以及多个从运算模块,所述运算指令为卷积运算指令时,
所述从运算模块用于实现卷积神经网络算法中的输入数据和卷积核的卷积运算,所述输入数据为所述第一图像,所述卷积神经网络算法与所述卷积运算指令对应;
所述互联模块用于实现所述主运算模块与所述从运算模块之前的数据传输,在神经网络全连接层正向运算开始之前,所述主运算模块通过互联模块将所述输入数据发送给每个从运算模块,在从运算模块计算结束后,互联模块逐级将各个从运算模块的输出标量拼成中间向量,并返回给主运算模块;
所述主运算模块用于将所有输入数据对应的中间向量拼接成中间结果,并对所述中间结果执行后续运算。
在可选实施例中,所述主运算模块用于将中间结果与偏置数据相加,然后执行激活操作。
在可选实施例中,所述主运算模块包括第一运算单元,所述第一运算单元包括向量加法单元以及激活单元,
所述向量加法单元用于实现卷积神经网络正向计算中的加偏置操作,将偏置数据与中间结果对位相加得到偏置结果;
所述激活单元用于对偏置结果执行激活函数操作。
在可选实施例中,所述主运算模块包括第一存储单元、第一运算单元、第一数据依赖关系判定单元和第一存储单元;
所述第一存储单元用于缓存主运算模块在计算过程中用到的输入数据和输出数据,所述输出数据包括所述第二图像;
所述第一运算单元用于完成主运算模块的各种运算功能;
所述数据依赖关系判定单元用于保证对所述第一存储单元的数据的读写不存在一致性冲突,并负责从第一存储单元读取输入的神经元向量,并通过互联模块发送给从运算模块;以及
来自互连模块的中间结果向量被发送到第一运算单元。
在可选实施例中,所述从运算模块包括第二运算单元,所述第二运算单元包括向量乘单元以及累加单元,
所述向量乘单元用于实现卷积运算中的向量乘运算;
所述累加单元用于实现卷积运算中的累加运算。
在可选实施例中,所述从运算单元包括第二运算单元、第二数据依赖关系判定单元、第二存储单元和第三存储单元;
所述第二运算单元用于完成从运算模块的各种算术逻辑运算;
所述第二数据依赖关系判定单元用于负责计算过程中对第二存储单元和第三存储单元的读写操作,并保证对第二存储单元和第三存储单元的读写不存在一致性冲突;
所述第二存储单元用于缓存输入数据以及该从运算模块计算得到的输出标量;以及
所述第三存储单元用于缓存该从运算模块在计算过程中需要的卷积核。
在可选实施例中,所述第一数据依赖关系或所述第二数据依赖关系通过以下方式保证读写不存在一致性冲突:在相应存储单元中存储的数据/指令所对应的存储地址不重叠;或者,判断尚未执行的控制信号与正在执行过程中的控制信号的数据之间是否存在依赖关系,如果不存在,允许该条控制信号立即发射,否则需要等到该条控制信号所依赖的所有控制信号全部执行完成后该条控制信号才允许被发射;
其中,所述控制信号为所述控制器单元从寄存器单元中获取的运算指令,并将该运算指令译码为控制其他模块行为的控制信号,所述其他模块包括所述主运算模块和多个所述从运算模块。
在可选实施例中,多个从运算模块用于利用相同的所述输入数据与各自的卷积核,并行地计算出各自的输出标量。
在可选实施例中,所述主运算模块使用的激活函数active是非线性函数sigmoid,tanh,relu,softmax中的任一个或线性函数。
在可选实施例中,所述互联模块构成所述主运算模块和所述多个从运算模块之间的连续或离散化数据的数据通路,互连模块为以下任一种结构:树状结构、环状结构、网格状结构、分级互连、总线结构。
在一些可能的实施例中,如图6所示,上述DMA单元包括寄存器模块和DMA控制器;
上述寄存器模块,用于存储第一地址、第二地址和每次传输数据的数据量;该第一地址为上述第一图像在存储空间对应的存储地址,第二地址为上述第二图像在存储空间对应的存储地址。
上述DMA控制器接收到DMA指令后,根据该DMA指令从上述寄存器模块中获取第一地址和第二地址。
上述DMA控制器从该第一地址对应的存储空间中获取上述待处理的第一图像,并将该第一图像传输至运算单元。
接收到上述运算单元根据上述第一图像得到的第二图像后,上述DMA控制器将该第二图像存储至上述第二地址对应的存储空间中。
上述寄存器模块包括:
标量寄存器堆包括提供图像数据传输过程中所需的地址寄存器、存储图像数据规模的寄存器和存储数据量等参数的寄存器。标量寄存器堆可以用于上述图像数据地址、图像数据规模等信息。
其中,图像数据地址为数据在内部存储设备或外部存储设备中存储的地址,即上述图像数据的第一地址和第二地址;图像数据规模为图像数据在内存或外存储器中存储的行、列大小;还可为上述图像数据在计算机中存储的字节数、比特数等。
需要说明的是,上述图像数据为图像数据或者视频数据,但是最终以图像数据的形式存储于第一地址对应的存储空间中。图像数据存储于源存储器中的最小单位为图像数据的一个像素点,以RGB的形式。对于图像数据,可以看成M行N列的像素点。
如图7所示,上述DMA控制器包括:
指令单元,用于处理原始DMA指令,得到处理后的DMA指令;
加法单元,用于根据上述处理后的DMA指令,从上述寄存器模块中获取上述第一地址和第二地址;
读写单元,用于从上述第一地址对应的存储空间中读取上述第一图像,并将上述运算单元根据上述第一图像得到的第二图像写入上述第二地址对应的存储空间中。
进一步地,上述读取单元根据处理后的DMA指令从上述寄存器模块中获取每次传输第一图像数据的数据量,并根据该每次传输图像数据的数据量分多次读取上述第一图像。
其中,上述加法单元和上述读写单元为多流水级结构,且上述加法单元处于第一流水级,上述读写单元在第二流水级。当连续串行的多条DMA指令到达时,可以更加高效地实现这一连串DMA指令所要求的操作。DMA控制模块负责上述计算装置的所有DMA操作,包括但不限于一维读取操作、一维写入操作、二维读取操作和二维写入操作。
进一步地,指令单元包括:
指令展开单元,用于将上述DMA指令展开为系统DMA指令,该系统DMA指令是DMA控制模块的控制指令。
当需要DMA单元传送图像数据时,则上述DMA控制模块收到DMA指令命令,该DMA指令表明所需第一地址、第二地址和大小。其中,该第一地址和第二地址还需要标记所属的存储空间,是内存还是外存储器,如果是外存储器,还需要标记所属的流。这里的“流”即前述多组数据交替传送时的分组,处理器对全部数据的需求可能是不连续的,但对某个特定的流来说,很可能是连续的。
指令缓存单元,用于存储系统DMA指令,即在执行系统DMA指令过程中,同时也被缓存在指令缓存单元中。当一条指令执行完之后,如果该指令同时也是指令缓存单元中未被提交指令中最早的一条指令,该指令将被提交,一旦提交,该条指令进行的操作对装置状态的改变将无法撤销。
在一种实施方式中,上述指令缓存单元可以是重排序缓存,也可以是其他缓存单元。
指令处理单元,用于处理指令缓存单元中的系统DMA指令。
其中,指令处理单元可以包括:
取指单元,用于从指令缓存单元中获取系统DMA指令;
译码单元,用于对系统DMA指令进行译码;
指令队列,用于对译码后的系统DMA指令进行顺序存储。
上述DMA单元还可以包括数据缓存单元,用于与第一地址对应的存储空间与DMA控制器之间进行图像数据传输,数据缓存单元可以为高速暂存存储器,可支持不同大小数据的传输,将待写入的图像数据暂存在高速暂存存储器中。
上述DMA单元还可以包括数据转换单元,用于对从第一地址对应的存储空间中取出的图像数据作数据转换,其中数据转换包括但不限于数据精度转化、定浮点相互转换、数据排列方式转换、数据量大小转换。
在一种可行的实施例中,上述读写单元获取上述图像数据后,直接将该图像数据传输至上述运算单元。
在一种可行的实施例中,上述读写单元获取上述图像数据后,将该图像数据及其第二地址传输至上述数据转换单元,该数据转换单元将该图像数据进行处理后,将处理后的图像数据传输至上述运算单元。
上述DMA单元还可以包括地址映射单元,用于当第一地址为虚拟地址时,对第一地址作地址映射,将第一地址转换为第一地址对应的物理地址;当第二地址为虚拟地址时,对第二地址作地址映射,将第二地址转换为对应的物理地址。
其中,上述DMA指令采用载入/存储(Load/Store)结构,且DMA指令为定长指令
图8示意性示出了本公开实施例的DMA指令集的格式示意图,如图8所示,每条DMA指令包括一个操作码和五个操作域,其中,操作码用于指示该指令的功能,DMA控制器通过识别该操作码可进行相应的操作,操作域用于指示该指令的数据地址信息。指令集包含有不同功能的DMA指令:
DTT指令,即数据传送指令,根据该指令,读写单元从第一地址读出一个字,写入第二地址,同时也写入数据缓存单元。数据传送指令包括五个操作域,分别为第一操作域、第二操作域、第三操作域、第四操作域和第五操作域。其中,上述第一操作域用于指示第一地址所属的存储空间,上述第二操作域用于指示第一地址,上述第三操作域用于指示第二地址所属的存储空间,上述第四操作域用于指示图像数据的第二地址,上述第五操作域用于指示图像数据的每次传输图像数据的数据量。每条指令完成一个字大小的数据的传送。
ADJ指令,即地址跳转指令,根据该指令,上述加法单元将上述寄存器模块中的任两个寄存器(包括一个地址寄存器和一个跳转值寄存器)中的值相加,然后写回到其中一个上述地址寄存器中,从而完成DMA任务中的换行操作。
上述地址寄存器用于存储所述第一地址,上述跳转值寄存器用于存储第一地址的跳转值。
上述ADJ指令包括两个操作域,,分别为第六操作域和第七操作域。其中,第六操作域用于指示地址寄存器的编号,第七操作域用于指示第跳转值寄存器的编号。上述ADJ指令将地址寄存器中的值加上跳转值寄存器中的值后,并将结果写回上述地址寄存器中。
图9示意性示出了本公开实施例的DMA控制器执行DMA指令的流水线时空图,如图9所示,假设该DMA指令需要传送一块大小为3×3的数据,则整个过程一共需要9拍。也就是说,若该DMA指令传送的数据块大小为m×n,其中,m,n均为正整数,此时,本公开实施例的数据传输过程一共需要m×n拍。
需要说明的是,上述一拍为上述计算装置的一个时钟周期。
需要指出的是,上述图像数据为上述第一图像或第二图像。
关于本发明实施例未示出或未说明的部分,可参见前述实施例中的相关阐述,这里不再赘述。
本申请实施例还提供一种计算机存储介质,其中,该计算机存储介质存储用于电子数据交换的计算机程序,该计算机程序使得计算机执行如上述方法实施例中记载的任何一种图像美化方法的部分或全部步骤。
本申请实施例还提供一种计算机程序产品,所述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,所述计算机程序可操作来使计算机执行如上述方法实施例中记载的任何一种图像美化方法的部分或全部步骤。
本申请实施例还提供了一种加速装置,包括:存储器:存储有可执行指令;处理器:用于执行存储单元中的可执行指令,在执行指令时依照上述图像美化方法进行操作。
其中,处理器可以是单个处理单元,但也可以包括两个或更多个处理单元。另外,处理器还可以包括通用处理器(CPU)或者图形处理器(GPU);还可以包括在现场可编程逻辑门阵列(FPGA)或者专用集成电路(ASIC),以对神经网络进行设置和运算。处理器还可以包括用于缓存用途的片上存储器(即包括处理装置中的存储器)。
在一些实施例里,还公开了一种芯片,其包括了上述用于执行图像美化方法所对应的神经网络处理器。
在一些实施例里,公开了一种芯片封装结构,其包括了上述芯片。
在一些实施例里,公开了一种板卡,其包括了上述芯片封装结构。
在一些实施例里,公开了一种电子设备,其包括了上述板卡。
电子设备包括数据处理装置、机器人、电脑、打印机、扫描仪、平板电脑、智能终端、手机、行车记录仪、导航仪、传感器、摄像头、服务器、云端服务器、相机、摄像机、投影仪、手表、耳机、移动存储、可穿戴设备、交通工具、家用电器、和/或医疗设备。
所述交通工具包括飞机、轮船和/或车辆;所述家用电器包括电视、空调、微波炉、冰箱、电饭煲、加湿器、洗衣机、电灯、燃气灶、油烟机;所述医疗设备包括核磁共振仪、B超仪和/或心电图仪。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于可选实施例,所涉及的动作和模块并不一定是本申请所必须的。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置,可通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件程序模块的形式实现。
所述集成的单元如果以软件程序模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储器中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储器中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储器包括:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储器中,存储器可以包括:闪存盘、只读存储器(英文:Read-Only Memory,简称:ROM)、随机存取器(英文:Random Access Memory,简称:RAM)、磁盘或光盘等。
以上对本申请实施例进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的一般技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。

Claims (16)

1.一种信息处理方法,其特征在于,应用于计算装置内,所述计算装置包括运算单元和直接内存访问DMA单元,所述DMA单元包括DMA控制器和寄存器模块;所述方法包括:
所述DMA控制器从所述寄存器模块获取第一地址和第二地址;所述DMA控制器从所述第一地址对应的存储空间中获取待处理的第一图像,所述第一图像携带有具备第一指标大小的图像参数;
所述运算单元获取运算指令,以调用所述运算指令对所述第一图像进行美化处理,从而获得第二图像;并将所述第二图像发送至所述DMA控制器;其中,所述第二图像携带有具备第二指标大小的图像参数,所述第二指标大小优于所述第一指标大小,所述运算指令为预先设置用于图像美化的指令;
DMA控制器将所述第二图像存储至所述第二地址对应的存储空间中。
2.根据权利要求1所述的方法,其特征在于,所述计算装置还包括寄存器单元以及控制器单元,所述第一图像还携带有用户输入的图像优化参数,所述运算单元获取运算指令,以调用所述运算指令对所述第一图像进行美化处理,从而获得第二图像包括:
所述控制器单元从所述寄存器单元中提取运算指令,并发送给所述运算单元;
所述运算单元调用所述运算指令,根据所述图像优化参数对所述第一图像中的目标图像参数进行美化处理,从而获得第二图像;其中,所述目标图像参数与所述图像优化参数关联;
所述图像优化参数包括以下参数中的任一项或多项的组合:色差、清晰度、对比度、亮度、分辨率、美白、磨皮、祛痘、瘦脸、瘦身以及瘦腿。
3.根据权利要求1所述的方法,其特征在于,所述计算装置还包括寄存器单元以及控制器单元,所述运算单元获取运算指令,以调用所述运算指令对所述第一图像进行美化处理,从而获得第二图像包括:
所述控制器单元从所述寄存器单元中提取运算指令,并发送给所述运算单元;
所述运算单元调用所述运算指令,对所述第一图像中的指定图像参数进行美化处理,从而获得第二图像;其中,所述指定图像参数为用户侧或终端侧自定义设置的。
4.根据权利要求1所述的方法,其特征在于,所述调用所述运算指令对所述第一图像进行美化处理,从而获得第二图像包括:
所述运算单元调用所述运算指令对所述第一图像进行特征提取,从而获得特征图像;
所述运算单元对所述特征图像进行预处理,从而获得第二图像;
其中,所述预处理包括以下处理中的任一项或多项的组合:平移、伸缩变换、非线性转换、归一化、格式转换、数据去重、数据异常处理以及数据缺失填补。
5.根据权利要求1-4中任一项所述的方法,其特征在于,所述运算单元包括通过互联模块互联的主运算模块以及多个从运算模块,所述运算指令为卷积运算指令时,
所述调用所述运算指令对所述第一图像进行美化处理包括:
所述从运算模块实现卷积神经网络算法中的输入数据和卷积核的卷积运算,所述输入数据为所述第一图像,所述卷积神经网络算法与所述卷积运算指令对应;
所述互联模块实现所述主运算模块与所述从运算模块之前的数据传输,在神经网络全连接层正向运算开始之前,所述主运算模块通过互联模块将所述输入数据发送给每个从运算模块,所述多个从运算模块利用相同的所述输入数据与各自的卷积核,并行地计算出各自的输出标量;在所述多个从运算模块计算结束后,互联模块逐级将各个从运算模块的输出标量拼成中间向量,并返回给主运算模块;
所述主运算模块将所有输入数据对应的中间向量拼接成中间结果,并将所述中间结果与偏置数据相加,然后执行激活操作。
6.根据权利要求5所述的方法,其特征在于,所述主运算模块包括第一运算单元,所述第一运算单元包括向量加法单元以及激活单元,
所述主运算模块将中间结果与偏置数据相加,然后执行激活操作包括:
所述向量加法单元实现卷积神经网络正向计算中的加偏置操作,将偏置数据与中间结果对位相加得到偏置结果;
所述激活单元对偏置结果执行激活函数操作。
7.根据权利要求5所述的方法,其特征在于,所述主运算模块包括第一存储单元、第一运算单元、第一数据依赖关系判定单元和第一存储单元;
所述第一存储单元缓存主运算模块在计算过程中用到的输入数据和输出数据,所述输出数据包括所述第二图像;
所述第一运算单元完成主运算模块的各种运算功能;
所述数据依赖关系判定单元保证对所述第一存储单元的数据的读写不存在一致性冲突,并负责从第一存储单元读取输入的神经元向量,并通过互联模块发送给从运算模块;以及
来自互连模块的中间结果向量被发送到第一运算单元。
8.根据权利要求5所述的方法,其特征在于,所述从运算模块包括第二运算单元,所述第二运算单元包括向量乘单元以及累加单元,
所述从运算模块实现卷积神经网络算法中的输入数据和卷积核的卷积运算包括:
所述向量乘单元实现卷积运算中的向量乘运算;
所述累加单元实现卷积运算中的累加运算。
9.根据权利要求5所述的方法,其特征在于,所述从运算单元包括第二运算单元、第二数据依赖关系判定单元、第二存储单元和第三存储单元;
所述第二运算单元完成从运算模块的各种算术逻辑运算;
所述第二数据依赖关系判定单元负责计算过程中对第二存储单元和第三存储单元的读写操作,并保证对第二存储单元和第三存储单元的读写不存在一致性冲突;
所述第二存储单元缓存输入数据以及该从运算模块计算得到的输出标量;以及
所述第三存储单元缓存该从运算模块在计算过程中需要的卷积核。
10.根据权利要求7或9所述的方法,其特征在于,所述第一数据依赖关系或所述第二数据依赖关系通过以下方式保证读写不存在一致性冲突:在相应存储单元中存储的数据/指令所对应的存储地址不重叠;或者,判断尚未执行的控制信号与正在执行过程中的控制信号的数据之间是否存在依赖关系,如果不存在,允许该条控制信号立即发射,否则需要等到该条控制信号所依赖的所有控制信号全部执行完成后该条控制信号才允许被发射;
其中,所述控制信号为所述控制器单元从寄存器单元中获取的运算指令,并将该运算指令译码为控制其他模块行为的控制信号,所述其他模块包括所述主运算模块和多个所述从运算模块。
11.根据权利要求1-10任一项所述的方法,其特征在于,所述DMA控制器从所述寄存器模块获取第一地址和第二地址,包括:
所述DMA控制器接收DMA指令,并根据所述DMA指令从所述寄存器模块获取所述第一第一地址和所述第二地址;
其中,所述DMA指令为载入/存储结构的指令,且所述DMA指令为定长指令。
12.根据权利要求1-11任一项所述的方法,其特征在于,所述第一地址对应的存储空间包括所述计算装置的外部的存储设备或者内部存储模块;所述第二地址对应的存储空间包括所述计算装置的外部存储设备或者内部存储设备。
13.根据权利要求11或12所述的方法,其特征在于,所述第一地址和第二地址还标记所属的存储空间的类型,若所述存储空间是外部存储设备,则所述第一地址和第二地址还标记所属的流;若所述存储空间为内部存储模块,则所述第一地址和第二地址还标记所属内部存储模块的子模块;
其中,所述流为多张图像交替传送时的分组。
14.根据权利要求11或13所述的方法,其特征在于,所述DMA指令包括一个操作码和至少一个操作域,所述操作码用于指示该指令的功能;所述至少一个操作域包括用于指示对所述第一图像进行数据转换的方式的操作域;所述DMA指令包括数据传送指令和地址跳转指令;
所述数据传送指令包括五个操作域,分别为第一操作域、第二操作域、第三操作域、第四操作域和第五操作域,所述第一操作域用于指示所述第一地址所属的存储空间,所述第二操作域用于指示所述第一地址,所述第三操作域用于指示所述第二地址所属的存储空间,所述第四操作域用于指示所述第二地址,所述第五操作域用于指示第一图像的每次传输的数据量;
所述地址跳转指令包括两个操作域,分别为第六操作域和第七操作域,所述第六操作域用于指示地址寄存器的编号,所述第七操作域用于指示跳转值寄存器的编号;
其中,所述地址寄存器用于存储所述第一地址,所述跳转值寄存器用于存储所述第一地址的跳转值。
15.根据权利要求11-14任一项所述的方法,其特征在于,所述DMA控制器接收DMA指令后,所述方法还包括:
所述DMA控制器将所述DMA指令展开为系统DMA指令;
所述DMA控制器根据DMA指令从所述寄存器模块获取第一地址和第二地址,包括:所述DMA控制器根据所述系统DMA指令从所述寄存器模块获取所述第一地址和第二地址。
16.一种计算机可读存储介质,其特征在于,所述计算机存储介质存储有计算机程序,所述计算机程序包括程序指令,所述程序指令当被处理器执行时使所述处理器执行如权利要求1-15任一项所述的方法。
CN201810799954.1A 2017-10-30 2017-10-30 图像美化方法及相关产品 Pending CN108986022A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810799954.1A CN108986022A (zh) 2017-10-30 2017-10-30 图像美化方法及相关产品

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201810799954.1A CN108986022A (zh) 2017-10-30 2017-10-30 图像美化方法及相关产品
CN201711036374.9A CN109726806A (zh) 2017-10-30 2017-10-30 信息处理方法及终端设备

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201711036374.9A Division CN109726806A (zh) 2017-10-30 2017-10-30 信息处理方法及终端设备

Publications (1)

Publication Number Publication Date
CN108986022A true CN108986022A (zh) 2018-12-11

Family

ID=61645528

Family Applications (48)

Application Number Title Priority Date Filing Date
CN201810799954.1A Pending CN108986022A (zh) 2017-10-30 2017-10-30 图像美化方法及相关产品
CN201711212656.XA Active CN107832843B (zh) 2017-10-30 2017-10-30 一种信息处理方法及相关产品
CN201810849498.7A Active CN108958801B (zh) 2017-10-30 2017-10-30 神经网络处理器及使用处理器执行向量最大值指令的方法
CN201810849484.5A Active CN109117183B (zh) 2017-10-30 2017-10-30 人工智能处理器及使用处理器执行向量交换指令的方法
CN201810801239.7A Pending CN109034382A (zh) 2017-10-30 2017-10-30 场景或物体的识别方法及相关产品
CN201810849480.7A Active CN108984211B (zh) 2017-10-30 2017-10-30 神经网络处理器及使用处理器执行吉文斯旋转指令的方法
CN201811440571.1A Active CN109542515B (zh) 2017-10-30 2017-10-30 运算装置及方法
CN201810800665.9A Pending CN108898554A (zh) 2017-10-30 2017-10-30 提高图像分辨率的方法及相关产品
CN201711212122.7A Pending CN107833176A (zh) 2017-10-30 2017-10-30 一种信息处理方法及相关产品
CN201810800664.4A Pending CN109064384A (zh) 2017-10-30 2017-10-30 物体检测方法及相关产品
CN201810849488.3A Active CN109034383B (zh) 2017-10-30 2017-10-30 神经网络处理器及使用处理器执行矩阵相乘指令的方法
CN201711212991.XA Pending CN107992486A (zh) 2017-10-30 2017-10-30 一种信息处理方法及相关产品
CN201711244020.3A Active CN109725936B (zh) 2017-10-30 2017-10-30 扩展计算指令的实现方法以及相关产品
CN201711212660.6A Active CN107895191B (zh) 2017-10-30 2017-10-30 一种信息处理方法及相关产品
CN201811436410.5A Active CN109542514B (zh) 2017-10-30 2017-10-30 运算指令的实现方法以及相关产品
CN201810799987.6A Pending CN109117947A (zh) 2017-10-30 2017-10-30 轮廓检测方法及相关产品
CN201810849483.0A Active CN109062606B (zh) 2017-10-30 2017-10-30 机器学习处理器及使用处理器执行向量缩放指令的方法
CN201711212995.8A Pending CN107832845A (zh) 2017-10-30 2017-10-30 一种信息处理方法及相关产品
CN201810849497.2A Active CN109086074B (zh) 2017-10-30 2017-10-30 机器学习处理器及使用处理器执行向量复制指令的方法
CN201810849479.4A Pending CN109063830A (zh) 2017-10-30 2017-10-30 机器学习处理器及使用处理器执行向量范数指令的方法
CN201810849486.4A Pending CN109062539A (zh) 2017-10-30 2017-10-30 人工智能处理器及使用处理器执行向量乘加指令的方法
CN201810800001.2A Pending CN108875926A (zh) 2017-10-30 2017-10-30 语言翻译方法及相关产品
CN201811440484.6A Active CN109522254B (zh) 2017-10-30 2017-10-30 运算装置及方法
CN201810849491.5A Pending CN109063831A (zh) 2017-10-30 2017-10-30 人工智能处理器及使用处理器执行向量加和指令的方法
CN201810801236.3A Active CN109117948B (zh) 2017-10-30 2017-10-30 画风转换方法及相关产品
CN201810849509.1A Pending CN109117184A (zh) 2017-10-30 2017-10-30 人工智能处理器及使用处理器执行平面旋转指令的方法
CN201810849496.8A Active CN109062607B (zh) 2017-10-30 2017-10-30 机器学习处理器及使用处理器执行向量最小值指令的方法
CN201711212123.1A Pending CN107993206A (zh) 2017-10-30 2017-10-30 一种信息处理方法及相关产品
CN201810849485.XA Pending CN108874444A (zh) 2017-10-30 2017-10-30 机器学习处理器及使用处理器执行向量外积指令的方法
CN201810849499.1A Active CN109086075B (zh) 2017-10-30 2017-10-30 人工智能处理器及使用处理器执行矩阵乘向量指令的方法
CN201711211933.5A Pending CN107844832A (zh) 2017-10-30 2017-10-30 一种信息处理方法及相关产品
CN201810801238.2A Pending CN109003603A (zh) 2017-10-30 2017-10-30 语音识别方法及相关产品
CN201711036374.9A Pending CN109726806A (zh) 2017-10-30 2017-10-30 信息处理方法及终端设备
CN201810799988.0A Active CN109003132B (zh) 2017-10-30 2017-10-30 广告推荐方法及相关产品
CN201711212994.3A Pending CN107832844A (zh) 2017-10-30 2017-10-30 一种信息处理方法及相关产品
CN201810849492.XA Pending CN108874445A (zh) 2017-10-30 2017-10-30 神经网络处理器及使用处理器执行向量点积指令的方法
CN201711212125.0A Pending CN107832804A (zh) 2017-10-30 2017-10-30 一种信息处理方法及相关产品
CN202010309559.8A Active CN111291880B (zh) 2017-10-30 2018-09-13 计算装置以及计算方法
CN201911058910.4A Active CN110689126B (zh) 2017-10-30 2018-09-13 一种用于执行神经网络运算的装置
CN202010190142.4A Active CN111160548B (zh) 2017-10-30 2018-09-13 计算装置以及计算方法
CN201911058839.XA Pending CN110689125A (zh) 2017-10-30 2018-09-13 计算装置
CN202010190143.9A Pending CN111160549A (zh) 2017-10-30 2018-09-13 互连电路的数据处理装置以及方法
CN201910067288.7A Pending CN109523020A (zh) 2017-10-30 2018-09-13 一种运算装置和方法
CN201911062123.7A Active CN110610236B (zh) 2017-10-30 2018-09-13 一种用于执行神经网络运算的装置及方法
CN202010336354.9A Active CN111310910B (zh) 2017-10-30 2018-09-13 一种计算装置及方法
CN202010189354.0A Pending CN111178521A (zh) 2017-10-30 2018-09-13 计算装置以及方法
CN201880002336.8A Pending CN109997154A (zh) 2017-10-30 2018-09-13 信息处理方法及终端设备
CN201910070501.XA Active CN110084361B (zh) 2017-10-30 2018-09-13 一种运算装置和方法

Family Applications After (47)

Application Number Title Priority Date Filing Date
CN201711212656.XA Active CN107832843B (zh) 2017-10-30 2017-10-30 一种信息处理方法及相关产品
CN201810849498.7A Active CN108958801B (zh) 2017-10-30 2017-10-30 神经网络处理器及使用处理器执行向量最大值指令的方法
CN201810849484.5A Active CN109117183B (zh) 2017-10-30 2017-10-30 人工智能处理器及使用处理器执行向量交换指令的方法
CN201810801239.7A Pending CN109034382A (zh) 2017-10-30 2017-10-30 场景或物体的识别方法及相关产品
CN201810849480.7A Active CN108984211B (zh) 2017-10-30 2017-10-30 神经网络处理器及使用处理器执行吉文斯旋转指令的方法
CN201811440571.1A Active CN109542515B (zh) 2017-10-30 2017-10-30 运算装置及方法
CN201810800665.9A Pending CN108898554A (zh) 2017-10-30 2017-10-30 提高图像分辨率的方法及相关产品
CN201711212122.7A Pending CN107833176A (zh) 2017-10-30 2017-10-30 一种信息处理方法及相关产品
CN201810800664.4A Pending CN109064384A (zh) 2017-10-30 2017-10-30 物体检测方法及相关产品
CN201810849488.3A Active CN109034383B (zh) 2017-10-30 2017-10-30 神经网络处理器及使用处理器执行矩阵相乘指令的方法
CN201711212991.XA Pending CN107992486A (zh) 2017-10-30 2017-10-30 一种信息处理方法及相关产品
CN201711244020.3A Active CN109725936B (zh) 2017-10-30 2017-10-30 扩展计算指令的实现方法以及相关产品
CN201711212660.6A Active CN107895191B (zh) 2017-10-30 2017-10-30 一种信息处理方法及相关产品
CN201811436410.5A Active CN109542514B (zh) 2017-10-30 2017-10-30 运算指令的实现方法以及相关产品
CN201810799987.6A Pending CN109117947A (zh) 2017-10-30 2017-10-30 轮廓检测方法及相关产品
CN201810849483.0A Active CN109062606B (zh) 2017-10-30 2017-10-30 机器学习处理器及使用处理器执行向量缩放指令的方法
CN201711212995.8A Pending CN107832845A (zh) 2017-10-30 2017-10-30 一种信息处理方法及相关产品
CN201810849497.2A Active CN109086074B (zh) 2017-10-30 2017-10-30 机器学习处理器及使用处理器执行向量复制指令的方法
CN201810849479.4A Pending CN109063830A (zh) 2017-10-30 2017-10-30 机器学习处理器及使用处理器执行向量范数指令的方法
CN201810849486.4A Pending CN109062539A (zh) 2017-10-30 2017-10-30 人工智能处理器及使用处理器执行向量乘加指令的方法
CN201810800001.2A Pending CN108875926A (zh) 2017-10-30 2017-10-30 语言翻译方法及相关产品
CN201811440484.6A Active CN109522254B (zh) 2017-10-30 2017-10-30 运算装置及方法
CN201810849491.5A Pending CN109063831A (zh) 2017-10-30 2017-10-30 人工智能处理器及使用处理器执行向量加和指令的方法
CN201810801236.3A Active CN109117948B (zh) 2017-10-30 2017-10-30 画风转换方法及相关产品
CN201810849509.1A Pending CN109117184A (zh) 2017-10-30 2017-10-30 人工智能处理器及使用处理器执行平面旋转指令的方法
CN201810849496.8A Active CN109062607B (zh) 2017-10-30 2017-10-30 机器学习处理器及使用处理器执行向量最小值指令的方法
CN201711212123.1A Pending CN107993206A (zh) 2017-10-30 2017-10-30 一种信息处理方法及相关产品
CN201810849485.XA Pending CN108874444A (zh) 2017-10-30 2017-10-30 机器学习处理器及使用处理器执行向量外积指令的方法
CN201810849499.1A Active CN109086075B (zh) 2017-10-30 2017-10-30 人工智能处理器及使用处理器执行矩阵乘向量指令的方法
CN201711211933.5A Pending CN107844832A (zh) 2017-10-30 2017-10-30 一种信息处理方法及相关产品
CN201810801238.2A Pending CN109003603A (zh) 2017-10-30 2017-10-30 语音识别方法及相关产品
CN201711036374.9A Pending CN109726806A (zh) 2017-10-30 2017-10-30 信息处理方法及终端设备
CN201810799988.0A Active CN109003132B (zh) 2017-10-30 2017-10-30 广告推荐方法及相关产品
CN201711212994.3A Pending CN107832844A (zh) 2017-10-30 2017-10-30 一种信息处理方法及相关产品
CN201810849492.XA Pending CN108874445A (zh) 2017-10-30 2017-10-30 神经网络处理器及使用处理器执行向量点积指令的方法
CN201711212125.0A Pending CN107832804A (zh) 2017-10-30 2017-10-30 一种信息处理方法及相关产品
CN202010309559.8A Active CN111291880B (zh) 2017-10-30 2018-09-13 计算装置以及计算方法
CN201911058910.4A Active CN110689126B (zh) 2017-10-30 2018-09-13 一种用于执行神经网络运算的装置
CN202010190142.4A Active CN111160548B (zh) 2017-10-30 2018-09-13 计算装置以及计算方法
CN201911058839.XA Pending CN110689125A (zh) 2017-10-30 2018-09-13 计算装置
CN202010190143.9A Pending CN111160549A (zh) 2017-10-30 2018-09-13 互连电路的数据处理装置以及方法
CN201910067288.7A Pending CN109523020A (zh) 2017-10-30 2018-09-13 一种运算装置和方法
CN201911062123.7A Active CN110610236B (zh) 2017-10-30 2018-09-13 一种用于执行神经网络运算的装置及方法
CN202010336354.9A Active CN111310910B (zh) 2017-10-30 2018-09-13 一种计算装置及方法
CN202010189354.0A Pending CN111178521A (zh) 2017-10-30 2018-09-13 计算装置以及方法
CN201880002336.8A Pending CN109997154A (zh) 2017-10-30 2018-09-13 信息处理方法及终端设备
CN201910070501.XA Active CN110084361B (zh) 2017-10-30 2018-09-13 一种运算装置和方法

Country Status (4)

Country Link
US (5) US20210182077A1 (zh)
EP (1) EP3709224A4 (zh)
CN (48) CN108986022A (zh)
WO (1) WO2019085655A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111353595A (zh) * 2018-12-20 2020-06-30 上海寒武纪信息科技有限公司 运算方法、装置及相关产品
CN111984189A (zh) * 2020-07-22 2020-11-24 深圳云天励飞技术有限公司 神经网络计算装置和数据读取、数据存储方法及相关设备

Families Citing this family (293)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12124850B2 (en) * 2014-11-28 2024-10-22 Fiske Software Llc Hiding stable machine instructions in noise
EP3998539A1 (en) * 2016-12-30 2022-05-18 INTEL Corporation Deep learning hardware
US11037330B2 (en) 2017-04-08 2021-06-15 Intel Corporation Low rank matrix compression
CN109121435A (zh) * 2017-04-19 2019-01-01 上海寒武纪信息科技有限公司 处理装置和处理方法
WO2018214913A1 (zh) * 2017-05-23 2018-11-29 上海寒武纪信息科技有限公司 处理方法及加速装置
CN108986022A (zh) 2017-10-30 2018-12-11 上海寒武纪信息科技有限公司 图像美化方法及相关产品
WO2019114842A1 (zh) * 2017-12-14 2019-06-20 北京中科寒武纪科技有限公司 一种集成电路芯片装置
JP6454397B1 (ja) * 2017-12-20 2019-01-16 Nttエレクトロニクス株式会社 誤り訂正装置、誤り訂正方法及び光通信システム
US11636327B2 (en) * 2017-12-29 2023-04-25 Intel Corporation Machine learning sparse computation mechanism for arbitrary neural networks, arithmetic compute microarchitecture, and sparsity for training mechanism
US20190244080A1 (en) * 2018-02-02 2019-08-08 Wisconsin Alumni Research Foundation Neural Network Processor with On-Chip Convolution Kernel Storage
CN108388446A (zh) * 2018-02-05 2018-08-10 上海寒武纪信息科技有限公司 运算模块以及方法
CN110222833B (zh) * 2018-03-01 2023-12-19 华为技术有限公司 一种用于神经网络的数据处理电路
CN108470211B (zh) * 2018-04-09 2022-07-12 郑州云海信息技术有限公司 一种卷积计算的实现方法、设备和计算机存储介质
CN110399976B (zh) * 2018-04-25 2022-04-05 华为技术有限公司 计算装置和计算方法
CN108629409B (zh) * 2018-04-28 2020-04-10 中国科学院计算技术研究所 一种基于主成分分析减少io开销的神经网络处理系统
CN110472734B (zh) * 2018-05-11 2024-03-29 上海寒武纪信息科技有限公司 一种计算装置及相关产品
CN108804223A (zh) * 2018-05-16 2018-11-13 努比亚技术有限公司 内存优化方法、移动终端及计算机可读存储介质
CN108831475B (zh) * 2018-05-24 2020-09-29 广州市千钧网络科技有限公司 一种文本消息提取方法及系统
CN110383330A (zh) * 2018-05-30 2019-10-25 深圳市大疆创新科技有限公司 池化装置和池化方法
US11880762B2 (en) * 2018-06-26 2024-01-23 International Business Machines Corporation Choosing execution mode of a neural network based on total memory usage
CN110728364A (zh) * 2018-07-17 2020-01-24 上海寒武纪信息科技有限公司 一种运算装置和运算方法
CN110647356A (zh) * 2018-06-27 2020-01-03 北京中科寒武纪科技有限公司 运算装置及相关产品
CN110647973A (zh) * 2018-06-27 2020-01-03 北京中科寒武纪科技有限公司 运算方法及相关方法和产品
CN112437930A (zh) * 2018-07-12 2021-03-02 华为技术有限公司 以熟练的推理速度和功耗,生成神经网络的压缩表示
CN109165728B (zh) * 2018-08-06 2020-12-18 浪潮集团有限公司 一种卷积神经网络的基本计算单元及计算方法
CN110874343B (zh) * 2018-08-10 2023-04-21 北京百度网讯科技有限公司 基于深度学习芯片进行语音处理的方法和深度学习芯片
US20200104716A1 (en) * 2018-08-23 2020-04-02 Samsung Electronics Co., Ltd. Method and system with deep learning model generation
CN110865792B (zh) * 2018-08-28 2021-03-19 中科寒武纪科技股份有限公司 数据预处理方法、装置、计算机设备和存储介质
CN110874632B (zh) * 2018-08-31 2024-05-03 嘉楠明芯(北京)科技有限公司 图像识别处理方法和装置
CN110874605B (zh) * 2018-08-31 2024-05-03 嘉楠明芯(北京)科技有限公司 图像识别处理方法和装置
CN109242091B (zh) * 2018-09-03 2022-03-22 郑州云海信息技术有限公司 图像识别方法、装置、设备及可读存储介质
CN109065076B (zh) * 2018-09-05 2020-11-27 深圳追一科技有限公司 音频标签的设置方法、装置、设备和存储介质
US11990137B2 (en) 2018-09-13 2024-05-21 Shanghai Cambricon Information Technology Co., Ltd. Image retouching method and terminal device
CN110897626A (zh) * 2018-09-14 2020-03-24 杭州脉流科技有限公司 基于深度神经网络的心电图分析方法、装置、计算机设备和系统
WO2020062392A1 (zh) 2018-09-28 2020-04-02 上海寒武纪信息科技有限公司 信号处理装置、信号处理方法及相关产品
CN110969246A (zh) * 2018-09-28 2020-04-07 上海寒武纪信息科技有限公司 信号处理装置及相关产品
CN110968285A (zh) * 2018-09-28 2020-04-07 上海寒武纪信息科技有限公司 信号处理装置及相关产品
CN110969222A (zh) * 2018-09-29 2020-04-07 西门子股份公司 信息提供方法和系统
WO2020070916A1 (ja) * 2018-10-02 2020-04-09 日本電信電話株式会社 算出装置、算出方法及び算出プログラム
CN111047027A (zh) * 2018-10-12 2020-04-21 上海寒武纪信息科技有限公司 运算方法、装置及相关产品
CN111338694B (zh) * 2018-12-19 2022-05-31 上海寒武纪信息科技有限公司 运算方法、装置、计算机设备和存储介质
CN111339060B (zh) * 2018-12-19 2024-03-12 上海寒武纪信息科技有限公司 运算方法、装置、计算机设备和存储介质
CN110096309B (zh) * 2018-11-14 2020-04-14 上海寒武纪信息科技有限公司 运算方法、装置、计算机设备和存储介质
CN111275197B (zh) * 2018-12-05 2023-11-10 上海寒武纪信息科技有限公司 运算方法、装置、计算机设备和存储介质
CN111290788B (zh) * 2018-12-07 2022-05-31 上海寒武纪信息科技有限公司 运算方法、装置、计算机设备和存储介质
CN111222633A (zh) * 2018-11-23 2020-06-02 上海寒武纪信息科技有限公司 运算方法、装置及相关产品
CN111353124A (zh) * 2018-12-20 2020-06-30 上海寒武纪信息科技有限公司 运算方法、装置、计算机设备和存储介质
CN111353125B (zh) * 2018-12-20 2022-04-22 上海寒武纪信息科技有限公司 运算方法、装置、计算机设备和存储介质
CN111047005A (zh) * 2018-10-11 2020-04-21 上海寒武纪信息科技有限公司 运算方法、装置、计算机设备和存储介质
CN111047024B (zh) * 2018-10-12 2023-05-23 上海寒武纪信息科技有限公司 一种计算装置及相关产品
CN111047021B (zh) * 2018-10-12 2023-11-24 中科寒武纪科技股份有限公司 一种计算装置及相关产品
CN111047022B (zh) * 2018-10-12 2023-11-24 中科寒武纪科技股份有限公司 一种计算装置及相关产品
CN111045728B (zh) * 2018-10-12 2022-04-12 上海寒武纪信息科技有限公司 一种计算装置及相关产品
CN111079907B (zh) * 2018-10-19 2021-01-26 安徽寒武纪信息科技有限公司 运算方法、装置及相关产品
CN111079911B (zh) * 2018-10-19 2021-02-09 中科寒武纪科技股份有限公司 运算方法、系统及相关产品
US11294985B2 (en) * 2018-10-30 2022-04-05 Intel Corporation Efficient analog in-memory matrix multiplication processor
KR102720879B1 (ko) 2018-11-05 2024-10-24 한국전자통신연구원 신경망 제어 장치 및 방법
US11526759B2 (en) * 2018-11-05 2022-12-13 International Business Machines Corporation Large model support in deep learning
KR102462910B1 (ko) * 2018-11-12 2022-11-04 한국전자통신연구원 배치 정규화 레이어의 웨이트들에 대한 양자화 방법 및 그 장치
CN109491938A (zh) * 2018-11-27 2019-03-19 济南浪潮高新科技投资发展有限公司 一种面向卷积神经网络加速的多通道dma控制器和卷积神经网络加速方法
US11537853B1 (en) 2018-11-28 2022-12-27 Amazon Technologies, Inc. Decompression and compression of neural network data using different compression schemes
CN109583579B (zh) * 2018-11-30 2021-04-09 上海寒武纪信息科技有限公司 计算装置及相关产品
CN111399905B (zh) * 2019-01-02 2022-08-16 上海寒武纪信息科技有限公司 运算方法、装置及相关产品
CN109543833B (zh) * 2018-11-30 2021-08-03 上海寒武纪信息科技有限公司 运算方法、装置及相关产品
CN111382390B (zh) * 2018-12-28 2022-08-12 上海寒武纪信息科技有限公司 运算方法、装置及相关产品
CN111258641B (zh) * 2018-11-30 2022-12-09 上海寒武纪信息科技有限公司 运算方法、装置及相关产品
CN109543825B (zh) * 2018-11-30 2020-12-01 安徽寒武纪信息科技有限公司 神经网络模型算法编译方法、装置及相关产品
CN111381871B (zh) * 2018-12-28 2022-12-09 上海寒武纪信息科技有限公司 运算方法、装置及相关产品
CN109685201B (zh) * 2018-12-14 2020-10-30 安徽寒武纪信息科技有限公司 运算方法、装置及相关产品
CN111385462A (zh) * 2018-12-28 2020-07-07 上海寒武纪信息科技有限公司 信号处理装置、信号处理方法及相关产品
CN111191788A (zh) * 2018-12-29 2020-05-22 中科寒武纪科技股份有限公司 运算方法、装置及相关产品
CN109635937B (zh) * 2018-12-30 2023-07-11 南京大学 一种面向低位宽卷积神经网络的低功耗系统
WO2020142973A1 (en) * 2019-01-10 2020-07-16 Alibaba Group Holding Limited Matrix-based instruction set architecture for neural network
CN111488759A (zh) * 2019-01-25 2020-08-04 北京字节跳动网络技术有限公司 动物脸部的图像处理方法和装置
US11475285B2 (en) * 2019-01-28 2022-10-18 Samsung Electronics Co., Ltd. Neural network accelerator and operating method thereof
CN110049200A (zh) * 2019-03-07 2019-07-23 永德利硅橡胶科技(深圳)有限公司 基于会议的语言翻译方法及相关产品
JP7353772B2 (ja) * 2019-03-07 2023-10-02 キヤノン株式会社 データ処理装置及びその方法、プログラム
CN109902201A (zh) * 2019-03-08 2019-06-18 天津理工大学 一种基于cnn和bp神经网络的推荐方法
CN111723920B (zh) * 2019-03-22 2024-05-17 中科寒武纪科技股份有限公司 人工智能计算装置及相关产品
CN111723921B (zh) * 2019-03-22 2024-05-14 中科寒武纪科技股份有限公司 人工智能计算装置及相关产品
US11704573B2 (en) * 2019-03-25 2023-07-18 Here Global B.V. Method, apparatus, and computer program product for identifying and compensating content contributors
CN111738021B (zh) * 2019-03-25 2023-10-31 株式会社理光 神经机器翻译模型的词向量处理方法、装置及存储介质
FR3094516A1 (fr) * 2019-03-25 2020-10-02 Proton World International N.V. Système électronique
CN110009021B (zh) * 2019-03-26 2021-06-15 深兰科技(上海)有限公司 一种目标识别方法及设备
CN109919312B (zh) * 2019-03-29 2021-04-23 北京智芯微电子科技有限公司 卷积神经网络的运算方法、装置及dpu
CN111831337B (zh) * 2019-04-19 2022-11-29 安徽寒武纪信息科技有限公司 数据同步方法及装置以及相关产品
CN111782577B (zh) 2019-04-04 2023-03-24 安徽寒武纪信息科技有限公司 数据处理装置及方法以及相关产品
CN110135462B (zh) * 2019-04-18 2022-12-20 南开大学 一种基于上下文信息的艺术画风格分类方法
EP3948590A4 (en) * 2019-05-01 2022-11-16 Microsoft Technology Licensing, LLC METHOD AND SYSTEM FOR USING UNSUPERVISED LEARNING TO IMPROVE CONTENT TEXT SUGGESTIONS
WO2020220369A1 (en) * 2019-05-01 2020-11-05 Microsoft Technology Licensing, Llc Method and system of utilizing unsupervised learning to improve text to content suggestions
CN111930681B (zh) * 2019-05-13 2023-10-10 中科寒武纪科技股份有限公司 一种计算装置及相关产品
CN110210612B (zh) * 2019-05-14 2021-04-16 北京中科汇成科技有限公司 基于自适应分段线性逼近曲线的集成电路加速方法及系统
US11610390B2 (en) * 2019-05-15 2023-03-21 Getac Technology Corporation System for detecting surface type of object and artificial neural network-based method for detecting surface type of object
CN111966325A (zh) * 2019-05-20 2020-11-20 上海寒武纪信息科技有限公司 指令处理方法、装置及相关产品
CN112346781A (zh) * 2019-08-07 2021-02-09 上海寒武纪信息科技有限公司 指令处理方法、装置及相关产品
CN110198164B (zh) * 2019-05-17 2023-04-04 山东科技大学 一种绝对值流控忆阻器模拟电路
CN112394903A (zh) * 2019-08-13 2021-02-23 上海寒武纪信息科技有限公司 短整形转半精度浮点指令处理装置、方法及相关产品
CN111966400B (zh) * 2019-05-20 2024-07-19 上海寒武纪信息科技有限公司 指令处理方法、装置及相关产品
CN111966403A (zh) * 2019-05-20 2020-11-20 上海寒武纪信息科技有限公司 指令处理方法、装置及相关产品
CN111966398B (zh) * 2019-05-20 2024-06-07 上海寒武纪信息科技有限公司 指令处理方法、装置及相关产品
CN110298441B (zh) * 2019-05-24 2022-01-11 深圳云天励飞技术有限公司 一种数据处理方法、电子装置及计算机可读存储介质
CN110277100A (zh) * 2019-06-19 2019-09-24 南京邮电大学 基于Alexnet改进的声纹识别方法、存储介质和终端
KR20210001324A (ko) * 2019-06-27 2021-01-06 삼성전자주식회사 인공 신경망 모델 및 이를 포함하는 전자 장치
CN110390626A (zh) * 2019-07-02 2019-10-29 深兰科技(上海)有限公司 一种卷积神经网络的图像处理方法及装置
KR20210004702A (ko) * 2019-07-05 2021-01-13 삼성전자주식회사 Ai 프로세서 및 이의 신경망 연산 수행 방법
CN110427578B (zh) * 2019-07-16 2020-06-02 盐城师范学院 一种基于深度机器学习的数字内容投放方法
CN110532205B (zh) * 2019-07-17 2021-04-06 浙江大华技术股份有限公司 数据传输方法、装置、计算机设备和计算机可读存储介质
CN112308198A (zh) * 2019-07-26 2021-02-02 中科寒武纪科技股份有限公司 循环神经网络的计算方法及相关产品
US11870804B2 (en) * 2019-08-01 2024-01-09 Akamai Technologies, Inc. Automated learning and detection of web bot transactions using deep learning
CN110598858A (zh) * 2019-08-02 2019-12-20 北京航空航天大学 基于非易失性存内计算实现二值神经网络的芯片和方法
CN112333222A (zh) * 2019-08-05 2021-02-05 中润普达(深圳)大数据技术有限公司 一种基于大数据的云计算服务系统
CN110489356B (zh) * 2019-08-06 2022-02-22 上海商汤智能科技有限公司 信息处理方法、装置、电子设备及存储介质
US12061971B2 (en) 2019-08-12 2024-08-13 Micron Technology, Inc. Predictive maintenance of automotive engines
CN112394991A (zh) * 2019-08-13 2021-02-23 上海寒武纪信息科技有限公司 浮点转半精度浮点指令处理装置、方法及相关产品
CN110569275A (zh) * 2019-08-14 2019-12-13 清华大学山西清洁能源研究院 支持相似性检索的高纬缺失时间序列的压缩方法及装置
CN112394887A (zh) * 2019-08-17 2021-02-23 森大(深圳)技术有限公司 Onepass打印数据高效率处理方法、装置、设备及存储介质
CN112434781B (zh) * 2019-08-26 2024-09-10 上海寒武纪信息科技有限公司 用于处理数据的方法、装置以及相关产品
CN110780921B (zh) * 2019-08-30 2023-09-26 腾讯科技(深圳)有限公司 数据处理方法和装置、存储介质及电子装置
CN112445523B (zh) * 2019-09-02 2024-08-23 中科寒武纪科技股份有限公司 数据处理方法、相关设备及计算机可读介质
US11409654B2 (en) * 2019-09-05 2022-08-09 Micron Technology, Inc. Intelligent optimization of caching operations in a data storage device
CN110426965A (zh) * 2019-09-17 2019-11-08 苏州百宝箱科技有限公司 一种基于云平台的智能家居远程控制方法
CN110647718B (zh) * 2019-09-26 2023-07-25 中昊芯英(杭州)科技有限公司 数据处理方法、装置、设备及计算机可读存储介质
CN110766155A (zh) * 2019-09-27 2020-02-07 东南大学 一种基于混合精度存储的深度神经网络加速器
CN112579042B (zh) * 2019-09-29 2024-04-19 广州希姆半导体科技有限公司 计算装置及方法、芯片、电子设备及计算机可读存储介质
CN110673823B (zh) * 2019-09-30 2021-11-30 上海寒武纪信息科技有限公司 乘法器、数据处理方法及芯片
CN110837483B (zh) * 2019-09-30 2021-07-23 厦门星宸科技有限公司 张量维度变换的方法以及装置
WO2021077283A1 (zh) * 2019-10-22 2021-04-29 深圳鲲云信息科技有限公司 神经网络计算压缩方法、系统及存储介质
CN112712172B (zh) * 2019-10-25 2023-12-26 安徽寒武纪信息科技有限公司 用于神经网络运算的计算装置、方法、集成电路和设备
WO2021081739A1 (en) * 2019-10-29 2021-05-06 Intel Corporation Device capability aware technology to execute deep learning computation graphs in web applications
CN110796246A (zh) * 2019-10-29 2020-02-14 南京宁麒智能计算芯片研究院有限公司 一种基于线性分段的激活函数的硬件实现电路和方法
US11475311B2 (en) * 2019-10-30 2022-10-18 Raytheon Company Neural network instruction streaming
CN110807522B (zh) * 2019-10-31 2022-05-06 合肥工业大学 一种神经网络加速器的通用计算电路
CN112784207B (zh) * 2019-11-01 2024-02-02 中科寒武纪科技股份有限公司 运算方法及相关产品
CN111027690B (zh) * 2019-11-26 2023-08-04 陈子祺 执行确定性推理的组合处理装置、芯片和方法
US11610102B1 (en) * 2019-11-27 2023-03-21 Amazon Technologies, Inc. Time-based memory allocation for neural network inference
CN110996171B (zh) * 2019-12-12 2021-11-26 北京金山云网络技术有限公司 视频类任务的训练数据生成方法、装置及服务器
US12099930B2 (en) * 2019-12-12 2024-09-24 Texas Instruments Incorporated Parametric power-of-2 clipping activations for quantization for convolutional neural networks
CN111026445A (zh) * 2019-12-17 2020-04-17 湖南长城银河科技有限公司 一种智能识别方法及芯片
CN111178087B (zh) * 2019-12-20 2023-05-09 沈阳雅译网络技术有限公司 一种基于离散型注意力机制的神经机器翻译解码加速方法
CN111125617A (zh) * 2019-12-23 2020-05-08 中科寒武纪科技股份有限公司 数据处理方法、装置、计算机设备和存储介质
US11755683B2 (en) 2019-12-23 2023-09-12 Western Digital Technologies, Inc. Flexible accelerator for sparse tensors (FAST) in machine learning
CN111176725B (zh) * 2019-12-27 2022-05-06 北京市商汤科技开发有限公司 数据处理方法、装置、设备和存储介质
CN111144556B (zh) * 2019-12-31 2023-07-07 中国人民解放军国防科技大学 面向深度神经网络训练和推理的范围批处理归一化算法的硬件电路
CN113128673B (zh) * 2019-12-31 2023-08-11 Oppo广东移动通信有限公司 数据处理方法、存储介质、神经网络处理器及电子设备
CN111240747B (zh) * 2020-01-13 2022-05-06 Oppo广东移动通信有限公司 指令生成方法、装置、测试架构和电子设备
CN111242293B (zh) * 2020-01-13 2023-07-18 腾讯科技(深圳)有限公司 一种处理部件、数据处理的方法以及电子设备
US12093562B2 (en) * 2020-01-20 2024-09-17 SK Hynix Inc. Controller with smart scheduling and method of operating the controller
CN113220270A (zh) * 2020-01-21 2021-08-06 华为技术有限公司 一种生成向量化程序的方法及装置
CN113222126B (zh) * 2020-01-21 2022-01-28 上海商汤智能科技有限公司 数据处理装置、人工智能芯片
TWI727641B (zh) * 2020-02-03 2021-05-11 華邦電子股份有限公司 記憶體裝置及其操作方法
US20210256384A1 (en) * 2020-02-14 2021-08-19 Northeastern University Computer-implemented methods and systems for achieving real-time dnn execution on mobile devices with pattern-based weight pruning
CN111241204B (zh) * 2020-02-14 2023-01-10 苏州浪潮智能科技有限公司 一种梯度数据的同步方法、装置、设备及存储介质
KR20210105053A (ko) * 2020-02-18 2021-08-26 에스케이하이닉스 주식회사 연산 회로 및 그것을 포함하는 딥 러닝 시스템
US20210256092A1 (en) * 2020-02-19 2021-08-19 Nvidia Corporation Application programming interface to accelerate matrix operations
US11562235B2 (en) 2020-02-21 2023-01-24 International Business Machines Corporation Activation function computation for neural networks
US11727270B2 (en) 2020-02-24 2023-08-15 Microsoft Technology Licensing, Llc Cross data set knowledge distillation for training machine learning models
EP3872710A1 (en) * 2020-02-27 2021-09-01 Aptiv Technologies Limited Method and system for determining information on an expected trajectory of an object
CN111311707B (zh) * 2020-03-05 2023-05-05 云知声智能科技股份有限公司 一种作画方法及装置
US20210287074A1 (en) * 2020-03-12 2021-09-16 Semiconductor Components Industries, Llc Neural network weight encoding
US11526743B2 (en) * 2020-03-13 2022-12-13 Arm Limited Artificial neural network optical hardware accelerator
US12039432B2 (en) * 2020-03-18 2024-07-16 Infineon Technologies Ag Artificial neural network activation function
CN115244504A (zh) * 2020-03-25 2022-10-25 华为技术有限公司 卷积运算系统和卷积运算方法
US11797830B2 (en) * 2020-03-25 2023-10-24 Western Digital Technologies, Inc. Flexible accelerator for sparse tensors in convolutional neural networks
CN111488969B (zh) * 2020-04-03 2024-01-19 北京集朗半导体科技有限公司 基于神经网络加速器的执行优化方法及装置
CN111522657B (zh) * 2020-04-14 2022-07-22 北京航空航天大学 一种分散设备协同深度学习推理方法
CN111539462B (zh) * 2020-04-15 2023-09-19 苏州万高电脑科技有限公司 模仿生物视觉神经元的图像分类方法、系统、装置及介质
US11748623B2 (en) * 2020-04-15 2023-09-05 Mipsology SAS Modifying structure of artificial neural networks by collocating parameters
CN111581593B (zh) * 2020-04-21 2023-09-05 天津大学 可配置重用的分段式查找表激活函数实现装置
CN113537205A (zh) * 2020-04-21 2021-10-22 中兴通讯股份有限公司 图像识别方法、系统、终端、服务器及存储介质
CN111522776B (zh) * 2020-04-27 2022-04-05 西安交通大学 一种计算架构
CN111565180B (zh) * 2020-04-28 2021-01-29 广州锦行网络科技有限公司 一种虚拟端口的保护系统及方法
CN111563898B (zh) * 2020-04-29 2023-05-16 万翼科技有限公司 图像分割方法、电子设备及相关产品
US11527089B2 (en) * 2020-04-29 2022-12-13 Conduent Business Services, Llc Building light-weight single shot refinement neural network for vehicle passenger detection system
US11604976B2 (en) * 2020-04-29 2023-03-14 International Business Machines Corporation Crossbar arrays for computations in memory-augmented neural networks
CN111553466B (zh) * 2020-04-30 2024-03-22 上海商汤智能科技有限公司 信息处理方法、装置及设备
US11455143B2 (en) * 2020-05-07 2022-09-27 Meta Platforms, Inc. Using a low-bit-width dot product engine to sum high-bit-width numbers
CN113626080B (zh) * 2020-05-08 2023-10-03 安徽寒武纪信息科技有限公司 数据处理装置以及相关产品
CN111525921B (zh) * 2020-05-15 2023-09-08 矽力杰半导体技术(杭州)有限公司 用于神经网络中信号转换的系统和方法
CN111598227B (zh) * 2020-05-20 2023-11-03 字节跳动有限公司 数据处理方法、装置、电子设备及计算机可读存储介质
CN111914612B (zh) * 2020-05-21 2024-03-01 淮阴工学院 一种基于改进的卷积神经网络的施工图图元自适应识别方法
JP7488696B2 (ja) * 2020-06-04 2024-05-22 株式会社東海理化電機製作所 処理装置、プログラム、およびシステム
US11782685B2 (en) * 2020-06-17 2023-10-10 Bank Of America Corporation Software code vectorization converter
CN111832718B (zh) * 2020-06-24 2021-08-03 上海西井信息科技有限公司 芯片架构
US11435941B1 (en) * 2020-06-24 2022-09-06 Amazon Technologies, Inc. Matrix transpose hardware acceleration
CN113835850A (zh) * 2020-06-24 2021-12-24 上海寒武纪信息科技有限公司 任务处理方法、系统及存储介质
US11720328B2 (en) * 2020-06-26 2023-08-08 Advanced Micro Devices, Inc. Processing unit with small footprint arithmetic logic unit
CN113867792A (zh) * 2020-06-30 2021-12-31 上海寒武纪信息科技有限公司 计算装置、集成电路芯片、板卡、电子设备和计算方法
CN111767508B (zh) * 2020-07-09 2024-02-23 地平线(上海)人工智能技术有限公司 计算机实现张量数据计算的方法、装置、介质和设备
CN111913744B (zh) * 2020-07-15 2024-07-19 博流智能科技(南京)有限公司 Ai深度学习数据处理方法及系统
KR20220009126A (ko) 2020-07-15 2022-01-24 삼성전자주식회사 뉴럴 네트워크 연산 처리 장치 및 방법
CN111831582B (zh) * 2020-07-16 2024-03-29 中国科学院计算技术研究所 用于智能处理器的内存管理装置、方法及电子设备
CN111857834A (zh) * 2020-07-16 2020-10-30 中国科学院计算技术研究所 分形计算智能处理器、分形计算智能处理方法
CN111857833A (zh) * 2020-07-16 2020-10-30 中国科学院计算技术研究所 并行计算智能处理器及并行计算智能处理方法
CN111860818B (zh) * 2020-07-23 2022-11-08 哈尔滨工业大学(威海) 基于智能芯片的som神经网络算法处理方法
US11163571B1 (en) * 2020-07-29 2021-11-02 International Business Machines Corporation Fusion to enhance early address generation of load instructions in a microprocessor
CN114070563B (zh) * 2020-07-31 2023-09-05 中移(苏州)软件技术有限公司 一种数据处理方法、装置、终端及存储介质
CN112102816A (zh) * 2020-08-17 2020-12-18 北京百度网讯科技有限公司 语音识别方法、装置、系统、电子设备和存储介质
JP7524667B2 (ja) * 2020-08-19 2024-07-30 富士通株式会社 情報処理装置、機械学習方法及び機械学習プログラム
TWI746126B (zh) 2020-08-25 2021-11-11 創鑫智慧股份有限公司 矩陣乘法裝置及其操作方法
CN112052149B (zh) * 2020-09-06 2022-02-22 厦门理工学院 一种大数据信息采集系统及使用方法
CN112200299B (zh) * 2020-09-09 2024-04-12 星宸科技股份有限公司 神经网络计算装置、数据处理方法及装置
KR102466257B1 (ko) * 2020-09-10 2022-11-14 주식회사 더웨이브톡 다중 광원을 활용한 분광 장치
CN112181492A (zh) * 2020-09-23 2021-01-05 北京奕斯伟计算技术有限公司 一种指令处理方法、指令处理装置和芯片
US20220092408A1 (en) * 2020-09-23 2022-03-24 Facebook, Inc. Neural network weight distribution using a tree direct-memory access (dma) bus
CN112991358A (zh) * 2020-09-30 2021-06-18 北京字节跳动网络技术有限公司 风格图像生成方法、模型训练方法、装置、设备和介质
CN111931937B (zh) * 2020-09-30 2021-01-01 深圳云天励飞技术股份有限公司 图像处理模型的梯度更新方法、装置及系统
CN112200305A (zh) * 2020-09-30 2021-01-08 中国电力科学研究院有限公司 一种神经网络加速协处理器、处理系统及处理方法
US11620818B2 (en) * 2020-10-01 2023-04-04 Intel Corporation Spatially sparse neural network accelerator for multi-dimension visual analytics
TWI748679B (zh) * 2020-10-08 2021-12-01 大陸商星宸科技股份有限公司 神經網路計算裝置、資料處理方法及裝置
CN112256801B (zh) * 2020-10-10 2024-04-09 深圳力维智联技术有限公司 抽取实体关系图中关键实体的方法、系统和存储介质
CN112232486A (zh) * 2020-10-19 2021-01-15 南京宁麒智能计算芯片研究院有限公司 一种yolo脉冲神经网络的优化方法
CN112287222B (zh) * 2020-10-29 2023-12-15 深圳大学 一种基于异质特征深度残差网络的内容推荐方法
US12112112B2 (en) * 2020-11-12 2024-10-08 Samsung Electronics Co., Ltd. Method for co-design of hardware and neural network architectures using coarse-to-fine search, two-phased block distillation and neural hardware predictor
CN112540996B (zh) * 2020-11-12 2023-11-24 Oppo(重庆)智能科技有限公司 一种业务数据的校验方法、装置、电子设备及存储介质
CN114519167A (zh) * 2020-11-19 2022-05-20 华为技术有限公司 一种算子计算方法、装置、设备及系统
KR20220073306A (ko) * 2020-11-26 2022-06-03 에스케이하이닉스 주식회사 스토리지 장치 및 그 동작 방법
CN112306500B (zh) * 2020-11-30 2022-06-07 上海交通大学 一种针对粗粒度可重构结构的降低多类访存冲突编译方法
CN112666860A (zh) * 2020-12-15 2021-04-16 合肥中感微电子有限公司 数字信号的扩展处理系统、其处理方法和处理器
CN112631955B (zh) * 2020-12-18 2024-01-19 北京地平线机器人技术研发有限公司 数据处理方法、装置、电子设备以及介质
CN112488908B (zh) * 2020-12-18 2021-08-27 时擎智能科技(上海)有限公司 一种计算装置、计算方法、存储介质及终端
US12001385B2 (en) * 2020-12-24 2024-06-04 Intel Corporation Apparatuses, methods, and systems for instructions for loading a tile of a matrix operations accelerator
CN112633505B (zh) 2020-12-24 2022-05-27 苏州浪潮智能科技有限公司 一种基于risc-v的人工智能推理方法和系统
CN112528224B (zh) * 2020-12-28 2022-09-13 上海微波技术研究所(中国电子科技集团公司第五十研究所) 一种矩阵特征值分解分组循环迭代流水实现方法及系统
CN112784970B (zh) * 2020-12-31 2023-08-15 深圳大普微电子科技有限公司 一种硬件加速器、数据处理方法、系统级芯片及介质
CN116710930A (zh) * 2020-12-31 2023-09-05 北京希姆计算科技有限公司 执行程序的编译方法、芯片、电子设备及计算机可读存储介质
CN112328511B (zh) * 2021-01-04 2021-05-04 统信软件技术有限公司 一种数据处理方法、计算设备及可读存储介质
CN112766477B (zh) * 2021-01-13 2023-05-30 天津智模科技有限公司 神经网络运算电路
CN112905591B (zh) * 2021-02-04 2022-08-26 成都信息工程大学 一种基于机器学习的数据表连接顺序选择方法
CN114944155B (zh) * 2021-02-14 2024-06-04 成都启英泰伦科技有限公司 一种终端硬件和算法软件处理相结合的离线语音识别方法
CN112836513B (zh) * 2021-02-20 2024-07-12 广联达科技股份有限公司 一种命名实体的链接方法、装置、设备及可读存储介质
CN112967188B (zh) * 2021-03-04 2024-04-02 中国科学技术大学 结合结构化语义码流的空间自适应图像超分辨重建方法
CN112835842B (zh) * 2021-03-05 2024-04-30 深圳市汇顶科技股份有限公司 端序处理方法、电路、芯片以及电子终端
US20220300816A1 (en) * 2021-03-19 2022-09-22 Rebellions Inc. Neural processing device and method for pruning thereof
CN113138804B (zh) * 2021-04-20 2022-10-04 清华大学 在传输过程中提取流数据特征的流处理器及其实现方法
CN113284512B (zh) * 2021-05-25 2022-05-27 重庆大学 一种基于深度稀疏迁移学习的帕金森语音分类方法
CN113256497B (zh) * 2021-06-21 2021-09-24 中南大学 图像重建方法及系统
CN113254648B (zh) * 2021-06-22 2021-10-22 暨南大学 一种基于多层次图池化的文本情感分析方法
CN115600659A (zh) * 2021-07-08 2023-01-13 北京嘉楠捷思信息技术有限公司(Cn) 一种神经网络运算的硬件加速装置和加速方法
CN113407351B (zh) * 2021-07-20 2024-08-23 昆仑芯(北京)科技有限公司 执行运算的方法、装置、芯片、设备、介质和程序产品
CN113485951B (zh) * 2021-07-31 2022-02-11 郑州信大捷安信息技术股份有限公司 一种基于fpga的dma读操作实现方法、fpga设备以及通信系统
CN113344768B (zh) * 2021-08-02 2021-10-15 成都统信软件技术有限公司 一种图像矩阵卷积的实现方法、计算设备及储存介质
CN113688352B (zh) * 2021-08-20 2023-08-04 上海思朗科技有限公司 一种数据处理系统、方法及装置
CN113709495B (zh) * 2021-08-24 2023-11-24 天津津航计算技术研究所 一种基于pcie缓冲机制的同步解码方法
CN113704689B (zh) * 2021-08-25 2022-11-11 北京大学 一种基于昇腾ai处理器的矩阵乘算子的处理方法及装置
CN113489619B (zh) * 2021-09-06 2021-11-19 中国人民解放军国防科技大学 一种基于时间序列分析的网络拓扑推断方法及装置
US12050858B2 (en) * 2021-09-21 2024-07-30 Bank Of America Corporation Personal data discovery
CN113869495B (zh) * 2021-09-30 2024-02-06 苏州浪潮智能科技有限公司 神经网络卷积权重layout优化的方法、装置、设备及可读介质
CN113988280B (zh) * 2021-10-26 2023-05-05 电子科技大学 一种基于二值化神经网络的阵列计算加速器架构
CN113918883B (zh) * 2021-11-03 2022-05-27 海光信息技术股份有限公司 数据处理方法、装置以及设备和计算机可读存储介质
CN114116547B (zh) * 2021-11-12 2024-03-26 成都立思方信息技术有限公司 一种可重构的电子对抗设备模拟器架构
CN113791889B (zh) * 2021-11-18 2022-03-11 中国科学院成都文献情报中心 一种基于多级轮询队列控制器部署学习模型的方法
CN114281874A (zh) * 2021-11-19 2022-04-05 北京大学 一种基于昇腾ai处理器的索引转换方法及装置
CN114065095B (zh) * 2021-11-30 2024-08-27 中国电信股份有限公司 网络节点加速方法、装置、计算机可读介质及电子设备
CN114172936B (zh) * 2021-12-08 2024-09-13 长讯通信服务有限公司 一种应用于物联网设备通信可信的方法
CN114217710B (zh) * 2021-12-20 2023-07-21 平安付科技服务有限公司 弹框控制方法、装置、存储介质及系统
CN114372012B (zh) * 2021-12-21 2024-02-20 中国科学院深圳先进技术研究院 一种通用、可配置的高能效池化计算单行输出系统和方法
CN114340097B (zh) * 2021-12-30 2024-07-30 合肥市芯海电子科技有限公司 一种控制灯带的方法、装置、芯片和电子设备
CN114356235A (zh) * 2021-12-31 2022-04-15 Oppo广东移动通信有限公司 一种数据标准化处理方法、装置、电子设备及存储介质
CN114359683B (zh) * 2021-12-31 2023-10-20 电子科技大学 一种面向文本定位的单内核hog高效异构加速方法
CN116450086B (zh) * 2022-01-05 2024-07-05 腾讯科技(深圳)有限公司 包括乘累加器的芯片、终端和控制方法
CN114491396A (zh) * 2022-01-20 2022-05-13 重庆邮电大学 一种idma系统发送信号均值计算方法及系统
CN114567596B (zh) * 2022-01-24 2024-04-05 浙江数秦科技有限公司 一种用于区块链的数据快速交换方法
CN114567670B (zh) * 2022-01-25 2024-04-05 浙江数秦科技有限公司 一种区块链网络数据传输方法
CN114168522B (zh) * 2022-02-14 2022-04-29 北京微核芯科技有限公司 一种数据传输方法、装置及传输部件
CN114546914B (zh) * 2022-02-23 2024-04-26 北京奕斯伟计算技术股份有限公司 用于对多个通道信息执行数据处理的处理装置及系统
CN114692060A (zh) * 2022-03-04 2022-07-01 支付宝(杭州)信息技术有限公司 数据处理方法和装置
CN114615207B (zh) * 2022-03-10 2022-11-25 四川三思德科技有限公司 推流前的数据定向化处理方法及装置
US20230298341A1 (en) * 2022-03-16 2023-09-21 Maxar Space Llc Convolutional neural network (cnn) for automatic target recognition in a satellite
CN114595173A (zh) * 2022-03-18 2022-06-07 山东云海国创云计算装备产业创新中心有限公司 一种数据传输方法、系统及计算机可读存储介质
TWI795254B (zh) * 2022-03-30 2023-03-01 天擎積體電路股份有限公司 支持廣播的模組系統、模組單元與廣播方法
CN114969029B (zh) * 2022-04-22 2024-07-23 南京航空航天大学 一种基于泰勒展开的多维插值及其维间点取值方法
WO2024004221A1 (ja) * 2022-07-01 2024-01-04 日本電信電話株式会社 演算処理装置、演算処理方法、及び演算処理プログラム
CN115190220B (zh) * 2022-07-07 2024-10-01 中国科学院半导体研究所 基于动态视觉和灰度脉冲传感器的片上脉冲图像处理系统
WO2024049568A1 (en) * 2022-08-31 2024-03-07 Microsoft Technology Licensing, Llc Increased computation efficiency with multi-stage 8-bit floating point matrix multiplication with format conversion
CN115412758B (zh) * 2022-09-01 2023-11-14 北京奇艺世纪科技有限公司 一种视频处理方法及相关装置
CN115248701B (zh) * 2022-09-21 2022-12-20 进迭时空(杭州)科技有限公司 一种处理器寄存器堆之间的零拷贝数据传输装置及方法
CN115269205B (zh) * 2022-09-27 2022-12-27 之江实验室 一种面向神经网络计算的内存优化方法和装置
CN115629579B (zh) * 2022-10-13 2023-11-07 南京天洑软件有限公司 一种cstr系统的控制方法及装置
CN115640493B (zh) * 2022-10-28 2024-07-30 成都医学院 基于fpga的分段线性分数阶运算ip核
CN115638833B (zh) * 2022-12-23 2023-03-31 保定网城软件股份有限公司 一种监控数据处理方法及系统
CN116188247B (zh) * 2023-02-06 2024-04-12 格兰菲智能科技有限公司 寄存器信息处理方法、装置、计算机设备、存储介质
WO2024176926A1 (ja) * 2023-02-22 2024-08-29 株式会社デンソー 演算処理装置
CN116775556A (zh) * 2023-06-27 2023-09-19 无锡中微亿芯有限公司 一种高数据传输效率的存算架构fpga
CN116679988B (zh) * 2023-08-02 2023-10-27 武汉芯必达微电子有限公司 硬件加速单元、硬件加速方法、芯片及存储介质
CN116720554B (zh) * 2023-08-11 2023-11-14 南京师范大学 一种基于fpga技术的多段线性拟合的神经元电路实现方法
CN117235519B (zh) * 2023-09-13 2024-09-24 港华数智能源科技(深圳)有限公司 能源数据处理方法、装置及存储介质
CN117372495B (zh) * 2023-09-15 2024-08-06 进迭时空(杭州)科技有限公司 一种加速数字图像处理中不同位宽点积的计算方法
CN117202242B (zh) * 2023-11-08 2024-02-06 南京邮电大学 一种基于粒子滤波模型的车联网中节点失效检测方法
CN117313803B (zh) * 2023-11-28 2024-02-02 进迭时空(杭州)科技有限公司 基于risc-v向量处理器架构的滑动窗口2d卷积计算方法
CN117707468B (zh) * 2023-12-07 2024-09-20 沐曦科技(北京)有限公司 一种用于部分写入的数据处理系统
CN117725468B (zh) * 2024-02-06 2024-04-26 四川鸿霖科技有限公司 一种智能医用电保障方法及系统
CN118095351B (zh) * 2024-04-12 2024-07-02 清华大学 层归一化计算的协同处理装置及方法
CN118535124A (zh) * 2024-05-27 2024-08-23 北京航空航天大学合肥创新研究院 移位加法器树结构、计算核架构、执行计算的方法及芯片

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104537630A (zh) * 2015-01-22 2015-04-22 厦门美图之家科技有限公司 一种基于年龄估计的图像美颜方法和装置
CN107239824A (zh) * 2016-12-05 2017-10-10 北京深鉴智能科技有限公司 用于实现稀疏卷积神经网络加速器的装置和方法
CN107301454A (zh) * 2016-04-15 2017-10-27 北京中科寒武纪科技有限公司 支持离散数据表示的人工神经网络反向训练装置和方法

Family Cites Families (296)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3382806T2 (de) * 1982-06-11 1996-11-14 Mitsubishi Electric Corp Vektorquantisierer
US4739472A (en) * 1984-12-07 1988-04-19 Nec Corporation Information processing device capable of rapidly processing instructions of different groups
US5047954A (en) * 1986-01-17 1991-09-10 International Business Machines Corporation Graphics vector generator setup technique
JP2785155B2 (ja) * 1990-09-10 1998-08-13 富士通株式会社 ニューロコンピュータの非同期制御方式
JPH04195251A (ja) * 1990-10-03 1992-07-15 Fujitsu Ltd ニューラルネットの学習計算方法
US5283839A (en) * 1990-12-31 1994-02-01 Neurosciences Research Foundation, Inc. Apparatus capable of figure-ground segregation
FR2694430B1 (fr) * 1992-07-31 1994-09-09 Centre Nat Rech Scient Dispositif électronique pour l'analyse d'image et la vision artificielle.
JPH0633237U (ja) * 1992-09-29 1994-04-28 紀北電子株式会社 計測データの実時間演算機能を有する演算装置
US5673407A (en) * 1994-03-08 1997-09-30 Texas Instruments Incorporated Data processor having capability to perform both floating point operations and memory access in response to a single instruction
JP3398673B2 (ja) * 1994-08-31 2003-04-21 エヌイーシーコンピュータテクノ株式会社 ベクトルデータ処理装置
US6047081A (en) 1997-10-24 2000-04-04 Imation Corp. Image processing software system having configurable communication pipelines
US7085710B1 (en) * 1998-01-07 2006-08-01 Microsoft Corporation Vehicle computer system audio entertainment system
US6477555B1 (en) * 1999-07-07 2002-11-05 Lucent Technologies Inc. Method and apparatus for performing rapid convolution
DE19948373A1 (de) * 1999-10-06 2001-05-17 Infineon Technologies Ag Verfahren zur Kanalentzerrung
DE60039587D1 (de) * 2000-05-31 2008-09-04 St Microelectronics Srl Schaltungsanordnung zum Programmieren von Daten in Referenzzellen einer nichtflüchtigen Multibitspeicheranordnung
GB2382887B (en) * 2001-10-31 2005-09-28 Alphamosaic Ltd Instruction execution in a processor
CN1142484C (zh) * 2001-11-28 2004-03-17 中国人民解放军国防科学技术大学 微处理器向量处理方法
US6889216B2 (en) * 2002-03-12 2005-05-03 Knowm Tech, Llc Physical neural network design incorporating nanotechnology
US6670895B2 (en) * 2002-05-01 2003-12-30 Analog Devices, Inc. Method and apparatus for swapping the contents of address registers
US7065545B2 (en) * 2002-05-07 2006-06-20 Quintero-De-La-Garza Raul Gera Computer methods of vector operation for reducing computation time
US7475101B2 (en) * 2003-09-29 2009-01-06 International Business Machines Corporation Method and structure for producing high performance linear algebra routines using streaming
US7680208B2 (en) * 2004-02-25 2010-03-16 Nokia Corporation Multiscale wireless communication
US20050268195A1 (en) * 2004-04-29 2005-12-01 Lund Morten W Apparatus and method for improving emulation speed of high-level languages in on-chip emulation systems
JP4586443B2 (ja) * 2004-07-16 2010-11-24 トヨタ自動車株式会社 情報提供装置
US7519207B2 (en) 2004-11-19 2009-04-14 Carestream Health, Inc. Detection and correction method for radiograph orientation
EP2487624B1 (en) * 2005-01-07 2020-02-19 Qualcomm Incorporated(1/3) Detecting and tracking objects in images
US7490230B2 (en) * 2005-02-04 2009-02-10 Mips Technologies, Inc. Fetch director employing barrel-incrementer-based round-robin apparatus for use in multithreading microprocessor
US20070005248A1 (en) * 2005-06-29 2007-01-04 Intel Corporation Data reconstruction in link-based interconnects
US20070156685A1 (en) * 2005-12-28 2007-07-05 Hiroshi Inoue Method for sorting data using SIMD instructions
CN101449256B (zh) * 2006-04-12 2013-12-25 索夫特机械公司 对载明并行和依赖运算的指令矩阵进行处理的装置和方法
US7574534B2 (en) * 2006-05-23 2009-08-11 International Business Machines Corporation Method for using device enumeration information to identify an operating system running on a computer system
JP4934356B2 (ja) * 2006-06-20 2012-05-16 株式会社日立製作所 映像処理エンジンおよびそれを含む映像処理システム
US20080071851A1 (en) * 2006-09-20 2008-03-20 Ronen Zohar Instruction and logic for performing a dot-product operation
US8340795B2 (en) * 2007-03-26 2012-12-25 Google Inc. Small removable audio player that attaches to a host media player
US20080201234A1 (en) * 2007-02-16 2008-08-21 Microsoft Corporation Live entities internet store service
JP4791984B2 (ja) 2007-02-27 2011-10-12 株式会社東芝 入力された音声を処理する装置、方法およびプログラム
CN100588172C (zh) * 2007-04-28 2010-02-03 腾讯科技(深圳)有限公司 一种实现网络预订存储的系统和方法
US8644151B2 (en) * 2007-05-22 2014-02-04 Cisco Technology, Inc. Processing packet flows
JP4325708B2 (ja) * 2007-07-05 2009-09-02 ソニー株式会社 データ処理装置、データ処理方法およびデータ処理プログラム、符号化装置、符号化方法および符号化プログラム、ならびに、復号装置、復号方法および復号プログラム
CN101369233A (zh) * 2007-08-14 2009-02-18 国际商业机器公司 程序编译方法和编译器
CN101217628A (zh) * 2008-01-08 2008-07-09 北京航空航天大学 一种多天线地面数字电视接收机的分集合并装置和其方法
JP2009200713A (ja) * 2008-02-20 2009-09-03 Sony Corp 画像処理装置、画像処理方法、プログラム
CN101315770B (zh) * 2008-05-27 2012-01-25 北京承芯卓越科技有限公司 语音识别片上系统及采用其的语音识别方法
CN101295405A (zh) * 2008-06-13 2008-10-29 西北工业大学 人像与车辆识别报警跟踪方法
US8553983B2 (en) 2008-07-10 2013-10-08 Nec Corporation Personal authentication system and personal authentication method
CN102216941B (zh) * 2008-08-19 2015-08-12 数字标记公司 用于内容处理的方法和系统
CN101685388B (zh) * 2008-09-28 2013-08-07 北京大学深圳研究生院 执行比较运算的方法和装置
JP5376920B2 (ja) * 2008-12-04 2013-12-25 キヤノン株式会社 コンボリューション演算回路、階層的コンボリューション演算回路及び物体認識装置
CN101782893B (zh) * 2009-01-21 2014-12-24 上海芯豪微电子有限公司 可重构数据处理平台
CN101556565B (zh) * 2009-01-22 2010-09-29 杭州中天微系统有限公司 嵌入式处理器的片上高性能dma
CN101819570B (zh) * 2009-02-27 2012-08-15 国际商业机器公司 网络环境中的用户信息处理和资源推荐的方法和系统
US8331168B2 (en) * 2009-04-30 2012-12-11 International Business Machines Corporation Increased capacity heterogeneous storage elements
CN101620524B (zh) * 2009-07-03 2011-08-10 中国人民解放军国防科学技术大学 支持矩阵整体读写操作的矩阵寄存器文件
CN101615113A (zh) * 2009-07-31 2009-12-30 清华大学 一条指令完成一次蝶形运算的微处理器实现方法
US8577950B2 (en) 2009-08-17 2013-11-05 International Business Machines Corporation Matrix multiplication operations with data pre-conditioning in a high performance computing architecture
CN101710272B (zh) * 2009-10-28 2012-09-05 龙芯中科技术有限公司 指令调度装置和方法
US20110112981A1 (en) 2009-11-09 2011-05-12 Seung-Taek Park Feature-Based Method and System for Cold-Start Recommendation of Online Ads
US8996845B2 (en) * 2009-12-22 2015-03-31 Intel Corporation Vector compare-and-exchange operation
US8984043B2 (en) 2009-12-23 2015-03-17 Intel Corporation Multiplying and adding matrices
CN102014475B (zh) * 2010-01-08 2012-01-04 华为技术有限公司 资源映射、码分复用方法及装置
JP5110098B2 (ja) 2010-02-08 2012-12-26 カシオ計算機株式会社 表示処理装置、及び、プログラム
CN101794239B (zh) * 2010-03-16 2012-11-14 浙江大学 一种基于数据流模型的多处理器任务调度管理方法
CN101833468B (zh) * 2010-04-28 2013-05-08 中国科学院自动化研究所 在高性能计算系统中生成向量处理指令集结构的方法
CN101833441B (zh) * 2010-04-28 2013-02-13 中国科学院自动化研究所 并行向量处理引擎结构
CN101876892B (zh) * 2010-05-20 2013-07-31 复旦大学 面向通信和多媒体应用的单指令多数据处理器电路结构
JP5408037B2 (ja) 2010-05-28 2014-02-05 カシオ計算機株式会社 画像処理装置及び方法、並びにプログラム
CN102346894B (zh) * 2010-08-03 2017-03-01 阿里巴巴集团控股有限公司 推荐信息的输出方法、系统及服务器
JP2012073998A (ja) 2010-08-31 2012-04-12 Casio Comput Co Ltd 画像配信システム、画像表示装置、画像配信サーバー、及びプログラム
GB2483903A (en) * 2010-09-24 2012-03-28 Advanced Risc Mach Ltd Instruction which specifies the type of the next instruction to be executed
CN102012893B (zh) * 2010-11-25 2012-07-18 中国人民解放军国防科学技术大学 一种可扩展向量运算装置
CN102005743A (zh) * 2010-11-25 2011-04-06 沈阳工业大学 基于径向基神经网络的自适应继电保护装置
US8635431B2 (en) * 2010-12-08 2014-01-21 International Business Machines Corporation Vector gather buffer for multiple address vector loads
CN102541814B (zh) * 2010-12-27 2015-10-14 北京国睿中数科技股份有限公司 用于数据通信处理器的矩阵计算装置和方法
CN102098623B (zh) * 2011-01-27 2013-06-12 大唐移动通信设备有限公司 一种mbsfn操作域动态生成方法和mce
US8892788B2 (en) * 2011-02-22 2014-11-18 Red Hat Israel, Ltd. Exposing a DMA engine to guests in a virtual machine system
CN102103479B (zh) * 2011-03-02 2015-06-10 中兴通讯股份有限公司 浮点运算器及浮点运算的处理方法
EP2695054B1 (en) * 2011-04-01 2018-08-15 Intel Corporation Vector friendly instruction format and execution thereof
CN102156637A (zh) * 2011-05-04 2011-08-17 中国人民解放军国防科学技术大学 向量交叉多线程处理方法及向量交叉多线程微处理器
US8620853B2 (en) * 2011-07-19 2013-12-31 Smartsignal Corporation Monitoring method using kernel regression modeling with pattern sequences
CN102262525B (zh) * 2011-08-29 2014-11-19 孙瑞玮 基于矢量运算的矢量浮点运算装置及方法
CN102360344B (zh) * 2011-10-10 2014-03-12 西安交通大学 矩阵处理器及其指令集和嵌入式系统
CN202281998U (zh) * 2011-10-18 2012-06-20 苏州科雷芯电子科技有限公司 一种标量浮点运算加速器
CN102375805B (zh) * 2011-10-31 2014-04-02 中国人民解放军国防科学技术大学 面向向量处理器的基于simd的fft并行计算方法
CN102508643A (zh) * 2011-11-16 2012-06-20 刘大可 一种多核并行数字信号处理器及并行指令集的运行方法
CN102520906A (zh) * 2011-12-13 2012-06-27 中国科学院自动化研究所 支持定浮点可重构的向量长度可配置的向量点积累加网络
WO2013095558A1 (en) * 2011-12-22 2013-06-27 Intel Corporation Method, apparatus and system for execution of a vector calculation instruction
US9960917B2 (en) * 2011-12-22 2018-05-01 Intel Corporation Matrix multiply accumulate instruction
CN107133018B (zh) * 2011-12-22 2020-12-22 英特尔公司 执行groestl散列的指令
CN103999037B (zh) * 2011-12-23 2020-03-06 英特尔公司 用于响应于单个指令来执行横向相加或相减的系统、装置和方法
CN104011649B (zh) * 2011-12-23 2018-10-09 英特尔公司 用于在simd/向量执行中传播有条件估算值的装置和方法
WO2013095613A2 (en) * 2011-12-23 2013-06-27 Intel Corporation Apparatus and method of mask permute instructions
CN104081337B (zh) * 2011-12-23 2017-11-07 英特尔公司 用于响应于单个指令来执行横向部分求和的系统、装置和方法
CN104040482B (zh) * 2011-12-28 2018-02-16 英特尔公司 用于在打包数据元素上执行增量解码的系统、装置和方法
KR20130090147A (ko) * 2012-02-03 2013-08-13 안병익 신경망 컴퓨팅 장치 및 시스템과 그 방법
US8706971B1 (en) * 2012-03-14 2014-04-22 Netapp, Inc. Caching and deduplication of data blocks in cache memory
US9715383B2 (en) * 2012-03-15 2017-07-25 International Business Machines Corporation Vector find element equal instruction
US9575753B2 (en) * 2012-03-15 2017-02-21 International Business Machines Corporation SIMD compare instruction using permute logic for distributed register files
CN102629913B (zh) * 2012-04-11 2014-12-24 浙江大学 适用于全局异步局部同步片上互连网络的路由器装置
US9091145B2 (en) * 2012-05-31 2015-07-28 Landmark Graphics Corporation Systems and methods for optimal positioning of drilling pads
CN102750127B (zh) * 2012-06-12 2015-06-24 清华大学 一种协处理器
CN102724482B (zh) * 2012-06-18 2015-08-26 西安电子科技大学 基于gps和gis的智能视觉传感网络运动目标接力跟踪系统
US10095516B2 (en) * 2012-06-29 2018-10-09 Intel Corporation Vector multiplication with accumulation in large register space
US9342479B2 (en) * 2012-08-23 2016-05-17 Qualcomm Incorporated Systems and methods of data extraction in a vector processor
CN102880341B (zh) * 2012-08-29 2015-08-05 北京集创北方科技有限公司 触摸屏数据处理系统、方法及专用alu
CN103699360B (zh) * 2012-09-27 2016-09-21 北京中科晶上科技有限公司 一种向量处理器及其进行向量数据存取、交互的方法
US9480439B2 (en) 2012-11-01 2016-11-01 Virginia Commonwealth University Segmentation and fracture detection in CT images
CN103064086B (zh) * 2012-11-04 2014-09-17 北京工业大学 一种基于深度信息的车辆跟踪方法
CN103002147A (zh) * 2012-11-29 2013-03-27 广东欧珀移动通信有限公司 一种移动终端自动应答方法和装置
US9405538B2 (en) * 2012-12-28 2016-08-02 Intel Corporation Functional unit having tree structure to support vector sorting algorithm and other algorithms
US9419792B2 (en) * 2012-12-28 2016-08-16 Intel Corporation Instruction for accelerating SNOW 3G wireless security algorithm
US9823924B2 (en) 2013-01-23 2017-11-21 International Business Machines Corporation Vector element rotate and insert under mask instruction
US9513906B2 (en) * 2013-01-23 2016-12-06 International Business Machines Corporation Vector checksum instruction
US9804840B2 (en) * 2013-01-23 2017-10-31 International Business Machines Corporation Vector Galois Field Multiply Sum and Accumulate instruction
US9231898B2 (en) * 2013-02-08 2016-01-05 Machine Zone, Inc. Systems and methods for multi-user multi-lingual communications
US9430164B1 (en) * 2013-02-08 2016-08-30 Emc Corporation Memory efficient sanitization of a deduplicated storage system
JP5852601B2 (ja) * 2013-02-26 2016-02-03 日本電信電話株式会社 ネットワーク設計装置およびネットワーク設計プログラム
US9349386B2 (en) * 2013-03-07 2016-05-24 Analog Device Global System and method for processor wake-up based on sensor data
US9542933B2 (en) 2013-03-08 2017-01-10 Analog Devices Global Microphone circuit assembly and system with speech recognition
US9250916B2 (en) * 2013-03-12 2016-02-02 International Business Machines Corporation Chaining between exposed vector pipelines
US9094576B1 (en) * 2013-03-12 2015-07-28 Amazon Technologies, Inc. Rendered audiovisual communication
US9417880B2 (en) * 2013-03-15 2016-08-16 Intel Corporation Instruction for performing an overload check
US20140317333A1 (en) * 2013-04-17 2014-10-23 Microchip Technology Incorporated Direct Memory Access Controller with Hybrid Scatter-Gather Functionality
CN104123250B (zh) * 2013-04-25 2019-02-01 上海联影医疗科技有限公司 基于dma的数据传输方法
CN103294648B (zh) * 2013-05-08 2016-06-01 中国人民解放军国防科学技术大学 支持多mac运算部件向量处理器的分块矩阵乘法向量化方法
US9679218B2 (en) 2013-05-09 2017-06-13 Tata Consultancy Services Limited Method and apparatus for image matching
CN104157285B (zh) * 2013-05-14 2016-01-20 腾讯科技(深圳)有限公司 语音识别方法、装置及电子设备
CN103368701B (zh) * 2013-07-12 2016-06-08 中国科学技术大学 一种基于吉文斯旋转的物理层多播多流数据传输方法
CN104376842A (zh) * 2013-08-12 2015-02-25 清华大学 神经网络语言模型的训练方法、装置以及语音识别方法
US9405728B2 (en) * 2013-09-05 2016-08-02 Altera Corporation Floating-point adder circuitry
US9542626B2 (en) * 2013-09-06 2017-01-10 Toyota Jidosha Kabushiki Kaisha Augmenting layer-based object detection with deep convolutional neural networks
CN104461970B (zh) * 2013-09-18 2019-06-11 中兴通讯股份有限公司 Dma控制器、移动终端以及数据搬运方法
EP2851786A1 (en) * 2013-09-23 2015-03-25 Telefonaktiebolaget L M Ericsson (publ) Instruction class for digital signal processors
CN103530276B (zh) * 2013-09-25 2016-06-22 中国科学技术大学 一种基于龙芯3b的自适应矩阵乘法优化方法
US20160293167A1 (en) * 2013-10-10 2016-10-06 Google Inc. Speaker recognition using neural networks
KR102120864B1 (ko) 2013-11-06 2020-06-10 삼성전자주식회사 영상 처리 방법 및 장치
CN103646007A (zh) 2013-12-18 2014-03-19 北京经纬恒润科技有限公司 数据处理方法、装置及系统
US9665533B2 (en) * 2013-12-20 2017-05-30 Rambus Inc. Blob pools, selectors, and command set implemented within a memory appliance for accessing memory
US9507595B2 (en) * 2014-02-28 2016-11-29 International Business Machines Corporation Execution of multi-byte memory access instruction specifying endian mode that overrides current global endian mode
US9740659B2 (en) * 2014-03-19 2017-08-22 International Business Machines Corporation Merging and sorting arrays on an SIMD processor
CN103856727B (zh) * 2014-03-24 2017-01-25 北京工业大学 一种多路实时视频拼接处理系统
CN105446970A (zh) * 2014-06-10 2016-03-30 华为技术有限公司 推荐项目的方法和装置
CN104158753B (zh) * 2014-06-12 2017-10-24 南京工程学院 基于软件定义网络的动态流调度方法及系统
CN104077138B (zh) * 2014-06-27 2017-08-29 中国科学院计算技术研究所 一种集成网络路由器的众核处理器系统及其集成方法和实现方法
US9798519B2 (en) * 2014-07-02 2017-10-24 Via Alliance Semiconductor Co., Ltd. Standard format intermediate result
KR101844932B1 (ko) * 2014-09-16 2018-04-03 한국전자통신연구원 신호처리 알고리즘이 통합된 심층 신경망 기반의 음성인식 장치 및 이의 학습방법
US10061746B2 (en) * 2014-09-26 2018-08-28 Intel Corporation Instruction and logic for a vector format for processing computations
CN104219505A (zh) * 2014-09-29 2014-12-17 济南中维世纪科技有限公司 一种基于PCIe的多路高清模拟音视频采集系统
CN104376326B (zh) * 2014-11-02 2017-06-16 吉林大学 一种用于图像场景识别的特征提取方法
US9824684B2 (en) 2014-11-13 2017-11-21 Microsoft Technology Licensing, Llc Prediction-based sequence recognition
US20160139921A1 (en) * 2014-11-14 2016-05-19 Intel Corporation Vector instruction to compute coordiante of next point in a z-order curve
CN105703978A (zh) * 2014-11-24 2016-06-22 武汉物联远科技有限公司 智能家居控制系统和方法
EP3035204B1 (en) * 2014-12-19 2018-08-15 Intel Corporation Storage device and method for performing convolution operations
US9851970B2 (en) * 2014-12-23 2017-12-26 Intel Corporation Method and apparatus for performing reduction operations on a set of vector elements
CN105787888A (zh) * 2014-12-23 2016-07-20 联芯科技有限公司 人脸图像美化方法
US10671679B2 (en) 2014-12-30 2020-06-02 Oath Inc. Method and system for enhanced content recommendation
WO2016145379A1 (en) 2015-03-12 2016-09-15 William Marsh Rice University Automated Compilation of Probabilistic Task Description into Executable Neural Network Specification
CN106034145B (zh) * 2015-03-12 2019-08-09 阿里巴巴集团控股有限公司 数据处理的方法和系统
CN106302837B (zh) * 2015-05-12 2019-08-06 青岛海信宽带多媒体技术有限公司 一种光网络单元的mac地址表管理方法及装置
CN104834747B (zh) * 2015-05-25 2018-04-27 中国科学院自动化研究所 基于卷积神经网络的短文本分类方法
CN104850845B (zh) * 2015-05-30 2017-12-26 大连理工大学 一种基于非对称卷积神经网络的交通标志识别方法
CN104915322B (zh) * 2015-06-09 2018-05-01 中国人民解放军国防科学技术大学 一种卷积神经网络硬件加速方法
US11755484B2 (en) * 2015-06-26 2023-09-12 Microsoft Technology Licensing, Llc Instruction block allocation
KR102371188B1 (ko) * 2015-06-30 2022-03-04 삼성전자주식회사 음성 인식 장치 및 방법과 전자 장치
CN105068998B (zh) * 2015-07-29 2017-12-15 百度在线网络技术(北京)有限公司 基于神经网络模型的翻译方法及装置
DE102015009981A1 (de) * 2015-07-31 2017-02-02 Eberhard Karls Universität Tübingen Verfahren und Vorrichtung zur Bildsynthese
US10198872B2 (en) * 2015-08-10 2019-02-05 The Board Of Trustees Of The Leland Stanford Junior University 3D reconstruction and registration of endoscopic data
CN105069304B (zh) * 2015-08-18 2019-04-05 广东顺德中山大学卡内基梅隆大学国际联合研究院 一种基于机器学习的评估预测asd的装置
CN106484682B (zh) * 2015-08-25 2019-06-25 阿里巴巴集团控股有限公司 基于统计的机器翻译方法、装置及电子设备
CN105160340A (zh) * 2015-08-31 2015-12-16 桂林电子科技大学 一种车辆品牌识别系统及方法
CN105184366B (zh) * 2015-09-15 2018-01-09 中国科学院计算技术研究所 一种时分复用的通用神经网络处理器
CN108027735B (zh) * 2015-09-19 2021-08-27 微软技术许可有限责任公司 用于操作处理器的装置、方法和计算机可读存储介质
US10789525B2 (en) * 2015-10-02 2020-09-29 Adobe Inc. Modifying at least one attribute of an image with at least one attribute extracted from another image
US10509765B2 (en) 2015-10-08 2019-12-17 Via Alliance Semiconductor Co., Ltd. Neural processing unit that selectively writes back to neural memory either activation function output or accumulator value
CN105405443A (zh) * 2015-10-23 2016-03-16 福州瑞芯微电子股份有限公司 基于ape格式的音频信号压缩处理系统及方法
US20180322662A1 (en) * 2015-11-06 2018-11-08 Thomson Licensing Method for transfer of a style of a reference visual object to another visual object, and corresponding electronic device, computer readable program products and computer readable storage medium
US10691456B2 (en) * 2015-11-13 2020-06-23 International Business Machines Corporation Vector store instruction having instruction-specified byte count to be stored supporting big and little endian processing
CN105488565A (zh) * 2015-11-17 2016-04-13 中国科学院计算技术研究所 加速深度神经网络算法的加速芯片的运算装置及方法
CN105468546B (zh) * 2015-11-17 2017-04-12 中国科学院计算技术研究所 互连电路的数据处理装置和方法
CN105468335B (zh) * 2015-11-24 2017-04-12 中国科学院计算技术研究所 流水级运算装置、数据处理方法及片上网络芯片
CN105354006B (zh) * 2015-11-27 2017-11-21 中国科学院计算技术研究所 一种非线性函数的快速运算装置及其方法
CN105512676A (zh) * 2015-11-30 2016-04-20 华南理工大学 一种智能终端上的食物识别方法
CN106844368B (zh) * 2015-12-03 2020-06-16 华为技术有限公司 用于人机对话的方法、神经网络系统和用户设备
CN108511027A (zh) * 2015-12-18 2018-09-07 中国科学院计算技术研究所 一种用于自动校正访问存储装置数据的装置及方法
US20170177348A1 (en) * 2015-12-21 2017-06-22 Intel Corporation Instruction and Logic for Compression and Rotation
US10467201B1 (en) * 2015-12-23 2019-11-05 Massachusetts Mutual Life Insurance Company Systems and methods for integration and analysis of data records
US10032463B1 (en) 2015-12-29 2018-07-24 Amazon Technologies, Inc. Speech processing with learned representation of user interaction history
US20170193397A1 (en) * 2015-12-30 2017-07-06 Accenture Global Solutions Limited Real time organization pulse gathering and analysis using machine learning and artificial intelligence
US10482380B2 (en) * 2015-12-30 2019-11-19 Amazon Technologies, Inc. Conditional parallel processing in fully-connected neural networks
US20170193361A1 (en) * 2015-12-31 2017-07-06 Microsoft Technology Licensing, Llc Neural network training performance optimization framework
US9760807B2 (en) 2016-01-08 2017-09-12 Siemens Healthcare Gmbh Deep image-to-image network learning for medical image analysis
CN105721354B (zh) * 2016-01-18 2019-06-14 云南磊奥明科技有限公司 片上网络互联方法及装置
CN106991073B (zh) * 2016-01-20 2020-06-05 中科寒武纪科技股份有限公司 用于向量运算的数据读写调度器及保留站
CN111580865B (zh) * 2016-01-20 2024-02-27 中科寒武纪科技股份有限公司 一种向量运算装置及运算方法
CN111353588B (zh) * 2016-01-20 2024-03-05 中科寒武纪科技股份有限公司 用于执行人工神经网络反向训练的装置和方法
CN106991077A (zh) * 2016-01-20 2017-07-28 南京艾溪信息科技有限公司 一种矩阵计算装置
CN107545303B (zh) * 2016-01-20 2021-09-07 中科寒武纪科技股份有限公司 用于稀疏人工神经网络的计算装置和运算方法
CN106991477B (zh) * 2016-01-20 2020-08-14 中科寒武纪科技股份有限公司 一种人工神经网络压缩编码装置和方法
CN111353589B (zh) * 2016-01-20 2024-03-01 中科寒武纪科技股份有限公司 用于执行人工神经网络正向运算的装置和方法
CN105787557B (zh) * 2016-02-23 2019-04-19 北京工业大学 一种计算机智能识别的深层神经网络结构设计方法
KR101784944B1 (ko) * 2016-02-26 2017-10-12 삼성중공업 주식회사 과전압 억제필터의 구성방법
CN105719327B (zh) * 2016-02-29 2018-09-07 北京中邮云天科技有限公司 一种艺术风格化图像处理方法
WO2017159384A1 (ja) 2016-03-14 2017-09-21 日本電気株式会社 物体管理装置
CN205582481U (zh) * 2016-03-16 2016-09-14 中航华东光电(上海)有限公司 可加载个性化特征模型的语音识别系统
CN107203775B (zh) * 2016-03-18 2021-07-27 斑马智行网络(香港)有限公司 一种图像分类的方法、装置和设备
CN105844330B (zh) * 2016-03-22 2019-06-28 华为技术有限公司 神经网络处理器的数据处理方法及神经网络处理器
CN105869117B (zh) * 2016-03-28 2021-04-02 上海交通大学 一种针对深度学习超分辨率技术的gpu加速方法
CN105892989B (zh) * 2016-03-28 2017-04-12 中国科学院计算技术研究所 一种神经网络加速器及其运算方法
CN105912476A (zh) * 2016-04-06 2016-08-31 中国科学院计算技术研究所 片上重复寻址的方法及装置
CN105912667A (zh) * 2016-04-12 2016-08-31 玉环看知信息科技有限公司 一种信息推荐方法、装置及移动终端
CN109358900B (zh) * 2016-04-15 2020-07-03 中科寒武纪科技股份有限公司 支持离散数据表示的人工神经网络正向运算装置和方法
EP3444757B1 (en) * 2016-04-15 2021-07-07 Cambricon Technologies Corporation Limited Discrete data representation supported device and method for forward operation of artificial neural network
CN108510064B (zh) * 2016-04-18 2021-12-10 中国科学院计算技术研究所 包括多个核心处理模块的人工神经网络的处理系统及方法
CN107305484B (zh) * 2016-04-19 2021-11-05 中科寒武纪科技股份有限公司 一种非线性函数运算装置及方法
CN105869024A (zh) * 2016-04-20 2016-08-17 北京小米移动软件有限公司 商品的推荐方法及装置
CN105956608A (zh) * 2016-04-21 2016-09-21 恩泊泰(天津)科技有限公司 一种基于深度学习的目标定位、分类算法
CN105913039B (zh) * 2016-04-26 2020-08-18 北京光年无限科技有限公司 基于视觉和语音的对话数据交互处理方法及装置
CN106022468B (zh) * 2016-05-17 2018-06-01 成都启英泰伦科技有限公司 人工神经网络处理器集成电路及该集成电路的设计方法
US10049425B2 (en) 2016-05-23 2018-08-14 Google Llc Merging filters for a graphic processing unit
CN106067031B (zh) * 2016-05-26 2019-05-24 北京新长征天高智机科技有限公司 基于人工纠错机制与深度学习网络协作机器视觉识别系统
CN105895082A (zh) * 2016-05-30 2016-08-24 乐视控股(北京)有限公司 声学模型训练方法、语音识别方法及装置
CN106095834A (zh) * 2016-06-01 2016-11-09 竹间智能科技(上海)有限公司 基于话题的智能对话方法及系统
CN106066783A (zh) * 2016-06-02 2016-11-02 华为技术有限公司 基于幂次权重量化的神经网络前向运算硬件结构
CN106096542B (zh) * 2016-06-08 2020-02-11 中国科学院上海高等研究院 基于距离预测信息的图像视频场景识别方法
CN106127672B (zh) * 2016-06-21 2019-03-12 南京信息工程大学 基于fpga的图像纹理特征提取算法
CN106126507B (zh) * 2016-06-22 2019-08-09 哈尔滨工业大学深圳研究生院 一种基于字符编码的深度神经翻译方法及系统
CN106227507B (zh) * 2016-07-11 2019-10-18 北京深鉴智能科技有限公司 计算系统及其控制器
CN106228512A (zh) * 2016-07-19 2016-12-14 北京工业大学 基于学习率自适应的卷积神经网络图像超分辨率重建方法
CN106228162B (zh) 2016-07-22 2019-05-17 王威 一种基于深度学习的移动机器人快速物体识别方法
CN106296667A (zh) * 2016-08-01 2017-01-04 乐视控股(北京)有限公司 手形检测方法和系统
CN106250103A (zh) * 2016-08-04 2016-12-21 东南大学 一种卷积神经网络循环卷积计算数据重用的系统
US9864933B1 (en) * 2016-08-23 2018-01-09 Jasmin Cosic Artificially intelligent systems, devices, and methods for learning and/or using visual surrounding for autonomous object operation
CN106408595A (zh) * 2016-08-31 2017-02-15 上海交通大学 一种基于神经网络画风学习的图像渲染方法
EP3507773A1 (en) 2016-09-02 2019-07-10 Artomatix Ltd. Systems and methods for providing convolutional neural network based image synthesis using stable and controllable parametric models, a multiscale synthesis framework and novel network architectures
CN106408086A (zh) * 2016-09-12 2017-02-15 上海影城有限公司 用于图像优化的深度学习神经网络处理方法及系统
CN106503055B (zh) * 2016-09-27 2019-06-04 天津大学 一种从结构化文本到图像描述的生成方法
CN106650922B (zh) * 2016-09-29 2019-05-03 清华大学 硬件神经网络转换方法、计算装置、软硬件协作系统
US12093813B2 (en) 2016-09-30 2024-09-17 Intel Corporation Dynamic neural network surgery
CN116823593A (zh) * 2016-10-21 2023-09-29 谷歌有限责任公司 风格化输入图像
CN106447034B (zh) * 2016-10-27 2019-07-30 中国科学院计算技术研究所 一种基于数据压缩的神经网络处理器、设计方法、芯片
CN106548208B (zh) * 2016-10-28 2019-05-28 杭州米绘科技有限公司 一种照片图像快速智能风格化方法
CN106778472A (zh) * 2016-11-17 2017-05-31 成都通甲优博科技有限责任公司 基于深度学习的输电走廊常见侵入物目标检测与识别方法
US10157045B2 (en) 2016-11-17 2018-12-18 The Mathworks, Inc. Systems and methods for automatically generating code for deep learning systems
US10916001B2 (en) * 2016-11-28 2021-02-09 Adobe Inc. Facilitating sketch to painting transformations
CN106780367B (zh) * 2016-11-28 2019-11-15 上海大学 基于字典学习的hdr照片风格转移方法
CN106778928B (zh) * 2016-12-21 2020-08-04 广州华多网络科技有限公司 图像处理方法及装置
CN106815321A (zh) * 2016-12-27 2017-06-09 深圳前海勇艺达机器人有限公司 基于智能聊天机器人的聊天方法及装置
CN106782501B (zh) * 2016-12-28 2020-07-24 百度在线网络技术(北京)有限公司 基于人工智能的语音特征提取方法和装置
CN106604216A (zh) * 2016-12-31 2017-04-26 广州博冠光电技术有限公司 一种双向语音与操作控制数据的传输控制方法及系统
US10262218B2 (en) 2017-01-03 2019-04-16 Qualcomm Incorporated Simultaneous object detection and rigid transform estimation using neural network
CN106775599B (zh) * 2017-01-09 2019-03-01 南京工业大学 递归神经网络的多计算单元粗粒度可重构系统及方法
CN106898350A (zh) * 2017-01-16 2017-06-27 华南理工大学 一种基于深度学习的智能工业机器人语音交互与控制方法
CN106844627B (zh) * 2017-01-20 2020-06-19 竹间智能科技(上海)有限公司 基于对话系统的在线学习方法及装置
CN106845549B (zh) * 2017-01-22 2020-08-21 珠海习悦信息技术有限公司 一种基于多任务学习的场景与目标识别的方法及装置
CN106709532B (zh) * 2017-01-25 2020-03-10 京东方科技集团股份有限公司 图像处理方法和装置
CN106952235B (zh) * 2017-02-10 2019-07-26 维沃移动通信有限公司 一种图像处理方法和移动终端
CN108460454B (zh) 2017-02-21 2022-07-26 京东方科技集团股份有限公司 卷积神经网络和用于其的处理方法、装置、系统
US10482639B2 (en) * 2017-02-21 2019-11-19 Adobe Inc. Deep high-resolution style synthesis
CN106951961B (zh) * 2017-02-24 2019-11-26 清华大学 一种粗粒度可重构的卷积神经网络加速器及系统
CN107066239A (zh) * 2017-03-01 2017-08-18 智擎信息系统(上海)有限公司 一种实现卷积神经网络前向计算的硬件结构
CN106850673A (zh) * 2017-03-09 2017-06-13 福建省汽车工业集团云度新能源汽车股份有限公司 基于声纹识别的汽车用户登入方法及装置
CN107038159B (zh) * 2017-03-09 2019-07-12 清华大学 一种基于无监督领域自适应的神经网络机器翻译方法
CN106887225B (zh) * 2017-03-21 2020-04-07 百度在线网络技术(北京)有限公司 基于卷积神经网络的声学特征提取方法、装置和终端设备
CN106920545B (zh) * 2017-03-21 2020-07-28 百度在线网络技术(北京)有限公司 基于人工智能的语音特征提取方法和装置
CN106898353A (zh) * 2017-03-23 2017-06-27 东华理工大学 一种智能家居语音控制系统及其语音识别方法
CN107169503B (zh) * 2017-03-27 2020-05-22 中国科学院深圳先进技术研究院 一种室内场景的分类方法及装置
CN106970896B (zh) * 2017-03-30 2020-05-12 中国人民解放军国防科学技术大学 面向向量处理器的二维矩阵卷积的向量化实现方法
CN106952224B (zh) * 2017-03-30 2019-08-13 电子科技大学 一种基于卷积神经网络的图像风格转移方法
US10152768B2 (en) * 2017-04-14 2018-12-11 Facebook, Inc. Artifact reduction for image style transfer
CN107194938A (zh) * 2017-04-17 2017-09-22 上海大学 基于深度卷积神经网络的图像轮廓检测方法
CN107133222A (zh) * 2017-04-17 2017-09-05 中译语通科技(北京)有限公司 一种基于异质架构的实时语言转换装置及转换方法
CN107193773A (zh) * 2017-04-20 2017-09-22 北京安云世纪科技有限公司 一种数据处理方法、装置及移动终端
CN107092883A (zh) 2017-04-20 2017-08-25 上海极链网络科技有限公司 物体识别追踪方法
CN107171932B (zh) * 2017-04-27 2021-06-08 腾讯科技(深圳)有限公司 一种图片风格转换方法、装置及系统
CN107124609A (zh) * 2017-04-27 2017-09-01 京东方科技集团股份有限公司 一种视频图像的处理系统、其处理方法及显示装置
CN107067825A (zh) * 2017-04-27 2017-08-18 四川九洲空管科技有限责任公司 一种机载防撞系统的语音告警系统及其语音告警方法
US20200193225A1 (en) 2017-04-28 2020-06-18 Toyota Motor Europe System and method for detecting objects in a digital image, and system and method for rescoring object detections
CN107145467A (zh) * 2017-05-13 2017-09-08 贾宏博 一种分布式实时计算硬件系统
US11694072B2 (en) 2017-05-19 2023-07-04 Nvidia Corporation Machine learning technique for automatic modeling of multiple-valued outputs
CN107247930A (zh) * 2017-05-26 2017-10-13 西安电子科技大学 基于cnn和选择性注意机制的sar图像目标检测方法
CN107291704B (zh) * 2017-05-26 2020-12-11 北京搜狗科技发展有限公司 处理方法和装置、用于处理的装置
US10504267B2 (en) * 2017-06-06 2019-12-10 Adobe Inc. Generating a stylized image or stylized animation by matching semantic features via an appearance guide, a segmentation guide, and/or a temporal guide
CN107301383B (zh) * 2017-06-07 2020-11-24 华南理工大学 一种基于Fast R-CNN的路面交通标志识别方法
CN109036446B (zh) * 2017-06-08 2022-03-04 腾讯科技(深圳)有限公司 一种音频数据处理方法以及相关设备
CN107240185B (zh) * 2017-06-23 2019-09-20 深圳怡化电脑股份有限公司 一种冠字号识别方法、装置、设备及存储介质
US10956816B2 (en) 2017-06-28 2021-03-23 International Business Machines Corporation Enhancing rating prediction using reviews
US9959272B1 (en) * 2017-07-21 2018-05-01 Memsource a.s. Automatic classification and translation of written segments
US10664718B1 (en) 2017-09-11 2020-05-26 Apple Inc. Real-time adjustment of hybrid DNN style transfer networks
US10635858B2 (en) * 2017-09-11 2020-04-28 Nec Corporation Electronic message classification and delivery using a neural network architecture
WO2019071618A1 (zh) 2017-10-09 2019-04-18 华为技术有限公司 一种图像处理方法及设备
EP3627397B1 (en) 2017-10-20 2022-07-27 Shanghai Cambricon Information Technology Co., Ltd Processing method and apparatus
CN108986022A (zh) 2017-10-30 2018-12-11 上海寒武纪信息科技有限公司 图像美化方法及相关产品
CN107730474B (zh) 2017-11-09 2022-02-22 京东方科技集团股份有限公司 图像处理方法、处理装置和处理设备
CN107977704B (zh) 2017-11-10 2020-07-31 中国科学院计算技术研究所 权重数据存储方法和基于该方法的神经网络处理器
US11501153B2 (en) * 2017-12-28 2022-11-15 Intel Corporation Methods and apparatus for training a neural network
US11990137B2 (en) 2018-09-13 2024-05-21 Shanghai Cambricon Information Technology Co., Ltd. Image retouching method and terminal device
US11113578B1 (en) 2020-04-13 2021-09-07 Adobe, Inc. Learned model-based image rendering

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104537630A (zh) * 2015-01-22 2015-04-22 厦门美图之家科技有限公司 一种基于年龄估计的图像美颜方法和装置
CN107301454A (zh) * 2016-04-15 2017-10-27 北京中科寒武纪科技有限公司 支持离散数据表示的人工神经网络反向训练装置和方法
CN107239824A (zh) * 2016-12-05 2017-10-10 北京深鉴智能科技有限公司 用于实现稀疏卷积神经网络加速器的装置和方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
柳絮飞: "告别Photoshop 神经网络磨皮技术解密", 《电脑爱好者》 *
陆志坚: "基于FPGA的卷积神经网络并行结构研究", 《中国博士学位论文全文数据库》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111353595A (zh) * 2018-12-20 2020-06-30 上海寒武纪信息科技有限公司 运算方法、装置及相关产品
CN111984189A (zh) * 2020-07-22 2020-11-24 深圳云天励飞技术有限公司 神经网络计算装置和数据读取、数据存储方法及相关设备
CN111984189B (zh) * 2020-07-22 2022-05-17 深圳云天励飞技术股份有限公司 神经网络计算装置和数据读取、数据存储方法及相关设备

Also Published As

Publication number Publication date
US11922132B2 (en) 2024-03-05
US20210157992A1 (en) 2021-05-27
CN109034383A (zh) 2018-12-18
CN109003132A (zh) 2018-12-14
CN109522254B (zh) 2022-04-12
CN109062539A (zh) 2018-12-21
CN110689126A (zh) 2020-01-14
CN108898554A (zh) 2018-11-27
EP3709224A4 (en) 2021-10-06
CN107895191B (zh) 2022-02-22
CN109117948B (zh) 2021-10-19
CN111160548B (zh) 2024-01-12
CN108874444A (zh) 2018-11-23
CN109726806A (zh) 2019-05-07
US11762631B2 (en) 2023-09-19
CN107992486A (zh) 2018-05-04
EP3709224A1 (en) 2020-09-16
CN107832804A (zh) 2018-03-23
CN109034383B (zh) 2021-09-21
CN109542514B (zh) 2021-01-05
CN109117184A (zh) 2019-01-01
CN109522254A (zh) 2019-03-26
CN109542514A (zh) 2019-03-29
CN108874445A (zh) 2018-11-23
CN111160548A (zh) 2020-05-15
CN108984211B (zh) 2021-01-05
CN109034382A (zh) 2018-12-18
CN109003603A (zh) 2018-12-14
CN110610236A (zh) 2019-12-24
CN109086075A (zh) 2018-12-25
CN109523020A (zh) 2019-03-26
US12050887B2 (en) 2024-07-30
CN107993206A (zh) 2018-05-04
WO2019085655A1 (zh) 2019-05-09
CN109997154A (zh) 2019-07-09
CN109064384A (zh) 2018-12-21
CN109003132B (zh) 2021-12-14
CN110689126B (zh) 2023-04-07
CN111310910B (zh) 2023-06-30
CN109062606B (zh) 2021-09-21
CN109117183B (zh) 2021-10-19
CN109725936A (zh) 2019-05-07
US20210182077A1 (en) 2021-06-17
CN109725936B (zh) 2022-08-26
CN108958801A (zh) 2018-12-07
CN108875926A (zh) 2018-11-23
CN109086074A (zh) 2018-12-25
CN107832843A (zh) 2018-03-23
CN107833176A (zh) 2018-03-23
US20210192245A1 (en) 2021-06-24
CN107895191A (zh) 2018-04-10
CN110084361A (zh) 2019-08-02
CN109117947A (zh) 2019-01-01
CN109062607A (zh) 2018-12-21
CN108958801B (zh) 2021-06-25
CN107832844A (zh) 2018-03-23
CN108984211A (zh) 2018-12-11
CN110689125A (zh) 2020-01-14
CN109086075B (zh) 2021-06-08
CN107832843B (zh) 2021-09-21
CN107832845A (zh) 2018-03-23
US20210158484A1 (en) 2021-05-27
CN111291880A (zh) 2020-06-16
CN109062607B (zh) 2021-09-21
CN109542515B (zh) 2021-06-25
US20210150685A1 (en) 2021-05-20
CN110084361B (zh) 2021-03-23
CN109063831A (zh) 2018-12-21
CN111178521A (zh) 2020-05-19
CN109117948A (zh) 2019-01-01
CN107844832A (zh) 2018-03-27
CN109086074B (zh) 2021-01-05
CN111310910A (zh) 2020-06-19
CN109063830A (zh) 2018-12-21
CN110610236B (zh) 2022-05-31
CN109062606A (zh) 2018-12-21
CN111291880B (zh) 2024-05-14
CN109542515A (zh) 2019-03-29
CN111160549A (zh) 2020-05-15
CN109117183A (zh) 2019-01-01

Similar Documents

Publication Publication Date Title
CN108986022A (zh) 图像美化方法及相关产品
CN108229654B (zh) 神经网络卷积运算装置及方法
JP6880160B2 (ja) 計算装置と計算方法
CN109189473A (zh) 神经网络处理装置及其执行向量交换指令的方法
CN107704267A (zh) 一种卷积神经网络运算指令及其方法
CN107341547A (zh) 一种用于执行卷积神经网络训练的装置和方法
CN110163360A (zh) 一种计算装置及方法
CN107301453A (zh) 支持离散数据表示的人工神经网络正向运算装置和方法
CN108334944B (zh) 一种人工神经网络运算的装置及方法
CN111353591B (zh) 一种计算装置及相关产品
CN109754062A (zh) 卷积扩展指令的执行方法以及相关产品
CN110490317B (zh) 神经网络运算装置及运算方法
CN111178492B (zh) 计算装置及相关产品、执行人工神经网络模型的计算方法
CN108960415A (zh) 处理装置和处理系统
CN111382848B (zh) 一种计算装置及相关产品
CN116980277B (zh) 数据处理方法、装置、计算机设备及存储介质
CN117634577B (zh) 向量处理器、神经网络加速器、芯片及电子设备
CN109754061A (zh) 卷积扩展指令的执行方法以及相关产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20181211