[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN110162175A - 基于视觉的触觉测量方法、装置、设备及存储介质 - Google Patents

基于视觉的触觉测量方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN110162175A
CN110162175A CN201910411693.6A CN201910411693A CN110162175A CN 110162175 A CN110162175 A CN 110162175A CN 201910411693 A CN201910411693 A CN 201910411693A CN 110162175 A CN110162175 A CN 110162175A
Authority
CN
China
Prior art keywords
neural network
indicia patterns
sample
feedforward neural
curvature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910411693.6A
Other languages
English (en)
Other versions
CN110162175B (zh
Inventor
郑宇�
许忠锦
张正友
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202210431476.5A priority Critical patent/CN114661169B/zh
Priority to CN201910411693.6A priority patent/CN110162175B/zh
Publication of CN110162175A publication Critical patent/CN110162175A/zh
Priority to EP20804776.1A priority patent/EP3971684A4/en
Priority to PCT/CN2020/085608 priority patent/WO2020228489A1/zh
Priority to US17/369,837 priority patent/US12214487B2/en
Application granted granted Critical
Publication of CN110162175B publication Critical patent/CN110162175B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/081—Touching devices, e.g. pressure-sensitive
    • B25J13/084—Tactile sensors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B5/00—Measuring arrangements characterised by the use of mechanical techniques
    • G01B5/20—Measuring arrangements characterised by the use of mechanical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/64—Analysis of geometric attributes of convexity or concavity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/225—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on a marking or identifier characterising the area
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/758—Involving statistics of pixels or of feature values, e.g. histogram matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Human Computer Interaction (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请涉及一种基于视觉的触觉测量方法、装置、设备及存储介质，属于人机交互领域。该方法包括：获取所述图像传感组件对传感面采集的图像序列，所述图像序列的图像中包括标记图案；根据所述图像序列中的相邻图像内的所述标记图案，计算所述标记图案的差异特征；调用前馈神经网络对所述标记图案的差异特征进行处理，得到触觉测量结果。该方法利用图像阵列中连续两幅图像上的标记点的位移作为特征值，得到接触点的位置、接触力的大小和/或方向，接触表面的曲率半径等信息，相比于相关技术中所采用的卷积神经网络模型(CNN)，该方法将输入的特征值进行简化，同时，训练样本大幅度减少，提高了神经网络的训练效率，简化了前馈神经网络。

Description

基于视觉的触觉测量方法、装置、设备及存储介质
技术领域
本申请涉及人机交互领域，特别涉及一种基于视觉的触觉测量方法、装置、设备及存储介质。
背景技术
触觉传感器是用于模仿触觉功能的传感器，可以对接触物体进行触觉测量，比如接触位置、接触力等。目前，触觉传感器多应用于机器人领域。
相关技术中提供了一种触觉传感器，该触觉传感器设置有半圆形的柔性传感面，该柔性传感面的内表面设置有阵列排布的多个标记点，以及朝向内表面设置的图像传感组件。在柔性传感面的外表面与物体接触后，柔性传感面会发生形变，导致内表面的多个标记点因形变而改变位置。图像传感组件采集柔性传感面的内表面图像，将内表面图像传输至芯片。芯片内设置有卷积神经网络(CNN)，通过卷积神经网络对内表面图像进行处理，得到接触力的分析结果。
上述卷积神经网络的训练过程较为复杂，需要多达两万个训练样本才能取得较好的训练效果。
发明内容
本申请提供了一种基于视觉的触觉测量方法、装置、设备及存储介质，以解决相关技术中的以上技术问题以及其他潜在技术问题中的至少一个技术问题。
根据本申请的一个方面，提供了一种基于视觉的触觉测量方法，所述方法应用于芯片中，所述芯片与触觉传感器相连，所述触觉传感器包括传感面和图像传感组件，所述传感面设置有标记图案；
所述方法包括：获取所述图像传感组件对所述传感面采集的图像序列，所述图像序列的图像中包括所述标记图案；根据所述图像序列中的相邻图像内的所述标记图案，计算所述标记图案的差异特征；调用前馈神经网络对所述标记图案的差异特征进行处理，得到触觉测量结果；其中，所述前馈神经网络内的隐藏层数量小于阈值。
根据本申请的另一方面，提供了一种前馈神经网络的训练方法，所述前馈神经网络中的隐藏层数量少于阈值，所述方法包括：
获取训练样本，所述训练样本包括样本图像序列和样本触觉结果，所述样本图像序列是触觉传感器内的图像传感组件采集的图像序列，所述触觉传感器包括传感面和图像传感组件，所述传感面设置有标记图案，所述图像序列的图像中包括所述标记图案；根据所述样本图像序列中的相邻图像内的所述标记图案的位置，计算所述标记图案的样本差异特征；调用所述前馈神经网络对所述标记图案的样本差异特征进行处理，得到预测触觉结果；对所述预测触觉结果和所述样本触觉结果进行误差计算，得到误差损失；通过误差反向传播算法根据所述误差损失对所述前馈神经网络进行训练，得到训练后的前馈神经网络。
根据本申请的另一方面，提供了一种基于视觉的触觉测量装置，所述装置应用于芯片中，所述芯片与触觉传感器相连，所述触觉传感器包括传感面和图像传感组件，所述传感面设置有标记图案；
所述装置包括：第一获取模块，用于获取所述图像传感组件对所述传感面采集的图像序列，所述图像序列的图像中包括所述标记图案；第一计算模块，用于根据所述图像序列中的相邻图像内的所述标记图案，计算所述标记图案的差异特征；前馈神经网络，用于对所述标记图案的差异特征进行处理，得到触觉测量结果；其中，所述前馈神经网络内的隐藏层数量小于阈值。
在一个可选的实施例中，所述前馈神经网络内设置有所述隐藏层和输出层；
所述隐藏层，用于对所述标记图案的差异特征进行特征提取，得到特征表示；
所述输出层，用于对所述特征表示进行处理，得到触觉测量结果。
在一个可选的实施例中，所述隐藏层内设置有n个隐藏神经元，n为整数；
所述隐藏层是基于Sigmoid隐藏神经元构建的；
所述输出层是基于Softmax输出神经元或线性输出神经元构建的。
在一个可选的实施例中，所述触觉测量结果包括接触位置；所述前馈神经网络包括：位置估计模型，所述位置估计模型包括第一隐藏层和第一输出层；
所述第一隐藏层，用于对所述标记图案的差异特征进行特征提取，得到接触位置特征表示；
所述第一输出层，用于对所述接触位置特征表示进行处理，得到所述接触位置。
在一个可选的实施例中，所述触觉测量结果包括接触力的三维信息，所述前馈神经网络包括接触力估计模型，所述接触力估计模型包括：第二隐藏层和第二输出层；
所述第二隐藏层，用于对所述标记图案的差异特征进行特征提取，得到接触力特征表示；
所述第二输出层，用于对所述接触力特征表示进行处理，得到所述接触力的三维信息，所述三维信息包括大小和/或方向。
在一个可选的实施例中，所述触觉测量结果包括接触表面的局部曲率半径；所述前馈神经网络包括：表面分类模型和至少两个曲率估计模型；
所述表面分类模型，用于对所述标记图案的差异特征进行表面识别，得到所述接触表面的表面类型；
所述至少两个曲率估计模型中的目标曲率估计模型，用于根据所述表面类型对所述接触表面进行曲率预测，得到所述接触表面的局部曲率半径。
在一个可选的实施例中，所述曲率估计模型包括：球面估计模型和圆柱面估计模型；
所述球面估计模型，用于当所述表面类型是球面时，对所述球面进行第一曲率预测，得到所述球面的局部曲率半径；
当所述表面类型是圆柱面时，所述圆柱面估计模型用于对所述圆柱面进行第二曲率预测，得到所述圆柱面的局部曲率半径。
在一个可选的实施例中，所述表面分类模型包括第三隐藏层和第三输出层；
所述第三隐藏层，用于对所述标记图案的差异特征进行表面识别，得到表面类型特征表示；
所述第三输出层，用于对所述表面类型特征表示进行处理，得到接触表面的表面类型。
在一个可选的实施例中，所述球面估计模型包括第四隐藏层和第四输出层；
所述第四隐藏层，用于对所述球面进行曲率预测，得到球面曲率预测特征表示；
所述第四输出层，用于对所述球面曲率预测特征表示进行处理，得到所述球面的局部曲率半径。
在一个可选的实施例中，所述圆柱面估计模型包括第五隐藏层和第五输出层；
所述第五隐藏层，用于对所述圆柱面进行曲率预测，得到圆柱面曲率预测特征表示；
所述第五输出层，用于对所述圆柱面曲率预测特征表示进行处理，得到所述圆柱面的局部曲率半径。
在一个可选的实施例中，所述根据所述图像序列中的相邻图像内的所述标记图案的位置，计算所述标记图案的差异特征，所述装置包括：
第一计算单元，用于在所述图像序列中相邻的第i帧图像和第i+1帧图像中，确定最接近的两个标记图案为相同的标记图案，i为正整数；
第二计算单元，用于根据所述标记图案在所述第i帧图像和所述第i+1帧图像中的位置，计算所述所述标记图案的差异特征。
所述标记图案包括至少两个标记点，所述标记图案的差异特征包括：所述标记点的位移，或，所述标记点的位移和形变：和/或，所述标记图案包括网格，所述标记图案的差异特征包括：所述网格中网格点的位移，或，所述网格中的网格点的位移和网格线的形变。
根据本申请的另一方面，提供了一种前馈神经网络的训练装置，所述前馈神经网络中的隐藏层数量少于阈值，所述装置包括：
第二获取模块，用于获取训练样本，所述训练样本包括样本图像序列和样本触觉结果，所述样本图像序列是触觉传感器内的图像传感组件采集的图像序列，所述触觉传感器包括柔性传感面和朝向所述柔性传感面的内表面设置的图像传感组件，所述柔性传感面内设置有标记图案，所述图像序列的图像中包括所述标记图案的位置；第二计算模块，用于根据所述样本图像序列中的相邻图像内的所述标记图案的位置，计算所述标记图案的样本差异特征；前馈神经网络模型，用于对所述标记图案的样本差异特征进行处理，得到预测触觉结果；误差计算模块，用于对所述预测触觉结果和所述样本触觉结果进行误差计算，得到误差损失；训练模块，用于通过误差反向传播算法根据所述误差损失对所述前馈神经网络进行训练，得到训练后的前馈神经网络。
在一个可选的实施例中，所述前馈神经网络内设置有所述隐藏层和输出层；
所述隐藏层用于对所述标记图案的差异特征进行特征提取，得到特征表示；
所述输出层用于对所述特征表示进行处理，得到触觉测量结果。
在一个可选的实施例中，所述隐藏层内设置有n个隐藏神经元，n为整数；
所述隐藏层是基于Sigmoid隐藏神经元构建的；
所述输出层是基于Softmax输出神经元或线性输出神经元构建的。
在一个可选的实施例中，所述前馈神经网络模型包括用于估计接触位置的位置估计模型，所述位置估计模型包括第一隐藏层和第一输出层；所述装置包括：
所述第二获取模块，用于获取第一训练样本，所述第一训练样本包括第一样本图像序列和样本接触位置；
所述误差计算模块，通过莱文贝格－马夸特(Levenberg–Marquardt)反向传播算法根据所述第一误差损失对所述位置估计模型进行训练，得到训练后的位置估计模型。
在一个可选的实施例中，所述前馈神经网络模型包括用于估计三维接触力的接触力估计模型，所述接触力估计模型包括第二隐藏层和第二输出层；所述装置包括：
所述第二获取模块，用于获取第二训练样本，所述第二训练样本包括第二样本图像序列和样本接触力的三维信息，所述样本接触力的三维信息是基于设置在所述触觉传感器尾部的力矩传感器采集到的数据进行标定得到的，所述三维信息包括大小和/或方向；
所述误差计算模块，用于通过Levenberg–Marquardt反向传播算法根据所述第二误差损失对所述接触力估计模型进行训练，得到训练后的接触力估计模型。
在一个可选的实施例中，所述前馈神经网络模型包括用于分类接触表面的表面分类模型；所述表面分类模型包括第三隐藏层和第三输出层；所述装置包括：
所述第二获取模快，用于获取第三训练样本，所述第三训练样本包括第三样本图像序列和样本接触表面的类型；
所述误差计算模块，用于通过缩放共轭梯度反向传播算法根据所述误差损失对所述表面分类模型进行训练，得到训练后的表面分类模型。
在一个可选的实施例中，所述前馈神经网络模型包括至少两个用于估计曲率的曲率估计模型；所述装置包括：
所述第二获取模块，用于获取训练样本，所述训练样本包括所述样本表面的类型和样本触觉结果；
所述第二计算模块，用于通过误差反向传播算法根据所述误差损失对所述前馈神经网络进行训练，得到训练后的前馈神经网络。
在一个可选的实施例中，所述曲率估计模型包括：球面估计模型；所述球面估计模型包括第四隐藏层和第四输出层；所述装置包括：
所述第二获取模快，用于获取第四训练样本，所述第四训练样本包括第四样本表面的类型和样本球面的局部曲率半径；
所述误差计算模块，用于通过Levenberg–Marquardt反向传播算法根据所述第三误差损失对所述球面估计模型进行训练，得到训练后的球面估计模型。
在一个可选的实施例中，所述曲率估计模型包括：圆柱面估计模型；所述圆柱面估计模型包括第五隐藏层和第五输出层；所述装置包括：
所述第二获取模快，用于获取第五训练样本，所述第五训练样本包括第五样本表面的类型和样本圆柱面的局部曲率半径；
所述误差计算模块，用于通过Levenberg–Marquardt反向传播算法根据所述第四误差损失对所述圆柱面估计模型进行训练，得到训练后的圆柱面估计模型。
在一个可选的实施例中，所述标记图案包括至少两个标记点，所述标记图案的样本差异特征包括：所述标记点的位移，或，所述标记点的位移和形变：
和/或，所述标记图案包括网格，所述标记图案的样本差异特征包括：所述网格中网格点的位移，或，所述网格中的网格点的位移和网格线的形变。
根据本申请的另一方面，提供了一种芯片，所述芯片包括可编程逻辑电路和/或程序指令，当所述芯片运行时用于执行如上方面所述的基于视觉的触觉测量方法。
根据本申请的另一方面，提供了一种触觉传感器系统，所述系统包括：触觉传感器和所述芯片，所述触觉传感器包括传感面和图像传感组件，所述传感面设置有标记图案，所述图像传感组件与所述芯片相连；所述芯片包括可编程逻辑电路和/或程序指令，当所述芯片运行时用于执行如上方面所述的基于视觉的触觉测量方法。
根据本申请的另一方面，提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述指令、所述程序、所述代码集或所述指令集由所述处理器加载并执行以实现如上方面所述的前馈神经网络的训练方法。
根据本申请的另一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述指令、所述程序、所述代码集或所述指令集由处理器加载并执行以实现如上方面所述的基于视觉的触觉测量方法，或者，如上方面所述的前馈神经网络的训练方法。
根据本申请的另一方面，提供了一种机器人系统，所述机器人系统包括：芯片和设置在指尖部位和/或皮肤部位的触觉传感器，所述触觉传感器包括传感面和图像传感组件，所述传感面设置有标记图案，所述图像传感组件与所述芯片相连；所述芯片包括可编程逻辑电路和/或程序指令，当所述芯片运行时用于执行如上方面所述的基于视觉的触觉测量方法。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本申请。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请一个示例性实施例提供的相关技术中的触觉传感器的结构示意图；
图2是本申请一个示例性实施例提供的触觉传感器系统的结构示意图；
图3是本申请一个示例性实施例提供的柔性传感面的示意图；
图4是本申请一个示例性实施例提供的触觉传感器的使用方法流程图；
图5是是本申请一个示例性实施例提供的标记点的位移记录示意图；
图6是本申请一个示例性实施例提供的前馈神经网络的结构示意图；
图7是本申请一个示例性实施例提供的前馈神经网络的的使用方法流程；
图8是本申请一个示例性实施例提供前馈神经网络中的各模型结构示意图；
图9是本申请一个示例性实施例提供的位置估计模型的使用方法流程图；
图10是本申请另一个示例性实施例提供的接触力估计模型的使用方法流程图；
图11是本申请一个示例性实施例提供的表面分类模型和曲率估计模型的使用方法流程图；
图12是本申请一个示例性实施例提供的表面分类模型的使用方法的流程图；
图13是本申请一个示例性实施例提供的球面的曲率估计模型的使用方法的流程图；
图14是本申请一个示例性实施例提供的圆柱面的曲率估计模型的使用方法流程图；
图15是本申请一个示例性实施例提供的图像阵列上标记点位移的计算方法的流程图；
图16是本申请一个示例性实施例提供的基于视觉的触觉测量的训练方法的流程图；
图17是本申请一个示例性实施例提供的位置估计模型的训练方法的流程图；
图18是本申请一个示例性实施例提供的接触力估计模型的训练方法流程图；
图19是本申请一个示例性实施例提供的表示表面分类模型的训练方法流程图；
图20是本申请一个示例性实施例提供的球面估计模型的训练方法流程图；
图21是本申请另一个示例性实施例提供的圆柱面估计模型的训练方法流程图；
图22是本申请一个示例性实施例提供的除表面分类模型之外的其它模型的结构示意图；
图23是本申请一个示例性实施例提供的表面分类模型的模型结构示意图；
图24是本申请一个示例性实施例提供的用于训练前馈神经网络的样本曲面示意图；
图25是本申请一个示例性实施例提供的训练样本曲面的使用个数的表格；
图26是本申请一个示例性实施例提供的触觉传感器的几何模型示意图；
图27是本申请一个示例性实施例提供的位置估计模型的训练结果示意图；
图28是本申请一个示例性实施例提供的接触力估计模型的训练结果示意图；
图29是本申请一个示例性实施例提供的表示表面分类模型的训练结果正确率的混淆矩阵；
图30是本申请一个示例性实施例提供的球面估计模型的训练结果示意图；
图31是本申请一个示例性实施例提供的圆柱面估计模型的训练结果示意图；
图32是本申请一个示例性实施例提供的触觉传感器系统的使用方法的流程图。
图33是本申请一个示例性实施例提供的基于视觉的触觉测量装置的框图；
图34是本申请另一个示例性实施例提供的前馈神经网络的训练装置的框图；
图35是本申请一个示例性实施例提供的计算机设备的框图。
具体实施方式
下面将参照附图更详细地描述本申请的实施例。虽然附图中显示了本申请的某些实施例，然而应当理解的是，本申请可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本申请。应当理解的是，本申请的附图及实施例仅用于示例性作用，并非用于限制本申请的保护范围。
本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”。其他术语的相关定义将在下文描述中给出。
首先，对本申请实施例提供的若干个名词进行简介：
前馈神经网络(Feedforward Neural Network)模型：是一种具有单向结构的人工神经网络。前馈神经网络包括至少两个神经网络层。其中，每一个神经网络层包含若干个神经元，各个神经元分层排列，同一层的神经元之间没有互相连接，层间信息的传送只沿一个方向进行。
逻辑斯蒂(Sigmoid)函数：是一种呈“S”型的函数，用来描述增长趋势为起初阶段大致是指数增长；然后随着开始变得饱和，增加变慢；最后，达到成熟时增加停止的过程。
归一化指数(Softmax)函数：是一种可以将一个含任意实数的向量“压缩”到另一个实向量中，使得每一个元素的范围都在(0,1)之间，并且所有元素的和为1的函数。
隐藏层：是一种用于输入或者分析数据的神经网络层结构。
输出层：是一种用于输出结果的神经网络层结构。
在相关技术中提供了一种触觉传感器，如图1所示。该触觉传感器包括：硅胶传感面11、设置在硅胶传感面11内表面上的标记点12，3D打印技术制成的触觉传感器的模型前端13，该模型前端13用于固定硅胶传感面11，透镜14、图像传感组件15，用于固定图像传感组件的触觉传感器模型尾端16和发光二极管(LED)组成的圆环17。该技术采用基于贝叶斯定理(Bayesian)的概率模型来区分接触点的位置、接触棱边的曲率半径以及朝向，并且在最新的研究中使用了卷积神经网络模型(CNN)的算法来实现以上测试结果，但由于基于贝叶斯定理(Bayesian)的概率模型不是连续的估测算法，因此，该技术只能将所接触物体的曲率半径进行不连续的区分，如只能区分20mm或30mm，同时，采用卷积神经网络模型(CNN)的算法存在训练样本数量大的问题，比如，需要两万张以上的样本图像才能训练到较好的模型效果。
在本申请提供的一些实施例中，利用前馈神经网络提供了一种基于视觉的触觉测量方案。该方法利用图像阵列中连续两幅图像上的标记点的位移作为特征值输入至前馈神经网络，得到接触点的位置、接触力的大小和/或方向，接触表面的曲率半径等信息，相比于相关技术中所采用的卷积神经网络模型(CNN)，该方法将输入的特征值(只需要标记点的位移和/或形变，而不需要整张图像)进行简化，同时，训练样本大幅度减少，提高了神经网络的训练效率，从而满足将使用触觉传感器的方法简化，并且在不需要大量样本的训练下，该前馈神经网络可以达到同样的效果(或更优的效果)的需求。
在本申请提供的一些实施例中，该基于视觉的触觉测量方法应用于芯片117中，该芯片117可以是CPU、GPU、神经网络芯片、微处理器、FPGA电路中的任意一种，此处不作限定，该芯片117与触觉传感器相连，触觉传感器包括传感面111和图像传感组件115，传感面111设置有标记图案112。可选地，传感面111是柔性传感面，能够在与其它物体接触时发生形变。图像传感组件115可以是摄像头。该摄像头可朝向传感面111的内表面来设置。
图2示出了本申请的一个示例性实施例提供的一种触觉传感器系统300的结构示意图。该触觉传感器包括传感面111、底座113、立柱114和朝向传感面111的内表面设置的图像传感组件115构成，底板116用于放置该触觉传感器。
图3示出了本申请的一个示例性实施例提供的一种传感面111的内表面示意图，该传感面111的内表面上设置有标记图案112。
作为一个示例，该传感面111的形状不作限定，该传感面111可以是矩形、六边形、圆形、椭圆形、半球形、平面等形状中的任意一种，在本实施例的一个示例中，选用半球形的柔性传感面111为例进行说明，如图3所示。
作为一个示例，标记图案采用至少两个标记点来实现，或者，采用网格来实现，或者，采用标记点和网格来实现。网格是具有交叉的网格线的图案，相交的网格线上形成网格点。
以标记图案采用标记点来实现为例，在该传感面111的内表面上(或内部)设置有标记点112，标记点112可以形成阵列排布或者非阵列排布，如，形成4×4或6×6的矩形阵列，或者，形成圆形的非阵列排布。该阵列在传感面111的内表面上至少存在一个，如，该传感面111上设置有两个阵列，阵列的个数能反映更多的形变，计算量也会随着增加。
相邻标记点112之间的距离可以是相等的，也可以是不相等的，在相邻标记点112之间的距离相等的时候，该标记点112的位移变化均匀。标记点112可以居中排布在传感面111的内表面上，如，在传感面111上设置有4×4的矩形阵列的标记点112，也可以沿着传感面111的边缘排布。该标记点的颜色可以是任意颜色，本申请中选用黑色标记点112，与白色的传感面111加以区分，能更好地表示标记点112的位移。
作为一个示例，黑色标记点112阵列居中排布在传感面111的内表面上，并且距标记点阵列中位于边缘的标记点112应与传感面111上的各边缘距离相等，相邻标记点112之间的距离相等。作为另一个示例，选用圆形传感面111，标记点112的个数为6×6的矩形阵列为例进行说明，如图3所示。
本申请实施例对标记图案112的具体实现形式不加以限定。
图4示出了本申请一个示例性实施例提供的基于视觉的触觉测量方法的流程图，该方法可以由图1中的芯片117来执行，该方法包括：
步骤201，获取图像传感组件对内表面采集的图像序列，图像序列的图像中包括标记图案。
被接触物体与接触传感器的传感面111接触时，传感面111发生形变，图像传感组件以一定的频率连续地拍摄传感面111的内表面并向芯片传输图像，因此形成图像阵列。
以标记图案包括标记点为例，上述频率可以根据标记点112的位移来设定，如30帧/秒或60帧/秒。此外，图像传感组件115在高频率的拍摄状态下，触觉传感器还可以检测被接触物体的滑移，甚至可以检测到较大的突发性力。
步骤202，根据图像序列中的相邻图像内的标记图像，计算标记图像的差异特征。
在一个示例中，图像阵列中的相邻的图像是相邻的两张。
当标记图案包括标记点时，标记图案的差异特征包括：标记点的位移，或，标记点的位移和形变。
当标记图案包括网格时，标记图案的差异特征包括：网格中网格点的位移，或，网格中的网格点的位移和网格线的形变。
以标记图案包括标记点为例，上述芯片根据两个相邻图像中的最接近的两个标记点112标记为同一标记，就能够跟踪每一个标记点的运动，即计算出标记点112的位移作为差异特征，如图5所示。
步骤203，调用前馈神经网络对标记图案的差异特征进行处理，得到触觉测量结果。
前馈神经网络可以是一个或多个神经网络模型，每个神经网络模型对应不同的功能。前馈神经网络中的隐藏层的层数小于阈值。在一个示例中，该阈值为2。
调用前馈神经网络中各个模型的隐藏层和输出层，根据前馈神经网络中的实现不同功能的模型对标记图案的差异特征进行处理，得到触觉测量结果。
在本申请实施例的一个示例中，可以根据测量需要设计不同功能的神经网络模型、隐藏层和输出层的个数，本申请的实施例中以隐藏层和输出层的个数分别为1进行说明。
综上所述，本申请实施例提供的方法，通过采用标记图案的差异特征作为输入特征，相比于相关技术中采用图像作为输入特征，能够减少输入特征的数量，从而减少计算量；同时，通过采用隐藏层的层数小于阈值的前馈神经网络来进行特征提取和预测，相比于层数较多的CNN网络，能够使用较少的计算量来预测出相近或更优的触觉测量结果。
图6示出了一个示例性实施例提供的一种前馈神经网络200的结构示意图。该前馈神经网络200内设置有隐藏层202和输出层203。
在基于图4的可选实施例中，上述前馈神经网络200对标记图案112的差异特征进行处理得到测量结果的方法包括如下步骤，如图7所示：
步骤301，调用前馈神经网络200中的隐藏层201对标记图案112的差异特征进行特征提取，得到特征表示；
步骤302，调用前馈神经网络中的输出层202对特征表示进行处理，得到触觉测量结果。
上述隐藏层201内设置有n个隐藏神经元，n为整数。作为本实施例的一个示例，该隐藏层201是基于Sigmoid隐藏神经元构建的，上述输出层202是基于Softmax输出神经元或线性输出神经元构建的。
根据本申请的实施例，隐藏层的神经元数量可以是任意大于零的整数，被输入的特征值的个数也可以是任意大于零的整数，上述神经元可以根据实现功能的不同来进行设计。
在本申请实施例的一个示例中，标记图案112采用36个标记点来实现，以隐藏层201内设置有100个隐藏神经元为例进行说明，向该前馈神经网络200中的输入层201输入72个特征值，该特征值为36个标记点112的位移(x1，y1，x2，y2，…，x36，y36)。
综上所述，在触觉传感器结构相似的前提下，本申请所涉及的触觉传感器结构较为简单，同时，采用将标记点在连续的图像阵列上的位移作为特征值输入至神经网络模型的方法，及设计含有简单的隐藏层的前馈神经网络对被接触的物体进行测量，简化了测量过程，减少了训练样本的数量。
前馈神经网络的结构中的隐藏层以单向的方式传递信息，该隐藏层至少含有一个，参考图6示出的一个示例性实施例提供的一种前馈神经网络200的示意图。
上述触觉测量结果，包括如下三种特征中的一种：
第一，接触位置；
第二，接触力的三维信息，该三维信息包括接触力的大小和/或方向；
第三，接触表面的局部曲率半径。
上述前馈神经网络包括：用于估计接触点位置的位置估计模型、用于估计接触力三维信息(接触力的大小和/或方向)的接触力估计模型、用于对接触表面进行分类的表面分类模型、用于对接触表面的局部曲率半径进行估计的曲率估计模型，如图8所示。
下面用图9来对接触位置的测量过程进行说明，根据本申请的实施例，触觉测量结果包括接触位置，前馈神经网络包括：位置估计模型，位置估计模型包括第一隐藏层和第一输出层，接触位置的测量方法如图9所示，包括：
步骤401，调用位置估计模型中的第一隐藏层对标记图案的差异特征进行特征提取，得到接触位置特征表示；
以标记图案包括阵列排布的标记点，标记图案的差异特征包括标记点的位移为例，上述第一隐藏层用于对输入的标记点的位移进行特征提取，该第一隐藏层是基于Sigmoid隐藏神经元构建的，上述接触位置特征表示是采用向量形式对于接触位置对应的特征表示进行的表示。在上述描述前馈神经网络的使用步骤301中已说明，此处不再赘述。
步骤402，调用位置估计模型中的第一输出层对接触位置特征表示进行处理，得到接触位置。
在上述描述前馈神经网络的使用步骤302中已说明，此处不再赘述。
在本申请实施例的一个示例中，上述位置估计模型中隐藏层和输出层的个数均为大于零的整数，上述神经元可以根据实现不同的功能来进行选择，本申请以第一隐藏层和第一输出层的个数分别为1个，神经元分别选用基于Sigmoid隐藏神经元和线性输出神经元为例说明，如图22所示。
将特征值输入至该前馈神经网络200，调用位置估计模型中的第一隐藏层中的Sigmoid隐藏神经元的对上述特征值进行处理，得到接触位置特征表示；该接触位置的特征表示将作为输入值输入至第一输出层，第一输出层中的线性输出神经元将对特征表示进行特征提取，得到接触位置在空间上的三维坐标并输出，具体的三维坐标系参照下文获取样本接触位置时的坐标系(参考图26)。
下面用图10来对接触力的三维信息的测量过程进行说明，根据本申请的实施例，触觉测量结果包括接触力的三维信息，上述前馈神经网络200包括接触力估计模型，接触力估计模型包括：第二隐藏层和第二输出层，测量接触力的三维信息的方法如图10所示，包括：
步骤501，调用接触力估计模型中的第二隐藏层对标记图案的差异特征进行特征提取，得到接触力特征表示。
以标记图案包括阵列排布的标记点，标记图案的差异特征包括标记点的位移为例，上述第二隐藏层将标记点的位移作为特征值输入，得到接触力特征表示，将接触力特征表示作为第二输出层的输入。
步骤502，调用接触力估计模型中的第二输出层对接触力特征表示进行处理，得到接触力的三维信息，三维信息包括大小和/或方向。
在上述描述前馈神经网络的使用步骤402中已说明，此处不再赘述。
在本申请实施例的一个示例中，上述接触力估计模型中第二隐藏层和第二输出层的个数均为大于零的整数，上述神经元可以根据实现不同的功能来进行选择，本申请以第二隐藏层和第二输出层的个数分别为1个，神经元分别选用基于Sigmoid隐藏神经元和线性输出神经元为例说明，如图22所示。将差异特征输入至该前馈神经网络200，调用接触力估计模型中的第二隐藏层中的Sigmoid隐藏神经元的对上述特征值进行处理，得到接触位置特征表示；该接触位置的特征表示将作为输入值输入至第二输出层，第二输出层中的线性输出神经元将对特征表示进行预测，得到接触力在空间上的三维信息，也即得到接触力的大小和/或方向并输出。
其中，“大小和/或方向”包括：仅大小；或，仅方向；或，大小和方向。
下面用图11来对局部曲率半径的测量过程进行说明，根据本申请的实施例，触觉测量结果包括接触表面的局部曲率半径，前馈神经网络包括：表面分类模型和至少两个曲率估计模型。作为本实施例的一个示例，至少两个曲率估计模型包括：球面曲率估计模型和柱面曲率估计模型。
测量接触表面的局部曲率半径的方法如图11所示，包括：
步骤601，调用表面分类模型对标记点的位移进行表面识别，得到接触表面的表面类型。
表面分类模型是用于对被接触的物体的表面类型进行预测的神经网络模型，表面类型包括球面、平面和圆柱面中的至少一种。
步骤602，根据表面类型调用至少两个曲率估计模型中的目标曲率估计模型对接触表面进行曲率预测，得到接触表面的局部曲率半径。
芯片根据测量的接触表面的类型来调用相关的曲率估计模型进行曲率估计。
在基于上述图11的可选实施例中，表面分类模型包括第三隐藏层和第三输出层，步骤601包括如下子步骤，如图12所示，包括：
步骤601a，调用表面分类模型中的第三隐藏层对标记点的位移进行表面识别，得到表面类型特征表示。
步骤601b，调用表面分类模型中的第三输出层对表面类型特征表示进行处理，得到接触表面的表面类型。
通过调用表面分类模型，将标记点位移输出为表面类型。表面类型包括：平面、球面或圆柱面中的任意一种。
当表面类型为球面时，进入图13所示的步骤；当表面类型为圆柱面时，进入图14所示的步骤。
在基于上述图11的可选实施例中，球面估计模型包括第四隐藏层和第四输出层，步骤602如图13所示，包括：
步骤602a，调用球面估计模型中的第四隐藏层对球面进行曲率预测，得到球面曲率预测特征表示。
步骤602b，调用球面估计模型中的第四输出层对球面曲率预测特征表示进行处理，得到球面的局部曲率半径。
在基于上述图11的可选实施例中，圆柱面估计模型包括第五隐藏层和第五输出层，步骤602如图14所示，包括：
步骤6021，调用圆柱面估计模型中的第五隐藏层对圆柱面进行曲率预测，得到圆柱面曲率预测特征表示。
步骤6022，调用圆柱面估计模型中的第五输出层对圆柱面曲率预测特征表示进行处理，得到圆柱面的局部曲率半径。
该接触表面的表面类型可以是但不局限于球面、圆柱面、平面等，在本申请实施例的一个示例中，以接触表面为球面为例进行说明，该表面分类模型的隐藏神经元和输出神经元可以根据实现功能的不同来设置，本申请的表面分类模型的具体结构在下文中详细说明(参考图23)。
当被检测的接触面为球面时，将标记点的位移作为特征值输入至上述表面分类模型，表面分类模型中的第三隐藏层对特征值进行表面识别，得到球面类型特征表示；球面类型的特征表示作为输入值输入至第三输出层，得到接触表面类型为球面；芯片根据接触表面类型为球面，调用第四隐藏层对球面曲率半径进行预测，得到球面曲率预测特征表示；将球面曲率特征表示输入至第四输出层，调用第四输出层对球面曲率预测特征表示进行处理，得到球面的局部曲率半径并输出。
当被检测的接触面为圆柱面时，将标记点的移动位移作为特征值输入至上述表面分类模型，表面分类模型中的第三隐藏层对特征值进行表面识别，得到圆柱面类型特征表示；圆柱面类型的特征表示作为输入值输入至第三输出层，得到接触表面类型为圆柱面；芯片根据接触表面类型为圆柱面，调用第五隐藏层对圆柱面曲率半径进行预测，得到圆柱面曲率预测特征表示；将圆柱面曲率特征表示输入至第五输出层，调用第五输出层对圆柱面曲率预测特征表示进行处理，得到圆柱面的局部曲率半径并输出。
其中，上述局部曲率半径是连续的，而不是断续的区间。
在基于上述各个实施例的可选实施例中，根据图像序列中的相邻图像内的标记图案，计算标记图案的差异特征，如图15所示，包括：
步骤202a，在图像序列中相邻的第i帧图像和第i+1帧图像中，确定最接近的两个标记图案为相同的标记图案；
步骤202b，根据标记图案在第i帧图像和第i+1帧图像中的位置(或，位置和形变)，计算标记图案的差异特征。
在本申请实施例的一个示例中，以i为1进行说明，在图像序列中相邻的第1帧图像和第2帧图像中，确定最接近的两个标记点为相同的标记点；根据标记点在第1帧图像和第2帧图像中的位置，计算标记点的位移，如图15所示。其中，i的取值为整数。
下面对上述各个实施例中提及的前馈神经网络的训练方法进行阐述。
图16示出了一个示例性实施例提供的前馈神经网络的训练方法的流程图。根据本申请的实施例，上述方法如图16所示，包括：
步骤1601，获取训练样本，训练样本包括样本图像序列和样本触觉结果，样本图像序列是触觉传感器内的图像传感组件采集的图像序列。
步骤1602，根据样本图像序列中的相邻图像内的标记图案，计算标记图案的样本差异特征。
示意性的，根据样本图像序列中的相邻图像内的标记图案的位置，计算标记图案的样本差异特征；或者，根据样本图像序列中的相邻图像内的标记图案的位置和形变(比如大小)，计算标记图案的样本差异特征。
当标记图案包括至少两个标记点，标记图案的样本差异特征包括：标记点的位移，或，所述标记点的位移和形变：
当标记图案包括网格，标记图案的样本差异特征包括：网格中网格点的位移，或，网格中的网格点的位移和网格线的形变。
步骤1603调用前馈神经网络对标记图案的样本差异特征进行处理，得到预测触觉结果。
步骤1604，对预测触觉结果和样本触觉结果进行误差计算，得到误差损失。
步骤1605，通过误差反向传播算法根据误差损失对前馈神经网络进行训练，得到训练后的前馈神经网络。
该方法所用的前馈神经网络与上述神经网络模型一致，此处是对该前馈神经网络进行训练，该前馈神经网络的具体结构，此处不再赘述。
根据本申请的实施例，前馈神经网络包括用于估计接触位置的位置估计模型，位置估计模型包括第一隐藏层和第一输出层，该训练方法如图17所示，包括：
步骤1701，获取第一训练样本，第一训练样本包括第一样本图像序列和样本接触位置。
示例性的，样本接触位置是采用三维坐标形式的坐标来表示的位置。
步骤1702，根据样本图像序列中的相邻图像内的标记图案，计算标记图案的样本差异特征。
步骤1703，调用位置估计模型对标记图案的样本差异特征进行处理，得到预测接触位置。
步骤1704，对预测接触位置和样本接触位置进行误差计算，得到误差损失。
步骤1705，通过莱文贝格－马夸特(Levenberg–Marquardt)反向传播算法根据第一误差损失对位置估计模型进行训练，得到训练后的位置估计模型。
在本申请实施例的一个示例中，以第一训练样本为图像阵列中的标记点的位移和样本接触的实际位置坐标为例进行说明，获取图像阵列中的标记点位移和样本接触位置的坐标(x1,y1,z1)，将获取的图像阵列中的标记点位移输入至第一隐藏层和第一输出层，第一输出层得到样本接触位置的预测坐标(x1’,y1’,z1’)，通过莱文贝格－马夸特Levenberg–Marquardt反向传播算法对样本接触位置的坐标(x1,y1,z1)和预测坐标(x1’,y1’,z1’)进行处理，得到第一误差损失，根据第一误差损失对位置估计模型进行训练，得到训练后的位置估计模型。
根据本申请的实施例，前馈神经网络包括估计三维接触力的接触力估计模型，接触力估计模型包括第二隐藏层和第二输出层，该训练方法如图18所示，包括：
步骤1801，获取第二训练样本，第二训练样本包括第二样本图像序列和样本三维信息，样本三维信息是基于设置在触觉传感器尾部的力矩传感器采集到的数据进行标定得到的，三维信息包括大小和/或方向。
步骤1802，根据样本图像序列中的相邻图像内的标记图案，计算标记图案的样本差异特征。
步骤1803，调用接触力估计模型对标记图案的样本差异特征进行处理，得到预测三维信息。
步骤1804，对预测三维信息和样本三维信息进行误差计算，得到误差损失。
步骤1805，通过Levenberg–Marquardt反向传播算法根据第二误差损失对接触力估计模型进行训练，得到训练后的接触力估计模型。
在本申请实施例的一个示例中，以第二训练样本为图像阵列中的标记点的位移和样本接触力的实际三维信息为例进行说明，获取图像阵列中的标记点的位移和样本三维信息(fx，fy，fz)，将获取的图像阵列中的标记点的位移输入至第二隐藏层和第二输出层，第二输出层则得到样本接触力的预测三维信息(fx’,fy’,fz’)，通过Levenberg–Marquardt反向传播算法对样本三维信息(fx，fy，fz)和预测三维信息(fx’,fy’,fz’)进行处理，得到第二误差损失，根据第二误差损失对位置估计模型进行训练，得到训练后的位置估计模型。
根据本申请的实施例，前馈神经网络包括用于分类接触表面的表面分类模型，表面分类模型包括第三隐藏层和第三输出层，该训练方法如图19所示，包括：
步骤1901，获取第三训练样本，第三训练样本包括第三样本图像序列和样本表面类型。
步骤1902，根据样本图像序列中的相邻图像内的标记图案，计算标记图案的样本差异特征。
步骤1903，调用表面分类模型对标记图案的样本差异特征进行处理，得到预测表面类型。
步骤1904，对预测表面类型和样本表面类型进行误差计算，得到误差损失。
步骤1905，通过缩放共轭梯度反向传播算法根据误差损失对表面分类模型进行训练，得到训练后的表面分类模型。
在本申请实施例的一个示例中，以第三训练样本为图像阵列中的标记点的位移和样本表面类型为例进行说明，获取图像阵列中的标记点位移和样本表面类型(S1)，将获取的图像阵列中的标记点位移输入至第三隐藏层和第三输出层，第三输出层得到接触表面的预测表面类型(S1’)，通过缩放共轭梯度反向传播算法对样本表面类型(S1)和预测表面类型(S1’)进行处理，得到第三误差损失，根据第三误差损失对表面分类模型进行训练，得到训练后的表面分类模型。
根据本申请的实施例，上述表面分类模型的结构如图23所示，第三隐藏层可以设置一个或者两个，在本申请实施例的一个示例中，以第三隐藏层设置一层为例进行说明，该表面分类模型包括第三隐藏层和第三输出层，该隐藏层是基于Sigmoid隐藏神经元构建的，该第三输出层是基于Softmax隐藏神经元构建的，Sigmoid隐藏神经元适用于对物体进行分类，而Softmax隐藏神经元使得对应于接触表面的不同形状产生不同的输出的结果。
根据本申请的实施例，曲率估计模型包括：球面估计模型，球面估计模型包括第四隐藏层和第四输出层，该训练方法如图20所示，包括：
步骤2010，获取第四训练样本，第四训练样本包括第四样本图像序列和样本球面的局部曲率半径；
步骤2020，根据样本图像序列中的相邻图像内的标记图案，计算标记点的样本差异特征。
步骤2030，调用球面估计模型对标记图案的样本差异特征进行处理，得到预测曲率半径。
步骤2040，对预测曲率半径和样本球面的局部曲率半径进行误差计算，得到误差损失。
步骤2050，通过莱文贝格－马夸特Levenberg–Marquardt反向传播算法根据第四误差损失对球面估计模型进行训练，得到训练后的球面估计模型。
在本申请实施例的一个示例中，以第四训练样本为图像阵列中的标记点的位移和样本球面的局部曲率半径为例进行说明，获取图像阵列中的标记点位移和样本球面的局部曲率半径(R1)，将获取的图像阵列中的标记点位移输入至第四隐藏层，第四输出层得到样本球面的预测曲率半径(R1’)，通过莱文贝格－马夸特Levenberg–Marquardt反向传播算法对样本球面的局部曲率半径(R1)和样本球面的预测曲率半径(R1’)进行处理，得到第四误差损失，根据第四误差损失对球面估计模型进行训练，得到训练后的球面估计模型。
根据本申请的实施例，曲率估计模型包括：圆柱面估计模型，圆柱面估计模型包括第五隐藏层和第五输出层，该训练方法如图21所示，包括：
步骤2101，获取第五训练样本，第五训练样本包括第五样本图像序列和样本圆柱面的局部曲率半径；
步骤2102，根据样本图像序列中的相邻图像内的标记图案，计算标记图案的差异特征。
步骤2103，调用圆柱面估计模型对标记图案的差异特征进行处理，得到预测曲率半径。
步骤2104，对预测曲率半径和样本圆柱面的局部曲率半径进行误差计算，得到误差损失。
步骤2105，通过Levenberg–Marquardt反向传播算法根据第五误差损失对圆柱面估计模型进行训练，得到训练后的圆柱面估计模型。
在本申请实施例的一个示例中，以第五训练样本为图像阵列中的标记点的位移和样本圆柱面曲率半径为例进行说明，获取图像阵列中的标记点位移和样本圆柱面的局部曲率半径(R2)，将获取的图像阵列中的标记点位移输入至第五隐藏层，第五输出层得到样本圆柱面的预测曲率半径(R2’)，通过莱文贝格－马夸特Levenberg–Marquardt反向传播算法对样本圆柱面的局部曲率半径(R2)和样本圆柱面的预测曲率半径(R2’)进行处理，得到第五误差损失，根据第五误差损失对圆柱面估计模型进行训练，得到训练后的圆柱面估计模型。
根据本申请实施例，所接触的表面不限于球面和圆柱面，该训练样本所涉及的接触面类型和各接触面训练样本的使用个数分别如图24和图25所示。本申请选用了包括圆锥体、圆柱体、三棱锥体、三棱柱体、平面等多个形状的接触表面来训练表面分类模型，由于一个接触力大于5.5N的顶尖会在接触区域引起较大的变形，因此对于顶尖表面(如图24中的三棱锥体)，本申请采集小于5.5N的接触力(如图25的表格所示)。
需要说明的是，对该前馈神经网络进行训练时，该前馈神经网络于未训练时所用的前馈神经网络200的内部结构一致，内部结构所实现的功能相同，因此，此处不再对训练时使用的前馈神经网络200的结构进行详细说明，具体结构见上述前馈神经网络200。
根据图2所示的触觉传感器系统的框图，该触觉传感器系统中包括上述触觉传感器以及与触觉传感器相连的芯片117。该芯片117包括可编程逻辑电路和/或程序指令，当该芯片运行时，用于执行上述基于视觉的触觉测量方法。
根据图2所示的触觉传感器系统300，该系统由上述触觉传感器和芯片117组成，该芯片117与上述基于视觉的触觉测量装置的结构中的芯片为同一类型的芯片117，该芯片117包括可编程逻辑电路和/或程序指令，当该芯片运行时，用于执行上述基于视觉的触觉测量方法。
根据本申请的实施例，上述样本接触位置的获取方式可见图26，图26示出了一个示例性实施例提供的力/力矩传感器测量接触点的几何模型。通过安装在触觉传感器下方的力矩传感器116来获得实际接触位置，在触觉传感器上建立虚拟的空间坐标系，触觉传感器测量力f和由接触力产生的力矩m落在触觉传感器建立的坐标系上，在上述传感面111在只有一个接触点的情况下，力f为接触力，而力矩m可以写成如下所示：
其中r是三维向量即接触点相对于指尖的坐标系的位置。是3×3的反对称矩阵，用来表示叉乘。因为矩阵的秩为二，所以公式的解可以写成如下所示：
其中是的伪逆，c是待确定的系数。由于是一个秩为二且的奇异矩阵，所以f是公式的齐次解。几何上，该公式表示在触觉传感器上建立的坐标系下的一条直线，该直线具有与传感面111的交点，如图26所示。因此，可以根据已知传感面111表面几何形状，求出交点以及交点处的法向。因为触觉传感器测量力f是传感面111上接收的压力，所以触觉传感器测量力f应该与向内的法向有一个正的内积。
在本申请实施例的一个实例中，使用整个球体代表传感面111，因此，直线与传感面111就有两个交点。其中一点的内法向与触觉传感器测量力f的内积是正的即为实际接触位置，而且位置必然也在真实的传感面111上。而另一个交点，可能落在传感面111上，也可能不落在传感面111上，但该另一个交点可以省去，因为该另一个交点与法向的内积为负。
根据本申请的实施例，对位置估计模型进行训练，训练结果如图27所示。根据图27可以看出，位置估计模型的相关系数(R)的值接近1，均方根误差(RMSE)约为0.6mm，这意味着训练后的位置估计模型与输入数据的一致性是高度相关的。
根据本申请的实施例，对接触力估计模型进行训练，训练结果如图28所示。根据图28可以看出，接触力估计模型在1.5N到8N动态力的范围内表现结果如下：经过训练，相关系数(R)的值接近1，均方根误差(RMSE)约为0.25N，这意味着训练后的接触力估计模型与输入数据的一致性是高度相关的。
根据本申请的实施例，对表面分类模型进行训练，训练结果的正确率如图29所示。利用混淆矩阵(Confusion矩阵)对表面分类模型的正确率进行评价，从图29可以看出，表面分类模型的整体的正确率在91％，这意味着训练后的表面分类模型的分类功能的正确率较高。
根据本申请的实施例，对球面估计模型进行训练，训练结果如图30所示。根据图30可以看出，球面估计模型的训练结果如下：经过训练相关系数(R)的值约为0.9，均方根误差(RMSE)约为8mm，这意味着训练后的球面估计模型与输入数据的一致性是高度相关的。
根据本申请的实施例，对圆柱面估计模型进行训练，训练结果如图31所示。根据图31可以看出，球面估计模型的训练结果如下，经过训练相关系数(R)的值约为0.9，均方根误差(RMSE)约为10mm，这意味着训练后的圆柱面估计模型与输入数据的一致性是高度相关的。
根据本申请的实施例，上述触觉传感器系统300的使用方法的流程图如图32所示，触觉传感器上设置有传感面111，传感面的内表面上设置有标记点112，与传感面111的内表面相对的图像传感组件115，通过图像传感组件115采集柔性传感器111的内表面所形成的图像序列上标记点112的位移，将标记点112的位移作为特征值输入至上述前馈神经网络，分别测量接触点位置、三维接触力的大小和/或方向以及接触表面的局部曲率半径。另外，还可以通过力矩传感器测量的接触位置的真实值、接触力的真实值以及接触表面的局部曲率半径的真实值与触觉传感器测量的测量值比较来对上述前馈神经网络进行训练。
根据本申请的实施例，该基于视觉的触觉测量装置的结构示意图即上述上述触觉传感器与芯片相连。该基于视觉的触觉测量装置包括：第一获取模块311、第一计算模块312和前馈神经网络313，如图33所示。
第一获取模块311，用于获取图像传感组件115对传感面采集的图像序列，图像序列的图像中包括标记图案；
第一计算模块312，用于根据图像序列中的相邻图像内的标记图案112的位置，计算标记图案的差异特征。
前馈神经网络313，用于对标记图案112的差异特征进行处理，得到触觉测量结果。
在一个可选的实施例中，该前馈神经网络内设置有隐藏层和输出层，该隐藏层，用于对标记图案的差异特征进行特征提取，得到特征表示；该输出层，用于对特征表示进行处理，得到触觉测量结果。隐藏层内设置有n个隐藏神经元，n为整数，隐藏层是基于Sigmoid隐藏神经元构建的；输出层是基于Softmax输出神经元或线性输出神经元构建的。
在一个可选的实施例中，上述触觉测量结果包括接触位置；前馈神经网络包括：位置估计模型，位置估计模型包括第一隐藏层和第一输出层，该第一隐藏层，用于述标记图案的差异特征进行特征提取，得到接触位置特征表示；该第一输出层，用于对接触位置特征表示进行处理，得到接触位置。
在一个可选的实施例中，上述触觉测量结果包括接触力的三维信息，前馈神经网络包括接触力估计模型，接触力估计模型包括：第二隐藏层和第二输出层，该第二隐藏层，用于对标记图案的差异特征进行特征提取，得到接触力特征表示；第二输出层，用于对接触力特征表示进行处理，得到接触力的三维信息，三维信息包括大小和/或方向。
在一个可选的实施例中，上述触觉测量结果包括接触表面的局部曲率半径，前馈神经网络包括：表面分类模型和至少两个曲率估计模型；该表面分类模型，用于对标记图案的差异特征进行表面识别，得到接触表面的表面类型；至少两个曲率估计模型中的目标曲率估计模型，用于根据表面类型对接触表面进行曲率预测，得到接触表面的局部曲率半径。
在一个可选的实施例中，曲率估计模型包括：球面估计模型和圆柱面估计模型，该球面估计模型，用于当表面类型是球面时，对球面进行第一曲率预测，得到球面的局部曲率半径，当表面类型是圆柱面时，圆柱面估计模型用于对圆柱面进行第二曲率预测，得到圆柱面的局部曲率半径。
在一个可选的实施例中，表面分类模型包括第三隐藏层和第三输出层，该第三隐藏层，用于对标记图案的差异特征进行表面识别，得到表面类型特征表示；第三输出层，用于对表面类型特征表示进行处理，得到接触表面的表面类型。
在一个可选的实施例中，球面估计模型包括第四隐藏层和第四输出层，该第四隐藏层，用于对球面进行曲率预测，得到球面曲率预测特征表示；第四输出层，用于对球面曲率预测特征表示进行处理，得到球面的局部曲率半径。
在一个可选的实施例中，圆柱面估计模型包括第五隐藏层和第五输出层，该第五隐藏层，用于对圆柱面进行曲率预测，得到圆柱面曲率预测特征表示；第五输出层，用于对圆柱面曲率预测特征表示进行处理，得到圆柱面的局部曲率半径。
在一个可选的实施例中，第一计算单元，用于在图像序列中相邻的第i帧图像和第i+1帧图像中，确定最接近的两个标记图案为相同的标记图案；第二计算单元，用于根据标记图案在第i帧图像和第i+1帧图像中的位置(或，位置和形变)，计算标记图案的差异特征。
在一个可选的实施例中，所述标记图案包括至少两个标记点，所述标记图案的样本差异特征包括：所述标记点的位移，或，所述标记点的位移和形变：或，
所述标记图案包括网格，所述标记图案的差异特征包括：所述网格中网格点的位移，或，所述网格中的网格点的位移和网格线的形变。
图34示出了一个示例性实施例提供的基于视觉的触觉测量装置的训练模块的结构示意图。
根据本申请的实施例，该基于视觉的触觉测量装置的训练模块，如图26所示，包括：
第二获取模块411，用于获取训练样本，训练样本包括样本图像序列和样本触觉结果，样本图像序列是触觉传感器内的图像传感组件采集的图像序列，触觉传感器包括传感面和图像传感组件，传感面设置有标记图案，图像序列的图像中包括标记图案。
第二计算模块412，用于根据样本图像序列中的相邻图像内的标记图案，计算标记图案的样本差异特征。
前馈神经网络模型413，用于对标记图案的样本差异特征进行处理，得到预测触觉结果。
误差计算模块414，用于对预测触觉结果和样本触觉结果进行误差计算，得到误差损失。
训练模块415，用于通过误差反向传播算法根据误差损失对该前馈神经网络模型进行训练，得到训练后的前馈神经网络模型。
在一个可选的实施例中，前馈神经网络模型内设置有隐藏层和输出层，该隐藏层用于对标记图案的差异特征进行特征提取，得到特征表示；输出层用于对特征表示进行处理，得到触觉测量结果。隐藏层内设置有n个隐藏神经元，n为整数，该隐藏层是基于Sigmoid隐藏神经元构建的；输出层是基于Softmax输出神经元或线性输出神经元构建的。
在一个可选的实施例中，前馈神经网络模型包括用于估计接触位置的位置估计模型，位置估计模型包括第一隐藏层和第一输出层，第二获取模块411，用于获取第一训练样本，第一训练样本包括第一样本图像序列和样本接触位置；误差计算模块414，通过Levenberg–Marquardt反向传播算法根据第一误差损失对位置估计模型进行训练，得到训练后的位置估计模型。
在一个可选的实施例中，前馈神经网络模型包括用于估计三维接触力的接触力估计模型，接触力估计模型包括第二隐藏层和第二输出层，第二获取模块411，用于获取第二训练样本，第二训练样本包括第二样本图像序列和样本接触力的三维信息，样本接触力的三维信息是基于设置在触觉传感器尾部的力矩传感器采集到的数据进行标定得到的，三维信息包括大小和/或方向；误差计算模块414，用于通过Levenberg–Marquardt反向传播算法根据第二误差损失对接触力估计模型进行训练，得到训练后的接触力估计模型。
在一个可选的实施例中，前馈神经网络模型包括用于分类接触表面的表面分类模型，该表面分类模型包括第三隐藏层和第三输出层，第二获取模快411，用于获取第三训练样本，第三训练样本包括第三样本图像序列和样本接触表面的类型；误差计算模块414，用于通过缩放共轭梯度反向传播算法根据误差损失对表面分类模型进行训练，得到训练后的表面分类模型。
在一个可选的实施例中，前馈神经网络模型包括至少两个用于估计曲率的曲率估计模型，第二获取模块411，用于获取训练样本，训练样本包括样本表面的类型和样本触觉结果；第二计算模块412，用于通过误差反向传播算法根据误差损失对前馈神经网络进行训练，得到训练后的前馈神经网络。
在一个可选的实施例中，曲率估计模型包括：球面估计模型，该球面估计模型包括第四隐藏层和第四输出层，第二获取模快411，用于获取第四训练样本，第四训练样本包括第四样本表面的类型和样本球面的局部曲率半径；误差计算模块414，用于通过Levenberg–Marquardt反向传播算法根据第三误差损失对球面估计模型进行训练，得到训练后的球面估计模型。
在一个可选的实施例中，曲率估计模型包括：圆柱面估计模型，圆柱面估计模型包括第五隐藏层和第五输出层，第二获取模快411，用于获取第五训练样本第五训练样本包括第五样本表面的类型和样本圆柱面的局部曲率半径；误差计算模块414，用于通过Levenberg–Marquardt反向传播算法根据第四误差损失对圆柱面估计模型进行训练，得到训练后的圆柱面估计模型。
本申请的实施例还提供了一种计算机设备，该计算机设备包括处理器和存储器，存储器中存储有至少一条指令、至少一段程序、代码集或指令集，指令、程序、代码集或指令集由处理器加载并执行以实现上述前馈神经网络的训练方法。
图35示出了本申请一个示例性实施例提供的计算机设备的结构示意图。该计算机设备可以用于执行上述前馈神经网络的训练方法。具体来讲：
计算机设备3500包括中央处理单元(CPU)3501、包括随机存取存储器(RAM)3502和只读存储器(ROM)3503的系统存储器3504，以及连接系统存储器3504和中央处理单元3501的系统总线3505。计算机设备3500还包括帮助计算机内的各个器件之间传输信息的基本输入/输出系统(I/O系统)3506，和用于存储操作系统3513、应用程序3514和其他程序模块3515的大容量存储设备3507。
基本输入/输出系统3506包括有用于显示信息的显示器3508和用于用户输入信息的诸如鼠标、键盘之类的输入设备3509。其中显示器3508和输入设备3509都通过连接到系统总线3505的输入输出控制器3510连接到中央处理单元3501。基本输入/输出系统3506还可以包括输入输出控制器3510以用于接收和处理来自键盘、鼠标、或电子触控笔等多个其他设备的输入。类似地，输入输出控制器3510还提供输出到显示屏、打印机或其他类型的输出设备。
大容量存储设备3507通过连接到系统总线3505的大容量存储控制器(未示出)连接到中央处理单元3501。大容量存储设备3507及其相关联的计算机可读介质为计算机设备3500提供非易失性存储。也就是说，大容量存储设备3507可以包括诸如硬盘或者CD-ROM驱动器之类的计算机可读介质(未示出)。
不失一般性，计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括RAM、ROM、EPROM、EEPROM、闪存或其他固态存储其技术，CD-ROM、DVD或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然，本领域技术人员可知计算机存储介质不局限于上述几种。上述的系统存储器3504和大容量存储设备3507可以统称为存储器。
根据本申请的各种实施例，计算机设备3500还可以通过诸如因特网等网络连接到网络上的远程计算机运行。也即计算机设备3500可以通过连接在系统总线3505上的网络接口单元3511连接到网络3512，或者说，也可以使用网络接口单元3511来连接到其他类型的网络或远程计算机系统(未示出)。
上述存储器还包括一个或者一个以上的程序，一个或者一个以上程序存储于存储器中，被配置由CPU执行。
本申请的实施例还提供了一种计算机可读存储介质，该存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，指令、程序、代码集或指令集由处理器加载并执行以实现上述基于视觉的触觉测量方法，或者，上述前馈神经网络的训练方法。
本申请的实施例还提供了一种机器人系统，该机器人系统包括：芯片和设置在指尖部位和/或皮肤部位的触觉传感器，触觉传感器包括柔性传感面和朝向柔性传感面的内表面设置的图像传感组件，柔性传感面内设置有标记点，图像传感组件与芯片相连，该芯片包括可编程逻辑电路和/或程序指令，当芯片运行时，用于执行上述基于视觉的触觉测量方法。
本申请的实施例还提供了一种触觉传感器系统300的使用方法流程图，如图32所示，该使用方法适用于上述触觉传感器、触觉传感器中的前馈神经网络、上述前馈神经网络中的位置估计模型、接触力估计模型、表面分类模型、球面估计曲率模型、圆柱面估计曲率模型、上述触觉传感器系统和上述机器人系统。
以上所述仅为本申请的较佳实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (28)

1.一种基于视觉的触觉测量方法，其特征在于，所述方法应用于芯片中，所述芯片与触觉传感器相连，所述触觉传感器包括传感面和图像传感组件，所述传感面设置有标记图案；
所述方法包括：
获取所述图像传感组件对所述传感面采集的图像序列，所述图像序列的图像中包括所述标记图案；
根据所述图像序列中的相邻图像内的所述标记图案，计算所述标记图案的差异特征；
调用前馈神经网络对所述标记图案的差异特征进行处理，得到触觉测量结果；
其中，所述前馈神经网络内的隐藏层数量小于阈值。
2.根据权利要求1所述的方法，其特征在于，所述前馈神经网络内设置有所述隐藏层和输出层；
所述调用前馈神经网络对所述标记图案的差异特征进行处理，得到触觉测量结果，包括：
调用所述前馈神经网络中的所述隐藏层对所述标记图案的差异特征进行特征提取，得到特征表示；
调用所述前馈神经网络中的所述输出层对所述特征表示进行处理，得到触觉测量结果。
3.根据权利要求2所述的方法，其特征在于，所述隐藏层内设置有n个隐藏神经元，n为整数；
所述隐藏层是基于逻辑斯蒂函数Sigmoid隐藏神经元构建的；
所述输出层是基于归一化指数函数Softmax输出神经元或线性输出神经元构建的。
4.根据权利要求2所述的方法，其特征在于，所述触觉测量结果包括接触位置；所述前馈神经网络包括：位置估计模型，所述位置估计模型包括第一隐藏层和第一输出层；
所述调用所述前馈神经网络中的所述隐藏层对所述标记图案的差异特征进行特征提取，得到特征表示，包括：
调用所述位置估计模型中的所述第一隐藏层对所述标记图案的差异特征进行特征提取，得到接触位置特征表示；
所述调用所述前馈神经网络中的所述输出层对所述特征表示进行处理，得到触觉测量结果，包括：
调用所述位置估计模型中的所述第一输出层对所述接触位置特征表示进行处理，得到所述接触位置。
5.根据权利要求2所述的方法，其特征在于，所述触觉测量结果包括接触力的三维信息，所述前馈神经网络包括接触力估计模型，所述接触力估计模型包括：第二隐藏层和第二输出层；
所述调用所述前馈神经网络中的所述隐藏层对所述标记图案的差异特征进行特征提取，得到特征表示，包括：
调用所述接触力估计模型中的所述第二隐藏层对所述标记图案的差异特征进行特征提取，得到接触力特征表示；
所述调用所述前馈神经网络中的所述输出层对所述特征表示进行处理，得到触觉测量结果，包括：
调用所述接触力估计模型中的所述第二输出层对所述接触力特征表示进行处理，得到所述接触力的三维信息，所述三维信息包括大小和/或方向。
6.根据权利要求2所述的方法，其特征在于，所述触觉测量结果包括接触表面的局部曲率半径；所述前馈神经网络包括：表面分类模型和至少两个曲率估计模型；
所述调用前馈神经网络对所述标记图案的差异特征进行处理，得到触觉测量结果，包括：
调用所述表面分类模型对所述标记图案的差异特征进行表面识别，得到所述接触表面的表面类型；
根据所述表面类型调用所述至少两个曲率估计模型中的目标曲率估计模型对所述接触表面进行曲率预测，得到所述接触表面的局部曲率半径。
7.根据权利要求6所述的方法，其特征在于，所述曲率估计模型包括：球面估计模型和圆柱面估计模型；
所述根据所述表面类型调用所述至少两个曲率估计模型中的目标曲率估计模型对所述接触表面进行曲率预测，得到所述接触表面的局部曲率半径，包括：
当所述表面类型是球面时，调用所述球面估计模型对所述球面进行第一曲率预测，得到所述球面的局部曲率半径；
当所述表面类型是圆柱面时，调用所述圆柱面估计模型对所述圆柱面进行第二曲率预测，得到所述圆柱面的局部曲率半径。
8.根据权利要求6所述的方法，其特征在于，所述表面分类模型包括第三隐藏层和第三输出层；
所述调用所述表面分类模型对所述标记图案的差异特征进行表面识别，得到所述接触表面的表面类型，包括：
调用所述表面分类模型中的所述第三隐藏层对所述标记图案的差异特征进行表面识别，得到表面类型特征表示；
调用所述表面分类模型中的所述第三输出层对所述表面类型特征表示进行处理，得到接触表面的表面类型。
9.根据权利要求6所述的方法，其特征在于，所述球面估计模型包括第四隐藏层和第四输出层；
所述调用所述球面估计模型对所述球面进行曲率预测，得到所述球面的局部曲率半径，包括：
调用所述球面估计模型中的第四隐藏层对所述球面进行曲率预测，得到球面曲率预测特征表示；
调用所述球面估计模型中的第四输出层对所述球面曲率预测特征表示进行处理，得到所述球面的局部曲率半径。
10.根据权利要求7所述的方法，其特征在于，所述圆柱面估计模型包括第五隐藏层和第五输出层；
所述调用所述圆柱面估计模型对所述圆柱面进行曲率预测，得到所述圆柱面的局部曲率半径，包括：
调用所述圆柱面估计模型中的第五隐藏层对所述圆柱面进行曲率预测，得到圆柱面曲率预测特征表示；
调用所述圆柱面估计模型中的第五输出层对所述圆柱面曲率预测特征表示进行处理，得到所述圆柱面的局部曲率半径。
11.根据权利要求1至10任一所述的方法，其特征在于，
所述标记图案包括至少两个标记点，所述标记图案的差异特征包括：所述标记点的位移，或，所述标记点的位移和形变：
和/或，
所述标记图案包括网格，所述标记图案的差异特征包括：所述网格中网格点的位移，或，所述网格中的网格点的位移和网格线的形变。
12.根据权利要求1至10任一所述的方法，其特征在于，所述根据所述图像序列中的相邻图像内的所述标记图案的位置，计算所述标记图案的差异特征，包括：
在所述图像序列中相邻的第i帧图像和第i+1帧图像中，确定最接近的两个标记图案为相同的标记图案，i为整数；
根据所述标记图案在所述第i帧图像和所述第i+1帧图像中的位置或形变中的至少一种，计算所述标记图案的差异特征。
13.一种前馈神经网络的训练方法，其特征在于，所述前馈神经网络中的隐藏层数量少于阈值，所述方法包括：
获取训练样本，所述训练样本包括样本图像序列和样本触觉结果，所述样本图像序列是触觉传感器内的图像传感组件采集的图像序列，所述触觉传感器包括传感面和图像传感组件，所述传感面设置有标记图案，所述图像序列的图像中包括所述标记图案；
根据所述样本图像序列中的相邻图像内的所述标记图案，计算所述标记图案的样本差异特征；
调用所述前馈神经网络对所述标记图案的样本差异特征进行处理，得到预测触觉结果；
对所述预测触觉结果和所述样本触觉结果进行误差计算，得到误差损失；
通过误差反向传播算法根据所述误差损失对所述前馈神经网络进行训练，得到训练后的前馈神经网络。
14.根据权利要求13所述的方法，其特征在于，所述前馈神经网络内设置有所述隐藏层和输出层；
所述调用前馈神经网络对所述标记图案的差异特征进行处理，得到触觉测量结果，包括：
调用所述前馈神经网络中的所述隐藏层对所述标记图案的差异特征进行特征提取，得到特征表示；
调用所述前馈神经网络中的所述输出层对所述特征表示进行处理，得到触觉测量结果。
15.根据权利要求14所述的方法，其特征在于，所述隐藏层内设置有n个隐藏神经元，n为整数；
所述隐藏层是基于逻辑斯蒂函数Sigmoid隐藏神经元构建的；
所述输出层是基于归一化指数函数Softmax输出神经元或线性输出神经元构建的。
16.根据权利要求14所述的方法，其特征在于，所述前馈神经网络包括用于估计接触位置的位置估计模型，所述位置估计模型包括第一隐藏层和第一输出层；
所述获取训练样本，所述训练样本包括样本图像序列和样本触觉结果，包括：
获取第一训练样本，所述第一训练样本包括第一样本图像序列和样本接触位置；
所述通过误差反向传播算法根据所述误差损失对所述前馈神经网络进行训练，得到训练后的前馈神经网络，包括：
通过莱文贝格－马夸特Levenberg–Marquardt反向传播算法根据所述第一误差损失对所述位置估计模型进行训练，得到训练后的位置估计模型。
17.根据权利要求14所述的方法，其特征在于，所述前馈神经网络包括用于估计三维接触力的接触力估计模型，所述接触力估计模型包括第二隐藏层和第二输出层；
所述获取训练样本，所述训练样本包括样本图像序列和样本触觉结果，包括：
获取第二训练样本，所述第二训练样本包括第二样本图像序列和样本三维信息，所述样本三维信息是基于设置在所述触觉传感器尾部的力矩传感器采集到的数据进行标定得到的，所述三维信息包括大小和/或方向；
所述通过误差反向传播算法根据所述误差损失对所述前馈神经网络进行训练，得到训练后的前馈神经网络，包括：
通过莱文贝格－马夸特Levenberg–Marquardt反向传播算法根据所述第二误差损失对所述接触力估计模型进行训练，得到训练后的接触力估计模型。
18.根据权利要求14所述的方法，其特征在于，所述前馈神经网络包括用于分类接触表面的表面分类模型；所述表面分类模型包括第三隐藏层和第三输出层；
所述获取训练样本，所述训练样本包括样本图像序列和样本触觉结果，包括：
获取第三训练样本，所述第三训练样本包括第三样本图像序列和样本表面类型；
所述通过误差反向传播算法根据所述误差损失对所述前馈神经网络进行训练，得到训练后的前馈神经网络，包括：
通过缩放共轭梯度反向传播算法根据所述误差损失对所述表面分类模型进行训练，得到训练后的表面分类模型。
19.根据权利要求14所述的方法，其特征在于，所述曲率估计模型包括：球面估计模型；所述球面估计模型包括第四隐藏层和第四输出层；
所述获取训练样本，所述训练样本包括所述样本图像序列和样本触觉结果，包括：
获取第四训练样本，所述第四训练样本包括第四样本图像序列和样本球面的局部曲率半径；
所述通过误差反向传播算法根据所述误差损失对所述前馈神经网络进行训练，得到训练后的前馈神经网络，包括：
通过莱文贝格－马夸特Levenberg–Marquardt反向传播算法根据所述第三误差损失对所述球面估计模型进行训练，得到训练后的球面估计模型。
20.根据权利要求14所述的方法，其特征在于，所述曲率估计模型包括：圆柱面估计模型；所述圆柱面估计模型包括第五隐藏层和第五输出层；
所述获取训练样本，所述训练样本包括所述样本图像序列和样本触觉结果，包括：
获取第五训练样本，所述第五训练样本包括第五样本图像序列和样本圆柱面的局部曲率半径；
所述通过误差反向传播算法根据所述误差损失对所述前馈神经网络进行训练，得到训练后的前馈神经网络，包括：
通过莱文贝格－马夸特Levenberg–Marquardt反向传播算法根据所述第四误差损失对所述圆柱面估计模型进行训练，得到训练后的圆柱面估计模型。
21.根据权利要求13至20任一所述的方法，其特征在于，
所述标记图案包括至少两个标记点，所述标记图案的样本差异特征包括：所述标记点的位移，或，所述标记点的位移和形变：
或，
所述标记图案包括网格，所述标记图案的样本差异特征包括：所述网格中网格点的位移，或，所述网格中的网格点的位移和网格线的形变。
22.一种基于视觉的触觉测量装置，其特征在于，所述装置应用于芯片中，所述芯片与触觉传感器相连，所述触觉传感器包括传感面和图像传感组件，所述传感面设置有标记图案；
所述装置包括：
第一获取模块，用于获取所述图像传感组件对所述传感面采集的图像序列，所述图像序列的图像中包括所述标记图案；
第一计算模块，用于根据所述图像序列中的相邻图像内的所述标记图案，计算所述标记图案的差异特征；
前馈神经网络，用于对所述标记图案的差异特征进行处理，得到触觉测量结果；
其中，所述前馈神经网络内的隐藏层数量小于阈值。
23.一种前馈神经网络的训练装置，其特征在于，所述前馈神经网络中的隐藏层数量少于阈值，所述装置包括：
第二获取模块，用于获取训练样本，所述训练样本包括样本图像序列和样本触觉结果，所述样本图像序列是触觉传感器内的图像传感组件采集的图像序列，所述触觉传感器包括传感面和图像传感组件，所述传感面设置有标记图案，所述图像序列的图像中包括所述标记图案；
第二计算模块，用于根据所述样本图像序列中的相邻图像内的所述标记图案，计算所述标记图案的样本差异特征；
前馈神经网络模型，用于对所述标记图案的样本差异特征进行处理，得到预测触觉结果；
误差计算模块，用于对所述预测触觉结果和所述样本触觉结果进行误差计算，得到误差损失；
训练模块，用于通过误差反向传播算法根据所述误差损失对所述前馈神经网络进行训练，得到训练后的前馈神经网络。
24.一种芯片，其特征在于，所述芯片包括可编程逻辑电路和/或程序指令，当所述芯片运行时用于执行如权利要求1至12任一所述的基于视觉的触觉测量方法。
25.一种触觉传感器系统，其特征在于，所述系统包括：触觉传感器和所述芯片，所述触觉传感器包括柔性传感面和图像传感组件，所述传感面设置有标记图案，所述图像传感组件与所述芯片相连；
所述芯片包括可编程逻辑电路和/或程序指令，当所述芯片运行时用于执行如权利要求1至12任一所述的基于视觉的触觉测量方法。
26.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述指令、所述程序、所述代码集或所述指令集由所述处理器加载并执行以实现如权利要求13-21所述的任一项所述的前馈神经网络的训练方法。
27.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述指令、所述程序、所述代码集或所述指令集由处理器加载并执行以实现如权利要求1-12任一项所述的基于视觉的触觉测量方法，或者，如权利要求13-21所述的任一项所述的前馈神经网络的训练方法。
28.一种机器人系统，其特征在于，所述机器人系统包括：芯片和设置在指尖部位和/或皮肤部位的触觉传感器，所述触觉传感器包括柔性传感面和朝向所述柔性传感面的内表面设置的图像传感组件，所述柔性传感面内设置有标记图案，所述图像传感组件与所述芯片相连；
所述芯片包括可编程逻辑电路和/或程序指令，当所述芯片运行时用于执行权利要求1至12任一所述的基于视觉的触觉测量方法。
CN201910411693.6A 2019-05-16 2019-05-16 基于视觉的触觉测量方法、装置、设备及存储介质 Active CN110162175B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN202210431476.5A CN114661169B (zh) 2019-05-16 2019-05-16 基于视觉的触觉测量方法、装置、设备及存储介质
CN201910411693.6A CN110162175B (zh) 2019-05-16 2019-05-16 基于视觉的触觉测量方法、装置、设备及存储介质
EP20804776.1A EP3971684A4 (en) 2019-05-16 2020-04-20 Vision-based tactile measurement method, apparatus, chip and storage medium
PCT/CN2020/085608 WO2020228489A1 (zh) 2019-05-16 2020-04-20 基于视觉的触觉测量方法、装置、芯片及存储介质
US17/369,837 US12214487B2 (en) 2019-05-16 2021-07-07 Vision-based tactile measurement method and apparatus, chip, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910411693.6A CN110162175B (zh) 2019-05-16 2019-05-16 基于视觉的触觉测量方法、装置、设备及存储介质

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202210431476.5A Division CN114661169B (zh) 2019-05-16 2019-05-16 基于视觉的触觉测量方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN110162175A true CN110162175A (zh) 2019-08-23
CN110162175B CN110162175B (zh) 2022-04-19

Family

ID=67631149

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202210431476.5A Active CN114661169B (zh) 2019-05-16 2019-05-16 基于视觉的触觉测量方法、装置、设备及存储介质
CN201910411693.6A Active CN110162175B (zh) 2019-05-16 2019-05-16 基于视觉的触觉测量方法、装置、设备及存储介质

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202210431476.5A Active CN114661169B (zh) 2019-05-16 2019-05-16 基于视觉的触觉测量方法、装置、设备及存储介质

Country Status (3)

Country Link
EP (1) EP3971684A4 (zh)
CN (2) CN114661169B (zh)
WO (1) WO2020228489A1 (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110722591A (zh) * 2019-10-12 2020-01-24 哈尔滨工业大学（深圳） 柔性体的力感知方法、夹爪及机械手
CN110737339A (zh) * 2019-10-28 2020-01-31 福州大学 基于深度学习的视觉—触觉交互模型构建方法
WO2020228489A1 (zh) * 2019-05-16 2020-11-19 腾讯科技（深圳）有限公司 基于视觉的触觉测量方法、装置、芯片及存储介质
CN112060085A (zh) * 2020-08-24 2020-12-11 清华大学 一种基于视触多尺度定位的机器人操作位姿控制方法
CN112652060A (zh) * 2021-01-06 2021-04-13 上海交通大学 一种基于粒子图像测速法的多模态视触觉传感系统及方法
CN112949197A (zh) * 2021-03-08 2021-06-11 北京理工大学 一种基于深度学习的平凸透镜曲率半径在线测量方法
CN113670928A (zh) * 2021-06-29 2021-11-19 华中农业大学 一种基于视触觉的无损瓜果损伤识别与硬度检测装置
CN114179082A (zh) * 2021-12-07 2022-03-15 南京工程学院 一种基于接触力信息的图像力触觉检测装置及再现方法
CN114544052A (zh) * 2022-01-19 2022-05-27 清华大学 触觉传感器、机器人、实现触觉信息获取的方法及装置
CN114659678A (zh) * 2022-04-12 2022-06-24 深圳市松果体机器人科技有限公司 面形柔性触觉传感器
WO2023137841A1 (zh) * 2022-01-21 2023-07-27 广州市香港科大霍英东研究院 基于机器视觉的机器人关节形变传感器、机械臂及方法
CN116803625A (zh) * 2022-03-17 2023-09-26 腾讯科技（深圳）有限公司 机器人控制方法、装置、设备和存储介质
US12214487B2 (en) 2019-05-16 2025-02-04 Tencent Technology (Shenzhen) Company Limited Vision-based tactile measurement method and apparatus, chip, and storage medium

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4275024A1 (en) * 2021-01-08 2023-11-15 Max-Planck-Gesellschaft zur Förderung der Wissenschaften e.V. Method for force inference, method for training a feed-forward neural network, force inference module, and sensor arrangement
WO2022191910A1 (en) * 2021-03-08 2022-09-15 Massachusetts Institute Of Technology Enhanced depth estimation using deep learning

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1203142A (zh) * 1998-07-01 1998-12-30 中国科学院合肥智能机械研究所 一种多功能类皮肤型传感器
CN1539604A (zh) * 2003-11-01 2004-10-27 中国科学院合肥智能机械研究所 一种柔性触觉传感器及触觉信息检测方法
US20110029470A1 (en) * 2009-07-30 2011-02-03 Northwestern University Systems, methods, and apparatus for reconstruction of 3-d object morphology, position, orientation and texture using an array of tactile sensors
CN106092382A (zh) * 2016-07-20 2016-11-09 山东大学 一种基于弹性体三维形变的触觉传感器及检测方法
CN106204620A (zh) * 2016-07-21 2016-12-07 清华大学 一种基于微视觉的触觉三维力检测方法
CN108229548A (zh) * 2017-12-27 2018-06-29 华为技术有限公司 一种物体检测方法及装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108369470B (zh) * 2015-12-09 2022-02-08 平蛙实验室股份公司 改进的触控笔识别
RU2665273C2 (ru) * 2016-06-03 2018-08-28 Автономная некоммерческая образовательная организация высшего образования "Сколковский институт науки и технологий" Обучаемые визуальные маркеры и способ их продуцирования
US10514799B2 (en) * 2016-09-08 2019-12-24 Google Llc Deep machine learning to perform touch motion prediction
CN106650918B (zh) * 2016-11-25 2019-08-30 东软集团股份有限公司 构建系统模型的方法和装置
CN108692644B (zh) * 2018-03-26 2019-09-27 华中科技大学 一种复杂曲面三坐标测量装置及误差补偿方法
CN114661169B (zh) * 2019-05-16 2024-08-13 腾讯科技（深圳）有限公司 基于视觉的触觉测量方法、装置、设备及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1203142A (zh) * 1998-07-01 1998-12-30 中国科学院合肥智能机械研究所 一种多功能类皮肤型传感器
CN1539604A (zh) * 2003-11-01 2004-10-27 中国科学院合肥智能机械研究所 一种柔性触觉传感器及触觉信息检测方法
US20110029470A1 (en) * 2009-07-30 2011-02-03 Northwestern University Systems, methods, and apparatus for reconstruction of 3-d object morphology, position, orientation and texture using an array of tactile sensors
CN106092382A (zh) * 2016-07-20 2016-11-09 山东大学 一种基于弹性体三维形变的触觉传感器及检测方法
CN106204620A (zh) * 2016-07-21 2016-12-07 清华大学 一种基于微视觉的触觉三维力检测方法
CN108229548A (zh) * 2017-12-27 2018-06-29 华为技术有限公司 一种物体检测方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
周嵘等: "基于神经网络的触觉感知方向识别研究", 《武汉理工大学学报》 *

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020228489A1 (zh) * 2019-05-16 2020-11-19 腾讯科技（深圳）有限公司 基于视觉的触觉测量方法、装置、芯片及存储介质
US12214487B2 (en) 2019-05-16 2025-02-04 Tencent Technology (Shenzhen) Company Limited Vision-based tactile measurement method and apparatus, chip, and storage medium
CN110722591A (zh) * 2019-10-12 2020-01-24 哈尔滨工业大学（深圳） 柔性体的力感知方法、夹爪及机械手
CN110722591B (zh) * 2019-10-12 2021-06-22 哈尔滨工业大学（深圳） 柔性体的力感知方法、夹爪及机械手
CN110737339B (zh) * 2019-10-28 2021-11-02 福州大学 基于深度学习的视觉—触觉交互模型构建方法
CN110737339A (zh) * 2019-10-28 2020-01-31 福州大学 基于深度学习的视觉—触觉交互模型构建方法
CN112060085A (zh) * 2020-08-24 2020-12-11 清华大学 一种基于视触多尺度定位的机器人操作位姿控制方法
CN112060085B (zh) * 2020-08-24 2021-10-08 清华大学 一种基于视触多尺度定位的机器人操作位姿控制方法
CN112652060A (zh) * 2021-01-06 2021-04-13 上海交通大学 一种基于粒子图像测速法的多模态视触觉传感系统及方法
CN112949197A (zh) * 2021-03-08 2021-06-11 北京理工大学 一种基于深度学习的平凸透镜曲率半径在线测量方法
CN113670928A (zh) * 2021-06-29 2021-11-19 华中农业大学 一种基于视触觉的无损瓜果损伤识别与硬度检测装置
CN114179082A (zh) * 2021-12-07 2022-03-15 南京工程学院 一种基于接触力信息的图像力触觉检测装置及再现方法
CN114544052A (zh) * 2022-01-19 2022-05-27 清华大学 触觉传感器、机器人、实现触觉信息获取的方法及装置
WO2023137841A1 (zh) * 2022-01-21 2023-07-27 广州市香港科大霍英东研究院 基于机器视觉的机器人关节形变传感器、机械臂及方法
CN116803625A (zh) * 2022-03-17 2023-09-26 腾讯科技（深圳）有限公司 机器人控制方法、装置、设备和存储介质
CN114659678A (zh) * 2022-04-12 2022-06-24 深圳市松果体机器人科技有限公司 面形柔性触觉传感器

Also Published As

Publication number Publication date
EP3971684A1 (en) 2022-03-23
EP3971684A4 (en) 2022-06-29
CN110162175B (zh) 2022-04-19
WO2020228489A1 (zh) 2020-11-19
US20210334584A1 (en) 2021-10-28
CN114661169B (zh) 2024-08-13
CN114661169A (zh) 2022-06-24

Similar Documents

Publication Publication Date Title
CN110162175A (zh) 基于视觉的触觉测量方法、装置、设备及存储介质
Brahmbhatt et al. ContactPose: A dataset of grasps with object contact and hand pose
Sun et al. A soft thumb-sized vision-based sensor with accurate all-round force perception
Reed et al. Deep visual analogy-making
Sun et al. Retracted: Gesture recognition algorithm based on multi‐scale feature fusion in RGB‐D images
US8823639B2 (en) Elastomeric input device
Ahmad et al. Hand pose estimation and tracking in real and virtual interaction: A review
Jiang et al. Hierarchical multi-modal fusion FCN with attention model for RGB-D tracking
Shah et al. On the design and development of vision-based tactile sensors
CN108229318A (zh) 手势识别和手势识别网络的训练方法及装置、设备、介质
CN111222486B (zh) 手部姿态识别模型的训练方法、装置、设备及存储介质
CN110503686A (zh) 基于深度学习的物体位姿估计方法及电子设备
CN110084211B (zh) 一种动作识别方法
Cui et al. Self-supervised contact geometry learning by GelStereo visuotactile sensing
Amin et al. Embedded real-time objects’ hardness classification for robotic grippers
Biju et al. Design of grip strength measuring system using FSR and flex sensors using SVM algorithm
Sun et al. Machine learning for haptics: Inferring multi-contact stimulation from sparse sensor configuration
Baumgartl et al. Vision-based hand gesture recognition for human-computer interaction using MobileNetV2
Fan et al. Real-time and accurate meal detection for meal-assisting robots
Chen et al. Two-stage grasp strategy combining CNN-based classification and adaptive detection on a flexible hand
Gu et al. Haptic perception of unknown object by robot hand: Exploration strategy and recognition approach
Ganguly et al. Gradtac: Spatio-temporal gradient based tactile sensing
Garrofé et al. Virtual haptic system for shape recognition based on local curvatures
Lu et al. 3D force identification and prediction using deep learning based on a Gelsight-structured sensor
Farouk Principal component pyramids using image blurring for nonlinearity reduction in hand shape recognition

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant