CN116158851B - 医用远程超声自动扫描机器人的扫描目标定位系统及方法 - Google Patents
医用远程超声自动扫描机器人的扫描目标定位系统及方法 Download PDFInfo
- Publication number
- CN116158851B CN116158851B CN202310186076.7A CN202310186076A CN116158851B CN 116158851 B CN116158851 B CN 116158851B CN 202310186076 A CN202310186076 A CN 202310186076A CN 116158851 B CN116158851 B CN 116158851B
- Authority
- CN
- China
- Prior art keywords
- coordinate
- scanning
- target
- point
- positioning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 13
- 238000012937 correction Methods 0.000 claims abstract description 8
- 238000001514 detection method Methods 0.000 claims abstract description 5
- 238000007781 pre-processing Methods 0.000 claims description 17
- 230000011218 segmentation Effects 0.000 claims description 17
- 238000004364 calculation method Methods 0.000 claims description 16
- 238000002604 ultrasonography Methods 0.000 claims description 11
- 230000009466 transformation Effects 0.000 claims description 6
- 239000012636 effector Substances 0.000 claims description 5
- 239000011159 matrix material Substances 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 4
- 239000000523 sample Substances 0.000 claims description 4
- 238000012935 Averaging Methods 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 230000006872 improvement Effects 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 2
- 210000004072 lung Anatomy 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 4
- 230000005284 excitation Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000000241 respiratory effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/70—Manipulators specially adapted for use in surgery
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2063—Acoustic tracking systems, e.g. using ultrasound
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2065—Tracking using image or pattern recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10132—Ultrasound image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Surgery (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Heart & Thoracic Surgery (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Animal Behavior & Ethology (AREA)
- Robotics (AREA)
- Biophysics (AREA)
- Radiology & Medical Imaging (AREA)
- Artificial Intelligence (AREA)
- Quality & Reliability (AREA)
- Pathology (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
Abstract
本发明公开了一种医用远程超声自动扫描机器人的扫描目标定位系统即方法，所述系统包括深度相机、图像预处理模块、目标定位模块、机械臂和配套夹具。本发明通过采集包含目标点的图像，通过深度卷积神经网络对目标区域实现分割和定位，再经过坐标校正实现了肺部超声自动扫描机器人的扫描目标定位，可以在使用低成本的传感器的前提下，实现实时、准确、便捷的扫描目标定位，极大程度提高了定位的精度并扩展了医用远程超声自动扫描机器人的自主性。为实现在保证病人和系统安全的前提下，医用远程超声自动扫描机器人完成高质量的超声扫描检测提供了良好基础。
Description
技术领域
本发明属于机器人技术领域，涉及一种扫描目标定位方法，具体涉及一种医用远程超声自动扫描机器人的扫描目标定位系统及方法。
背景技术
扫描目标定位是完成肺部超声自动扫描的第一步，是机器人在进行超声扫描检查的路径规划算法的基础。扫描目标定位包括超声扫描区域的二维定位和三维定位，定位的精度很大程度上影响整个机器人的安全性和获取超声图像的质量。在超声自动扫描过程中，由于患者体型、肤色存在差异以及人体呼吸运动导致目标位置实时改变，因此难以对超声探头的着陆点进行定位。目前，大多数系统采用利用三维点云或视觉图像处理的手段来对目标点进行定位，但是由于三维点云需要高精度的激光雷达或深度传感器，成本较高；传统视觉图像处理需要的硬件性能不高，但实时性能较差，同时以上两种方法都不能很好的消除由病人身体在扫描过程中的小范围移动或呼吸运动产生的误差，从而造成超声成像效果的不佳，甚至采集不到准确的超声图像信息。
发明内容
为了解决医用远程超声扫描机器人在扫描前的扫描目标区域定位误差较大的问题，并在保证使用低成本的硬件条件下，兼顾机器人的实时性，本发明提供了一种医用远程超声自动扫描机器人的扫描目标定位系统及方法。
本发明的目的是通过以下技术方案实现的：
一种医用远程超声自动扫描机器人的扫描目标定位系统，包括深度相机、图像预处理模块、目标定位模块、机械臂和配套夹具，其中：
所述深度相机用于采集包含扫描目标点的区域的图像，同时可以获得图像上各个像素点的深度信息；
所述图像预处理模块用于对深度相机采集到的图像进行质量检测、尺寸统一化、对比度提升等相关预处理操作；
所述目标定位模块包括坐标计算模块和坐标校正模块；
所述坐标计算模块用于存储训练好的基于卷积神经网络的目标分割网络模型、二维和三维目标定位算法和坐标转换算法，从而获取扫描目标点的第一坐标和第三坐标；
所述坐标校正模块用于对坐标计算模块输出的第一坐标进行基于多尺度补偿，从而获得扫描目标点的第二坐标；
所述配套夹具用于将深度相机和超声探头固定在机械臂末端。
一种利用上述系统进行医用远程超声自动扫描机器人的扫描目标定位方法，包括如下步骤：
步骤一、利用安装在机械臂固定位置上的深度相机采集包含患者待扫描区域的图像，同时对深度相机的彩色通道和深度通道进行标定；
步骤二、将深度相机采集到的图像输入到图像预处理模块中，进行改变图像尺寸、对比度提升、质量检测等；
步骤三、将图像预处理模块处理后的图像输入到目标定位模块中，利用基于卷积神经网络的目标分割网络模型对超声耦合剂覆盖的区域进行实时的区域分割，获得目标区域的边界二维坐标(x0,y0)；根据目标区域的边界二维坐标(x0,y0)，选取其中横纵坐标的最大值，求取着陆坐标点的二维坐标P0 t (x,y)；
步骤四、结合着陆坐标点的深度数据值d，将着陆坐标点映射到相机坐标系下的三维坐标，称这个坐标为第一坐标P1；
步骤五、采用基于多尺度补偿的目标定位方法对第一坐标进行校正，得到第二坐标P2；
步骤六、通过坐标变换，将在相机坐标系下的第二坐标转换到在机械臂底座坐标系下的第三坐标P3。
相比于现有技术，本发明具有如下优点：
本发明通过采集包含目标点的图像，通过深度卷积神经网络对目标区域实现分割和定位，再经过坐标校正实现了医用远程超声自动扫描机器人的扫描目标定位，可以在使用低成本的传感器的前提下，实现实时、准确、便捷的扫描目标定位，极大程度提高了定位的精度并扩展了医用远程超声自动扫描机器人的自主性。为实现在保证病人和系统安全的前提下，医用远程超声自动扫描机器人完成高质量的超声扫描检测提供了良好基础。
附图说明
图1是实施例中医用远程超声自动扫描机器人的扫描目标定位方法的流程图：
图2是实施例中卷积神经网络的目标分割网络架构示意图，(a)是网络的整体框架，(b)是以RSU-7为例的残差子块框架，(c)是挤压激励(SE)模块的示意图；
图3是实施例中医用远程超声自动扫描机器人的扫描目标定位系统的坐标系位置示意图；
图4是实施例中医用远程超声自动扫描机器人的扫描目标定位系统的示意图。
具体实施方式
下面结合附图对本发明的技术方案作进一步的说明，但并不局限于此，凡是对本发明技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，均应涵盖在本发明的保护范围中。
本发明提供了一种医用远程超声自动扫描机器人的扫描目标定位系统，如图4所示，所述系统包括深度相机、图像预处理模块、目标定位模块、机械臂和配套夹具，其中：
所述深度相机用于采集包含扫描目标点的区域的图像，同时可以获得图像上各个像素点的深度信息；
所述图像预处理模块用于对深度相机采集到的图像进行质量检测、尺寸统一化、对比度提升等相关预处理操作；
所述目标定位模块包括坐标计算模块和坐标校正模块；
所述坐标计算模块用于存储训练好的基于卷积神经网络的目标分割网络模型、二维和三维目标定位算法和坐标转换算法，从而获取扫描目标点的第一坐标和第三坐标；
所述坐标校正模块用于对坐标计算模块输出的第一坐标进行基于多尺度补偿，从而获得扫描目标点的第二坐标；
所述配套夹具用于将深度相机和超声探头固定在机械臂末端。
本发明还提供了一种利用上述系统进行医用远程超声自动扫描机器人的扫描目标定位方法，所述方法包括以下步骤：
步骤一、利用安装在机械臂固定位置上的深度相机采集包含患者待扫描区域的图像，同时对深度相机的彩色通道和深度通道进行标定。
步骤二、将深度相机采集到的图像输入到图像预处理模块中，进行改变图像尺寸、对比度提升、质量检测等。
步骤三、将图像预处理模块处理后的图像输入到目标定位模块中，利用基于卷积神经网络的目标分割网络模型对超声耦合剂覆盖的区域进行实时的区域分割，获得目标区域的边界二维坐标(x0,y0)；根据目标区域的边界二维坐标(x0,y0)，选取其中横纵坐标的最大值，利用公式(1)求取着陆坐标点的二维坐标P0 t (x,y)。
其中：
基于卷积神经网络的目标分割网络模型的框架包含主干网络和挤压激励模块(SE块)，主干网络是U2-Net网络模型，通过在主干网络中使用挤压激励模块，自适应校准通道方面的特征信息，以较小的额外计算成本来提高分割效果。主干网络的结构可以看作是一个编码器-解码器结构的嵌套式的UNet，其中的子模块分别是残差U块：RSU-7、RSU-6、RSU-5、RSU-4和RSU-4F。这些残差U块通过逐步下采样从特征图中提取多尺度特征，通过逐步上采样、级联和卷积组成高分辨率的局部特征图。在主干网路的每个残差块后增加SE块，从通道域角度得到更重要的特征信息。最后将残差连接，对局部特征和多尺度特征融合获得最终的分割结果图。
(x,y)的计算公式如下：
步骤四、结合着陆坐标点的深度数据值d，将着陆坐标点映射到相机坐标系下的三维坐标，称这个坐标为第一坐标P 1，求取第一坐标，计算公式如式(2)所示：
其中f表示深度相机的红外摄像头的焦距。
步骤五、采用基于多尺度补偿的目标定位方法对第一坐标进行校正，得到第二坐标。具体方法如下：
步骤五一、求取在步骤三确定的着陆坐标点附近沿x轴和y轴正负三个像素的四个辅助点；
步骤五二、将四个辅助点利用步骤四的方法求取相应的第一坐标，再将四个辅助点和着陆坐标点的坐标值取平均值得到空间补偿后的目标点三维P t；
步骤五三、间隔Δ t时间对采集的图像进行一次处理，再对连续三个采样获得的三维坐标Pt-1、Pt和Pt+1取平均值得到时间补偿后的着陆坐标点三维坐标，由此经过基于多尺度补偿的目标定位方法获得着陆坐标点的第二坐标P 2。
步骤六、通过坐标变换，将在相机坐标系下的第二坐标转换到在机械臂底座坐标系下的第三坐标P 3。其中：需要预先得到相机坐标系到机械臂末端执行器坐标系的旋转矩阵机械臂末端执行器坐标系到机械臂底座坐标系的旋转矩阵/>其中：旋转矩阵/>由相机安装在机械臂上的位置决定，旋转矩阵/>由机械臂的尺寸大小决定。利用坐标变换公式(3)将第二坐标转化为第三坐标：
实施例：
如图1所示，本实施例按照如下步骤进行医用远程超声自动扫描机器人的扫描目标定位：
步骤一、事先在患者待扫描区域上涂抹超声耦合剂，利用安装在机械臂固定位置上的深度相机采集包含患者待扫描区域的图像，同时对深度相机的彩色通道和深度通道进行标定，使二者在同一坐标系下。
步骤二、将采集到图像输入到图像预处理模块中。在本实施例中，经过图像预处理模块后图像大小转化为512×512，同时剔除掉模糊的图像并提升保留后的图像的对比度。
步骤三、将处理后的图像输入到目标定位模块中。目标定位模块包括两部分操作：
其一，是利用基于卷积神经网络的目标分割网络对超声耦合剂覆盖的区域进行实时的区域分割，获得区域的边界二维坐标(x0,y0)。其中，本实施例中基于卷积神经网络的目标分割网络模型框架如图2(a)所示，残差U块的框架以RSU-7为例如图2(b)所示。
其二，是根据目标区域边缘区域的二维坐标，选取其中横纵坐标的最大值，利用公式(1)求取着陆坐标点的二维坐标
步骤四、利用着陆坐标点的二维坐标结合已标定好的深度相机采集的深度信息，得到着陆坐标点的深度数据值d，由此可以得到的着陆坐标点在相机坐标系下的三维坐标，称这个坐标为第一坐标P 1。求取第一坐标的计算公式如式(2)所示。
步骤五、采用基于多尺度补偿的目标定位方法对第一坐标进行校正，得到第二坐标。具体方法如下：求取在步骤三确定的着陆坐标点附近沿x轴和y轴正负三个像素的四个辅助点其中Δ x＝ Δ y＝ 3 p i xe l s。而后将四个辅助点利用步骤四的方法求取相应的第一坐标，再将四个辅助点和着陆坐标点的坐标值取平均值得到空间补偿后的着陆坐标点三维P t。进一步，间隔Δ t＝0.5s对采集的图像进行一次处理，再对连续三个采样获得的三维坐标Pt-1，Pt和Pt+1取平均值得到时间补偿后的着陆坐标点三维坐标。由此经过基于多尺度补偿的目标定位方法获得目标点的第二坐标P 2。
步骤六、通过坐标变换，将在相机坐标系下的第二坐标转换到在机械臂底座坐标系下的第三坐标P 3。在本实施例中，深度相机、末端执行机构和机械臂底座坐标系的相对位置如图3所示。利用坐标变换公式(3)将第二坐标转化为第三坐标。
以医用远程超声自动扫描机器人在对患者进行肺部扫描为例，通常是对患者胸部的五个特征点进行扫描并获得超声图像。在采用本实施例的定位方法时对患者五个特征点的二维定位误差和三维定位误差如表1所示，其中误差为定位点与实际目标点之间的欧氏距离。平均误差在1.5cm左右，符合医用超声扫描的误差范围，并能够为后续超声图像的获取提供较高精度的定位。
表1
Claims (6)
1.一种医用远程超声自动扫描机器人的扫描目标定位方法，其特征在于所述方法利用扫描目标定位系统进行医用远程超声自动扫描机器人的扫描目标定位，所述扫描目标定位系统包括深度相机、图像预处理模块、目标定位模块、机械臂和配套夹具，其中：
所述深度相机用于采集包含扫描目标点的区域的图像，同时可以获得图像上各个像素点的深度信息；
所述图像预处理模块用于对深度相机采集到的图像进行质量检测、尺寸统一化、对比度提升预处理操作；
所述目标定位模块包括坐标计算模块和坐标校正模块；
所述坐标计算模块用于存储训练好的基于卷积神经网络的目标分割网络模型、二维和三维目标定位算法和坐标转换算法，从而获取扫描目标点的第一坐标和第三坐标；
所述坐标校正模块用于对坐标计算模块输出的第一坐标进行基于多尺度补偿，从而获得扫描目标点的第二坐标；
所述配套夹具用于将深度相机和超声探头固定在机械臂末端；
所述方法包括如下步骤：
步骤一、利用安装在机械臂固定位置上的深度相机采集包含患者待扫描区域的图像，同时对深度相机的彩色通道和深度通道进行标定；
步骤二、将深度相机采集到的图像输入到图像预处理模块中，进行改变图像尺寸、对比度提升、质量检测；
步骤三、将图像预处理模块处理后的图像输入到目标定位模块中，利用基于卷积神经网络的目标分割网络模型对超声耦合剂覆盖的区域进行实时的区域分割，获得目标区域的边界二维坐标(x0,y0)；根据目标区域的边界二维坐标(x0,y0)，选取其中横纵坐标的最大值，求取着陆坐标点的二维坐标
步骤四、结合着陆坐标点的深度数据值d，将着陆坐标点映射到相机坐标系下的三维坐标，称这个坐标为第一坐标P1；
步骤五、采用基于多尺度补偿的目标定位方法对第一坐标进行校正，得到第二坐标P2；
步骤六、通过坐标变换，将在相机坐标系下的第二坐标转换到在机械臂底座坐标系下的第三坐标P3。
2.根据权利要求1所述的医用远程超声自动扫描机器人的扫描目标定位方法，其特征在于所述步骤三中，基于卷积神经网络的目标分割网络模型的框架包含主干网络和SE块，主干网络的结构看作是一个编码器-解码器结构的嵌套式的UNet，其中的子模块分别是残差U块：RSU-7、RSU-6、RSU-5、RSU-4和RSU-4F，这些残差U块通过逐步下采样从特征图中提取多尺度特征，通过逐步上采样、级联和卷积组成高分辨率的局部特征图；在主干网路的每个残差块后增加SE块，从通道域角度得到更重要的特征信息；最后将残差连接，对局部特征和多尺度特征融合获得最终的分割结果图。
3.根据权利要求1所述的医用远程超声自动扫描机器人的扫描目标定位方法，其特征在于所述步骤三中，(x,y)的计算公式如下：
4.根据权利要求1所述的医用远程超声自动扫描机器人的扫描目标定位方法，其特征在于所述步骤四中，第一坐标的计算公式如下：
z1＝d
其中f表示深度相机的红外摄像头的焦距。
5.根据权利要求1所述的医用远程超声自动扫描机器人的扫描目标定位方法，其特征在于所述步骤五的具体步骤如下：
步骤五一、求取在步骤三确定的着陆坐标点附近沿x轴和y轴正负三个像素的四个辅助点；
步骤五二、将四个辅助点利用步骤四的方法求取相应的第一坐标，再将四个辅助点和着陆坐标点的坐标值取平均值得到空间补偿后的目标点三维Pt；
步骤五三、间隔Δt时间对采集的图像进行一次处理，再对连续三个采样获得的三维坐标Pt-1、Pt和Pt+1取平均值得到时间补偿后的着陆坐标点三维坐标，由此获得着陆坐标点的第二坐标P2。
6.根据权利要求1所述的医用远程超声自动扫描机器人的扫描目标定位方法，其特征在于所述步骤六中，第三坐标点的计算公式如下：
其中为相机坐标系到机械臂末端执行器坐标系的旋转矩阵；/>为机械臂末端执行器坐标系到机械臂底座坐标系的旋转矩阵。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310186076.7A CN116158851B (zh) | 2023-03-01 | 2023-03-01 | 医用远程超声自动扫描机器人的扫描目标定位系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310186076.7A CN116158851B (zh) | 2023-03-01 | 2023-03-01 | 医用远程超声自动扫描机器人的扫描目标定位系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116158851A CN116158851A (zh) | 2023-05-26 |
| CN116158851B true CN116158851B (zh) | 2024-03-01 |
Family
ID=86421757
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310186076.7A Active CN116158851B (zh) | 2023-03-01 | 2023-03-01 | 医用远程超声自动扫描机器人的扫描目标定位系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116158851B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117323015B (zh) * | 2023-10-30 | 2024-06-21 | 赛诺威盛医疗科技(扬州)有限公司 | 小型化的多自由度机器人 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103829973A (zh) * | 2014-01-16 | 2014-06-04 | 华南理工大学 | 一种远程控制的超声探头扫描系统及其方法 |
| CN104856720A (zh) * | 2015-05-07 | 2015-08-26 | 东北电力大学 | 一种基于rgb-d传感器的机器人辅助超声扫描系统 |
| CN107481290A (zh) * | 2017-07-31 | 2017-12-15 | 天津大学 | 基于三坐标测量机的相机高精度标定及畸变补偿方法 |
| CN110477956A (zh) * | 2019-09-27 | 2019-11-22 | 哈尔滨工业大学 | 一种基于超声图像引导的机器人诊断系统的智能扫查方法 |
| WO2020103558A1 (zh) * | 2018-11-19 | 2020-05-28 | 华为技术有限公司 | 一种定位方法及电子设备 |
| CN112215843A (zh) * | 2019-12-31 | 2021-01-12 | 无锡祥生医疗科技股份有限公司 | 超声智能成像导航方法、装置、超声设备及存储介质 |
| CN112287872A (zh) * | 2020-11-12 | 2021-01-29 | 北京建筑大学 | 基于多任务神经网络的虹膜图像分割、定位和归一化方法 |
| CN112712528A (zh) * | 2020-12-24 | 2021-04-27 | 浙江工业大学 | 一种多尺度u型残差编码器与整体反向注意机制结合的肠道病灶分割方法 |
| CN115666397A (zh) * | 2020-05-01 | 2023-01-31 | 皮尔森莫有限公司 | 允许非熟练用户采集人体内部器官的超声图像的系统和方法 |
Family Cites Families (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2013192598A1 (en) * | 2012-06-21 | 2013-12-27 | Excelsius Surgical, L.L.C. | Surgical robot platform |
| AU2018316801B2 (en) * | 2017-08-16 | 2023-12-21 | Mako Surgical Corp. | Ultrasound bone registration with learning-based segmentation and sound speed calibration |
| ES2968508T3 (es) * | 2019-01-29 | 2024-05-10 | Kunshan Imagene Medical Co Ltd | Procedimiento y sistema de control de exploración por ultrasonidos, dispositivo de exploración por ultrasonidos y medio de almacenamiento |
| US20210113181A1 (en) * | 2019-10-22 | 2021-04-22 | Zhejiang Demetics Medical Technology Co., Ltd. | Automatic Ultrasonic Scanning System |
| CN211325155U (zh) * | 2019-10-22 | 2020-08-25 | 浙江德尚韵兴医疗科技有限公司 | 自动超声扫查系统 |
| CA3163482A1 (en) * | 2019-12-30 | 2021-07-08 | Medo Dx Pte. Ltd | Apparatus and method for image segmentation using a deep convolutional neural network with a nested u-structure |
| CN112107363B (zh) * | 2020-08-31 | 2022-08-02 | 上海交通大学 | 一种基于深度相机的超声溶脂机器人系统及辅助操作方法 |
| CN112598729B (zh) * | 2020-12-24 | 2022-12-23 | 哈尔滨工业大学芜湖机器人产业技术研究院 | 融合激光与相机的目标物体识别与定位方法 |
| CN112773508A (zh) * | 2021-02-04 | 2021-05-11 | 清华大学 | 一种机器人手术定位方法及装置 |
| CN112807025A (zh) * | 2021-02-08 | 2021-05-18 | 威朋（苏州）医疗器械有限公司 | 超声扫查引导方法、装置、系统、计算机设备和存储介质 |
| CN113413216B (zh) * | 2021-07-30 | 2022-06-07 | 武汉大学 | 一种基于超声影像导航的双臂穿刺机器人 |
| GB2609983A (en) * | 2021-08-20 | 2023-02-22 | Garford Farm Machinery Ltd | Image processing |
| CN113974830B (zh) * | 2021-11-02 | 2024-08-27 | 中国人民解放军总医院第一医学中心 | 一种用于超声引导甲状腺肿瘤热消融的手术导航系统 |
| CN114693661A (zh) * | 2022-04-06 | 2022-07-01 | 上海麦牙科技有限公司 | 一种基于深度学习的快速分拣方法 |
| CN115553883A (zh) * | 2022-09-29 | 2023-01-03 | 浙江大学 | 一种基于机器人超声扫查成像的经皮脊柱穿刺定位系统 |
-
2023
- 2023-03-01 CN CN202310186076.7A patent/CN116158851B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103829973A (zh) * | 2014-01-16 | 2014-06-04 | 华南理工大学 | 一种远程控制的超声探头扫描系统及其方法 |
| CN104856720A (zh) * | 2015-05-07 | 2015-08-26 | 东北电力大学 | 一种基于rgb-d传感器的机器人辅助超声扫描系统 |
| CN107481290A (zh) * | 2017-07-31 | 2017-12-15 | 天津大学 | 基于三坐标测量机的相机高精度标定及畸变补偿方法 |
| WO2020103558A1 (zh) * | 2018-11-19 | 2020-05-28 | 华为技术有限公司 | 一种定位方法及电子设备 |
| CN110477956A (zh) * | 2019-09-27 | 2019-11-22 | 哈尔滨工业大学 | 一种基于超声图像引导的机器人诊断系统的智能扫查方法 |
| CN112215843A (zh) * | 2019-12-31 | 2021-01-12 | 无锡祥生医疗科技股份有限公司 | 超声智能成像导航方法、装置、超声设备及存储介质 |
| CN115666397A (zh) * | 2020-05-01 | 2023-01-31 | 皮尔森莫有限公司 | 允许非熟练用户采集人体内部器官的超声图像的系统和方法 |
| CN112287872A (zh) * | 2020-11-12 | 2021-01-29 | 北京建筑大学 | 基于多任务神经网络的虹膜图像分割、定位和归一化方法 |
| CN112712528A (zh) * | 2020-12-24 | 2021-04-27 | 浙江工业大学 | 一种多尺度u型残差编码器与整体反向注意机制结合的肠道病灶分割方法 |
Non-Patent Citations (1)
| Title |
|---|
| Autonomous Scanning Target Localization for Robotic Lung Ultrasound Imaging;Xihan Ma , Ziming Zhang , Haichong K. Zhang;2021 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS);第9467-9474页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116158851A (zh) | 2023-05-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104154875B (zh) | 基于两轴旋转平台的三维数据获取系统及获取方法 | |
| CN116236222A (zh) | 医用远程超声扫描机器人的超声探头位姿定位系统及方法 | |
| CN113137920A (zh) | 一种水下测量的设备与水下测量方法 | |
| US7454048B2 (en) | Methods and systems for motion correction in an ultrasound volumetric data set | |
| CN113876426A (zh) | 一种与无影灯结合的术中定位跟踪系统及方法 | |
| CN104537707A (zh) | 像方型立体视觉在线移动实时测量系统 | |
| CN116158851B (zh) | 医用远程超声自动扫描机器人的扫描目标定位系统及方法 | |
| CN109801360B (zh) | 基于图像的胃肠三维重构和可视化方法 | |
| CN109807937A (zh) | 一种基于自然场景的机器人手眼标定方法 | |
| CN111127613A (zh) | 基于扫描电子显微镜的图像序列三维重构方法及系统 | |
| CN110060304B (zh) | 一种生物体三维信息采集方法 | |
| CN111524174A (zh) | 一种动平台动目标双目视觉三维构建方法 | |
| CN110599501B (zh) | 一种胃肠结构的真实尺度三维重建及可视化方法 | |
| CN116309829A (zh) | 一种基于多目视觉的长方体扫描体群解码和位姿测量方法 | |
| CN111145267B (zh) | 基于imu辅助的360度全景视图多相机标定方法 | |
| CN114184581B (zh) | 基于oct系统的图像优化方法、装置、电子设备及存储介质 | |
| CN115902925A (zh) | 一种拖体姿态自动识别方法 | |
| Miranda-Luna et al. | Mosaicing of medical video-endoscopic images: data quality improvement and algorithm testing | |
| CN113240751B (zh) | 一种机器人末端相机的标定方法 | |
| CN115661271A (zh) | 一种基于视觉的机器人核酸采样引导方法 | |
| CN114663513B (zh) | 一种操作仪工作端移动轨迹的实时位姿估计与评估方法 | |
| CN115861392B (zh) | 一种基于图像数据处理的软组织配准方法 | |
| CN114549648B (zh) | 一种基于高分遥感卫星立体影像rpc模型定位系统 | |
| CN118470099B (zh) | 基于单目相机的物体空间位姿测量方法及装置 | |
| CN118121307B (zh) | 基于手术机器人末端连接件的手眼标定方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |