CN111193830B - 一种基于智能手机的便携式增强现实医学图像观察辅助设备 - Google Patents
一种基于智能手机的便携式增强现实医学图像观察辅助设备 Download PDFInfo
- Publication number
- CN111193830B CN111193830B CN201911221301.6A CN201911221301A CN111193830B CN 111193830 B CN111193830 B CN 111193830B CN 201911221301 A CN201911221301 A CN 201911221301A CN 111193830 B CN111193830 B CN 111193830B
- Authority
- CN
- China
- Prior art keywords
- image
- information
- smart phone
- augmented reality
- processing module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
- H04M1/724—User interfaces specially adapted for cordless or mobile telephones
- H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
- H04M1/7243—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages
- H04M1/72439—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages for image or video messaging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
- H04M1/724—User interfaces specially adapted for cordless or mobile telephones
- H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
- H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
- H04M1/72412—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories using two-way short-range wireless interfaces
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Medical Informatics (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Public Health (AREA)
- Signal Processing (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Computer Graphics (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Computer Hardware Design (AREA)
- Databases & Information Systems (AREA)
- Multimedia (AREA)
- Pathology (AREA)
- Business, Economics & Management (AREA)
- Epidemiology (AREA)
- General Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开一种基于智能手机的便携式增强现实医学图像观察辅助设备,包括数据处理系统,用以将由病人的医学图像序列重建出的三维影像呈现在智能手机屏幕上,并根据相机获取的标记物信息实现实时配准;增强现实系统,用于通过光学结构将智能手机屏幕呈现出的图像源和现实环境中的现实物体同时呈现在人眼中,实现增强现实效果;由戴上增强现实眼镜的医生,根据所呈现的重建的三维模型信息以及外界环境信息进行诊断和手术辅助,并通过虚拟交互控制,对解剖结构、病灶信息进行查看。本发明能将智能手机屏幕呈现出的图像源和现实环境中物体与现实物体同时呈现在人眼中,实现增强现实效果。
Description
技术领域
本发明涉及医疗辅助设备技术领域,特别是涉及一种基于智能手机的便携式增强现实医学图像观察辅助设备。
背景技术
微创手术是通过微小创口实施手术的一种临床治疗方式,主要通过术前医学影像进行诊断以及术中内窥镜影像等辅助进行,这种方式直观性差,对医生经验要求高,精力消耗大;结合增强现实的图像导航系统可以为医生提供直观的生理解剖信息,便于医生快速进行诊断,并在术中提供辅助,现有的增强现实图像导航设备大多比较笨重或价格昂贵,对于在医生间推广使用造成了困难。
发明内容
本发明的目的是针对现有技术中存在的技术缺陷,而提供一种基于智能手机的便携式增强现实医学图像观察辅助设备。
为实现本发明的目的所采用的技术方案是:
一种基于智能手机的便携式增强现实医学图像观察辅助设备,包括:
数据处理系统,以及增强现实系统;
所述数据处理系统,用以将由病人的医学图像序列重建出的三维影像呈现在智能手机屏幕上,并根据相机获取的标记物信息实现实时配准;
所述增强现实系统,用于通过光学结构将智能手机通过屏幕呈现出的图像源和现实环境中的现实物体同时呈现在人眼中,实现增强现实效果;由戴上增强现实眼镜的医生,根据所呈现的重建的三维模型信息以及外界环境信息进行诊断和手术辅助,并通过虚拟交互控制,对解剖结构、病灶信息进行查看。
其中,所述增强现实系统包括相机、图像处理模块、智能手机和光学结构;所述相机与图像处理模块相连接,图像处理模块与智能手机相连接,智能手机置入光学结构中;
所述相机,获取外界环境影像信息,并将信息传递给图像处理模块;所述图像处理模块,将获取的图像进行处理得出标记物位姿信息,根据标记点信息将三维模型进行配准,生成配准后影像传递给智能手机;所述智能手机,接收图像数据处理后的画面呈现给光学结构;所述光学结构,使智能手机呈现出图像的虚像与现实环境影像能共同在人眼中成像,实现增强现实效果。
其中,所述数据处理系统包括存储模块、数据处理模块、图像处理模块;所述存储模块与数据处理模块相连接,数据处理模块与图像处理模块相连接;所述存储模块,用来保存患者CT图像重建出的三维模型信息,以及相机和光学结构的参数信息;所述数据处理模块,用以将存储模块和图像处理模块中的信息进行处理,并将处理后的数据传递给图像处理模块;
所述图像处理模块用以将由相机获取的图像信息进行处理并传递给数据处理模块,根据由数据处理模块处理后的信息生成影像信息,传递给增强现实系统。
其中,所述虚拟交互控制系统,通过识别标记物控制虚拟物体实现交互控制。
本发明中,所述基于智能手机的便携式增强现实医学图像观察辅助设备,其实现步骤如下:
步骤1:启动发布到智能手机上的应用程序,并将智能手机置入光学结构中;
步骤2:增强现实系统启动相机,获取外界环境信息以及标记点信息,并传递给图像处理模块;
步骤3:图像处理模块对图像信息进行处理,获取标记信息以及标记点信息并将其传递给数据处理系统;
步骤4:数据处理系统根据存储模块中的参数信息以及重建的三维模型信息进行计算配准,并将计算后的数据传递给图像处理模块;
步骤5:图像处理模块根据接收的数据生成影像并传递给增强现实系统的智能手机;
步骤6:光学结构将智能手机所呈现的画面和现实环境的影像同时传入人眼中,使人能眼同时看到屏幕画面的虚像和现实环境信息,实现增强现实效果;
步骤7:医生戴上增强现实眼镜,根据呈现的重建的三维模型信息以及外界环境信息进行诊断和手术辅助,并通过虚拟交互控制,对解剖结构、病灶信息进行查看。
本发明的增强现实眼镜通过光学结构将智能手机屏幕呈现出的图像源和现实环境中的物体与现实物体同时呈现在人眼中,实现增强现实效果;数据处理系统可将由病人的医学图像序列重建出的三维影像呈现在智能手机屏幕上,并根据相机获取的标记物信息实现实时配准;虚拟交互控制系统通过标记物实现虚拟交互控制,简单便携,便于医生快速诊断病情和辅助手术操作。
附图说明
图1所示为基于智能手机的便携式增强现实医学图像观察辅助设备实现流程框图。
图2为增强现实系统的光学结构与智能手机的配合示意图。
具体实施方式
以下结合附图和具体实施例对本发明作进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
本发明的基于智能手机的便携式增强现实医学图像观察辅助设备包括:增强现实系统,虚拟交互控制系统以及数据处理系统;
其中,所述的增强现实系统,用于通过光学结构将智能手机通过屏幕呈现出的图像源和现实环境中的现实物体同时呈现在人眼中,实现增强现实效果;由戴上增强现实眼镜的医生,根据所呈现的重建的三维模型信息以及外界环境信息进行诊断和手术辅助,并通过虚拟交互控制,对解剖结构、病灶信息进行查看。;
所述虚拟交互控制系统,用于通过识别标记物控制虚拟物体实现交互控制;
所述数据处理系统,用以将由病人的医学图像序列重建出的三维影像呈现在智能手机屏幕上,并根据相机获取的标记物信息实现实时配准。
其中,所述增强现实系统,包括相机、图像处理模块、智能手机和光学结构;
所述相机与图像数据处理模块相连接,图像数据处理模块与智能手机相连接,智能手机置入光学结构中;
所述相机,用于获取外界环境影像信息,并将信息传递给图像处理模块;
所述图像处理模块,用于将获取的图像进行处理得出标记物位姿信息,根据标记点信息将三维模型进行配准,得出配准后影像传递给智能手机;
所述智能手机,用于接收图像数据处理后的画面通过其显示屏幕显示后呈现给光学结构;
所述光学结构,用于接收智能手机呈现的画面,将接受的画面与外界环境场景叠加呈现在人眼中。
如图2所示,本发明中,所述光学结构,由反射镜30、菲涅尔透镜20和半透半反镜40构成,安装在光学结构的后端由端盖60固定的智能手机10呈现出图像的虚像经由光学结构调整位置后,与人眼透过半透半反镜看到的现实环境物体50的影像共同在人眼中成像实现增强现实效果。
其中,所述数据处理系统包括存储模块、数据处理模块、图像处理模块;
所述存储模块与数据处理模块相连接,数据处理模块与图像处理模块相连接;
所述存储模块,用来保存患者CT图像重建出的三维模型信息,以及相机和光学结构的参数信息;
所述数据处理模块,用以将存储模块和图像处理模块中的信息进行处理,并将处理后的数据传递给图像处理模块。
所述图像处理模块,用以将由相机获取的图像信息进行处理并传递给数据处理模块,根据由数据处理模块处理后的信息生成影像信息,传递给增强现实系统。
本发明的基于智能手机的便携式增强现实医学图像观察辅助设备,具体实现步骤如下:
步骤1:启动发布到智能手机上的应用程序,并将智能手机置入光学结构中;
步骤2:增强现实系统启动相机(单目视觉模块),获取外界环境信息以及标记点信息,并传递给图像处理模块;
步骤3:图像处理模块对图像信息进行处理,获取标记信息并将其传递给数据处理系统;
步骤4:数据处理系统根据存储模块中的参数信息以及重建的三维模型信息进行计算配准,并将计算后的数据传递给图像处理模块;
步骤5:图像处理模块根据接收的数据生成影像并传递给智能手机(显示模块);
步骤6:光学结构将智能手机(显示模块)呈现或显示的画面和现实环境信息同时传入人眼中实现增强现实效果;
步骤7:医生戴上增强现实眼镜,根据呈现的重建的三维模型信息以及外界环境信息进行诊断和手术辅助,并通过虚拟交互控制,对解剖结构、病灶信息等进行查看。
具体的,步骤6是,光学结构调节智能手机屏幕画面影像的虚像的位置,同时人眼透过半透半反镜观察到现实环境的影像,人眼同时看到屏幕画面的虚像和现实环境信息,从而实现增强现实效果。
本发明的增强现实系统通过光学结构,将智能手机屏幕呈现出的图像源和现实环境中的物体与现实物体同时呈现在人眼中,实现增强现实效果;数据处理系统可将由病人的医学图像序列重建出的三维影像呈现在智能手机屏幕上,并根据相机获取的标记物信息实现实时配准;虚拟交互控制系统通过标记物实现虚拟交互控制,从而便于医生快速诊断病情和辅助手术操作。
以上所述仅是本发明的优选实施方式,应当指出的是,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
Claims (2)
1.一种基于智能手机的便携式增强现实医学图像观察辅助设备,其特征在于,包括数据处理系统,虚拟交互控制系统以及增强现实系统;
所述数据处理系统,用以将由病人的医学图像序列重建出的三维影像呈现在智能手机屏幕上,并根据相机获取的标记物信息实现实时配准;
所述增强现实系统,用于通过光学结构将智能手机通过屏幕呈现出的图像源和现实环境中的现实物体同时呈现在人眼中,实现增强现实效果;由带上增强现实眼镜的医生,根据所呈现的重建的三维模型信息以及外界环境信息进行诊断和手术辅助,并通过虚拟交互控制,对解剖结构、病灶信息进行查看;
所述增强现实系统包括相机、图像处理模块、智能手机和光学结构;所述相机与图像处理模块相连接,图像处理模块与智能手机相连接,智能手机置入光学结构中,所述光学结构由反射镜、菲涅尔透镜和半透半反镜构成,所述反射镜与半透半反镜一上一下相对布置,所述菲涅尔透镜呈倾斜状布置于所述反射镜与半透半反镜之间,所述智能手机安装在光学结构的后端由端盖固定;
所述相机,获取外界环境影像信息,并将信息传递给图像处理模块;所述图像处理模块,将获取的图像进行处理得出标记物位姿信息,根据标记点信息将三维模型进行配准,生成配准后影像传递给智能手机;所述智能手机,接收图像数据处理后的画面呈现给光学结构;所述光学结构,使智能手机呈现出图像的虚像与现实环境影像能共同在人眼中成像,实现增强现实效果;
所述数据处理系统包括存储模块、数据处理模块、图像处理模块;所述存储模块与数据处理模块相连接,数据处理模块与图像处理模块相连接;所述存储模块,用来保存患者CT图像重建出的三维模型信息,以及相机和光学结构的参数信息;所述数据处理模块,用以将存储模块和图像处理模块中的信息进行处理,并将处理后的数据传递给图像处理模块;
所述图像处理模块用以将由相机获取的图像信息进行处理并传递给数据处理模块,根据由数据处理模块处理后的信息生成影像信息,传递给增强现实系统;
所述虚拟交互控制系统,通过识别标记物控制虚拟物体实现交互控制。
2.根据权利要求1所述基于智能手机的便携式增强现实医学图像观察辅助设备,其特征在于,其实现步骤如下:
步骤1:启动发布到智能手机上的应用程序,并将智能手机置入光学结构中;
步骤2:增强现实系统启动相机,获取外界环境信息以及标记点信息,并传递给图像处理模块;
步骤3:图像处理模块对图像信息进行处理,获取标记信息以及标记点信息并将其传递给数据处理系统;
步骤4:数据处理系统根据存储模块中的参数信息以及重建的三维 模型信息进行计算配准,并将计算后的数据传递给图像处理模块;
步骤5:图像处理模块根据接收的数据生成影像并传递给增强现实系统的智能手机;
步骤6:光学结构将智能手机所呈现的画面和现实环境的影像同时传入人眼中,使人眼能 同时看到屏幕画面的虚像和现实环境信息,实现增强现实效果;
步骤7:医生带上增强现实眼镜,根据呈现的重建的三维模型信息以及外界环境信息进行诊断和手术辅助,并通过虚拟交互控制,对解剖结构、病灶信息进行查看。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911221301.6A CN111193830B (zh) | 2019-12-03 | 2019-12-03 | 一种基于智能手机的便携式增强现实医学图像观察辅助设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911221301.6A CN111193830B (zh) | 2019-12-03 | 2019-12-03 | 一种基于智能手机的便携式增强现实医学图像观察辅助设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111193830A CN111193830A (zh) | 2020-05-22 |
CN111193830B true CN111193830B (zh) | 2021-06-25 |
Family
ID=70710767
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911221301.6A Active CN111193830B (zh) | 2019-12-03 | 2019-12-03 | 一种基于智能手机的便携式增强现实医学图像观察辅助设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111193830B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022036480A1 (zh) * | 2020-08-17 | 2022-02-24 | 江苏瑞科科技有限公司 | 一种基于边缘计算的便携式增强现实辅助复杂装配设备 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108888341A (zh) * | 2018-04-26 | 2018-11-27 | 上海交通大学 | 一种增强现实头盔显示器位置实时跟踪的标定方法 |
CN109925057A (zh) * | 2019-04-29 | 2019-06-25 | 苏州大学 | 一种基于增强现实的脊柱微创手术导航方法及系统 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10154239B2 (en) * | 2014-12-30 | 2018-12-11 | Onpoint Medical, Inc. | Image-guided surgery with surface reconstruction and augmented reality visualization |
CN206431875U (zh) * | 2016-04-29 | 2017-08-22 | 吉林医药学院 | 基于增强现实的医学解剖辅助教学系统 |
CN208031283U (zh) * | 2017-03-29 | 2018-11-02 | 上海霖晏医疗科技有限公司 | 一种手术导航系统 |
CN107291225A (zh) * | 2017-06-11 | 2017-10-24 | 王天龙 | 一种基于手机的头戴式虚拟现实/增强现实装置 |
CN107536643A (zh) * | 2017-08-18 | 2018-01-05 | 北京航空航天大学 | 一种前交叉韧带重建的增强现实手术导航系统 |
CN109035414A (zh) * | 2018-06-20 | 2018-12-18 | 深圳大学 | 增强现实手术图像的生成方法、装置、设备及存储介质 |
CN109758230B (zh) * | 2019-02-26 | 2021-04-13 | 中国电子科技集团公司信息科学研究院 | 一种基于增强现实技术的神经外科手术导航方法和系统 |
-
2019
- 2019-12-03 CN CN201911221301.6A patent/CN111193830B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108888341A (zh) * | 2018-04-26 | 2018-11-27 | 上海交通大学 | 一种增强现实头盔显示器位置实时跟踪的标定方法 |
CN109925057A (zh) * | 2019-04-29 | 2019-06-25 | 苏州大学 | 一种基于增强现实的脊柱微创手术导航方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN111193830A (zh) | 2020-05-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9898662B2 (en) | Information processing apparatus, information processing method, and information processing system | |
RU2740259C2 (ru) | Позиционирование датчика ультразвуковой визуализации | |
KR101647467B1 (ko) | 증강현실을 이용한 외과 수술용 3d 안경 시스템 | |
US7774044B2 (en) | System and method for augmented reality navigation in a medical intervention procedure | |
US10073515B2 (en) | Surgical navigation system and method | |
CN109270688B (zh) | 头部佩戴型显示装置以及头部佩戴型显示装置的控制方法 | |
US8504136B1 (en) | See-through abdomen display for minimally invasive surgery | |
US12062430B2 (en) | Surgery visualization theatre | |
CN109925057A (zh) | 一种基于增强现实的脊柱微创手术导航方法及系统 | |
CN109758230A (zh) | 一种基于增强现实技术的神经外科手术导航方法和系统 | |
TW201505603A (zh) | 資訊處理裝置、資訊處理方法及資訊處理系統 | |
CN110708533B (zh) | 基于增强现实的视觉辅助方法及智能穿戴设备 | |
CN111297501B (zh) | 一种口腔种植手术增强现实导航方法和系统 | |
US11094283B2 (en) | Head-wearable presentation apparatus, method for operating the same, and medical-optical observation system | |
CN107049210B (zh) | 一种基于增强现实的腔镜显示控制系统 | |
CN110638525B (zh) | 整合扩增实境的手术导航系统 | |
US11200713B2 (en) | Systems and methods for enhancing vision | |
CN111193830B (zh) | 一种基于智能手机的便携式增强现实医学图像观察辅助设备 | |
CN116172493A (zh) | 用于内窥镜系统的成像及显示方法和内窥镜系统 | |
CN108170259A (zh) | 医疗系统辅助处理设备、医疗系统及辅助处理方法 | |
CN104679226B (zh) | 非接触式医疗控制系统、方法及医疗设备 | |
CN109710073A (zh) | 一种vr医用手术教学头盔 | |
CN111053598A (zh) | 一种基于投影仪的增强现实系统平台 | |
JP2017189498A (ja) | 医療用ヘッドマウントディスプレイ、医療用ヘッドマウントディスプレイのプログラムおよび医療用ヘッドマウントディスプレイの制御方法 | |
CN110226974A (zh) | 一种基于增强现实的近红外荧光成像系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |