KR20230169103A - 수술용 로봇 시스템의 카메라 어셈블리의 자동 초점 조정을 위한 시스템 및 방법 - Google Patents
수술용 로봇 시스템의 카메라 어셈블리의 자동 초점 조정을 위한 시스템 및 방법 Download PDFInfo
- Publication number
- KR20230169103A KR20230169103A KR1020237032707A KR20237032707A KR20230169103A KR 20230169103 A KR20230169103 A KR 20230169103A KR 1020237032707 A KR1020237032707 A KR 1020237032707A KR 20237032707 A KR20237032707 A KR 20237032707A KR 20230169103 A KR20230169103 A KR 20230169103A
- Authority
- KR
- South Korea
- Prior art keywords
- robotic
- camera
- end effector
- focus
- surgical
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 44
- 239000012636 effector Substances 0.000 claims abstract description 74
- 210000002310 elbow joint Anatomy 0.000 claims description 14
- 210000001503 joint Anatomy 0.000 claims description 10
- 230000004044 response Effects 0.000 claims description 7
- 230000007423 decrease Effects 0.000 claims description 6
- 210000003857 wrist joint Anatomy 0.000 claims description 5
- 230000004886 head movement Effects 0.000 claims description 4
- 210000000323 shoulder joint Anatomy 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 16
- 238000012545 processing Methods 0.000 description 11
- 210000003128 head Anatomy 0.000 description 10
- 230000008859 change Effects 0.000 description 9
- 210000003811 finger Anatomy 0.000 description 9
- 230000008569 process Effects 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 230000000712 assembly Effects 0.000 description 6
- 238000000429 assembly Methods 0.000 description 6
- 238000000691 measurement method Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 238000009877 rendering Methods 0.000 description 6
- 238000001356 surgical procedure Methods 0.000 description 6
- 238000005259 measurement Methods 0.000 description 5
- 239000000047 product Substances 0.000 description 5
- 210000000707 wrist Anatomy 0.000 description 5
- 230000005355 Hall effect Effects 0.000 description 4
- 239000013598 vector Substances 0.000 description 4
- 210000003815 abdominal wall Anatomy 0.000 description 3
- 230000001276 controlling effect Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 208000027418 Wounds and injury Diseases 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 230000006378 damage Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 210000004247 hand Anatomy 0.000 description 2
- 208000014674 injury Diseases 0.000 description 2
- 238000002357 laparoscopic surgery Methods 0.000 description 2
- 238000002324 minimally invasive surgery Methods 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 210000003813 thumb Anatomy 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 101150049278 US20 gene Proteins 0.000 description 1
- 210000000683 abdominal cavity Anatomy 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000000875 corresponding effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 210000001513 elbow Anatomy 0.000 description 1
- 210000005224 forefinger Anatomy 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003278 mimic effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000004393 prognosis Methods 0.000 description 1
- 238000002432 robotic surgery Methods 0.000 description 1
- 210000002832 shoulder Anatomy 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000000153 supplemental effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/958—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging
- H04N23/959—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging by adjusting depth of field during image capture, e.g. maximising or setting range based on scene characteristics
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/361—Image-producing devices, e.g. surgical cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/296—Synchronisation thereof; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2048—Tracking techniques using an accelerometer or inertia sensor
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2055—Optical tracking systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
- A61B2034/302—Surgical robots specifically adapted for manipulations within body cavities, e.g. within abdominal or thoracic cavities
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/06—Measuring instruments not otherwise provided for
- A61B2090/061—Measuring instruments not otherwise provided for for measuring dimensions, e.g. length
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B2090/364—Correlation of different images or relation of image positions in respect to the body
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/37—Surgical systems with images on a monitor during operation
- A61B2090/371—Surgical systems with images on a monitor during operation with simultaneous use of two cameras
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Surgery (AREA)
- Life Sciences & Earth Sciences (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Animal Behavior & Ethology (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Heart & Thoracic Surgery (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Robotics (AREA)
- Pathology (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Mechanical Engineering (AREA)
- Theoretical Computer Science (AREA)
- Computing Systems (AREA)
- Manipulator (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
수술용 로봇 시스템은 센서 유닛, 제어기, 및 로봇 서브시스템을 포함한다. 로봇 서브시스템은 센서 유닛 및 제어기와 통신한다. 또한, 로봇 서브시스템은, 각각 이의 원위 단부에 엔드 이펙터를 갖는 복수의 로봇 팔을 포함한다. 로봇 서브시스템은 또한, 적어도 2개의 카메라 및 각각의 카메라 렌즈의 초점을 자동으로 맞추는 자동 초점 유닛을 갖는 카메라 어셈블리를 포함한다.
Description
관련 출원(들)에 대한 상호 참조
본 개시는 2021년 2월 24일에 출원된 미국 특허 가출원 제63/153,128호, 및 2021년 4월 19일에 출원된 미국 특허 가출원 제63/176,634호에 대한 우선권을 주장하며, 그 전체 내용은 참조로서 본원에 통합된다.
본 개시는 최소 외과 수술 장치 및 관련 방법에 관한 것으로, 보다 구체적으로는 안에서 선택된 수술을 수행하기 위해 환자 내에 삽입될 수 있는 로봇 수술 시스템에 관한 것이다.
1990년대 초에 시작된 이래, 최소 외과 수술 분야는 급속하게 성장해 왔다. 최소 외과 수술은 환자의 예후를 크게 개선하지만, 이러한 개선은 외과 의사의 정밀하고 쉬운 수술 능력에 대한 비용 부담이다. 복강경 검사 동안, 외과 의사는 환자의 복벽에 작은 절개를 통해 복강경 기구를 삽입해야 한다. 복벽을 통한 도구 삽입의 특성은 복강경 기구가 복벽에 대한 손상 없이는 좌우로 움직일 수 없기 때문에 복강경 기구의 움직임을 제한한다. 표준 복강경 기구는 4축 움직임으로 제한된다. 이들 4축 움직임은 투관침 내외로의 기구의 이동(축 1), 투관침 내 기구의 회전(축 2), 및 투관침의 복강 내로의 진입의 피봇점을 유지하면서 2개의 평면에서 투관침의 각 이동(축 3 및 4)이다. 20년이 넘는 시간 동안, 최소 외과 수술의 대부분은 이러한 4가지 정도의 이동만으로 수행되었다.
기존의 로봇 수술 장치는 이러한 많은 문제를 해결하려고 시도하였다. 일부 기존의 로봇 수술 장치는 기구의 단부에서 추가적인 자유도가 있는 비-로봇 복강경 수술을 복제한다. 그러나, 수술 절차에 대한 많은 고가의 변경에도 불구하고, 기존의 로봇 수술 장치는 이들이 사용되는 절차의 대부분에서 개선된 환자 결과를 제공하지 못했다. 또한, 기존의 로봇 장치는 외과 의사와 수술 엔드 이펙터 사이에 분리를 증가시킨다. 이렇게 분리가 증가하면 로봇 장치에 의해 가해진 힘과 움직임에 대한 외과 의사의 오해로 인한 부상을 야기한다. 많은 기존의 로봇 장치의 자유도가 인간 작동자에게 익숙하지 않기 때문에, 외과 의사는 부주의한 부상을 일으킬 가능성을 최소화하기 위해 환자를 수술하기 전에 로봇 시뮬레이터 상에서 광범위하게 훈련해야 한다.
통상적인 로봇 시스템은 하나 이상의 로봇 팔 및 하나 이상의 연관된 카메라를 포함한다. 기존의 로봇 시스템을 제어하기 위해, 외과 의사는 콘솔에 앉아 자신의 손과 발로 조작기를 제어해 카메라와 로봇 팔을 제어한다. 또한, 카메라는 반고정 위치에 유지될 수 있고, 외과 의사로부터의 발과 손이 합쳐진 움직임에 의해 이동된다. 제한된 시야를 갖는 이들 반고정 카메라는 수술 영역을 시각화하는 것을 어렵게 한다.
종래의 수술용 로봇 시스템에서, 의도된 수술 부위에 카메라의 초점을 맞추는 다수의 방법이 있다. 전형적으로 그리고 통상적으로, 외과 의사는 수동 다이얼을 사용하거나 카메라의 이미지 센서로부터 수신된 이미지 데이터에만 기초한 시스템의 자동 초점 특징에 기초하여 초점을 조정할 필요가 있다. 의료 분야의 전형적인 자동 초점 메커니즘은 또한 위상 검출 자동 초점, 전파 시간(광 반사), 또는 일부 다른 광 기반 추정 방법을 사용할 수 있다.
이러한 종래의 유형의 시스템의 단점은 외과 의사가 수술 절차를 일시 중지하고 카메라의 초점을 수동으로 변경하도록 요구한다는 것이다. 이는 수술 절차 동안 외과 의사에게 방해를 야기한다. 자동 초점 기술을 사용하는 시스템에서, 카메라의 초점 또는 시야는 종종 외과 의사가 볼 필요가 있는 수술 부위의 실제 부분을 정렬하거나 덮지 않으며 더 큰 심도를 필요로 한다. 더 큰 심도를 사용하는 종래의 카메라는 더 많은 광을 필요로 하므로 총 해상도가 떨어진다.
본 개시의 로봇 수술 시스템에서, 시스템은 카메라 어셈블리의 카메라의 위치 및 로봇 팔의 그래스퍼 또는 엔드 이펙터의 위치를 사용하여 카메라의 시야 및 초점 길이 또는 지점을 결정한다. 카메라에 대한 엔드 이펙터의 위치 정보를 사용함으로써, 본 개시의 시스템은 카메라의 초점 길이 및 초점을 결정하는 동시에, 카메라로부터의 이미지 데이터에만 의존할 필요 없이, 중요하거나 외과 의사가 보고자 하는 수술 부위의 일부를 외과 의사가 볼 수 있게 할 수 있다. 따라서, 시스템은 더 적은 거짓 양성을 갖는 더 정확한 초점을 가지며, 또한 원하는 시야를 지속적으로 초점을 유지할 수 있는 능력을 갖는다.
일 실시예에 따라, 본 개시는 센서 유닛, 제어기, 및 로봇 서브시스템을 포함하는 수술용 로봇 시스템을 제공한다. 로봇 서브시스템은 센서 유닛 및 제어기와 통신한다. 또한, 로봇 서브시스템은, 각각 원위 단부에 엔드 이펙터를 갖는, 복수의 로봇 팔 및, 적어도 2개의 카메라와 적어도 2개의 카메라 각각의 렌즈의 초점을 자동으로 맞추도록 구성된 자동 초점 유닛을 갖는, 카메라 어셈블리를 포함한다. 제어기는 센서 유닛으로부터 수신되는 카메라 및 로봇 팔의 진술 정보에 기초하여 원하는 초점 거리를 계산하도록 구성될 수 있다. 이에 응답하여, 자동 초점 유닛은 원하는 초점 거리에 기초하여 적어도 2개의 카메라 각각의 렌즈의 초점을 자동으로 맞추도록 구성될 수 있다.
상태 정보는 각각의 카메라로부터 외과 의사의 시야 내에 있는 로봇 팔의 각각의 엔드 이펙터까지의 거리를 포함할 수 있다. 또한, 상태 정보는 각각의 카메라 및 각각의 엔드 이펙터의 위치 정보 및 배향 정보를 포함할 수 있다. 계산된 원하는 초점 거리에 기초하여, 제어기는 특정 초점 심도에 따라 초점 명령을 결정하고 상기 초점 명령을 자동 초점 유닛에 송신하도록 구성될 수 있다. 이에 응답하여, 자동 초점 유닛은 각각의 카메라의 물리적 초점 거리를 조정하여 각각의 카메라 렌즈의 초점을 맞추도록 구성될 수 있다.
또한, 제어기는 초점 데이터의 급격한 변화를 줄이기 위해 원하는 초점 거리를 필터링하도록 구성될 수 있다. 필터링에 사용되는 필터의 강도는 외과 의사의 머리 움직임의 크기에 기초하여 달라질 수 있다. 상이한 원하는 초점 거리도 각각의 카메라에 대해 계산될 수 있다. 원하는 초점 거리는 가중 알고리즘을 사용하여 추가로 계산될 수 있다. 각각의 로봇 팔은 가중 알고리즘에서 상이하게 가중될 수 있다. 각각의 로봇 팔의 가중은 시스템 파라미터에 기초한 기능이다.
특히, 각각의 로봇 팔은 복수의 조인트를 포함할 수 있다. 이들 조인트는 어깨 조인트, 팔꿈치 조인트, 및 손목 조인트를 포함할 수 있다. 따라서, 시스템 파라미터는 각각의 카메라의 시야에서 각각의 엔드 이펙터의 중심으로부터의 거리, 각각의 엔드 이펙터의 상태, 및 팔꿈치 조인트의 위치를 포함할 수 있다. 일 실시예에서, 초점 조정 속도는 각각의 엔드 이펙터가 타깃 위치로부터 외측으로 이동함에 따라 증가될 수 있고, 각각의 엔드 이펙터가 타깃 위치를 향해 이동함에 따라 감소될 수 있다.
다른 실시예에 따라, 본 개시는, 각각 원위 단부에 엔드 이펙터를 갖는 복수의 로봇 팔 및 카메라 어셈블리를 포함하는 로봇 서브시스템을 제공한다. 카메라 어셈블리는 적어도 2개의 카메라, 제어기, 및 각각의 카메라 렌즈의 초점을 자동으로 맞추도록 구성된 자동 초점 유닛을 포함할 수 있다. 제어기는 센서 유닛으로부터 수신된 적어도 2개의 카메라 및 복수의 로봇 팔의 상태 정보에 기초하여 원하는 초점 거리를 계산하도록 구성될 수 있다. 이에 응답하여, 자동 초점 유닛은 원하는 초점 거리에 기초하여 적어도 2개의 카메라 각각의 렌즈의 초점을 자동으로 맞추도록 구성될 수 있다.
초점 조정 속도는 로봇 팔이 타깃 위치로부터 외측으로 이동할 때 증가되고, 로봇 팔이 타깃 위치를 향해 내측으로 이동할 때 감소된다. 또한, 상태 정보는, 외과 의사의 시야 내에 있는 복수의 로봇 팔의 각각의 카메라로부터 각각의 엔드 이펙터까지의 거리 및 적어도 2개의 카메라 및 복수의 로봇 팔의 각각의 엔드 이펙터의 위치 및 배향 정보 중 적어도 하나를 포함한다.
본 개시의 이들 및 다른 특징 및 장점은, 유사한 참조 번호가 상이한 도면 전체에 걸쳐 유사한 요소를 지칭하는 첨부된 도면과 관련하여 다음의 상세한 설명을 참조하여 보다 완전하게 이해될 것이다. 도면은 본 개시의 원리를 도시하며, 축척에 비례하지는 않지만, 상대적인 치수를 도시한다.
도 1은 본 개시의 수술용 로봇 시스템의 개략도이다.
도 2는 본 개시의 교시에 따른 도 1의 수술용 로봇 시스템의 카메라 어셈블리의 개략도이다.
도 3은 본 개시의 교시에 따른 도 1의 로봇 서브시스템의 개략도이다.
도 4는 본 개시의 시스템에 의해 사용되는 가중 알고리즘 유닛에 의한 시스템 상태 데이터의 처리를 도시하는 개략도이다.
도 5a 및 도 5b는 본 개시의 제2 실시예에 따른 수술용 로봇 시스템에 의해 사용되는 가중 알고리즘 유닛에 의한 시스템 상태 데이터의 처리를 도시하는 개략도이다.
도 6a는 본 개시의 교시에 따라 수술용 로봇 시스템에 의해 사용되는 초점 거리 계산기 유닛에 의한 시스템 상태 데이터의 처리를 도시하는 개략도이다.
도 6b는 본 개시의 교시에 따라 수술용 로봇 시스템에 의해 사용되는 초점 거리 계산기 유닛의 제2 실시예에 의한 시스템 상태 데이터의 처리를 도시하는 개략도이다.
도 6c는 본 개시의 교시에 따라 수술용 로봇 시스템에 의해 사용되는 초점 거리 계산기 유닛의 제3 실시예에 의한 시스템 상태 데이터의 처리를 도시하는 개략도이다.
도 7은 본 개시의 교시에 따른 수술용 로봇 시스템에 의해 사용되는 카메라 어셈블리 유닛의 시야의 개략도이다.
도 8은 본 개시의 수술용 로봇 시스템에 의해 사용되는 가중치 그래프의 그래픽 표현이다.
도 9는 본 개시의 수술용 로봇 시스템에 의해 사용되는 가중치 그래프의 제2 실시예의 그래픽 표현이다.
도 10a 내지 도 10c는 본 개시의 교시에 따른 제한된 초점 조정을 위한 카메라 어셈블리 유닛의 시야의 개략도이다.
도 11은 본 개시의 교시에 따라 수술용 로봇 시스템에 의해 사용되는 초점 거리 계산기 유닛의 제4 실시예에 의한 시스템 상태 데이터의 처리를 도시하는 개략도이다.
도 12는 본 개시의 교시에 따라 카메라 어셈블리의 카메라의 초점을 자동으로 맞추는 방법을 도시하는 개략적인 흐름도이다.
도 13 및 도 14는 모터 및 조인트 데이터와 같은 시스템 상태 데이터의 처리를 도시하고, 본 개시의 수술용 로봇 시스템에 의해 사용되는 순방향 운동학 유닛에 의해 처리되는 개략도이다.
도 15는 본 개시의 수술용 로봇 시스템의 제어기에 의해 사전 저장되고 이용될 수 있는 예시적인 초점 곡선이다.
도 16은 서로 중첩된 상이한 거리에서 다수의 타깃을 갖는 예시적인 초점 곡선이다.
도 1은 본 개시의 수술용 로봇 시스템의 개략도이다.
도 2는 본 개시의 교시에 따른 도 1의 수술용 로봇 시스템의 카메라 어셈블리의 개략도이다.
도 3은 본 개시의 교시에 따른 도 1의 로봇 서브시스템의 개략도이다.
도 4는 본 개시의 시스템에 의해 사용되는 가중 알고리즘 유닛에 의한 시스템 상태 데이터의 처리를 도시하는 개략도이다.
도 5a 및 도 5b는 본 개시의 제2 실시예에 따른 수술용 로봇 시스템에 의해 사용되는 가중 알고리즘 유닛에 의한 시스템 상태 데이터의 처리를 도시하는 개략도이다.
도 6a는 본 개시의 교시에 따라 수술용 로봇 시스템에 의해 사용되는 초점 거리 계산기 유닛에 의한 시스템 상태 데이터의 처리를 도시하는 개략도이다.
도 6b는 본 개시의 교시에 따라 수술용 로봇 시스템에 의해 사용되는 초점 거리 계산기 유닛의 제2 실시예에 의한 시스템 상태 데이터의 처리를 도시하는 개략도이다.
도 6c는 본 개시의 교시에 따라 수술용 로봇 시스템에 의해 사용되는 초점 거리 계산기 유닛의 제3 실시예에 의한 시스템 상태 데이터의 처리를 도시하는 개략도이다.
도 7은 본 개시의 교시에 따른 수술용 로봇 시스템에 의해 사용되는 카메라 어셈블리 유닛의 시야의 개략도이다.
도 8은 본 개시의 수술용 로봇 시스템에 의해 사용되는 가중치 그래프의 그래픽 표현이다.
도 9는 본 개시의 수술용 로봇 시스템에 의해 사용되는 가중치 그래프의 제2 실시예의 그래픽 표현이다.
도 10a 내지 도 10c는 본 개시의 교시에 따른 제한된 초점 조정을 위한 카메라 어셈블리 유닛의 시야의 개략도이다.
도 11은 본 개시의 교시에 따라 수술용 로봇 시스템에 의해 사용되는 초점 거리 계산기 유닛의 제4 실시예에 의한 시스템 상태 데이터의 처리를 도시하는 개략도이다.
도 12는 본 개시의 교시에 따라 카메라 어셈블리의 카메라의 초점을 자동으로 맞추는 방법을 도시하는 개략적인 흐름도이다.
도 13 및 도 14는 모터 및 조인트 데이터와 같은 시스템 상태 데이터의 처리를 도시하고, 본 개시의 수술용 로봇 시스템에 의해 사용되는 순방향 운동학 유닛에 의해 처리되는 개략도이다.
도 15는 본 개시의 수술용 로봇 시스템의 제어기에 의해 사전 저장되고 이용될 수 있는 예시적인 초점 곡선이다.
도 16은 서로 중첩된 상이한 거리에서 다수의 타깃을 갖는 예시적인 초점 곡선이다.
다음의 설명에서, 개시된 주제의 철저한 이해를 제공하기 위해, 본 개시의 시스템과 방법, 및 상기 시스템과 방법이 작동할 수 있는 환경에 관한 수많은 구체적인 세부 사항이 개시된다. 그러나, 개시된 주제가 이러한 특정 세부 사항 없이 실시될 수 있고, 당업계에 잘 알려진 특정 특징은, 복잡함을 피하고 개시된 주제의 명확성을 향상시키기 위해 상세히 설명되지 않는다는 것이 당업자에게 명백할 것이다. 또한, 아래에 제공된 임의의 실시예는 단지 예시적인 것이며 제한적인 방식으로 해석되어서는 안 되며, 다른 시스템, 장치, 및/또는 방법이 본 개시의 교시를 구현하거나 보완하기 위해 사용될 수 있고 본 개시의 범위 내에 있는 것으로 간주된다는 것이 본 발명자에 의해 고려된다는 것을 이해할 것이다.
예시적인 실시예가 예시적인 프로세스를 수행하기 위해 복수의 유닛을 사용하는 것으로 설명되지만, 예시적인 프로세스는 또한 하나 이상의 모듈에 의해 수행될 수 있음을 이해할 것이다. 또한, 용어 "제어기/제어 유닛"은 메모리 및 프로세서를 포함하고 구체적으로 본원에 설명된 프로세스를 실행하도록 프로그래밍되는 하드웨어 장치를 지칭하는 것으로 이해된다. 메모리는 모듈을 저장하도록 구성되고, 프로세서는 이하에서 추가로 설명되는 하나 이상의 프로세스를 수행하기 위해 상기 모듈을 실행하도록 구체적으로 구성된다.
또한, 본 개시의 제어 로직은 프로세서, 제어기/제어 유닛 등에 의해 실행되는 실행 가능한 프로그램 명령어를 포함하는 컴퓨터 판독가능 매체 상에 비일시적 컴퓨터 판독가능 매체로서 구현될 수 있다. 컴퓨터 판독가능 매체의 예는 ROM, RAM, 콤팩트 디스크(CD)-ROM, 자기 테이프, 플로피 디스크, 플래시 드라이브, 스마트 카드 및 광학 데이터 저장 장치를 포함하지만, 이에 한정되지 않는다. 컴퓨터 판독가능 기록 매체는 또한, 컴퓨터 판독가능 매체가 분산 방식으로(예: 텔레매틱스 서버 또는 제어기 영역 네트워크(CAN)에 의해) 저장되고 실행되도록, 네트워크 결합된 컴퓨터 시스템에 분산될 수 있다.
본원에서 사용되는 용어는 단지 특정 실시예를 설명하기 위한 것이며, 본 개시를 제한하려는 것이 아니다. 본원에서 사용되는 바와 같이, 단수 형태 "a", "an" 및 "the"는 문맥이 달리 명확하게 나타내지 않는 한, 복수 형태도 포함하도록 의도된다. 본 명세서에서 사용될 때, 용어 "포함하는" 및/또는 "포함하는"은 언급된 특징, 정수, 단계, 작동, 요소 및/또는 구성요소의 존재를 명시하지만, 하나 이상의 다른 특징, 정수, 단계, 작동, 요소, 구성요소 및/또는 이의 그룹의 존재 또는 추가를 배제하지 않음을 추가로 이해할 것이다. 본원에서 사용되는 바와 같이, 용어 "및/또는"은 연관된 열거된 항목 중 하나 이상의 임의의 및 모든 조합을 포함한다.
문맥으로부터 구체적으로 언급되거나 명백하지 않는 한, 본원에서 사용되는 바와 같이, 용어 "약"은 당업계에서 정상적인 허용 오차의 범위 내에, 예를 들어 평균의 2개의 표준 편차 내에 있는 것으로 이해된다. "약"은 언급된 값의 10%, 9%, 8%, 7%, 6%, 5%, 4%, 3%, 2%, 1%, 0.5%, 0.1%, 0.05%, 또는 0.01% 이내로 이해될 수 있다. 문맥으로부터 달리 명백하지 않는 한, 본원에 제공된 모든 수치 값은 용어 "약"에 의해 변형된다.
본 개시의 시스템 및 방법은 가상 현실 수술 시스템의 일부로서 사용되는 하나 이상의 수술용 로봇 시스템과 함께 사용하도록 설계될 수 있지만, 본 개시의 로봇 시스템은, 예를 들어 로봇 수술 시스템, 직선-스틱형 수술 시스템, 및 복강경 시스템을 포함하는 임의의 유형의 수술 시스템과 관련하여 사용될 수 있다. 또한, 본 개시의 시스템은 다른 비수술 시스템에 사용될 수 있으며, 여기서 사용자는, 디바이스 또는 장치를 제어하면서, 무수한 정보에 대한 액세스를 필요로 한다.
본원에 개시된 시스템 및 방법은, 예를 들어 미국 특허 제10,285,765호 및 PCT 특허 출원 번호 PCT/US2020/39203에 개시된 로봇 수술 장치 및 관련 시스템과, 및/또는 미국 특허 출원 공개 번호 2019/0076199에 개시된 카메라 시스템과 통합되고 사용될 수 있으며, 여기서 전술한 특허, 출원 및 공개 모두의 내용 및 교시는 참조로서 본원에 통합된다. 본 개시의 일부를 형성하는 수술용 로봇 시스템은 사용자 워크스테이션, 로봇 지지 시스템(RSS), 모터 유닛, 및 하나 이상의 로봇 팔 및 하나 이상의 카메라 어셈블리를 포함하는 이식 가능한 수술용 로봇 서브시스템을 갖는 수술 시스템을 포함한다. 이식 가능한 로봇 팔 및 카메라 어셈블리는 단일 지지축 로봇 시스템의 일부를 형성할 수 있거나 분할 팔 아키텍처 로봇 시스템의 일부를 형성할 수 있다.
로봇 팔은, 인간과 같은 동작을 제공하기 위해 예를 들어 도 3에 도시된 바와 같이, 사용자의 어깨, 팔꿈치, 손목 및 손가락과 연관된 움직임과 연관될 수 있는 조인트 부분 또는 영역을 가질 수 있다. 예를 들어, 로봇 팔꿈치 조인트는 인간 팔꿈치의 위치와 배향을 따를 수 있고, 로봇 손목 조인트는 인간 손목의 위치와 배향을 따를 수 있다. 로봇 팔은 또한, 예를 들어 사용자가 검지 손가락과 엄지 손가락을 함께 꼬집을 때 검지 손가락과 같은, 사용자의 하나 이상의 손가락의 이동을 따르는 엔드 이펙터 또는 집게에서 종료할 수 있는 연관된 단부 영역을 가질 수 있다. 로봇의 팔이 사용자의 팔의 움직임을 따르는 동안, 로봇 어깨는 제자리에 고정될 수 있다. 일 실시예에서, 사용자의 몸통의 위치 및 배향은 사용자 팔의 위치 및 배향으로부터 차감된다. 이러한 감산을 통해 사용자는 로봇 팔을 움직이지 않고도 자신의 몸통을 움직일 수 있다.
도 1은 본 개시의 교시에 따른 수술용 로봇 시스템(10)의 개략적인 블록도 설명이다. 시스템(10)은 디스플레이 장치 또는 유닛(12), 가상 현실(VR) 컴퓨팅 유닛(14), 감지 및 추적 유닛(16), 컴퓨팅 유닛(18), 및 로봇 서브시스템(20)을 포함한다. 디스플레이 유닛(12)은 VR 컴퓨팅 유닛(14), 컴퓨팅 유닛(18) 및/또는 로봇 서브시스템(20)에 의해 생성된 정보, 이미지 또는 비디오를 디스플레이하기 위한 임의의 선택된 디스플레이 유형일 수 있다. 디스플레이 유닛(12)은, 예를 들어, 머리 장착형 디스플레이(HMD), 스크린 또는 디스플레이, 3차원(3D) 스크린 등을 포함하거나 그 일부를 형성할 수 있다. 디스플레이 유닛은 또한, 예컨대 상업적으로 이용 가능한 머리 장착형 디스플레이에서 찾을 수 있는, 선택적인 센서 및 추적 유닛(16A)을 포함할 수 있다. 감지 및 추적 유닛(16 및 16A)은, 예를 들어 간호사 또는 외과 의사와 같은, 시스템의 사용자에 결합되는 하나 이상의 센서 또는 검출기를 포함할 수 있다. 센서는 사용자의 팔에 결합될 수 있고, 머리 장착형 디스플레이가 사용되지 않는 경우, 추가 센서가 또한 사용자의 머리 및/또는 목 영역에 결합될 수 있다. 이러한 배열의 센서는 센서 및 추적 유닛(16)으로 표시된다. 사용자가 머리 장착형 디스플레이를 사용하는 경우, 눈, 머리 및/또는 목 센서 및 관련 추적 기술은 내장되거나 해당 장치 내에서 사용될 수 있고, 따라서 선택적인 센서 및 추적 유닛(16A)의 일부를 형성한다.
외과 의사의 팔에 결합되는 센서 및 추적 유닛(16)의 센서는 바람직하게는, 예를 들어 어깨 영역, 팔꿈치 영역, 손목 또는 손 영역, 및 원하는 경우 손가락과 같은, 팔의 선택된 영역에 결합될 수 있다. 상기 센서는 사용자의 선택된 부분의 위치를 나타내는 위치 데이터를 생성한다. 감지 및 추적 유닛(16 및/또는 16A)은 로봇 서브시스템(20)의 카메라 어셈블리(44) 및 로봇 팔(42)의 이동을 제어하기 위해 이용될 수 있다. 센서 및 추적 유닛(16)의 센서에 의해 생성된 위치 데이터(34)는 프로세서(22)에 의한 처리를 위해 컴퓨팅 유닛(18)에 전달될 수 있다. 컴퓨팅 유닛(20)은 위치 데이터로부터 외과 의사의 팔의 각 부분의 위치 및/또는 배향을 결정하거나 계산하고, 이러한 데이터를 로봇 서브시스템(20)에 전달하도록 구성될 수 있다.
대안적인 실시예에 따르면, 감지 및 추적 유닛(16)은 외과 의사의 몸통 또는 임의의 다른 신체 부위에 결합된 센서를 사용할 수 있다. 또한, 감지 및 추적 유닛(16)은 센서 외에도, 예를 들어 가속도계, 자이로스코프, 자력계, 및 모션 프로세서를 갖는 관성 모멘텀 유닛(IMU)을 사용할 수 있다. 자력계의 추가는 자기 방향이 수직 축에 대한 센서 드리프트를 감소시키므로 현장에서의 표준 관행이다. 대안적인 실시예는 또한, 장갑, 수술용 스크럽, 또는 수술 가운과 같은 수술용 재료에 배치된 센서를 포함한다. 센서는 재사용 가능하거나 일회용일 수 있다. 또한, 센서는 사용자의 외부에, 예컨대 수술실과 같은, 예컨대 방 내의 고정된 위치에 배치될 수 있다. 외부 센서는, 컴퓨팅 유닛에 의해 처리될 수 있고 이에 따라 시스템(10)에 의해 사용될 수 있는 외부 데이터(36)를 생성하도록 구성될 수 있다. 다른 실시예에 따르면, 디스플레이 유닛(12)이 연관된 센서 및 추적 유닛(16A)을 사용하는 머리 장착 장치일 때, 장치는 VR 컴퓨팅 유닛(14)에 의해 수신되고 처리되는 추적 및 위치 데이터(34A)를 생성한다. 또한, 센서 및 추적 유닛(16)은 원하는 경우 핸드 제어기를 포함한다.
디스플레이가 HMD인 실시예에서, 디스플레이 유닛(12)은, 예를 들어 Oculus Rift, Varjo VR-1 또는 HTC Vive Pro Eye와 같은, 가상 현실 머리 장착형 디스플레이일 수 있다. HMD는 사용자의 머리에 결합되거나 장착되는 디스플레이, 디스플레이의 초점 뷰를 허용하는 렌즈, 및 디스플레이의 위치 및 배향 추적을 제공하는 센서 및/또는 추적 시스템(16A)을 사용자에게 제공할 수 있다. 위치 및 배향 센서 시스템은, 예를 들어 가속도계, 자이로스코프, 자력계, 모션 프로세서, 적외선 추적, 안구 추적, 컴퓨터 비전, 교류 자기장의 방출 및 감지, 및 위치 및 배향 중 적어도 하나를 추적하는 임의의 다른 방법, 또는 이들의 조합을 포함할 수 있다. 공지된 바와 같이, HMD는 카메라 어셈블리(44)로부터 외과 의사의 우측 및 좌측 눈에 이미지 데이터를 제공할 수 있다. 외과 의사를 위한 가상 현실 경험을 유지하기 위해, 센서 시스템은 외과 의사의 머리의 위치와 배향을 추적한 다음, 데이터를 VR 컴퓨팅 유닛(14)에, 원하는 경우 컴퓨팅 유닛(18)에 중계할 수 있다. 컴퓨팅 유닛(18)은 로봇의 카메라 어셈블리(44)의 팬 및 틸트를 추가로 조정하여 사용자 머리의 움직임을 따를 수 있다.
예를 들어, 디스플레이 유닛(12) 및/또는 추적 유닛(16A)과 연관되는 것과 같이, HMD와 연관되는 경우에 센서 또는 센서에 의해 생성된 위치 데이터(34A)는 직접 또는 VR 컴퓨팅 유닛(14)을 통해 컴퓨팅 유닛(18)에 전달될 수 있다. 마찬가지로, 사용자의 팔과 손과 연관될 수 있는 감지 및 추적 유닛(16)으로부터와 같이, 시스템의 다른 센서에 의해 생성된 추적 및 위치 데이터(34)는 컴퓨팅 유닛(18)으로 전달될 수 있다. 추적 및 위치 데이터(34, 34A)는 프로세서(22)에 의해 처리될 수 있고, 예를 들어 저장 유닛(24)에 저장될 수 있다. 추적 및 위치 데이터(34, 34A)는 또한 제어 유닛(26)에 의해 사용될 수 있으며, 이는 반응하여 로봇 서브시스템(20)의 하나 이상의 부분의 이동을 제어하기 위한 제어 신호를 생성할 수 있다. 로봇 서브시스템(20)은 사용자 워크스테이션, 로봇 지원 시스템(RSS), 모터 유닛(40), 및 하나 이상의 로봇 팔(42) 및 하나 이상의 카메라 어셈블리(44)를 포함하는 이식형 수술 로봇을 포함할 수 있다. 이식 가능한 로봇 팔 및 카메라 어셈블리는, 미국 특허 제10,285,765호에 개시되고 설명된 것과 같은, 단일 지지축 로봇 시스템의 일부를 형성할 수 있거나, PCT 특허 출원 번호 PCT/US20/39203에 개시되고 설명된 것과 같은, 분할 팔 아키텍처 로봇 시스템의 일부를 형성할 수 있다.
제어 유닛(26)에 의해 생성된 제어 신호는 로봇 서브시스템(20)의 모터 유닛(40)에 의해 수신될 수 있다. 모터 유닛(40)은 로봇 팔(42) 및 카메라 어셈블리(44)를 개별적으로 구동하도록 구성되는 일련의 서보 모터를 포함할 수 있다. 로봇 팔(42)은, 관련 센서에 의해 감지된 바와 같이, 외과 의사의 팔의 축소된 이동 또는 움직임을 따르도록 제어될 수 있다. 로봇 팔(42)은 사용자의 손가락뿐만 아니라 어깨, 팔꿈치 및 손목 조인트와 연관된 움직임과 연관될 수 있는 부분 또는 영역을 가질 수 있다. 예를 들어, 로봇 팔꿈치 조인트는 인간 팔꿈치의 위치와 배향을 따를 수 있고, 로봇 손목 조인트는 인간 손목의 위치와 배향을 따를 수 있다. 로봇 팔(42)은 또한, 예를 들어 사용자가 검지 손가락과 엄지 손가락을 함께 꼬집을 때 검지 손가락과 같은, 사용자의 하나 이상의 손가락의 이동을 따르는 엔드 이펙터에서 종료할 수 있는 연관된 단부 영역을 가질 수 있다. 로봇의 팔이 사용자의 팔의 움직임을 따르는 동안, 로봇 어깨는 제자리에 고정된다. 일 실시예에서, 사용자의 몸통의 위치 및 배향은 사용자 팔의 위치 및 배향으로부터 차감된다. 이러한 감산을 통해 사용자는 로봇 팔을 움직이지 않고도 자신의 몸통을 움직일 수 있다.
로봇 카메라 어셈블리(44)는, 예를 들어 수술 또는 수술 부위의 실시간 비디오 피드와 같은, 이미지 데이터(48)를 외과 의사에게 제공할 뿐만 아니라, 외과 의사가 카메라 어셈블리(44)의 일부를 형성하는 카메라를 작동시키고 제어할 수 있도록 구성된다. 카메라 어셈블리(44)는 바람직하게는 카메라 쌍(60A, 60B)을 포함하며, 이의 광학 축은, 카메라-간 거리로 알려진, 선택된 거리만큼 축방향으로 이격되어 수술 부위의 입체 시야 또는 이미지를 제공한다. 외과 의사는 머리 장착형 디스플레이의 이동을 통해 또는 외과 의사의 머리에 결합된 센서를 통해, 또는 사용자의 머리 또는 팔 움직임을 추적하는 핸드 제어기 또는 센서를 사용함으로써, 카메라(60A, 60B)의 움직임을 제어할 수 있으며, 이에 따라 직관적이고 자연스러운 방식으로 수술 부위의 원하는 시야를 확보할 수 있다. 카메라는, 공지된 바와 같이, 예를 들어 요, 피치 및 롤 방향을 포함하는, 다수의 방향으로 이동 가능하다. 입체 카메라의 구성 요소는 자연스럽고 편안한 사용자 경험을 제공하도록 구성될 수 있다. 일부 실시예에서, 카메라들 사이의 축간 거리는 사용자에 의해 인지되는 수술 부위의 깊이를 조정하도록 수정될 수 있다.
일 실시예에 따르면, 카메라 어셈블리(44)는 외과 의사의 머리의 움직임에 의해 작동될 수 있다. 예를 들어, 작동 중에, 외과 의사가 현재 시야(FOV) 위에 위치하는 객체를 보고자 하는 경우, 외과 의사는 위쪽 방향으로 보게 되며, 그 결과 입체 카메라가 사용자의 관점에서 피치 축을 중심으로 위쪽으로 회전하게 된다. 카메라 어셈블리(44)에 의해 생성된 이미지 또는 비디오 데이터(48)는 디스플레이 유닛(12) 상에 디스플레이될 수 있다. 디스플레이 유닛(12)이 머리 장착형 디스플레이인 경우, 디스플레이는 HMD의 요, 피치 및 롤 방향에 대한 원시 배향 데이터뿐만 아니라 HMD의 데카르트 공간(x, y, z)에서의 위치 데이터를 획득하는 내장형 추적 및 센서 시스템(16A)을 포함할 수 있다. 그러나, 대안적인 추적 시스템을 사용하여 HMD의 내장형 추적 시스템 대신에 또는 그에 추가하여 디스플레이의 보충 위치 및 배향 추적 데이터를 제공할 수 있다. 본 개시와 함께 사용하기에 적합한 카메라 어셈블리의 일례에는 미국 특허 제10,285,765호 및 미국 공개 제2019/0076199호에서, 본 양수인에게, 개시된 카메라 어셈블리가 포함되며, 그 내용은 참조로서 본원에 통합된다.
카메라 어셈블리(44)에 의해 생성된 이미지 데이터(48)는 가상 현실(VR) 컴퓨팅 유닛(14)에 전달될 수 있고, VR 또는 이미지 렌더링 유닛(30)에 의해 처리될 수 있다. 이미지 데이터(48)는 정지 사진 또는 이미지 데이터뿐만 아니라 비디오 데이터를 포함할 수 있다. VR 렌더링 유닛(30)은, 당업계에 공지된 바와 같이, 이미지 데이터를 처리한 다음 디스플레이 유닛(12)에 의해 디스플레이하기 위한 이미지 데이터를 렌더링하기 위한 적절한 하드웨어 및 소프트웨어를 포함할 수 있다. 또한, VR 렌더링 유닛(30)은 카메라 어셈블리(44)로부터 수신된 이미지 데이터를 카메라 어셈블리 내의 카메라의 위치 및 배향과 관련된 정보뿐만 아니라, 외과 의사의 머리의 위치 및 배향과 관련된 정보와 조합할 수 있다. 이러한 정보로, VR 렌더링 유닛(30)은 출력 비디오 또는 이미지 렌더링 신호를 생성하고 이 신호를 디스플레이 유닛(12)에 송신할 수 있다. 즉, VR 렌더링 유닛(30)은, 예를 들어, 외과 의사가 착용한 HMD에서와 같이, 디스플레이 유닛에 디스플레이하기 위해 핸드 제어기의 위치 및 배향 판독치와 외과 의사의 머리 위치를 렌더링한다.
VR 컴퓨팅 유닛(14)은 또한 디스플레이 유닛(12)에 디스플레이되는 VR 세계에서 사용 또는 배치하기 위한 하나 이상의 가상 현실(VR) 카메라를 생성하기 위한 가상 현실(VR) 카메라 유닛(38)을 포함할 수 있다. VR 카메라 유닛(38)은 가상 세계에서 하나 이상의 가상 카메라를 생성할 수 있고, 이는 머리 장착형 디스플레이를 위한 이미지를 렌더링하기 위해 시스템(10)에 의해 채용될 수 있다. 이렇게 하면 VR 카메라는 머리 장착형 디스플레이를 착용한 사용자가 큐브 맵에서 보는 것과 동일한 뷰를 항상 렌더링한다. 일 실시예에서, 단일 VR 카메라가 사용될 수 있고, 또 다른 실시예에서는 좌안 및 우안 VR 카메라를 사용하여 디스플레이에서 별도의 좌안 및 우안 큐브 맵 상에 렌더링하여 입체 뷰를 제공할 수 있다. VR 카메라의 FOV 설정은 카메라 어셈블리(44)에 의해 공개된 FOV에 대해 자체 구성할 수 있다. 실시간 카메라 뷰 또는 이미지 데이터에 대한 상황별 배경을 제공하는 것 외에도, 큐브 맵을 사용하여 가상 객체에 대한 동적 반사를 생성할 수 있다. 이러한 효과는 가상 객체의 반사 표면이 큐브 맵에서 반사를 포착할 수 있게 하여, 이러한 객체가 실제 세계 환경을 실제로 반영하는 것처럼 사용자에게 보이게 한다.
로봇 팔(42)은, 예를 들어 팔의 어깨 영역, 팔꿈치 영역, 및 손목 영역과 같은 인간 팔의 상이한 부분을 모방하기 위해, 회전 및/또는 힌지 이동을 위해 구성되고 조합될 수 있는 조인트를 형성하는 복수의 기계적으로 연결된 작동 섹션 또는 부분으로 구성될 수 있다. 로봇 팔의 액추에이터 부분은, 예를 들어, 케이블 구동 회전 운동을, 그러나 합리적인 회전 제한 범위 내에서, 제공하도록 구성된다. 액추에이터 섹션은 최소 크기로 최대 토크 및 속도를 제공하도록 구성된다.
도 2는 본 개시의 로봇 서브시스템(20)의 카메라 어셈블리(44)의 추가 상세도이다. 도시된 카메라 어셈블리(44)는 수술 부위의 입체도를 제공하기 위한 카메라(60A 및 60B)를 포함할 수 있다. 카메라는 렌즈 및 연관된 광학장치, 이미지 센서, 제어기 등을 포함하는 공지된 요소를 포함할 수 있다. 따라서, 카메라 어셈블리는, 예를 들어 카메라(60A, 60B)의 렌즈의 초점을 자동으로 맞추기 위한 자동 초점 유닛(62)을 포함할 수 있다. 별도의 유닛으로 도시되어 있지만, 자동 초점 유닛(62)은 각 카메라에 포함될 수 있다. 제어기(64)는, 컴퓨팅 유닛(18) 및/또는 모터 유닛(40)으로부터 수신된 제어 신호에 응답하여, 자동 초점 유닛(62) 및 카메라(62A, 62B)을 제어하기 위한 제어 신호를 제공할 수 있다.
도시된 카메라 어셈블리(44)는 자동 초점 유닛(62)을 시판 중인 다른 장치보다 더 중요하게 하는 두 가지 추가 특성을 나타낸다. 첫째, 카메라 어셈블리(44)는 정상 작동에서 훨씬 더 많은 움직임을 가지므로, 다른 위치에 더 신속하게 초점을 맞출 필요가 있다. 둘째, 자동 초점 유닛(62)은 달리 요구되는 것보다 좁은 심도를 이용하는 렌즈 시스템을 사용할 수 있다. 이와 같이, 자동 초점 유닛(62)은 초점 영역에서 더 양호한 선명도를 동시에 제공하면서, 덜 비싼 렌즈 요소를 사용할 수 있다.
도 3은 로봇 서브시스템(20)의 로봇 팔(42) 및 카메라 어셈블리(44)의 일반적인 개략도이다. 로봇 팔(42)은, 예를 들어 별도의 로봇 팔(42A 및 42B)을 포함할 수 있다. 각각의 로봇 팔(42A, 42B)은 엔드 이펙터 또는 그래스퍼(46A, 46B)를 각각 포함할 수 있다.
제어기(64)는 모터 유닛(40)으로부터 및 시스템과 연관된 임의의 센서로부터, 예컨대 센서 및 추적 유닛(16, 16A)으로부터 수신된 위치 정보를 사용하거나 이용할 수 있고, 원하는 초점 거리를 계산하거나 결정할 수 있다. 일 실시예에서, 활용되는 정보는 현재 외과 의사의 시야에 있는 카메라로부터 로봇 팔(42A, 42B)의 각 엔드 이펙터 부분(46A, 46B)까지의 거리이다. 제어기(64)는 또한 거리 공간에서 공장에서 교정된 각각의 카메라(60A, 60B)의 초점 곡선을 저장할 수 있고, 각각의 카메라의 초점은 자동 초점 유닛(62)에 의해 조정되어 외과 의사가 로봇 팔(42)을 의도된 뷰의 심도에서 최소 위치로 사용하여 보고 있는 위치와 일치할 수 있다. 시스템(10)이 로봇 팔(42) 또는 카메라 어셈블리(44)를 이동시킬 때, 카메라(60A, 60B)의 초점이 그에 따라 조정될 수 있다.
도 4에 도시된 바와 같이, 원하는 초점 거리는 시스템 상태(110)(예: 팔 위치 및 카메라 위치)을 결정한 다음 선택된 가중 알고리즘(112)을 사용하여 시스템 상태 데이터(110)를 처리함으로써 결정될 수 있다. 가중 알고리즘 기술(112)은, 장면에 대한 직접적인 지식 또는 외과 의사의 직접적인 입력 없이, 외과 의사의 관심 영역을 높은 정도의 정확도로 일치시킨 다음 자동 초점 유닛(62)을 사용하여 상기 영역에 카메라(40A, 40B)의 초점을 맞추도록 구성될 수 있다. 가중 알고리즘은 원하는 초점 거리(114)를 결정할 수 있다. 원하는 초점 거리(114)는, 교정된 초점 곡선(100)을 사용하여 주어진 원하는 초점 심도에 대해 선택된 초점 명령(116)을 결정하는 것을 포함하는, 다양한 방법을 이용할 수 있는, 제어기(64)로 송신될 수 있다. 초점 명령(116)이 자동 초점 유닛(62)으로 송신되어 카메라의 물리적 초점 거리를 변경한다. 가중 알고리즘 및 관련 처리는 컴퓨팅 유닛(18)에서 발생할 수 있다. 대안적으로, 연산은 카메라 제어기(64)에서 발생할 수 있다.
대안적인 실시예에 따라, 수술용 로봇 시스템(10)은 원하는 초점 거리(114)를 처리하기 위해 필터를 사용할 수 있다. 예를 들어 도 5a에 도시된 바와 같이, 연산 유닛(18)을 통해 시스템은 가중 알고리즘 기술(112)을 사용하여 원하는 초점 거리(114)를 생성할 수 있다. 그런 다음, 원하는 초점 거리(114)는 초점 데이터의 큰 변화 또는 빠른 변화를 감소시키기 위해 저역 통과 필터(118)와 같은 선택적인 필터에 통과될 수 있다. 저역 통과 필터(118)의 강도는 헤드 움직임의 크기에 의해 조정되거나 변경될 수 있다(즉, 헤드 움직임이 많을수록 필터가 덜 강해짐). 저역 통과 필터(118)의 출력은 제어기(64)로 전달될 수 있다. 대안적으로, 필터는, 도 5b에 도시된 바와 같이, 자동 초점 유닛(62)의 출력에 배치될 수 있다. 특히, 필터는 저역 통과 필터로 한정되지 않으며, 본 개시는 다른 공지된 필터를 고려한다.
본 개시의 다른 실시예에 따르면, 원하는 초점 거리(114)는 카메라(60A, 60B) 사이에서 변할 수 있다. 카메라(60A, 60B)가 원하는 초점 거리(114)로부터의 위치(예: 하나의 카메라는 더 가깝고 다른 카메라는 더 먼 곳)에 초점을 맞추게 함으로써, 카메라로부터의 이미지가 중첩될 때 더 큰 심도를 갖는 복합 이미지가 생성될 수 있다.
시스템은 로봇 팔의 엔드 이펙터 부분과 카메라 사이의 거리를 고려하고 각각의 로봇 팔과 연관된 선택된 가중치를 사용함으로써 원하는 초점 거리를 결정할 수 있다. 선택된 방식으로 가중치를 수학적으로 조합함으로써, 제어기(64)는 원하는 초점 거리(114)를 이로부터 결정할 수 있다. 각각의 엔드 이펙터(46A, 46B)에 대한 카메라 어셈블리(44)의 위치 및 배향은 카메라 어셈블리의 제어기(64) 및 제어 유닛(26)에 의해 결정될 수 있다. 그런 다음, 제어기(64)는 자동 초점 유닛(62)에 의해 수신되는 제어 신호를 생성한다. 이에 응답하여, 자동 초점 유닛(62)은 공지된 기술에 따라 카메라(60A)의 초점 또는 길이를 가변, 조정 또는 제어하기 위한 신호를 생성한다. 엔드 이펙터와 카메라 어셈블리 사이의 거리가 변함에 따라, 자동 초점 유닛(62)은 이에 응답하여 카메라의 초점 또는 길이를 자동으로 조정할 수 있다.
일 실시예에 따르면, 시스템 상태 데이터는 가중 알고리즘 유닛에 의해 처리되어 입력이 시스템(10)의 출력에 미치는 상대 효과를 조정한다. 예를 들어 도 6a 및 도 6b에 도시된 바와 같이, 로봇 팔 및 카메라의 위치(예: 포즈)의 상태를 정의하는 시스템 상태 데이터(110)가 제어 유닛(26)에 의해 생성된다. 그런 다음, 시스템 상태 데이터(110)는 원하는 초점 거리(114)를 결정하기 위해 초점 거리 계산기(140)에 도입된다. 초점 거리 계산기(140)는 컴퓨팅 유닛(18)의 일부를 형성할 수 있거나 로봇 서브시스템(20)의 일부를 형성할 수 있다. 초점 거리 계산기(140)는 선택된 유형의 데이터를 추출하고 처리된 시스템 상태 데이터(144)를 생성하기 위한 데이터 추출기 유닛(142)을 포함할 수 있다. 처리된 시스템 상태 데이터(144)는 가중 알고리즘 기술을 시스템 상태 데이터(144)에 적용하기 위해 가중 알고리즘 유닛(146)으로 전달된다. 가중 알고리즘 유닛(146)은 시스템 상태 데이터로부터 원하는 초점 거리(114)를 생성한다. 보다 구체적으로, 데이터 추출기 유닛(142)은, 예를 들어 좌측 법선 거리 계산기 유닛(142A) 및 우측 법선 거리 계산기 유닛(142B)를 포함하여, 각각의 로봇 팔에 대한 카메라의 법선 거리를 계산하기 위해 다수의 상이한 거리 계산 유닛을 사용할 수 있다. 예를 들어, 시스템 상태 정보(110)는 좌측 엔드 이펙터 위치와 배향 정보 및 좌측 법선 거리 계산기 유닛(142A)에 도입되는 좌측 카메라 위치와 배향 정보를 포함할 수 있다.
또한, 시스템 상태 정보(110)는 우측 엔드 이펙터 위치와 배향 정보 및 우측 법선 거리 계산기 유닛(142A)에 도입되는 우측 카메라 위치와 배향 정보를 포함할 수 있다. 좌측 법선 거리 계산기 유닛(142A)은 좌측 카메라와 좌측 엔드 이펙터 사이의 거리를 나타내는 입력 데이터 좌측 거리 데이터(144A)로부터 계산한다. 유사하게, 우측 법선 거리 계산기 유닛(142B)은 우측 카메라와 우측 엔드 이펙터 사이의 거리를 나타내는 해당 입력 데이터 우측 거리 데이터(144B)로부터 계산한다. 그런 다음, 거리 데이터(144A, 144B)는 추가 처리를 위해 가중 알고리즘 유닛(146)에 도입된다. 가중 알고리즘 유닛(146)은 다음 식을 사용하여 원하는 초점 거리(114)를 결정하는 초점 거리 계산 유닛을 포함할 수 있다:
초점 거리 = (W1 * ZL + W2 * ZR )/(W1 + W2)
여기서, W1 및 W2는 각각 좌측 로봇 팔 및 우측 로봇 팔과 연관된 선택된 가중치를 나타내고, Z1은 좌측 법선 거리 계산 유닛(142A)으로부터의 거리 값(144A)를 나타내고, Z2는 우측 법선 거리 계산 유닛(142B)으로부터의 거리 값(144B)을 나타낸다.
이와 같이, 가중 알고리즘 기술에 따라, 각각의 로봇 팔은 별도로 가중된 다음, 계산된 원하는 초점 거리(114)가 적절한 범위 내에 있도록 가중치의 합으로 나눔으로써 값을 정규화한다. 가중 알고리즘 기술의 일 실시예에 따르면, 가중 알고리즘이 2개의 거리의 평균을 효과적으로 연산하도록 가중 알고리즘 기술의 가중치 W1 및 W2 둘 모두는 고정되고 1과 동일하다. 가중 알고리즘 기술의 다른 실시예에 따르면, 2개의 로봇 팔의 가중치 W1 및 W2는 원하는 초점 거리(114)를 결정할 때 하나의 팔이 다른 팔에 비해 더 영향을 미치도록 변경될 수 있다. 가중 알고리즘 기술의 또 다른 실시예에서, 2개의 로봇 팔의 가중치는 다른 시스템 파라미터에 기초한 함수(즉, 고정되지 않음)일 수 있다. 시스템 파라미터는, 예를 들어 엔드 이펙터가 카메라의 시야(FOV)의 중심에 있는 정도, 엔드 이펙터 상태(즉, 그래스퍼가 개방, 폐쇄 또는 그 사이의 어딘가에 있음), 팔꿈치 조인트의 위치, 또는 시스템이 측정하여 초점 거리 계산기 유닛(140)에 전달할 수 있는 임의의 다른 파라미터를 포함할 수 있다.
시스템 파라미터는 데이터 추출기 유닛(142)에 의해 시스템 상태 데이터(110)로부터 추출될 수 있다. 이러한 기술의 일례는, 예를 들어, 도 6c에 도시되어 있다. 도시된 실시예에서, 데이터 추출기 유닛(142)은 추가 시스템 상태 데이터(144)를 결정하기 위한 추가 계산 유닛을 포함할 수 있다. 그런 다음, 추가 시스템 상태 데이터(144)는 가중 알고리즘 유닛(146A)에 의해 처리된다. 엔드 이펙터가 카메라의 시야에 얼마나 중심에 있는 정도를 활용하여, 데이터 추출기 유닛(142)은 엔드 이펙터 위치의 X & Y 구성 요소 및 카메라의 FOV와 어떻게 관련되는지에 대한 기하학적 지식을 사용하여 주어진 엔드 이펙터와 FOV의 중심의 거리를 계산한다. 본 실시예에서, 가중 알고리즘 기술에서 주어진 엔드 이펙터의 가중치는 FOV의 중심까지의 거리의 함수이다. 예를 들어, 엔드 이펙터의 중심이 높을수록, 엔드 이펙터에 대한 가중이 더 강하다. 물체가 보이지 않으면 가중치가 감소한다. 이러한 의존성은 사용자가 FOV의 중심에 초점을 맞출 가능성이 더 높기 때문에 바람직할 수 있고, 따라서 중심에 더 가까운 엔드 이펙터는 그곳에 초점을 맞추고자 하는 사용자의 욕구와 상관될 수 있다.
카메라 어셈블리의 시야의 일례는, 예를 들어 도 7에 도시되어 있다. 도시된 시야(150)는 중심(152)을 갖는다. 로봇 팔(42)은 엔드 이펙터 또는 그래스퍼(46A)를 포함하는 왼쪽 로봇 팔(42A) 및 오른쪽 엔드 이펙터 또는 그래스퍼(46B)를 갖는 오른쪽 로봇 팔(42B)을 포함한다. 시스템은 이미지 데이터로부터 우측 및 좌측 로봇 팔 중심 거리 데이터(RLeft 및 RRight)를 결정할 수 있다.
도 8은 본 개시의 제어 유닛에 의해 사용될 수 있는 그래프(160)를 나타낸다. 그래프(160)은 Y-축(162)을 따르는 가중치와 X-축(164)를 따르는 시야(152)의 중심으로부터의 거리를 보여준다. 알 수 있는 바와 같이, 엔드 이펙터에 따른 가중치는 FOV의 중심으로부터의 거리가 증가함에 따라 감소한다. 다른 실시예에서, FOV의 중심으로부터의 거리와 임의의 연관된 가중치 사이의 관계는, 다항식, 대수식, 역 지수식 또는 당업계에 공지된 임의의 다른 관계와 같은, 다른 비선형 형태를 취할 수 있다.
또 다른 실시예에서, 각각의 로봇 팔(42A, 42B)의 가중치는 엔드 이펙터에서 그래스퍼의 상태(예: 개방 또는 폐쇄 또는 그 사이)에 의존할 수 있다. 예를 들어, 사용자가 그래스퍼를 폐쇄하는 경우, 이는 사용자가 해당 엔드 이펙터에서 관찰하고자 하는 동작을 수행하고 있음을 나타낼 수 있고, 따라서 해당 엔드 이펙터에 초점을 맞추고 따라서 더 크게 가중되는 것이 바람직하다. 도 9는 본 개시의 제어 유닛에 의해 사용될 수 있는 그래프(160)를 나타낸다. 그래프(170)는 Y축(172)을 따른 가중치 값과 X축(174)을 따른 그래스퍼 상태를 보여준다. 그래스퍼 상태는 폐쇄 상태(176)와 개방 상태(178) 사이에서 달라질 수 있다. 알 수 있는 바와 같이, 엔드 이펙터에 부여되는 가중치는, 그래스퍼가 폐쇄 상태로부터 개방 상태로 전환함에 따라 감소한다. 다른 실시예에서, 그래스퍼 상태와 임의의 연관된 가중치 사이의 관계는, 다항식, 대수식, 역 지수식 또는 당업계에 공지된 임의의 다른 관계와 같은, 다른 비선형 형태를 취할 수 있다.
다른 실시예에서, 더 큰 가중치가 더 멀리 있는 엔드 이펙터에 적용될 수 있다. 이는 전경보다 배경이 더 잘 보이도록 객체가 더 멀리 떨어져 있도록 출력을 편향시킨다. 이는 엔드 이펙터의 깊이에 대한 2차(또는 그 이상) 의존성을 효과적으로 생성한다.
도 10a 내지 도 10c에 도시한 바와 같이, 특정 상황에서, 자동 초점 조정을 제한하는 것이 바람직하다. 예를 들어, 봉합 또는 다른 조작 동안, 엔드 이펙터가 환자쪽으로 이동할 때 초점 조정의 속도를 줄이는 것이 바람직하다. 로봇 팔의 엔드 이펙터가 환자 또는 타깃 위치로부터 멀리 이동할 때(예: 외측 이동) 초점 조정은 신속해야 하는 반면, 엔드 이펙터가 환자 또는 타깃 위치를 향해 이동할 때 상기 조정은 더 느려야 한다. 이러한 자동 초점 속도의 차이는 자동 초점의 더 강력한 성능 및 더 선명한 배경 이미지를 제공한다. 봉합사를 던지는 것과 같은 더 작은 움직임은 실제 설정된 초점 위치에서 최소한의 변화를 유발하는 반면, 더 큰 움직임은 더 급격한 변화를 초래한다. 이러한 거동은 음의 움직임보다 더 많은(더 강한) 양의 움직임에 영향을 미치는 가중치를 사용하여 생성될 수 있다. 가중치가 높은 I/D 항을 갖는 비례-적분-미분(PID) 제어는 더 낮은 움직임 변화에서 많은 변화를 제공하지 않는 방식으로 음의 움직임에 영향을 미칠 수 있다. 도 10a는 초점이 조직보다 약간 전방에 있는 이러한 움직임의 일례를 도시한다.
도 10b에 도시한 바와 같이, 조직은 조작되고 있으며 초점이 타깃에 가깝게 유지되는 것이 바람직하다. 즉, 도 10b는 조정되지 않은 손 움직임 또는 봉합을 도시한다. 예를 들어, 외과 의사가 봉합사를 던지기 시작하는 경우, 초점을 즉시 변경하는 것은 바람직하지 않으며, 초점은 팔 중심 위치보다 조직에 더 가깝게 유지되어야 한다. 따라서, 빠른 움직임 중에는 자동 초점 계산에 큰 필터가 적용될 수 있다. 도 10c는 작업 쪽으로 초점 위치 이동을 초래하는 더 긴 움직임의 일례를 도시한다. 이 예에서, 엔드 이펙터(그래스퍼)가 서로 가까울수록 초점이 더 빨리 전진할 수 있다. 엔드 이펙터의 근접성은 조정된 움직임의 표시이다.
또한, 가중치(W1 및 W2)는 다수의 시스템 파라미터의 함수이고, 다수의 파라미터의 개별 가중치의 간단한 다중 함수일 수 있다. 다중 가중치의 일례는 다음과 같다:
W1 = wLC * wLG * wLZ
여기서, W1은 좌측 엔드 이펙터의 전체 가중치이고, wLC는 좌측 팔의 거리로부터 FOV의 중심까지의 가중치이고, wLG는 좌측 그래스퍼의 개방/폐쇄 상태로부터의 가중치이고, wLZ는 깊이로부터 좌측 엔드 이펙터까지의 가중치이다.
다른 실시예에서, 추가 거리는, 예를 들어 팔꿈치 거리, 배경 거리 및 자동 초점 알고리즘으로부터의 거리와 같은 가중 알고리즘 기술에 통합될 수 있다. 적절한 가중 알고리즘 기술의 일례는, 예를 들어 도 11에 도시되어 있다. 도시된 초점 거리 계산기 유닛(140)은 도시된 데이터 추출기 유닛(142) 및 도시된 가중 알고리즘 유닛(146)을 포함할 수 있다. 현재 도시된 예시에서, 로봇 팔의 팔꿈치 조인트는 가중치가 부여된 추가 관심 지점이다. 일 실시예에 따르면, 팔꿈치 조인트는 엔드 이펙터와 연관된 가중치보다 작은 이와 연관된 가중치를 가질 수 있다. 이는, FOV에서 엔드 이펙터를 사용하여, 팔꿈치 조인트만 볼 때 가중 알고리즘 기술의 출력이 팔꿈치가 카메라에서 떨어져 있는 거리에 의해 좌우될 수 있기 때문에 바람직하다.
또한, 사용자가 팔꿈치 조인트를 보면서 엔드 이펙터 부분을 볼 때, 팔꿈치 조인트와 연관된 가중치는 엔드 이펙터와 연관된 가중치보다 충분히 작을 수 있고, 따라서 출력은 엔드 이펙터의 거리에 의해 지배될 수 있다. 다른 실시예에서, 초점 거리 계산기(140)는 카메라 어셈블리로부터 이미지 데이터를 입력으로써 수신하고, PDAF 또는 다른 자동 초점 알고리즘을 사용하여 이미지에 초점에 맞추는 자동 초점 거리를 계산할 수 있다. 이는 다른 가중치가 0(또는 일부 실시예에서는 1)으로 떨어지는 경우에 특히 유용할 수 있다. 또 다른 실시예에서, 가중 알고리즘에 대한 입력은 카메라의 입체 영상 데이터로부터 계산된 3차원 심도 정보를 포함하여 영상의 배경까지의 거리를 계산한 다음, 원하는 초점 거리(114)의 계산에 다른 입력으로서 해당 정보를 사용할 수 있다. 이는 원하는 초점 거리(114)를 배경에 더 가깝게 편향시킬 수 있고, 더 멀리 초점을 맞춤으로써 심도를 확장하는 것을 돕는 데 유용할 수 있다.
시야는 카메라 내의 광학 요소에 의해 결정될 수 있다. 각각의 카메라는 또한 공장에서 테스트되어 FOV가 정상 범위 내에 있는지(예: 명시된 값의 60601 +-15% 대각선 내에 있는지) 확인할 수 있다. 또한, 초점이 변함에 따라 카메라의 FOV도 변한다. 초점에 대한 FOV 변화에 대한 보상 곡선은 렌즈 요소에 기초하여 계산될 수 있다.
따라서, 초점 거리 계산기 유닛(140)은 각각의 관심 위치(예: 팔꿈치 조인트, 그래스퍼, 배경 등)의 가중치를 취한 다음, 이를 관심 위치와 카메라의 포인팅 벡터의 내적을 곱한다. 다른 실시예에서, 시스템은 영향권의 위치에 기초하여 가중치를 제공하는 카메라로부터의 영향권을 연산할 수 있다. 시야에 있는 영역은 이와 연관된 더 큰 가중치를 갖도록 할당될 수 있으며, 여기서 가중치는 영향권의 중심에서 최고조에 달할 수 있다. 카메라가 구형 윈도우를 생성하지 않고 오히려 직사각형 윈도우를 발생시키기 때문에, 위치는 순수한 내적이 아니고 따라서 축 위치에 기초하여 가중치를 부여할 필요가 있다. 이와 같이, X축이 더 큰 시야를 갖기 때문에, 카메라의 X축을 따른 이동은 Y축을 따른 이동보다 더 약한 구배를 가질 수 있다.
일부 실시예에서, 가중 알고리즘은 전술한 정규화된 선형 조합과 상이한 형태를 취할 수 있음을 주목해야 한다. 가중 알고리즘은 또한, 예를 들어 시스템 상태 데이터에 기초하여 원하는 초점 거리를 결정하는 데 도움이 되는 칼만 필터 또는 심지어 기계 학습 기술과 같은, 상태 데이터를 원하는 초점 거리로 결합하기 위해 임의의 선택된 유형의 필터를 사용할 수도 있다.
도 12는 하나 이상의 시스템 파라미터에 기초하여 카메라 어셈블리(44)의 카메라의 초점을 자동으로 맞추기 위해 수술용 로봇 시스템(10)에 의해 사용되는 단계 또는 방법을 도시하는 개략적인 흐름도이다. 나타낸 바와 같이, 예를 들어 센서(예: 자력계 및 IMU) 및 다른 제어 입력과 같은, 수술용 로봇 시스템의 선택된 구성 요소의 원시 위치 데이터는 집계되어 저장 유닛(24)에 저장된다(70 단계). 제어 유닛(26) 및/또는 제어기(64)는 위치 데이터를 사용하여 3차원 공간에서 로봇 팔(42A, 42B) 및 카메라 어셈블리(44) 각각의 포즈 또는 위치를 결정할 수 있다(72 단계).
즉, 제어기는 직접 측정 기술 또는 간접 측정 기술을 사용하여 로봇 팔의 위치를 계산할 수 있다. 직접 측정 기술에 따르면, 로봇 팔(42A, 42B) 및 카메라(60A, 60B)는 각각 최원위 조인트에 위치한 절대 센서와 연관된다. 절대 센서는 공간의 공통 원점에 대해 6개의 자유도(예: X, Y, Z, 요, 피치, 및 롤)로 로봇 팔의 최원위 단부의 위치 및 배향을 측정할 수 있다. 이 센서는 제어기가 로봇 팔 및 카메라의 상대 위치 및 배향을 간단히 결정할 수 있게 한다. 본 개시와 함께 사용하기에 적합한 절대 센서의 예는 교번 자기장 추적(예컨대, Polhemus가 소유한 기술에 통합된 것), 광학 추적 방법 및 IMU뿐만 아니라 당업계에 공지된 다른 것을 포함할 수 있다.
간접 측정 기술에 따르면, 로봇 팔 및 카메라의 포즈 및 위치는, 예를 들어 팔 내의 각 조인트의 개별 각도에 의해, 시스템에 공지된 다른 파라미터로부터 추정된다. 그런 다음, 각각의 조인트 각도는 로봇 팔의 순방향 운동학 모델에 입력되어 6개의 자유도에서 로봇 또는 카메라의 최원위 단부의 위치 및 배향을 계산한다. 로봇 팔 또는 카메라 위치는 다수의 방식으로 측정될 수 있지만, 모두 시스템의 상태를 아는 것에 의존한다. 일 실시예에 따르면, 예를 들어 도 13에 도시된 바와 같이, 케이블 구동 수술용 로봇 시스템에서, 제어기는 케이블의 상태를 결정한 다음, 해당 정보를 사용하여 로봇 팔 내의 각 조인트의 위치를 추정한다. 공지된 바와 같이, 로봇 팔에 사용되는 각각의 케이블은 특정 조인트 위치를 변경하므로, 로봇 팔 및 카메라 어셈블리의 위치에 대해 계산 가능한 효과를 갖는다.
예를 들어, 시스템은 로봇 팔 또는 카메라의 주어진 조인트에 대한 구동 케이블을 제어하는, 모터 유닛(40)의 출력 상에 위치된 홀 효과 센서 또는 전위차계와 같은 적절한 위치 센서를 사용할 수 있다. 이 실시예에서, 로봇 조인트의 움직임에 대한 모터의 움직임의 비율은 로봇 팔의 조인트에 사용되는 임의의 모터 풀리 및 구동 풀리의 지오메트리(예: 반경)에 기초하여 공지되고 고정된다. 따라서, 시스템은 모터가 X도만큼 회전할 때 로봇 조인트가 Y도만큼 이동하고, 여기서 Y = X * R이고, R은 전술한 비율인 것으로 결정할 수 있다. 이와 같이, 제어 유닛(26)은 각각의 로봇 팔의 조인트에 대한 모터 위치(120)를 결정할 수 있다. 제어 유닛(26)은 또한 Rj/Rm으로 정의될 수 있는 선택된 조인트 비율(122)를 사용하여 로봇 팔의 모든 조인트에 대한 조인트 위치(124)를 결정하며, 여기서 Rj는 조인트의 반경이고 Rm은 모터의 반경이다. 그런 다음, 이러한 계산된 조인트 위치(124) 및 조인트의 관련 움직임이 순방향 운동학 모델(126)에 입력되어 로봇 팔의 최원위 부분의 위치 및 배향(128)을 계산할 수 있다. 이 방법은 케이블이 강성이고 케이블에 작용하는 마찰이 낮은 경우에 가장 잘 작동한다.
일 실시예에 따라, 도 14에 도시된 바와 같이, 로봇 조인트의 각도 위치는 조인트에 직접 부착된 센서를 통해 측정될 수 있다. 이는 홀 효과 센서 어레이, 전위차계 또는 당업계에 공지된 다른 방법을 포함할 수 있다. 이러한 유형의 조인트 측정은, 케이블이 매우 강성이 아니거나 케이블에 작용하는 마찰이 높을 경우에 케이블 구동 시스템에 도움이 될 수 있다. 일례에서, 로봇 팔의 조인트에 내장된 홀 효과 센서 어레이는 조인트의 대향 측면에 내장된 자석의 회전 위치를 측정함으로써, 해당 조인트의 각도 위치를 직접 측정할 수 있다. 이와 같이, 시스템은 센서를 통해 로봇 팔의 조인트 위치(130)를 결정할 수 있다. 조인트 위치(130)는, 로봇 팔의 가장 먼 부분의 로봇 위치 및 배향(128)을 계산하거나 결정하기 위해 조인트 위치 데이터를 처리하는 순방향 운동학 모델(126)에 도입될 수 있다.
모든 간접 측정 방법 및 기술에서, 팔 로봇 및 카메라 어셈블리의 순방향 운동학 모델(126)은 공통 원점 및 좌표 프레임을 지칭한다. 이는 로봇 팔과 카메라 어셈블리 사이의 기하학적 관계 또는 수량에 대한 지식을 활용하여 수행될 수 있고, 순방향 운동학 모델(126)에서 추가 파라미터로서 사용될 수 있다. 이는 이미 본질적으로 공통 원점으로 다시 측정하고 있기 때문에 직접 측정 기술에서는 필요하지 않다.
로봇 위치 및 배향을 결정하기 위해 어떤 기술이 이용되는지에 관계없이, 로봇 팔의 엔드 이펙터의 위치 및 배향과 카메라의 위치 및 배향이 계산되면, 카메라와 각각의 개별 엔드 이펙터 사이의 거리가 계산될 수 있다. 또한, 간접 및 직접 측정 기술이 혼합될 수 있다. 예를 들어, 카메라 어셈블리는 직접 측정될 수 있고, 로봇 팔은 간접적으로 또는 그 반대로 측정될 수 있다. 다른 실시예에서, 측정 기술은 하나의 시스템 내에서 혼합된다. 예를 들어, 로봇은 하나의 조인트에 대한 홀 효과 센서 및 동일한 로봇 상의 다른 조인트에 대한 모터-케이블 측정 기술을 이용할 수 있다.
시스템(10)이 결정한 각각의 로봇 팔(42A, 42B) 및 카메라 어셈블리(44)의 포즈 또는 위치를 활용하여, 제어 유닛(26)이 로봇 팔의 엔드 이펙터(46A, 46B) 모두로부터의 카메라 어셈블리(44)의 거리를 결정하거나 계산할 수 있다(74 단계). 로봇 팔의 엔드 이펙터의 위치 및 배향과 카메라의 위치 및 배향이 계산되면, 카메라와 각각의 개별 엔드 이펙터 사이의 거리가 계산될 수 있다. 이는 피타고라스의 정리(3차원), 쿼터니언 회전 및 병진, 벡터 및 내적과 같은 알려진 수학적 관계를 사용을 포함하는 다른 방식뿐만 아니라 당업계에 알려진 많은 다른 방법으로 계산될 수 있다. 피타고라스 정리가 사용되는 경우, 상기 정리는 X, Y 및 Z 좌표를 결정한 후 다음과 같은 방식으로 지점 간 거리를 계산한다:
Darm_to_Camera = sqrt[ (XEE - XC)2 + (YEE - YC)2 + (ZEE - ZC)2 ],
여기서 XEE, YEE 및 ZEE는 로봇 팔의 원위 엔드 이펙터의 좌표이고 XC, YC 및 ZC는 카메라의 좌표이다. 벡터 및 내적 방법은, 주어진 상태에서 카메라의 배향 및 지오메트리로부터 직접 결정될 수 있는, 카메라의 벡터 형태 시선과, 카메라에서 시작하여 엔드 이펙터에서 끝나는, 벡터의 내적을 사용한다. 이는 엔드 이펙터가 카메라의 시선에 수직인 카메라로부터 거리가 된다. 이러한 동일한 거리는 쿼터니언 회전 및 병진을 이용하여 엔드 이펙터 위치 및 배향(X, Y, Z, 요, 피치, 롤)을 카메라와 동일한 좌표 프레임에 배치함으로써 계산될 수 있다. 이 작동이 수행되면, 이 새로운 좌표 프레임에서 엔드 이펙터에 대한 Z 항(카메라에 수직인 방향)은 엔드 이펙터가 카메라에서 카메라의 시야에 수직인 거리이다.
또한, 시야(FOV)는 카메라 어셈블리 내의 광학 요소에 의해 결정된다. 카메라 어셈블리(44)의 각 카메라(60A, 60B)는 FOV가 허용 가능한 범위 내에 있는지 확인하기 위해 공장에서 테스트될 수 있다. 또한, FOV의 변화는 초점의 변화와 직접적인 상관 관계가 있으므로, 초점에 관한 FOV 변화에 대한 보상 곡선은 카메라에 의해 사용되는 광학 렌즈 스택에 기초하여 계산될 수 있다.
그런 다음, 제어기(64)는 자동 초점 유닛(62)에 의해 수신되는 제어 신호를 생성할 수 있고, 자동 초점 유닛은 카메라(42A, 42B)의 초점을 자동으로 조정할 수 있다(84 단계). 또한, 시스템(10)은 또한 외과 의사 또는 사용자가 카메라의 초점을 수동으로 조정할 수 있게 할 수 있다(80 단계). 또한, 카메라 어셈블리의 카메라의 초점 곡선은 저장 요소(24)에 미리 저장될 수 있다(82 단계). 초점 곡선은 초점 제어기가 원하는 초점 거리(114)를 시스템이 원하는 초점 거리를 달성하는 데 사용할 수 있는 명령으로 변환하는 방법의 일례이다. 이와 같이, 원하는 초점 거리(114)는 초점 거리에 대한 초점 요소의 위치의 룩업 테이블 또는 적절한 기능을 통해 구현될 수 있다. 객체의 거리의 함수로서 초점을 조정할 수 있도록 카메라마다 렌즈를 교정할 필요가 있는 것으로 알려져 있다.
도 15는 수술용 로봇 시스템(10)의 카메라(60A, 60B)와 연관될 수 있는 하나의 유형의 초점 곡선(90)의 일례이다. 초점 곡선(90)에 예시된 바와 같이, 거리 진폭 교정(DAC) 값이 변화함에 따라 최적의 초점 거리가 변화한다. 도시된 바와 같이, 카메라에 더 가까운 타깃에 대해 더 큰 변경이 필요하다. 이는, 명령된 전류가 렌즈 이동과 역제곱 관계를 가지며 보이스 코일 모듈(VCM)에 필요한 변화가 거리가 멀어질수록 작아지는 VCM의 설계 때문이다.
도 16은 카메라 어셈블리(44)의 카메라의 정의된 초점 영역을 도시하는 곡선이다. 도시된 초점 곡선(100)은 서로 중첩된 상이한 거리에 다수의 타깃을 포함한다. 모든 거리에 걸쳐 도시된 곡선(100)의 피크는 위에 도시된 것이다. 더 먼 거리에서 피크가 더 크다고 해서 이미지가 더 선명하다는 것을 의미하지는 않는다는 점에 주목한다. 오히려, 이는 중요한 것은 해당 수의 거리에 대한 곡선의 폭이다.
카메라 어셈블리(44)의 카메라의 초점 곡선은 공장에서 거리 공간에 생성되고 미리 저장되고 적용될 수 있고, 로봇 팔을 사용하여 의사가 보고 있는 위치에 맞춰진 카메라의 초점을 의도한 장면에서 심도의 최소 위치로서 적용할 수 있다. 본원에서 사용되는 바와 같이, 용어 거리 공간은 공간 내의 물리적 거리를 설명하도록 의도된다.
카메라 어셈블리(44)의 카메라(60A, 60B)는 본 개시의 수술용 로봇 시스템(10)에 사용되기 전에 공장에서 교정되고 설정될 수 있다. 본 개시의 카메라 어셈블리(44)는 로봇 팔에 대해 가능한 가장 큰 범위의 움직임을 유지하면서 외과 의사가 하고 있는 것(예: 수술 부위)에 초점을 맞추도록 구성된다. 카메라 어셈블리(44)의 교정은 공장에서 발생할 수 있고, 카메라(60A, 60B)의 해상도를 결정하기 위해 선택된 테스트를 포함할 수 있다. 카메라의 교정은 카메라의 배치 및 카메라 데이터를 선택된 메모리에 등록할 필요성으로 인해 최종 조립 후에 발생할 수 있다.
교정 동안, 각 카메라의 출력 데이터는 룩업 테이블에 누적되고 저장될 수 있다. 룩업 테이블은, 예를 들어 각각의 카메라 및 연관된 렌즈 어셈블리와 연관될 수 있다. 카메라를 교정하는 프로세스는 다음과 같다. 카메라는 모터 유닛에 부착될 수 있고, 카메라 및 관련 센서의 배향 및 위치를 제어하는 선택된 지지 고정구 내에 고정될 수 있다. 하나의 축 스테이지는 카메라로부터 타깃의 거리를 약 5cm 내지 약 20cm로 변경하여 이 범위 내의 모든 거리에서 카메라를 교정하는 데 사용된다. 카메라 어셈블리 내의 카메라들 사이에 10mm의 간격 거리가 사용될 수 있고 조정될 수 있다. 교정 타깃은 바람직하게는 날카로운 에지를 가지며 교정된 해상도 타깃이다. 각 위치는 다양한 VCM 전류로 스위핑되어 이미지의 중심 영역의 라플라스 분산에 의해 결정된 최고 해상도 점수를 얻는다. 중심 50%에서 중심 10%까지의 관심 영역은 약 50mm 내지 약 200mm의 거리로부터 선형 포맷으로 수행될 수 있다. 교정의 출력 데이터는 초점 곡선(90)을 형성하는 데 사용될 수 있다.
Claims (20)
- 수술용 로봇 시스템으로서,
센서 유닛;
제어기; 및
상기 센서 유닛 및 상기 제어기와 통신하는 로봇 서브시스템을 포함하고, 상기 로봇 서브시스템은:
각각 이의 원위 단부에 엔드 이펙터를 갖는 복수의 로봇 팔;
적어도 2개의 카메라 및 상기 적어도 2개의 카메라 각각의 렌즈의 초점을 자동으로 맞추도록 구성된 자동 초점 유닛을 갖는 카메라 어셈블리를 포함하는, 수술용 로봇 시스템. - 제1항에 있어서,
상기 제어기는 상기 센서 유닛으로부터 수신된 상기 적어도 2개의 카메라 및 상기 복수의 로봇 팔의 상태 정보에 기초하여 원하는 초점 거리를 계산하도록 구성되고,
상기 자동 초점 유닛은 상기 원하는 초점 거리에 기초하여 상기 적어도 2개의 카메라 각각의 렌즈의 초점을 자동으로 맞추도록 구성되는, 수술용 로봇 시스템. - 제2항에 있어서, 상기 상태 정보는 외과 의사의 시야 내에 있는 상기 복수의 로봇 팔의 각각의 카메라로부터 각각의 엔드 이펙터까지의 거리를 포함하는, 수술용 로봇 시스템.
- 제2항에 있어서, 상기 상태 정보는 각각의 카메라 및 상기 각각의 로봇 팔의 엔드 이펙터의 위치 정보 및 배향 정보를 포함하는, 수술용 로봇 시스템.
- 제2항에 있어서, 상기 계산된 원하는 초점 거리에 기초하여, 상기 제어기는 특정 초점 심도에 따라 초점 명령을 결정하도록 구성되는, 수술용 로봇 시스템.
- 제5항에 있어서, 상기 제어기는 상기 초점 명령을 상기 자동 초점 유닛에 송신하도록 구성되고, 이에 응답하여, 상기 자동 초점 유닛은 각각의 카메라의 물리적 초점 거리를 조정하여 상기 각각의 카메라 렌즈의 초점을 맞추도록 구성되는, 수술용 로봇 시스템.
- 제5항에 있어서, 상기 제어기는 초점 데이터의 급격한 변화를 줄이기 위해 상기 원하는 초점 거리를 필터링하도록 구성되는, 수술용 로봇 시스템.
- 제7항에 있어서, 상기 원하는 초점 거리를 필터링하기 위한 필터의 강도는 외과 의사의 머리 움직임의 크기에 기초하여 달라지는, 수술용 로봇 시스템.
- 제2항에 있어서, 상기 적어도 2개의 카메라 각각에 대해 상이한 원하는 초점 거리가 계산되는, 수술용 로봇 시스템.
- 제2항에 있어서, 상기 원하는 초점 거리는 가중 알고리즘을 사용하여 추가로 계산되는, 수술용 로봇 시스템.
- 제10항에 있어서, 각각의 로봇 팔은 상기 가중 알고리즘에서 상이하게 가중되는, 수술용 로봇 시스템.
- 제11항에 있어서, 각각의 로봇 팔의 가중치는 시스템 파라미터에 기초한 함수인, 수술용 로봇 시스템.
- 제12항에 있어서, 각각의 로봇 팔은 복수의 조인트를 포함하는, 수술용 로봇 시스템.
- 제13항에 있어서, 상기 복수의 조인트는 어깨 조인트, 팔꿈치 조인트, 및 손목 조인트를 포함하는, 수술용 로봇 시스템.
- 제14항에 있어서, 상기 시스템 파라미터는 각각의 카메라의 시야에서 각각의 엔드 이펙터의 중심으로부터의 거리, 각각의 엔드 이펙터의 상태, 및 상기 팔꿈치 조인트의 위치를 포함하는, 수술용 로봇 시스템.
- 제2항에 있어서, 초점 조정 속도는 각각의 엔드 이펙터가 타깃 위치로부터 외측으로 이동함에 따라 증가되는, 수술용 로봇 시스템.
- 제2항에 있어서, 초점 조정 속도는 각각의 엔드 이펙터가 타깃 위치를 향해 이동함에 따라 감소되는, 수술용 로봇 시스템.
- 로봇 서브시스템으로서,
각각 이의 원위 단부에 엔드 이펙터를 갖는 복수의 로봇 팔;
카메라 어셈블리를 포함하고, 상기 카메라 어셈블리는:
적어도 2개의 카메라;
제어기; 및
상기 적어도 2개의 카메라 각각의 렌즈의 초점을 자동으로 맞추도록 구성된 자동 초점 유닛을 포함하되,
상기 제어기는 센서 유닛으로부터 수신된 상기 적어도 2개의 카메라 및 상기 복수의 로봇 팔의 상태 정보에 기초하여 원하는 초점 거리를 계산하도록 구성되고,
상기 자동 초점 유닛은 상기 원하는 초점 거리에 기초하여 상기 적어도 2개의 카메라 각각의 렌즈의 초점을 자동으로 맞추도록 구성되는, 로봇 서브시스템. - 제18항에 있어서, 초점 조정 속도는 상기 로봇 팔이 타깃 위치로부터 외측으로 이동할 때 증가되고, 상기 로봇 팔이 상기 타깃 위치를 향해 내측으로 이동할 때 감소되는, 로봇 서브시스템.
- 제18항에 있어서, 상기 상태 정보는, 외과 의사의 시야 내에 있는 상기 복수의 로봇 팔의 각각의 카메라로부터 각각의 엔드 이펙터까지의 거리, 및 상기 적어도 2개의 카메라 및 상기 복수의 로봇 팔의 각각의 엔드 이펙터의 위치 및 배향 정보 중 적어도 하나를 포함하는, 로봇 서브시스템.
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US202163153128P | 2021-02-24 | 2021-02-24 | |
| US63/153,128 | 2021-02-24 | ||
| US202163176634P | 2021-04-19 | 2021-04-19 | |
| US63/176,634 | 2021-04-19 | ||
| PCT/US2022/017649 WO2022182836A1 (en) | 2021-02-24 | 2022-02-24 | System and method for autofocusing of a camera assembly of a surgical robotic system |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20230169103A true KR20230169103A (ko) | 2023-12-15 |
Family
ID=82899987
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020237032707A KR20230169103A (ko) | 2021-02-24 | 2022-02-24 | 수술용 로봇 시스템의 카메라 어셈블리의 자동 초점 조정을 위한 시스템 및 방법 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US20220272272A1 (ko) |
| EP (1) | EP4297658A1 (ko) |
| JP (1) | JP2024508820A (ko) |
| KR (1) | KR20230169103A (ko) |
| CA (1) | CA3209623A1 (ko) |
| WO (1) | WO2022182836A1 (ko) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AU2022249955A1 (en) * | 2021-03-29 | 2023-11-02 | Alcon Inc. | Stereoscopic imaging platform with target locking automatic focusing mode |
| CA3210569A1 (en) * | 2021-03-29 | 2022-10-06 | Patrick Terry | Stereoscopic imaging platform with continuous autofocusing mode |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10555775B2 (en) * | 2005-05-16 | 2020-02-11 | Intuitive Surgical Operations, Inc. | Methods and system for performing 3-D tool tracking by fusion of sensor and/or camera derived data during minimally invasive robotic surgery |
| US8079950B2 (en) * | 2005-09-29 | 2011-12-20 | Intuitive Surgical Operations, Inc. | Autofocus and/or autoscaling in telesurgery |
| US9041791B2 (en) * | 2011-02-01 | 2015-05-26 | Roche Diagnostics Hematology, Inc. | Fast auto-focus in imaging |
| US8672838B2 (en) * | 2011-08-12 | 2014-03-18 | Intuitive Surgical Operations, Inc. | Image capture unit in a surgical instrument |
| US9492065B2 (en) * | 2012-06-27 | 2016-11-15 | Camplex, Inc. | Surgical retractor with video cameras |
| IL221863A (en) * | 2012-09-10 | 2014-01-30 | Elbit Systems Ltd | Digital video photography system when analyzing and displaying |
| KR20140060847A (ko) * | 2012-11-12 | 2014-05-21 | 삼성전기주식회사 | 카메라 모듈 |
| WO2015042483A2 (en) * | 2013-09-20 | 2015-03-26 | Camplex, Inc. | Surgical visualization systems |
| CN111904600A (zh) * | 2014-05-05 | 2020-11-10 | 维卡瑞斯外科手术股份有限公司 | 虚拟现实手术装置 |
| US9392188B2 (en) * | 2014-08-10 | 2016-07-12 | Corephotonics Ltd. | Zoom dual-aperture camera with folded lens |
| WO2016107635A1 (en) * | 2014-12-29 | 2016-07-07 | Metaio Gmbh | Method and system for generating at least one image of a real environment |
| CN109963496B (zh) * | 2016-11-22 | 2022-04-29 | 索尼奥林巴斯医疗解决方案公司 | 显微镜装置和控制方法 |
| US10917543B2 (en) * | 2017-04-24 | 2021-02-09 | Alcon Inc. | Stereoscopic visualization camera and integrated robotics platform |
-
2022
- 2022-02-24 EP EP22760385.9A patent/EP4297658A1/en active Pending
- 2022-02-24 KR KR1020237032707A patent/KR20230169103A/ko unknown
- 2022-02-24 CA CA3209623A patent/CA3209623A1/en active Pending
- 2022-02-24 JP JP2023551778A patent/JP2024508820A/ja active Pending
- 2022-02-24 US US17/680,017 patent/US20220272272A1/en active Pending
- 2022-02-24 WO PCT/US2022/017649 patent/WO2022182836A1/en active Application Filing
Also Published As
| Publication number | Publication date |
|---|---|
| EP4297658A1 (en) | 2024-01-03 |
| US20220272272A1 (en) | 2022-08-25 |
| CA3209623A1 (en) | 2022-09-01 |
| JP2024508820A (ja) | 2024-02-28 |
| WO2022182836A1 (en) | 2022-09-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11284952B2 (en) | Estimation of a position and orientation of a frame used in controlling movement of a tool | |
| CN110325331B (zh) | 医疗支撑臂系统和控制装置 | |
| US20180160035A1 (en) | Robot System for Controlling a Robot in a Tele-Operation | |
| US7843158B2 (en) | Medical robotic system adapted to inhibit motions resulting in excessive end effector forces | |
| US20060100642A1 (en) | Control of robotic manipulation | |
| WO2017169082A1 (ja) | 制御装置及び制御方法 | |
| EP3473202B1 (en) | Robotic system for minimally invasive surgery | |
| WO2018159336A1 (ja) | 医療用支持アームシステムおよび制御装置 | |
| US12106502B2 (en) | System and method for determining depth perception in vivo in a surgical robotic system | |
| US20220272272A1 (en) | System and method for autofocusing of a camera assembly of a surgical robotic system | |
| WO2016152046A1 (en) | Medical support arm device and method of controlling medical support arm device | |
| Iovene et al. | Towards exoscope automation in neurosurgery: A markerless visual-servoing approach | |
| Zinchenko et al. | Virtual reality control of a robotic camera holder for minimally invasive surgery | |
| EP4352740A1 (en) | Systems and methods for clinicalworkspace simulation | |
| US20230028689A1 (en) | System and method for inter-arm registration | |
| US20220361966A1 (en) | Force estimation and visual feedback in surgical robotics | |
| CN117279576A (zh) | 用于对外科机器人系统的相机组件进行自动聚焦的系统和方法 | |
| US20230139425A1 (en) | Systems and methods for optimizing configurations of a computer-assisted surgical system for reachability of target objects | |
| WO2021131344A1 (en) | Computer assisted surgery system, surgical control apparatus and surgical control method | |
| EP4453962A1 (en) | Systems and methods for clinical workspace simulation | |
| Nia Kosari | Haptic Virtual Fixtures for Robotic Surgery | |
| WO2022256172A1 (en) | Systems and methods for clinical workspace simulation | |
| WO2024127276A1 (en) | Systems and methods for creating virtual boundaries in robotic surgical systems | |
| Bihlmaier et al. | Intraoperative robot-based camera assistance |