KR102060390B1

KR102060390B1 - 가상 구속 경계들을 확립하기 위한 시스템

Info

Publication number: KR102060390B1
Application number: KR1020157019252A
Authority: KR
Inventors: 데이비드 진 보울링; 도날드 더블유. 마라코우스키; 조세 루이스 목테수마 데 라 바레라; 패트릭 로에슬러; 제리 에이. 컬프; 존 마이클 스튜어트; 조엘 엔. 비어
Original assignee: 스트리커 코포레이션
Priority date: 2013-03-13
Filing date: 2014-03-12
Publication date: 2019-12-30
Also published as: CA2897873A1; CN104994805B; EP2996611A2; JP6461082B2; WO2014165060A3; US20170143432A1; US20140276943A1; US20220387117A1; WO2014165060A2; AU2014248758A1; US11464579B2; US11918305B2; KR20150127031A; US10512509B2; AU2014248758B2; CN104994805A; EP2996611B1; US20240156542A1; JP2016512084A; US20200085513A1

Abstract

가상 경계들을 확립하고 추적하기 위한 시스템들 및 방법들이 개시된다. 가상 경계들은, 기구(22)가 수술 절차 동안 허용되지 않는 지역들을 묘사할 수 있다. 가상 경계들은, 수술 기구(22)가 수술 절차 동안 허용되는 지역들을 또한 묘사할 수 있다. 가상 경계들은 또한 수술 절차 동안 기구(22)에 의해 치료되거나 기구(22)에 의해 회피될 대상들 또는 구조들(F, T)을 식별할 수 있다.

Description

가상 구속 경계들을 확립하기 위한 시스템{SYSTEM FOR ESTABLISHING VIRTUAL CONSTRAINT BOUNDARIES}

본 출원은 그 전체 내용이 본 명세서에 참고용으로 병합되는 2013년 3월 13일에 출원된 미국 가특허 출원 번호 61/780,148의 우선권 및 이익을 주장한다.

본 발명은 일반적으로 가상 경계들을 확립하고 추적하기 위한 시스템들 및 방법들에 관한 것이다.

로봇형 수술에서, 가상 경계들은, 단부 이펙터(end effector)가 제약되는 영역들로부터 로봇 시스템의 단부 이펙터가 조종할 수 있는 영역들을 묘사하기 위해 컴퓨터 보조 설계 소프트웨어를 이용하여 생성된다. 예를 들어, 정형 외과 수술에서, 가상 절개 경계는 수술 이후에 남아있을 뼈의 섹션들로부터 수술 동안 단부 이펙터에 의해 제거될 뼈의 섹션들을 묘사하도록 생성될 수 있다.

항해 시스템은 가상 절개 경계에 대한 단부 이펙터의 위치 및/또는 방향을 결정하기 위해 가상 절개 경계에 대한 단부 이펙터의 이동을 추적한다. 로봇형 시스템은, 단부 이펙터가 가상 절개 경계를 지나 이동하지 않도록 단부 이펙터의 이동을 안내하기 위해 항해 시스템과 협력한다.

일반적으로, 가상 절개 경계들은 수술 이전에 생성된다. 가상 절개 경계들은 종종 환자의 뼈의 모델에 생성되고, 뼈에 대해 고정되어, 모델이 항해 시스템에 로딩될 때, 항해 시스템은 뼈의 이동을 추적함으로써 가상 절개 경계의 이동을 추적할 수 있다.

가상 경계들은 수술 동안 단부 이펙터에 의해 회피될 다른 해부학적 특징들을 한정할 수 있다. 그러한 특징들은 단부 이펙터와의 접촉으로부터 보호될 신경들 또는 다른 유형들의 조직을 포함한다. 가상 경계들은 또한 단부 이펙터를 치료되는 해부학적 구조로 향하게 하는 가상 경로들을 제공하는데 사용된다. 가상 경계들의 이들 예들은 종종 치료되는 해부학적 구조에 관계로 고정되어, 모든 경계들은 해부학적 구조가 이동함에 따라 함께 추적된다. 하지만, 수술실에서 몇몇 해부학적 특징들 또는 다른 대상들은 치료되는 해부학적 구조에 대해 이동할 수 있다. 예를 들어, 단부 이펙터에 대한 조직에서 개구부를 제공하는데 사용된 견인기들(retractors)은 치료되는 해부학적 구조에 대해 이동할 수 있다. 적절한 동적 가상 구속 경계를 이용하여 적절하게 추적되지 않으면, 단부 이펙터는 견인기들에 예기치 않게 충돌할 수 있다. 그 결과, 단부 이펙터는 손상을 입을 수 있거나 동작 불능(inoperative) 상태가 될 수 있고, 견인기는 그 위치로부터 퇴각될 수 있다.

다른 일반적인 추적되지 않는 대상들은 또한 단부 이펙터에 의해 회피되어야 하는 단부 이펙터에 근접할 수 있고, 또한 치료되는 해부학적 구조에 대해 이동될 수 있다. 그러므로, 그러한 대상들을 위한 동적 가상 경계들을 생성하기 위한 시스템들 및 방법들이 종래 기술에 필요하다.
또한, 본 발명은 가상 경계들을 확립하고 추적하기 위한 시스템들 및 방법들을 제공함에 그 목적이 있다.

본 발명의 일실시예에서, 기구의 이동을 안내하기 위해 복수의 동적 가상 경계들을 이용하는 시스템이 제공된다. 시스템은 기구의 이동을 추적하기 위한 기구 추적 디바이스를 포함한다. 시스템은 또한 복수의 가상 경계들 중 제1 가상 경계의 이동을 추적하기 위한 제1 경계 추적 디바이스를 포함하고, 제1 가상 경계는 치료되는 해부학적 구조와 연관된다. 시스템은 복수의 가상 경계들 중 제2 가상 경계의 이동을 추적하기 위한 제2 경계 추적 디바이스를 더 포함하고, 제2 가상 경계는 기구에 의해 회피될 대상과 연관된다. 제어기는 제1 및 제2 가상 경계들에 대한 기구의 위치들을 포함하는 추적 디바이스들과 연관된 정보를 수신하도록 구성된다. 제어기는, 제1 및 제2 가상 경계들이 서로에 대해 이동될 때 제1 및 제2 가상 경계들 각각에 대한 기구의 이동을 안내하도록 구성된다.

본 발명의 다른 실시예에서, 기구의 이동을 안내하기 위해 복수의 동적 가상 경계들을 이용하기 위한 방법이 제공된다. 방법은 치료될 해부학적 구조와 연관된 제1 가상 경계 및 기구의 이동을 추적하는 단계를 포함한다. 방법은 제1 가상 경계에 대해 제2 가상 경계의 이동을 추적하는 단계를 더 포함하고, 제2 가상 경계는 기구에 의해 회피될 대상과 연관된다. 기구의 이동은, 제1 및 제2 가상 경계들이 서로에 대해 이동할 때 제1 및 제2 가상 경계들 각각에 대해 안내된다.

이들 실시예들의 하나의 장점은 기구를 추적하는 것 외에도, 해당 해부학적 구조에 대해 이동할 수 있는 대상들(다른 툴들 또는 해부학적 구조와 같은)을 동적으로 추적할 수 있는 능력이다. 제2 가상 경계는 해부학적 구조와 연관된 제1 가상 경계에 대한 이동을 위해 추적되는 가상 구속 경계 또는 다른 유형의 가상 경계일 수 있다.

본 발명의 장점들은 이들이 첨부도들과 연계하여 고려될 때 다음의 상세한 설명을 참조하여 더 잘 이해될 때 쉽게 인식될 것이다.

본 발명은 가상 경계들을 확립하고 추적하기 위한 시스템들 및 방법들을 제공하는 효과가 있다.

도 1은 로봇형 시스템과 연계하여 사용되는 본 발명의 항해 시스템의 사시도.
도 2는 항해 시스템의 개략도.
도 3은 항해 시스템에 사용된 좌표 시스템들의 개략도.
도 4는 로봇형 시스템의 단부 이펙터에 의해 무릎 관절에 액세스하기 위한 조직 개구부의 사시도.
도 5는 조직 개구부를 유지하는데 사용되는 다리 홀더 및 견인기 조립체의 분해도.
도 6은 견인기의 상부 사시도.
도 7은 대안적인 견인기의 상부 사시도.
도 8은 조직 개구부의 이동을 추적하기 위해 조직 개구부에서의 단부 이펙터 및 유연한 형태의 감지 디바이스를 도시한 조직 개구부의 상부 사시도.
도 9는 조직 개구부의 이동을 추적하기 위해 조직 개구부에서의 단부 이펙터 및 기계 시각 시스템을 도시한 조직 개구부의 상부 사시도.

도 1을 참조하면, 수술용 항해 시스템(20)이 도시된다. 시스템(20)은 의료용 설비의 수술실과 같은 수술적 세팅(surgical setting)에 도시된다. 항해 시스템(20)은 수술실에서 다양한 대상들의 이동을 추적하도록 설정된다. 그러한 대상들은 예를 들어, 수술용 기구(22), 환자의 대퇴골(F), 및 환자의 경골(T)을 포함한다. 항해 시스템(20)은 그 상대적인 위치들 및 방향들을 의사에게 디스플레이하기 위해, 그리고 몇몇 경우들에서, 대퇴골(F) 및 경골(T)과 연관된 가상 절개 경계들에 대해 수술용 기구(22)의 이동을 제어하거나 구속하기 위해 이들 대상들을 추적한다.

수술용 항해 시스템(20)은 항해 컴퓨터(26)를 수용하는 컴퓨터 카트 조립체(24)를 포함한다. 항해 인터페이스는 항해 컴퓨터(26)와 동작가능하게 통신 상태에 있다. 항해 인터페이스는 살균장의 외부에 위치되도록 적응된 제1 디스플레이(28)와, 살균장 내부에 위치되도록 적응된 제2 디스플레이(29)를 포함한다. 디스플레이들(28, 29)은 컴퓨터 카트 조립체(24)에 조정가능하게 장착된다. 키보드 및 마우스와 같은 제1 및 제2 입력 디바이스들(30, 32)은 정보를 항해 컴퓨터(26)에 입력하는데 사용될 수 있거나, 그렇지 않으면 항해 컴퓨터(26)의 특정한 양상들을 선택/제어하는데 사용될 수 있다. 터치 스크린(미도시) 또는 음성-작용을 포함하는 다른 입력 디바이스들이 구상된다.

로컬라이저(localizer)(34)는 항해 컴퓨터(26)와 통신한다. 도시된 실시예에서, 로컬라이저(34)는 광학 로컬라이저이고, 카메라 유닛(36)(감지 디바이스의 일례)을 포함한다. 카메라 유닛(36)은 하나 이상의 광학 위치 센서들(40)을 수용하는 외부 케이스(casing)(38)를 갖는다. 몇몇 실시예들에서, 적어도 2개의 광학 센서들(40), 바람직하게 3개의 광학 센서들이 이용된다. 광학 센서들(40)은 3개의 개별적인 전하-결합 디바이스들(CCD)일 수 있다. 일실시예에서, 3개의 1차원 CCD가 이용된다. 다른 실시예들에서, 각각 개별적인 CCD, 또는 2개 이상의 CCD들을 갖는 개별적인 카메라 유닛들이 또한 수술실 주위에 배치될 수 있다는 것이 인식되어야 한다. CCD들은 적외선(IR) 신호를 검출한다.

카메라 유닛(36)은, 이상적으로 장애물들이 없는 아래에 논의되는 추적기들의 시야를 갖는 광학 센서들(40)을 위치시키기 위해 조정가능한 아암 상에 장착된다. 몇몇 실시예들에서, 카메라 유닛(36)은 회전 조인트 주위를 회전함으로써 적어도 하나의 자유도로 조정가능하다. 다른 실시예들에서, 카메라 유닛(36)은 약 2개 이상의 자유도로 조정가능하다.

카메라 유닛(36)은 광학 센서들(40)로부터 신호를 수신하기 위해 광학 센서들(40)과 통신하는 카메라 제어기(42)를 포함한다. 카메라 제어기(42)는 유선 또는 무선 연결부(미도시)를 통해 항해 컴퓨터(26)와 통신한다. 하나의 그러한 연결부는 IEEE 1394 인터페이스일 수 있고, 이것은 고속 통신 및 비동기 실시간 데이터 전달을 위한 직렬 버스 인터페이스 표준이다. 연결부는 또한 회사 특정 프로토콜을 이용할 수 있다. 다른 실시예들에서, 광학 센서들(40)은 항해 컴퓨터(26)와 직접 통신한다.

위치 및 방향 신호 및/또는 데이터는 대상들을 추적하기 위해 항해 컴퓨터(26)에 전송된다. 컴퓨터 카트 조립체(24), 디스플레이(28), 및 카메라 유닛(36)은 본 명세서에 참고용으로 병합된 "수술 시스템(Surgery System)"이라는 명칭으로 2010년 5월 25일에 특허 허여된 Malackowski 등의 미국 특허 번호 7,725,162에 기재된 것들과 같을 수 있다.

항해 컴퓨터(26)는 개인용 컴퓨터 또는 랩탑 컴퓨터일 수 있다. 항해 컴퓨터(26)는 디스플레이(28), 중앙 처리 유닛(CPU) 및/또는 다른 프로세스들, 메모리(미도시), 및 저장부(미도시)를 갖는다. 항해 컴퓨터(26)는 아래에 기재되는 소프트웨어를 통해 로딩된다. 소프트웨어는 카메라 유닛(36)으로부터 수신된 신호를 추적되는 대상들의 위치 및 방향을 나타내는 데이터로 변환한다.

항해 시스템(20)은 또한 본 명세서에서 추적기들로 언급되는 복수의 추적 디바이스들(44, 46, 48)을 포함한다. 예시된 실시예에서, 하나의 추적기(44)는 환자의 대퇴부(F)에 단단히 부착되고, 다른 추적기(46)는 환자의 경골(T)에 단단히 부착된다. 추적기들(44, 46)은 뼈의 섹션들에 단단히 부착된다. 추적기들(44, 46)은 본 명세서에 참고용으로 병합되는 미국 특허 번호 7,725,162에 도시된 방식으로 대퇴부(F) 및 경골(T)에 부착될 수 있다. 추적기들(44, 46)은 또한 본 명세서에 참고용으로 병합되는, "추적 디바이스들 및 항해 시스템들과, 그 이용 방법들(Tracking Devices and Navigation Systems and Methods for Use Thereof)"라는 명칭으로 2013년 1월 16일에 출원된 미국 가특허 출원 61/753,219에 도시된 것들과 같이 장착될 수 있다. 추가 실시예들에서, 추적기(미도시)는 슬개골의 위치 및 방향을 추적하기 위해 슬개골에 부착된다. 또 다른 실시예들에서, 추적기들(44, 46)은 해부학적 구조의 다른 조직 유형들 또는 부분들에 장착될 수 있다.

기구 추적기(48)는 수술용 기구(22)에 단단히 부착된다. 기구 추적기(48)는 제조 동안 수술용 기구(22)에 일체화될 수 있거나, 수술 절차들을 준비할 때 수술용 기구(22)에 개별적으로 장착될 수 있다. 기구 추적기(48)로 인해 추적되는 수술용 기구(22)의 작업 단부(working end)는 회전 버(bur), 전기 절제 디바이스 등일 수 있다.

추적기들(44, 46, 48)은 내부 배터리를 통해 전력 공급된(powered) 배터리일 수 있거나, 카메라 유닛(36)과 같이 바람직하게 외부 전력을 수용하는 항해 컴퓨터(26)를 통해 전력을 수용하도록 리드들(leads)을 가질 수 있다.

도시된 실시예에서, 수술용 기구(22)는 수술용 조절기(manipulator)에 부착된다. 그러한 장치(arrangement)는, 그 개시가 본 명세서에 참고용으로 병합되는, "다중 모드들로 수술용 기구를 제어할 수 있는 수술용 조절기(Surgical Manipulator Capable of Controlling a Surgical Instrument in Multiple Modes)"라는 명칭의 미국 특허 출원 13/958,070에 도시되어 있다.

다른 실시예들에서, 수술용 기구(22)는 임의의 절개 가이드, 지그(jig)의 도움없이 사용자의 손으로만 수동으로 위치될 수 있거나, 조절기 또는 로봇과 같은 다른 구속 메커니즘에 의해 수동으로 위치될 수 있다. 그러한 수술용 기구는 본 명세서에 참고용으로 병합된, "하우징과, 하우징으로부터 연장하는 절개 액세서리, 및 하우징에 대해 절개 액세서리의 위치를 확립하는 엑추에이터들을 포함하는 기구(Sugical Instrument Including Housing, a Cutting Accessory that Extends from the Housing and Actuators that Establish the Position of the Cutting Accessory Relative to the Housing)"이라는 명칭으로 2012년 8월 31일에 출원된 미국 특허 출원 13/600,888에 기재되어 있다.

로컬라이저(34)의 광학 센서들(40)은 추적기들(44, 46, 48)로부터 광 신호를 수신한다. 예시된 실시예에서, 추적기들(44, 46, 48)은 능동 추적기들이다. 이 실시예에서, 각 추적기(44, 46, 48)는 광 신호를 광학 센서들(40)에 전송하기 위한 적어도 3개의 능동 추적 요소들 또는 마커들을 갖는다. 능동 마커들은 예를 들어, 적외선 광과 같은 광을 투과하는 발광 다이오드 즉 LED(50)일 수 있다. 광학 센서들(40)은 바람직하게 100Hz 이상, 더 바람직하게 300Hz 이상, 가장 바람직하게 500Hz 이상의 샘플링 율을 갖는다. 몇몇 실시예들에서, 광학 센서들(40)은 8000Hz의 샘플링 율을 갖는다. 샘플링 율은, 광학 센서들(40)이 순차적으로 발사된 LED들(50)로부터 광 신호를 수신하는 비율이다. 몇몇 실시예들에서, LED들(50)로부터의 광 신호는 각 추적기(44, 46, 48)에 대해 상이한 비율로 발사된다.

도 2을 참조하면, 각 LED들(50)은 데이터를 항해 컴퓨터(26)로/로부터 전송/수신하는 연관된 추적기(44, 46, 48)의 하우징(미도시)에 위치된 추적기 제어기(62)에 연결된다. 일실시예에서, 추적기 제어기(62)는 항해 컴퓨터(26)와의 유선 연결부들을 통해 약 수 메가바이트/초로 데이터를 전송한다. 다른 실시예들에서, 무선 연결부가 사용될 수 있다. 이들 실시예들에서, 항해 컴퓨터(26)는 추적기 제어기(62)로부터 데이터를 수신하기 위해 트랜시버(미도시)를 갖는다.

다른 실시예들에서, 추적기(44, 46,48)는 카메라 유닛(36)으로부터 방출된 광을 반사하는 반사기들과 같은 수동 마커들(미도시)을 가질 수 있다. 반사된 광은 이 후 광학 센서들(40)에 의해 수신된다. 능동 및 수동 장치들이 종래 기술에 잘 알려져 있다.

몇몇 실시예들에서, 추적기들(44, 46, 48)은 또한 본 명세서에 참고용으로 병합된, "추적 디바이스들 및 항해 시스템들과, 그 이용 방법들(Tracking Devices and Navigation Systems and Methods for Use Thereof)"라는 명칭으로 2013년 1월 16일에 출원된 미국 가특허 출원 61/753,219에 도시된 추적기들과 같이 자이로스코프 센서(60) 및 가속도계(70)를 포함한다.

항해 컴퓨터(26)는 항해 프로세서(52)를 포함한다. 항해 프로세서(52)가 항해 컴퓨터(26)의 동작을 제어하기 위해 하나 이상의 프로세서들을 포함할 수 있다는 것이 이해되어야 한다. 프로세서들은 임의의 유형의 마이크로프로세서 또는 다중-프로세서 시스템일 수 있다. 프로세서라는 용어는 본 발명의 범주를 단일 프로세서에 제한하도록 의도되지 않는다.

카메라 유닛(36)은 추적기들(44, 46, 48)의 LED들(50)로부터 광학 신호를 수신하고, 로컬라이저(34)에 대해 추적기들(44, 46, 48)의 LED들(50)의 위치에 관련된 신호를 프로세서(52)로 출력한다. 수신된 광학(및 몇몇 실시예들에서 비-광학 신호)에 기초하여, 항해 프로세서(52)는 로컬라이저(34)에 대한 추적기들(44, 46, 48)의 상대적인 위치들 및 방향들을 표시하는 데이터를 생성한다.

수술 절차의 시작 이전에, 추가 데이터는 항해 프로세서(52)에 로딩된다. 추적기들(44, 46, 48)의 위치 및 방향과 이전에 로딩된 데이터에 기초하여, 항해 프로세서(52)는 수술용 기구(22)의 작업 단부의 위치와, 작업 단부가 적용될 조직에 대한 수술용 기구(22)의 방향을 결정한다. 몇몇 실시예들에서, 항해 프로세서(52)는 이들 데이터를 조절기 제어기(54)에 송출한다. 조절기 제어기(54)는 이 후, 그 개시가 본 명세서에 참고용으로 병합되는, "반-자동 모드 또는 수동, 경계 구속 모드로 수술용 기구를 제어할 수 있는 수술용 조절기(Surgical Manipulator Capable of Controlling a Surgical Instrument in either a Semi-Autonomous Mode or a Manual, Boundary Constrained Mode,)"라는 명칭의 미국 가특허 출원 61/679,258에 기재된 바와 같이 로봇형 조절기(56)를 제어하기 위해 데이터를 이용할 수 있다.

항해 프로세서(52)는 또한 조직에 대한 수술용 기구 작업 단부의 상대적인 위치를 표시하는 이미지 신호를 생성한다. 이들 이미지 신호는 디스플레이들(28, 29)에 적용된다. 이들 신호에 기초하여 디스플레이들(28, 29)은, 의사 및 스태프가 수술 부위에 대한 수술용 기구 작업 단부의 상대적인 위치를 볼 수 있도록 하는 이미지들을 생성한다. 전술한 바와 같이, 디스플레이들(28, 29)은 명령들의 입력을 허용하는 터치 스크린 또는 다른 입력/출력 디바이스를 포함할 수 있다.

도 3을 참조하면, 대상둘의 추적은 일반적으로 로컬라이저 좌표 시스템(LCLZ)을 참조하여 수행된다. 로컬라이저 좌표 시스템은 원점 및 방향(x-, y-, 및 z-축들의 세트)을 갖는다. 절차 동안, 하나의 목적은 로컬라이저 좌표 시스템(LCLZ)을 알려진 위치에 유지하는 것이다. 카메라 유닛(36)에 장착된 가속도계(미도시)는, 카메라 유닛(36)이 수술 요원에 의해 예기치 않게 부딪힐 때 발생할 수 있는 바와 같이, 로컬라이저 좌표 시스템(LCLZ)의 갑작스런 또는 돌발적인 이동을 추적하는데 사용될 수 있다.

각 추적기(44, 46, 48) 및 추적될 대상은 또한 로컬라이저 좌표 시스템(LCLZ)으로부터 분리된 자체 좌표 시스템을 갖는다. 자체 좌표 시스템들을 갖는 항해 시스템(20)의 구성요소들은 뼈 추적기들(44, 46) 및 기구 추적기(48)이다. 이들 좌표 시스템들은 각각 뼈 추적기 좌표 시스템들(BTRK1, BTRK2), 및 기구 추적기 좌표 시스템(TLTR)으로서 나타난다.

항해 시스템(20)은 뼈에 단단히 부착된 뼈 추적기들(44, 46)의 위치를 모니터링함으로써 환자의 대퇴부(F) 및 경골(T)의 위치들을 모니터링한다. 대퇴부 좌표 시스템은 FBONE이고, 경골 좌표 시스템은 TBONE인데, 이들은, 뼈 추적기들(44, 46)이 단단히 부착되는 뼈들의 좌표 시스템들이다.

절차의 시작 이전에, 대퇴부(F) 및 경골(T)의(또는, 다른 실시예들에서 다른 조직들의) 사전-동작 이미지들이 생성된다. 이들 이미지들은 환자의 해부학적 구조의 MRI 스캔들, 방사선 스캔들 또는 컴퓨터 단층 촬영(CT) 스캔들에 기초할 수 있다. 이들 이미지들은 종래 기술에 잘 알려진 방법들을 이용하여 대퇴부 좌표 시스템(FBONE) 및 경골 좌표 시스템(TBONE)에 매핑(mapped)된다. 이들 이미지들은 대퇴부 좌표 시스템(FBONE) 및 경골 좌표 시스템(TBONE)에 고정된다. 사전-동작 이미지들에 대한 대안으로서, 치료를 위한 계획들은 운동학적 연구들, 뼈 트레이싱(tracing), 및 다른 방법들로부터 수술실(OR)에서 전개될 수 있다.

절차의 초기 단계 동안, 뼈 추적기들(44, 46)은 환자의 뼈들에 단단히 부착된다. 좌표 시스템들(FBONE 및 TBONE)의 포즈(위치 및 방향)는 각각 좌표 시스템들(BTRK1 및 BTRK2)에 매핑된다. 일실시예에서, 자체 추적기(PT)(도 2를 참조)를 갖는, 본 명세서에 참고용으로 병합되는 Malackowski 등의 미국 특허 번호 7,725,162에 개시된 것과 같은 포인터 기구(P)(도 1 및 도 2를 참조)는 각각 대퇴부 좌표 시스템(FBONE) 및 경골 좌표 시스템(TBONE)을 뼈 추적기 좌표 시스템들(BTRK1 및 BTRK2)에 등록하는데 사용될 수 있다. 뼈들과 뼈 추적기들(44, 46) 사이의 고정된 관계가 주어지면, 대퇴부 좌표 시스템(FBONE) 및 경골 좌표 시스템(TBONE)에서 대퇴부(F) 및 경골(T)의 위치들 및 방향들은 뼈 추적기 좌표 시스템들(BTRK1 및 BTRK2)로 변형될 수 있어서, 카메라 유닛(36)은 뼈 추적기들(44, 46)을 추적함으로써 대퇴부(F) 및 경골(T)을 추적할 수 있다. 이러한 포즈-기재 데이터는 조절기 제어기(54) 및 항해 프로세서(52) 모두와 일체형인 메모리에 저장된다.

수술용 기구(22)의 작업 단부(또한 에너지 적용기 말단 단부로 언급됨)는 자체 좌표 시스템(EAPP)을 갖는다. 좌표 시스템(EAPP)의 원점은 예를 들어, 수술용 절개 버의 질량 중심을 나타낼 수 있다. 좌표 시스템(EAPP)의 포즈는 절차가 시작하기 전에 기구 추적기 좌표 시스템(TLTR)의 포즈에 고정된다. 따라서, 서로에 대한 이들 좌표 시스템들(EAPP, TLTR)의 포즈들이 결정된다. 포즈-기재 데이터는 조절기 제어기(54) 및 항해 프로세서(52) 모두와 일체형인 메모리에 저장된다.

도 2를 참조하면, 국부화(localization) 엔진(100)은 항해 시스템(20)의 고려된 부분일 수 있는 소프트웨어 모듈이다. 국부화 엔진(100)의 구성요소들은 항해 프로세서(52) 상에서 실행된다. 본 발명의 몇몇 버전들에서, 국부화 엔진(100)은 조절기 제어기(54) 상에서 실행될 수 있다.

국부화 엔진(100)은 카메라 제어기(42)로부터 광학-기반의 신호를 입력으로서 수신하고, 몇몇 실시예들에서, 추적기 제어기(62)로부터 비-광학 기반의 신호를 수신한다. 이들 신호에 기초하여, 국부화 엔진(100)은 로컬라이저 좌표 시스템(LCLZ)에서의 뼈 추적기 좌표 시스템(BTRK1 및 BTRK2)의 포즈를 결정한다. 기구 추적기(48)를 위해 수신된 동일한 신호에 기초하여, 국부화 엔진(100)은 로컬라이저 좌표 시스템(LCLZ)에서의 기구 추적기 좌표 시스템(TLTR)의 포즈를 결정한다.

국부화 엔진(100)은 추적기들(44, 46, 48)의 포즈를 나타내는 신호를 좌표 변형기(102)로 송출한다. 좌표 변형기(102)는 항해 프로세서(52) 상에서 실행되는 항해 시스템 소프트웨어 모듈이다. 좌표 변형기(102)는 환자의 사전-동작 이미지들과 뼈 추적기들(44, 46) 사이의 관계를 한정하는 데이터를 참조한다. 좌표 변형기(102)는 또한 기구 추적기(48)에 대해 수술용 기구의 작업 단부의 포즈를 나타내는 데이터를 저장한다.

절차 동안, 좌표 변형기(102)는 로컬라이저(34)에 대한 추적기들(44, 46, 48)의 상대적인 포즈들을 나타내는 데이터를 수신한다. 이들 데이터 및 이전에 로딩된 데이터에 기초하여, 좌표 변형기(102)는 로컬라이저 좌표 시스템(LCLZ)에 대한 좌표 시스템(EAPP), 및 뼈 좌표 시스템들(FBONE 및 TBONE) 모두의 상대 위치 및 방향을 나타내는 데이터를 생성한다.

그 결과, 좌표 변형기(102)는, 기구 작업 단부가 적용되는 조직(예를 들어, 뼈)에 대한 수술용 기구(22)의 작업 단부의 위치 및 방향을 나타내는 데이터를 생성한다. 이들 데이터를 나타내는 이미지 신호는 디스플레이들(28, 29)에 송출되어, 의사 및 스태프가 이 정보를 볼 수 있게 한다. 특정 실시예들에서, 이들 데이터를 나타내는 다른 신호는 조절기(56) 및 수술용 기구(22)의 대응하는 이동을 안내하기 위해 조절기 제어기(54)에 송출될 수 있다.

환자를 치료하기 위해 수술용 기구(22)를 이용하기 전에, 환자를 드레이핑(draping)하는 것과 치료를 위해 수술 부위를 준비하는 것과 같은 특정한 준비들이 필요하다. 예를 들어, 무릎 인공 관절 수술시, 수술 요원은 다리 홀더에서 해당 다리를 고정할 수 있고, 환자 및 기기를 드레이핑할 수 있다. 하나의 그러한 다리 홀더는 본 명세서에 참고용으로 병합된, 미국 특허 출원 공보 2013/0019883으로서 공개된 "다중-위치 림 홀더(Multi-position Limb Holder)"라는 명칭의 미국 특허 출원 13/554,010에 도시되어 있다.

다른 준비들은 수술실에서 수술을 위해 필요한 대상들을 위치시키는 것을 포함한다. 이들 대상들 중 몇몇은, 수술 기구(22)가 조종될 영역들에 근접하게 사용된다. 이들 대상들은 다리 홀더들, 견인기들, 흡입/세정 툴들, 수술 요원 등을 포함할 수 있다. 수술 동안, 이들 대상들은 수술용 기구(22)에 의해 회피될 것이다. 수술 동안 이들 대상들의 회피를 용이하게 하기 위해, 이들 대상들 중 하나 이상에 대한 위치 정보는 직접적으로 또는 간접적으로 결정된다. 몇몇 실시예들에서, 대상들 중 하나 이상은 수술 동안 항해 시스템(20)에 의해 동적으로 추적된다.

도 4를 참조하면, 일실시예에서, 위치 정보는 포인터 기구(P)를 이용하여 대상으로부터 간접적으로 얻어질 수 있고, 그 예는 본 명세서에 참고용으로 병합된 Malackowski 등의 미국 특허 번호 7,725,162에 개시되어 있다. 포인터(P)는 추적기들(44, 46, 48)과 동일한 방식으로 신호를 카메라 유닛(36)에 전송하는 LED들(50)을 갖는 자체 추적기(PT)를 갖는다. 포인터(P)의 팁의 위치는 포인터(P) 상의 LED들(50)에 상대적으로 알려져 있고, 트랜시버들을 통해 나중에 카메라 유닛(36)에 전송하기 위해 전자 포맷으로 포인터(P)에 저장된다. 대안적으로, 팁에 대한 위치 정보는 항해 컴퓨터(26)에 저장되거나, 해당 분야에서 알려진 장소에서 교정된다. 어느 경우에서도, 팁 위치가 알려져 있기 때문에, 포인터(P)는 수술용 기구(22)에 의해 회피될 대상들의 위치들을 결정하는데 사용될 수 있다.

일단 팁이 대상의 특정 표면들을 터치하면, 포인터(P) 상의 트리거 또는 스위치(미도시)는 사용자에 의해 작동되거나, 대안적으로, 팁은 표면과 접촉할 때 자동으로 감지하는 센서를 포함할 수 있다. 대응하는 신호는 포인터 추적기(PT) 상의 LED들(50)로부터 신호를 판독하기 위해 카메라 유닛(36) 상의 트랜시버로 송신되어, 팁의 위치는 교정될 수 있고, 이것은 대상의 표면 상의 포인트에 상관된다. 표면 상의 더 많은 포인트들이 팁에 의해 터치되고 그 위치들이 항해 시스템(20)에 의해 교정되기 때문에, 대상의 모델들은 로컬라이저 좌표 시스템(LCLZ)에서 대상의 위치 및 방향을 한정하도록 생성될 수 있다. 그러한 모델들은 종래의 표면 매핑 툴들 등을 이용하여 생성될 수 있다.

생성된 모델들은 수술용 기구(22)의 이동을 안내하기 위해 가상 구속 경계들로서 이용된다. 모델들은 대상들의 장소들을 보기 위해 디스플레이들(28, 29) 상에서 디스플레이될 수 있고, 및/또는 모델들에 관련된 정보는 대상이 수술용 기구(22)에 의해 접촉되는 것을 방지하기 위해 이들 가상 구속 경계들에 관한 조절기(56) 및 수술용 기구(22)의 대응하는 이동을 안내하기 위해 조절기 제어기(54)에 송출될 수 있다.

대상이 수술 동안 고정적일 때, 위치 및/또는 방향을 결정하는 상기 방법은 가상 구속 경계를 제공하는데 적합하거나, 추적될 대상이 고정적이지 않으면, 다른 추적된 대상에 관한 고정된 장소에서 적합하다. 하지만, 대상이 일반적으로 수술 동안 이동하면, 대상의 연속적인 추적을 가능하게 하기 위해 추가 조치들이 필요하다. 몇몇 실시예들에서, 장착 가능 추적기들(110)은 대상들에 장착될 수 있다. 이들 추적기들(110)은 대상들에 대해 포괄적일 수 있어서, 대상들에 교정되지 않을 수 있다. 이 경우에, 추적기들(110)은 먼저 대상들에 부착된다.

하나의 그러한 대상은 도 4에 도시된 견인기 조립체들(104)과 같은 견인기일 수 있다. 추적기들(110)은 본 명세서에서 참고용으로 병합된 Malackowski 등의 미국 특허 7,725,162에 도시된 것들과 같이 견인기 조립체들(104) 상에 위치된 추적기 연결기에 의해 견인기 조립체들(104)에 부착될 수 있거나, 추적기들(110)은 추적기들(110)을 견인기 조립체들(104)에 고정하기 위해 종래의 패스너들 또는 클램프들을 통해 장착될 수 있다. 사용될 수 있는 견인기 조립체들의 예들은 본 명세서에 참고용으로 병합된, 미국 특허 출원 공보 2013/0019883으로서 공개된 "다중-위치 림 홀더(Multi-position Limb Holder)"의 명칭의 미국 특허 출원 13/554,010에 도시된다. 일단 추적기(110)가 견인기 조립체(104)에 고정되면, 포인터(P)는 견인기 조립체(104) 상에 표면들 또는 다른 포인트들을 등록하는데 사용될 수 있다. 각 추적기(110)는 추적기들(44, 46, 48)과 동일한 방식으로 신호를 카메라 유닛(36)에 전송하는 3개 이상의 LED들(미도시)을 포함한다. 카메라 유닛(36) 및/또는 항해 컴퓨터(26)는 이 후 로컬라이저 좌표 시스템(LCLZ)에서 각 LED들의 위치를 결정할 수 있다. 카메라 유닛(36)이 추적기(110) 상의 LED들로부터 신호를 수신하지만, 포인터(P)는 견인기 조립체(104) 상의 여러 포인트들 상에 터치하는데 사용되고, 포인터 추적기(PT)를 이용하여 포인터(P)로부터 위치 정보를 결정하기 위해 대응하는 신호를 카메라 유닛(36)에 송신하는데 사용된다. 이것은, 항해 컴퓨터(26)가 견인기 조립체(104) 상의 포인트들을 추적기(110) 상의 LED들의 위치들과 연관시키도록 한다. 그런 후에, 항해 프로세서(52)에 의해 실행된 경계 생성 소프트웨어 모듈(미도시)을 통해, 견인기 조립체(104)와 연관되고 추적기(110)를 통해 동적으로 추적가능한 가상 구속 경계가 생성될 수 있다.

몇몇 실시예들에서, 경계는 각 캡처된 포인트들을 함께 연결함으로써 생성될 수 있다. 이것은 표면 경계를 한정하는 웹(web) 또는 메쉬(mesh)를 생성한다. 2개의 포인트들만이 캡처되면, 경계는 포인트들 사이의 라인일 수 있다. 3개의 포인트들이 캡처되면, 경계는 인접한 포인트들을 연결하는 라인들에 의해 형성된 삼각형일 수 있다. 디스플레이들(28, 29)은 생성된 경계의 형태의 시각적 피드백을 제공하는데 사용될 수 있다. 입력 디바이스들, 예를 들어 마우스, 터치 스크린, 등은 경계를 시프팅(shifting)하는 것, 경계를 확대하거나 수축하는 것, 경계의 형태를 변화시키는 것 등과 같이 경계를 변형하는데 사용될 수 있다. 일단 생성되면, 경계는, 그 개시가 본 명세서에 참고용으로 병합되는, "반-자동 모드 또는 수동, 경계 구속 모드로 수술용 기구를 제어할 수 있는 수술용 조절기(Surgical Manipulator Capable of Controlling a Surgical Instrument in either a Semi-Autonomous Mode or a Manual, Boundary Constrained Mode,)"라는 명칭의 미국 가특허 출원 61,679,258에 기재된 로봇형 제어 기능에 따라 수술용 기구(22)가 이동되는 것을 방지하는 가상 구속 경계로서 경계 생성 소프트웨어 모듈에 한정될 수 있다. 조절기 제어기(54)는 또한 가상 구속 경계의 이동을 연속적으로 추적할 수 있고, 가상 구속 경계가 이동할 때 수술용 기구(22)의 경로 및/또는 방향을 연속적으로 조정할 수 있어서, 가상 구속 경계를 회피하게 된다.

가상 구속 경계는 또한 그 개시가 본 명세서에 참고용으로 병합되는, "반-자동 모드 또는 수동, 경계 구속 모드로 수술용 기구를 제어할 수 있는 수술용 조절기(Surgical Manipulator Capable of Controlling a Surgical Instrument in either a Semi-Autonomous Mode or a Manual, Boundary Constrained Mode,)"라는 명칭의 미국 가특허 출원 61,679,258에 기재된 대퇴부(F) 또는 경골(T)과 연관된 가상 절개 경계의 추적과 동시에 추적될 수 있다. 가상 구속 경계는 수술 동안 가상 절개 경계에 상대적으로 이동할 수 있다. 경계들의 추적은 또한 그러한 경계들 사이의 상대 이동의 추적을 가능하게 한다.

추적되는 대상들의 모델들은 대상들의 장소를 보여주기 위해 디스플레이들(28, 29) 상에 디스플레이될 수 있다. 가상 경계들 및 치료되는 해부학적 구조의 표현들은 또한 디스플레이들(28, 29) 상에 보일 수 있다. 추가로, 가상 구속 경계들 및 가상 절개 경계에 관한 정보는, 수술용 기구(22)가 가상 경계들 상에 침입하지 않도록 조절기(56) 및 이들 가상 경계들에 대해 수술용 기구(22)의 대응하는 이동을 안내하기 위해 조절기 제어기(54)에 송출될 수 있다.

몇몇 실시예들에서, 가상 경계는 수술용 기구(22)와 연관된다. 수술용 기구 가상 경계는 기구 추적기(48)를 통해 추적된다. 수술용 기구 가상 경계는 단지 수술용 기구(22)의 모델에 의해 한정될 수 있다. 조절기 제어기(54)는 이 후 가상 절개 경계들 및 다른 대상들과 연관된 다른 가상 구속 경계들을 포함하는, 다른 가상 구속 경계들에 대한 수술용 기구 가상 경계의 이동을 모니터링한다. 조절기 제어기(54)는 이 후 경계들의 이동을 연속적으로 추적하고, 경계들이 수술용 기구(22)에 대해 이동할 때 수술용 기구(22)의 안내를 갱신하도록 프로그래밍된다.

수술실에서 수술용 기구(22)에 의해 회피될 대상들은 대상에 직접 고정되지 않는 하나 이상의 추적기들과 대상을 연관시킴으로써 간접적으로 추적될 수 있다. 예를 들어, 도 4에서, 조직에서의 개구부(106)는 추적기에 직접적으로 부착되지 않지만, 이에 고정된 추적기들(110)을 갖는 견인기 조립체들(104)에 의해 형성된다. 견인기 조립체들(104)이 개구부(106)를 형성하기 때문에, 개구부(106)의 크기 및 형태와 견인기 조립체들(104)의 위치 및 방향 사이에 일반적으로 상관 관계가 있고, 이것은 전술한 바와 같이 추적기들(110)을 이용하여 항해 시스템(20)에 의해 추적될 수 있다. 그러므로, 개구부(106)는 또한 동적으로 추적될 수 있다.

개구부(106)는, 개구부(106)가 견인기 조립체들(104)의 에지를 따라 놓이기 때문에 견인기 조립체들(104)과 연관된 포인트들을 이용하여 경계 생성 소프트웨어 모듈에 한정될 수 있다. 대안적으로, 개구부(106)는 포인터(P)를 이용하여 트레이싱될 수 있다. 후자의 경우에, 포인터(P)는 개구부(106)의 주변(periphery)을 한정하는 포인트들을 캡처하는데 사용되어, 포인트들은 개구부(106)를 나타내는 링을 형성하기 위해 경계 생성 소프트웨어 모듈에 연결될 수 있다. 링은 그 개시가 본 명세서에 참고용으로 병합되는, "반-자동 모드 또는 수동, 경계 구속 모드로 수술용 기구를 제어할 수 있는 수술용 조절기(Surgical Manipulator Capable of Controlling a Surgical Instrument in either a Semi-Autonomous Mode or a Manual, Boundary Constrained Mode,)"라는 명칭의 미국 가특허 출원 61,679,258에 기재된 그러한 개구부들과 연관된 로봇형 제어 기능에 따라 링 내로의 수술용 기구(22)의 이동을 구속시키기 위해 가상 구속 경계로서 경계 생성 소프트웨어 모듈에 한정될 수 있다. 개구부(106)는 추적기들(110)에 추가로 등록될 수 있어서, 개구부(106)의 이동은 추적기들(110)을 이용하여 추적가능하다. 신경 조직, 인대 등과 같은 수술용 기구(22)에 의해 회피될 다른 조직들은 유사하게 포인터(P)에 의해 개설(outlined)될 수 있고, 그 이동을 추적하기 위해 추적기들(110)과 연관될 수 있다.

도 5를 참조하면, 환자의 다리를 지지하기 위한 다리 홀더(200)가 도시된다. 다리 홀더(200)는 본 명세서에 참고용으로 병합된 미국 특허 출원 공보 2013/0019883으로서 공개된 "다중-위치 림 홀더(Multi-position Limb Holder)"라는 명칭의 미국 특허 출원 13/554,010에 더 구체적으로 기재되어 있다. 다리 홀더(200)에 부착하기 위한 대안적인 견인기 조립체(105)는 도 5에 도시되어 있다. 대안적인 견인기 조립체(105)는 본 명세서에 참고용으로 병합된 미국 특허 출원 13/554,010에 더 구체적으로 기재되어 있다.

도 6 및 도 7에서의 견인기 헤드들(107, 109)은 수술 절차에서 뼈에 액세스하기 위해 연조직을 견인하는데 사용될 수 있다. 조직을 견인하기 위한 이들 유형들의 헤드들(107, 109)의 이용은 본 명세서에 참고용으로 병합된 미국 특허 출원 13/554.010에 더 구체적으로 기재되어 있다. 도 6 및 도 7에서, 추적 요소들은 헤드들(107, 109)에 고정되어, 헤드들(107, 109)은 항해 시스템(20)에 의해 추적될 수 있다. 도시된 실시예에서, 추적 요소들은 3개 이상의 LED들(50)인데, 이들 LED들(50)은 각 헤드들(107, 109)의 구조에 일체화되고, 서로에 대한 관계로 고정된다. LED들(50)에 관해 각 헤드(107, 109)의 기하학적 모델은 또한 메모리(미도시)에 견인기 헤드(107, 109) 상에서 저장되고, 트랜시버들{견인기 헤드(107, 109)에 일체회된 트랜시버(미도시)를 포함함}을 통해 카메라 유닛(36)에 전송될 수 있다. 대안적으로, 각 헤드의 모델은 항해 컴퓨터(26)에 사전 저장되고, 경계 생성 소프트웨어 모듈을 이용하여 견인기 헤드(107, 109)의 유형 또는 일련 번호를 식별함으로써 항해 설정 동안 액세스된다. 각 견인기 헤드(107, 109)의 형태는 또한 견인기 헤드(107, 109) 상의 고유 LED 패턴을 견인기 헤드 형태들의 데이터베이스에 상관시킴으로써 식별될 수 있다.

견인기 조립체들(104)의 형태들과 연관된 가상 구속 경계들을 생성하고, 추적기들(110) 또는 일체화된 추적 요소들을 이용하여 가상 구속 경계들의 이동을 추적함으로써, 조절기 제어기(54)는 견인기 가상 구속 경계들 및 가상 절개 경계들에 관해 수술용 기구(22)의 이동을 안내할 수 있어서, 수술용 기구(22)는 이들 경계들을 지나 이동되지 않고, 이를 통해 수술 이후에 남아있기 위해 견인기 조립체들(104) 또는 뼈 또는 다른 조직과의 예기치 않은 접촉을 회피하게 된다. 이들 가상 경계들은 그 개시가 본 명세서에 참고용으로 병합되는, "반-자동 모드 또는 수동, 경계 구속 모드로 수술용 기구를 제어할 수 있는 수술용 조절기(Surgical Manipulator Capable of Controlling a Surgical Instrument in either a Semi-Autonomous Mode or a Manual, Boundary Constrained Mode,)"라는 명칭의 미국 가특허 출원 61,679,258에 기재된 바와 같이 수술용 조절기의 수동 모드와 반-자동 모드 모두에 사용될 수 있다.

도 8을 참조하면, 유연한 형태의 감지 디바이스(300)는 또한 개구부(106)와 같은 대상의 위치를 결정하는데 사용될 수 있다. 유연한 형태의 감지 디바이스(300)는 자체 형태 감지 좌표 시스템(SS)을 갖는 하우징(302)을 포함한다. 하우징(302)은 버지니아, Roanoke의 Luna Innovations Incorporated로부터 상업적으로 이용가능한 루나 분배 감지 시스템(Luna Distributed Sensing System)과 같은 반사계의 부분을 형성한다. 상업적으로 이용가능한 반사계의 다른 예는 Luna Innocations Incorporated로부터의 광학 백스캐터 반사계(Optical Backscatter Reflectometer)이다.

섬유 광 케이블(304)은 하우징(302)으로부터 연장하고, 개구부(106)에 근접하게 가까이 있는 개구부(106) 주위의 환자의 피부 상에 놓인다. 몇몇 실시예들에서, 케이블(304)은 개구부(106)로부터 오프셋(offset)을 갖는 둘레(perimeter)에서 피부에 접착된다. 몇몇 실시예들에서, 오프셋은 개구부(106)의 둘레를 따라 모든 장소들에서 개구부(106)로부터 5mm 미만이다. 다른 실시예들에서, 상이한 오프셋들이 사용될 수 있거나, 오프셋들은 섬유 광 케이블(304)을 위치시킨 후에 측정될 수 있어서, 개구부(106)에 대한 섬유 광 케이블(304)의 장소가 알려진다. 케이블(304)은, 개구부(106)의 형태가 변할 때 케이블(304)의 형태가 또한 변하도록 유연성이 있다. 케이블(304)의 위치는 동적으로 추적될 수 있다. 반사계, 케이블 및 다른 특징들을 포함하는 유연한 형태의 감지 디바이스(300)와, 위치를 결정하기 위한 그 사용 방법은 본 명세서에 참고용으로 병합된 Froggatt 등의 미국 특허 7,772,541에 기재되어 있다.

LED들(50)과 같은 추적 요소들은 유연한 형태의 감지 디바이스(300)에 일체화될 수 있다. 대안적으로, 추적기(미도시)는 하우징(302)에 장착될 수 있다. 유연한 형태의 감지 디바이스(300)에 일체화된 LED들(50)은 추적기들(44, 46, 48)의 LED들(50)과 동일한 방식으로 신호를 카메라 유닛(36)에 전송한다. 따라서, 하우징(302)의 위치 및 방향과, 형태 감지 좌표 시스템(SS)은 로컬라이저 좌표 시스템(LCLZ)에서 항해 시스템(20)에 의해 결정될 수 있다. 케이블(304)의 이동은 형태 감지 좌표 시스템(SS)에서의 위치 변화를 초래하고, 이 형태 감지 좌표 시스템(SS)은 하우징(302)에 대해 고정된다. 좌표 시스템(SS)은 하우징(302) 상의 LED들(50)을 이용하여 로컬라이저 좌표 시스템(LCLZ)에 등록된다. 일단 등록되면, 케이블(304)의 위치에서의 변화는 또한 로컬라이저 좌표 시스템(LCLZ)에서 결정될 수 있다.

개구부(106)는 그 개시가 본 명세서에 참고용으로 병합되는, "반-자동 모드 또는 수동, 경계 구속 모드로 수술용 기구를 제어할 수 있는 수술용 조절기(Surgical Manipulator Capable of Controlling a Surgical Instrument in either a Semi-Autonomous Mode or a Manual, Boundary Constrained Mode,)"라는 명칭의 미국 가특허 출원 61,679,258에 기재된 그러한 개구부들과 연관된 로봇형 제어 기능에 따라 개구부(106) 내로의 수술용 기구(22)의 이동을 구속하기 위해 가상 구속 경계로서 경계 생성 소프트웨어 모듈에 한정될 수 있다. 신경 조직, 인대들 등과 같은 수술용 기구(22)에 의해 회피될 다른 조직들은 유사하게 유연한 형태의 감지 디바이스들(300)을 이용하여 추적될 수 있다. 마찬가지로, 유연한 형태의 감지 디바이스들(300)은, 수술 요원과 연관된 경계들이 생성될 수 있도록 수술 스태프에 의해 착용된 장갑들에 일체화되는 것과 같이, 다른 경계들을 확립하는데 사용될 수 있다.

기계 시각은 수술실에서 대상들을 식별할 수 있고, 대상들과 연관된 가상 구속 경계들을 생성할 수 있다. 도 9는 기계 시각 시스템(400)을 도시한다. 기계 시각 시스템(400)은 3차원 기계 시각 카메라(402)를 포함한다. 시각 카메라(402)는, 시각 카메라(402)의 시야가 수술 부위와, 수술 부위에 근접한 대상들을 둘러싸도록 배치된다. 도 9에 도시된 바와 같이, 그러한 대상들은 수술용 기구(22)(절개 버로서 도시됨), 견인기 조립체들(104), 대퇴부(F), 및 경골(T)을 포함할 수 있다. 기계 시각 시스템(400)은 시각 카메라(402)와 통신하는 제어 유닛(미도시)을 갖는다. 제어 유닛은 프로세서, 메모리 및 저장부를 포함하고, 항해 컴퓨터(26)와 통신한다.

초기에, 추적될 대상들이 식별된다. 대상들은 기계 시각 소프트웨어를 이용하여 제어 유닛 상의 메모리에 저장된 대상들을 선택함으로써 식별될 수 있다. 예를 들어, 견인기 조립체들(104)의 상이한 크기들 및 형태들과 연관된 픽셀들의 그룹은 제어 유닛에 저장될 수 있다. 추적될 견인기 조립체들(104) 중 하나를 선택함으로써, 기계 시각 소프트웨어는 대응하는 픽셀들의 그룹을 식별하고, 기계 시각 소프트웨어는 그 후 종래의 패턴 인식 기술을 이용하여 유사한 픽셀들의 그룹을 검챌하도록 동작한다.

대안적으로, 대상들은, 사용자가 디스플레이들(28, 29) 상에 추적될 대상들을 개술하거나 선택하는 인터페이스를 이용하여 식별될 수 있다. 예를 들어, - 도 9에 도시된 이미지와 유사한 - 수술 부위 위로부터 시각 카메라(402)에 의해 찍힌 이미지들은 디스플레이들(28, 29) 상에 디스플레이된다. 사용자는 이 후 마우스, 디지털 펜 등을 이용하여, 디스플레이(28, 29) 상에서 추적될 대상들을 트레이싱한다. 기계 시각 소프트웨어는 트레이싱된 대상과 연관된 픽셀들을 메모리에 저장한다. 사용자는, 저장된 픽셀들의 그룹이 이제 고유 식별자와 연관되도록 기계 시각 소프트웨어에서 대상 "MEDIAL RETRACTOR" 등으로 명명하는 것과 같이 고유 식별자에 의해 각 대상을 식별한다. 다중 대상들은 이 방식으로 저장될 수 있다. 기계 시각 시스템(400)은 이들 대상들을 나중에 검출하기 위해 종래의 패턴 인식 및 연관된 소프트웨어를 이용한다.

기계 시각 시스템(400)은 연속적으로 이미지들을 찍고, 이미지들을 검토하고, 대상들과 연관된 픽셀들의 그룹의 이동을 검출함으로써 이들 대상들의 이동을 검출할 수 있다. 몇몇 경우들에서, 대상들에 대한 기계 시각 시스템(400)의 제어 유닛으로부터의 위치 정보는 항해 컴퓨터(26)로 전송될 수 있다. 마찬가지로, 항해 컴퓨터(26)로부터의 위치 정보는 항해 컴퓨터(26)로부터 기계 시각 시스템(400)의 제어 유닛으로 전송될 수 있다.

기계 시각 시스템(400)의 제어 유닛은 기계 시각 좌표 시스템(MV)에서 대상들에 대한 위치 정보를 제공할 수 있다. 시각 카메라(402)는 LED들(50)을 포함하여, 카메라 유닛(36)은 추적할 수 있고, 이에 따라 로컬라이저 좌표 시스템(LCLZ)에 관한 기계 시각 좌표 시스템(MV)의 위치 및 방향을 등록한다. 따라서, 시각 카메라(402)로부터의 위치 정보는 로컬라이저 좌표 시스템(LCLZ)에서 결정될 수 있다. 가상 경계들은 이에 따라 기계 시각 시스템(400)에서 대상들과 연관될 수 있고, 이들 가상 경계들에 관한 정보는 항해 컴퓨터(26)로 통신될 수 있다. 추가적으로, 가상 구속 경계들에 관한 정보는 조절기(56) 및 이들 가상 경계들에 관한 수술용 기구(22)의 대응하는 이동을 안내하기 위해 조절기 제어기(54)로 송출될 수 있다.

대상들은 또한 포인터(P)를 이용하여 로컬라이저 좌표 시스템(LCLZ)에 초기에 등록될 수 있다. 예를 들어, 추적기들(110) 또는 일체화된 추적 요소들이 견인기 조립체들(104)에 설치되지 않을 때, 포인터(P)는, 견인기 조립체들(104)이 휴지시, 즉 이동되지 않을 때 견인기 조립체들(104)과 연관된 가상 구속 경계들을 초기에 확립하는데 사용될 수 있다. 이들 가상 구속 경계들은 이 후 로봇형 조절기(56)를 안내하는데 사용하기 위해 항해 컴퓨터(26) 및/또는 조절기 제어기(54)에 저장된다. 기계 시각 시스템(400)은 또한 전술한 바와 같이, 즉 견인기 조립체들(104)과 연관된 픽셀들의 그룹의 이동을 추적함으로써, 견인기 조립체들(104)의 이동을 검출하도록 구성된다.

견인기 조립체(104)의 이동의 기계 시각 검출은 이 후 견인기 조립체(104)의 포즈에서의 변화를 한정함으로써(3개의 축들을 따른 병진 이동/3개의 축들 주위의 회전) 견인기 조립체(104)에 대한 항해 컴퓨터에 저장된 가상 구속 경계를 시프트하는데 사용될 수 있다. 기계 시각 시스템(400)은 시간(t1)에서의 견인기 조립체(140)의 제1 포즈와, 시간(t2)에서의 제2 포즈를 확립하도록 동작한다. t1과 t2 사이의 포즈에서의 차이는 연관된 가상 구속 경계를 로컬라이저 좌표 시스템(LCLZ)에서의 비례하는 양만큼 이동하기 위해 항해 컴퓨터(26) 및/또는 조절기 제어기(54)에 제공된다. 몇몇 실시예들에서, 2차원 이동만이 시각 카메라(402)에 의해 검출되고, 견인기 조립체(104)의 위치를 갱신하기 위해 항해 컴퓨터(26) 및/또는 조절기 제어기(54)와 함께 공유된다.

몇몇 실시예들에서, 로봇형 시스템은 뼈 또는 연조직과 같이 환자의 해부학적 구조로부터 물질을 절개하기 위한 로봇형 수술 절개 시스템이다. 일단 절개 시스템이 항해 시스템(20)에 의해 적절한 위치에 있도록 결정되면, 절개 시스템은 단일 구획(unicompartmental), 양쪽 구획(bicompartmental), 또는 총 무릎 임플란트들을 포함하여, 고관절과 무릎 임플란트들과 같은 수술용 임플란트들에 의해 대체될 물질을 절개한다. 이들 유형들의 임플란트들의 몇몇은, 그 개시가 본 명세서에 참고용으로 병합된, "보철 임플란트 및 임플란트 방법(Prosthetic Implant and Method of Implantation)"이라는 명칭의 미국 특허 출원 13/530,927에 도시된다. 항해 시스템(20)은, 시험용 임플란트들의 이용을 포함하여, 뼈 상에 이들 임플란트들을 위치시키고 임플란트들을 적소에 고정하기 위해 적절한 절차시 의사에게 지시한다.

다른 시스템들에서, 기구(22)는 절개 툴을 갖는데, 절개 툴은 핸드헬드 하우징에 대해 3 자유도로 이동가능하고, 절개 지그들, 가이드 아암들 또는 다른 구속 메커니즘의 도움없이 의사의 손으로 수동으로 위치된다. 그러한 시스템들은, 그 개시가 본 명세서에 참고용으로 병합된, "하우징과, 하우징으로부터 연장하는 절개 액세서리와, 하우징에 대해 절개 엑세서리의 위치를 확립하는 액추에이터들을 포함하는 수술용 기구(Surgical Instrument Including Housing and Actuators that Establish the Position of the Cutting Accessory Relative to the Housing)"이라는 명칭의 미국 특허 출원 13/600,888에 도시되어 있다.

이들 실시예들에서, 시스템은 절개 툴을 갖는 핸드헬드 수술용 절개 기구를 포함한다. 제어 시스템은 그 개시가 본 명세서에 참고용으로 병합된, "하우징과, 하우징으로부터 연장하는 절개 액세서리와, 하우징에 대해 절개 엑세서리의 위치를 확립하는 액추에이터들을 포함하는 수술용 기구(Surgical Instrument Including Housing, a Cutting Accessory that Extends from the Housing and Actuators that Establish the Position of the Cutting Accessory Relative to the Housing)"이라는 명칭의 미국 특허 출원 13/600,888에 도시된 바와 같이, 내부 엑추에이터들/모터들을 이용하여 적어도 3 자유도로 절개 툴의 이동을 제어한다. 항해 시스템(20)은 제어 시스템과 통신한다. 하나의 추적기{추적기(48)와 같은}는 기구에 장착된다. 다른 추적기들{추적기들(44, 46)과 같은}은 환자의 해부학적 구조에 장착된다. 항해 시스템(20)은 핸드헬드 수술용 절개 기구의 제어 시스템과 통신한다. 항해 시스템(20)은 위치 및/또는 방향 데이터를 제어 시스템에 통신한다. 위치 및/또는 방향 데이터는 해부학적 구조에 대한 기구(22)의 위치 및/또는 방향을 나타낸다. 이러한 통신은 해부학적 구조의 절개를 제어하기 위해 폐루프 제어를 제공하여, 절개가 미리 한정된 경계(미리 한정된 경계라는 용어는 미리 한정된 궤적, 부피, 라인, 다른 형태들 또는 기하학적 형태들, 등을 포함하는 것으로 이해된다) 내에서 발생한다.

몇몇 실시예들에서, 3-D 비디오 카메라(미도시)는 카메라 유닛(36)에 부착된다. 비디오 카메라는, 카메라 유닛(36)의 시야가 비디오 카메라의 시야와 연관될 수 있도록 배향된다. 즉, 2가지 시야는, 대상이 비디오 카메라로부터 스트리밍된 비디오 이미지에서 보일 수 있는 경우, 대상들이 또한 카메라 유닛(36)의 시야 내에 있도록 매칭되거나, 그렇지 않으면 상관될 수 있다. 비디오 카메라의 좌표 시스템은 또한 로컬라이저 좌표 시스템(LCLZ)으로 변형될 수 있거나, 그 반대로도 이루어져서, 비디오 카메라로부터 스트리밍된 비디오 이미지들에서 보여진 대상들의 위치들 및/또는 방향들은 로컬라이저 좌표 시스템(LCLZ)에 알려져 있다. 비디오 카메라로부터의 비디오 이미지들은 디스플레이들(28, 29)에 스트리밍될 수 있고, 사용자는 이 후 기구(22)에 의해 회피될 지역들(zones)을 묘사하기 위해 마우스 또는 터치 스크린과 같은 입력 디바이스를 이용하여 디스플레이들(28, 29) 상에서 가상 구속 경계들을 식별할 수 있다. 비디오 이미지들은 이들 가상 구속 경계들의 생성을 용이하게 하기 위해 2-D 또는 3-D로 제공될 수 있다. 이들 가상 구속 경계들의 위치들 및/또는 방향들에 관한 정보는 로컬라이저 좌표 시스템(LCLZ)에 제공되고, 예를 들어 항해 컴퓨터(26) 또는 조절기 제어기(54)에 의해 추적되어, 기구(22)가 생성된 경계들 상에 침입하는 것을 방지한다.

몇몇 실시예들에서, 조절기 제어기(54) 또는 항해 컴퓨터(26)가, 기구(22)가 가상 구속 경계들 중 하나에 도달한다는 것을 검출할 때, 경고가 생성될 수 있다. 알람은, 가상 구속 경계와 연관된 대상이 막 충돌한다는 것을 사용자에게 표시하는 사용자로의 시각적, 촉각적, 또는 청각적 피드백을 포함할 수 있고, 및/또는 대상 또는 연관된 가상 구속 경계들로부터의 거리의 시각적, 촉각적, 또는 청각적 표시들을 포함할 수 있다.

여러 실시예들은 이전 설명에 논의되었다. 하지만, 본 명세서에 논의된 실시예들은 철저하거나 본 발명을 임의의 특정한 형태에 한정하도록 의도되지 않는다. 사용된 용어는 한정하기보다 설명의 단어들의 특성에 있도록 의도된다. 많은 변형들 및 변경들은 상기 가르침들을 고려하여 가능하고, 본 발명은 특별히 기재된 것과 다른 방식으로 실시될 수 있다.

Claims

복수의 가상 경계들과 함께 사용하기 위한 수술용 시스템으로서,
기구와;
상기 기구의 이동을 추적하기 위한 기구 추적 디바이스와;
상기 복수의 가상 경계들 중 제1 가상 경계의 이동을 추적하기 위한 제1 경계 추적 디바이스로서, 상기 제1 가상 경계는 상기 기구에 의해 치료될 해부학적 구조와 연관되는, 제1 경계 추적 디바이스와;
상기 복수의 가상 경계들 중 제2 가상 경계의 이동을 추적하기 위한 제2 경계 추적 디바이스로서, 상기 제2 가상 경계는 치료될 해부학적 구조에 액세스하기 위한 조직 개구부의 주변과 연관되며, 상기 조직 개구부는 상기 제2 가상 경계를 사용하여 상기 기구에 의해 회피되는, 제2 경계 추적 디바이스와;
상기 제1 및 제2 가상 경계들에 관한 상기 기구의 위치들을 포함하는 상기 추적 디바이스들과 연관된 정보를 수신하도록 구성된 제어기로서, 상기 제어기는, 상기 제1 및 제2 가상 경계들이 서로에 대해 이동할 때 상기 제1 및 제2 가상 경계들 각각에 대한 상기 기구의 이동을 안내하도록 구성되는, 제어기를
포함하는, 복수의 가상 경계들과 함께 사용하기 위한 수술용 시스템.
제1항에 있어서, 상기 기구의 위치를 제어하기 위해 복수의 아암들 및 복수의 엑추에이터들을 갖는 수술용 조절기를 포함하는, 복수의 가상 경계들과 함께 사용하기 위한 수술용 시스템.
제2항에 있어서, 상기 조직 개구부에 인접한 조직을 견인하기 위한 견인기를 포함하고, 상기 제2 경계 추적 디바이스는 상기 견인기에 부착되는, 복수의 가상 경계들과 함께 사용하기 위한 수술용 시스템.
제3항에 있어서, 상기 제2 경계 추적 디바이스는 상기 견인기에 장착 가능한 추적기, 또는 상기 견인기에 일체화된 적어도 하나의 추적 요소 중 하나를 포함하는, 복수의 가상 경계들과 함께 사용하기 위한 수술용 시스템.
제3항에 있어서, 상기 기구에 의해 회피될 다른 대상과 연관된 상기 복수의 가상 경계들 중 제3 가상 경계를 추적하기 위한 제3 경계 추적 디바이스를 포함하고, 상기 제어기는 상기 제1, 제2 및 제3 가상 경계들 각각에 관한 상기 기구의 이동을 안내하도록 구성되는, 복수의 가상 경계들과 함께 사용하기 위한 수술용 시스템.
제5항에 있어서, 상기 제어기는, 상기 제2 및 제3 가상 경계들의 위치들에 기초하여 상기 기구의 수용을 위해 상기 조직 개구부를 한정하도록 구성되고, 상기 제어기는 상기 제2 및 제3 경계 추적 디바이스들을 이용하여 상기 조직 개구부의 주변의 위치를 모니터링하도록 구성되는, 복수의 가상 경계들과 함께 사용하기 위한 수술용 시스템.
제2항에 있어서, 상기 수술용 조절기는 수동 및 반-자동 모드들로 동작 가능한 로봇형 조절기인, 복수의 가상 경계들과 함께 사용하기 위한 수술용 시스템.
제1항에 있어서, 상기 제2 경계 추적 디바이스는 유연한 형태의 감지 시스템을 포함하고, 상기 감지 시스템은 상기 조직 개구부의 주변에 인접하여 위치 가능한 섬유 광 케이블을 포함하는, 복수의 가상 경계들과 함께 사용하기 위한 수술용 시스템.
제1항에 있어서, 상기 제2 경계 추적 디바이스는, 포인트들에 관한 정보가 상기 제2 가상 경계를 생성하는데 사용되도록 상기 조직 개구부의 주변과 연관된 포인트들을 캡처하도록 구성된 포인터를 포함하는, 복수의 가상 경계들과 함께 사용하기 위한 수술용 시스템.
제1항에 있어서, 상기 제2 경계 추적 디바이스는 기계 시각 시스템을 포함하고, 상기 기계 시각 시스템은 시각 카메라와, 상기 제어기와 통신하는 제어 유닛을 포함하며, 상기 기계 시각 시스템은 상기 조직 개구부의 주변의 이동을 검출하도록 구성되는, 복수의 가상 경계들과 함께 사용하기 위한 수술용 시스템.
제1항에 있어서, 상기 추적 디바이스들 각각은 하나 이상의 추적 요소들을 포함하는, 복수의 가상 경계들과 함께 사용하기 위한 수술용 시스템.
제11항에 있어서, 상기 하나 이상의 추적 요소들은 발광 다이오드들을 포함하는, 복수의 가상 경계들과 함께 사용하기 위한 수술용 시스템.
제11항에 있어서, 상기 추적 요소들은 광학 추적 요소들을 포함하고, 상기 시스템은 상기 광학 추적 요소들로부터 광 신호를 수신하기 위한 복수의 감지 디바이스들을 더 포함하는, 복수의 가상 경계들과 함께 사용하기 위한 수술용 시스템.
제1항에 있어서, 상기 제2 경계 추적 디바이스는, 포인트들에 관한 정보가 상기 제2 가상 경계를 생성하는데 사용되도록 상기 조직 개구부의 주변과 연관된 포인트들을 캡처하도록 구성된 포인터를 포함하고, 상기 시스템은 상기 조직 개구부의 주변의 이동을 검출하기 위한 기계 시각 카메라를 포함하고, 상기 제어기는, 상기 제2 가상 경계가 이동한 후에 상기 제2 가상 경계의 위치를 조정하기 위해 상기 기계 시각 카메라에 의해 찍힌 이미지들로부터 유도된 위치 정보를 수신하는, 복수의 가상 경계들과 함께 사용하기 위한 수술용 시스템.
삭제
삭제
삭제
삭제
삭제