KR20240064004A - 관형 조직망의 탐색 - Google Patents

Abstract

방법과 장치는 관형 조직망 내 (가령, 내시경과 같은) 의료 기구의 위치 및 방향 정보의 향상된 추정을 제공함으로써 폐 기도와 같은 관형 조직망 내 향상된 탐색을 제공한다. 이미지 데이터, EM 데이터, 로봇 데이터와 같은 다양한 입력 데이터는 관형 조직망 내 구체적인 부위를 찾고 및/또는 의료 기구가 구체적인 부위에 도달하기 위해 어떤 위치/방향으로 이동해 가야 하는지에 대한 탐색 정보를 결정하기 위해 각기 다른 알고리즘에 의해 사용된다. 확률 분산은 신뢰 값과 함께 각기 다른 알고리즘에 의해 생성되며 의료 기구의 추정 상태를 결정하기 위해 사용된다.

Description

관형 조직망의 탐색{NAVIGATION OF TUBULAR NETWORKS}

본 출원은 2015년 9월 18일에 “관형 조직망의 탐색(Navigation of tubular networks)”이라는 제목으로 출원된 미국 특허 가출원 제 62/220,770호에 대한 이익과 우선권을 주장하며, 상기 가출원은 그 전문이 참조로서 본 명세서에 병합된다.

본 설명은 일반적으로 수술 로봇에 관한 것이고, 특히 환자 신체의 관형 조직망 내 의료기구의 탐색(navigation)에 관한 것이다.

기관지 내시경 검사는 의사가 환자의 기관지 및 모세 기관지와 같은 폐 기도 내부의 상태를 검사할 수 있도록 해주는 의료 시술이다. 폐 기도는 기관 또는 기도부터 폐까지 공기를 전달한다. 의료 시술 중에, 세경 연성 관형 도구인 기관지경이 환자의 입으로 삽입되어 환자의 목구멍을 통해 환자의 폐 기도로 내려갈 수 있으며 의료 절차 중의 환자는 수술 검사와 수술을 받기 위해서 일반적으로 목구멍과 폐 공동을 이완시키기 위한 마취를 받는다.

전형적인 기관지경은 보통 의사가 환자의 기관 및 기도를 검사를 하기 위해 광원 및 작은 카메라를 포함하며 환자의 폐에 상당한 양의 출혈이 있거나 환자의 목구멍을 막고 있는 큰 물체가 있는 경우 수술 목적을 위해 기관지경과 함께 강성 튜브가 사용될 수도 있다. 강성 튜브가 사용되는 경우 환자는 보통 마취를 받는다. 첨단 의료 기기의 부상과 함께 로봇 기관지경 시스템이 빠르게 현실화 되고 있다. 로봇 기관지경은 관형 조직망 탐색에 있어 큰 장점을 제공한다. 사용하기 쉽고 심지어 기관지 내시경 단계에서 치료와 조직검사를 편리하게 시행할 수 있다.

상기 설명된 로봇 기관지경과 같은 기계적인 장치나 플랫폼 외에도 다양한 방법 및 소프트웨어 모델이 외과수술을 위해 사용될 수 있다. 예를 들어, 환자 폐의 컴퓨터 단층촬영(CT) 스캔은 흔히 수술적 검사의 수술 전 과정 중 시행된다. CT 스캔 데이터는 환자 폐의 기도에 대한 3차원(3D) 모델을 생성하는데 사용될 수 있으며 이 생성된 3D 모델은 수술적 검사의 수술 절차 진행 중에 의사에게 유용한 시각적 참고 자료로 제공될 수 있다.

하지만 기존 관형 조직망 탐색 기술은 로봇 CT 스캔 시행 및 3D 모델 생성과 같은 기존방식을 이용할 때와 기관지경과 같은 의료기기를 도입할 때 조차 여전히 어려움을 겪는다. 일례로, 환자의 신체 내부에서의 (가령, 기관지경 도구와 같은) 의료기기의 동작 추정은 기기의 위치 및 방향 변경에 기인해 정확하지 않을 수 있으며, 그 결과 기기의 위치는 환자 신체 내 정확하고 분명하게 실시간으로 배치(localize)되지 않을 수 있다. 이러한 장치의 부정확한 위치 정보로 인해 의료 수술 절차 중 3D 모델을 시각 자료로 참조 하는 의사에게 잘못된 정보가 제공 될 수 있다.

따라서, 관형 구조의 조직망 탐색을 위한 개선된 기술이 필요하다.

본 명세서에서 개시된 방법 및 장치는 관형 조직망 내 (가령, 내시경과 같은) 연성 또는 강성 세장형 의료 기구의 개선된 위치 및 방향 추정 정보를 제공함으로써 폐 기도와 같은 관형 조직망 내 개선된 탐색을 제공한다.

일례로, 상기 장치는 로봇 내시경 도구로써 관형 조직망 내 원하는 해부학적 위치 또는 내시경 도구의 위치 및 방향에 대한 “원시(raw)” 정보 (집합적으로, 입력 데이터)를 취득한다. 내시경 도구는 연성 선단과 내시경 도구와 결합된 기구 장치 조작기(instrument device manipulator, IDM)를 포함한다. 전자유도식 센서(EM sensor)와 같은 기기, (가령, 광학 센서와 같은) 촬상 기기 및 의료 기구를 제어하는 로봇 제어 시스템이 기구 선단에 결합되어 내시경 도구가 관형 조직망에 삽입되어 탐색할 때 입력 데이터를 수집한다. IDM은 수술 로봇 시스템의 (가령, 내시경 도구 같은) 여러 로봇 구성요소들의 움직임과 위치를 제어하기 위해 사용된다. 프로세서는 내시경 도구에 결합되어 관형 조직망 내에서 (가령, 기구의 선단과 같은) 의료 기구의 움직임, 위치, 방향 정보를 시시각각 결정하기 위해 필요한 입력 데이터를 수신한다.

프로세서는 탐색 구성 시스템(navigation configuration system)으로부터 지시를 받아 입력 데이터를 사용하여 위치, 방향, 상대 및 절대 깊이, 분지(branch)선택 등과 같은 정보들을 포함한 의료 기구의 상태를 추정한다. 프로세서는 또한 추정한 상태를 사용해 관형 조직망 내에서 특정 부위 검색 및/또는 의료 기구가 해당 특정 부위까지 도달하기 위해 어떤 위치/방향으로 이동해야 할지에 대한 출력 데이터 또는 탐색 데이터로 지칭되는 탐색 정보를 결정하도록 지시 받을 수 있다.

탐색 구성 시스템은 또한 추정 상태 및 탐색 데이터를 제공하기 위해 다양한 탐색 알고리즘을 적용하는 여러 알고리즘 모듈을 포함한다. 사용된 알고리즘의 예로 EM 기반 알고리즘, 이미지 기반 알고리즘, 로봇 기반 알고리즘이 포함된다. 이런 다양한 알고리즘을 적용해 생성되는 추정 상태 및 탐색 데이터는 EM 기반 입력 데이터, 이미지 기반 입력 데이터, 로봇 기반 입력데이터 중 하나 이상을 활용한다.

일부 실시예에서, 확률분포(probability distributions)와 신뢰 값(confidence values)은 모두 의료 기구의 추정 상태를 결정하는데 사용된 알고리즘 모듈을 통해 생성된다. “확률 분포”에서의 “확률”은 본 명세서에서 사용될 때, 의료 기구의 위치 및/또는 방향의 추정 또는 식별이 어느 정도 정확한가의 가능성을 나타낸다. 예를 들어, 의료 기구가 폐 내부의 여러 다른 가능한 기도에 존재할 상대적인 가능성을 나타내는 다른 확률들이 계산될 수 있다. 반면, 신뢰 값은 본 명세서에서 사용될 때, 하나의 알고리즘에 의해 제공된 상태 추정에 대한 신뢰도를 반영한다. 예를 들어, 특정 알고리즘의 경우 상대적으로 기도 입구에 가까이 있을 때 의료 기구의 위치 및 방향 추정에 대한 신뢰 값이 높을 수 있지만 의료 기구가 폐 아래쪽으로 더 내려갈수록 신뢰 값은 떨어질 수 있다. 일반적으로, 신뢰 값은 결정을 내리는 프로세스와 관련된 한 개 이상의 “외부” 요인들을 기반으로 하는 반면 확률은 단일 알고리즘을 통해 가능 결과를 결정할 때 발생하는 상대적인 측정값이다. 추정 상태 및 탐색 데이터를 결정하기 위해 알고리즘, 확률 및 신뢰 값이 다양하게 조합될 수 있다.

일 실시예에서, 환자에게 실제 수술을 수행하기 전에, 환자의 관형 조직망 내 (가령, 내시경과 같은) 수술 기구의 향상된 탐색을 적용해 일련의 수술 전 절차들을 진행할 수 있다. 처음에는, 관형 조직망의 3D 모델을 생성하기 위해 관형 조직망의 CT 스캔이 취득된다. 관형 조직망 내 (가령, 조직검사를 할 병변과 같은) 표적 부위가 선택되면 표적 부위에 도달하기 위해 수술 기구가 관형 조직망에서 이동해야 하는 경로가 자동으로 계획되고 사용자(가령, 수술 책임자인 의사)에게 보여진다. 경로가 결정되면, 조직망을 통과해 표적 부위까지 이동할 수 있는 가상 내시경이 적용될 수 있다. 실제 수술에서, CT 스캔, 3D 생성 모델 뿐만 아니라 (가령, 수술 시 수집한 이미지 데이터, EM 데이터, 로봇 데이터와 같은) 다른 입력 데이터들은 수술이 진행되는 동안 수술 구성 시스템을 통해 결합되고 반복적으로 분석되어 탐색 정보와 더불어 (가령, 내시경과 같은) 수술 기구의 관형 조직망 내 실시간 움직임 및 위치/방향 정보의 추정치를 제공하며 이를 통해 의사는 더 편리하게 수술을 할 수 있다.

도 1A는 일 실시예에 따른 수술 로봇 시스템의 예를 도시한다.
도 1B 내지 도 1F는 일 실시예에 따른 도 1A에 도시된 수술 로봇 시스템과 결합된 로봇 플랫폼의 다양한 사시도를 도시한다.
도 2는 일 실시예에 따른 수술 로봇 시스템 예의 명령어 콘솔의 예를 도시한다.
도 3A는 일 실시예에 따른 도 1A에 도시된 기구 장치 조작기(IDM)의 독립 구동 메커니즘 예의 등각투상도(isometric view)를 도시한다.
도 3B는 일 실시예에 따라 어떻게 힘이 도 3A에 도시된 독립 구동 메커니즘의 스트레인 게이지(strain gauge)에 의해 측정되는지를 보여주는 개념도를 도시한다.
도 4A는 일 실시예에 따른 내시경 예시의 평면도를 도시한다.
도 4B는 일 실시예에 따른 도 4A에 도시된 내시경의 내시경 선단의 예시를 도시한다.
도 5는 일 실시예에 따른 수술 로봇 시스템에 포함된 EM 추적 시스템의 도식화된 구성의 예를 도시한다.
도 6A 내지 도6B는 일 실시예에 따른 해부학적 내강(lumen)의 예시 및 해부학적 내강의 3D 모델의 예시를 도시한다.
도 7은 일부 실시예에 따른 해부학적 공간을 나타내는 컴퓨터 생성 3D 모델을 도시한다.
도 8A 내지 도D는 일 실시예에 따른 관형 조직망 내 경로의 3D 모델로 EM 시스템을 온-더-플라이(on-the-fly) 방식으로 정합(registration)하는 것을 보여주는 그래프의 예시를 도시한다.
도 8E 내지 도8F는 일 실시예에 따른 분지 관형 조직망의 3D 모델로 EM 시스템을 정합하는 예의 결과를 도시한다.
도 9A는 일 실시예에 따른 탐색 구성 시스템의 블록 다이어그램(block diagram)의 하이-레벨 개요(high-level overview)를 도시한다.
도 9B는 일 실시예에 따른 도 9A에 도시된 탐색 모듈의 블록 다이어그램의 예를 도시한다.
도 9C는 일 실시예에 따른 상태 추정기(state estimator)에 포함된 상태 추정 데이터 저장부의 블록 다이어그램의 예를 도시한다.
도 10A는 일 실시예에 따른 EM 정합 모듈의 블록 다이어그램의 예를 도시한다.
도 10B는 일 실시예에 따른 분지 선택 모듈의 블록 다이어그램의 예를 도시한다.
도 10C는 일 실시예에 따른 동작 추정 모듈의 블록 다이어그램의 예를 도시한다.
도 10D는 일 실시예에 따른 물체 탐지 모듈의 블록 다이어그램의 예를 도시한다.
도 10E는 일 실시예에 따른 물체 맵핑 모듈의 블록 다이어그램의 예를 도시한다.
도 10F는 일 실시예에 따른 위상 추론 모듈(topological reasoning module)의 블록 다이어그램의 예를 도시한다.
도 11A는 일 실시예에 따른 두 식별 물체의 예를 기관지 조직망 이미지에 중첩하고 두 물체의 중심을 연결하는 링크와 함께 도시한다.
도 11B는 일 실시예에 따른 실 기관지 조직망의 실제 이미지의 기도 내강(airway lumens)과 상기 조직망의 3D 모델의 기도 내강을 일치시켜 도시한다.
도 12는 일 실시예에 따른 상태 추정기가 추정한 상태의 여러 값들에 대한 확률 분포를 생성하는 과정의 예시를 도시한다.
도 13은 일 실시예에 따른 탐색 구성 시스템에 의한 기관지 관형 조직망의 탐색을 통해 오류가 정정되는 과정의 예를 도시한다.
도 14A는 일 실시예에 따른 기구 선단을 관형 조직망 내 특정 부위로 탐색하는 방법의 일련의 수술 전 단계의 예를 도시한다.
도 14B는 일 실시예에 따른 수술 기구의 관형 조직망 탐색을 위한 사용자 인터페이스의 예를 도시한다.
도 14C는 일 실시예에 따른 내시경 시술 중 도구 정렬 및 제어를 위한 사용자 인터페이스의 예시를 도시한다.

다양한 실시예를 구체적으로 참조하며 이들의 예시가 첨부 도면에서 도시된다. 도면에서 어디든 유사하거나 같은 참조 번호가 사용될 수 있고 유사하거나 동일한 기능을 나타낼 수 있음을 유의한다. 도면은 오직 예시의 목적을 위해 개시된 시스템(또는 방법)의 실시예를 묘사한다. 본 기술 분야의 통상의 지식을 가진 사람이라면 본 명세서에 설명하는 구조와 방법의 대안적 실시예들이 본 명세서에 설명된 원리에서부터 벗어나지 않고 적용될 수 있다는 점을 후술된 내용을 통해 쉽게 이해할 것이다.

I. 수술 로봇 시스템

도 1A는 수술 로봇 시스템(100)의 실시예를 도시한다. 수술 로봇 시스템(100)은 로봇 암(102)과 같은 한 개 이상의 로봇 암과 결합된 베이스(101)를 포함한다. 베이스(101)는 명령 콘솔과 연통식 연결되어 있으며 본 명세서의 II. 명령 콘솔 섹션에서 도 2와 관련하여 추가 설명 된다. 베이스(101)는 로봇 암(102)이 환자에게 수술 절차를 수행할 수 있도록 접근을 제공하며 이와 동시에 의사와 같은 사용자가 명령 콘솔을 사용해 수술 로봇 시스템(100)을 편리하게 제어할 수 있도록 위치될 수 있다. 일부 실시예에서, 베이스(101)는 환자를 눕힐 수 있는 수술대 또는 침대와 결합될 수 있다. 명확성을 위해 도 1에는 도시되지는 않았으나 베이스(101)는 제어 전자 기기, 공기압, 전력 공급원, 광학 공급원 및 이와 같은 서브시스템을 포함할 수 있다. 로봇 암(102)은 조인트(111)로 연결된 복수의 암 단편(arm segment)(110)을 포함하며, 예컨대 7개의 암 단편은 이에 대응하는 7 자유도가 있듯이, 로봇 암(102)에게 복수의 자유도를 제공한다. 베이스(101)는 전력 공급원(112), 공기압 (113), 중앙처리장치(CPU), 데이터 버스, 제어전자회로, 메모리와 같은 구성요소를 포함하는 제어 및 센서 전자기기(114) 및 로봇 암(102)을 움직이기 위한 모터와 같은 관련 액추에이터(actuator)를 포함할 수 있다. 베이스(101)에 있는 전자기기(114)는 명령 콘솔과 통신한 제어 시그널을 처리, 전송할 수 있다.

일부 실시예에서, 베이스(101)는 수술 로봇 시스템(100)을 이동하기 위한 바퀴(115)를 포함한다. 수술 로봇 시스템(100)의 이동성은 공간의 제약이 있는 수술실 환경에 적합할 뿐만 아니라 수술용 장치가 적절한 곳에 위치하고 이동 되도록 돕는다. 또한, 이동성을 통해 로봇 암(102)이 환자, 의사, 마취과 의사 또는 그 외 어떤 장치와도 방해되지 않도록 로봇 암(102)을 구성할 수 있다. 시술 동안에 사용자는 명령 콘솔과 같은 제어 기기를 사용해서 로봇 암(102)을 제어할 수 있다.

일부 실시예에서, 로봇 암(102)은 로봇 암(102)의 위치를 그대로 유지하기 위해 브레이크 및 카운터-밸런스(counter-balance)의 조합을 사용하는 셋업 조인트(set up joint)를 포함한다. 카운터-밸런스는 가스 스프링 또는 코일 스프링을 포함 할 수 있다. 페일-세이프(fail safe) 브레이크와 같은 브레이크는 기계적 및/또는 전기적 부품으로 구성될 수 있다. 또한, 로봇 암(102)은 중력 보조식 수동 지원(gravity-assisted passive support) 타입의 로봇 암일 수 있다.

각 로봇 암(102)은 메커니즘 교환기 인터페이스(Mechanism Changer Interface, MCI)(116)를 사용하여 기구 장치 조작기(Instrument Device Manipulator, IDM)(117)에 결합될 수 있다. IDM(117)은 예컨대, 내시경을 조작하는 제1 종류의 IDM 이나 이와 달리 복강경을 조작하는 제2 종류의 IDM과 같이 다른 종류의 IDM으로 제거 및 교체될 수 있다. MCI(116)은 로봇 암(102)로부터의 공압, 전력, 전기신호 및 선택적 신호를 IDM(117)에 전달하는 커넥터를 포함한다. MCI(116)는 공기압, 전력, 전기 신호 및 광학적 신호를 로봇 암(102)에서 IDM(117)으로 전달하는 커넥터를 포함한다. MCI(116)는 세트 스크류(set screw) 또는 베이스 플레이트 커넥터(base plate connector)일 수 있다. IDM(117)은 다이렉트 드라이브(direct drive), 하모닉 드라이브(harmonic drive), 기어 드라이브(gear drive), 벨트 및 도르래, 자기 드라이브(magnetic drive) 등과 같은 기술을 활용해 내시경(118)과 같은 수술 기구를 조작한다. MCI(116)는 IDM(117)의 종류에 따라 교체될 수 있으며 특정 종류의 수술 절차에 맞춤화될 수 있다. 로봇 암(102)은 KUKA AG® LBR5 로봇 암과 같이 원위 단부에 조인트 레벨 토크 감지부와 손목을 포함할 수 있다. 내시경(118)은 (가령, 인체 조직과 같은) 해부구조의 영상을 촬영하기 위해 환자의 해부구조 내로 삽입되는 관 모양의 연성 수술 기구이다. 특히, 내시경(118)은 (가령, 카메라 또는 센서와 같은) 한 개 이상의 촬상기기를 포함하여 이미지를 촬영한다. 촬상 기기는 광섬유, 광섬유 배열 또는 렌즈와 같은 한 개 이상의 광학적인 구성요소를 포함할 수 있다. 광학적 구성요소는 내시경(118)의 선단의 움직임에 맞춰 촬상 기기의 촬영 이미지가 바뀔 수 있도록 내시경(118)의 선단을 따라 움직인다. 내시경(118)은 IV. 내시경 섹션에서 도 3A 내지 도4B를 참조하여 추가 설명된다.

수술 로봇 시스템(100)의 로봇 암(102)은 세장형 이동 부재를 사용하여 내시경(118)을 조작한다. 세장형 이동 부재는 푸쉬 또는 풀 와어어라고도 불리는 풀-와이어(pull wires), 케이블, 섬유조직, 또는 연성 샤프트를 포함할 수 있다. 예를 들어, 로봇 암(102)은 내시경(118)에 결합된 여러 개의 풀-와이어를 작동시켜서 내시경(118)의 선단의 방향을 바꾼다. 풀-와이어는 스테인리스강, 케블라(Kevelar), 텅스텐(tungsten), 탄소섬유 등과 같은 금속과 비금속 모두를 포함할 수 있다. 세장형 이동 부재에 의해 힘이 가해지면 내시경(118)은 비선형 행태를 보인다. 비선형 행태는 내시경(118)의 강성과 압축성뿐만 아니라 다른 세장형 이동 부재들 간의 느슨함 또는 강성에서의 가변성(variability)에 기인할 것이다.

도 1B 내지 도 1F는 다양한 실시예에 따른 로봇 플랫폼(150)(또는 수술 침대)와 결합된 수술 로봇 시스템(100)의 다양한 사시도를 도시한다. 구체적으로, 도 1B는 환자 신체 안으로 내시경을 삽입하기 위해 내시경(118)을 조작하는 로봇 암(102)을 갖춘 수술 로봇 시스템(100)과 로봇 플랫폼(150)에 누워 있는 환자의 측면도를 도시한다. 도 1C는 수술 로봇 시스템(100)과 로봇 플랫폼(150) 및 로봇 암으로 조작되어 환자 신체 안으로 삽입된 내시경(118)의 평면도를 도시한다. 도 1D는 수술 로봇 시스템(100)과 로봇 플랫폼(150) 및 로봇 플랫폼과 수평적으로 평행하게 위치하도록 제어된 내시경(118)의 사시도를 도시한다. 도 1E는 수술 로봇 시스템(100)과 로봇 플랫폼(150) 및 로봇 플랫폼과 상대적으로 수직에 위치하도록 제어된 내시경(118)의 또 다른 사시도를 도시한다. 보다 구체적으로, 도 1E에서 로봇 플랫폼(150)의 수평면과 내시경(118) 사이의 각도는 75도이다. 도 1F는 도 1E의 수술 로봇 시스템(100)과 로봇 플랫폼(150)의 사시도를 도시하며, 보다 구체적으로, 내시경(118)과 내시경의 한쪽 단부(180)와 로봇 플랫폼으로부터 비교적으로 더 멀리 위치한 로봇 암(102)을 연결하는 가상 선(160)사이의 각도는 90도이다.

II. 명령 콘솔

도 2는 일 실시예에 따른 수술 로봇 시스템(100) 예를 위한 명령 콘솔(200)의 예를 도시한다. 명령 콘솔(200)은 콘솔 베이스(201), 모니터와 같은 디스플레이 모듈(202) 및 키보드(203)와 조이스틱(204)와 같은 제어 모듈을 포함한다. 일부 실시예에서, 한 개 이상의 명령 콘솔(200) 기능은 수술 로봇 시스템(100) 또는 수술 로봇 시스템(100)과 연통식 결합된 다른 시스템의 베이스(101)에 통합될 수 있다. 의사와 같은 사용자(205)는 인체공학적인 자세로 명령 콘솔(200)을 사용해서 수술 로봇 시스템(100)을 원격 제어한다.

콘솔 베이스(201)는 예컨대 도 1에 도시된 내시경(118)으로부터 카메라 영상 및 트랙킹 센서 데이터와 같은 신호의 분석 및 처리를 책임지는 중앙 처리 장치, 메모리 장치, 데이터 버스, 관련 데이터 통신 포트를 포함할 수 있다. 일부 실시예에서, 부하 분산(load-balancing)을 위해 콘솔 베이스(201)와 베이스(101) 모두 신호 처리를 수행한다. 콘솔 베이스(201)는 또한 제어 모듈(203, 204)을 통해 사용자(205)로부터 입력된 명령과 지시를 처리할 수 있다. 제어 모듈은 도 2에 도시된 키보드(203)와 조이스틱(204)뿐만 아니라 컴퓨터 마우스, 트랙 패드, 트랙 볼 제어 패드, 비디오 게임 제어기 및 (가령, 동작 센서나 카메라와 같이) 손짓과 손가락 움직임을 캡쳐하는 센서 등과 같은 다른 기기 또한 포함할 수 있다.

사용자(205)는 속도 모드 또는 위치 제어 모드로 설정된 명령 콘솔(200)을 사용해서 내시경(118)과 같은 수술 기구를 제어할 수 있다. 속도 모드에서 사용자(205)는 직접 수동 제어를 기반으로 제어 모듈을 사용해 내시경(118)의 원위 단부의 피치, 요 움직임을 직접 제어한다. 예를 들어 조이스틱(204)의 움직임은 내시경(118)의 원위 단부의 요, 피치 움직임과 맵핑될 수 있다. 조이스틱(204)은 사용자(205)에게 햅틱 피드백을 전달한다. 예를 들어, 내시경(118)이 특정 방향으로 더 이상 이동 또는 회전할 수 없을 때 이를 나타내기 위해 조이스틱(204)에서 진동이 발생한다. 명령 콘솔(200)은 또한 내시경(118)이 이동 또는 회전의 최대치에 도달 했다는 것을 나타내기 위해 (팝업메시지와 같은) 시각 피드백 및/또는 (삐 소리와 같은) 오디오 피드백을 제공할 수 있다.

위치 제어 모드에서, 명령 콘솔(200)은 환자의 3차원(3D) 지도와 환자의 기 설정된 컴퓨터 모델을 사용해서 내시경(118)과 같은 수술 기구를 제어한다. 명령 콘솔(200)은 표적 위치까지 내시경(118)을 조작하기 위해 수술 로봇 시스템(100)의 로봇 암(102)으로 제어 시그널을 보낸다. 위치 제어 모드는 3차원 맵에 의존하고 있기 때문에 환자의 정확한 해부학적 맵핑 정보를 필요로 한다.

일부 실시예에서 사용자(205)는 명령 콘솔(200)을 사용하지 않고 수술 로봇 시스템(100)의 로봇 암(102)을 수동적으로 조작할 수 있다. 수술실을 세팅하는 동안 사용자(205)는 로봇 암(102), 내시경(118) 및 다른 수술 장비들이 환자에 접근할 수 있도록 이동 시킬 수 있다. 수술 로봇 시스템(100)은 로봇 암(102)과 장비를 적절하게 구성하기 위해 사용자(205)의 힘 피드백과 관성제어에 의존할 수 있다.

디스플레이 모듈(202)은 전자 모니터, 고글, 안경과 같은 가상 현실 관찰 장치 및/또는 다른 디스플레이 기기 수단을 포함할 수 있다.일부 실시예에서 디스플레이 모듈(202)은 예를 들어 터치스크린이 있는 테블릿 기기와 같이 제어 모듈과 통합될 수 있다. 뿐만 아니라 사용자(205)는 통합된 디스플레이 모듈(202)과 제어 모듈을 사용하여 시각적 데이터를 볼 수도 있고 수술 로봇 시스템(100)에 명령을 입력할 수도 있다.

디스플레이 모듈(202)은 바이저(visor) 또는 고글과 같은 입체 장치를 사용해서 3차원 이미지를 보여 줄 수 있다. 환자의 해부학을 도시하는 3D 컴퓨터 모델인 “엔도뷰(endo view)”, 즉 내시경 관점 사진을 3차원 이미지로 제공한다. “엔도뷰”는 환자의 몸 안의 가상 환경 및 환자 내부에서 내시경(118)의 예상 위치를 제공한다. 사용자(205)는 “엔도뷰” 모델과 실제 카메라 캡쳐 이미지를 비교함으로써 환경에 대해 적응하고 내시경(118)이 환자 내부에서 정확한 위치 또는 거의 정확한 위치에 있는지 여부를 확인할 수 있다. “엔도뷰”는 내시경(118)의 원위 단부 주변의 환자의 창자와 결장의 모양과 같은 해부학 구조에 대한 정보를 제공한다. 디스플레이 모듈(202)은 내시경(118)의 원위 단부 주변의 해부학적 구조에 대한 3D 모델과 컴퓨터 단층 촬영(CT)을 동시에 보여줄 수 있다. 뿐만 아니라 디스플레이 모듈(202)은 내시경(118)의 기 결정된 최적의 탐색 경로를 3D 모델과 CT 스캔에 중첩(overlay)시켜 보여줄 수 있다.

일부 실시예에서, 내시경(118) 모델은 수술 절차 상태를 나타내는데 도움을 주는 3D모델과 함께 보여진다. 예를 들어 CT스캔은 해부학 구조에서 생검(biopsy)이 필요할 수 있는 병변(lesion)을 확인해 준다. 수술이 진행되는 동안 디스플레이 모듈(202)은 내시경(118)의 현 위치에 대응하는 내시경(118)의 캡쳐 이미지를 참고로 보여줄 수 있다. 디스플레이 모듈(202)은 사용자 설정과 특정 수술 절차에 따라 자동으로 내시경(118) 모델의 다른 시야를 보여줄 수 있다. 예를 들어 내시경(118)이 환자의 수술 부위로 근접해 가는 탐색 절차 중에 디스플레이 모듈(202)은 내시경(118)의 오버 헤드 형광투시 뷰(overhead fluoroscopic view)를 보여준다.

III. 기구 장치 조작기

도 3A는 일 실시예에 따른 도 1에 도시된 IDM(117)의 독립 구동 메커니즘의 예시의 등각투상도를 도시한다. 독립 구동 메커니즘은 IDM(117)의 출력 축(output shaft; 305, 306, 307, 308)을 회전함으로써 내시경의 풀-와이어(321, 322, 323, 324)를 (각각 독립적으로) 팽팽하게 또는 느슨하게 할 수 있다. 출력 축(305, 306, 307, 308)이 풀-와이어(321, 322, 323, 324)로 각 움직임(angular motion)을 통해 각각의 힘을 전달할 때, 풀-와이어(321, 322, 323, 324)는 힘을 다시 출력 축으로 전달한다. IDM(117) 및/또는 수술 로봇 시스템(100)은 이하 추가 설명되는 스트레인 게이지와 같은 센서를 이용해 전달되는 힘을 측정할 수 있다.

도 3B는 일 실시예에 따른 독립 구동 메커니즘의 스트레인 게이지(334)에 의해 어떻게 힘이 측정되는지를 보여주는 개념도를 도시한다. 힘(331)은 모터(337)의 모터 마운트(333)와 결합된 출력 축(305)으로부터 멀어지는 방향으로 작동한다. 따라서, 힘(331)으로 인해 모터 마운트(333)의 수평 변이가 일어난다. 또한, 모터 마운트(333)와 수평적으로 결합된 스트레인 게이지(334)가 힘(331)의 방향으로 압박을 받는다. 압박은 스트레인 게이지(334)의 선단(335)의 수평변이 대 스트레인 게이지(334)의 전체적 수평 넓이(336)의 비율로 측정될 수 있다.

일부 실시예에서, IDM(117)은 IDM(117)의 방향을 결정하기 위해 경사계(inclinometer) 또는 가속도계(accelerometer)와 같은 추가 센서를 포함한다. 추가 센서 및/또는 게이지(334)의 측정을 기반으로 수술 로봇 시스템(100)은 중력 하중을 감안해 스트레인 게이지(334)의 기록을 조정할 수 있다. 예를 들어, 만약 IDM(117)이 IDM(117)의 수평한 부분쪽으로 놓여 있다면, IDM(117)의 특정 구성요소의 무게가 모터 마운트(333)에 압박을 줄 수 있다. 따라서, 중력 하중의 영향을 감안하지 않으면, 스트레인 게이지(334)는 출력 축에 대한 압박이 아닌 다른 힘을 측정할 수도 있다.

IV. 내시경

도 4A는 일 실시예에 따른 내시경(118) 예의 평면도를 도시한다. 내시경(118)은 관형 구성요소 쉬스(sheath)(411)와 세로 정렬되어 안쪽으로 완전하게 또는 부분적으로 중첩되는 관형의 구성요소 리더(leader)(415)를 포함한다. 쉬스(411)는 근위(proximal) 쉬스 부분(412)과 원위(distal) 쉬스 부분(413)을 포함한다. 리더(415)는 쉬스(411)보다 바깥 지름이 더 작으며 근위 리더 부분(416)과 원위 리더 부분(417)을 포함한다. 쉬스 베이스(414)와 리더 베이스(418)는 예를 들어, 수술 로봇 시스템(100) 사용자의 제어 신호를 기반으로 원위 쉬스 부분(413)과 원위 리더 부분(417)을 각각 작동시킨다. 쉬스 베이스(414)와 리더 베이스(418)는 예를 들어, 도 1에 도시된 IDM(117)의 일부 이다.

쉬스 베이스(414)와 리더 베이스(418)는 둘 다 쉬스(411)와 리더(415)에 결합된 풀-와이어를 제어하는 구동 메커니즘(가령, III. 기구 장치 조작기 섹션에서 도 3A 내지 도B를 참조하여 추가 설명되는 독립 구동 메커니즘)을 포함한다. 예를 들어, 쉬스 베이스(414)는 쉬스(411)와 결합된 풀-와이어에 인장 하중을 발생시켜 원위 쉬스 부분(413)의 방향을 바꾼다. 마찬가지로, 리더 베이스(418)는 리더(415)와 결합된 풀-와이어에 인장 하중을 발생시켜 원위 리더 부분(417)의 방향을 바꾼다. 또한, 쉬스 베이스(414)와 리더 베이스(418) 둘 다 공기압, 전력, 전자 신호 또는 광 신호를 IDM에서 쉬스(411)와 리더(414)로 각각 전달하기 위한 커플링을 포함할 수도 있다. 풀-와이어는 쉬스(411) 또는 리더(415) 안쪽의 상기 풀-와이어의 길이를 따라 강철 코일 파이프를 포함할 수 있으며, 이는 쉬스 베이스(414) 또는 리더 베이스(418)와 같은 하중의 원천으로 축 압축(axial compression)을 다시 전달한다.

쉬스(411)와 리더(415)에 결합된 풀-와이어가 제공하는 복수의 자유도로 인해 내시경(118)은 환자의 해부학 구조를 비교적 쉽게 탐색한다. 예를 들어 4개 이상의 풀-와이어가 쉬스(411) 및/또는 리더(415)에 사용될 수 있고 따라서 8개 이상의 자유도를 제공한다. 다른 실시예에서, 풀-와이어가 3개까지 사용될 수 있고 따라서 최대 6개의 자유도가 제공될 수 있다. 쉬스(411)와 리더(415)는 세로 축(406)을 따라 360도까지 회전될 수 있고 이에 따라 더 많은 자유도의 움직임을 제공한다. 회전각과 복수의 자유도가 조합되면 수술 로봇 시스템(100)의 사용자는 보다 쉽고 직관적으로 내시경(118)을 제어할 수 있다.

도 4B는 일 실시예에 따른 도 4A에 도시된 내시경(118)의 내시경 선단(430)의 예를 도시한다. 도 4B에서 내시경 선단(430)은 (가령, 카메라 같은) 촬상 기기(431), 광원(432), 및 EM 코일의 단부(434)를 포함한다. 광원(432)은 해부학적 공간의 내부 일부를 비추는 조명을 제공한다. 촬상 기기(431)는 제공된 조명을 사용하여 해당 공간의 이미지를 녹화하며 이 이미지는 본 명세서에서 기술된 바와 같이 처리(processing)를 위해 명령 콘솔(200)과 같은 컴퓨터 시스템으로 전송된다. 선단(430)에 위치한 전자기 코일(434)은 전자기 추적 시스템과 함께 내시경 선단(430)이 해부학적 시스템 내부에 배치되어 있을 동안 위치와 방향을 감지하는데 사용될 수 있다. 일부 실시예에서, 코일은 각기 다른 축을 따라 전자기장의 감도를 제공하기 위해 기울여질 수 있고, 이에 따라 완전한 자유도 6, 즉,위치 자유도3, 각도 자유도3을 측정할 수 있다. 다른 실시예에서, 그 축이 내시경(118)의 내시경 샤프트를 따라 배향된 단일 코일이 내시경 선단(430) 내 배치될 수 있고; 해당 시스템의 회전대칭(rotational symmetry) 때문에 축을 따라 롤링하는 것에 둔감하므로 이런 경우 5개의 자유도만이 감지될 수 있다. 내시경 선단(430)은 또한 생검 바늘과 같은 수술 도구가 내시경 샤프트를 따라 삽입될 수 있는 워킹 채널(436)을 포함하여 내시경 선단 부근에 접근성을 제공한다.

V. EM 시스템의 3D 모델로의 정합 변환(registration transform)

V. A. EM 추적 시스템의 도식화된 구성

도 5는 일 실시예에 따른 수술 로봇 시스템(500)에 포함된 EM 추적 시스템(505)의 도식화된 구성 예시를 도시한다. 도 5에서 복수의 로봇 구성 요소(가령, 아래 설명되는 윈도우 필드 발생기(window field generator), 기준센서)가 EM 추적 시스템(505)에 포함되어 있다. 로봇 수술 시스템(500)은 환자의 신체가 놓여지는 수술 침대(511)을 포함한다. 침대(511) 아래쪽에 위치한 윈도우 필드 발생기(WFG)(512)는 EM 코일 세트(가령, 도 4B에 도시된 EM 코일(434)들)을 순차적으로 작동시키도록 구성된다. WFG(512)는 넓은 볼륨(volume)의 교류(AC) 자기장을 발생시킨다; 예를 들어, 어떤 경우에는 0.5 x 0.5 x 0.5m 볼륨의 AC 자기장을 발생시킬 수 있다.

기구의 신체 내 위치 추적을 지원하기 위해 추가 필드 발생기를 더하여 필드(field)를 추가로 발생시킬 수 있다. 예를 들어, 플레이너 필드 발생기(planar field generator)(PFG)는 환자와 인접한 시스템 암에 부착될 수 있으며 전자기장을 비스듬하게 제공하도록 배향될 수 있다. 기준 센서(513)는 추적 정확도를 더욱 높이기 위한 국소전자기장을 제공하기 위해 환자의 신체 위에 위치될 수 있다. 각각의 기준센서(513)는 케이블(514)을 통해 명령 모듈(515)에 부착될 수 있다. 케이블(514)은 각각의 기기와의 통신 및 전력 공급을 처리하는 인터페이스 장치(516)을 통해 명령 모듈(515)에 연결된다. 인터페이스 장치(516)는 상기 언급된 다양한 개체들을 위한 전체적인 인터페이스 제어 장치로써 역할을 하는 시스템 제어 장치(system control unit, SCU)(517)와 결합되어 있다. SCU(517)는 또한 필드 발생기(가령, WFG(512))를 구동시킬 뿐만 아니라 인터페이스 장치(516)로부터 센서 데이터를 수집하여 신체 내부의 센서들의 위치와 방향을 계산한다. SCU(517)는 개인 컴퓨터(PC)(518)와 결합되어 사용자의 접근 및 제어를 허용할 수 있다.

명령 모듈(515)은 또한 본 명세서에서 기술된 바와 같이 수술 로봇 시스템(500)과 결합된 다양한 IDM(519)과 연결된다. IDM(519)은 보통 한 개의 수술 로봇 시스템(가령, 수술 로봇 시스템(500))과 결합되어 각각 연결된 로봇 구성 요소, 예컨대 로봇 내시경 도구 또는 로봇 암으로부터 데이터를 제어하고 수신하는데 사용된다. 상기 기술되었듯, 예를 들어, IDM(519)은 수술 로봇 시스템(500)의 내시경 도구(미도시)와 결합된다.

명령 모듈(515)은 내시경 도구로부터 전달된 데이터를 수신한다. 수신된 데이터의 유형은 부착된 해당 기구의 종류에 따라 다르다. 예를 들어, 수신 데이터의 예로 센서 데이터(가령, 이미지 데이터, EM 데이터), 로봇 데이터(가령, 내시경 및 IDM 물리 동작 데이터), 제어 데이터, 및/또는 비디오 데이터가 포함된다. 비디오 데이터를 더 잘 처리하기 위해, 필드 프로그래머블 게이트 어레이(field-programmable gate array(FPGA))(520)는 이미지 프로세싱을 처리하도록 구성될 수 있다. SCU(517)는 다양한 센서, 디바이스 및 필드 발생기로부터 취득한 데이터를 비교함으로써 수술 로봇 시스템(500)의 각기 다른 구성요소의 움직임, 예를 들어, 구성 요소들의 위치와 방향을 정확하게 추적할 수 있다.

환자의 해부학 구조 안의 센서를 추적하기 위해, EM 추적 시스템(505)은 “정합(registration)”이라는 과정이 필요할 수 있으며, 이 과정에서 시스템은 각기 다른 좌표 사이에 하나의 객체를 정렬하는 기하학적 변환을 찾는다. 예를 들어, 환자의 특정 해부학적 위치는 3D 모델 좌표와 EM 센서 좌표에서 각각 다르게 나타난다. 이 다른 두 개의 좌표 사이에서 일관성과 공통된 언어를 확립하기 위해 EM 추적 시스템(505)은 이 두 표현을 연결할 수 있는 변환을 찾아야 하며, 이를 즉 정합이라 한다. 예를 들어, EM 필드 생성기 위치에 대한 EM 추적기의 상대적인 위치는 해당 3D 모델에서 위치를 분리 시키기 위해 3D 좌표로 맵핑될 수 있다.

V. B. 3D 모델 표현

도 6A 내지 도6B는 일 실시예에 따른 해부학적 내강(600)의 예시와 해부학적 내강의 3D 모델(620)의 예시를 도시한다. 보다 구체적으로, 도 6A 내지 도 6B는 중심선 좌표, 직경 측정치 및 실제 해부학적 내강(600)과 3D모델(620) 사이의 해부학적 공간의 관계를 도시한다. 도 6A에서, 해부학적 내강(600)은 중심선 좌표(601, 602, 603, 604, 605, 606)에 의해 대략 종방향으로 추적될 수 있으며, 여기서 각각의 중심선 좌표는 내강의 단층 절편(tomographic slice)의 중심에 거의 근사한다. 중심선 좌표는 중심선(607)에 의해 연결되고 시각화 된다. 내강의 부피는 각 중심선 좌표에서 내강의 직경을 측정함으로써 더욱 시각화 시킬 수 있는데, 예를 들어, 좌표 608, 609, 610, 611, 612, 613은 좌표 601, 602, 603, 604, 605, 606에 대한 내강(600)의 측정값을 나타낸다.

도 6B는 일 실시예에 따른 도 6A에 도시된 해부학 내강(600)의 3D 모델 예시(620)를 도시한다. 도 6B에서, 해부학 내강(600)은 3D 공간에서 중심선(607)을 기초로 중심선 좌표(601, 602, 603, 604, 605, 606)를 먼저 위치시킴으로써 3D 공간에서 시각화 된다. 일례로, 각 중심선 좌표에서 내강의 직경은, 608, 609, 610, 611, 612, 613의 직경을 가진 (가령, 2D 원형 공간(630)과 같은) 2D 원형 공간으로 시각화 된다. 2D 원형 공간을 서로 연결시켜 3D 공간을 만들면, 해부학 내강(600)과 비슷해 지며 3D 모델(620)로 시각화 된다. 중심선 좌표 및 측정 해상도를 증가시키면, 즉, 해당 내강 또는 서브섹션에 대한 중심선 좌표 및 측정의 밀도를 증가시키면 더욱 정확한 근사치가 결정될 수 있다. 또한, 중심선 좌표는 병변과 같은 의사의 관심 지점을 나타내는 표식을 포함할 수 있다.

또한 일부 실시예에서, 수술 전(pre-operative) 소프트웨어 패키지가 생성한 해부학적 공간의 3D모델에 기초하여 탐색 경로를 분석 및 도출하기 위해 사용된다. 예를 들어, 상기 소프트웨어 패키지는 (중심선 좌표로 표시된) 단일 병변 또는 몇 개의 병변에 대한 최단 탐색 경로를 도출할 수 있다. 이 탐색 경로는 작동자의 선호에 따라 2차원 또는 3차원으로 수술 중(intra-operatively)에 작동자에게 제공 될 수 있다.

도 7은 일 실시예에 따른, 해부학적 공간을 나타내는 컴퓨터 생성 3D 모델(700)을 도시한다. 앞서 도 6A 내지 도6B에서 설명되었듯, 3D 모델(700)은 수술 전 생성된 CT 스캔을 검토하여 얻어진 중심선(701)을 사용해 생성될 수 있다. 일부 실시예에서, 3D 모델(700) 내 수술 부위(703)로 접근하기 위해 컴퓨터 소프트웨어는 관형 조직망 내부의 탐색 경로(702)를 맵핑할 수 있다. 일부 실시예에서, 수술 부위(703)는 컴퓨터 알고리즘이 3D모델(700)의 중심선 좌표를 위상적으로 검색하여 관형 조직망 내의 최적의 경로(702)를 찾을 수 있도록 개별 중심선 좌표(704)에 연결될 수 있다.

일부 실시예에서, 내시경 도구의 원위 단부는 환자의 신체 내에서 추적되고 환자의 신체 내 추적된 내시경 도구의 위치는 컴퓨터 모델에 맵핑 및 위치됨으로써 관형 조직망의 탐색 능력을 향상 시킨다. 내시경 도구의 원위 작업 단부, 즉 작업 단부의 위치 및 방향을 추적하기 위해, 여러가지 접근법이 개별적으로 또는 조합되어 적용될 수 있다.

국부화(localization)의 센서 기반 접근에서, 전자기(EM) 추적기와 같은 센서는 내시경 도구의 진행을 실시간으로 알려주기 위해 내시경 도구의 원위 작업 단부와 결합될 수 있다. EM 기반 추적에서, 내시경 도구에 내장된 EM 추적기는 한 개 이상의 EM 송신기에 의해 생성되는 전자기장의 변화를 측정한다. 송신기(또는 필드 발생기)는 낮은 강도의 자기장을 생성하기 위해 환자에 가까이 (가령, 수술 침대의 일부로) 배치될 수 있다. 이를 통해 EM 추적기의 센서 코일에 작은 전류가 유도되며, 이는 센서와 생성기 사이의 거리 및 각도와 상관 관계가 있다. 그 다음 전기 신호는 인터페이스 장치(온칩(on-chip) 또는 PCB)에 의해 디지털화되어 케이블/배선을 통해 다시 시스템 카트로, 그다음 명령 모듈로 전송된다. 그다음 데이터는 전류 데이터를 판독하고 송신기에 대한 센서의 정확한 위치와 방향을 계산하기 위해 프로세싱 된다. 복수의 센서는 내시경 도구의 여러 다른 위치에서 사용될 수 있는데 예컨대, 리더와 쉬스에 위치해 해당 구성요소의 개별적인 위치를 계산한다. 따라서, 인위적으로 생성된 EM 필드의 측정값을 기반으로, EM 추적기가 환자의 신체를 통과할 때 전계 강도의 변화를 감지할 수 있다.

V. C. 온-더-플라이 전자기 정합

도 8A 내지 도 8D는 일 실시예에 따른, EM 시스템을 관형 조직망 경로의 3D 모델로 온-더-플라이 방식 정합을 보여주는 그래프(810 내지 840)의 예를 도시한다. 본 명세서에 설명된 탐색 구성 시스템은 내시경 시술 전 독립된 정합을 할 필요 없이 EM좌표를 3D모델 좌표에 온-더-플라이 방식으로 정합할 수 있도록 한다. 보다 구체적으로, 도 8A는 EM 추적 시스템의 좌표 시스템과 3D 모델이 처음에 서로 정합되지 않은 상태를 도시하고, 도 8A의 그래프(810)는 분지 관형 조직망(미도시) 내 계획된 탐색 경로(802)를 따라 이동하는 내시경 선단(801)의 정합 (또는 예상) 위치를 도시하고, 기구 선단(801)의 정합 위치 뿐만 아니라 계획 경로(802)는 3D 모델에서 도출된다. 선단의 실제 위치는 EM 추적 시스템(505)에 의해 반복적으로 측정되어 그 결과 EM 데이터 기반의 복수의 측정 위치 데이터 포인트(803)가 생긴다. 도 8A에 도시된 바와 같이, EM 추적으로부터 도출된 데이터 포인트(803)는 처음에 EM 좌표와 3D 모델 좌표가 정합되지 않은 상태를 반영하여 3D 모델에서 예상한 내시경 선단(801)의 정합 위치에서 멀리 위치해 있다. 여기에는 여러 가지 이유가 있을 수 있는데, 예를 들어, 내시경 선단이 관형 조직망 안을 비교적 부드럽게 이동한다 하더라도 환자가 호흡 시 폐의 움직임 때문에 여전히 EM 측정에는 눈에 띄는 산포가 존재할 수 있다.

3D 모델의 포인트들은 3D 모델 그 자체, (카메라 같은) 광학 센서로부터 수신한 이미지 데이터 및 로봇 명령으로부터의 로봇 데이터 간의 상관관계에 기초하여 결정되고 조정될 수 있다. 이 포인트와 수집된 EM 데이터 포인트 사이의 3D변환을 통해 EM 좌표 시스템의 3D모델 좌표 시스템으로의 초기 정합이 결정될 것이다.

도 8B는 일 실시예에 따라, 그래프(810)와 비교해서 시간적으로 이후 단계의 그래프(820)를 도시한다. 보다 구체적으로, 도 8A에 표시된 장치 선단(801)의 최초 예상 위치에서 도 8B에 표시된 위치까지 경로를 따라 이동한 것이 나타난 것과 같이, 그래프(820)는 3D 모델에서 예측한 내시경 선단(801)의 예상 위치가 기 계획된 탐색 경로(802)를 따라 더 이동한 모습을 나타낸다. 그래프(810) 생성과 그래프(820) 생성 사이에 EM 추적이 일어나는 동안, 추가 데이터 포인트(803)가 EM 추적 시스템에 의해 기록되었으나 정합의 경우 아직 새로 수집된 EM 데이터를 기반으로 업데이트되지 않았다. 그 결과, 도 8B의 데이터 포인트(803)는 뚜렷한 경로(814)를 따라 무리를 이루고 있으나 해당 경로는 내시경 선단이 작동자의 지시에 따라 이동해야 하는 계획 탐색 경로(802)와 위치와 방향이 틀리다. 결국, 충분한 데이터(가령, EM 데이터)가 축적되면, 3D 모델 또는 EM 모델만 사용하는 것에 비해 상대적으로 보다 정확한 추정이 변환으로부터 도출될 수 있고 이는 3D모델에 EM 좌표를 정합하는데 필요하다. 데이터의 양이 충분한지에 대한 결정은 총 축적 데이터 또는 방향 변경 횟수와 같은 임계 기준을 두고 내려질 수 있다. 예를 들어, 기관지 조직망과 같은 분지 관형 조직망에서, 두 분기점에 도달했을 때 충분한 데이터가 축적되었다고 판단할 수 있다.

도 8C는 일 실시예에 따른 탐색 구성 시스템이 EM에서 3D 모델 좌표로 정합 변환을 추정하기 위해 충분한 양의 데이터를 축적한 직 후의 그래프(830)를 도시한다. 정합 변환의 결과 도8C의 데이터 포인트(803)들은 도 8B에 표시된 전 위치에서 이제 이동했다. 도 8C에 도시된 바와 같이, EM 데이터에서 도출된 데이터 포인트(803)는 이제 3D 모델에서 도출된 계획 탐색 경로(802)상에 놓여지게 되며 데이터 포인트(803)의 각각의 데이터 포인트들은 이제 3D 모델 좌표 시스템에서 내시경 선단(801)의 예상 위치 측정을 반영한다. 일부 실시예에서, 데이터가 더 많이 축적되면, 정확도를 높이기 위해 정합 변환이 업데이트될 수도 있다. 일부 경우에서, 정합이 시간이 흐름에 따라 변할 수 있도록 정합 변환을 결정하기 위해 사용되는 데이터는 무빙 윈도우(moving window)에 의해 선택된 데이터의 부분 집합일 수 있으며 이로 인해 예를 들어, 환자의 움직임과 같은 변화 때문에 EM 및 3D 모델의 상대적 좌표가 바뀌는 것을 감안할 수 있다.

도 8D는 일 실시예에 따른, 내시경 선단(801)의 예상위치가 계획 탐색 경로(802)의 끝에 도달했으며 관형 조직망 내 표적 부위에 도달한 그래프(840)의 예시를 도시한다. 도 8D에 도시된 바와 같이, 기록된 EM 데이터 포인트(803)들은 이제 전반적으로 계획 탐색 경로(802)를 추적하고 있으며 이는 시술 중 내시경 선단의 궤적을 나타낸다. 각 데이터 포인트는 업데이트된 EM 추적 시스템의 3D 모델 정합에 따른 변환된 위치를 반영한다.

일부 실시예에서, 도 8A 내지 도 8D에 도시된 각각의 그래프는 내시경 선단이 관형 조직망에서 전진해 나갈 때 디스플레이를 통해 사용자에게 순차적으로 보여질 수 있다. 일부 실시예에서, 프로세서는 사용자가 고정된 좌표계(frame of reference)를 유지하고 모델과 디스플레이에 나타난 계획 경로에 시각적으로 집중 할 수 있도록 측정된 데이터 포인트가 디스플레이에 정합될 때 디스플레이의 측정 경로를 이동함으로써 디스플레이에 나타나는 모델이 대체로 고정된 상태를 유지하도록 탐색 구성 시스템의 명령을 통해 구성될 수 있다.

도 8E 내지 도 8F는 일 실시예에 따른, EM 시스템을 분지 관형 조직망 3D 모델에 정합한 예시의 결과를 도시한다. 도 8E 내지 도 8F에서 전자기 추적 데이터(852)와 환자의 기관지 시스템(854)의 모델을 나타내는 3D 그래프는 정합 변환이 없는 상태(도 8E에 도시됨)와 있는 상태(도 8F에 도시됨)로 도시된다. 도 8E에서, 정합을 하지 않은 경우 추적 데이터(860)의 형태는 기관지 시스템(854) 내 경로와 부합하긴 하지만 이 형태는 임의적으로 오프셋과 회전이 될 가능성이 있다. 도 8F에서 정합을 적용함으로써, 추적 데이터(852)는 이동되고 회전되어 기관지 시스템(854)의 경로와 부합한다.

V. D. 정합 변환의 수학적 분석

(가령, 수학적 분석과 같은) 정합의 구체적인 분석 및 방법에 있어서, 일부 실시예의 경우, 정합 행렬을 사용해 EM 추적 시스템과 3D 모델 사이 정합을 수행할 수 있으며, 일례로 이동과 회전은 6차원 행렬로 표현될 수 있다. 대안적 실시예에서, 회전 행렬 및 이동 벡터가 정합을 수행하는데 사용될 수 있다.

수학적 추론의 관점에서, 일례로 정합 변환을 적용하는 것은 하나의 좌표 시스템 (x,y,z)에서 새로운 좌표 시스템 (x',y',z')으로의 이동을 수반하는데 이는 일반적으로 그 축을 다른 3D 방향으로 회전시킬 뿐만 아니라 원점을 각 면에서 임의의 양만큼 이동시킨다. 예를 들어, θ 라디안(radian) 방위각으로의 회전은 행렬 M₁으로 표현되며, φ 라디안 경사각으로의 회전은 행렬 M₂ 로 등등 표현될 수 있으며 회전 행렬의 결과물로 추가의 회전 행렬들이 기술될 수 있다. 마찬가지로, 이동 벡터 (Δx Δy Δz)는 x, y, z 축의 원점을 각각 Δx, Δy, Δz만큼 이동하는 것을 표현하기 위해 선택될 수 있다.

정합 변환은 측정 EM 위치와 3D모델에서의 추정 위치 간의 교차 상호상관행렬에 대한 특이값 분해(singular value decomposition)와 같은 방법으로 결정될 수 있다. 변환행렬 성분은 그 다음 예를 들어, 적절한 주성분을 식별함으로써 분해에서 추출될 수 있다. 결정된 변환의 잔차(residuals)로 인해 에러 신호가 발생될 수 있으며 에러 신호의 크기는 위치의 신뢰 수준을 결정하는데 활용될 수 있다. 더 많은 데이터가 쌓이고 정합 변환이 좀 더 정확하게 결정되면 에러 신호는 감소하고, 해당 방식으로 추정한 위치에 대한 신뢰가 증가한다.

VI. 탐색 구성 시스템

VI. A. 탐색 구성 시스템의 고급 개요

도 9A 내지 도9C는 일 실시예에 따른 탐색 구성 시스템(900)의 블록 다이어그램(block diagram)의 예를 도시한다. 보다 구체적으로, 도 9A는 탐색 구성 시스템(900)의 블록 다이어그램 예시의 고급 개요를 도시한다. 도 9A에서, 탐색 구성 시스템(900)은 복수의 입력 데이터 저장부, 복수의 입력 데이터 저장부로부터 다양한 유형의 입력 데이터를 수신하는 탐색 모듈(905) 및 탐색 모듈로부터 출력 탐색 데이터를 수신하는 출력 탐색 데이터 저장부(990)를 포함한다. 도 9A에 도시된 탐색 구성 시스템(900)의 블록 다이어그램은 일 예에 불과한 것이며 도시되지 않은 대안적 실시예에서, 탐색 구성 시스템(900)은 다른 및/또는 추가적인 개체들을 포함할 수 있다. 마찬가지로, 시스템(900)의 다양한 개체들이 수행하는 기능들은 각기 다른 실시예에 따라 달라질 수 있다.

입력 데이터는, 본 명세서에서 사용될 때, 내시경의 추정 상태 정보 뿐만 아니라 출력 탐색 데이터 생성을 위해 입력 장치(가령, 명령 모듈, 광학 센서, EM 센서, IDM)에서 수집된 및/또는 처리된 미가공 데이터를 지칭한다. 복수의 입력 데이터 저장부(910 내지 940)는 이미지 데이터 저장부(910), EM 데이터 저장부(920), 로봇 데이터 저장부(930) 및 3D 모델 데이터 저장부(940)을 포함한다. 각 유형의 입력 데이터 저장부들은 이름으로 표시된 유형의 데이터를 저장하여 탐색 모듈(905)이 접근하고 사용할 수 있도록 한다. 이미지 데이터는 기구 선단의 촬상기기로부터 촬영된 한 개 이상의 이미지 프레임 뿐만 아니라 순차적인 프레임 사이의 경과시간을 결정하게 해주는 프레임 속도(frame rate)와 타임 스탬프(time stamp)와 같은 정보를 포함할 수 있다. 로봇 데이터는 관형 조직망 내 의료기구 또는 (기구 선단 또는 쉬스와 같은) 의료기구 부분의 물리적인 움직임과 연관된 데이터를 포함한다. 로봇 데이터의 예로는 기구 선단이 관형 조직망 내 구체적인 해부학적 위치에 도달 및/또는 (가령, 리더와 쉬스 중 하나 또는 둘 다의 구체적인 피치(pitch), 롤(roll), 요(yaw), 삽입 및 수축 정보와 함께) 방향을 변경하도록 지시하는 명령 데이터, 의료기구의 일부 (가령, 기구 선단 또는 쉬스)의 삽입 움직임을 나타내는 삽입 데이터, IDM 데이터 및 가령, 관형 조직망 내 의료 기구의 실제 움직임을 구동하는 한 개 이상의 풀-와이어, 텐던(tendon) 또는 내시경 샤프트의 동작과 같이 의료 기구의 세장형 부재의 기계적인 움직임을 나타내는 기계 데이터가 포함된다. 앞서 기술되었듯이, EM 데이터는 EM 센서 및/또는 EM 추적 시스템에 의해 수집된다. 앞서 되었듯이, 3D 모델 데이터는 2D CT 스캔에서 도출된다.

출력 탐색 데이터 저장부(990)는 탐색 모듈(905)로부터 제공된 출력 탐색 데이터를 수신하고 저장한다. 출력 탐색 데이터는 의료 기구가 관형 조직망을 거쳐 관형 조직망 내 특정 목적지에 도달하는 것을 돕는 안내 정보를 나타내며, 의료 기구의 매 순간의 추정 상태 정보에 기반하고, 추정 상태 정보는 관형 조직망 내 의료 기구의 위치와 방향을 포함한다. 일 실시예에서, 의료 기구가 관형 조직망 내부에서 이동할 때, 의료 기구의 움직임 및 위치/방향 업데이트 정보를 나타내는 출력 탐색 데이터가 실시간으로 제공되며 이를 통해 관형 조직망 탐색을 더 잘 지원할 수 있다.

출력 탐색 데이터를 결정하기 위해, 탐색 모듈(905)은 관형 조직망 내부의 의료 기구의 추정 상태를 찾는다(또는 결정한다). 도 9A에 도시된 바와 같이, 탐색 모듈(905)은 또한 EM 기반 알고리즘 모듈(950), 이미지 기반 알고리즘 모듈(960) 및 로봇 기반 알고리즘 모듈(970)을 포함하며, 이들은 각각 주로 특정 유형의 입력 데이터를 사용하고 상태 추정자(980)에게 다른 유형의 데이터를 제공한다. 도 9A에 도시된 바와 같이, 이들 모듈의 각기 다른 유형의 출력 데이터는 EM 기반 데이터, 이미지 기반 데이터, 로봇 기반 데이터로 분류되며 설명을 위해 개략적으로 “중간 데이터”로 지칭된다. 각 알고리즘 모듈과 상태 추정자(980)의 구체적인 구성은 하기 도 9B에서 더 완전하게 기술된다.

VI. B. 탐색 모듈

도 9B는 일 실시예에 따른, 도 9A에 나타난 탐색 모듈(905)의 블록 다이어그램의 예시를 도시한다. 상기 소개한 바와 같이, 탐색 모듈(905)은 추가로 상태 추정자(980) 뿐만 아니라 관형 조직망 탐색을 위한 각기 다른 알고리즘을 적용하는 복수의 알고리즘 모듈을 포함한다. 설명의 명확성을 위해 상태 추정자(980)가 먼저 설명되고 뒤이어 상태 추정자(980)와 데이터를 주고 받는 다양한 모듈이 설명된다.

VI. B. 1. 상태 추정자

탐색 모듈(905)에 포함된 상태 추정자(980)는 다양한 중간 데이터를 수신하여 기구 선단의 추정 상태, 즉 관형 조직망 내 기구 선단의 추정 위치 및 방향 정보를 나타내는 추정 상태를 시간함수로 제공한다. 추정 상태 데이터는 상태 추정자(980)에 포함된 추정 데이터 저장부(985)에 저장된다.

도 9C는 일 실시예에 따른 상태 추정자(980)에 포함된 추정 상태 데이터 저장부(985)의 블록 다이어그램의 예를 도시한다. 추정 상태 데이터 저장부(985)는 분기 데이터 저장부(1086), 위치 데이터 저장부(1087), 깊이 데이터 저장부(1088) 및 방향 데이터 저장부(1089)를 포함할 수 있지만 해당 데이터 저장부 분류는 일 예에 불과한 것으로서 도시되지 않은 대안적 실시예에서, 다른 및/또는 추가적인 데이터 저장부가 추정 상태 데이터 저장부(985)에 포함될 수 있다.

앞서 소개된 다양한 저장부들은 추정 상태 데이터를 다양한 방식으로 나타낸다. 특히, 분기 데이터는 관형 조직망의 (가령, 이분기(bifurcation), 삼분기(trifurcation) 또는 세 개 이상의 분지로 분할된) 분지 세트에 대한 의료 기구의 위치를 나타낸다. 예를 들어, 분기 데이터는 의료 기구가 관형 조직망 안을 이동하면서 가령 관형 조직망의 전체를 맵핑하는 3D 모델이 제공한 더 큰 유효 분지 세트를 바탕으로 선택한 분지 세트일 수 있다. 분기 데이터는 또한 기구 선단의 앞쪽에 대한 정보 가령 기구가 근접하였지만 아직 통과하지는 않은 그러나 예를 들어, 3D 모델에 대한 선단의 현 위치 정보를 바탕으로 또는 앞선 분기의 캡쳐 이미지를 바탕으로 감지된 분지(이분기) 정보를 포함할 수 있다.

위치 데이터는 관형 조직망 또는 관형 조직망 일부분에서 의료 기구 일부의 3차원 위치를 표시한다. 위치 데이터는 예를 들어 관형 조직망의 3D모델에 대한 절대적 위치 또는 상대적 위치 형식일 수 있다. 일례로, 위치 데이터는 특정 분지의 위치를 포함할 수 있다.

깊이 데이터는 관형 조직망 내 도구 선단의 깊이 정보를 나타낸다. 예를 들어, 깊이 데이터는 의료기구의 환자 인체 삽입 총 (절대적) 깊이 뿐만 아니라 식별된 분지 내 (상대적) 깊이를 포함한다. 깊이 데이터는 관형 조직망과 의료 기구 모두에 대한 위치 정보를 바탕으로 결정된다.

방향 데이터는 기구 선단의 방향 정보를 나타내며 3D 모델에 대한 전체적인 롤, 피치, 요 뿐만 아니라 식별된 분지 내 피치, 롤, 요를 포함할 수 있다.

도 9B로 돌아가서, 상태 추정자(980)는 더 정확한 중간 데이터를 생성을 위해 추정 상태 데이터를 알고리즘 모듈로 다시 제공하며, 이를 추정자가 다시 사용해 개선 및/또는 업데이트된 추정 상태를 생성하는 순환고리가 형성 된다. 예를 들어, 도 9B에 도시된 바와 같이, EM 기반 알고리즘 모듈(950)은 타임 스탬프 “t-1”과 관련된 데이터로도 지칭되는 이전 EM 기반 추정 상태 데이터(도 9B에 미도시)를 수신한다. 상태 추정자(980)는 해당 데이터를 타임 스탬프 “t-1”과 관련된 “추정 상태 데이터(이전)”을 생성하는데 사용한다. 그 다음, 그 데이터를 EM 기반 알고리즘 모듈에 다시 제공한다. “추정 상태 데이터(이전)”은 각기 다른 알고리즘으로부터 생성 및 수신될 때 타임스탬프 “t-1”과 관련된 다른 유형의 중간 데이터(가령, 로봇 데이터, 이미지 데이터)의 조합을 기반으로 할 수 있다. 그 다음, EM 기반 알고리즘 모듈(950)은 추정 상태 데이터(이전)으로 알고리즘을 실행해 개선 및 업데이트된 EM 기반 추정 상태 데이터를 출력하여 추정자(980)에 제공하며 이 데이터는 본 명세서에서 “EM 기반 추정 상태 데이터(현재)” 로 표시되며 타임스탬프 t와 관련된다. 이 과정은 또한 앞으로의 타임 스탬프에서도 지속적으로 반복된다.

상태 추정자(980)가 관형 조직망 내 의료 기구 상태의 추정에 도달하기 위해 여러 다른 유형의 중간 데이터를 사용할 수 있기 때문에, 상태 추정자(980)는 (가령, 로봇, EM, 이미지 같은) 각 유형의 기본 데이터와 각 유형의 알고리즘 모듈로부터 발생되어 추정 상태를 결정하는데 고려되는 중간 데이터에까지 영향을 끼치는 다양한 종류의 측정 및 분석 오류와 불확실성을 감안하도록 구성된다. 이에 대응하기 위해 확률 분포와 신뢰 값 두 개념이 설명된다.

본 명세서에서 사용될 때, “확률 분포”의 “확률”은 의료 기구의 가능 위치 및/또는 방향의 추정이 정확할지에 대한 가능성을 나타낸다. 예를 들어, 관형 조직망 내 다른 여러 가능 분지 중 한 곳에 의료기구가 있을 상대적 가능성을 나타내는 각기 다른 확률들이 알고리즘 모듈 중 하나에 의해 산정될 수 있다. 일 실시예에서, 확률 분포의 종류(가령, 이산형분포 또는 연속분포)는 추정 상태의 특징(가령, 지속적 위치 정보 대 개별적 분지 선택과 같은 추정 상태의 유형)에 맞춰 선택된다. 일례로, 의료 기구가 삼분기 중 어느 부분에 있는지를 식별하기 위한 추정상태는 이산확률분포로 나타낼 수 있고 이는 알고리즘 모듈 중 하나에 의해 결정되어 3개의 분지 중 한 위치에 있을 가능성을 나타내는 3개의 이산 값, 20%, 30%, 50%를 포함할 수 있다. 또 다른 예로, 추정 상태는 의료 기구의 롤 각도 40 ± 5 도와 분지 내 기구 선단의 분절 깊이 4 ± 1 mm를 포함할 수 있으며, 이는 각각 연속확률분포의 종류인 가우시안 분포(Gaussian distribution)로 표현될 수 있다. 각기 다른 방법이 확률을 산출하는데 사용될 수 있고 이는 이후 도면과 관련하여 더 자세하게 설명되듯이 알고리즘 모듈에 따라 달라진다.

반면, “신뢰 값”은 본 명세서에서 사용될 때, 한 개 이상의 요소를 기반으로 하나의 알고리즘에 의해 제공된 상태 추정치에 대한 신뢰도를 반영한다. EM 기반 알고리즘의 경우 전자기장 왜곡, 전자기 정합 부정확, 환자의 이동이나 움직임, 환자의 호흡과 같은 요소들이 상태 추정의 신뢰도에 영향을 미칠 수 있다. 특히, EM 기반 알고리즘에 의해 제공되는 상태 추정의 신뢰 값은 환자의 특정 호흡 주기, 환자의 움직임 또는 전자기장 발생기, 기구 선단이 위치한 해부학적 위치에 따라 달라질 수 있다. 기반 알고리즘에서 상태 추정의 신뢰 값에 영향을 줄 수 있는 요소의 예로는 신체 내 촬상 위치의 조도 상태, 촬상을 위한 광학 센서에 접촉된 또는 앞에 위치한 유체, 조직, 또는 그 외 장애물들, 환자의 호흡, 환자의 관형 조직망(가령, 폐) 자체의 상태 예컨대, 관형 조직망 내 전반적인 유체의 상태, 관형 조직망의 폐색 및 탐색이나 촬상 등에 사용된 특정 수술 기법이 포함된다.

예를 들어, 한 요소로 특정 알고리즘은 환자의 폐 안에 위치한 깊이의 차이에 따라 정확도의 정도가 달라질 수 있어서 비교적 기도 입구에 가까이 있을 때, 특정 알고리즘은 의료기구의 위치 및 방향 추정에 높은 신뢰도를 갖는 반면 의료기구가 폐 더 아래쪽으로 더 깊이 이동할수록 신뢰 값은 낮아질 수 있다. 일반적으로, 신뢰 값은 결과가 결정되는 과정과 관련된 한 개 이상의 시스템적인 요인(systemic factor)을 바탕으로 하는 반면 확률은 기본적인 데이터를 기초로 단일 알고리즘으로 나온 복수의 확률에서 정확한 결과를 결정하는 시도를 통해 발생되는 상대적 측정치이다.

일례로, 상태 추정 결과를 이산확률분포로 (가령, 연관된 3개의 추정 상태 값으로 삼분기의 분지/분절 식별 값을) 나타내는 계산 수학식은 다음과 같다:

;

;

.

상기 수학식의 예에서, 는 3개의 가능 분지가 식별됐거나 3D 모델에 나타난 경우에 상태 추정의 가능한 예시 값을 나타내며, , , 은 EM 기반 알고리즘, 이미지 기반 알고리즘, 로봇 기반 알고리즘에 대한 신뢰 값을 각각 나타내며, , , 은 분지 i의 확률을 나타낸다.

상태 추정과 관련된 확률 분포와 신뢰 값의 개념을 더 잘 도시하기 위해, 구체적인 예시가 본 명세서에서 제공된다. 이 예시에서, 사용자는 관형 조직망의 중심 기도(central airway)(예측 부위) 내 특정 삼분기에서 기구 선단이 위치한 분절을 식별하기 위한 시도를 하고 있으며 EM 기반 알고리즘, 이미지 기반 알고리즘, 로봇 기반 알고리즘을 포함한 3개의 알고리즘 모듈이 사용된다. 이 예시에서, EM 기반 알고리즘에 대한 확률 분포는 제1 분지에 20%, 제2 분지 30%, 제3(마지막) 분지는 50%일 수 있고 해당 EM 기반 알고리즘과 중심기도에 적용된 신뢰 값은 80%이다. 같은 예시에서, 제1, 2, 3 분지에 대한 이미지 기반 알고리즘의 확률 분포는 각각 40%, 20%, 40%일 수 있으며 해당 이미지 기반 알고리즘에 적용된 신뢰 값은 30%이며 반면 로봇 기반 알고리즘에 대한 확률 분포는 제1, 2, 3 분지에 대해 각각 10%, 60%, 30%이며 해당 로봇 기반 알고리즘에 적용된 신뢰 값은 20%이다. EM 기반 알고리즘과 이미지 기반 알고리즘에 적용된 신뢰 값의 차이는 EM 기반 알고리즘이 이미지 기반 알고리즘에 비해 중심기도 내 분절 식별에 있어서 더 나은 선택일 수 있다는 것을 나타낸다. 최종 상태 추정의 수학식 예는 아래와 같다:

제1 분지: 20%*80% + 40%*30% + 10%*20% = 30%; 제2 분지: 30%*80% + 20%*30% + 60%*20% = 42%; 및 제3 분지: 50%*80% + 40%*30% + 30%*20% = 58%.

이 예시에서, 기구 선단의 추정 상태 출력 값은 (가령, 결과 30%, 42%, 58%과 같은) 결과 값일 수도 있고 또는 이 결과 값으로부터 도출된 즉, 기구 선단은 제3 분지에 존재한다는 결정과 같은 파생 값(derivative value)일 수도 있다.

위와 같이, 추정 상태는 여러 가지 다양한 방법으로 나타낼 수 있다. 예를 들어, 추정 상태는 또한 기도에서부터 기구 선단이 있는 위치까지의 절대적 깊이 뿐만 아니라 관형 조직망 내 기구가 횡단한 분지의 세트를 나타내는 데이터 세트를 포함할 수도 있으며 이 세트는 예를 들어 환자의 폐의 3D 모델로 제공된 전체 분지 세트 중 서브 세트 일 수 있다. 추정상태에 대한 확률 분포와 신뢰 값의 적용은 관형 조직망 내 기구 선단의 위치 및/또는 방향 추정의 정확도를 향상시킨다.

VI. B. 2 알고리즘 모듈

도 9B에 도시된 바와 같이, 알고리즘 모듈은 EM 기반 알고리즘 모듈(950), 이미지 기반 알고리즘 모듈(960), 로봇 기반 알고리즘 모듈(970)을 포함한다. 도 9B에 도시된 알고리즘 모듈은 일 예에 불과한 것으로서 대안적인 실시예에서, 다른 및/또는 추가적인 탐색 알고리즘과 연관된 다른 및/또는 추가적인 알고리즘 모듈이 탐색 모듈(905)에 포함될 수 있다.

VI. B. 2. I. EM 기반 알고리즘 모듈

EM 기반 알고리즘 모듈(950)은 또한 EM 정합 모듈(952)과 분지 선택 모듈(954)를 포함한다. EM 정합 모듈(952)은 3D 모델 좌표에 EM 좌표를 정합하는 것을 수행한다. 도 10A는 일 실시예에 따른, EM 정합 모듈(952)의 블록 다이어그램의 예시를 도시한다. EM 정합 모듈(952)은 입력으로, 추정 상태 데이터 저장부(985)로부터 (가령, 분기 데이터 같은) 추정 상태 데이터(이전)를, EM 데이터 저장부(920)로부터 EM 데이터를, 3D 모델 데이터 저장부(940)로부터 3D 모델 데이터를 수신한다.

앞서 섹션 5와 관련하여 설명되었듯이, 수신된 데이터를 기반으로 EM 정합 모듈(952)은 EM 추적 데이터를 3D 모델로 온-더-플라이 방식의 정합을 수행한다. 초기 정합이 결정되면, EM 정합 모듈(952)은 수신된 데이터를 기반으로 정합 변환의 추정을 지속적으로 갱신하여 변환 정확도를 높일 뿐만 아니라 환자의 움직임으로 인한 변화같은 탐색 구성 시스템(900)의 변화에 대해 보상한다. EM 정합 모듈(952)은 정합 변환 데이터를 정합 변환 데이터 저장부(1053)로 출력한다. 일 실시예에서, 정합 변환 데이터는 최적의 정합 변환을 반영하며 또한 상태 추정자(980) 뿐만 아니라 분지 선택 모듈(954)로 전송될 수 있다.

도 10B는 일 실시예에 따른 분지 선택 모듈(954)의 블록 다이어그램의 예시를 도시한다. 분지 선택 모듈(954)은 입력으로, 추정 상태 데이터 저장부(985)로부터 (가령, 분기 데이터 같은) 추정 상태 데이터(이전)를, EM 데이터 저장부(920)로부터 EM 데이터를, 정합 변환 저장부(1053)로부터 정합 변환 데이터를, 3D 모델 데이터 저장부(940)로부터 3D 모델 데이터를 수신한다. 분지 선택 모듈(954)은 수신된 데이터를 기반으로 관형 조직망의 3D 모델에 대한 내시경 선단의 위치와 방향의 추정을 결정하여 상태 추정자(980)에게 EM 기반 추정 상태 데이터(현재)를 제공한다. 예로서, EM 기반 추정 상태 데이터는 확률 분포로 (가령, 앞서 설명되었듯이 삼분기의 3 분절에 대한 이산형분포는 20%, 30%, 50%로) 나타낼 수 있다. 추가적으로, 수신된 분기 데이터가 나타내듯이 이분기에 도달하면, 분지 선택 모듈(954)은 선단의 피치와 요를 3D모델의 각 분지의 각도와 비교해서 이동을 위해 어느 분지가 사용자에 의해 선택되었는지 추정한다. 분지 선택 모듈(954)은 EM기반 추정 상태 데이터(현재)을 추정 상태 데이터 저장부(985)로 출력한다.

VI. B . 2. II. 이미지 기반 알고리즘 모듈

도 9B로 다시 돌아가서, 이미지 기반 알고리즘 모듈(960)은 이미지 데이터를 사용해서 관형 조직망 내 기구의 추정 상태를 결정한다. 이미지 기반 알고리즘 모듈(960)은 서로 다른 이미지 기반 알고리즘을 적용하는 한 개 이상의 다른 종류의 이미지 기반 알고리즘 모듈을 더 포함한다. 도 9B에 도시된 것과 같이, 물체 기반 알고리즘 모듈(962)을 포함하는 일 예가 도시된다. 도시되지 않은 대안적 실시예에서, 다른 종류의 이미지 기반 알고리즘이 적용될 수 있으며 해당 알고리즘 모듈은 이미지 기반 알고리즘 모듈(960)에 포함될 수 있다.

물체 기반 알고리즘 모듈(962)은 분지 개구(branch opening) 또는 입자와 같은 이미지 데이터 시야에 나타난 물체를 감지하고 분석하여 추정 상태를 결정한다. 일 실시예에서, 물체 감지 모듈(964)과 물체 맵핑 모듈(965), 위상 추론 모듈(966), 동작 추정 모듈(963)을 포함한다. 일부 실시예에서, 서로 다른 모듈(963, 964, 965, 966)을 고정된 순차적인 순서대로 적용할 필요가 있을 수도 또는 없을 수도 있으며 실제로 물체 기반 알고리즘 모듈(962)에서 설명된 물체 기반 알고리즘의 과정을 실행할 때 모듈(962) 내 각 모듈을 적용하는 순서는 도 9B에 도시된 순서와 다를 수 있다.

도 10C로 돌아가서, 동작 추정 모듈(963)은 입력으로 이미지 데이터 저장부(910)로부터 이미지 데이터를, 추정 상태 데이터 저장부(985)로부터 추정 상태 데이터(현재) (구체적으로 말해, 분기 데이터)를 뿐만 아니라 3D 모델 데이터 저장부(940)로부터 3D 모델 데이터를 수신한다. 수신된 이미지 데이터를 기반으로 동작 추정 모듈(963)은 복수의 이미지 프레임 사이에 의료 기구의 움직임을 측정한다. 사용된 기법의 예로서 광류 및 이미지 정합 기법을 비롯해 다른 여러 것들이 포함된다. 이 측정은 로컬 기준 프레임(local frame of reference)에서 기구 선단의 정방향-역방향 움직임, 롤 움직임과 같은 차동 움직임(differential movement)을 결정한다. 이 움직임은 새로운 추정 상태를 계산하기 위해 이전 추정 상태 입력과 결합될 수 있다. 특히, 정방향(또는 역방향) 움직임은 이전 추정 상태를 기준으로 깊이의 증가(또는 감소)로 변환될 수 있다. 유사하게, 차동 롤은 이전 추정 상태를 기준으로 롤 각도의 변화로 변환될 수 있다. 이 측정들은 관형 조직망을 통과하는 움직임의 추정을 가능하게 한다. 앞서 설명한 것과 마찬가지로, 이 추정들은 확률 분포로 (가령, 의료 기구의 롤 각도는 가우시안 분포로 표현해서 40 ± 5도로) 나타낼 수 있다. 출력 추정 상태는 추정 상태 데이터 저장부(985)에 저장된다.

일 실시예에서, 특정 시점의 추정 상태와 분기 데이터를 통해 기구 선단이 분지 지점에 또는 가깝게 위치한 것으로 나타나면, 기구 선단이 진입하게 될 또는 진입한 것으로 추정되는 추정 신규 분지의 식별이 움직임 측정에 포함될 수 있다. 예를 들어, 만약 분기 데이터를 통해 내시경 선단이 분지 지점에 있는 것으로 표시되면, 지향각(pointing angle)의 변화를 결정하기 위해 피치, 요 움직임이 측정될 수 있으며 새로운 추정 각은 관형 조직망의 3D모델 내 각기 다른 분지들의 예상 각과 비교될 수 있다. 그 다음, 내시경이 새로운 분지로 이동할 때 어느 분지로 향할지 결정이 내려질 수 있다. 새로운 위치, 방향 및/또는 분지 입장여부 추정을 각각 반영하는 추정 상태 데이터가 상태 추정자(980)로 출력된다.

도 10D는 일 실시예에 따른, 물체 감지 모듈(964)의 블록 다이어그램의 예를 도시한다. 물체 감지 모듈(964)은 입력으로 (가령, 이미지 프레임과 같은) 이미지 데이터를 수신하고, 물체 데이터 저장부(1063)에 물체 데이터를, 추정 상태 데이터 저장부(985)에는 추정 상태 데이터를 출력한다. 물체 데이터는 어떤 물체가 식별되었는지에 대한 정보 뿐만 아니라 물체의 위치, 방향, 크기를 확률로 나타낸다.

구체적으로, 물체 감지 모듈(964)은 이미지 안에서, 관형 조직망 내 분지 포인트를 표시할 수도 있는 한 개 이상의 물체와 해당 물체(들)의 한 개 이상의 특징을 감지하고 그 다음 그것들의 위치, 크기 및 방향을 결정한다. 물체는 물체 감지 모듈(964)에서 계산되고 감지된 분지 지점에 대해 원형/계란형/타원형과 같은 2차원적 형태로 표현될 수 있다. 이는 물체를 캡쳐하기 위해 사용된 이미지 데이터가 기구가 위치한 분절의 방향과 대체적으로 평행한 축을 따라 향해 있는 기구 선단에 위치한 카메라에 의해 촬영된 이미지라는 사실에 부합한다. 그 결과, 관형 조직망 내 분지와 같은 물체는 이미지에서 계란형과 같은 단순한 형태로 나타난다. 일 실시예에서, 관형 조직망 안의 특정 이미지에서 각 분지는 보통 대략 타원형의 어두운 영역으로 나타나며 이 영역들은 MSER(maximally stable extremal regions) 기법과 같은 영역 검출 알고리즘(region-detection algorithms)을 사용하여 프로세서에 의해 자동으로 감지 될 수 있다. 그 다음, 이 영역은 타원 중심점, 주축, 부축, 이미지 내 각도와 같은 적절한 자유 변수로 (가령, 타원형과 같은) 물체를 정의하도록 맞춰질 수 있다. 롤 측정 및 모델 내강과 이미지의 내강 사이에 식별된 정합이 또한 상태 추정자(980) 뿐만 아니라 위상추론 모듈(966)로 출력될 수 있다. 식별 물체를 기관지 조직망의 이미지에 중첩한 예시가 이들의 중심을 잇는 링크와 함께 도 11A 내지 도 11B와 관련하여 설명된다.

일 실시예에서, “기도”는 또한 이미지 데이터에 나타나는 물체로 식별될 수 있다. 물체 감지 모듈(964)은 기도를 식별하기 위해 다른 기법들과 결합하여 빛 반사 강도를 사용할 수 있다.

물체 감지 모듈(964)은 더 나아가 관형 조직망 내 가능 분지 세트 중 어느 분지로 진입되었는지 감지하기 위해 순차적 이미지 프레임 세트 전체에 걸쳐 감지 물체를 추적할 수 있다. 이미지 프레임 내에서 물체의 상대적인 위치 추적은 기관지 조직망 안에서 롤 각도의 절대적인 로컬 측정을 결정하는데 사용될 수 있다.

도 10E는 일 실시예에 따른 물체 맵핑 모듈(965)의 블록 다이어그램의 예를 도시한다. 물체 맵핑 모듈(965)은 입력으로 3D 모델 데이터 저장부(940)로부터 3D 모델 데이터를, 물체 데이터 저장부(1063)로부터 (가령, 관형 조직망 내 가능한 분지를 나타내는 형체와 같이 감지된 물체와 같은) 물체 데이터를, 추정 상태 데이터 저장부(985)로부터 추정 상태 데이터(이전)을 수신한다.

수신된 입력 데이터를 기반으로, 물체 맵핑 모듈(965)은 물체 맵핑 데이터를 물체 맵핑 데이터 저장부(1065)로 뿐만 아니라 이미지 기반 추정 상태 데이터(현재)를 추정 상태 데이터 저장부(985)로 출력한다. 일례로, 물체 맵핑 데이터는 (감지된 물체를 기초로 한) 이미지 데이터에 보여진 물리적인 분지(내강)와 3D 모델로 생성된 가상 분지 정보간의 맵핑 정보를 나타낸다. 모듈(965)에 의해 생성된 추정 상태 데이터(현재)는 이미지에서 보이는 관형 조직망의 각 분지의 식별 뿐만 아니라 3D 모델에 대한 내시경 선단의 롤 추정을 포함한다. 앞서 설명한 것과 같이, 추정 상태 데이터(현재)는 확률 분포로 나타낼 수 있다. 가시적인 내강의 식별은 예를 들면, 3D 모델 가상 이미지 데이터와 상호 연결된 물체의 크기에 기반하여 이미지 내 식별된 내강 중심부의 x와 y 좌표 뿐만 아니라 식별된 각각의 내강의 위치와 관형 조직망의 특정 분지의 연관성을 포함할 수 있다.

일부 실시예에서, 3D 모델은 내시경 시술 전에 생성되기 때문에, 프로세싱을 신속하게 하기 위해 관형 조직망의 가상 이미지는 미리 산출될 수 있다. 도시되지 않은 대안적 실시예에서, 관형 조직망은 내강 중간선으로 이루어 지고 각각의 중간선이 3D경로를 나타내는 수형도(tree diagram) 같은 구조로 표현될 수 있어서 로컬 분지 중앙의 예상 위치는 어떤 임의적 관점에서든지 EM 데이터 및/또는 로봇 데이터를 기반으로 분지 중앙의 식별된 실제 위치와 비교될 수 있다.

도 11A 내지 도 11B는 일 실시예에 따른, 물체 맵핑 모듈(965)에 의해 물체를 내강으로 맵핑하는 예시를 도시한다. 더 구체적으로, 도 11A는 식별된 두 물체의 예 1101, 1102가 기관지 조직망(1105)의 이미지 위에 중첩된 것과 두 물체의 중앙을 연결한 링크(1103)를 함께 도시한다. 도시된 예시에서, 식별 물체 1101, 1102는 타원형 모양이다.

도 11B는 일 실시예에 따라, 실제 기관지 조직망의 실제 이미지(1110)의 기도 내강과 이에 상응하는 동일 조직망의 3D 모델의 가상 이미지(1120)를 매칭하여 도시한다. 실제 이미지(1110)에서, 2개의 서로 다른 분지에 상응하는 타원이 식별되어 식별된 중심(1111, 1112)과 함께 위치되며, 이는 앞서 도 6A-6B에서 설명되었듯이 일 실시예에서 분지들의 중심선 좌표를 나타낸다. 3D 모델의 가상 이미지(1120)는 실제 이미지(1110)에 도시된 실상 기관지 조직망의 시뮬레이션 표본이며 상태 추정자(980)에 의해 결정된 내시경 선단의 추정 중심(1121, 1122)이 식별된 중심(1111, 1112)의 위치에 상응하여 도시된다.

만약 1110, 1120 두 이미지 모두 사용자 인터페이스를 통해 사용자에게 보여지면, 3D 모델 이미지(1120)는 실제 이미지(1110)와 가상 이미지(1120)의 부합 근접도(closeness of fit)를 높이기 위해 회전되거나 이동될 수 있으며 회전 또는 이동을 위해 필요한 롤의 양이 (가령, 기구 선단의 롤과 같은) 현재 추정 상태에 대한 정정으로 출력될 수 있다.

일 실시예에서 물체 맵핑 모듈(965)에의해 생성된 가능한 추정 상태에 적용된 확률은 실제 이미지(1110)에서 감지된 식별 중심(1111, 1112)과 3D 모델 이미지(1120)의 추정 중심(1121, 1122)간의 부합 근접도에 기반하며, 일례로, 식별 중심 1112의 내강에 있을 확률은 추정 중심(1122)과 식별 중심(1112)사이 거리가 멀어질수록 떨어진다.

도 10F는 일 실시예에 따른, 위상 추론 모듈(966)의 블록 다이어그램의 예를 도시한다. 위상 추론 모듈(966)은 입력 이미지 데이터로 3D 모델 데이터 저장부(940)로부터 3D 모델 데이터를, 물체 맵핑 데이터 저장부(1065)로부터 물체 맵핑 데이터를, 추정 상태 데이터 저장부(985)로부터 추정 상태 데이터(이전)을 수신한다.

수신된 데이터를 기반으로, 위상 추론 모듈(966)은 내시경 선단이 어느 분지쪽을 향하고 있는지 결정하며, 이에 따라 내시경이 앞으로 이동될 때 어느 분지로 진입될지 예측을 산정한다. 앞서 설명되었듯이, 결정은 확률 분포로 표현될 수 있다. 일 실시예에서, 기구 선단이 앞으로 이동할 때, 위상 추론 모듈(966)은 관형 조직망의 새로운 분지로 진입한 것을 결정하고 선단이 이동해 들어간 분지가 어느 것인지 식별한다. 어느 분지로 향하는지, 어느 분절로 진입했는지는 예를 들어, 각기 다른 식별 물체(가령, 타원)의 상대적 크기와 위치를 비교함으로써 결정된다. 일례로, 특정 내강 분지로 진입하면, 해당 감지 물체는 연속되는 이미지 프레임에서 더욱 커지고, 프레임 내 점점 중심으로 자리한다. 만약 이러한 움직임이 물체 중 하나에서 식별되면, 위상 추론 모듈(966)은 내시경 선단이 물체와 연관된 내강 쪽으로 이동할 때 해당 추정 상태에 더욱 더 큰 확률을 할당한다. 다른 분지들은 따라서 이들의 물체 형체가 이미지에서 결국 완전히 사라질 때까지 더욱더 낮은 확률이 배정된다. 일 실시예에서, 의료 기구가 이들 분지에 위치할 확률은 물체 맵핑 모듈(964)에 의해 분지가 잘못 식별되었을 가능성에만 달려있다. 위상 추론 모듈(966)의 출력 값은 기관지 조직망 내 가능 분지 세트 중 각각의 분지에 있을 추정 확률을 나타내는 이미지 기반의 추정 상태 데이터이다.

VI. B . 2. iii. 로봇 기반 알고리즘 모델

로봇 기반 알고리즘 모듈(970)은 로봇 데이터를 사용하여 상태 추정자(980)에게 로봇 기반 추정 상태 데이터를 제공한다. 도 9B는 로봇 기반 알고리즘 모듈(970)이 추정 상태 데이터(이전)를 수신해서 상태 추정자(980)에게 추정 상태 데이터(현재)를 제공하는 것을 도시한다. 로봇 데이터는 관형 조직망 내 의료 기구 또는 의료 기구 일부(가령, 기구 선단)의 물리적인 움직임과 관련된 데이터를 포함한다. 예시적인 로봇 데이터는 기구 선단이 관형 조직망 내 특정 해부학적 부위에 도달 및/또는 방향을 변경하도록 (가령, 리더와 쉬스 중 하나 또는 둘 다에 대한 특정 피치, 롤, 요, 삽입, 수축을) 지시하는 명령 데이터, 의료 기구의 부분(가령 기구 선단 또는 쉬스)의 삽입 움직임을 나타내는 삽입 데이터, IDM 데이터, 의료 기구의 세장형 부재의 기계적인 움직임을 나타내는 기계적인 데이터, 예를 들어, 관형 조직망 내 의료 기구의 실제 움직임을 구동하는 내시경의 한 개 이상의 풀-와이어, 텐던(tendon) 또는 샤프트의 움직임을 포함한다

이상적인 시스템에서는, 기구 선단을 제어하기 위해 IDM에 구체적으로 입력된 피치, 롤, 요, 삽입, 수축 명령이 정확하게 입력한 대로 기구의 선단의 움직임의 변화를 야기하겠지만, 실제로는 대게 그렇지 못하다. 시스템의 마찰, 기구 움직임의 비선형성, 장애물 및 다른 영향들로 인해 입력 움직임은 출력 움직임과 다를 수 있다. 이와 같이, 로봇 입력 원시 데이터에 의해 제공된 추정 상태 데이터는 실제 움직임에 대한 추정일 뿐이다. 위 알고리즘에 따라, 로봇 데이터로부터 결정된 추정 상태 데이터는 실제 위치 정보에 대한 이러한 불확실성을 나타내기 위해 확률 방식으로 표현 될 수 있다.

VI. C. 확률 분포 생성

도 12는 일 실시예에 따른 추정상태를 결정하기 위해 앞서 설명된 개별 알고리즘 모듈 중 어느 하나에 의해 수행될 수 있는 다수의 값에 대한 확률 분포 생성 절차의 예시를 도시한다. 예시를 돕기 위해 이 절차는 추정 상태 모듈(980)과 관련되어 설명되지만, 실전에서는 어느 알고리즘 모듈에 의해서든 사용될 수 있다.

도 12는, 베이지안 추정(Bayesian estimation) 방법의 절차를 도시하며 도시되지 않은 대안적 실시예에서, 확률 분포 생성의 다른 방법들도 적용 될 수 있다. 도 12에서 도시된 바와 같이, 상태 추정자(980)는 먼저 추정 상태를 위한 사전확률 분포(prior probability distribution)를 결정한다(1201). 이 단계에서, 확률 분포는 예를 들어, 기관지 조직망 입구에 가까운 출발점을 식별해주는 사용자 입력에 기반한 초기 값 분포일 수 있다. 그 다음, 분포는 이전 출력 상태 추정으로부터 로봇, 이미지 또는 EM 입력 데이터를 근거로 조정되어 결정된다.

예를 들어, 만약 수술 로봇 시스템(100)이 내시경 선단을 특정 거리만큼, 가령 1mm 앞으로 이동할 것을 명령하면, 새로운 또는 갱신된 확률 분포는 이전 확률 분포에 비해 1mm 앞으로 중심을 잡은 것으로 추정될 수 있다. 더 일반적으로, 만약 로봇 명령이 값 변경의 기대 분포인 Q(Ax) 즉, 변수 x를 특정 양만큼 변경할 것으로 예상되면, 새로운 추정 분포 P'(x)는 이전 분포 P(x)와 Q(Ax)의 콘벌루션(convolution)으로 나타낼 수 있다. 새로운 추정 상태는 이후 단계에서 변수의 이전 확률 추정으로 여겨진다.

다음 단계(1202)에서, 상태 추정자(980)는 한 개 이상의 알고리즘 모듈에 기반하여 추정 상태를 위한 추정 값 분포를 수신한다. 이 수치 분포는, 예를 들어 기대 값과 오차 범위, 또는 값에 대한 분포 양함수와 같은 다양한 방법으로 나타낼 수 있다. 어떤 경우든 이 수치 분포는 내적(implicitly) 또는 외적(explicitly)으로 변수의 기대 값과 오차범위의 추정을 포함한다. 어떤 경우에는 오로지 기대 값만 전송되며 오차 범위는 과거 성과 기록 또는 기 조정된 신뢰 값을 사용해 상태 추정자(980)에 의해 결정된다. 일 실시예에서, 상태 추정자(980)는 기대 값과 오차범위를 사용할 때, 상기 추정 값 분포를 평균이 기대 값인 정규 분포와 오차 범위에 의해 결정된 표준편차로 취급한다. 분지 식별과 같은 이산 변수 또는 이산 상태의 경우, 추정 값 분포는 보통 한 개 이상의 분지에 각각 할당된 한 개 이상의 확률 값으로 이루어져 있어서 전체 확률의 합이 1(또는 100%)가 된다. 경우에 따라 분지들은 양적 확률이 할당되지 않을 수 있으며 전체 확률이 1 미만일 수 있는데, 이런 경우에는 남은 확률이 다른 분지 전체에 균등하게 분포되었다고 간주될 수 있다.

단계 1203에서, 상태 추정자(980)는 단계 1202로부터 수신한 추정 값 분포와 단계 1201로부터 결정된 사전확률 분포를 기반으로 사후확률 분포(posterior probability distribution)를 생성한다. 일례로, 사후 확률 분포는 베이즈 정리가 적용되어 계산되며 이는 관측 A에 대해 값 변수의 사후 확률 은 공식에 의해 주어지고, 여기서 는 가 참일때 A를 관측하는 확률이며, 는 가 참인 사전 확률 이며, 는 가 참이든 거짓이든 A를 관측할 사전 확률이라고 정의한다.

상태 추정자(980)는 단계 1201, 1202에서 생성된 입력뿐만 아니라 가능 관측 세트의 기본 모델로부터 , , 각각의 양을 결정한다. 예를 들어, 의 사전 확률을 보여주는 는 단계 1201에서 결정된 값을 단순히 나타낼 수 있다. 마찬가지로, 는 단계 1202에서 결정된 함수(function)를 나타낼 수 있다. 는 A의 가능한 값의 개수를 나타내는 상수로 설정될 수 있다. 예를 들어, 특정 개수(가령, 10개)의 분지로 분할되는 지점을 마주쳤을 때 내시경 선단이 어느 분지에 존재하는지에 대한 이산확률분포를 추정할 때 선단을 어떤 특정 분지에서 관측할 확률, 는 1/10로 설정 될 수 있다. 대안적으로, 모델은 가능 관측 A에 가변적으로 가중치를 주도록 구현될 수 있어서, 예컨대, 분지들의 크기가 서로 다를 경우 무작위로 위치되는 선단은 작은 분지보다는 큰 곳에서 발견될 가능성이 크다는 인식에 기인하여 는 분지 A의 크기를 모든 분지 크기의 합으로 나눈 값에 비례하도록 설정될 수 있다. 롤 각, 깊이 또는 방향과 같은 연속분포의 경우 는 모든 가능 관측 A에 대한 확률밀도함수이다. 예를 들어, 만약 롤 각이 0에서 2π라디안 사이에 분포한다면 모든 롤 각의 관측될 확률밀도에 동일한 가능성을 나타내기 위해 는 모든 A의 값에 대해 l/(2π)로 설정 될 수 있다. 보다 일반적으로, 확률 x에 대한 추정으로 가 주어졌을 때, 는 공식 = 로 구해질 수 있으며, 여기서 는 “가 아니다”를 의미한다.

일 실시예에서, 단계 1203의 결과는 변수/상태 값의 새로운 확률 분포다. 일 실시예에서, 각각의 복수의 독립 수치가 특정 변수와 관련될 때, 단계 1203의 출력을 단계 1201의 입력으로 취하고 각각의 새로운 수치를 단계 1202의 추정값 분포로 사용함으로써 상기 복수의 독립 수치가 순차적으로 조정될 수 있다. 이를 통해 측정을 반복하는 루프(loop)(1205)가 생성된다. 대안적으로, 단계 1202는 복수의 독립 추정 값 분포를 통합 할 수 있으며 이는 단계 1203에서 다수의 측정에 대해 베이지안 조건부 업데이트를 사용하여 단일 업데이트 추정으로 결합될 수 있다.

예를 들어, 만약 차동 움직임이 측정되면 동작 추정 모듈(963)은 움직임의 양(가령, 로봇 데이터에 기반한 움직임의 기대 범위)에 대해 단계 1201의 사전 확률 분포를 취하고, 단계 1202에서 차동 움직임 수치에 대한 추정값 분포를 수신한 후, 단계 1203에서 움직임의 실제 값을 추정하기 위해 사후 확률 분포를 생성하는 과정을 포함하는 방법 1200을 적용할 수 있다. 그 다음 상태의 복수값에 대한 사후 확률 분포를 생성하기 위해 이 출력값과 (사전 추정 상태의) 사전 추정 변수 값의 합성곱을 구할 수 있다. 일부 실시예에서, 모든 측정이 업데이트된 확률 분포에 통합되면 단계 1204의 결과로 새로운 확률 분포가 보고된다. 프로세스 1200은 위치, 방향, 롤, 깊이 및/또는 분지와 같은 복수의 변수(상태)에 대한 새로운 확률 분포 생성과 동시에 적용될 수 있다. 각각의 절차를 위한 단계 1204의 출력값들은 동작 추정 모듈(963)의 출력을 나타내는 새로운 추정 상태(E)(1202)를 생성하기 위해 서로 결합될 수 있다.

VI. D. 오류 수정

일부 실시예에서 탐색 모듈(905)은 특정 입력 데이터가 없을 때 조차 변수 추정을 한다. 예를 들어, EM 시스템의 정합 전에는 분지 선택 모듈(954)의 출력은 상태 추정자(980)에 의해 무시된다. 그럼에도 불구하고, 위치 및/또는 방향(가령, 선단의 삽입 깊이)를 나타내는 상태는 여전히 로봇 입력 데이터 같은 가용 입력 데이터를 기반으로 추정될 수 있다. 기구 선단이 관형 조직망 안쪽으로 더 깊이 이동하도록 지시 받을 때마다, 선단 삽입 깊이의 추정 상태는 이 추정 움직임을 기반으로 업데이트될 수 있다. 따라서, 정합 전에는 로봇 데이터를 기반으로 선단 삽입 깊이가 추정될 수 있고 정합 후에는 가중함수를 사용해 분지 선택 모듈(954)의 데이터를 기반으로 또한 부분적으로는 로봇 데이터를 기반으로 깊이가 추정될 수도 있다.

물체 기반 이미지 추적과 같은 로컬 수치, 광학 흐름, EM 추적과 같은 글로벌 수치 및 로봇 입력 데이터 기반 수치를 포함해 앞서 소개된 여러 가능한 독립적 수치들에 기반하여 기구의 위치추정은 과잉결정/과적합의 가능성이 있다. 그 결과, 기관지 조직망 내 추정 위치의 정확도는 여러 개 중 어떤 하나의 모듈만 사용해 생성된 추정의 정확도보다 높다. 뿐만 아니라, 일부 실시예에서, 탐색 구성 시스템(900)은 한 모듈의 측정치를 사용해 또 다른 모듈의 측정치를 부정하는 방식으로 오류를 극복할 수 있어서 시스템은 이미 내린 결정에 대해 “번복”하는 것이 가능하다. 오류가 수정되는 방법에 대한 예시가 도 13과 관련하여 더 자세하게 후술된다.

도 13은 일 실시예에 따라, 오류가 관형 조직망 내 탐색을 통해 어떻게 탐색 구성 시스템(900)에의해 수정될 수 있는지의 예를 도시한다. 도 13에서 4가지 다른 시간적 단계: 상태 1310, 1320, 1330, 1340에서 기관지수상구조(bronchial tree)(1300)의 단순모델이 추정 상태와 함께 도시된다. 각각의 시간적 단계에서, 탐색을 위해 사용된 기구 선단의 추정 위치(각각 1312, 1322, 1332, 1342)가 도시되며 이에 상응하는 선단의 실제 위치(각각 1311, 1321,1331, 1341)가 또한 도시된다. 일 실시예에서, 4 단계동안 시간이 흐르면서, 추정 상태(기본적인 확률과 신뢰도에 기반을 둔)의 정확도는 달라질 수 있는데, 가령 추정 상태가 처음에는 정확하게 시작했다가 부정확해졌다가 다시 정확해질 수 있다.

도 13에 도시된 바와 같이, 초반에, 상태 1310에서 선단의 실제위치는 1311로 기관지수상구조(1300)의 상부 분지에 있으며 탐색 구성 시스템(900)은 이 위치를 추정위치(1312)로 정확하게 추정한다. 하지만 실제 위치(1311) 부근에 있는 두 분지 중 한쪽으로 진입할 때, 시스템(900) 내부의 한 개 이상의 모듈은 한 개 이상의 알고리즘 모듈이 제공한 확률에 기반하여 분지를 잘못 식별할 수 있고 이로 인해 시스템은 선단이 실제로 오른쪽 분지(1346)를 진입했음에도 불구하고 왼쪽 분지(1345)를 진입했다는 결론을 낸다. 예를 들어, 상태 추정자(980)는 처음에 왼쪽 분지에 존재할 가능성에 80%를, 오른쪽 분지에 존재할 가능성에는 20%를 할당한다.

하지만 내시경 선단이 오른쪽 분지(1346)의 아래쪽 상태(1320)를 향해 이동하면, 추정 위치(1322)는 점점 더 실제 위치(1321)와 공간적으로 구별될 것이다. 일 실시예에서, 분지 선택 모듈(954)은 따라서 기본적인 모듈에 의해 제공된 확률의 변화를 근거로 선단이 오른쪽 분지(1346)에 존재한다라고 점점 더 큰 확신을 갖고 보고한다. 따라서, 상태 추정자(980)의 확률 추정 합계 또한 변할 수 있고, 이에 따라 오른쪽 분지(1346)의 존재 확률은 높아지고 이에 상응하는 왼쪽 분지(1345)의 존재 확률은 감소하는 결과를 낳는다.

시스템(900)은 선단이 실제 위치(1331)에 존재하는 상태(1330)로 이동하면서 3개 분지로 분기되는 지점에 도달한다. 하지만, 현 시점에서 상태 추정자(980)는 여전히 가장 가능성이 높은 상태가 추정 위치(1332)라고 추정한다.

상태(1340)에서 3D 모델을 기반으로 상태 추정자(980)는 다음 분지 분할, 즉 해당 예시의 경우 3 분지 분할이 아닌 2 분할까지의 특정 거리를 예상할 수 있다. 이러한 상황에서, 분지 선택 모듈(954)과 물체 맵핑 모듈(964) 모두 선단이 도시된 분지의 오른쪽에 위치한다라고 강력하게 추정하고 더 나아가 왼쪽과 오른쪽 분지에 존재할 확률을 강력하게 조정해서 선단의 위치를 정확한 분지, 여기서는 오른쪽 분지(1346)에 할당할 것이 거의 확실시 된다.

그 결과, 상태(1340)에서, 상태 추정자(980)는 기구 선단이 실제 위치(1341)와 매우 근접한 추정 위치(1342)에 존재한다고 정확하게 추정한다. 만약 내시경이 사용자가 원하는 경로를 따라 있다면, 시스템(900)은 나아가 이제 3분지 분할 중 다음으로 어느 분지로 진입해야 할지 결정할 수 있다. 대안적으로, 사용자는 기관지수상구조(1300)의 왼쪽 내강 아래로 이동하기 위해 되돌아 올 수 있다. 일부 실시예에서, 이러한 업데이트된 추정이 디스플레이를 통해 사용자에게 보여지며, 이에 따라 사용자는 이전 추정의 오류 존재와 그 오류의 수정완료여부를 인지할 수 있다.

VII. 탐색 준비를 위한 수술 전 경로 계획

환자의 신체의 관형 조직망 내 특정 지점을 탐색하려면 관형 조직망의 3D 모델을 생성하고 내부의 탐색 경로를 결정하기 위해 수술 전 반드시 특정 단계를 거쳐야 한다. 도 14A 내지 도 14C는 다양한 실시예에 따른, 예시적인 관형 조직망 내부의 탐색을 하기 위해 (가령, 기구 선단과 같은) 수술 기구 준비를 위한 수술 전 단계의 예를 도시한다.

도 14A는 일 실시예에 따른, 기구 선단을 관형 조직망 내 특정 부위로 탐색하기 위한 방법(1400)의 예가 되는 수술 전 단계의 순서를 도시한다. 방법(1400)의 각 단계와 함께 도시된 관련 이미지는 관형 조직망을 탐색하고 통과하는 경로를 계획하기 위해 필요한 관련 데이터 표본을 보여준다.

처음 단계 1405에서 관형조직망의 CT 스캔이 취득되고 CT 스캔의 데이터는 관형 조직망의 구조와 연결에 관한 3D 정보를 제공한다. 예를 들어, 단계 1405의 이미지는 환자 폐의 단층 절편을 보여준다.

단계(1410)에서, 3D 모델은 취득한 CT 스캔 데이터를 기반으로 생성되며 생성된 3D모델은 관형 조직망의 각 분지에 고유의 정체성 할당하는데 사용되고 이를 통해 조직망 내 탐색이 편리해진다. 예를 들어, 단계(1410)의 이미지은 환자의 기관지 조직망의 3D 모델을 도시한다.

단계(1415)에서, 표적(1416)이 선택되고 이 표적은 예컨대 조직검사를 할 병변 또는 수술적으로 치료를 할 기관 조직의 일부일 수 있다. 일 실시예에서, 사용자는 3D 모델을 보여주는 컴퓨터 디스플레이에서 마우스 클릭 또는 터치스크린 터치와 같은 인터페이스를 통해 표적위치를 선택할 수 있다. 선택된 표적은 그 다음 사용자에게 보여진다. 예를 들어, 표적(1416)은 단계 (1410)에서 생성된 3D 기관지 모델 내부에 표시된다.

단계(1420)에서, 진입점(1422)부터 표적(1416)까지의 경로(1421)가 자동으로 계획된 후 경로(1421)는 표적(1416)까지 도달하기 위해 조직망 내 거쳐 갈 분지의 순서를 확인한다. 일 실시예에서, 관형 조직망은 나무같은 구조를 띌 수 있으며 관형 구조망의 구조에 따라 경로(1421)가 고유하게 결정될 수 있는 반면 또 다른 실시예에서, 관형 조직망은 고리(cyclic) 형태로 최단 경로 알고리즘과 같은 적절한 알고리즘에 의해 경로가 확인될 수 있다

경로(1421)가 결정되면, 사용자에게 내시경 시술의 미리보기(preview)를 제공하기 위해 가상 내시경(1425)이 시행될 수 있다. 단계(1410)에서 생성된 3D 모델은 내시경이 3D 모델의 상응되는 조직망을 탐색할 때 마치 선단에서 보여진 듯한 일련의 2D 이미지를 생성하는데 사용된다. 경로(1421)는 진입점(1422)부터 표적(1416)에 도달하기 위해 따라가야 하는 곡선으로 도시될 수 있다.

가상 내시경 선단이 표적(1416)에 도달하면, 사용자는 표적 지점에서 수술 절차를 수행하기 위해 어떻게 내시경 도구를 조작해야 할지 보여주기 위해 가상 도구 정렬 절차(1430)가 실행된다. 예를 들어, 도면에서 가상 내시경 생검 바늘(1431)은 기관지 표면 아래쪽에 위치한 병변(1432)을 생검하기 위해 사용자에 의해 조작된다. 병변의 위치는 사용자가 바늘을 그곳에 정렬시킨 후, 바늘을 사용해 기관지 표면을 찔러 아래쪽 병변에 접근할 수 있도록 하기 위해 강조(highlight)된다. 이는 실제 수술 절차 동안 취해야 할 과정을 모방한 것으로 사용자가 수술 실행 전 연습을 할 수 있게 해 준다.

도 14B는 일 실시예에 따른, 관형조직망 내 수술 기구 탐색을 위한 사용자 인터페이스(1434)의 예를 도시한다. 사용자 인터페이스(1434)는 사용자가 내시경 시술동안 관형 조직망의 다양한 시야를 확보할 수 있도록 허용한다. 사용자 인터페이스(1434)는 (가령, 내시경 카메라와 같은) 촬상 기구의 실시간 뷰 뿐만 아니라, 다양한 탐색 뷰를 사용자에게 보여줄 수 있다. 예를 들어, 내시경 선단의 위치는 기구의 위치를 나타내는 (가령, 십자선(1436)과 같은) 표식과 함께 CT 스캔(1435)의 단층 절편에 겹쳐질 수 있다. 이런 경우, CT 이미지는 환자 폐와 기관지경에 사용된 내시경의 이미지이다.

도 14B에서, 사용자 인터페이스(1434)는 또한 강조된 경로(1441), 내시경 위치(1442)와 표적 위치(1443)을 표시하는 아이콘을 포함하는 3D 모델을 나타내는 뷰(1440)를 도시한다. 또한 맵 팬(map pan), 줌(zoom)과 같은 기능의 사용자 인터페이스 제어를 위해 추가 아이콘(1444)이 뷰(1440)에 도시된다.

뷰(1445)는 선단 위치가 정확하게 추정되었는지 확인하기 위해 실시간 뷰와 비교될 수 있는 선단의 추정 위치의 가상 내시경 뷰를 도시한다. 탐색을 지원하기 위한 경로 표시자(1446)와 위치/방향 표시자(1447)가 또한 뷰(1445)에 도시된다. 왼쪽 상단에는 표적까지의 현재 거리,“t1”이 5.4cm, 계산된 롤 각이 -139도로 표시되어 상태 추정자(980)가 결정한 상태 정보(1448)를 보여준다.

뷰(1450)는 내시경 선단의 뒤 “3인칭” 관점으로부터 보여지는 내시경 샤프트(1451)의 가상 뷰를 도시한다. 가상 뷰는 내시경 샤프가 선단이 이미 지나온 경로를 따라 있다는 가정 하에 생성될 수 있으며 그 주변 공간의 뷰는 선택된 관점 근처의 3D 모델을 바탕으로 생성된다. 대안적으로, 뷰는 시술 시 이미 통과한 부분에 대해 촬영한 이미지를 통해 생성될 수 있다. 대안적 실시예에서, 가상 관점은 내시경 선단 위치의 앞을 예상해 앞선 분기를 보여준다. 이 뷰는 또한 의도하는 경로를 강조해 내시경 선단이 그다음 분기에 도달했을 때 어느 길로 조향할지 사용자에게 미리 알려준다.

도 14C는 일 실시예에 따른, 내시경 시술 중 도구 정렬 및 제어를 위한 사용자 인터페이스(1480)의 예시를 도시한다. 뷰(1455)는 뷰(1435)보다 시술이 더 진행된 단계의 단층 시야를 보여주며 여기서 내시경 선단은 표적에 근접해 있고 내시경 도구, 이 경우에는 생검 바늘이, 내시경의 작업 채널에서 전개됐다. 십자선(1436)은 선단의 새 위치를 강조한다. 이미지에서 기관지경이 환자의 폐에 더 깊숙이 있기 때문에, 단층 절편은 더 깊은 단면을 보여주도록 변경되었다. 내시경 선단의 위치를 확인해주는 아이콘은 바늘의 위치와 방향을 나타내는 것으로 대체되었다. 뷰(1460)는 표적 위치(1443) 주변을 확대한 3D 모델의 맵 뷰(map view)와 생검 바늘을 나타내는 도구 아이콘(1461)을 도시한다. 표적(1443)이 위치한 곳이 생검 바늘이 삽입되는 생검 위치(1466)이다. 해당 뷰에서 도시되었듯, 내시경 선단은 바늘이 생검 위치(1466)에 닿기 충분한 표적 위치(1443) 부근까지 도달하기 위해 경로(1441)의 거의 끝까지 탐색했다.

뷰(1465)는 사용자가 생검을 위한 조직을 채취 할 때 바늘을 정확히 어느 위치에 주입해야 하는지를 시각화 할 수 있도록 생검 위치(1466)가 강조된 표적 위치(1443) 부근의 가상 뷰를 보여준다. 표적 크기와 표적까지의 거리와 같은 추가 정보는 선택적으로 이미지 위에 중첩해(overlay) 보여줄 수 있다.

뷰(1470)는 생검 바늘을 나타내는 3D 아이콘(1471)의 클로즈업(close-up)이 환자 폐 단층 이미지에 중첩된 것을 도시한다. 기구의 롤은 3D 아이콘(1471) 뒤쪽에 다색의 패턴(1475)으로 표시된다. 상태 정보(1473)에서 보여진 것과 같이, 이 특정 방향의 경우 롤은 0도를 나타내며 바늘은 현재 생검 위치(1466)에서 4mm 떨어져 있다. 경로(1474)는 생검 위치(1466)를 접촉하기 위해 바늘을 어떤 방향으로 이동시켜야 하는지 나타내기 위해 보여진다.

VIII. 탐색 구성 시스템을 위한 기계 구성

보다 일반적으로, 본 명세서에 개시된 탐색과 추적 기법은 적절하게 구성된 컴퓨터 시스템과 함께 실행될 수 있다. 컴퓨터 시스템 내 프로세서는 전자 신호를 처리하는 한 개 이상의 구성요소를 포함할 수 있으며 한 개 이상의 중앙처리장치, 비디오 프로세서, 로직 회로(logic circuitry), 게이트 어레이 로직(gate array logic), 필드 프로그래머블 게이트 어레이(FPGA, filed programmable gate array), 집적 회로(integrated circuit) 또는 주문형 반도체(application specific integrated circuit)를 포함할 수 있다. 컴퓨터 시스템은 싱글 코어(single core) 프로세서 또는 멀티 코어(multi core) 프로세서와 같은 중앙 처리 장치(CPU, 또는 본 명세서의 “프로세서” 및 “컴퓨터 프로세서”) 또는 병렬 처리(parallel processing)를 위한 복수의 프로세서를 포함할 수 있다. CPU는 컴퓨터로 해독 가능한 일련의 명령어를 실행할 수 있으며 이는 프로그램이나 소프트웨어를 통해 구현될 수 있다. 명령어는 메모리 장소에 저장될 수 있다. CPU가 실행하는 작업의 예로 패치(fetch), 디코드(decode), 실행(execute), 라이트백(writeback)이 포함된다. CPU 는 집적회로와 같은 회로의 부분일 수 있다. 컴퓨터의 한 개 이상의 다른 구성 요소들은 회로를 포함할 수 있다. 어떤 경우, 회로는 주문형 반도체(ASIC)를 포함한다.

컴퓨터 시스템은 또한 한 개 이상의 타 시스템 및 캐시, 추가 메모리, 데이터 저장부 및/또는 전자 디스플레이 어댑터와 같은 주변기기와 통신을 하기 위해 한 개 이상의 메모리 또는 메모리 장소(가령, 임의접근기억장치(random-access memory, RAM), 읽기 전용 기억장치(read-only memory), 플래시 메모리(flash memory)), 전자 저장 장치(예를 들어, 하드디스크), 통신 중계기(가령, 네트워크 어댑터)를 포함할 수 있다. 메모리, 저장장치, 인터페이스, 주변기기는 마더보드와 같은 통신 버스를 통해 CPU와 통신한다.

저장 장치는 데이터를 저장할 수 있는 데이터 저장장치(또는 데이터 저장부)일 수 있다. 컴퓨터 시스템은 컴퓨터 네트워크(“네트워크”)와 통신 인터페이스의 도움을 통해 작동적으로 결합될 수 있다. 네트워크는 글로벌 인터넷, 인터넷 및/또는 엑스트라넷(extranet), 또는 글로벌 인터넷과 통신하는 인트라넷(intranet) 및/또는 엑스트라넷일 수 있다. 네트워크는 어떤 경우 전기통신 및/또는 데이터 네트워크이며 한 개 이상의 컴퓨터 서버를 포함할 수 있다. 저장 장치는 드라이버, 라이브러리, 저장 프로그램 등과 같은 파일을 저장할 수 있다. 저장 장치는 예컨대, 사용자 환경설정, 사용자 프로그램과 같은 사용자 데이터를 저장 할 수 있다. 컴퓨터 시스템은 어떤 경우 한 개 이상의 추가 외장 데이터 저장 장치를 포함 할 수 있어서, 가령 원격 서버에 위치해 컴퓨터 시스템과 인트라넷 또는 인터넷을 통해 통신할 수 있다.

본 명세서에서 설명된 방법은 예컨대 메모리나 전자 저장 장치와 같은 컴퓨터 전자 저장 위치에 저장된 (가령, 컴퓨터 프로세서와 같은) 기계 실행 코드로 구현될 수 있다. 기계 실행 또는 기계 판독 코드는 소프트웨어 형태로 제공될 수 있다. 사용 중에 코드는 프로세서에 의해 실행될 수 있다. 어떤 경우 코드는 저장 장치에서 호출된 후 프로세서가 쉽게 접근할 수 있도록 메모리에 저장된다. 어떤 상황의 경우 전자 저장 장치는 제외될 수 있으며 기계 실행 명령어는 메모리에 저장된다.

코드는 프리 컴파일(pre-compiled)되어 코드 실행에 적합한 프로세서를 갖춘 기계와 함께 사용되도록 구성 되거나 런타임(runtime)에 컴파일될 수도 있다. 코드는 프리컴파일(pre-complied) 또는 매번 컴파일하는 방식으로 코드를 실행할 수 있는 프로그래밍 언어로 작성될 수 있다.

본 개시물의 방법과 시스템은 한 개 이상의 방식으로 구현될 수 있다. 방법은 한 개 이상의 컴퓨터 프로세서에 의해 실행된 후 본 게시물에서 설명되었듯 예를 들어 소프트웨어를 통해 프로세서와 함께 구현될 수 있다.

IX. 기타 고려사항

상기 기술된 구성요소를 포함하는 수술 로봇 시스템(1100), 수술 로봇 시스템(1200) 및 다른 수술 로봇 시스템의 대안적 시각 및 실시예가 적어도 2015년 5월 15일에 출원된 미국 특허 가출원 제62/162,486호; 2015년 5월 15일에 출원된 미국 특허 가출원 제62/162,467호; 2015년 7월 17일에 출원된 미국 특허 가출원 제62/193,604호; 2015년 8월 5일에 출원된 미국 특허 가출원 제62/201,518호; 2015년 8월 11일 출원된 미국 특허 가출원 제62/203,530호; 2015년 9월 30일에 출원된 미국 특허 가출원 제62/235,394호에서 더 도시 및 설명된다.

당해 분야에서 통상의 지식을 가진 자는 본 개시 내용을 읽고 추가적이며 대안적인 구조 및 기술적 설계가 가능하다는 것을 본 명세서에 개시된 원리를 통해 이해할 것이다. 따라서 특정 실시예와 적용이 도시되고 설명되었지만 개시된 실시예들은 본 개시물의 구체적인 구성 및 요소에 한정되지 않는다는 점을 이해할 것이다. 본 청구항에서 정의한 사상과 범위를 벗어나지 않고 본 발명의 방법과 장치의 실시예, 작동 및 세부사항은 다양하게 수정, 변경, 변형하여 실시 가능하며 이는 당해 분야에서 통상의 지식을 가진 자라면 당연히 이해할 것이다.

본 명세서에 사용될 때 “일 실시예” 또는 “실시예"라고 언급하는 것은 그 실시예와 관련한 특정 요소, 기능, 구조 또는 특성이 적어도 하나의 실시예에 포함될 수 있음을 의미한다. 본 명세서 다양한 곳에서 등장하는 “일 실시예에서”라는 표현은 반드시 동일한 실시예를 지칭하는 것은 아니다.

일부 실시예는 “결합된”과 “연결된”이 그들의 파생어와 함께 사용되어 설명될 수 있다. 예를 들어 일부 실시예서 두 개 이상의 요소가 직접적인 물리적 또는 전기적 접촉하고 있음을 나타내기 위해 용어 “결합된”을 사용하여 설명될 수 있다. 그러나, 용어 “결합된”은 또한 두 개 이상의 요소가 서로 직접적인 접촉은 아니지만 여전히 협력하거나 상호작용 할 수 있음을 의미할 수도 있다. 실시예들은 특별히 반대되는 기재가 없는 한 본 명세서에만 한정되지 않는다.

본 명세서에서 사용될 때 용어 “포함하다”, “포함하는”, “포괄한다”, “포괄하는”, “갖다”, “갖는” 또는 그의 기타 모든 변이는 비-배타적 포함(non-exclusive inclusion)을 나타낸다. 예를 들어 요소의 목록을 포함하는 공정, 방법, 물품, 또는 장치는 반드시 이들 요소로만 제한되는 것이 아니라, 명확하게 열거하지 않았거나 또는 상기 공정, 방법, 물품 또는 장치에 내제된 기타 요소들을 포함 할 수도 있다. 추가로, 달리 반대로 언급하지 않는 한, “또는”은 포함적인 ‘또는’을 지칭하는 것이지, 배타적 ‘또는’을 지칭하는 것은 아니다. 예를 들어, 조건 A 또는 B 는 다음 중 어느 하나에 의해 만족된다: A는 참이고(또는 존재하고) B는 거짓이며 (또는 존재하지 않으며), A는 거짓이고(또는 존재하지 않고) B는 참이며(또는 존재하며), A, B 둘 다가 참이다(또는 존재한다).

또한, “a” 와 “an”의 사용은 본 실시예의 성분 및 구성요소를 설명하기 위해 사용된다. 이는 단순한 편의성과 발명의 일반적인 느낌을 주기 위함이다. 이는 하나 또는 적어도 하나를 포함하는 것으로 판독해야 하며 단수는 또한 명백한 다른 의미가 있지 않는 한 복수를 포함한다.

Claims (25)

1. 프로세서를 포함하는 시스템의 조작 방법으로서,
   상기 방법은:
   상기 프로세서가 기관지 조직망의 모델을 디스플레이하는 단계;
   상기 프로세서가 로봇 데이터에 접근하는 단계로서, 상기 로봇 데이터는 상기 기관지 조직망에 세장형 의료 기구의 로봇 삽입과 관련된 삽입 데이터를 포함하는, 상기 로봇 데이터에 접근하는 단계;
   상기 프로세서가 상기 세장형 의료 기구의 원위 부분 내에 적어도 위치된 센서를 사용하여 캡쳐된 센서 데이터에 접근하는 단계;
   상기 프로세서가 상기 로봇 데이터의 삽입 데이터에 기초하여 상기 세장형 의료 기구에 대한 로봇 기반 추정 상태를 결정하는 단계;
   상기 프로세서가 상기 센서 데이터에 기초하여 상기 세장형 의료 기구에 대한, 신뢰 값과 연관된, 센서 기반 추정 상태를 결정하는 단계;
   상기 신뢰 값에 기초하여, 상기 프로세서가 상기 로봇 기반 추정 상태를 향해 적어도 가중되는 상기 세장형 의료 기구의 위치를 결정하는 단계; 및
   상기 프로세서가 상기 기관지 조직망의 디스플레이된 모델에 대해 상기 세장형 의료 기구의 결정된 위치를 디스플레이하는 단계;를 포함하는, 시스템의 조작 방법.
2. 제1항에 있어서, 상기 세장형 의료 기구는 내강경(endolumenal) 구조와 상기 세장형 의료 기구의 방향을 바꾸는 것과 관련되거나 다양하게 수축될 수 있는 복수의 케이블을 포함하는 연성 내시경이고, 상기 연성 내시경은, 상기 관형 조직망으로부터 또는 상기 관형 조직망 내부에서 상기 연성 내시경을 삽입하거나, 회수하거나, 또는 롤링하는 것 중 적어도 하나를 하도록 기구 장치 조작기(IDM)에 결합된 시스템의 조작 방법.
3. 제1항에 있어서, 상기 로봇 데이터는,
   상기 세장형 의료 기구의 피치, 롤, 또는 요(yaw) 중 적어도 하나를 포함하고, 상기 피치, 상기 롤, 또는 상기 요는 상기 세장형 의료 기구의 복수의 케이블들 중 적어도 하나의 수축에 기초하는 시스템의 조작 방법.
4. 제1항에 있어서, 상기 센서 기반 추정 상태는 상기 기관지 조직망 내 상기 세장형 의료 기구의 위치를 나타내고, 이는 3차원(3D) 공간에서의 위치, 3D 공간에서의 방향, 상기 기관지 조직망 내의 상기 세장형 의료 기구의 절대적 깊이, 상기 기관지 조직망의 분지 내의 상기 세장형 의료 기구의 상대적 깊이, 및 상기 기관지 조직망의 해당 3D 모델에 대한 분지 위치 중 적어도 하나를 포함하는 시스템의 조작 방법.
5. 제1항에 있어서, 상기 신뢰 값은 상기 센서 기반 추정 상태의 결정에 대한 신뢰도를 나타내고, 상기 신뢰 값은:
   상기 센서 기반 추정 상태를 생성하기 위해 사용되는 프로세스, 상기 센서 기반 추정 상태를 생성하기 위해 사용되는 수신 데이터, 또는 상기 세장형 의료 기구가 상기 기관지 조직망 내에 위치되는 가능 영역 중 적어도 하나에 기반하는 시스템의 조작 방법.
6. 제1항에 있어서,
   상기 프로세서가 이전 순간에 캡쳐된 데이터를 기반으로 상기 세장형 의료 기구의 이전 추정 상태에 접근하는 단계를 더 포함하고,
   상기 프로세서가 상기 로봇 기반 추정 상태를 결정하는 단계는 상기 이전 추정 상태에 기초하는 시스템의 조작 방법.
7. 제1항에 있어서, 상기 프로세서가 상기 센서 기반 추정 상태를 결정하는 단계는:
   상기 프로세서가 3D 모델로 센서 시스템의 정합(registration)을 실행하는 단계 - 상기 센서 시스템은 수신된 센서 데이터를 기반으로 한 좌표들을 포함하고 상기 3D 모델은 상기 기관지 조직망의 3D 모델을 기반으로 한 좌표들을 포함함-; 및
   상기 프로세서가 상기 정합에 기초하여 상기 센서 기반 추정 상태를 생성하는 단계를 더 포함하는 시스템의 조작 방법.
8. 제7항에 있어서, 상기 기관지 조직망의 3D 모델은 상기 기관지 조직망의 전산화 축 단층촬영(CT) 스캔을 기반으로 생성되는 시스템의 조작 방법.
9. 제1항에 있어서, 상기 센서 기반 추정 상태를 결정하는 단계는:
   상기 프로세서가 상기 기관지 조직망 내의 가능 분지들에 대한 상기 세장형 의료 기구의 위치와 방향의 추정을 결정하는 단계를 더 포함하는 시스템의 조작 방법.
10. 제9항에 있어서, 상기 센서 기반 추정 상태는 확률 분포로 나타내고, 상기 확률 분포의 값 각각은 가능 분지들 중에 해당 분지 내에 상기 세장형 의료 기구의 존재 가능성을 나타내는 시스템의 조작 방법.
11. 제1항에 있어서, 상기 프로세서가 이미지 기반 추정 상태를 결정하는 단계를 더 포함하고, 상기 프로세서가 상기 이미지 기반 추정 상태를 결정하는 단계는:
    상기 프로세서가 상기 세장형 의료 기구의 기구 선단 근위부에 위치한 촬상 장치에 의해 캡쳐된 이미지 데이터에 접근하는 단계;
    상기 프로세서가 상기 접근 이미지 데이터에 기초하여 상기 기관지 조직망 내의 상기 세장형 의료 기구의 움직임을 측정하는 단계; 및
    상기 프로세서가 상기 측정 움직임에 기초하여 상기 이미지 기반 추정 상태를 생성하는 단계를 더 포함하는 시스템의 조작 방법.
12. 제11항에 있어서, 상기 이미지 기반 추정 상태는:
    상기 기관지 조직망 내의 상기 세장형 의료 기구의 절대 깊이,
    해당 분지에 대한 상기 세장형 의료 기구의 깊이, 및
    상기 기관지 조직망에 대한 상기 세장형 의료 기구의 롤
    중 적어도 하나의 연속 확률 분포로 표현되는 시스템의 조작 방법.
13. 제1항에 있어서, 상기 프로세서가 상기 이미지 기반 추정 상태를 결정하는 단계는:
    상기 프로세서가 실제 이미지에서 물리적으로 감지된 물체와 상기 기관지 조직망의 3D 모델에 의해 생성된 가상 물체 사이에서 맵핑하는 단계 - 상기 가상 물체는 상기 물리적으로 감지된 물체에 대응함-; 및
    상기 프로세서가 상기 맵핑된 물리적으로 감지된 물체와 상기 가상 물체에 기반으로 상기 이미지 기반 추정 상태를 생성하는 단계를 더 포함하는 시스템의 조작 방법.
14. 제1항에 있어서, 상기 프로세서가 이미지 기반 추정 상태를 결정하는 단계를 더 포함하고, 상기 프로세서가 상기 이미지 기반 추정 상태를 결정하는 단계는:
    상기 프로세서가 상기 세장형 의료 기구가 상기 기관지 조직망 내에 위치한 영역의 위상(topology)을 결정하는 단계; 및
    상기 프로세서가 상기 결정된 위상을 기반으로 이미지 기반 추정 상태를 생성하는 단계를 더 포함하는 시스템의 조작 방법.
15. 제14항에 있어서, 상기 결정된 위상은 상기 세장형 의료 기구에 의해 마주보는 복수의 분지들로의 분할인 시스템의 조작 방법.
16. 제1항에 있어서, 상기 프로세서가 움직임에 기초하여 상기 신뢰 값에 영향에 영향을 미치는 단계를 더 포함하는 시스템의 조작 방법.
17. 제1항에 있어서, 상기 신뢰 값은 호흡에 의해 영향을 받는 시스템의 조작 방법.
18. 제7항에 있어서, 상기 프로세서가 움직임으로 인한 상기 정합을 업데이트하는 단계를 더 포함하는 시스템의 조작 방법.
19. 제1항에 있어서,
    상기 프로세서가 상기 기관지 조직망 안으로 더 깊이 상기 세장형 의료 기구의 움직임을 지시하는 단계; 및
    상기 프로세서가 상기 지시받은 움직임을 기반으로 상기 로봇 기반 추정 상태를 업데이트하는 단계를 더 포함하는 시스템의 조작 방법.
20. 기관지 내시경 검사(bronchoscopy)용 로봇 의료 시스템으로서,
    상기 로봇 의료 시스템은:
    로봇;
    상기 로봇에 제거 가능하게 결합된 로봇식으로 제어 가능한 기관지 내시경으로서, 상기 기관지 내시경은 기관지 조직망에 삽입하도록 구성되고, 상기 기관지 내시경의 원위 단부는 관절 운동 가능하고 상기 기관지 내시경은 센서를 포함하는, 상기 로봇식으로 제어 가능한 기관지 내시경;
    디스플레이;
    명령들이 저장된 적어도 하나의 컴퓨터 판독 가능 매체를 포함하고,
    상기 명령들이 실행될 때, 상기 명령들은 하나 이상의 프로세서로 하여금:
    상기 디스플레이가 상기 기관지 조직망의 모델을 레더링하게 하고;
    상기 로봇에 의해 야기되는 상기 기관지 조직망 내로의 상기 기관지 내시경의 로봇 삽입에 관한 삽입 데이터를 포함하는 로봇 데이터에 접근하게 하고;
    상기 기관지 내시경의 센서로부터 얻은 센서 데이터에 접근하게 하고;
    상기 삽입 데이터에 기초하여 상기 기관지 내시경의 로봇 기반 추정 상태를 결정하게 하고;
    상기 센서 데이터에 기초하여 신뢰 값과 관련되는 상기 기관지 내시경의 센서 기반 추정 상태를 결정하게 하고;
    상기 신뢰 값에 기초하여, 상기 로봇 기반 추정 상태를 기반으로 상기 기관지 조직망 내에 상기 기관지 내시경의 위치를 결정하게 하고; 및
    상기 기관지 조직망의 디스플레이된 모델에 대해 상기 기관지 내시경의 결정된 위치를 디스플레이하게 하는, 기관지 내시경 검사용 로봇 의료 시스템.
21. 제20항에 있어서, 상기 명령들이 실행될 때, 상기 명령들은 또한 상기 하나 이상의 프로세서로 하여금 움직임에 기초하여 상기 신뢰 값에 영향을 미치게 하는, 기관지 내시경 검사용 로봇 의료 시스템.
22. 제20항에 있어서, 상기 명령들이 실행될 때, 상기 명령들은 또한 상기 하나 이상의 프로세서로 하여금 상기 센서의 좌표계와 상기 기관지 조직망의 3D 모델 사이에서 정합을 실행하게 하고, 상기 센서 기반 추정 상태는 상기 접합에 더 기초하는, 기관지 내시경 검사용 로봇 의료 시스템.
23. 제22항에 있어서, 상기 명령들이 실행될 때, 상기 명령들은 또한 상기 하나 이상의 프로세서로 하여금 움직임으로 인해 상기 정합을 업데이트하게 하는, 기관지 내시경 검사용 로봇 의료 시스템.
24. 제20항에 있어서, 상기 신뢰 값은 호흡에 의해 영향을 받는, 기관지 내시경 검사용 로봇 의료 시스템.
25. 기관지 내시경 검사용 로봇 의료 시스템으로서,
    상기 로봇 의료 시스템은:
    기관지 내시경과 결합되도록 구성된 기구 장치 조작기로서, 상기 기관지 내시경은 기관지 조직망에 삽입되도록 구성되고, 상기 기관지 내시경의 원위 단부는 관절 운동 가능하고 상기 기관지 내시경은 센서를 포함하는, 상기 기구 장치 조작기;
    디스플레이;
    명령들이 저장된 적어도 하나의 컴퓨터 판독 가능 매체를 포함하고,
    상기 명령들이 실행될 때, 상기 명령들은 하나 이상의 프로세서로 하여금:
    상기 디스플레이가 상기 기관지 조직망의 모델을 레더링하게 하고;
    상기 기관지 조직망 내로의 상기 기관지 내시경의 로봇 삽입에 관한 삽입 데이터를 포함하는 로봇 데이터에 접근하게 하고;
    상기 기관지 내시경의 센서로부터 얻은 센서 데이터에 접근하게 하고;
    상기 삽입 데이터에 기초하여 상기 기관지 내시경의 로봇 기반 추정 상태를 결정하게 하고;
    상기 센서 데이터에 기초하여 신뢰 값과 관련되는 상기 기관지 내시경의 센서 기반 추정 상태를 결정하게 하고;
    상기 신뢰 값에 기초하여, 상기 로봇 기반 추정 상태를 향해 적어도 가중되는 상기 기관지 내시경의 위치를 결정하게 하고; 및
    상기 기관지 조직망의 디스플레이된 모델에 대해 상기 기관지 내시경의 결정된 위치를 디스플레이하게 하는, 기관지 내시경 검사용 로봇 의료 시스템.