RU2692206C2

RU2692206C2 - Роботизированное управление эндоскопом на основе анатомических признаков

Info

Publication number: RU2692206C2
Application number: RU2015152452A
Authority: RU
Inventors: Александра ПОПОВИЧ; Хайтам ЭЛАВАРИ; Майкл Чун-чиех ЛИ
Original assignee: Конинклейке Филипс Н.В.
Priority date: 2013-05-09
Filing date: 2014-04-30
Publication date: 2019-06-21
Also published as: CN105188594A; RU2015152452A3; US20160066768A1; JP6629186B2; CN105188594B; EP2996617B1; JP2016524487A; EP2996617A1; US11284777B2; WO2014181222A1; RU2015152452A

Abstract

Группа изобретений относится к медицине, а именно к роботизированному управлению эндоскопом. Предложена система, а также блок управления эндоскопом, содержащие: роботизированный блок, включающий в себя эндоскоп, выполненный с возможностью генерировать изображение эндоскопа, и робот, выполненный с возможностью перемещать эндоскоп внутри анатомической области; и блок управления, включающий в себя контроллер эндоскопа, выполненный с возможностью определять расположение эндоскопа внутри анатомической области для интраоперационной визуализации анатомического признака внутри изображения эндоскопа, при этом расположение эндоскопа выводится из очерчивания положения объемных координат анатомического признака внутри предоперационного изображения анатомической области, и контроллер робота, выполненный с возможностью подавать команду роботу перемещать эндоскоп в расположение эндоскопа внутри анатомической области, чтобы визуализировать анатомический признак внутри изображения эндоскопа. Группа изобретений обеспечивает интраоперационную визуализацию анатомического признака внутри изображения эндоскопа анатомической области. 2 н. и 13 з.п. ф-лы, 6 ил.

Description

Настоящее изобретение, в общем, относится к роботизированному управлению эндоскопом во время минимально инвазивной хирургической операции (например, минимально инвазивной хирургической операции коронарного обходного сосудистого шунтирования). Настоящее изобретение конкретно относится к роботизированному управлению, которое основывается на определении расположения эндоскопа внутри анатомической области для визуализации анатомического признака внутри изображения эндоскопа.

Минимально инвазивная хирургическая операция выполняется с использованием удлиненных инструментов, вставляемых в тело пациента через малые отверстия. Для хирургической операции, использующей эндоскоп, эндоскопическая камера вставляется в отверстие, чтобы обеспечивать визуализацию операционного поля. Например, хирург может удерживать и вручную управлять двумя (2) лапароскопическими инструментами во время хирургической операции, в то время как помощник врача управляет эндоскопом и принимает инструкции от хирурга для перемещения эндоскопа в конкретные местоположения во время хирургической операции.

Сообщение хирургом помощнику врача точного требуемого местоположения эндоскопа может быть трудным, особенно принимая во внимание проблемную координацию рука-глаз, требуемую, чтобы перемещать эндоскоп и инструменты вокруг точек поворота во входных отверстиях в теле, и принимая во внимание разные положения и системы отсчета хирурга, помощника врача и видеоизображения операционного поля. Например, "Слева" на видеоизображении, может означать "справа и внизу" в руках помощника врача. Чтобы преодолевать эти трудности, в предшествующем уровне техники было предложено управление эндоскопом с использованием автоматизированного устройства или робота, по существу, устранение помощника врача из этой задачи во время хирургической операции. Однако принимая во внимание, что хирург управляет двумя (2) лапароскопическими инструментами с помощью обеих рук, способ, с помощью которого врач может управлять роботизированным эндоскопом, является важным, и в предшествующем уровне техники было рассмотрено некоторое количество предложений.

В общем, способы предшествующего уровня техники для направления роботизированной системы основываются на (1) направлении робота с использованием разных устройств ввода (например, датчиков движения головы, джойстика или устройства речевого управления), (2) направлении робота с использованием изображений эндоскопа в реальном времени посредством определения трехмерного положения анатомического признака по отношению к эндоскопу и перемещения эндоскопа или хирургического инструмента в направлении к этому анатомическому признаку, или (3) направлении робота на основе других типов изображений с использованием изображения в реальном времени и записанных интраоперационных изображений.

Более конкретно, способы взаимодействия человек-робот, известные в данной области техники, используют либо специализированное аппаратное обеспечение, либо в реальном времени и/или записанные интраоперационные изображения, чтобы перемещать робота в требуемое местоположение. Эти способы предполагают, что пользователь знает местоположение анатомического признака, представляющего интерес, по отношению к эндоскопу и что конкретный анатомический признак является видимым в представлении эндоскопа. Это не всегда является верным, так как анатомический признак может быть загорожен внутри представления эндоскопа (например, коронарные артерии могут быть покрыты жиром) или может находиться вне представления эндоскопа.

Настоящее изобретение обеспечивает способы для очерчивания положения объемных координат анатомического признака внутри предоперационного изображения анатомической области, чтобы обеспечивать интраоперационную визуализацию анатомического признака внутри изображения эндоскопа анатомической области, именно для анатомического признака, частично или полностью невидимого в изображении эндоскопа (например, загороженного внутри представления эндоскопа или вне представления эндоскопа).

Признак "визуализировать" или любой его вариант, как здесь используется, широко определяется, чтобы описывать роботизированное управление эндоскопом внутри анатомической области, в силу чего анатомический признак, представляющий интерес, или его часть (части) являются либо видимыми, частично или полностью, внутри изображения эндоскопа, либо загороженными от возможности их видеть внутри изображения эндоскопа, все еще допускающими, чтобы хирург формировал умственную картину схемы анатомического признака или его части (частей), частично или полностью, внутри изображения эндоскопа.

Одним объектом настоящего изобретения является система роботизированного управления, использующая роботизированный блок и блок управления. Роботизированный блок включает в себя эндоскоп для генерирования изображения эндоскопа, и робот для перемещения эндоскопа внутри анатомической области. Блок управления включает в себя контроллер эндоскопа, чтобы определять расположение эндоскопа внутри анатомической области для интраоперационной визуализации анатомического признака внутри изображения эндоскопа, при этом расположение эндоскопа выводится из очерчивания положения объемных координат анатомического признака внутри предоперационного изображения анатомической области. Блок управления дополнительно включает в себя контроллер робота, чтобы подавать команду роботу перемещать эндоскоп в расположение эндоскопа внутри анатомической области, чтобы визуализировать анатомический признак внутри изображения эндоскопа.

Вторым объектом настоящего изобретения является способ роботизированного управления для эндоскопа для генерирования изображения эндоскопа и робота для перемещения эндоскопа внутри анатомической области. Способ роботизированного управления включает в себя определение расположения эндоскопа внутри анатомической области для интраоперационной визуализации анатомического признака внутри изображения эндоскопа, при этом расположение эндоскопа выводится из очерчивания положения объемных координат анатомического признака внутри предоперационного изображения анатомической области. Способ роботизированного управления дополнительно включает в себя подачу команды роботу перемещать эндоскоп в расположение эндоскопа внутри анатомической области, чтобы визуализировать анатомический признак внутри изображения эндоскопа.

Признак "предоперационный", как здесь используется, широко определяется, чтобы описывать любую деятельность, исполняемую до, во время или после формирования эндоскопических изображений анатомической области, в целях получения трехмерного ("3D") изображения анатомической области. Примеры предоперационного формирования изображений анатомической области включают в себя, но не ограничены этим, формирование изображений компьютерной томографии ("CT"), формирование магниторезонансных изображений ("MR"), формирование рентгенографических изображений, и формирование 3D ультразвуковых изображений ("3D US") до, во время или после формирования эндоскопических изображений анатомической области.

Признак "интраоперационный", как здесь используется, широко определяется, чтобы описывать любую деятельность, исполняемую посредством роботизированного блока и/или блока управления во время формирования эндоскопических изображений анатомической области. Примеры формирования эндоскопических изображений анатомической области включают в себя, но не ограничены этим, обходное сосудистое шунтирование коронарной артерии, бронхоскопию, колоноскопию, лапароскопию, и эндоскопию головного мозга.

Обычные специалисты в данной области техники должны понимать значение "анатомическая область" и "анатомический признак", как известно в данной области техники. Тем не менее, примеры анатомической области включают в себя, но не ограничены этим, голову, шею, грудную клетку, брюшную полость, спину, чашевидную полость и промежность. Также, примеры анатомического признака включают в себя, но не ограничены этим, составные части и области органа/системы органов (например, кровеносных сосудов сердца, трахеи дыхательной системы, мозжечка головного мозга, дна желчного пузыря, области сигмоидальной ободочной кишки).

Вышеупомянутые формы и другие формы настоящего изобретения также как различные признаки и преимущества настоящего изобретения станут дополнительно видны из последующего подробного описания различных вариантов осуществления настоящего изобретения, читаемых совместно с сопровождающими чертежами. Подробное описание и чертежи являются всего лишь иллюстрациями настоящего изобретения, нежели ограничением, при этом объем настоящего изобретения определяется приложенными пунктами формулы изобретения и их эквивалентами.

Фиг. 1 иллюстрирует примерный вариант осуществления системы роботизированного управления в соответствии с настоящим изобретением.

Фиг. 2 иллюстрирует блок-схему последовательности операций, представляющую примерный вариант осуществления способа роботизированного управления в соответствии с настоящим изобретением.

Фиг. 3 иллюстрирует примерную хирургическую реализацию блок-схемы последовательности операций, показанной на фиг. 2.

Фиг. 4 иллюстрирует примерный вариант осуществления модуля очерчивания анатомических признаков в соответствии с настоящим изобретением.

Фиг. 5 и 6 иллюстрируют примерные варианты осуществления перемещения эндоскопа в соответствии с блок-схемой последовательности операций, показанной на фиг. 2.

Как показано на фиг. 1, роботизированная направляющая система использует роботизированный блок 10 и блок 20 управления для любой эндоскопической процедуры, включающей в себя формирование эндоскопических изображений одного или более анатомических признаков анатомической области. Примеры таких эндоскопических процедур включают в себя, но не ограничены этим, минимально инвазивную сердечную хирургическую операцию, минимально инвазивные диагностические вмешательства (например, артроскопию), лапароскопическую хирургическую операцию, транслюминальную хирургическую операцию через естественные проходы, лапароскопическую хирургическую операцию с одиночным разрезом и легочную/бронхоскопическую хирургическую операцию.

На практике, формирование эндоскопических изображений может происходить для любого анатомического признака или его части (частей) внутри любой анатомической области. Тем не менее, чтобы обеспечивать понимание настоящего изобретения, примерные варианты осуществления будут описываться в контексте формирования эндоскопических изображений левой передней нисходящей артерии сердца внутри области грудной клетки пациента.

Роботизированный блок 10 включает в себя робот 11, эндоскоп 12, жестко прикрепленный к роботу 11, и устройство 13 захвата видео, прикрепленное к эндоскопу 12.

Робот 11 широко определяется здесь как любое роботизированное устройство, структурно сконфигурированное с возможностью моторизованного управления одним или более сочленениями для маневрирования рабочим органом, как требуется для конкретной эндоскопической процедуры. На практике, робот 11 может иметь четыре (4) степени свободы, как, например, последовательный робот, имеющий сочленения, последовательно соединенные с жесткими сегментами, параллельный робот, имеющий сочленения и жесткие сегменты, установленные в параллельном порядке (например, платформа Стюарта, известная в данной области техники), или любая гибридная комбинация последовательной и параллельной кинематики.

Эндоскоп 12 широко определяется здесь как любое устройство, структурно сконфигурированное с возможностью формировать изображения из внутренней части тела. Примеры эндоскопа 12 для целей настоящего изобретения включают в себя, но не ограничены этим, любой тип прибора для наблюдения, гибкого или жесткого (например, эндоскоп, артроскоп, бронхоскоп, холедохоскоп, колоноскоп, цистоскоп, дуоденоскоп, гастроскоп, гистероскоп, лапароскоп, ларингоскоп, энцефалограф, отоскоп, энтероскоп с проталкиванием, риноларингоскоп, сигмоидоскоп, синусоскоп, тораскоп и т.д.), и любое устройство, аналогичное прибору для наблюдения, которое оснащено системой формирования изображений (например, вложенной канюлей с возможностью формирования изображений). Формирование изображений является локальным, и изображения поверхностей могут получаться оптически с помощью волоконной оптики, объективов, и миниатюризированных (например, на основе CCD) систем формирования изображений.

На практике, эндоскоп 12 монтируется на рабочем органе робота 11. Расположение рабочего органа робота 11 является положением и ориентацией рабочего органа внутри системы координат исполнительных механизмов робота 11. С эндоскопом 12, смонтированным к рабочему органу робота 11, любое заданное расположение поля обзора эндоскопа 12 (то есть расположение эндоскопа) внутри анатомической области соответствует разному расположению рабочего органа робота 11 внутри системы координат робота. Следовательно, каждое индивидуальное изображение эндоскопа анатомической области, сгенерированное эндоскопом 12, может быть привязано к соответствующему расположению поля обзора эндоскопа 12 внутри системы координат робота.

Устройство 13 захвата видео широко определяется здесь как любое устройство, структурно сконфигурированное с возможностью преобразовывать эндоскопический видеосигнал от эндоскопа 12 в машиночитаемую временную последовательность изображения эндоскопа ("IOEI") 14. На практике, устройство 13 захвата видео может использовать модуль захвата кадров любого типа для захвата индивидуальных цифровых неподвижных кадров из эндоскопического видеосигнала.

Все еще ссылаясь на фиг. 1, блок 20 управления включает в себя контроллер 21 робота и контроллер 22 эндоскопа.

Контроллер 21 робота широко определяется здесь как любой контроллер, структурно сконфигурированный с возможностью обеспечивать одну или более команд исполнительного механизма робота ("RAC") 29 роботу 11 для управления расположением рабочего органа робота 11, как требуется для эндоскопической процедуры. Более конкретно, контроллер 21 робота преобразовывает команды положения эндоскопа ("EPC") 28 от контроллера 22 эндоскопа в команды 29 исполнительного механизма робота. Например, команды 28 положения эндоскопа могут указывать путь эндоскопа, ведущий к требуемому трехмерному положению поля обзора эндоскопа 12 внутри анатомической области, в силу чего контроллер 21 робота преобразовывает команду 28 в команды 29, включающие в себя ток активации для каждого двигателя робота 11 по необходимости, чтобы перемещать эндоскоп 12 в требуемое трехмерное положение поля обзора эндоскопа 12 внутри анатомической области.

Контроллер 22 эндоскопа широко определяется здесь как любой контроллер, структурно сконфигурированный с возможностью для осуществления способа роботизированного управления в соответствии с настоящим изобретением и иллюстративно показанного на фиг. 2. С этой целью, контроллер 22 эндоскопа может включать в себя модуль 23 очерчивания анатомических признаков ("AFDM"), модуль 24 совмещения изображений ("IRM"), модуль 25 выбора анатомических признаков ("AFSM") и модуль 26 визуальной сервосистемы ("VSM").

Модуль 23 очерчивания анатомических признаков широко определяется здесь как любой модуль, структурно сконфигурированный с возможностью для обработки пользовательского ввода ("UI") 27, чтобы очерчивать положение объемных координат (X, Y, Z) для каждого его анатомического признака, представляющего интерес, внутри предоперационного изображения 43 анатомической области для интраоперационной визуализации анатомического признака (признаков) внутри изображения 14 эндоскопа. В частности, для очерчивания анатомических признаков, как иллюстративно осуществляется посредством этапа S31 блок-схемы 30 последовательности операций, как показано на фиг. 2.

Модуль 24 совмещения изображений широко определяется здесь как любой модуль, структурно сконфигурированный с возможностью для совмещения предоперационного изображения 43 и изображения 14 эндоскопа, как известно в данной области техники. В частности, для совмещения изображений, как иллюстративно осуществляется посредством этапа S32 блок-схемы 30 последовательности операций, показанной на фиг. 2.

Модуль 25 выбора анатомических признаков широко определяется здесь как любой модуль, структурно сконфигурированный с возможностью для обработки пользовательского ввода 26 выбора эндоскопического представления конкретного анатомического признака, представляющего интерес, или части (частей). В частности, для выбора анатомических признаков, иллюстративно осуществляемого посредством этапа S33 блок-схемы 30 последовательности операций, показанной на фиг. 2.

Снова, в контексте фиг. 1, признак "визуализировать", как здесь используется, широко определяется, чтобы описывать роботизированное управление эндоскопом 12 внутри анатомической области, в силу чего анатомический признак, представляющий интерес, или его часть (части) является либо видимым, частично или полностью, внутри изображения 14 эндоскопа, либо загороженным от возможности его видеть внутри изображения 14 эндоскопа, все еще допускающим, чтобы хирург формировал умственную картину схемы анатомического признака или его части (частей), частично или полностью, внутри изображения 14 эндоскопа.

Модуль 26 визуальной сервосистемы широко определяется здесь как любой модуль, структурно сконфигурированный с возможностью определения и перемещения эндоскопа 12 в расположение эндоскопа внутри анатомической области, что обеспечивает визуализацию выбранного анатомического признака (признаков) или его части (частей) внутри изображения 14 эндоскопа. В частности, для определения расположения эндоскопа, как иллюстративно осуществляется посредством этапа S34 блок-схемы 30 последовательности операций, показанной на фиг. 2.

Теперь здесь будет обеспечиваться описание блок-схемы 30 последовательности операций, чтобы обеспечивать дальнейшее понимание контроллера 22 эндоскопа.

Как показано на фиг. 2, этап S31 блок-схемы 30 последовательности операций охватывает получение модулем 23 очерчивания анатомических признаков предоперационного изображения 43. Например, как показано на фиг. 3, устройство 41 формирования изображений (например, устройство CT, устройство MRI, рентгенографическое устройство или устройство 3D US) управляется, чтобы генерировать предоперационное изображение 43 области грудной клетки пациента 50, иллюстрирующее левую и правую коронарные артерии 51 и 52 пациента 50. Модуль 23 очерчивания анатомических признаков может получать предоперационное изображение 43 по мере того, как предоперационное изображение 43 генерируется посредством устройства 41 формирования изображений, как иллюстративно показано на фиг. 3, или как ранее сохраненное в базе 42 данных, как иллюстративно показано на фиг. 3.

Модуль 23 очерчивания анатомических признаков обрабатывает предоперационное изображение 43, чтобы очерчивать положение объемных координат для каждого анатомического признака, представляющего интерес, или его части (частей) внутри анатомической области. На практике, модуль 23 очерчивания анатомических признаков может выполнять любой способ для очерчивания анатомического признака (признаков), представляющего интерес или его части (частей) внутри предоперационного изображения 43. В одном варианте осуществления, как показано на фиг. 4, модуль 23 очерчивания анатомических признаков обеспечивает четыре (4) режима 23a-23d для очерчивания положения (положений) объемных координат анатомического признака (признаков) внутри предоперационного изображения 43.

Как показано на фиг. 4, режим 23a положения объемных координат ("VCP") очерчивает положение объемных координат каждого анатомического признака внутри предоперационного изображения 43, как выбирается пользователем модуля 23. Конкретно, предоперационное изображение имеет 3D систему координат, определенную посредством оси X, оси Y и оси Z. Пользователь может перемещать стрелку курсора к анатомическому признаку, представляющему интерес, или его части (частям) внутри предоперационного изображения 43 или двумерного представления 44 курсора внутри предоперационного изображения 43, определенного посредством оси X и оси Y. При требуемом положении курсора пользователь может делать выбор (например, щелчком мыши) анатомического признака или его части (частей), обеспечивая очерчивание положения объемных координат (X, Y, Z) анатомического признака. Дополнительно, пользователь может быть способен вращать предоперационное изображение 43 и соответствующее двумерное представление 44 курсора внутри предоперационного изображения 43, чтобы ориентировать анатомический признак для требуемого представления в изображении эндоскопа. В этом случае ориентация анатомического признака очерчивается с положением объемных координат (X, Y, Z). Перемещение курсора и выбор пользователя могут повторяться, как требуется для других областей выбранного анатомического признака и/или для дополнительных анатомических признаков.

Дополнительно пользователем может присваиваться название выбранному анатомическому признаку (признакам) или его части (частям) (например, "левая передняя нисходящая артерия"). Конкретно, когда пользователь имеет интерес к разным частям анатомического признака (например, "верхней части левой передней нисходящей артерии", "средней части левой передней нисходящей артерии", и "нижней части левой передней нисходящей артерии").

Режим 23b ориентиров анатомических признаков ("AFL") обеспечивает предварительно определенный список 45a названий ориентиров для каждого анатомического признака или его части (частей) внутри предоперационного изображения 43 для режима 23a VCP. Любой ориентир, выбранный в списке 45a (например, левая передняя нисходящая артерия как ориентир 3), подсвечивается внутри предоперационного изображения 43 посредством стрелки курсора. Пользователь может перемещать стрелку курсора по отношению к подсвеченному анатомическому признаку, чтобы выбирать часть (части), представляющую интерес, анатомического признака. При требуемом положении курсора пользователь может делать выбор (например, щелчком мыши) анатомического признака, обеспечивая очерчивание положения объемных координат (X, Y, Z) и необязательно ориентацию анатомического признака или его части, как описывается режимом 23a VCP, и чтобы именовать анатомический признак, конкретно выбранной части (частей).

Режим 23c интерпретации естественного языка ("NTLI") использует интерпретатор текста ("TI") 47, чтобы интерпретировать естественный язык, чтобы генерировать список 45b ориентиров для VCP 23a.

Конкретно, интерпретатор 47 текста используется, чтобы интерпретировать и преобразовывать инструкции свободного текста, генерируемые во время планирования хирургической операции, в анатомические признаки, которые затем сохраняются, для использования, чтобы перемещать эндоскоп 12 во время обработки очерчивания и/или эндоскопической хирургической операции. Анатомические описания извлекаются в коды в хорошо определенной медицинской онтологии (например, Систематизированной терминологии медицины ("SNOMED") или Основополагающей модели анатомии ("FMA").

Последующее является примером отчета свободного текста: "EKG показало неспецифические изменения сегмента ST. Эхокардиография показала нормальный левый желудочек с некоторой умеренной гипертрофией. На диагностической сердечной катетеризации, было идентифицировано поражение левой передней нисходящей артерии. Имеется приблизительно 80% стеноза в огибающей системе. Апостериорная нисходящая артерия имеет приблизительно 70% стеноза. Рекомендована обходная хирургическая операция". Из этого отчета, интерпретатор 47 текста извлекает анатомические признаки: левая передняя нисходящая артерия, огибающая система, апостериорная нисходящая артерия, и т.д. Дополнительно, из онтологии интерпретатор 47 текста может определять анатомическое отношение между, идентифицированной анатомией (например, левой нисходящей артерией и левой огибающей артерией, поднимающейся из левой основной артерии). Дополнительно, общие маркеры местоположения, такие как "апостериорный" могут извлекаться и ассоциироваться с конкретным ориентиром. После этого список 45b ориентиров может использоваться таким же способом, что и список 45a ориентиров, чтобы подсвечивать анатомические признаки внутри предоперационного изображения 43 анатомической области для режима 23a VCP.

Режим 23d совмещения атласа ("AR") включает в себя совмещение атласа анатомической области с предоперационным изображением 43, в силу чего каждый анатомический признак атласа ассоциируются с соответствующим анатомическим признаком внутри предоперационного изображения. Следовательно, пользователь может использовать атлас анатомической области, чтобы выбирать и очерчивать анатомические признаки, представляющие интерес, или их часть (части) аналогично режиму 23a VCP. Например, совмещение атласа 48 области грудной клетки (показанной как снимок сердца на фиг. 4) с предоперационным изображением 43 обеспечивает возможность ассоциировать анатомические признаки атласа 48 с соответствующими анатомическими признаками внутри предоперационного изображения 43 (например, левой передней нисходящей артерией 49 атласа 48). Таким образом, выбор анатомического признака или его части в атласе 48 очерчивает положение объемных координат и необязательно ориентацию внутри предоперационного изображения 43.

Ссылаясь опять на фиг. 2, этап S32 блок-схемы 30 последовательности операций охватывает получение и совмещение модулем 24 совмещения изображений изображения 14 эндоскопа с предоперационным изображением 43, как известно в данной области техники. В одном варианте осуществления модуль 24 может осуществлять основанное на точках совмещение изображения 14 эндоскопа с предоперационным изображением 43. В другом варианте осуществления модуль 24 может осуществлять графическое сопоставляющее совмещение изображения 14 эндоскопа с предоперационным изображением 43, включающее в себя сопоставление графических представлений анатомических признаков (например, деревьев кровеносных сосудов) в изображении 14 эндоскопа и предоперационном изображении 43.

После завершения этапа S32 этап S33 блок-схемы 30 последовательности операций охватывает прием модулем 25 выбора анатомических признаков пользовательского ввода в VSM 26 (фиг. 1) анатомического признака, представляющего интерес, или его части, чтобы обеспечивать последующее определение расположения эндоскопа для эндоскопа 12 внутри анатомической области для визуализации анатомического признака или его части внутри изображения 14 эндоскопа. На практике модуль 25 может обеспечивать одно или более представлений анатомической области в зависимости от режима (фиг. 4), используемого, чтобы очерчивать положение объемных координат и необязательно ориентацию анатомических признаков. Например, помеченные или именованные анатомические признаки или их часть (части) могут показываться в изображении анатомической области или предназначенном экране компьютера, в силу чего пользователь может взаимодействовать с изображением или экраном, чтобы выбирать анатомический признак или его часть (например, клавиатурой, мышью, сенсорным экраном, речевой командой, жестом, и т.д.). Также в качестве примера может представляться совмещенный атлас, в силу чего пользователь может взаимодействовать с атласом, чтобы выбирать анатомический признак или его часть. В качестве дополнительного примера, может представляться список названий ориентиров, чтобы обеспечивать выбор анатомического признака или его части.

Снова ссылаясь на фиг. 2, этап S34 блок-схемы 30 последовательности операций охватывает определение модулем 26 визуальной сервосистемы расположения эндоскопа для эндоскопа 12 внутри анатомической области для визуализации выбранного анатомического признака или его части внутри изображения 14 эндоскопа, и генерирования команд 28 положения эндоскопа для контроллера 21 робота, чтобы, тем самым, направлять эндоскоп 12 (фиг. 1) в определенное расположение эндоскопа.

Конкретно, из совмещения изображений из этапа S32 и выбора анатомических признаков из этапа S33, очерченное положение объемных координат (X, Y, Z) внутри предоперационного изображения 43 соответствует положению координат кадра (x, y) внутри изображения 14 эндоскопа, что обеспечивает визуализацию анатомического признака в положении объемных координат (X, Y, Z) (например, центральном положении координат кадра изображения 14 эндоскопа) предоперационного изображения 43. Дополнительно, положение координат кадра (x, y) может ориентироваться в соответствии с очерченной ориентацией эндоскопического представления.

Если эндоскоп 12 откалиброван (то есть параметры камеры эндоскопа, такие как фокусная длина и оптический центр изображения 14 эндоскопа являются известными), то отношение между положением координат кадра (x, y) внутри изображения 14 эндоскопа и расположением эндоскопа 12 внутри анатомической области может устанавливаться, как известно в данной области техники. Предполагая дополнительно, что пространственное преобразование между эндоскопом 12 и сочленениями робота 11 является известным из процедур калибровки робота, известных в данной области техники, может выводиться отношение между сочленениями робота и пространством изображения. Это отношение упоминается в данной области техники как якобиан изображения. Значения сочленений робота могут вычисляться из якобиана изображения, в силу чего, после того, как робот 11 перемещает эндоскоп 12 в вычисленное положение объемных координат (X, Y, Z), анатомический признак располагается в требуемом положении координат кадра (x, y) изображения 14 эндоскопа (например, центре изображения).

Если эндоскоп 12 не откалиброван и/или преобразование между эндоскопом 12 и сочленениями робота 11 не является известным, то некалиброванная визуальная сервосистема робота 11, как известно в данной области техники, может использоваться, чтобы определять и перемещать эндоскоп 12 в расположение внутри анатомической области, чтобы визуализировать анатомический признак или его часть в соответствии с положением координат кадра (x, y) внутри изображения 14 эндоскопа (например, способом некалиброванной оптимизации скорости).

Например, как показано на фиг. 5, анатомический признак 51 внутри изображения 14a эндоскопа покрыт жиром и загорожен от просмотра. Тем не менее, как только хирург выбирает анатомический признак, эндоскоп 12 может перемещаться по полусфере (касающейся сферы), так что анатомический признак 51 переходит в середину изображения 14b эндоскопа. Отметим, что эндоскоп 12 поворачивается вокруг фиксированной точки на основе расстояния между анатомическим признаком 51, как показано на изображениях 14a и 14b.

В качестве дополнительного примера, как показано на фиг. 6, выбранный анатомический признак 52 находится вне представления изображения 14c эндоскопа. Эндоскоп 12 может перемещаться снова по сфере 50 к анатомическому признаку 52 в середине изображения 14d эндоскопа. Более конкретно, аналогичное расстояние между точками внутри изображения 14c эндоскопа может служить для установки параметров корректирующего перемещения для некалиброванной визуальной сервосистемы робота 11.

Ссылаясь опять на фиг. 2, этапы S33 и S34 могут выполняться в цикле до тех пор, когда такой работающий по времени робот 11 переместит эндоскоп 12 в каждое требуемое расположение внутри анатомической области.

На практике модули 23-26 (фиг. 1) могут осуществляться посредством аппаратного обеспечения, программного обеспечения и/или встроенного программного обеспечения, интегрированного внутри контроллера 22 эндоскопа, как показано.

Контроллер 21 робота и контроллер 22 эндоскопа могут быть физически отдельными контроллерами или контроллерами, логически интегрированными внутри одиночного физического контроллера.

Из описания фиг. 1-6 в данном документе обычный специалист в данной области техники должен понимать многочисленные преимущества настоящего изобретения, включающие в себя, но не ограниченные этим, применение настоящего изобретения к любому типу эндоскопической хирургической операции, использующей визуализацию конкретного анатомического признака или его части внутри анатомической области.

Хотя настоящее изобретение было описано со ссылкой на иллюстративные аспекты, признаки и варианты осуществления, раскрытые системы и способы не ограничены такими иллюстративными аспектами, признаками и/или вариантами осуществления. Скорее, как должно быть легко видно специалистам в данной области техники из описания, обеспеченного здесь, раскрытые системы и способы допускают модификации, изменения и улучшения без отхода от сущности или объема настоящего изобретения. Соответственно, настоящее изобретение явно охватывает такие модификацию, изменения и улучшения в пределах его объема.

Claims

1. Система роботизированного управления эндоскопом, содержащая:

роботизированный блок (10), включающий в себя

эндоскоп (12), выполненный с возможностью генерировать изображение (14) эндоскопа, и

робот (11), выполненный с возможностью перемещать эндоскоп (12) внутри анатомической области; и

блок (20) управления, включающий в себя

контроллер (22) эндоскопа, выполненный с возможностью определять расположение эндоскопа внутри анатомической области для интраоперационной визуализации анатомического признака внутри изображения (14) эндоскопа,

при этом расположение эндоскопа выводится из очерчивания положения объемных координат анатомического признака внутри предоперационного изображения (43) анатомической области, и

контроллер (21) робота, выполненный с возможностью подавать команду роботу (11) перемещать эндоскоп (12) в расположение эндоскопа внутри анатомической области, чтобы визуализировать анатомический признак внутри изображения (14) эндоскопа.

2. Система по п. 1, в которой контроллер (22) эндоскопа дополнительно выполнен с возможностью обеспечивать описание анатомического признака, чтобы обеспечивать выбор анатомического признака для визуализации в изображении (14) эндоскопа.

3. Система по п. 2, в которой описание анатомического признака включает в себя по меньшей мере одно из названия ориентира и кода анатомического признака.

4. Система по п. 1, в которой контроллер (22) эндоскопа дополнительно выполнен с возможностью обеспечивать атлас (48) анатомической области, совмещенный с предоперационным изображением (43), чтобы обеспечивать очерчивание положения объемных координат анатомического признака внутри предоперационного изображения (43) анатомической области.

5. Система по п. 1, в которой расположение эндоскопа дополнительно выводится на основе очерчивания ориентации эндоскопического представления анатомического признака внутри предоперационного изображения (43) анатомической области.

6. Система по п. 1, в которой контроллер (22) эндоскопа дополнительно выполнен с возможностью обеспечивать список названий ориентиров анатомической области, чтобы обеспечивать очерчивание положения объемных координат анатомического признака.

7. Система по п. 1, в которой контроллер (22) эндоскопа дополнительно выполнен с возможностью интерпретировать хирургические инструкции для анатомической области, чтобы обеспечивать очерчивание положения объемных координат анатомического признака.

8. Система по п. 1, в которой контроллер (22) эндоскопа дополнительно выполнен с возможностью переводить положение объемных координат (X, Y, Z) анатомического признака внутри предоперационного изображения (43) в положение координат кадра (x, y) анатомического признака внутри изображения (14) эндоскопа.

9. Блок (20) управления для эндоскопа (12), выполненный с возможностью генерировать изображение (14) эндоскопа, и робота (11), выполненного с возможностью перемещать эндоскоп (12) внутри анатомической области, при этом блок (20) управления содержит:

при этом расположение эндоскопа выводится из очерчивания положения объемных координат анатомического признака внутри предоперационного изображения (43) анатомической области; и

10. Блок (20) управления по п. 9, в котором контроллер (22) эндоскопа дополнительно выполнен с возможностью обеспечивать описание анатомического признака, чтобы обеспечивать выбор анатомического признака для визуализации внутри изображения (14) эндоскопа.

11. Блок (20) управления по п. 9, в котором контроллер (22) эндоскопа дополнительно выполнен с возможностью обеспечивать атлас (48) анатомической области, совмещенный с предоперационным изображением (43), чтобы обеспечивать выбор расположения эндоскопа внутри анатомической области.

12. Блок (20) управления по п. 9, в котором расположение эндоскопа дополнительно выводится из очерчивания ориентации эндоскопического представления анатомического признака внутри предоперационного изображения (43) анатомической области.

13. Блок (20) управления по п. 9, в котором контроллер (22) эндоскопа дополнительно выполнен с возможностью обеспечивать список названий ориентиров анатомической области, чтобы обеспечивать очерчивание положения объемных координат анатомического признака.

14. Блок (20) управления по п. 9, в котором контроллер (22) эндоскопа дополнительно выполнен с возможностью интерпретировать хирургические инструкции для анатомической области, чтобы обеспечивать очерчивание положения объемных координат анатомического признака.

15. Блок (20) управления по п. 9, в котором контроллер (22) эндоскопа дополнительно выполнен с возможностью переводить положение объемных координат (X, Y, Z) анатомического признака внутри предоперационного изображения (43) в положение координат кадра (x, y) анатомического признака внутри изображения (14) эндоскопа.