[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP2015192697A - 制御装置および制御方法、並びに撮影制御システム - Google Patents

制御装置および制御方法、並びに撮影制御システム Download PDF

Info

Publication number
JP2015192697A
JP2015192697A JP2014071169A JP2014071169A JP2015192697A JP 2015192697 A JP2015192697 A JP 2015192697A JP 2014071169 A JP2014071169 A JP 2014071169A JP 2014071169 A JP2014071169 A JP 2014071169A JP 2015192697 A JP2015192697 A JP 2015192697A
Authority
JP
Japan
Prior art keywords
head
angle
imaging
control
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2014071169A
Other languages
English (en)
Other versions
JP2015192697A5 (ja
Inventor
智之 平山
Tomoyuki Hirayama
智之 平山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2014071169A priority Critical patent/JP2015192697A/ja
Priority to US15/122,550 priority patent/US10571671B2/en
Priority to EP15719298.0A priority patent/EP3125737B1/en
Priority to PCT/JP2015/001585 priority patent/WO2015151447A1/en
Publication of JP2015192697A publication Critical patent/JP2015192697A/ja
Publication of JP2015192697A5 publication Critical patent/JP2015192697A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00147Holding or positioning arrangements
    • A61B1/00149Holding or positioning arrangements using articulated arms
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/0012Surgical microscopes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • A61B1/00188Optical arrangements with focusing or zooming features
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/20Surgical microscopes characterised by non-optical aspects
    • A61B90/25Supports therefor
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/02Objectives
    • G02B21/025Objectives with variable magnification
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2048Tracking techniques using an accelerometer or inertia sensor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364Correlation of different images or relation of image positions in respect to the body
    • A61B2090/368Correlation of different images or relation of image positions in respect to the body changing the image on a display according to the operator's position
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50Supports for surgical instruments, e.g. articulated arms
    • A61B2090/502Headgear, e.g. helmet, spectacles
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50Supports for surgical instruments, e.g. articulated arms

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • General Health & Medical Sciences (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • General Physics & Mathematics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Microscoopes, Condenser (AREA)
  • Endoscopes (AREA)
  • Studio Devices (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)

Abstract

【課題】術者の意図した撮影角度の合焦画像を得ることができるようにするものである。【解決手段】取得部は、注視点の位置を表すフォーカスエリア情報を取得する。制御部は、ユーザの動きとフォーカスエリア情報とに基づいて、注視点を撮影するビデオマイクロスコープと注視点との距離を変化させずに、ビデオマイクロスコープの撮影角度を変更する。本開示は、例えば、ヘッドマウントディスプレイ、電動アーム、およびビデオマイクロスコープにより構成される医療用観察システムの電動アーム等に適用することができる。【選択図】図2

Description

本開示は、制御装置および制御方法、並びに撮影制御システムに関し、特に、術者の意図した撮影角度の合焦画像を得ることができるようにした制御装置および制御方法、並びに撮影制御システムに関する。
近年、被観察部の3次元形状の計測データに基づいて、焦点位置の設定とは独立してポイントロック点を設定する医療用観察システムが提案されている(例えば、特許文献1参照)。
また、一般的な手術用内視鏡観察では、術者とは別人のスコピストが、観察対象の合焦画像を得るために内視鏡の位置を手動で変更する。従って、術者と内視鏡の操作者の意図が噛み合わず、術者の意図した観察対象の合焦画像を得ることができないことがある。術者が内視鏡を直接操作する場合も考えられるが、この場合、術者は操作時に両手に所持している鉗子等の術具を離す必要があり、手術効率が低下する。
特開2013−180185号公報
術者にとっては、撮影対象だけでなく、撮影角度も重要であり、術者が術者の意図した撮影角度の合焦画像を得ることが望まれている。
本開示は、このような状況に鑑みてなされたものであり、術者の意図した撮影角度の合焦画像を得ることができるようにするものである。
本開示の第1の側面の制御装置は、被写体の位置を表す位置情報を取得する取得部と、ユーザの第1の動きと、前記取得部により取得された前記位置情報とに基づいて、前記被写体を撮影する撮影装置と前記被写体との距離を変化させずに、前記撮影装置の撮影角度を変更する制御部とを備える制御装置である。
本開示の第1の側面の制御方法およびプログラムは、本開示の第1の側面の制御装置に対応する。
本開示の第1の側面においては、被写体の位置を表す位置情報が取得され、ユーザの第1の動きと前記位置情報とに基づいて、前記被写体を撮影する撮影装置と前記被写体との距離を変化させずに、前記撮影装置の撮影角度が変更される。
本開示の第2の側面の撮像制御システムは、被写体を撮影する撮影装置と、制御装置とを備え、前記制御装置は、前記被写体の位置を表す位置情報を取得する取得部と、ユーザの第1の動きと、前記取得部により取得された前記位置情報とに基づいて、前記撮影装置と前記被写体との距離を変化させずに、前記撮影装置の撮影角度を変更する制御部とを有する撮影制御システムである。
本開示の第2の側面においては、撮影装置が被写体を撮影し、制御装置が、前記被写体の位置を表す位置情報を取得し、ユーザの第1の動きと前記位置情報とに基づいて、前記撮影装置と前記被写体との距離を変化させずに、前記撮影装置の撮影角度を変更する。
本開示の第1および第2の側面によれば、撮影を制御することができる。また、本開示の第1および第2の側面)によれば、術者の意図した撮影角度の合焦画像を得ることができる。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本開示を適用した撮影制御システムとしての医療用観察システムの第1実施の形態の概要を説明する図である。 図1の医療用観察システムの構成例を示すブロック図である。 注視点の例を示す図である。 撮影角度変更時の術者の頭の動きの例を示す図である。 撮影角度変更時の術者の頭の動きの例を示す図である。 術者の頭の動きと撮影角度の関係の例を示す図である。 ビデオマイクロスコープの移動を説明する図である。 頭の回転の角速度と撮影角度の時間的変化の例を示す図である。 図1の医療用観察システムの撮影角度制御処理を説明するフローチャートである。 頭の回転の角速度と撮影角度の時間的変化の他の例を示す図である。 本開示を適用した撮影制御システムとしての医療用観察システムの第2実施の形態の構成例を示すブロック図である。 本開示を適用した撮影制御システムとしての医療用観察システムの第3実施の形態の構成例を示すブロック図である。 撮影倍率変更時の術者の頭の動きの例を示す図である。 頭の傾きの角速度と撮影倍率の時間的変化の例を示す図である。 図12の医療用観察システムの撮影倍率制御処理を説明するフローチャートである。 コンピュータのハードウエアの構成例を示すブロック図である。
以下、本開示の前提および本開示を実施するための形態(以下、実施の形態という)について説明する。なお、説明は以下の順序で行う。
1.第1実施の形態:画像処理装置(図1乃至図10)
2.第2実施の形態:画像処理システム(図11)
3.第3実施の形態:画像処理システム(図12乃至図15)
4.第4実施の形態:コンピュータ(図16)
<第1実施の形態>
(医療用観察システムの概要の説明)
図1は、本開示を適用した撮影制御システムとしての医療用観察システムの第1実施の形態の概要を説明する図である。
医療用観察システム10は、ヘッドマウントディスプレイ11、電動アーム12、およびビデオマイクロスコープ13により構成される。ユーザとしての術者20は、ヘッドマウントディスプレイ11を装着し、ヘッドマウントディスプレイ11に表示された手術用のビデオマイクロスコープ13の撮影画像を見ながら、頭を上下方向または左右方向に傾けることにより、ビデオマイクロスコープ13の撮影角度を変更する。
具体的には、医療用観察システム10のヘッドマウントディスプレイ11は、ビデオマイクロスコープ13から送信されてくる、患者21の観察対象22を被写体とした撮影画像を表示する。このとき、ヘッドマウントディスプレイ11は、術者20の視線を検出し、表示中の撮影画像内の術者20の注視点の2次元位置を表す注視点位置情報をビデオマイクロスコープ13に送信する。また、ヘッドマウントディスプレイ11(検出装置)は、術者20の頭の上下方向および左右方向の動きを表す角速度を検出し、検出結果を電動アーム12に送信する。
電動アーム12は、ビデオマイクロスコープ13を3次元方向に移動自在かつ回転自在に保持する。電動アーム12は、術者やスコピストなどの操作に応じて、ビデオマイクロスコープ13の3次元位置を変更する。例えば、術者やスコピストは、電動アーム12を移動させることにより、観察対象22がビデオマイクロスコープ13によって撮影されるように、ビデオマイクロスコープ13の3次元位置を手動で変更する。
また、電動アーム12は、ビデオマイクロスコープ13から送信されてくる、ビデオマイクロスコープ13からフォーカスエリアの被写体までの距離を表す距離情報を取得する。電動アーム12は、その距離情報と電動アーム12のアーム角度情報とに基づいて、フォーカスエリアの被写体の3次元位置を表すフォーカスエリア情報(位置情報)を取得する。電動アーム12は、ヘッドマウントディスプレイ11から送信されてくる検出結果(角速度)を取得する。電動アーム12は、取得された検出結果とフォーカスエリア情報に基づいて、ビデオマイクロスコープ13と注視点との距離を変化させずに、ビデオマイクロスコープ13の撮影角度を変更する。
ビデオマイクロスコープ13(撮影装置)は、撮影開始時、撮影画像内の中央の領域などの所定の領域をフォーカスエリアとして、そのフォーカスエリアにピントが合うように撮影を行う。また、ビデオマイクロスコープ13は、撮影開始時以外の場合、ヘッドマウントディスプレイ11から送信されてくる注視点位置情報が表す位置をフォーカスエリアとして、そのフォーカスエリアにピントが合うように撮影を行う。
ビデオマイクロスコープ13は、撮影の結果得られる撮影画像をヘッドマウントディスプレイ11に送信する。また、ビデオマイクロスコープ13は、ビデオマイクロスコープ13からフォーカスエリアの被写体までの距離を検出し、その距離を表す距離情報を電動アーム12に送信する。
(医療用観察システムの構成例)
図2は、図1の医療用観察システム10の構成例を示すブロック図である。
図2に示すように、ヘッドマウントディスプレイ11は、表示部31、視線検出部32、およびジャイロセンサ33を有する。
ヘッドマウントディスプレイ11の表示部31は、ビデオマイクロスコープ13から送信されてくる撮影画像を表示する。視線検出部32は、例えば赤外光源と赤外線カメラにより構成され、術者20の瞳の赤外線画像から術者20の視線を検出する。視線検出部32は、検出結果に基づき、表示中の撮影画像内の術者20が注視している点を注視点として、注視点位置情報を生成する。視線検出部32は、注視点位置情報をビデオマイクロスコープ13に送信する。
ジャイロセンサ33(動き検出部)は、2軸のジャイロセンサであり、術者20の頭の上下方向および左右方向の回転の角速度を検出する。ジャイロセンサ33は、検出結果を電動アーム12に送信する。
なお、ここでは、ヘッドマウントディスプレイ11は、術者20の頭の動きを検出するためにジャイロセンサ33を有するが、頭の動きを検出可能なものであれば、ジャイロセンサ33以外のものを有するようにしてもよい。例えば、ヘッドマウントディスプレイ11は、ジャイロセンサ33の代わりに、術場を撮影するカメラ等を有し、撮影画像の動きから術者20の頭の動きを検出することができる。また、医療用観察システム10は、ヘッドマウントディスプレイ11の外部に術者20の頭を撮影する固定カメラを設置し、撮影画像に基づいて術者20の頭の動きを検出するようにしてもよい。
電動アーム12(制御装置)は、取得部41、制御部42、およびアーム機構43を有する。
電動アーム12の取得部41は、ビデオマイクロスコープ13から送信されてくる距離情報を取得する。また、取得部41は、アーム機構43からアーム機構43の角度を表すアーム角度情報を取得する。取得部41は、距離情報とアーム角度情報に基づいてフォーカスエリア情報を取得し、制御部42に供給する。
制御部42は、ジャイロセンサ33から送信されてくる検出結果を取得する。制御部42は、取得された検出結果と取得部41から供給されるフォーカスエリア情報とに基づいて、ビデオマイクロスコープ13と注視点との距離を変化させずに、ビデオマイクロスコープ13の撮影角度を変更するように、アーム機構43を制御する。即ち、制御部42は、フォーカスエリア情報が表す位置をビデオマイクロスコープ13の回転中心位置として、ビデオマイクロスコープ13が回転するように、アーム機構43を制御する。
アーム機構43(保持部)は、ビデオマイクロスコープ13を3次元方向に移動自在かつ回転自在に保持する。アーム機構43は、制御部42の制御にしたがって、ビデオマイクロスコープ13を移動および回転させることにより、ビデオマイクロスコープ13の撮影角度を変更する。また、アーム機構43は、術者20やスコピストなどの操作に応じて、ビデオマイクロスコープ13を任意の3次元位置に移動させる。
ビデオマイクロスコープ13(撮像装置)は、撮影部51とAF制御部52を有する。
ビデオマイクロスコープ13の撮影部51は、AF制御部52のフォーカス制御にしたがって撮影を行い、撮影の結果得られる撮影画像をヘッドマウントディスプレイ11に送信する。
AF制御部52は、撮影開始時、撮影画像内の中央の領域などの所定の領域をフォーカスエリアとする。また、AF制御部52は、撮影開始時以外の場合、ヘッドマウントディスプレイ11から送信されてくる注視点位置情報が表す位置をフォーカスエリアに設定する。
AF制御部52は、コントラスト検出式、位相差検出式等の検出方式で、フォーカスエリアにピントが合うように、撮影部51のフォーカスを制御する。これに付随して、AF制御部52は、ビデオマイクロスコープ13とフォーカスエリアの被写体との距離を検出し、検出された距離を表す距離情報を電動アーム12に送信する。
(注視点の例)
図3は、注視点の例を示す図である。
図3に示すように、視線検出部32は、術者20の瞳の赤外線画像60から術者20の視線61を検出する。視線検出部32は、検出結果に基づき、術者20の視線61に対応する、表示中の撮影画像の観察対象22内の位置を注視点62に決定する。
(術者の頭の動きの例)
図4および図5は、ビデオマイクロスコープ13の撮影角度変更時の術者20の頭の動きの例を示す図である。
図4に示すように、術者20は、ビデオマイクロスコープ13の撮影角度を変更するとき、ヘッドマウントディスプレイ11を装着した状態で、頭を左右方向に回転させたり、図5に示すように、頭を上下方向に回転させたりする。なお、術者20は、頭を上下方向と左右方向に同時に回転させることもできる。
術者20の頭の左右方向の角速度と上下方向の角速度は、ジャイロセンサ33により検出される。
(術者の頭の動きと撮影角度の関係の例)
図6は、術者20の頭の動きと撮影角度の関係の例を示す図であり、ヘッドマウントディスプレイ11を装着した術者20とビデオマイクロスコープ13を上から見た図である。
図6に示すように、ヘッドマウントディスプレイ11を装着した術者20が、注視点を見ながら頭を左方向に回転させると、ビデオマイクロスコープ13は注視点を中心として右方向に回転する。その結果、ビデオマイクロスコープ13の撮影部51は、注視点を右方向から撮影する。
一方、ヘッドマウントディスプレイ11を装着した術者20が、注視点を見ながら頭を右方向に回転させると、ビデオマイクロスコープ13は注視点を中心として左方向に回転する。その結果、撮影部51は、注視点を左方向から撮影する。
また、ヘッドマウントディスプレイ11を装着した術者20が、注視点を見ながら頭を上方向に回転させると、ビデオマイクロスコープ13は注視点を中心として下方向に回転する。その結果、撮影部51は、注視点を下方向から撮影する。
一方、ヘッドマウントディスプレイ11を装着した術者20が、注視点を見ながら頭を下方向に回転させると、ビデオマイクロスコープ13は注視点を中心として上方向に回転する。その結果、撮影部51は、注視点を上方向から撮影する。
なお、術者20の頭の動きと撮影角度の関係は、図6の例に限定されない。例えば、術者20の頭の回転方向とビデオマイクロスコープ13の回転方向が同一であるようにしてもよい。
(ビデオマイクロスコープの移動の説明)
図7は、術者20の頭の動きに応じたビデオマイクロスコープ13の移動を説明する図である。
図7に示すように、ビデオマイクロスコープ13は、電動アーム12のアーム機構43により、術者20の頭の動きに応じて、観察対象22の注視点62を中心として回転する。これにより、ビデオマイクロスコープ13の下面と注視点62の距離dは、ビデオマイクロスコープ13の移動によらず一定となる。その結果、撮影角度が変更された場合であっても、合焦状態を維持することができる。
(頭の角速度と撮影角度の時間的変化の例)
図8は、ジャイロセンサ33により検出される頭の回転の角速度とビデオマイクロスコープ13の撮影角度の時間的変化の例を示す図である。
図8の例では、術者20は、より右方向から撮影を行うため、時刻t1から頭を左方向に一定の速度で回転させ、頭の向きが所定の向きとなった時刻t2に回転を止める。これにより、図8Aに示すように、ジャイロセンサ33は、時刻t1から時刻t2までの間、術者20の頭の左右方向の角速度として角速度ωh1を検出し、制御部42に送信する。
制御部42は、時刻t1から時刻t2までの間、ジャイロセンサ33から角速度ωh1を取得する。制御部42は、時刻t1から現在の時刻までに取得された角速度を積分することにより、現在の時刻の術者20の頭の左右方向の角度を計測する。これにより計測される角度は、図8Bに示すように、時刻t1から時刻t2までの間、0から角度θh1まで所定の傾きで上昇する。
図8Cに示すように、制御部42は、計測された角度が閾値θTh0(θTh0<θh1)を超えた時刻t3において、アーム機構43を制御し、角速度ωc1でのビデオマイクロスコープ13の右方向の回転を開始する。
術者20は、時刻t2の後、ビデオマイクロスコープ13の撮影角度が所望の撮影角度付近になるまで頭を移動させず、時刻t4において、ビデオマイクロスコープ13の撮影角度が所望の撮影角度付近になったとき、頭を右方向に一定の速度で回転させる。その結果、時刻t5において、術者20の頭は元の位置に戻り、術者20は頭の回転を停止する。
これにより、ジャイロセンサ33は、図8Aに示すように、時刻t2から時刻t4までの間、角速度0を検出して制御部42に送信する。また、ジャイロセンサ33は、時刻t4から時刻t5までの間、角速度−ωh1を検出して制御部42に送信する。
制御部42は、時刻t2から時刻t4までの間、ジャイロセンサ33から角速度0を取得する。制御部42は、時刻t1から現在の時刻までに取得された角速度を積分することにより、現在の時刻の術者20の頭の左右方向の角度を計測する。これにより計測される角度は、図8Bに示すように、時刻t2から時刻t4までの間、角度θh1である。
また、制御部42は、時刻t4から時刻t5までの間、ジャイロセンサ33から角速度−ωh1を取得する。制御部42は、時刻t1から現在の時刻までに取得された角速度を積分することにより、現在の時刻の術者20の頭の左右方向の角度を計測する。これにより計測される角度は、図8Bに示すように、時刻t4から時刻t5までの間、角度θh1から0まで所定の傾きで減少する。
図8Cに示すように、制御部42は、計測された角度が閾値θTh0以下になった時刻t6において、アーム機構43を制御し、時刻t3で開始されたビデオマイクロスコープ13の右方向の回転の角速度を0にし、回転を停止する。
これにより、ビデオマイクロスコープ13は、時刻t3から時刻t6までの間、右方向に角速度ωc1で回転することになる。その結果、図8Dに示すように、撮影角度は、時刻t3から時刻t6までの間、頭が左右方向に回転される前の撮影角度θc0から角速度ωc1で撮影角度θc1まで上昇する。時刻t6以降、撮影角度は、撮影角度θc1に固定される。
以上のように、医療用観察システム10では、術者20が頭を左方向に回転させたことをトリガとして、頭の回転方向に対応する右方向にビデオマイクロスコープ13が回転することにより撮影角度が変更される。その後、術者20が前の回転方向とは逆の右方向に頭を回転させたことをトリガとして、ビデオマイクロスコープ13が回転を停止し、撮影角度が固定される。
なお、図8では、術者20が頭を左方向に回転させる場合について説明したが、右方向に回転させる場合も、ビデオマイクロスコープ13の回転方向が左方向である点を除いて同様である。また、術者20が頭を上下方向に移動させる場合については、撮影角度が上下方向の角度である点を除いて、頭を左右方向に回転させる場合と同様である。術者20が、頭を上下方向と左右方向に同時に回転させる場合には、頭を左右方向に回転させる場合と上下方向に回転させる場合の処理が同時に行われる。
(医療用観察システムの処理の説明)
図9は、図1の医療用観察システム10の撮影角度制御処理を説明するフローチャートである。
図9のステップS31において、ビデオマイクロスコープ13の撮影部51は、観察対象22の撮影を開始する。この撮影は、AF制御部52によってフォーカスエリアにピントが合うように制御される。なお、フォーカスエリアの初期値は、例えば、撮影画像内の中央の領域である。ステップS32において、撮影部51は、ステップS31で開始された撮影の結果得られる撮影画像のヘッドマウントディスプレイ11への送信を開始する。
ステップS11において、ヘッドマウントディスプレイ11の表示部31は、撮影部51から送信されてくる撮影画像の受信を開始する。ステップS12において、表示部31は、受信された撮影画像の表示を開始する。術者20は、表示中の撮影画像内の所望の位置を注視する。このとき、術者20は、撮影角度を変更したい場合、その撮影角度に応じた上下左右方向に頭を回転させ、所望の撮影角度になった場合、頭を逆回転させ、元の位置に戻す。
ステップS13において、視線検出部32は、術者20の視線を検出する。視線検出部32は、検出結果に基づき、表示中の撮影画像内の術者20が注視している点を注視点として、注視点位置情報を生成する。ステップS14において、視線検出部32は、注視点位置情報をビデオマイクロスコープ13に送信する。
ステップS33において、ビデオマイクロスコープ13のAF制御部52は、視線検出部32から送信されてくる注視点位置情報を取得する。ステップS34において、AF制御部52は、注視点位置情報が表す位置をフォーカスエリアに設定(更新)する。AF制御部52は、ビデオマイクロスコープ13とフォーカスエリアの被写体との距離を検出する。
ステップS35において、AF制御部52は、フォーカスエリアにピントが合うように、撮影部51のフォーカスを制御する。ステップS36において、AF制御部52は、ビデオマイクロスコープ13とフォーカスエリアの被写体との距離を検出し、検出された距離を表す距離情報を電動アーム12に送信する。
ステップS21において、電動アーム12の取得部41は、ビデオマイクロスコープ13から送信されてくる距離情報を取得する。取得部41は、取得された距離情報とアーム機構43から供給されるアーム角度情報とに基づいて、フォーカスエリア情報を取得し、制御部42に供給する。ステップS22において、制御部42は、取得部41から供給されるフォーカスエリア情報が表す位置をビデオマイクロスコープ13の回転中心位置に決定する。
ステップS15において、ヘッドマウントディスプレイ11のジャイロセンサ33は、術者20の頭の上下方向および左右方向の回転の角速度を検出する。ステップS16において、ジャイロセンサ33は、検出結果を電動アーム12に送信する。
ステップS23において、電動アーム12の制御部42は、ジャイロセンサ33から送信されてくる検出結果を取得する。ステップS24およびステップS25の処理は、頭の上下方向および左右方向の回転のそれぞれについて行われる。
ステップS24において、制御部42は、取得された検出結果である頭の回転の角速度を積分し、その結果得られる頭の回転の角度が閾値θTh0より大きいかどうかを判定する。ステップS24で頭の回転の角度が閾値θTh0より大きいと判定された場合、即ち、術者20が所望の撮影角度に応じた方向に頭を回転させている場合、処理はステップS25に進む。
ステップS25において、制御部42は、アーム機構43を制御し、ステップS22で決定された回転中心位置を中心として、角速度ωc1で、頭の回転方向に対応する方向にビデオマイクロスコープ13を回転させる。そして、処理はステップS23に戻る。
一方、ステップS24で頭の角度が閾値θTh0より大きくはないと判定された場合、即ち術者20が頭を元の位置に戻した場合、または、術者20が頭を回転させていない場合、処理はステップS26に進む。テップS26において、電動アーム12は、ビデオマイクロスコープ13の回転の終了をヘッドマウントディスプレイ11に通知する。
ステップS17において、ヘッドマウントディスプレイ11は、電動アーム12からのビデオマイクロスコープ13の回転の終了の通知を受け取る。ステップS18において、ヘッドマウントディスプレイ11は、術者20の図示せぬ操作部の操作等に応じて、処理を終了するかどうかを判定する。
ステップS18で処理を終了しないと判定された場合、処理はステップS13に戻り、以降の処理が繰り返される。
一方、ステップS18で処理を終了すると判定された場合、ステップS19において、ヘッドマウントディスプレイ11は、処理の終了をビデオマイクロスコープ13に通知する。
ステップS37において、ビデオマイクロスコープ13は、ヘッドマウントディスプレイ11からの処理の終了の通知を受け取る。ステップS38において、ビデオマイクロスコープ13の撮影部51は、撮影を終了する。
ステップS20において、ヘッドマウントディスプレイ11の表示部31は、撮影部51から送信されてくる撮影画像の受信および表示を終了する。
なお、上述した説明では、頭の角度の閾値が1つ設けられ、その閾値を超えたことをトリガとして所定の角速度でビデオマイクロスコープ13が回転されたが、頭の角度の閾値は2以上設けられるようにしてもよい。この場合、最も小さい閾値を超えたことをトリガとして所定の角速度でビデオマイクロスコープ13が回転され、その他の閾値を超えたことをトリガとしてビデオマイクロスコープ13の角速度が変更される。
(頭の角速度と撮影角度の時間的変化の他の例)
図10は、頭の角度の閾値が2つ設けられる場合の、ジャイロセンサ33により検出される頭の角速度とビデオマイクロスコープ13の撮影角度の時間的変化の他の例を示す図である。
具体的には、図10の例では、術者20は、より右方向から撮影を行うため、時刻t11から頭を左方向に一定の速度で回転させ、頭の向きが所定の向きとなった時刻t14に回転を止める。このとき、図10Aに示すように、ジャイロセンサ33は、時刻t11から時刻t14までの間、術者20の頭の左右方向の角速度として角速度ωh2を検出し、制御部42に送信する。
制御部42は、時刻t11から時刻t14までの間、ジャイロセンサ33から角速度ωh2を取得する。制御部42は、時刻t11から現在の時刻までに取得された角速度を積分することにより、現在の時刻の術者20の頭の左右方向の角度を計測する。これにより計測される角度は、図10Bに示すように、時刻t11から時刻t14までの間、0から角度θh2まで所定の傾きで上昇する。
図10Cに示すように、制御部42は、計測された角度が閾値θTh1(θTh1<θh2)を超えた時刻t12において、アーム機構43を制御し、角速度ωc2でのビデオマイクロスコープ13の右方向の回転を開始する。
そして、制御部42は、計測された角度が閾値θTh2(θTh1<θTh2<θh2)を超えた時刻t13において、アーム機構43を制御し、ビデオマイクロスコープ13の右方向の回転の角速度を、角速度ωc2から角速度ωc3(ωc2<ωc3)に変更する。
これにより、ビデオマイクロスコープ13は、時刻t12から時刻t13までの間、右方向に角速度ωc1で回転することになる。その結果、図10Dに示すように、撮影角度は、時刻t12から時刻t13までの間、頭が左右方向に回転される前の撮影角度θc0から角速度ωc2で撮影角度θc2まで上昇する。
術者20は、時刻t14の後、ビデオマイクロスコープ13の撮影角度が所望の撮影角度付近に近づくまで頭を移動させない。時刻t15において、ビデオマイクロスコープ13の撮影角度が所望の撮影角度付近に近づいたとき、頭を右方向に一定の速度で回転させ、頭の向きが所定の向きとなった時刻t16に回転を止める。
これにより、ジャイロセンサ33は、図10Aに示すように、時刻t14から時刻t15までの間、角速度0を検出して制御部42に送信する。また、ジャイロセンサ33は、時刻t15から時刻t16までの間、角速度−ωh3を検出して制御部42に送信する。
制御部42は、時刻t14から時刻t15までの間、ジャイロセンサ33から角速度0を取得する。制御部42は、時刻t11から現在の時刻までに取得された角速度を積分することにより、現在の時刻の術者20の頭の左右方向の角度を計測する。これにより計測される角度は、図10Bに示すように、時刻t14から時刻t15までの間、角度θh2である。
また、制御部42は、時刻t15から時刻t16までの間、ジャイロセンサ33から角速度−ωh3を取得する。制御部42は、時刻t11から現在の時刻までに取得された角速度を積分することにより、現在の時刻の術者20の頭の左右方向の角度を計測する。これにより計測される角度は、図10Bに示すように、時刻t15から時刻t16までの間、θh2から角度θh3(θTh1<θh3≦θTh2)まで所定の傾きで減少する。
図10Cに示すように、制御部42は、計測された角度が閾値θTh2以下になった時刻t17において、アーム機構43を制御し、ビデオマイクロスコープ13の右方向の回転の角速度を、角速度ωc3から角速度ωc2に戻す。
これにより、ビデオマイクロスコープ13は、時刻t13から時刻t17までの間、右方向に角速度ωc1で回転することになる。その結果、図10Dに示すように、撮影角度は、時刻t13から時刻t17までの間、撮影角度θc2から角速度ωc3で撮影角度θc3まで上昇する。
術者20は、時刻t16の後、ビデオマイクロスコープ13の撮影角度が所望の撮影角度付近になるまで頭を移動させず、時刻t18において、ビデオマイクロスコープ13の撮影角度が所望の撮影角度付近になったとき、頭を右方向に一定の速度で回転させる。その結果、時刻t19において、術者20の頭は元の位置に戻り、術者20は頭の回転を停止する。
これにより、ジャイロセンサ33は、図10Aに示すように、時刻t16から時刻t18までの間、角速度0を検出して制御部42に送信する。また、ジャイロセンサ33は、時刻t18から時刻t19までの間、角速度−ωh3を検出して制御部42に送信する。
制御部42は、時刻t16から時刻t18までの間、ジャイロセンサ33から角速度0を取得する。制御部42は、時刻t11から現在の時刻までに取得された角速度を積分することにより、現在の時刻の術者20の頭の左右方向の角度を計測する。これにより計測される角度は、図10Bに示すように、時刻t16から時刻t18までの間、角度θh3である。
また、制御部42は、時刻t18から時刻t19までの間、ジャイロセンサ33から角速度−ωh3を取得する。制御部42は、時刻t11から現在の時刻までに取得された角速度を積分することにより、現在の時刻の術者20の頭の左右方向の角度を計測する。これにより計測される角度は、図10Bに示すように、時刻t18から時刻t19までの間、角度θh3から0まで所定の傾きで減少する。
図10Cに示すように、制御部42は、計測された角度が閾値θTh1以下になった時刻t20において、アーム機構43を制御し、時刻t17で角速度が変更されたビデオマイクロスコープ13の右方向の回転の角速度を0にし、回転を停止する。
これにより、ビデオマイクロスコープ13は、時刻t17から時刻t20までの間、右方向に角速度ωc2で回転することになる。その結果、図10Dに示すように、撮影角度は、時刻t17から時刻t20までの間、撮影角度θc3から角速度ωc2で撮影角度θc4まで上昇する。時刻t20以降、撮影角度は、撮影角度θc4に固定される。
以上のように、頭の角度の閾値が2つ設けられる場合、医療用観察システム10では、術者20の頭の左方向への回転の角度が最も小さい閾値θTh1を超えたことをトリガとして、頭の回転方向に対応する右方向にビデオマイクロスコープ13が角速度ωc2で回転し、撮影角度が変更される。そして、術者20の頭の左方向への回転の角度が閾値θTh1以外の閾値θTh2を超えた場合、それをトリガとして、ビデオマイクロスコープ13の右方向への回転の角速度が、角速度ωc2から角速度ωc3に変更される。
術者20が頭を左方向に回転させた後、その逆の右方向に回転させ、最初の位置からの回転の角度が閾値θTh2より小さくなったとき、それをトリガとして、ビデオマイクロスコープ13の右方向への回転の角速度が、角速度ωc3から角速度ωc2に変更される。
また、術者20が頭を左方向に回転させた後、その逆の右方向に回転させ、最初の位置からの回転の角度が閾値θTh1より小さくなったとき、それをトリガとして、ビデオマイクロスコープ13が回転を停止し、撮影角度が固定される。
なお、図10では、術者20が頭を左方向に回転させる場合について説明したが、右方向に回転させる場合も、ビデオマイクロスコープ13の回転方向が左方向である点を除いて同様である。また、術者20が頭を上下方向に移動させる場合については、撮影角度が上下方向の角度である点を除いて、頭を左右方向に回転させる場合と同様である。術者20が、頭を上下方向と左右方向に同時に回転させる場合には、頭を左右方向に回転させる場合と上下方向に回転させる場合の処理が同時に行われる。
また、図10の例では、閾値の数は2つであるものとしたが、閾値の数は2より大きくてもよい。閾値の数に1を加算した数が、撮影角度の角速度の種類の数(角速度0を含む)となる。
以上のように、電動アーム12は、術者20の頭の角速度とフォーカスエリア情報とに基づいて、ビデオマイクロスコープ13と注視点との距離を変化させずに、ビデオマイクロスコープ13の撮影角度を変更する。従って、術者20は、頭を回転させることにより、自分自身でビデオマイクロスコープ13の撮影角度を変更することができる。また、ビデオマイクロスコープ13と注視点との距離が変化しないので、撮影角度を変更しても合焦状態を維持することができる。その結果、術者20は、術者20の意図した撮影角度の合焦画像を得ることができ、手術効率が向上する。
<第2実施の形態>
(医療用観察システムの第2実施の形態の構成例)
図11は、本開示を適用した撮影制御システムとしての医療用観察システムの第2実施の形態の構成例を示すブロック図である。
図11に示す構成のうち、図2の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
図11の医療用観察システム100は、ヘッドマウントディスプレイ101、電動アーム102、ビデオマイクロスコープ103、およびモード切替装置104により構成される。医療用観察システム100では、動作モードとして撮影角度とフォーカスエリアの制御を行う制御モードの設定が可能になっており、動作モードが制御モードである場合にのみ、撮影角度とフォーカスエリアが変更される。
具体的には、医療用観察システム100のヘッドマウントディスプレイ101の構成は、表示部31の代わりに表示部111が設けられる点が、図2のヘッドマウントディスプレイ11の構成と異なる。
ヘッドマウントディスプレイ10の表示部111は、ビデオマイクロスコープ103から送信されてくる撮影画像を表示する。また、表示部111は、モード切替装置104から供給される動作モードを表すモード情報を表示させる。なお、このモード情報は、術者20が視線を動かさずに認識可能な位置に表示されることが望ましい。
電動アーム102の構成は、制御部42の代わりに制御部121が設けられる点が、図2の電動アーム12の構成と異なる。
電動アーム102の制御部121は、モード切替装置104から動作モードを取得する。制御部121は、動作モードが制御モードである場合、ジャイロセンサ33から送信されてくる検出結果を取得する。制御部121は、動作モードが制御モードである場合、取得された検出結果と取得部41からのフォーカスエリア情報とに基づいて、ビデオマイクロスコープ13と注視点との距離を変化させずに、ビデオマイクロスコープ13の撮影角度を変更するように、アーム機構43を制御する。
ビデオマイクロスコープ103の構成は、AF制御部52の代わりにAF制御部131が設けられる点が、図2のビデオマイクロスコープ13の構成と異なる。
AF制御部131は、撮影開始時、撮影画像内の中央の領域などの所定の領域をフォーカスエリアとする。また、AF制御部131は、撮影開始時以外であり、モード切替装置104から供給される動作モードが制御モードである場合、ヘッドマウントディスプレイ101から送信されてくる注視点位置情報が表す位置をフォーカスエリアに設定する。
AF制御部131は、コントラスト検出式、位相差検出式等の検出方式で、フォーカスエリアにピントが合うように、撮影部51のフォーカスを制御する。これに付随して、AF制御部131は、ビデオマイクロスコープ103とフォーカスエリアの被写体との距離を検出し、検出された距離を表す距離情報を電動アーム102に送信する。
モード切替装置104は、例えば、フットスイッチにより構成される。術者20は、足などでモード切替装置104を操作することにより、制御モードと非制御モードの切り替えを指示する。非制御モードは、撮影角度とフォーカスエリアの制御を行わないモードである。
モード切替装置104は、術者20からの指示に応じて動作モードを制御モードまたは非制御モードに設定する。モード切替装置104は、設定された動作モードを、ヘッドマウントディスプレイ101、電動アーム102、およびビデオマイクロスコープ103に供給する。
以上のように構成される医療用観察システム100の撮影角度制御処理は、動作モードが制御モードである場合に行われる点、および、表示部111に動作モードが制御モードであることを表すモード情報が表示される点を除いて、図9の撮影角度制御処理と同様である。
医療用観察システム100の電動アーム102は、動作モードが制御モードである場合にのみ撮影角度制御処理を行うので、常に撮影角度とフォーカスエリアの制御が行われる場合に比べて、術者20の緊張や疲労を低減することができる。
即ち、常に撮影角度とフォーカスエリアの制御が行われる場合、術者20は、頭の動きと視線を常に意識して動かす必要があり、術者20に過度の緊張と疲労を与える可能性がある。しかしながら、医療用観察システム100では、動作モードを設定することができるので、術者20は、撮影角度とフォーカスエリアの制御が不要である場合、動作モードを非制御モードに設定することにより、頭の動きと視線を意識せずに済む。その結果、術者20の緊張や疲労を低減することができる。
動作モードが非制御モードである場合、ビデオマイクロスコープ103の撮影部51は、現在の撮影角度で、現在のフォーカスエリアにピントが合うように撮影を行う。そして、ヘッドマウントディスプレイ101の表示部31は、その結果得られる撮影画像を、動作モードが非制御モードであることを表すモード情報とともに表示する。
<第3実施の形態>
(医療用観察システムの第3実施の形態の構成例)
図12は、本開示を適用した撮影制御システムとしての医療用観察システムの第3実施の形態の構成例を示すブロック図である。
図12に示す構成のうち、図2や図11の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
図12の医療用観察システム200の構成は、ヘッドマウントディスプレイ101の代わりにヘッドマウントディスプレイ201が設けられる点、および、ビデオマイクロスコープ103の代わりにビデオマイクロスコープ202が設けられる点が図11の医療用観察システム100の構成と異なる。医療用観察システム200は、術者20の頭の左右の傾きに応じてビデオマイクロスコープ202の撮影倍率を変更する。
具体的には、医療用観察システム200のヘッドマウントディスプレイ201は、ジャイロセンサ211が新たに設けられる点が、図11のヘッドマウントディスプレイ101と異なる。
ジャイロセンサ211は、1軸のジャイロセンサであり、術者20の頭の左右の傾きのの角速度を検出する。ジャイロセンサ211は、検出結果をビデオマイクロスコープ202に送信する。
ビデオマイクロスコープ202は、撮影部51の代わりに撮影部221が設けられる点、および倍率制御部222が新たに設けられる点が、図11のビデオマイクロスコープ103と異なる。
撮影部221は、AF制御部131のフォーカス制御にしたがって、倍率制御部222から供給される撮影倍率で撮影を行い、撮影の結果得られる撮影画像をヘッドマウントディスプレイ201に送信する。
倍率制御部222は、ジャイロセンサ211から送信されてくる検出結果に応じて撮影部221の撮影倍率を決定し、撮影部221に供給する。
なお、第3実施の形態では、倍率制御部222は、ビデオマイクロスコープ202に備えられるものとするが、電動アーム102に備えられるようにしてもよい。
(撮影倍率変更時の術者の頭の動きの例)
図13は、ビデオマイクロスコープ13の撮影倍率変更時の術者20の頭の動きの例を示す図である。
図13に示すように、術者20は、ビデオマイクロスコープ202の撮影倍率を変更するとき、ヘッドマウントディスプレイ201を装着した状態で、頭を左右方向に傾ける。即ち、ヘッドマウントディスプレイ201を装着した術者20は、ビデオマイクロスコープ202の撮影倍率を変更するとき、撮影角度を変更するときとは異なる方向へ頭を回転させる。これにより、医療用観察システム200は、撮影角度とは独立して撮影倍率を制御することができる。
術者20が頭を右方向に傾けた場合、撮影倍率は上昇する(テレ側に移動する)。一方、術者20が頭を左方向に傾けた場合、撮影倍率は低下する(ワイド側に移動する)。術者20の頭の傾きの角速度は、ジャイロセンサ211により検出される。
なお、術者20の頭の動きと撮影倍率の関係は、上述した例に限定されない。
(頭の角速度と撮影倍率の時間的変化の例)
図14は、ジャイロセンサ211により検出される頭の傾きの角速度とビデオマイクロスコープ103の撮影倍率の時間的変化の例を示す図である。
図14の例では、術者20は、撮影倍率を上げるため、時刻t31から頭を右方向に一定の速度で傾け、頭の傾きが所定の傾きとなった時刻t32に停止する。これにより、図14Aに示すように、ジャイロセンサ211は、時刻t31から時刻t32までの間、角速度ωh4を検出し、倍率制御部222に送信する。
倍率制御部222は、時刻t31から時刻t32までの間、ジャイロセンサ211から角速度ωh4を取得する。倍率制御部222は、時刻t31から現在の時刻までに取得された角速度を積分することにより、現在の時刻の術者20の頭の傾きの角度を計測する。これにより計測される角度は、図14Bに示すように、時刻t31から時刻t32までの間、0から角度θh4まで所定の傾きで上昇する。
図14Cに示すように、倍率制御部222は、計測された角度が閾値θTh3(θTh3<θh4)を超えた時刻t33において、速度vでの撮影倍率の上昇を開始する。
術者20は、時刻t32の後、ビデオマイクロスコープ103の撮影倍率が所望の撮影倍率付近になるまで頭を移動させず、時刻t34において、ビデオマイクロスコープ103の撮影倍率が所望の撮影倍率付近になったとき、頭を左方向に一定の速度で傾ける。その結果、時刻t35において、術者20の頭は元の位置に戻り、術者20は頭の回転を停止する。
これにより、ジャイロセンサ211は、図14Aに示すように、時刻t32から時刻t34までの間、角速度0を検出して倍率制御部222に送信する。また、時刻t34から時刻t35までの間、ジャイロセンサ211は、角速度−ωh4を検出して倍率制御部222に送信する。
倍率制御部222は、時刻t32から時刻t34までの間、ジャイロセンサ211から角速度0を取得する。倍率制御部222は、時刻t31から現在の時刻までに取得された角速度を積分することにより、現在の時刻の術者20の頭の傾きの角度を計測する。これにより計測される角度は、図14Bに示すように、時刻t32から時刻t34までの間、角度θh4である。
また、倍率制御部222は、時刻t34から時刻t35までの間、ジャイロセンサ211から角速度−ωh4を取得する。倍率制御部222は、時刻t31から現在の時刻までに取得された角速度を積分することにより、現在の時刻の術者20の頭の傾きの角度を計測する。これにより計測される角度は、図14Bに示すように、時刻t34から時刻t35までの間、角度θh4から0まで所定の傾きで減少する。
図14Cに示すように、倍率制御部222は、計測された角度が閾値θTh3以下になった時刻t36において、撮影倍率の変化の速度を0にし、撮影倍率の変化を停止する。
これにより、撮影倍率は、時刻t33から時刻t36までの間、速度vで変化することになる。その結果、図14Dに示すように、撮影倍率は、時刻t33から時刻t36までの間、頭が傾けられる前の撮影倍率m0から速度vで撮影倍率m1まで上昇する。時刻t36以降、撮影倍率は、撮影倍率m1に固定される。
以上のように、医療用観察システム10では、術者20が頭を右方向に傾けたことをトリガとして、傾き方向に対応する上昇方向に撮影倍率が変化する。その後、術者20が前の傾き方向とは逆の左方向に頭を傾けたことをトリガとして、撮影倍率の変化が停止し、撮影倍率が固定される。
なお、図14では、術者20が頭を右方向に傾ける場合について説明したが、左方向に傾ける場合も、撮影倍率の変化の方向が低下方向である点を除いて同様である。
(医療用観察システムの処理の説明)
図15は、図12の医療用観察システム200の撮影倍率制御処理を説明するフローチャートである。この撮影倍率制御処理は、例えば、撮影角度制御処理において撮影部51が撮影を開始したとき、開始される。
図15のステップS51において、ヘッドマウントディスプレイ201のジャイロセンサ211は、術者20の頭の傾きの角速度を検出する。ステップS52において、ジャイロセンサ211は、検出結果をビデオマイクロスコープ202に送信する。
ステップS61において、ビデオマイクロスコープ202の倍率制御部222は、ジャイロセンサ211から送信されてくる検出結果を取得する。ステップS62において、倍率制御部222は、取得された検出結果である頭の傾きの角速度を積分し、その結果得られる頭の傾きの角度が閾値θTh3より大きいかどうかを判定する。ステップS61で頭の傾きの角度が閾値θTh3より大きいと判定された場合、即ち、術者20が所望の撮影倍率に応じた方向に頭を傾けている場合、処理はステップS63に進む。
ステップS63において、倍率制御部222は、所定の速度vで、頭の傾き方向に対応する方向に撮影倍率を変化させ、処理はステップS61に戻る。
一方、ステップS62で頭の傾きの角度が閾値θTh3より大きくはないと判定された場合、即ち術者20が頭を元の位置に戻した場合、または、術者20が頭を傾けていない場合、処理は終了する。
ステップS53において、ヘッドマウントディスプレイ201は、撮影角度制御処理において撮影部51が撮影を終了するかどうかを判定する。ステップS53で撮影部51が撮影を終了すると判定された場合、処理はステップS51に戻り、以降の処理が繰り返される。
一方、ステップS53で撮影部51が撮影を終了すると判定された場合、処理は終了する。
なお、医療用観察システム200の撮影角度制御処理は、動作モードが制御モードである場合に行われる点、および、表示部111に動作モードが制御モードであることを表すモード情報が表示される点を除いて、図9の撮影角度制御処理と同様である。
医療用観察システム200は、動作モードが制御モードである場合にのみ撮影倍率制御処理を行うようにしてもよい。この場合、モード切替装置104により設定される制御モードは、撮影角度、フォーカスエリア、および撮影倍率の制御を行うモードであり、非制御モードは、撮影角度、フォーカスエリア、および撮影倍率の制御を行わないモードである。
また、動作モードは、撮影角度、フォーカスエリア、および撮影倍率の全てについて共通のモードが設定されるのではなく、個別にモードが設定されるようにしてもよい。この場合、撮影角度の動作モードが撮影角度を制御する制御モードである場合にのみ、術者20の頭の上下左右方向の回転に応じて撮影角度が制御される。また、フォーカスエリアの動作モードがフォーカスエリアを制御する制御モードである場合にのみ、術者20の視線に応じてフォーカスエリアが制御される。さらに、撮影倍率の動作モードが撮影倍率を制御する制御モードである場合にのみ、術者20の頭の左右方向の傾きに応じて撮影倍率が制御される。
さらに、頭の傾きの角度の閾値も、図10に示した頭の回転の角度の閾値と同様に、複数個設けられるようにしてもよい。この場合、撮影倍率の変化の速度を変更することができる。
なお、第1乃至第3実施の形態では、頭の回転や傾きの角度は、撮影角度や撮影倍率の制御におけるトリガとして用いられたが、頭の回転や傾きの角度に対応する値が、そのまま撮影角度や撮影倍率に設定されるようにしてもよい。
<第4実施の形態>
(本開示を適用したコンピュータの説明)
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
図16は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
コンピュータ300において、CPU(Central Processing Unit)301,ROM(Read Only Memory)302,RAM(Random Access Memory)303は、バス304により相互に接続されている。
バス304には、さらに、入出力インタフェース305が接続されている。入出力インタフェース305には、入力部306、出力部307、記憶部308、通信部309、及びドライブ310が接続されている。
入力部306は、キーボード、マウス、マイクロフォンなどよりなる。出力部307は、ヘッドマウントディスプレイ、スピーカなどよりなる。記憶部308は、ハードディスクや不揮発性のメモリなどよりなる。通信部309は、ネットワークインタフェースなどよりなる。ドライブ310は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア311を駆動する。
以上のように構成されるコンピュータ300では、CPU301が、例えば、記憶部308に記憶されているプログラムを、入出力インタフェース305及びバス304を介して、RAM303にロードして実行することにより、上述した一連の処理が行われる。
コンピュータ300(CPU301)が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア311に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
コンピュータ300では、プログラムは、リムーバブルメディア311をドライブ310に装着することにより、入出力インタフェース305を介して、記憶部308にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部309で受信し、記憶部308にインストールすることができる。その他、プログラムは、ROM302や記憶部308に、あらかじめインストールしておくことができる。
なお、コンピュータ300が実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
また、本明細書において、システムとは、複数の構成要素(装置、モジュール(部品)等)の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、1つの筐体の中に複数のモジュールが収納されている1つの装置は、いずれも、システムである。
本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
また、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
本開示は、以下のような構成もとることができる。
(1)
被写体の位置を表す位置情報を取得する取得部と、
ユーザの第1の動きと、前記取得部により取得された前記位置情報とに基づいて、前記被写体を撮影する撮影装置と前記被写体との距離を変化させずに、前記撮影装置の撮影角度を変更する制御部と
を備える制御装置。
(2)
前記ユーザの第2の動きに応じて前記撮影装置の撮影倍率を変更する倍率制御部
をさらに備える
前記(1)に記載の制御装置。
(3)
前記第1の動きの方向は、前記第2の動きの方向とは異なる
ように構成された
前記(2)に記載の制御装置。
(4)
前記制御部は、前記ユーザの頭の前記第1の動きと前記位置情報とに基づいて、前記撮影角度を変更する
ように構成された
前記(1)乃至(3)のいずれかに記載の制御装置。
(5)
前記制御部は、前記ユーザの頭の前記第1の動きを表す角速度と前記位置情報とに基づいて、前記撮影角度を変更する
ように構成された
前記(1)乃至(4)のいずれかに記載の制御装置。
(6)
前記制御部は、動作モードが所定のモードである場合に前記撮影角度を変更する
前記(1)乃至(5)のいずれかに記載の制御装置。
(7)
前記位置情報は、前記ユーザの注視点に基づいて決定される
ように構成された
前記(1)乃至(6)のいずれかに記載の制御装置。
(8)
前記撮影装置を移動自在かつ回転自在に保持する保持部
をさらに備え、
前記制御部は、前記保持部を制御することにより、前記撮影装置の撮影角度を変更する
ように構成された
前記(1)乃至(7)のいずれかに記載の制御装置。
(9)
前記撮影装置は、手術用のビデオマイクロスコープである
ように構成された
前記(1)乃至(8)のいずれかに記載の制御装置。
(10)
制御装置が、
被写体の位置を表す位置情報を取得する取得ステップと、
ユーザの第1の動きと、前記取得ステップの処理により取得された前記位置情報とに基づいて、前記被写体を撮影する撮影装置と前記被写体との距離を変化させずに、前記撮影装置の撮影角度を変更する制御ステップと
を含む制御方法。
(11)
被写体を撮影する撮影装置と、
制御装置と
を備え、
前記制御装置は、
前記被写体の位置を表す位置情報を取得する取得部と、
ユーザの第1の動きと、前記取得部により取得された前記位置情報とに基づいて、前記撮影装置と前記被写体との距離を変化させずに、前記撮影装置の撮影角度を変更する制御部と
を有する
撮影制御システム。
(12)
前記第1の動きを検出する検出装置
をさらに備える
前記(11)に記載の撮影制御システム。
(13)
前記検出装置は、前記ユーザが装着するヘッドマウントディスプレイである
ように構成された
前記(12)に記載の撮影制御システム。
(14)
前記検出装置は、
前記第1の動きを検出する動き検出部と、
前記ユーザの注視点を検出する視線検出部と
を備え、
前記位置情報は、前記視線検出部により検出された前記注視点に基づいて決定される
ように構成された
前記(12)または(13)に記載の撮影制御システム。
10 医療用観察システム, 11 ヘッドマウントディスプレイ, 12 電動アーム, 13 ビデオマイクロスコープ, 32 視線検出部, 33 ジャイロセンサ, 41 取得部, 42 制御部, 43 アーム機構, 100 医療用観察システム, 101 ヘッドマウントディスプレイ, 102 電動アーム, 103 ビデオマイクロスコープ, 121 制御部, 200 医療用観察システム, 201 ヘッドマウントディスプレイ, 202 ビデオマイクロスコープ, 222 倍率制御部

Claims (14)

  1. 被写体の位置を表す位置情報を取得する取得部と、
    ユーザの第1の動きと、前記取得部により取得された前記位置情報とに基づいて、前記被写体を撮影する撮影装置と前記被写体との距離を変化させずに、前記撮影装置の撮影角度を変更する制御部と
    を備える制御装置。
  2. 前記ユーザの第2の動きに応じて前記撮影装置の撮影倍率を変更する倍率制御部
    をさらに備える
    請求項1に記載の制御装置。
  3. 前記第1の動きの方向は、前記第2の動きの方向とは異なる
    ように構成された
    請求項2に記載の制御装置。
  4. 前記制御部は、前記ユーザの頭の前記第1の動きと前記位置情報とに基づいて、前記撮影角度を変更する
    ように構成された
    請求項1に記載の制御装置。
  5. 前記制御部は、前記ユーザの頭の前記第1の動きを表す角速度と前記位置情報とに基づいて、前記撮影角度を変更する
    ように構成された
    請求項1に記載の制御装置。
  6. 前記制御部は、動作モードが所定のモードである場合に前記撮影角度を変更する
    請求項1に記載の制御装置。
  7. 前記位置情報は、前記ユーザの注視点に基づいて決定される
    ように構成された
    請求項1に記載の制御装置。
  8. 前記撮影装置を移動自在かつ回転自在に保持する保持部
    をさらに備え、
    前記制御部は、前記保持部を制御することにより、前記撮影装置の撮影角度を変更する
    ように構成された
    請求項1に記載の制御装置。
  9. 前記撮影装置は、手術用のビデオマイクロスコープである
    ように構成された
    請求項1に記載の制御装置。
  10. 制御装置が、
    被写体の位置を表す位置情報を取得する取得ステップと、
    ユーザの第1の動きと、前記取得ステップの処理により取得された前記位置情報とに基づいて、前記被写体を撮影する撮影装置と前記被写体との距離を変化させずに、前記撮影装置の撮影角度を変更する制御ステップと
    を含む制御方法。
  11. 被写体を撮影する撮影装置と、
    制御装置と
    を備え、
    前記制御装置は、
    前記被写体の位置を表す位置情報を取得する取得部と、
    ユーザの第1の動きと、前記取得部により取得された前記位置情報とに基づいて、前記撮影装置と前記被写体との距離を変化させずに、前記撮影装置の撮影角度を変更する制御部と
    を有する
    撮影制御システム。
  12. 前記第1の動きを検出する検出装置
    をさらに備える
    請求項11に記載の撮影制御システム。
  13. 前記検出装置は、前記ユーザが装着するヘッドマウントディスプレイである
    ように構成された
    請求項12に記載の撮影制御システム。
  14. 前記検出装置は、
    前記第1の動きを検出する動き検出部と、
    前記ユーザの注視点を検出する視線検出部と
    を備え、
    前記位置情報は、前記視線検出部により検出された前記注視点に基づいて決定される
    ように構成された
    請求項12に記載の撮影制御システム。
JP2014071169A 2014-03-31 2014-03-31 制御装置および制御方法、並びに撮影制御システム Pending JP2015192697A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2014071169A JP2015192697A (ja) 2014-03-31 2014-03-31 制御装置および制御方法、並びに撮影制御システム
US15/122,550 US10571671B2 (en) 2014-03-31 2015-03-20 Surgical control device, control method, and imaging control system
EP15719298.0A EP3125737B1 (en) 2014-03-31 2015-03-20 Surgical control device and imaging control system
PCT/JP2015/001585 WO2015151447A1 (en) 2014-03-31 2015-03-20 Surgical control device, control method, and imaging control system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014071169A JP2015192697A (ja) 2014-03-31 2014-03-31 制御装置および制御方法、並びに撮影制御システム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2018126831A Division JP6646880B2 (ja) 2018-07-03 2018-07-03 医療用観察システム、医療用観察方法、および医療用制御装置

Publications (2)

Publication Number Publication Date
JP2015192697A true JP2015192697A (ja) 2015-11-05
JP2015192697A5 JP2015192697A5 (ja) 2016-04-14

Family

ID=53015846

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014071169A Pending JP2015192697A (ja) 2014-03-31 2014-03-31 制御装置および制御方法、並びに撮影制御システム

Country Status (4)

Country Link
US (1) US10571671B2 (ja)
EP (1) EP3125737B1 (ja)
JP (1) JP2015192697A (ja)
WO (1) WO2015151447A1 (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017200568A1 (de) 2016-01-20 2017-07-20 Semiconductor Energy Laboratory Co., Ltd. Eingabesystem und elektronisches Gerät
WO2017169135A1 (ja) * 2016-03-30 2017-10-05 ソニー株式会社 制御装置、制御方法及び手術用顕微鏡装置
JP2018161526A (ja) * 2018-07-03 2018-10-18 ソニー株式会社 医療用観察システム、医療用観察方法、および医療用制御装置
WO2018211969A1 (ja) * 2017-05-15 2018-11-22 ソニー株式会社 入力制御装置、入力制御方法、および手術システム
WO2018216501A1 (ja) * 2017-05-26 2018-11-29 ソニー株式会社 制御装置、制御方法、および手術システム
US10571671B2 (en) 2014-03-31 2020-02-25 Sony Corporation Surgical control device, control method, and imaging control system
JP2021184882A (ja) * 2016-05-03 2021-12-09 アフェラ, インコーポレイテッド 解剖学的モデルの表示
JP2022509460A (ja) * 2018-10-25 2022-01-20 べイエオニクス サージカル リミテッド 頭部装着型ディスプレイシステムのためのui
JP2023509038A (ja) * 2019-12-31 2023-03-06 カール ツアイス メディテック アクチエンゲゼルシャフト 外科用顕微鏡を操作する方法及び外科用顕微鏡
US11989930B2 (en) 2018-10-25 2024-05-21 Beyeonics Surgical Ltd. UI for head mounted display system

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017070636A (ja) * 2015-10-09 2017-04-13 ソニー株式会社 手術システム、並びに、手術用制御装置および手術用制御方法
EP3397185A1 (en) * 2015-12-29 2018-11-07 Koninklijke Philips N.V. System, controller and method using virtual reality device for robotic surgery
CN110192390A (zh) * 2016-11-24 2019-08-30 华盛顿大学 头戴式显示器的光场捕获和渲染
WO2018195319A1 (en) 2017-04-20 2018-10-25 Intuitive Surgical Operations, Inc. Systems and methods for constraining a virtual reality surgical system
JP7013677B2 (ja) * 2017-05-01 2022-02-01 ソニーグループ株式会社 医用画像処理装置、医用画像処理装置の作動方法、及び、内視鏡システム
CN108524011A (zh) * 2018-05-09 2018-09-14 杨琨 基于眼动仪原理的视野焦点指示系统及方法
US10623660B1 (en) 2018-09-27 2020-04-14 Eloupes, Inc. Camera array for a mediated-reality system
JP7214876B2 (ja) * 2019-08-09 2023-01-30 富士フイルム株式会社 内視鏡装置、制御方法、制御プログラム、及び内視鏡システム
EP3786765A1 (en) * 2019-08-29 2021-03-03 Leica Instruments (Singapore) Pte. Ltd. Microscope, control circuit, method and computer program for generating information on at least one inspected region of an image
US11864841B2 (en) 2019-12-31 2024-01-09 Carl Zeiss Meditec Ag Method of operating a surgical microscope and surgical microscope
US11409091B2 (en) 2019-12-31 2022-08-09 Carl Zeiss Meditec Ag Method of operating a surgical microscope and surgical microscope
US11607287B2 (en) 2019-12-31 2023-03-21 Carl Zeiss Meditec Ag Method of operating a surgical microscope and surgical microscope
EP3851896A1 (en) * 2020-01-20 2021-07-21 Leica Instruments (Singapore) Pte. Ltd. Apparatuses, methods and computer programs for controlling a microscope system
JP7414590B2 (ja) * 2020-03-04 2024-01-16 ソニー・オリンパスメディカルソリューションズ株式会社 制御装置および医療用観察システム
JP7463155B2 (ja) * 2020-03-25 2024-04-08 キヤノン株式会社 撮像制御装置およびその制御方法
US10949986B1 (en) 2020-05-12 2021-03-16 Proprio, Inc. Methods and systems for imaging a scene, such as a medical scene, and tracking objects within the scene
CN116546931A (zh) * 2021-08-03 2023-08-04 直观外科手术操作公司 用于基于操作员的头部运动来调整成像设备的视场的技术
DE102022112217A1 (de) 2022-05-16 2023-11-16 Carl Zeiss Ag Verfahren zum Betreiben eines Operationsmikroskops und Operationsmikroskop

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0675617A (ja) * 1992-08-24 1994-03-18 Nec Corp カメラ視点変更方式
JPH10315166A (ja) * 1997-05-22 1998-12-02 Kawasaki Heavy Ind Ltd 注視機能を付加した遠隔視覚提示装置
JP2005066080A (ja) * 2003-08-26 2005-03-17 Olympus Corp 立体観察装置
JP2006122232A (ja) * 2004-10-27 2006-05-18 Olympus Corp 手術用顕微鏡
JP2008067218A (ja) * 2006-09-08 2008-03-21 Sony Corp 撮像表示装置、撮像表示方法

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5276785A (en) * 1990-08-02 1994-01-04 Xerox Corporation Moving viewpoint with respect to a target in a three-dimensional workspace
US6388707B1 (en) * 1994-04-12 2002-05-14 Canon Kabushiki Kaisha Image pickup apparatus having means for appointing an arbitrary position on the display frame and performing a predetermined signal process thereon
JPH07299027A (ja) 1994-05-10 1995-11-14 Olympus Optical Co Ltd 光源装置
JPH0871072A (ja) 1994-09-01 1996-03-19 Olympus Optical Co Ltd 手術用マニピュレータシステム
US5836869A (en) * 1994-12-13 1998-11-17 Olympus Optical Co., Ltd. Image tracking endoscope system
JP3816599B2 (ja) 1996-10-29 2006-08-30 オリンパス株式会社 体腔内処置観察システム
WO2003002011A1 (en) 2001-06-28 2003-01-09 Surgyvision Ltd. Stereoscopic video magnification and navigation system
US7042449B2 (en) * 2002-06-28 2006-05-09 Autodesk Canada Co. Push-tumble three dimensional navigation system
US7883415B2 (en) * 2003-09-15 2011-02-08 Sony Computer Entertainment Inc. Method and apparatus for adjusting a view of a scene being displayed according to tracked head motion
CN103142309B (zh) * 2005-10-20 2015-06-17 直观外科手术操作公司 医用机器人系统中的计算机显示屏上的辅助图像显示和操纵
US7726890B2 (en) * 2006-01-19 2010-06-01 Fujifilm Corporation Camera
US20070236514A1 (en) * 2006-03-29 2007-10-11 Bracco Imaging Spa Methods and Apparatuses for Stereoscopic Image Guided Surgical Navigation
US8155479B2 (en) * 2008-03-28 2012-04-10 Intuitive Surgical Operations Inc. Automated panning and digital zooming for robotic surgical systems
US8918207B2 (en) * 2009-03-09 2014-12-23 Intuitive Surgical Operations, Inc. Operator input device for a robotic surgical system
JP5767142B2 (ja) 2012-03-05 2015-08-19 オリンパス株式会社 医療用観察システム
JP6023883B2 (ja) * 2012-07-10 2016-11-09 アイマゴ ソシエテ アノニムAimago S.A. 灌流評価マルチモダリティ光学医用デバイス
IL221863A (en) * 2012-09-10 2014-01-30 Elbit Systems Ltd Digital video photography system when analyzing and displaying
KR20140112207A (ko) 2013-03-13 2014-09-23 삼성전자주식회사 증강현실 영상 표시 시스템 및 이를 포함하는 수술 로봇 시스템
KR20150026201A (ko) * 2013-09-02 2015-03-11 엘지전자 주식회사 디지털 디바이스 및 제어 방법
JP2015192697A (ja) 2014-03-31 2015-11-05 ソニー株式会社 制御装置および制御方法、並びに撮影制御システム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0675617A (ja) * 1992-08-24 1994-03-18 Nec Corp カメラ視点変更方式
JPH10315166A (ja) * 1997-05-22 1998-12-02 Kawasaki Heavy Ind Ltd 注視機能を付加した遠隔視覚提示装置
JP2005066080A (ja) * 2003-08-26 2005-03-17 Olympus Corp 立体観察装置
JP2006122232A (ja) * 2004-10-27 2006-05-18 Olympus Corp 手術用顕微鏡
JP2008067218A (ja) * 2006-09-08 2008-03-21 Sony Corp 撮像表示装置、撮像表示方法

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10571671B2 (en) 2014-03-31 2020-02-25 Sony Corporation Surgical control device, control method, and imaging control system
US10572006B2 (en) 2016-01-20 2020-02-25 Semiconductor Energy Laboratory Co., Ltd. Input system and electronic apparatus
DE102017200568A1 (de) 2016-01-20 2017-07-20 Semiconductor Energy Laboratory Co., Ltd. Eingabesystem und elektronisches Gerät
US11099644B2 (en) 2016-01-20 2021-08-24 Semiconductor Energy Laboratory Co., Ltd. Input system and electronic apparatus
US12118142B2 (en) 2016-01-20 2024-10-15 Semiconductor Energy Laboratory Co., Ltd. Input system and electronic apparatus
US11635809B2 (en) 2016-01-20 2023-04-25 Semiconductor Energy Laboratory Co., Ltd. Input system and electronic apparatus
US10716471B2 (en) 2016-03-30 2020-07-21 Sony Corporation Control device, control method, and microscope device for operation
JP6217890B1 (ja) * 2016-03-30 2017-10-25 ソニー株式会社 制御装置、制御方法及び手術用顕微鏡装置
WO2017169135A1 (ja) * 2016-03-30 2017-10-05 ソニー株式会社 制御装置、制御方法及び手術用顕微鏡装置
US10595955B2 (en) 2016-03-30 2020-03-24 Sony Corporation Control device, control method, and microscope device for operation
JP2018029980A (ja) * 2016-03-30 2018-03-01 ソニー株式会社 手術用顕微鏡装置、制御方法、及び制御装置
US11730365B2 (en) 2016-03-30 2023-08-22 Sony Corporation Control device, control method, and microscope device for operation
JP2021184882A (ja) * 2016-05-03 2021-12-09 アフェラ, インコーポレイテッド 解剖学的モデルの表示
WO2018211969A1 (ja) * 2017-05-15 2018-11-22 ソニー株式会社 入力制御装置、入力制御方法、および手術システム
JPWO2018211969A1 (ja) * 2017-05-15 2020-03-19 ソニー株式会社 入力制御装置、入力制御方法、および手術システム
US10992857B2 (en) 2017-05-15 2021-04-27 Sony Corporation Input control device, input control method, and operation system
JP7160033B2 (ja) 2017-05-15 2022-10-25 ソニーグループ株式会社 入力制御装置、入力制御方法、および手術システム
WO2018216501A1 (ja) * 2017-05-26 2018-11-29 ソニー株式会社 制御装置、制御方法、および手術システム
US11517395B2 (en) 2017-05-26 2022-12-06 Sony Corporation Control device, control method, and surgical system
JP2018161526A (ja) * 2018-07-03 2018-10-18 ソニー株式会社 医療用観察システム、医療用観察方法、および医療用制御装置
JP2022509460A (ja) * 2018-10-25 2022-01-20 べイエオニクス サージカル リミテッド 頭部装着型ディスプレイシステムのためのui
JP7367041B2 (ja) 2018-10-25 2023-10-23 べイエオニクス サージカル リミテッド 頭部装着型ディスプレイシステムのためのui
US11989930B2 (en) 2018-10-25 2024-05-21 Beyeonics Surgical Ltd. UI for head mounted display system
JP2023509038A (ja) * 2019-12-31 2023-03-06 カール ツアイス メディテック アクチエンゲゼルシャフト 外科用顕微鏡を操作する方法及び外科用顕微鏡

Also Published As

Publication number Publication date
EP3125737B1 (en) 2018-12-05
US20170068081A1 (en) 2017-03-09
EP3125737A1 (en) 2017-02-08
US10571671B2 (en) 2020-02-25
WO2015151447A1 (en) 2015-10-08

Similar Documents

Publication Publication Date Title
JP2015192697A (ja) 制御装置および制御方法、並びに撮影制御システム
US10567641B1 (en) Gaze-directed photography
US9661232B2 (en) Apparatus and method providing auto zoom in response to relative movement of target subject matter
JP2015192697A5 (ja) 手術用制御装置および手術用制御方法、並びに手術システム
JP6904254B2 (ja) 手術用制御装置、手術用制御方法、およびプログラム
WO2017061293A1 (ja) 手術システム、並びに、手術用制御装置および手術用制御方法
US20170299842A1 (en) Electronic binoculars
US10958844B2 (en) Control apparatus and control method
JP2024036387A (ja) 電子機器およびその制御方法
JP2018105974A (ja) 手術用ルーペ
JP6646880B2 (ja) 医療用観察システム、医療用観察方法、および医療用制御装置
US11677911B2 (en) Display apparatus capable of controlling a position of a display range based on a change of focal distance
US20200093545A1 (en) Control apparatus, control method, and medical observation system
US12007567B2 (en) Display device
US9679391B2 (en) Image pickup system and image pickup method
US10176726B2 (en) Handheld, portable vision aid device and vision aid system
JP6073114B2 (ja) ロボットカメラ制御装置、そのプログラム及び多視点ロボットカメラシステム
US20240040227A1 (en) Image capture apparatus, wearable device and control method
JP2021078075A (ja) 表示装置
JP2021078073A (ja) 表示装置
US20220321803A1 (en) Medical observation system, control device, and control method
JP2021082865A (ja) 表示装置
JP2024148428A (ja) 撮像装置およびその制御方法
US20180250092A1 (en) Medical observation apparatus and control method
JP2021082866A (ja) 表示装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160226

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160226

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170119

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170314

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170905

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171016

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20180403