JP2015019679A - 情報処理装置、情報処理方法、および、情報処理システム - Google Patents

Abstract

【課題】多種多様な医療用装置の情報を一元化すると共に、複数の画像表示装置における表示を制御する。
【解決手段】情報処理装置は、複数の医療用装置から取得された情報である複数の医療用装置情報を取得する取得部と、取得部により取得された複数の医療用装置情報の少なくとも一部を含む提示用情報を生成する生成部と、複数の画像表示装置に対して、生成された提示用情報を出力する提供部とを備える。
【選択図】図６

Description

本発明は、情報処理装置に関する。

頭部に装着する表示装置である頭部装着型表示装置（ヘッドマウントディスプレイ（Head Mounted Display、ＨＭＤ））が知られている。頭部装着型表示装置は、例えば、液晶ディスプレイと光源とを利用して画像を表す画像光を生成し、生成された画像光を投写光学系や導光板等を利用して使用者の眼に導くことにより、使用者に虚像を認識させる。

特許文献１には、このような頭部装着型表示装置を用いることで、医療環境における情報の表示を改善するためのシステムが記載されている。特許文献１に記載の技術では、クエリーに基づいて複数の情報源から情報が取得され、取得された情報は、規則に基づきフィルター処理され、眼鏡ヘッドセット式ビューアーの接眼レンズへ投影される。また、特許文献１に記載の技術では、頭部装着型表示装置の装着者の視線に基づいて、固定された大型ディスプレイの表示についての制御権や優先権が決定される。特許文献２には、医療用顔面装着型映像表示装置（頭部装着型表示装置）が記載されている。特許文献２に記載の技術では、内視鏡検査又は内視鏡手術時に内視鏡と共に使用される内視鏡周辺機器の動作状態情報が、頭部装着型表示装置に表示される。特許文献３、４には、頭部装着型表示装置において、拡張現実感技術を応用することで、歯科手術における情報の表示を行うための方法が記載されている。特許文献３、４に記載の技術では、術部の実像に対して、術前イメージやシミュレーション画像等が重畳して表示される。

特開２００６−１０２４９５号公報 特開２００１−１０４３３１号公報 特開２０１０−２５９４９７号公報 特開２０１３−３４７６４号公報

医学の進歩と電子機器の進歩により、現在の医療の現場は急速な進化を遂げている。医療の現場では、例えば、心電図、心拍数計、血圧計、パルスオキシメーター、血糖値計、レントゲン、内視鏡のような、多種多様な医療用の装置（以降「医療用装置」と呼ぶ。）が使用されている。このような多種多様な医療用装置の情報を把握して、作業を行うことは、医療の現場に従事する者にとって大きな負担となる。このため、多種多様な医療用装置の情報を一元化することのできるシステムが望まれていた。特許文献１に記載された技術では、複数の情報源（医療用装置）から情報を取得することはできるものの、取得した情報を、複数の頭部装着型表示装置に対して、どのように表示させるかについては何ら考慮されていなかった。また、特許文献２〜４に記載された技術では、対象としている医療用装置が限定されているため、多種多様な医療用装置の情報を一元化することができないという課題があった。

また、このような課題は、頭部装着型表示装置に限らず、例えば頭部装着型表示装置のような画像表示装置に表示させるための情報を生成する情報処理装置全般に共通する課題であった。このように、多種多様な医療用装置の情報を一元化すると共に、複数の画像表示装置における表示を制御することが可能な情報処理装置が望まれていた。そのほか、情報処理装置には、汎用性の向上、利便性の向上、製造コストの低減、信頼性の向上といった、種々の要望があった。

本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態として実現することが可能である。

（１）本発明の一形態によれば、情報処理装置が提供される。この情報処理装置は；複数の医療用装置から取得された情報である複数の医療用装置情報を取得する取得部と；前記取得部により取得された前記複数の医療用装置情報の少なくとも一部を含む提示用情報を生成する生成部と；複数の画像表示装置に対して、生成された前記提示用情報を出力する提供部と、を備える。この形態の情報処理装置によれば、生成部は、取得部により取得された複数の医療用装置情報を用いて提示用情報を生成するため、情報処理装置に接続されている多種多様な医療用装置の情報（医療用装置情報）を一元化することができる。また、提供部は、複数の画像表示装置に対して、生成された提示用情報を出力するため、複数の画像表示装置における表示を制御することができる。この結果、多種多様な医療用装置の情報を一元化すると共に、複数の画像表示装置における表示を制御することが可能な情報処理装置を実現することができる。

（２）上記形態の情報処理装置において；前記生成部は、前記複数の画像表示装置に対して共通する前記提示用情報を生成する第１のモードと、前記複数の画像表示装置にそれぞれ対応する複数の前記提示用情報を生成する第２のモードと、を有していてもよい。この形態の情報処理装置によれば、生成部は、一元化されている医療用装置情報を用いて、複数の画像表示装置に対して共通する提示用情報を生成する第１のモードと、複数の画像表示装置にそれぞれ対応する複数の提示用情報を生成する第２のモードと、を有する。情報処理装置は、生成部におけるこれらのモードを使い分けることによって、複数の画像表示装置における表示を制御することもできる。

（３）上記形態の情報処理装置において；前記生成部は、前記第１のモードにおいて、特定の前記画像表示装置の使用者によって選択された前記医療用装置情報を少なくとも含む、共通の前記提示用情報を生成してもよい。この形態の情報処理装置によれば、生成部は、特定の画像表示装置の使用者によって選択された医療用装置情報を少なくとも含む共通の提示用情報を生成し、提供部は、複数の画像表示装置に対して、生成された共通の提示用情報を出力する。この結果、情報処理装置は、複数の画像表示装置における表示を、特定の画像表示装置の使用者の選択に基づいて制御することが可能となる。

（４）上記形態の情報処理装置では；さらに；前記複数の画像表示装置を相互に識別するための情報と、当該画像表示装置が前記特定の画像表示装置であるか否かを表す情報と、を関連付けて記憶する装置間関係記憶部を備え；前記生成部は、前記第１のモードにおいて、前記装置間関係記憶部を用いて前記特定の画像表示装置を識別してもよい。この形態の情報処理装置によれば、生成部は、装置間関係記憶部を用いて簡便に、複数の画像表示装置から特定の画像表示装置を識別することができる。

（５）上記形態の情報処理装置において；前記生成部は、前記第２のモードにおいて、前記複数の画像表示装置の使用者によってそれぞれ選択された取得した前記医療用装置情報を少なくとも含む、前記複数の提示用情報を生成してもよい。この形態の情報処理装置によれば、生成部は、複数の画像表示装置の使用者によってそれぞれ選択された医療用装置情報を少なくとも含む、複数の提示用情報を生成し、提供部は、複数の画像表示装置に対して、生成された複数の提示用情報をそれぞれ出力する。この結果、情報処理装置は、複数の画像表示装置における表示を、各画像表示装置の使用者の選択に基づいて別個に制御することが可能となる。

（６）上記形態の情報処理装置において；前記生成部は、前記第２のモードにおいて、前記使用者のそれぞれの役割に応じた前記医療用装置から取得した前記医療用装置情報を少なくとも含む、前記複数の提示用情報を生成してもよい。この形態の情報処理装置によれば、生成部は、使用者のそれぞれの役割に応じた医療用装置から取得した医療用装置情報を少なくとも含む、複数の提示用情報を生成し、提供部は、複数の画像表示装置に対して、生成された複数の提示用情報をそれぞれ出力する。この結果、情報処理装置は、複数の画像表示装置における表示を、各画像表示装置の使用者の役割に応じて別個に制御することが可能となり、画像表示装置の使用者の利便性を向上させることができる。

（７）上記形態の情報処理装置では、さらに；前記複数の画像表示装置を相互に識別するための情報と、当該画像表示装置の使用者の役割とを関連付けて記憶する役割記憶部を備え；前記生成部は、前記第２のモードにおいて、前記役割記憶部を用いて前記使用者の役割を識別してもよい。この形態の情報処理装置によれば、生成部は、役割記憶部を用いて簡便に使用者の役割を識別することができる。

（８）上記形態の情報処理装置において；前記生成部は、前記第２のモードにおいて、さらに、生成された前記複数の提示用情報を結合した結合情報を生成し；前記提供部は、前記特定の画像表示装置に対して、生成された前記結合情報を出力してもよい。この形態の情報処理装置によれば、生成部は、生成された複数の提示用情報を結合した結合情報を生成し、提供部は、特定の画像表示装置に対して生成された結合情報を出力する。この結果、特定の画像表示装置の使用者は、情報処理装置に接続されている複数の画像表示装置において、どのような提示用情報が表示されているのかを知ることができる。この結果、特定の画像表示装置の使用者の利便性を向上させることができる。

（９）上記形態の情報処理装置において；前記生成部は、前記提示用情報を生成する際に、前記医療用装置情報に含まれる画像の縦横比を維持したまま、前記画像を拡大または縮小してもよい。この形態の情報処理装置によれば、生成部は、医療用装置情報に含まれる画像の縦横比を維持したまま、画像を拡大または縮小するため、提示用情報が生成される際に、医療用装置により取得された医療用装置情報に予期しない歪みが生じることを抑制できる。

（１０）上記形態の情報処理装置において；前記情報処理装置には、前記画像表示装置として、使用者が虚像と外景を同時に視認可能な頭部装着型表示装置が接続されてもよい。この形態の情報処理装置によれば、多種多様な医療用装置の情報を一元化すると共に、複数の頭部装着型表示装置における表示を制御することが可能な情報処理装置を実現することができる。

（１１）上記形態の情報処理装置において；前記提供部は、さらに；前記頭部装着型表示装置から、前記頭部装着型表示装置を装着した状態における使用者の視界方向の画像を取得し；取得された前記視界方向の画像を画像認識することで外景に含まれる物体の特徴を抽出し；抽出した前記特徴に基づいて生成部により生成された前記提示用情報を補正し、補正後の前記提示用情報を出力してもよい。この形態の情報処理装置によれば、提供部は、頭部装着型表示装置の使用者の視界方向の画像を画像認識することで外景に含まれる物体の特徴を抽出し、抽出した特徴に基づいて、生成された提示用情報を補正する。このため、提示用情報に、例えばＣＴ画像、ＭＲＩ画像、レントゲン画像等の不可視情報が含まれる場合において、外景に含まれる物体（例えば、患者の体等）に不可視情報を一致させることができる。この結果、頭部装着型表示装置の使用者の利便性を向上させることができる。さらに、頭部装着型表示装置は、補正後の提示用情報を受信することができるため、頭部装着型表示装置は、受信した提示用情報をそのまま表示すればよい。この結果、頭部装着型表示装置の構成をシンプルにすることができる。

（１２）本発明の一形態によれば、情報処理システムが提供される。この情報処理システムは；複数の医療用装置と；情報処理装置と；複数の頭部装着型表示装置であって、使用者が虚像と外景を同時に視認可能な頭部装着型表示装置と、を備え；前記情報処理装置は；前記複数の医療用装置から取得された情報である複数の医療用装置情報を取得する取得部と；前記取得部により取得された前記複数の医療用装置情報の少なくとも一部を含む提示用情報を生成する生成部と；前記複数の頭部装着型表示装置に対して、生成された前記提示用情報を出力する提供部と、を備え；前記頭部装着型表示装置は；前記情報処理装置から前記提示用情報を取得する提示用情報取得部と；取得された前記提示用情報を前記虚像として前記頭部装着型表示装置の使用者に視認させる画像表示部と、を備える。この形態の情報処理システムによれば、多種多様な医療用装置の情報（医療用装置情報）を情報処理装置に一元化すると共に、複数の頭部装着型表示装置における表示を制御することが可能な情報処理システムを実現することができる。

上述した本発明の各形態の有する複数の構成要素は全てが必須のものではなく、上述の課題の一部または全部を解決するため、あるいは、本明細書に記載された効果の一部または全部を達成するために、適宜、前記複数の構成要素の一部の構成要素について、その変更、削除、新たな構成要素との差し替え、限定内容の一部削除を行うことが可能である。また、上述の課題の一部または全部を解決するため、あるいは、本明細書に記載された効果の一部または全部を達成するために、上述した本発明の一形態に含まれる技術的特徴の一部または全部を上述した本発明の他の形態に含まれる技術的特徴の一部または全部と組み合わせて、本発明の独立した一形態とすることも可能である。

例えば、本発明の一形態は、取得部と、生成部と、提供部と、の３つの要素のうちの一部または全部の要素を備えた装置として実現可能である。すなわち、この装置は、取得部を有していてもよく、有していなくてもよい。また、この装置は、生成部を有していてもよく、有していなくてもよい。また、この装置は、提供部を有していてもよく、有していなくてもよい。こうした装置は、例えば情報処理装置として実現できるが、情報処理装置以外の他の装置としても実現可能である。前述した情報処理装置の各形態の技術的特徴の一部または全部は、いずれもこの装置に適用することが可能である。

なお、本発明は、種々の態様で実現することが可能であり、例えば、情報処理装置、情報処理方法、情報処理システム、頭部装着型表示装置、頭部装着型表示装置の制御方法、頭部装着型表示システム、これらの方法、装置またはシステムの機能を実現するためのコンピュータープログラム、そのコンピュータープログラムを記録した記録媒体等の形態で実現することができる。

本発明の一実施形態における情報処理システムの概略構成を示す説明図である。 情報処理装置の構成を機能的に示すブロック図である。 共通映像仕様の一例を示す説明図である。 管理テーブルの一例を示す説明図である。 ヘッドマウントディスプレイの構成を機能的に示すブロック図である。 提示用情報生成処理の手順を示すフローチャートである。 提示用情報の生成方法について説明するための説明図である。 提示用情報の生成方法について説明するための説明図である。 提示用情報の第１の例を示す説明図である。 提示用情報の第２の例を示す説明図である。 提示用情報の第３の例を示す説明図である。 複数のヘッドマウントディスプレイにおいて提示用情報が虚像として表示されている様子を示す説明図である。 異なる位置にある複数のヘッドマウントディスプレイにおいて提示用情報が虚像として表示されている様子を示す説明図である。 ステップＳ１２２〜Ｓ１３４が２回実行された結果複数のヘッドマウントディスプレイにおいて提示用情報が虚像として表示されている様子を示す説明図である。 第２実施形態における情報処理装置の構成を機能的に示すブロック図である。 結合情報生成処理の手順を示すフローチャートである。 結合情報の生成方法について説明するための説明図である。 ヘッドマウントディスプレイにおいて結合情報が虚像として表示されている様子を示す説明図である。 変形例におけるヘッドマウントディスプレイの外観の構成を示す説明図である。

Ａ．第１実施形態：
Ａ−１．情報処理システムの構成：
図１は、本発明の一実施形態における情報処理システム１０００の概略構成を示す説明図である。情報処理システム１０００は、複数の医療用装置５０１〜５０ｎと、情報処理装置３００と、画像表示装置１００と、を備えている。情報処理システム１０００は、医療の現場において使用されるシステムであり、情報処理装置３００は、複数の医療用装置５０１〜５０ｎから情報を取得して一元化し、画像表示装置１００へ表示させるための提示用情報を生成する。医療用装置５０１〜５０ｎと、画像表示装置１００とは、有線接続または無線接続によって、情報処理装置３００と接続されている。なお、以降では「任意の複数」を表す文字として「ｎ」を用いる。ｎは１以上の整数である。

本実施形態では、医療の現場として、手術室における手術現場を例示するが、情報処理システム１０００は、診察室、処置室、治療室、分娩室等で使用されてもよい。また、本実施形態では、画像表示装置１００として、頭部装着型表示装置を例示するが、画像表示装置１００は、固定型のディスプレイ、携帯可能なディスプレイ、スマートフォン等でもよい。以降、頭部装着型表示装置１００を「ヘッドマウントディスプレイ１００（Head Mounted Display、ＨＭＤ）」とも呼ぶ。また、図１では、１台のヘッドマウントディスプレイ１００を図示しているが、後述する図２のように、複数台のヘッドマウントディスプレイ１００ａ〜１００ｎが情報処理装置３００に接続されていてもよい。

なお、以降の説明において、ヘッドマウントディスプレイ１００ａ〜１００ｎを特に区別せず説明する場合は、単に「ヘッドマウントディスプレイ１００」と呼ぶ。同様に、医療用装置５０１〜５０ｎを特に区別せず説明する場合は、単に「医療用装置５００」と呼ぶ。

医療用装置５０１〜５０ｎは、医療用途で使用される種々の装置である。医療用装置５０１〜５０ｎの例としては、例えば、室内外の静止画および動画を撮影するための可視光カメラ、術部の静止画および動画を撮影するための可視光カメラ、心電図検査装置、手術用タイマー、生体モニター、心拍数計、脈拍計、血圧計、超音波検査装置、パルスオキシメーター、血糖値計、ＣＴ（Computed Tomography、コンピューター断層撮影）画像撮影装置、ＭＲＩ（Magnetic Resonance Imaging、核磁気共鳴画像法）画像撮影装置、レントゲン（Ｘ線）画像撮影装置、透視画像撮影装置、内視鏡画像、サーモグラフィー画像撮影装置等を使用することができる。

Ａ−２．情報処理装置の構成：
図２は、情報処理装置３００の構成を機能的に示すブロック図である。情報処理装置３００は、第１の入出力部３１０と、ＲＯＭ３２０と、ＲＡＭ３３０と、通信インターフェイス３４０と、ＣＰＵ３５０と、外部記憶装置３８０とを備え、各部はバスにより相互に接続されている。

取得部としての第１の入出力部３１０は、複数の第１の入出力部３１１〜３１ｎを備えている。第１の入出力部３１１〜３１ｎは、例えば、ＵＳＢ（Universal Serial Bus）、ＨＤＭＩ（High Definition Multimedia Interface（登録商標））、ＤＶＩ（Digital Visual Interface）、ＶＧＡ（Video Graphics Array）、コンポジット、ＲＳ−２３２Ｃ（Recommended Standard 232）、赤外線、近距離無線通信（例えばＢｌｕｅｔｏｏｔｈ（登録商標））、無線ＬＡＮ（例えばＩＥＥＥ８０２．１１）、有線ＬＡＮ（例えばＩＥＥＥ８０２．３）などの通信規格に準拠した入出力インターフェイスである。第１の入出力部３１１〜３１ｎは、接続されている医療用装置５０１〜５０ｎから入力される情報をそれぞれ取得する。医療用装置から入力される情報とは、医療用装置により測定または撮像等された情報である。以降では「医療用装置情報」とも呼ぶ。

本実施形態では、第１の入出力部３１１はＤＶＩに準拠し、第１の入出力部３１２はＨＤＭＩに準拠し、第１の入出力部３１３はＨＤＭＩに準拠し、第１の入出力部３１ｎは無線ＬＡＮに準拠した入出力インターフェイスである。図２において、第１の入出力部３１１には、医療用装置５０１と固定式のディスプレイ７００とが接続されている。同様に、第１の入出力部３１２には医療用装置５０２が、第１の入出力部３１３には医療用装置５０３が、第１の入出力部３１ｎには医療用装置５０ｎが、それぞれ接続されている。このように、第１の入出力部３１０は、異なる種類の通信規格に準拠した第１の入出力部３１１〜３１ｎにより構成されている。このため、第１の入出力部３１０には、様々な通信規格に準拠した医療用装置を接続することが可能となり、情報処理装置３００の汎用性を向上させることができる。なお、第１の入出力部３１０は、入力された信号を、例えばディスプレイ７００等の表示装置に対してそのまま出力することもできる。

通信インターフェイス（Ｉ／Ｆ）３４０は、有線ＬＡＮのインターフェイスである。通信インターフェイス３４０は、インターネットＩＮＴの回線を通じて、外部の施設の医師ＰＲと情報処理装置３００とを通信可能に接続するほか、イントラネットを通じて院内ＬＡＮに接続されているデータベースＯＤと情報処理装置３００とを通信可能に接続する。医師ＰＲは、例えば、情報処理装置３００に接続されているヘッドマウントディスプレイ１００の使用者の指導に当たる医師や、外部の専門医等が想定される。データベースＯＤには、手術等の処置の手順を表す手順情報、電子カルテシステム、電子化された学術書等が記憶されている。

ＣＰＵ３５０は、ＲＯＭ３２０に格納されているコンピュータープログラムをＲＡＭ３３０に展開して実行することにより、情報処理装置３００を制御する。また、ＣＰＵ３５０は、生成部３６０、第２の入出力部３７０の機能を実現する。生成部３６０は、後述の提示用情報生成処理を実行することで、ヘッドマウントディスプレイ１００へ表示させるための提示用情報を生成する。本実施形態の生成部３６０は、提示用情報生成処理における処理のモードとして、以下に示す２つのモードを有する。
（１）共通の提示用情報を生成する第１のモード
（２）ヘッドマウントディスプレイ１００ａ〜１００ｎにそれぞれ対応する複数の提示用情報を生成する第２のモード

提供部としての第２の入出力部３７０は、複数の第２の入出力部３７１〜３７ｎを備えている。第２の入出力部３７１〜３７ｎは、第１の入出力部３１０と同様に、様々な通信規格に準拠した入出力インターフェイスである。詳細は第１の入出力部３１０と同様であるため説明を省略する。

本実施形態では、第２の入出力部３７１と第２の入出力部３７２とは無線ＬＡＮに準拠し、第２の入出力部３７３はＵＳＢに準拠し、第２の入出力部３７ｎはＤＶＩに準拠した入出力インターフェイスである。図２において、第２の入出力部３７１には、画像表示装置としてのヘッドマウントディスプレイ１００ａが接続されている。同様に、第２の入出力部３７２にはヘッドマウントディスプレイ１００ｂが、第２の入出力部３７３にはヘッドマウントディスプレイ１００ｃが、第２の入出力部３７ｎにはヘッドマウントディスプレイ１００ｎが、それぞれ接続されている。このように、第２の入出力部３７０は、異なる種類の通信規格に準拠した第２の入出力部３７１〜３７ｎにより構成されている。このため、第２の入出力部３７０には、様々な通信規格に準拠したヘッドマウントディスプレイを接続することが可能となり、情報処理装置３００の汎用性を向上させることができる。

外部記憶装置３８０は、図示しないＲＯＭ、ＲＡＭ、ＤＲＡＭ、ハードディスク、フラッシュメモリー等によって構成されている。外部記憶装置３８０は、共通映像仕様３８１と、管理テーブル３８２と、不可視情報記憶部としての不可視情報３８３と、手術の記録３８４と、動作モード３８５とを含む。

図３は、共通映像仕様３８１の一例を示す説明図である。共通映像仕様３８１は、提示用情報の映像信号についての、標準的な仕様を規定するためのテーブルである。共通映像仕様３８１は、提示用情報生成処理において、生成部３６０が提示用情報を生成する際に使用される。

本実施形態の共通映像仕様３８１には、映像信号の仕様として、映像信号に含まれる画像の画素数と、縦横比と、解像度と、圧縮方法と、符号化方法とが含まれている。共通映像仕様３８１は、予め定められて外部記憶装置３８０内に記憶されている。共通映像仕様３８１を定める際は、第２の入出力部３７０に接続されているヘッドマウントディスプレイ１００ａ〜１００ｎにおいて採用されている映像信号の仕様を考慮することが好ましい。

図４は、管理テーブル３８２の一例を示す説明図である。役割記憶部および装置間関係記憶部としての管理テーブル３８２は、第２の入出力部３７０に接続されているヘッドマウントディスプレイ１００の情報を管理するため、より具体的には、第２の入出力部３７１〜３７ｎにそれぞれ接続されているヘッドマウントディスプレイ１００ａ〜１００ｎの情報を管理するためのテーブルである。管理テーブル３８２は、提示用情報生成処理において生成部３６０が提示用情報を生成する際に使用されるほか、第２の入出力部３７１〜３７ｎがヘッドマウントディスプレイ１００ａ〜１００ｎに対して提示用情報を送信する際にも使用される。

本実施形態の管理テーブル３８２は、識別子と、装置間関係と、役割と、映像仕様とが関連付けられて記憶されている。「識別子」には、第２の入出力部３７０に接続されているヘッドマウントディスプレイ１００を相互に識別するための一意な識別子が格納されている。「装置間関係」には、第２の入出力部３７０に接続されている複数のヘッドマウントディスプレイ１００ａ〜１００ｎの主従関係を表す文字列が格納されている。本実施形態では、１台のヘッドマウントディスプレイ１００を主（マスタ）とし、他のヘッドマウントディスプレイ１００を従（スレーブ）とする。「役割」には、識別子によって識別されるヘッドマウントディスプレイ１００の使用者が、医療の現場においてどのような役割を担っているかを表す文字列が格納されている。「映像仕様」には、識別子によって識別されるヘッドマウントディスプレイ１００における映像信号の仕様（映像信号に含まれる画像の画素数、縦横比、解像度、圧縮方法、符号化方法等）のパターンを表す文字列が格納されている。

図４の例では、識別子「１」により識別されるヘッドマウントディスプレイ１００の使用者は「執刀医」であり、当該ヘッドマウントディスプレイ１００の映像仕様は「仕様Ａ」であることがわかる（エントリＥ０１）。同様に、識別子「ｎ」により識別されるヘッドマウントディスプレイ１００の使用者は「看護師」であり、当該ヘッドマウントディスプレイ１００の映像仕様は「仕様Ｅ」であることがわかる（エントリＥ０ｎ）。また、図４の例では、識別子「１」により識別されるヘッドマウントディスプレイ１００がマスタであり、他の識別子により識別されるヘッドマウントディスプレイ１００はスレーブであることがわかる（エントリＥ０１〜Ｅ０ｎ）。

管理テーブル３８２は、予め定められて外部記憶装置３８０に記憶されていてもよいし、情報処理装置３００に対してヘッドマウントディスプレイ１００が接続された際に、初期処理として自動的に生成されもよい。具体的には、例えば、生成部３６０は、第２の入出力部３７０に対するヘッドマウントディスプレイ１００の接続を検出した際に、当該ヘッドマウントディスプレイ１００に対して一意な識別子を付与すると共に、ヘッドマウントディスプレイ１００から、主従（マスタ／スレーブ）の指定と、使用者の役割と、映像仕様とを取得する。生成部３６０は、付与した識別子と、主従の指定と、取得した役割と、映像仕様とを管理テーブル３８２に格納する。第２の入出力部３７０に対してヘッドマウントディスプレイ１００ａ〜１００ｎが接続される度に、上記のような初期処理を行うことによって、生成部３６０は管理テーブル３８２を自動的に生成することができる。

管理テーブル３８２のうちの「装置間関係」は、上述のように、ヘッドマウントディスプレイ１００から取得するほか、例えば、以下のような方法で決定されてもよい。
・ヘッドマウントディスプレイ１００から取得した役割に応じて決定する。例えば、生成部３６０は、執刀医のヘッドマウントディスプレイ１００をマスタとして、執刀医以外のヘッドマウントディスプレイ１００をスレーブとする。
・ヘッドマウントディスプレイ１００の現在位置情報を取得し、各ヘッドマウントディスプレイの位置関係に応じて決定する。例えば、生成部３６０は、ヘッドマウントディスプレイ１００の現在位置情報を取得し、手術台の中央に最も近接した位置にあるヘッドマウントディスプレイ１００をマスタとして、他のヘッドマウントディスプレイ１００をスレーブとする。
・ヘッドマウントディスプレイ１００のハードウェア、ソフトウェア構成の相違に基づいて決定する。例えば、生成部３６０は、ヘッドマウントディスプレイ１００の型番を取得し、特定の型番のヘッドマウントディスプレイ１００をマスタとして、他のヘッドマウントディスプレイ１００をスレーブとする。

管理テーブル３８２のうちの「役割」は、上述のように、ヘッドマウントディスプレイ１００から取得するほか、例えば、以下のような方法で決定されてもよい。
・ヘッドマウントディスプレイ１００の現在位置情報に基づいて決定する。例えば、情報処理装置３００の外部記憶装置３８０には、予め、手術室内における設備（手術台、医療用装置５００）のレイアウトと、手術室内における役割ごとのスタッフの立ち位置のレイアウトと、を含むレイアウト情報を記憶しておく。そして、生成部３６０は、ヘッドマウントディスプレイ１００の現在位置情報を取得し、取得した現在位置情報をレイアウト情報と照合することで、当該ヘッドマウントディスプレイ１００の使用者の役割を決定する。
・ヘッドマウントディスプレイ１００の使用者の視界方向の画像（外景画像）に基づいて決定する。生成部３６０は、ヘッドマウントディスプレイ１００から外景画像を取得し、外景画像を画像認識することで、使用者が視認している医療用装置５００の種類、手術室内の設備の種類、患者の体の部分等を特定する。生成部３６０は、特定したこれらの情報に応じて、当該ヘッドマウントディスプレイ１００の使用者の役割を決定する。

図２の不可視情報３８３（不可視情報記憶部）には、物体の外観に現れない情報である不可視情報が記憶されている。不可視情報は、物体の構造を表した画像や文字情報であり、物体が生体である場合、例えば、ＣＴ画像、ＭＲＩ画像、レントゲン（Ｘ線）画像、透視画像、超音波診断画像、内視鏡画像、サーモグラフィー画像、および、これらに付随する文字情報である。不可視情報は、予め撮影されて、不可視情報３８３に記憶されている。

図２の手術の記録３８４は、情報処理装置３００が取得した医療用装置情報と、情報処理装置３００が生成した提示用情報と、取得または生成の日時と、を対応付けて記録するための記録部である。情報処理装置３００が取得した医療用装置情報とは、情報処理装置３００が、第１の入出力部３１１〜３１ｎにそれぞれ接続されている複数の医療用装置５０１〜５０ｎから取得した医療用装置情報を意味する。また、情報処理装置３００が生成した提示用情報とは、提示用情報生成処理において、生成部３６０が生成したすべての提示用情報を意味する。情報処理装置３００が取得、生成した情報の記録は、手術（診察、処置、治療）のログとほぼ同視することができる。従って、このようにすれば、手術等が終了した後において、手術のログを、手術内容の分析、研修、学術等に利用することができる。

図２の動作モード３８５には、生成部３６０の提示用情報生成処理における処理のモード（すなわち、生成部３６０の動作モード）が記憶されている。動作モード３８５の内容は、情報処理装置３００が備える図示しない入力デバイスにより変更可能である。また、ヘッドマウントディスプレイ１００からの変更指示によっても変更可能である。

Ａ−３．頭部装着型表示装置の構成：
図５は、ヘッドマウントディスプレイ１００ａの構成を機能的に示すブロック図である。以降では、ヘッドマウントディスプレイ１００の構成の一例としてヘッドマウントディスプレイ１００ａを例示して説明する。ヘッドマウントディスプレイ１００ａは、使用者が、虚像を視認すると同時に外景も直接視認可能な光学透過型の頭部装着型表示装置であって、情報処理装置３００から取得した提示用情報を虚像として表示する。ヘッドマウントディスプレイ１００ａは、使用者の頭部に装着された状態において使用者に虚像を視認させる画像表示部２０と、画像表示部２０を制御する制御部１０とを備えている。画像表示部２０と制御部１０とは、ケーブル４０を介して各種信号の伝送を行う。

Ａ−３−１．制御部の構成：
制御部１０は、例えばタッチパッド、十字キー、フットスイッチ、ジェスチャー、マイクロホン等の入力デバイスに対する操作入力を取得する入力情報取得部１１０と、ＲＯＭやハードディスク等により構成される記憶部１２０と、ヘッドマウントディスプレイ１００ａの各部に電力を供給する電源１３０と、無線ＬＡＮやＢｌｕｅｔｏｏｔｈ等の所定の無線通信規格に則って他の機器との間で無線通信を行う無線通信部１３２と、現在位置取得部１３４と、ＣＰＵ１４０と、情報処理装置３００や種々の外部機器ＯＡを接続するためのインターフェイス１８０と、送信部（Ｔｘ）５１、５２とを備え、各部は図示しないバスにより相互に接続されている。現在位置取得部１３４は、ＧＰＳ衛星からの信号を受信することにより、ヘッドマウントディスプレイ１００ａの使用者の現在位置を検出し、使用者の現在位置を表す現在位置情報を生成する。なお、現在位置取得部１３４は、複数の基地局の電波を受信し、受信した電波の強弱を判定することによって現在位置情報を生成してもよい。現在位置情報は、例えば緯度経度を表す座標によって実現することができる。インターフェイス１８０は、情報処理装置３００の第１の入出力部３１０と同様に、様々な通信規格に準拠することができる。

ＣＰＵ１４０は、記憶部１２０に格納されているコンピュータープログラムを読み出して実行することにより、オペレーティングシステム（ОＳ）１５０、画像処理部１６０、音声信号を右イヤホン３２のスピーカーと左イヤホン３４のスピーカーとに対して供給する音声処理部１７０、表示制御部１９０として機能する。画像処理部１６０は、提示用情報取得部としてのインターフェイス１８０や無線通信部１３２を介して入力される提示用情報の映像信号に基づいて信号を生成する。そして、画像処理部１６０は、生成した信号を、送信部５１、５２と、ケーブル４０とを介して画像表示部２０に供給することで、画像表示部２０における表示を制御する。画像表示部２０に供給するための信号は、周知のアナログ形式やディジタル形式を用いることができる。表示制御部１９０は、画像表示部２０の右表示駆動部２２および左表示駆動部２４を制御する制御信号を生成し、送信部５１、５２を介して送信する。制御信号とは、右ＬＣＤ制御部２１１による右ＬＣＤ２４１の駆動ＯＮ／ＯＦＦ、右バックライト制御部２０１による右バックライト２２１の駆動ＯＮ／ＯＦＦ、左ＬＣＤ制御部２１２による左ＬＣＤ２４２の駆動ＯＮ／ＯＦＦ、左バックライト制御部２０２による左バックライト２２２の駆動ＯＮ／ＯＦＦを個別に切り替えるための信号である。

Ａ−３−２．画像表示部の構成：
画像表示部２０は、使用者の頭部に装着される装着体であり、本実施形態では眼鏡形状を有している。画像表示部２０は、画像を表す画像光を生成し射出する右表示駆動部２２および左表示駆動部２４と、画像光を使用者の両眼へ導く右光学像表示部２６および左光学像表示部２８（図２）と、画像取得部としてのカメラ６１と、９軸センサー６６とを含む。

右表示駆動部２２は、受信部（Ｒｘ）５３と、光源として機能する右バックライト（ＢＬ）制御部２０１および右バックライト（ＢＬ）２２１と、表示素子として機能する右ＬＣＤ（Liquid Crystal Display）制御部２１１および右ＬＣＤ２４１と、右投写光学系２５１とを含む。右バックライト制御部２０１は、受信部５３を介して入力された制御信号に基づいて、右バックライト２２１を駆動する。右バックライト２２１は、例えば、ＬＥＤやエレクトロルミネセンス（ＥＬ）等の発光体である。右ＬＣＤ制御部２１１は、入力された映像信号に基づいて右ＬＣＤ２４１を駆動する。右ＬＣＤ２４１は、複数の画素をマトリクス状に配置した透過型液晶パネルである。右ＬＣＤ２４１は、マトリクス状に配置された各画素位置の液晶を駆動することで、右ＬＣＤ２４１を透過する光の透過率を変化させ、右バックライト２２１から照射される照明光を、画像を表す有効な画像光へと変調する。右投写光学系２５１は、右ＬＣＤ２４１から射出された画像光を並行状態の光束にするコリメートレンズによって構成される。左表示駆動部２４は、右表示駆動部２２と同様の構成を有し、右表示駆動部２２と同様に動作する。

右光学像表示部２６と左光学像表示部２８とは、使用者が画像表示部２０を装着した際に使用者の左右の眼前に位置するように配置されている（図２）。右光学像表示部２６は、光透過性の樹脂材料等によって形成された右導光板２６１を含む。右導光板２６１は、右表示駆動部２２から出力された画像光を、所定の光路に沿って反射させつつ使用者の右眼ＲＥへ導く。右導光板２６１には、回折格子を用いても良いし半透過反射膜を用いても良い。左光学像表示部２８は、右光学像表示部２６と同様の構成を有し、右光学像表示部２６と同様に動作する。このようにして、ヘッドマウントディスプレイ１００ａの使用者の両眼に導かれた画像光が使用者の網膜に結像することにより、使用者は虚像を視認することができる。本実施形態のヘッドマウントディスプレイ１００ａの使用者は、視野のうち虚像が表示された部分については、虚像と、虚像の背後の外景とを同時に見ることができる。また、視野のうち虚像が表示されていない部分については、左右の光学像表示部２６、２８を透過して、外景を直接見ることができる。

９軸センサー６６は、加速度（３軸）、角速度（３軸）、地磁気（３軸）を検出するモーションセンサーである。９軸センサー６６は、画像表示部２０が使用者の頭部に装着されているときには、ヘッドマウントディスプレイ１００ａの使用者の頭部の動きを検出する動き検出部として機能する。ここで、頭部の動きとは、頭部の速度・加速度・角速度・向き・向きの変化を含む。なお、頭部の向きを「方位情報」とも呼ぶ。視界画像取得部としてのカメラ６１は、使用者が画像表示部２０を装着した際の使用者の眉間に対応する位置に配置されている。カメラ６１は、画像表示部２０の表側方向、換言すれば、ヘッドマウントディスプレイ１００ａを装着した状態における使用者の視界方向の外景（外部の景色）を撮像し、外景画像を取得する。カメラ６１はいわゆる可視光カメラである。本実施形態におけるカメラ６１は単眼カメラであるが、ステレオカメラを採用してもよい。

Ａ−４．提示用情報生成処理：
図６は、提示用情報生成処理の手順を示すフローチャートである。提示用情報生成処理は、ヘッドマウントディスプレイ１００へ表示させるための提示用情報を生成する処理であり、情報処理装置３００（図２）の生成部３６０が実行する。提示用情報生成処理は、共通の提示用情報を生成する第１のモードと、ヘッドマウントディスプレイ１００ａ〜１００ｎにそれぞれ対応する複数の提示用情報を生成する第２のモードと、に分かれている。また、第２のモードにおいて実行される処理は、ステップＳ１２０〜Ｓ１３４から構成される初期処理と、ステップＳ１３６〜Ｓ１４２から構成される個別処理とに大別できる。

生成部３６０は、動作モード３８５に記憶されている内容を参照することで、生成部３６０の動作モードを確認する（ステップＳ１００）。

Ａ−４−１．第１のモード：
動作モードが「第１のモード」である場合（ステップＳ１００：第１のモード）、生成部３６０は、管理テーブル３８２から、マスタであるヘッドマウントディスプレイ１００を検索する（ステップＳ１１０）。具体的には、生成部３６０は、管理テーブル３８２を参照し、「装置間関係」にマスタと記憶されているエントリを検索し、検索されたエントリの「識別子」を取得する。

生成部３６０は、マスタであるヘッドマウントディスプレイ１００から情報源の選択要求を取得する（ステップＳ１１２）。具体的には、生成部３６０は、ステップＳ１１０において取得した識別子を有するヘッドマウントディスプレイ１００に対して、情報源の選択要求を送信するよう要求する。ここで、情報源の選択要求とは、例えば以下ａ１〜ａ６に列挙するような要求を意味する。
（ａ１）医療用装置５００によって取得された医療用装置情報の閲覧要求
（ａ２）外部の施設の医師ＰＲとの通話要求
（ａ３）院内データベースＯＤに記録されているデーターの閲覧要求
（ａ４）不可視情報３８３に記録されているデーターの閲覧要求
（ａ５）手術の記録３８４に記録されているデーターの閲覧要求
（ａ６）ヘッドマウントディスプレイ１００の使用者による表示部の視認が困難な医療用装置５００の医療用装置情報の閲覧要求

要求ａ１の場合の情報源は医療用装置５００である。同様に、要求ａ２の場合の情報源は医師ＰＲであり、要求ａ３の場合の情報源はデータベースＯＤであり、要求ａ４の場合の情報源は不可視情報３８３であり、要求ａ５の場合の情報源は手術の記録３８４であり、要求ａ６の場合の情報源は使用者による表示部の視認が困難な医療用装置５００である。ここで、「使用者による表示部の視認が困難な医療用装置５００」とは、例えば、以下のような医療用装置５００の総称である。
・医療用装置５００が使用者の死角にあるために、使用者から表示部（ディスプレイ等）が視認できない、または視認しづらい医療用装置５００。
・医療用装置５００が使用者から離れた場所にあるために、使用者から表示部が視認できない、または視認しづらい医療用装置５００。
・医療用装置５００は使用者の死角でなく、かつ、使用者から近い場所にあるものの、使用者の視線と表示部とが対向していないために、使用者から表示部が視認できない、または視認しづらい医療用装置５００。

上記の要求ａ１〜ａ６は、単独で発行されてもよいし、組み合わせられてもよい。ただし、本実施形態においては、情報源の取得要求には、少なくとも要求ａ１が含まれるものとする。情報源の選択要求は、ヘッドマウントディスプレイ１００の使用者の操作に応じて適宜発行される。

ヘッドマウントディスプレイ１００は、例えば、以下の手順ｂ１〜ｂ５によって、情報処理装置３００に対して情報源の選択要求を送信することができる。
（ｂ１）ヘッドマウントディスプレイ１００の使用者は、ヘッドマウントディスプレイ１００の入力デバイス（タッチパッド、十字キー、フットスイッチ、ジェスチャー、マイクロホン等）を介して、希望する情報源と、情報源内の情報を特定するための情報と、を入力する。入力方法として、マイクロホンを介した音声入力を採用すれば、使用者が手を用いて操作することが困難な医療の現場においてヘッドマウントディスプレイ１００が使用される場合の、使用者の利便性を大きく向上させることができる。なお、要求ａ１、ａ６の場合、「情報源内の情報を特定するための情報」は入力不要である。
（ｂ２）ヘッドマウントディスプレイ１００の入力情報取得部１１０は、使用者の操作入力に応じた信号を取得し、ＯＳ１５０へ送信する。
（ｂ３）ヘッドマウントディスプレイ１００のＯＳ１５０は、情報源の選択要求を生成する。具体的には、要求ａ１の場合、ＯＳ１５０は、ヘッドマウントディスプレイ１００の識別子と、手順ｂ１で指定された情報源を特定するための識別子と、を含んだ情報源の選択要求を生成する。要求ａ２〜ａ５の場合、ＯＳ１５０は、ヘッドマウントディスプレイ１００の識別子と、手順ｂ１で指定された情報源を特定するための識別子と、情報源内の情報を特定するための情報と、を含んだ情報源の選択要求を生成する。要求ａ６の場合、ＯＳ１５０は、ヘッドマウントディスプレイ１００の識別子と、ヘッドマウントディスプレイ１００の現在位置情報と、方位情報と、を含んだ情報源の選択要求を生成する。なお、この現在位置情報および方位情報は、要求ａ６の「使用者による表示部の視認が困難な医療用装置５００」を特定するために用いられる。
（ｂ４）ヘッドマウントディスプレイ１００のＯＳ１５０は、インターフェイス１８０や無線通信部１３２を介して接続されている情報処理装置３００に対して、手順ｂ３で生成した情報源の選択要求を送信する。
（ｂ５）情報処理装置３００の第２の入出力部３７０は、生成部３６０に対して、受信した情報源の選択要求を送信する。

提示用情報生成処理（図６）のステップＳ１１４において、生成部３６０は、情報源の選択要求に含まれる、情報源を特定するための情報と、情報源内の情報を特定するための情報と、を取得する。さらに、生成部３６０は、情報源を特定するための情報として、現在位置情報および方位情報が挿入されている場合は、当該現在位置情報と方位情報とを、他の全ての医療用装置５００から取得した位置情報と比較して、「使用者による表示部の視認が困難な医療用装置５００」を特定する。なお、ステップＳ１１４において生成部３６０は、現在位置情報および方位情報に対してさらに、ヘッドマウントディスプレイ１００の９軸センサー６６により得られた使用者の頭部の動き（頭部の速度・加速度・角速度・向き・向きの変化）を組み合わせて、「使用者による表示部の視認が困難な医療用装置５００」を特定してもよい。

生成部３６０は、指定（特定）された情報源にアクセスして、指定された情報を取得する。そして、生成部３６０は、取得した情報を用いて、第２の入出力部３７０に接続されている全てのヘッドマウントディスプレイ１００に提供するための、共通の提示用情報を生成する。この共通の提示用情報を「提示用情報ＰＮ＊」とも呼ぶ。生成部３６０は、生成した提示用情報ＰＮ＊を手術の記録３８４に記憶させる（ステップＳ１１６）。

図７は、提示用情報の生成方法について説明するための説明図である。ステップＳ１１６により取得された情報が単数である場合、生成部３６０は、取得された情報ＣＰ１に含まれる画像を、共通映像仕様３８１に規定されている映像信号の仕様に沿って変換することによって、提示用情報ＰＮを生成する（図７（Ａ））。生成部３６０は、この変換にあたって、特に、取得された情報ＣＰ１に含まれる画像の縦横比と、共通映像仕様３８１に規定されている画像の縦横比とが異なる場合、取得された情報ＣＰ１に含まれる画像の縦横比を維持したまま、画像を拡大または縮小する。すると、提示用情報ＰＮの縦方向または横方向に画像のない余白部分（図において斜線で表す）が生じる。

生成部３６０は、余白部分に関して、以下のｃ１、ｃ２のいずれかの手順を実行する。これにより、余白部分がヘッドマウントディスプレイ１００において虚像として表示されて、使用者の視界を遮ることを抑制することができる。
（ｃ１）生成部３６０は、提示用情報ＰＮの余白部分に対して黒色のダミードットデーターを挿入する。
（ｃ２）生成部３６０は、提示用情報ＰＮの余白部分に対して、ヘッドマウントディスプレイ１００の右表示駆動部２２および左表示駆動部２４における画像光生成の有効／無効を切り替えるための信号（Ｅｎａｂｌｅ信号）をＬｏ値（無効を示す値）とする。

このようにすれば、提示用情報ＰＮに含まれる画像の縦横比が変わることがない。情報処理装置３００が使用される医療の現場における画像（例えば、術部の静止画および動画、ＣＴ画像、ＭＲＩ画像、レントゲン画像等）は、使用者が視認する画像の実寸感覚が損なわれないように、医療用装置５００において撮影された画像の縦横比を厳密に維持することが好ましい。その点、ステップＳ１１６により取得された情報ＣＰ１に含まれる画像の縦横比を維持することとすれば、情報源が医療用装置５００である場合に、医療用装置５００により測定または撮像等された医療用装置情報に予期しない歪みが生じることを抑制できる。なお、図７（Ｂ）は、取得された情報ＣＰ１に含まれる画像の縦横比を維持せず、共通映像仕様３８１に規定されている画像の縦横比に合わせて拡大した結果、情報に歪みが生じた提示用情報ＰＮｘを表している。

図８は、提示用情報の生成方法について説明するための説明図である。ステップＳ１１６により取得された情報が複数である場合、生成部３６０は、取得された全ての情報（図１０の例では、医療用装置情報ＣＰ２、ＣＰ３）に含まれる画像が配置された第１の画像を生成する。この際も、生成部３６０は、取得された情報に含まれる画像の縦横比を維持する。また、取得された情報に含まれる画像は、第１の画像の端部に配置されることが好ましい。生成部３６０は、生成した第１の画像を、共通映像仕様３８１に規定されている映像信号の仕様に沿って変換することによって、提示用情報ＰＮを生成する（図８）。なお、生成部３６０は、第１の画像のうち、画像が配置されていない余白部分（図において斜線で表す）について、上述した方法ｃ１またはｃ２のいずれかの手順を実行する。これにより、余白部分がヘッドマウントディスプレイ１００において虚像として表示されて、使用者の視界を遮ることを抑制することができる。

図９は、提示用情報の第１の例を示す説明図である。図９（Ａ）は、情報源の選択要求において、不可視情報３８３に記憶されている患者のレントゲン画像（ＣＰ４）が指定された場合に、生成部３６０によって生成される提示用情報ＰＮの一例である。なお、情報源の選択要求において、不可視情報を取得することが可能な医療用装置５００（レントゲン画像撮影装置）が指定された場合にも、図９（Ａ）と同様の提示用情報が生成される。

図９（Ｂ）は、情報源の選択要求において、医療用装置５００としての手術用タイマーと、医療用装置５００としての脈拍計と、医療用装置５００としての生体モニターと、が指定された場合に、生成部３６０によって生成される提示用情報ＰＮの一例である。提示用情報ＰＮの各端部には、手術用タイマーから取得された現在時刻ＣＰ５および手術開始からの経過時間ＣＰ７と、脈拍計から取得された脈拍の画像ＣＰ６と、生体モニターから取得された心拍数（ＨＲ）と、血圧（ＳＹＳ／ＤＩＡ）と、動脈血酸素飽和度（ＳｐＯ２）との画像ＣＰ８が配置されている。

図１０は、提示用情報の第２の例を示す説明図である。図１０（Ａ）は、情報源の選択要求において、院内データベースＯＤに記憶されている学術書（ＣＰ９）と、院内データベースＯＤに記憶されている手術の手順情報（ＣＰ１０）と、が指定された場合に、生成部３６０によって生成される提示用情報ＰＮの一例である。図１０（Ｂ）は、情報源の選択要求において、医療用装置５００としての術部の静止画および動画を撮影するための可視光カメラと、外部の施設の医師ＰＲとの通話と、が指定された場合に、生成部３６０によって生成される提示用情報ＰＮの一例である。

図１１は、提示用情報の第３の例を示す説明図である。図１１は、情報源の選択要求において、医療用装置５００としての生体モニターが指定された場合に、生成部３６０によって生成される提示用情報ＰＮの一例である。図１１に示す生体モニターは、第１の入出力部３１０に接続できるインターフェイスを備えていない。しかし、情報処理装置３００が可視光カメラを備える構成とした上で、可視光カメラが生体モニターの画面（ＣＰ１３）を撮影することとすれば、生成部３６０は、第１の入出力部３１０に接続できるインターフェイスを持たない医療用装置からの医療用装置情報を用いて、図１１のように、提示用情報ＰＮを生成することができる。

なお、提示用情報ＰＮの生成に際して、ヘッドマウントディスプレイ１００は、情報源の選択要求において、各情報源における情報の「配置」、「大きさ」、「透過度」等を直接的または間接的に指定してもよい。ここで「直接的に指定する」とは、ヘッドマウントディスプレイ１００が、各情報が配置される座標、大きさ、透過度を示す数値を指定することを意味する。また、「間接的に指定する」とは、例えば、ヘッドマウントディスプレイ１００が、外景を優先させる「外景優先モード」と、画像を優先させる「画像優先モード」等、予め用意された表示モードのうちから所望のモードを指定することを意味する。例えば、外景優先モードの場合、生成部３６０は、図８のように、情報を端部に小さく配置して、画面中央における使用者の視界を妨げない提示用情報ＰＮを生成する。画像優先モードの場合、生成部３６０は、図９（Ａ）のように、情報を画面中央に大きく配置した提示用情報ＰＮを生成する。

提示用情報生成処理（図６）のステップＳ１１８において、生成部３６０は、生成した提示用情報ＰＮ＊を、全ての第２の入出力部３７０（第２の入出力部３７１〜第２の入出力部３７ｎ）へ送信する。第２の入出力部３７１は、受信した提示用情報ＰＮ＊に含まれる画像を、ヘッドマウントディスプレイ１００ａの映像信号の仕様に沿って変換する。なお、この際に、第２の入出力部３７１は管理テーブル３８２の「映像仕様」を参照してもよい。映像仕様の変換後、第２の入出力部３７１は、ヘッドマウントディスプレイ１００ａに対して提示用情報ＰＮ＊を送信する。同様に、第２の入出力部３７２〜第２の入出力部３７ｎは、受信した提示用情報ＰＮ＊に含まれる画像を、ヘッドマウントディスプレイ１００ｂ〜１００ｎの映像信号の仕様に沿ってそれぞれ変換し、変換後の提示用情報ＰＮ＊を、ヘッドマウントディスプレイ１００ｂ〜１００ｎに対してそれぞれ送信する。

図１２は、複数のヘッドマウントディスプレイ１００ａと１００ｂとにおいて、提示用情報ＰＮ＊が虚像として表示されている様子を示す説明図である。第２の入出力部３７１から送信された提示用情報ＰＮ＊を、インターフェイス１８０または無線通信部１３２を介して受信したヘッドマウントディスプレイ１００ａでは、画像処理部１６０による上述の表示処理が行われる。この結果、ヘッドマウントディスプレイ１００ａの使用者の両眼に導かれた画像光が使用者の網膜に結像することにより、ヘッドマウントディスプレイ１００ａの使用者は、視野ＶＲに提示用情報ＰＮ＊の虚像ＶＩを視認することができる。また、使用者は、右光学像表示部２６および左光学像表示部２８を透過して、手術台に横たわる患者の様子を直接視認することができる（外景ＳＣ）。同様に、第２の入出力部３７２から送信された提示用情報ＰＮ＊を受信したヘッドマウントディスプレイ１００ｂでは、画像処理部１６０による上述の表示処理が行われ、ヘッドマウントディスプレイ１００ｂの使用者は、視野ＶＲに提示用情報ＰＮ＊の虚像ＶＩを視認することができる。図１２の例では、ヘッドマウントディスプレイ１００ａの使用者が視認する虚像ＶＩ（ＰＮ＊）と、ヘッドマウントディスプレイ１００ｂの使用者が視認する虚像ＶＩ（ＰＮ＊）とには、共に、術部の静止画および動画を撮影するための医療用装置５０２から取得された医療用装置情報ＣＰが表示されている。

図１３は、異なる位置にある複数のヘッドマウントディスプレイ１００ａと１００ｂとにおいて、提示用情報ＰＮ＊が虚像として表示されている様子を示す説明図である。情報処理装置３００の第２の入出力部３７０（第２の入出力部３７１〜第２の入出力部３７ｎ）は、図１３に示すように、提示用情報に含まれる画像の向きや大きさを、外景ＳＣに含まれる対象物体の向きや大きさと一致させるフィッティング処理を行ってもよい。対象物体とは、医療の現場においては、例えば患者の体や体の一部である。以降、第２の入出力部３７１を例示して、フィッティング処理について説明する。提示用情報生成処理（図６）のステップＳ１１８において、第２の入出力部３７１は、提示用情報ＰＮ＊に含まれる画像をヘッドマウントディスプレイ１００ａの映像信号の仕様に沿って変換した後、以下の手順ｄ１〜ｄ５に示す処理を行う。

（ｄ１）第２の入出力部３７１は、ヘッドマウントディスプレイ１００ａに対して、カメラ６１を用いた外景画像の撮像を指示し、撮像された外景画像を取得する。
（ｄ２）第２の入出力部３７１は、下記１、２のような画像認識の方法を用いて、外景画像に含まれる対象物体の特徴を抽出する。なお、方法１と２とは、組み合わせてもよい。
１．対象物体のエッジ（特徴）を検出する。
２．対象物体に予め付されたマーカー（特徴）を検出する。なお、物体に付すマーカーは種々の種類のマーカーを使用可能である。例えば、テープ、シール、マジック、レーザーマーカー、マジックテープ（登録商標）等を使用することができる。また、対象物体に付すマーカーの数は任意である。
（ｄ３）第２の入出力部３７１は、受信した提示用情報に含まれる画像を画像認識することで、対象物体の特徴を抽出する。この際、第２の入出力部３７１は、上記１、２と同様の画像認識の方法を使用することができる。

（ｄ４）第２の入出力部３７１は、手順ｄ２で抽出された外景画像の特徴と、手順ｄ３で抽出された提示用情報の特徴と、の位置が一致するように、提示用情報ＰＮ＊に含まれる画像ＣＰを補正する。具体的には、手順ｄ２、ｄ３において方法１を用いた場合、第２の入出力部３７１は、外景画像のエッジと、提示用情報のエッジとの、輪郭や特徴的な部位の位置が一致するように、提示用情報ＰＮ＊に含まれる画像ＣＰに対して、拡大、縮小、回転、反転、トリミング、歪みの付与、ノイズの除去の少なくともいずれかの加工を行う。ここで、特徴的な部位とは、対象物体が生体である場合、切開された皮膚の輪郭、内蔵の輪郭、関節、四肢の先端、血管、骨等である。一方、手順ｄ２、ｄ３において方法２を用いた場合、第２の入出力部３７１は、外景画像のマーカーと、提示用情報のマーカーと、の位置が一致するように、提示用情報ＰＮ＊に含まれる画像ＣＰに対して、拡大、縮小、回転、反転、トリミング、歪みの付与、ノイズの除去の少なくともいずれかの加工を行う。

このようにすれば、第２の入出力部３７０（第２の入出力部３７１〜第２の入出力部３７ｎ）は、ヘッドマウントディスプレイ１００（頭部装着型表示装置）の使用者の視界方向の画像を画像認識することで外景に含まれる物体の特徴を抽出し、抽出した特徴に基づいて、生成部３６０により生成された提示用情報を補正する。このため、提示用情報に、例えばＣＴ画像、ＭＲＩ画像、レントゲン画像等の不可視情報が含まれる場合において、外景に含まれる物体（例えば、患者の体等）に不可視情報を一致させることができる。この結果、ヘッドマウントディスプレイ１００の使用者の利便性を向上させることができる。また、上記のフィッティング処理は、特定のヘッドマウントディスプレイ１００に接続されている第２の入出力部３７０において実行されるため、他のヘッドマウントディスプレイ１００に接続されている第２の入出力部３７０に対して処理負荷をかけることがない。さらに、ヘッドマウントディスプレイ１００は、フィッティング処理が施された後の提示用情報を受信することができるため、ヘッドマウントディスプレイ１００の画像処理部１６０は、受信した提示用情報をそのまま表示すればよい。この結果、ヘッドマウントディスプレイ１００の構成をシンプルにすることができる。

以上のように、生成部３６０の動作モードが「第１のモード」である場合、生成部３６０は、管理テーブル３８２の装置間関係が「マスタ」であるヘッドマウントディスプレイ１００（すなわち、特定の画像表示装置）の使用者によって選択された医療用装置情報を少なくとも含む、共通の提示用情報ＰＮ＊を生成する。第２の入出力部３７０（提供部）は、第２の入出力部３７１〜３７ｎにそれぞれ接続されている複数のヘッドマウントディスプレイ１００ａ〜１００ｎ（画像表示装置）に対して、生成された共通の提示用情報ＰＮ＊をそれぞれ出力する。この結果、情報処理装置３００は、複数のヘッドマウントディスプレイ１００ａ〜１００ｎにおける表示を、特定のヘッドマウントディスプレイ１００の使用者の選択に基づいて制御することが可能となる。

Ａ−４−２．第２のモード（初期処理）：
提示用情報生成処理（図６）のステップＳ１００において、動作モードが「第２のモード」である場合（ステップＳ１００：第２のモード）、生成部３６０は、提示用情報生成処理において使用する変数ｉに「１」をセットする（ステップＳ１２０）。その後、生成部３６０は、管理テーブル３８２のｉ番目のエントリを参照する（ステップＳ１２２）。生成部３６０は、管理テーブル３８２のｉ番目のエントリに格納されている「識別子」と、「役割」とを取得する（ステップＳ１２４）。

なお、以降では、ステップＳ１２４において取得した識別子を有するヘッドマウントディスプレイ１００を「ヘッドマウントディスプレイ１００ｉ」とも呼ぶ。ヘッドマウントディスプレイ１００ｉは、初期処理において、現在処理中であるヘッドマウントディスプレイ１００を指している。例えば、変数ｉ＝１である場合、ヘッドマウントディスプレイ１００ｉは、管理テーブル３８２の１番目のエントリＥ０１に格納されている、識別子が１である執刀医のヘッドマウントディスプレイ１００ａを指す。

提示用情報生成処理（図６）のステップＳ１２６において、生成部３６０は、ヘッドマウントディスプレイ１００ｉの使用者の役割に応じた医療用装置５００を特定する。具体的には、生成部３６０は、ステップＳ１２４で取得した「役割」を用いて、当該役割を遂行するにあたって、ヘッドマウントディスプレイ１００ｉの使用者がチェックすべき医療用装置５００を特定する。これは、医療の現場での慣例に従って特定される。例えば、役割が執刀医であれば、ＣＴ画像やレントゲン画像等の不可視情報を取得する装置が医療用装置５００として特定され、役割が麻酔科医であれば、血圧計、心電図、気道内圧計、換気量計、カプノグラム、パルスオキシメーターが医療用装置５００として特定される。なお、情報処理装置３００は、役割と、役割に応じて必要な医療用装置５００とを関連付けたテーブルを、予め外部記憶装置３８０に記憶していてもよい。

医療用装置５００を特定後、ステップＳ１２８において生成部３６０は、第１の入出力部３１１〜３１ｎが取得した医療用装置５０１〜５０ｎの医療用装置情報のうち、ステップＳ１２６で特定された医療用装置５００から取得した医療用装置情報を用いて、ヘッドマウントディスプレイ１００ｉへ送信するための提示用情報ＰＮｉを生成する。なお、生成部３６０が提示用情報を生成する方法は、図７および図８で説明した通りである。その後、生成部３６０は、生成した提示用情報ＰＮｉを手術の記録３８４に記憶させる。

ステップＳ１３０において、生成部３６０は、ステップＳ１２４で生成した提示用情報ＰＮｉを、ヘッドマウントディスプレイ１００ｉが接続されている第２の入出力部３７０ｉへ送信する。第２の入出力部３７０ｉは、受信した提示用情報ＰＮｉに含まれる画像を、ヘッドマウントディスプレイ１００ｉの映像信号の仕様に沿って変換する。また、この際、第２の入出力部３７０ｉは、フィッティング処理を実行してもよい。詳細は、ステップＳ１１８で説明した通りである。

図１４は、ステップＳ１２２〜Ｓ１３４が２回実行された結果、複数のヘッドマウントディスプレイ１００ａと１００ｂとにおいて、提示用情報ＰＮｉが虚像として表示されている様子を示す説明図である。インターフェイス１８０または無線通信部１３２を介して提示用情報ＰＮｉを受信したヘッドマウントディスプレイ１００ｉでは、画像処理部１６０による上述の表示処理が行われる。この結果、ヘッドマウントディスプレイ１００ｉの使用者は、自身の役割に応じた医療用装置５００から取得された医療用装置情報が含まれた提示用情報ＰＮｉの虚像を視認することができる。図１４の例では、ヘッドマウントディスプレイ１００ａの使用者が視認する虚像ＶＩ（ｉ）には、執刀医がチェックすべき医療用装置５００から取得された医療用装置情報ＣＰ４が表示されている。また、ヘッドマウントディスプレイ１００ｂの使用者が視認する虚像ＶＩ（ｉ）には、第１助手がチェックすべき医療用装置５００から取得された医療用装置情報ＣＰ２と、ＣＰ３とが表示されている。

提示用情報生成処理（図６）のステップＳ１３２において、生成部３６０は、変数ｉをインクリメントする。その後、生成部３６０は、変数ｉがｎ以上でないかを判定する（ステップＳ１３４）。変数ｉがｎ未満である（ステップＳ１３４：ＮＯ）ということは、すなわち、第２の入出力部３７０に接続されているヘッドマウントディスプレイ１００のうち、初期処理が終了していないヘッドマウントディスプレイ１００が存在することを意味する。このため、生成部３６０は、処理をステップＳ１２２へ遷移させ、初期処理を継続する。一方、変数ｉがｎ以上である（ステップＳ１３４：ＹＥＳ）ということは、全てのヘッドマウントディスプレイ１００についての初期処理が終了したことを意味する。このため、生成部３６０は、処理をステップＳ１３６の個別処理へ遷移させる。

以上のように、生成部３６０の動作モードが「第２のモード」である場合、生成部３６０は、初期処理のステップＳ１２２〜Ｓ１３４を繰り返し実行することによって、複数のヘッドマウントディスプレイ１００ｉ（１００ａ〜１００ｎ）の使用者のそれぞれの役割に応じた医療用装置５００から取得した医療用装置情報を少なくとも含む、複数の提示用情報ＰＮｉを生成し、第２の入出力部３７０（提供部）は、第２の入出力部３７１〜３７ｎにそれぞれ接続されている複数のヘッドマウントディスプレイ１００ａ〜１００ｎ（画像表示装置）に対して、生成された複数の提示用情報ＰＮｉを順次出力する。この結果、情報処理装置３００は、複数のヘッドマウントディスプレイ１００ａ〜１００ｎにおける表示を、各ヘッドマウントディスプレイ１００の使用者の役割に応じて、別個に制御することが可能となり、ヘッドマウントディスプレイ１００の使用者の利便性を向上させることができる。

Ａ−４−３．第２のモード（個別処理）：
個別処理では、生成部３６０は、ヘッドマウントディスプレイ１００からの要求に基づいて、要求された医療用装置５００から取得した医療用装置情報や、要求された医療用装置５００以外の情報源から取得した情報を含む提示用情報を生成する。

提示用情報生成処理（図６）のステップＳ１３６において、生成部３６０は、ヘッドマウントディスプレイ１００から情報源の選択要求を受信したか否かを判定する。情報源の選択要求とは、ステップＳ１１２において説明した要求ａ１〜ａ６と同様である。情報源の選択要求を受信していない場合（ステップＳ１３６：なし）、生成部３６０は、ステップＳ１３６に処理を遷移させ、情報源の選択要求の受信を待機する。

一方、情報源の選択要求を受信した場合（ステップＳ１３６：あり）、生成部３６０は、情報源の選択要求に含まれるヘッドマウントディスプレイ１００ｉの識別子と、情報源を特定するための情報と、情報源内の情報を特定するための情報と、を取得する（ステップＳ１２８）。さらに、生成部３６０は、情報源を特定するための情報として、現在位置情報および方位情報が挿入されている場合は、当該現在位置情報と方位情報とを、他の全ての医療用装置５００から取得した位置情報と比較して、「使用者による表示部の視認が困難な医療用装置５００」を特定する。ここで、生成部３６０は、ステップＳ１１４と同様に、現在位置情報および方位情報対して、ヘッドマウントディスプレイ１００使用者の頭部の動きを組み合わせてもよい。なお、ヘッドマウントディスプレイ１００ｉとは、情報源の選択要求の発行元であるヘッドマウントディスプレイ１００（すなわち、現在処理中であるヘッドマウントディスプレイ１００）を指す。

ステップＳ１４０において、生成部３６０は、指定された情報源にアクセスして、指定された情報を取得する。そして、生成部３６０は、取得した情報を用いて、ヘッドマウントディスプレイ１００ｉ用の提示用情報ＰＮｉを生成し、生成した提示用情報ＰＮｉを手術の記録３８４に記憶させる。なお、生成部３６０が提示用情報を生成する方法は、図７および図８で説明した通りである。その後、生成部３６０は、生成した提示用情報ＰＮｉを手術の記録３８４に記憶させる。

ステップＳ１４２において、生成部３６０は、ステップＳ１４０で生成した提示用情報ＰＮｉを、ヘッドマウントディスプレイ１００ｉが接続されている第２の入出力部３７０ｉへ送信する。第２の入出力部３７０ｉは、受信した提示用情報ＰＮｉに含まれる画像を、ヘッドマウントディスプレイ１００ｉの映像信号の仕様に沿って変換する。また、この際、第２の入出力部３７０ｉは、フィッティング処理を実行してもよい。詳細は、ステップＳ１１８で説明した通りである。

インターフェイス１８０または無線通信部１３２を介して提示用情報ＰＮｉを受信したヘッドマウントディスプレイ１００ｉでは、画像処理部１６０による上述の表示処理が行われる。この結果、情報源の選択要求を送信したヘッドマウントディスプレイ１００ｉの使用者は、情報源の選択要求において指定した情報源から取得された情報が含まれた提示用情報ＰＮｉの虚像を視認することができる。

以上のように、生成部３６０の動作モードが「第２のモード」である場合、生成部３６０は個別処理を実行することによって、複数のヘッドマウントディスプレイ１００ｉ（１００ａ〜１００ｎ）の使用者によってそれぞれ選択された医療用装置情報を少なくとも含む、複数の提示用情報ＰＮｉを生成する。第２の入出力部３７０（提供部）は、第２の入出力部３７１〜３７ｎにそれぞれ接続されている複数のヘッドマウントディスプレイ１００ａ〜１００ｎ（画像表示装置）に対して、生成された複数の提示用情報ＰＮｉを順次出力する。この結果、情報処理装置３００は、複数のヘッドマウントディスプレイ１００ａ〜１００ｎにおける表示を、各ヘッドマウントディスプレイ１００の使用者の選択に基づいて別個に制御することが可能となる。

以上のように、第１実施形態の情報処理装置３００によれば、生成部３６０は、第１の入出力部３１０（取得部、第１の入出力部３１１〜第１の入出力部３１ｎ）により取得された複数の医療用装置情報を用いて提示用情報ＰＮを生成するため、情報処理装置３００の第１の入出力部３１０に接続されている多種多様な医療用装置５００（医療用装置５０１〜５０ｎ）の情報（医療用装置情報）を一元化することができる。また、第２の入出力部３７０（提供部）は、複数のヘッドマウントディスプレイ１００ａ〜１００ｎ（画像表示装置）に対して、生成された提示用情報ＰＮを出力するため、複数のヘッドマウントディスプレイ１００ａ〜１００ｎにおける表示を制御することができる。この結果、多種多様な医療用装置５００の情報を一元化すると共に、複数のヘッドマウントディスプレイ１００ａ〜１００ｎにおける表示を制御することが可能な情報処理装置３００を実現することができる。

さらに、生成部３６０は、一元化されている医療用装置情報から、複数のヘッドマウントディスプレイ１００ａ〜１００ｎ（画像表示装置）に対して共通する共通の提示用情報ＰＮ＊を生成する第１のモードと、複数のヘッドマウントディスプレイ１００ａ〜１００ｎにそれぞれ対応する複数の提示用情報ＰＮｉを生成する第２のモードと、を有する。このため、情報処理装置３００は、生成部３６０におけるこれらのモードを使い分けることによって、複数のヘッドマウントディスプレイ１００ａ〜１００ｎにおける表示を制御することもできる。

以上説明したように、第１実施形態の情報処理システム１０００によれば、多種多様な医療用装置５００（医療用装置５０１〜５０ｎ）の情報（医療用装置情報）を情報処理装置３００に一元化すると共に、複数のヘッドマウントディスプレイ１００ａ〜１００ｎ（頭部装着型表示装置）における表示を制御することが可能な情報処理システム１０００を実現することができる。

Ａ−５．付加的処理：
なお、提示用情報生成処理（図６）では、さらに、以下のような付加的処理を実行してもよい。付加的処理は、単独で付加してもよいし、組み合わせて付加してもよい。

Ａ−５−１．付加的処理１：
付加的処理１では、情報処理装置３００は、提示用情報に対する色変換処理を行う。具体的には、生成部３６０から提示用情報を受信した第２の入出力部３７０は、ヘッドマウントディスプレイ１００のカメラ６１に外景画像を取得させる。そして、第２の入出力部３７０は、取得された外景画像の明度、コントラスト、彩度、色相に応じて、提示用情報に含まれる画像の視認性を向上させるような色変換処理を実施する。例えば、第２の入出力部３７０は、提示用情報に含まれる画像の色相を、外景画像の色相の補色へと変換する色変換処理を行うことができる。

このように、付加的処理１によれば、ヘッドマウントディスプレイ１００の使用者に対する虚像ＶＩの視認性をより向上させることができる。

Ａ−５−２．付加的処理２：
付加的処理２では、情報処理装置３００は、ヘッドマウントディスプレイ１００の使用者の頭の小さなブレに付随する虚像ＶＩの揺れを抑制する、いわゆるスタビライザー機能を実現する。具体的には、生成部３６０から提示用情報を受信した第２の入出力部３７０は、所定の時間ごとに、上記手順ｄ１〜ｄ４において説明したフィッティング処理と、提示用情報生成処理のステップＳ１１８、Ｓ１３０、Ｓ１４２の提示用情報の送信と、を繰り返す。これにより、所定の時間ごとに、外景画像の撮影と、提示用情報に含まれる画像の補正および表示が繰り返されることとなるため、使用者の頭部の経時的な動きに追従した提示用情報を虚像ＶＩとして表示させることができる。

しかし、ヘッドマウントディスプレイ１００の使用者の頭の微小な動きやゆらぎに追従して提示用情報が度々変わることは、かえって使用者の眼精疲労を誘発するおそれや、使用者の集中力を妨げるおそれがある。そこで、第２の入出力部３７０は、さらに、上記手順ｄ１と手順ｄ２との間に、以下の手順ｅ１、ｅ２で示す処理を行ってもよい。

（ｅ１）第２の入出力部３７０は、手順ｃ１で撮影された外景画像と、前回実行されたフィッティング処理の手順ｄ１で撮影された外景画像との間の、ＲＧＢヒストグラムの変化量を求める。
（ｅ２）第２の入出力部３７０は、手順ｆ１で求めた変化量が所定の閾値を超える場合、手順ｄ２以降の処理を継続する。

このように、付加的処理２によれば、第２の入出力部３７０は、前回実行されたフィッティング処理における外景画像と、現在実行中のフィッティング処理における外景画像と間の変化量が小さい場合、すなわち、ヘッドマウントディスプレイ１００の使用者の頭の動きが微小である場合は、提示用情報に含まれる画像の補正は行わない。この結果、ヘッドマウントディスプレイ１００の使用者の頭の微小な動きやゆらぎに追従して提示用情報が度々変わることを抑制することができるため、使用者の眼精疲労や集中力低下を抑制することができる。なお、スタビライザー機能のＯＮ／ＯＦＦを使用者によって指定することが可能な構成にしてもよい。

Ａ−５−３．付加的処理３：
付加的処理３では、情報処理装置３００は、ヘッドマウントディスプレイ１００の画像表示部２０と、使用者の視界方向にある物体との間の距離に応じて、提示用情報に含まれる画像が虚像ＶＩとして表示される大きさを変更する。具体的には、生成部３６０から提示用情報を受信した第２の入出力部３７０は、上記手順ｄ１〜ｄ４において説明したフィッティング処理に代えて、以下の手順ｆ１〜ｆ３に示す処理を行うことができる。なお、本処理を実施する場合、ヘッドマウントディスプレイ１００には、さらに測距センサーを備える構成とする。測距センサーは、反射光によって使用者の視界方向にある物体と画像表示部２０との間の距離を取得するためのセンサーであり、例えば、カメラ６１の近傍に配置することができる。

（ｆ１）第２の入出力部３７０は、ヘッドマウントディスプレイ１００から、定期的に測距センサーの測定値を取得する。
（ｆ２）第２の入出力部３７０は、取得した測距センサーの測定値に応じて拡大率（または縮小率）を決定する。
（ｆ３）第２の入出力部３７０は、決定した拡大、縮小率を用いて、提示用情報に含まれる画像に対して、拡大、縮小、回転、反転、トリミング、歪みの付与、ノイズの除去の少なくともいずれかの加工を行う。

このように、付加的処理３によれば、第２の入出力部３７０は、ヘッドマウントディスプレイ１００の使用者の視界方向にある物体と、画像表示部２０との間の距離に応じて、提示用情報が虚像ＶＩとして表示される大きさを変更することができる。このため、ヘッドマウントディスプレイ１００における使用者の利便性を向上させることができる。

Ｂ．第２実施形態：
本発明の第２実施形態では、生成部３６０が結合情報を生成可能な構成について説明する。以下では、第１実施形態と異なる構成および動作を有する部分についてのみ説明する。なお、図中において第１実施形態と同様の構成部分については先に説明した第１実施形態と同様の符号を付し、その詳細な説明を省略する。

Ｂ−１．情報処理システムの構成：
第２実施形態における情報処理システム１０００ａの概略構成は、図１に示す第１実施形態とほぼ同様である。ただし、第２実施形態の情報処理システム１０００ａは、情報処理装置３００に代えて情報処理装置３００ａを備える。

Ｂ−２．情報処理装置の構成：
図１５は、第２実施形態における情報処理装置３００ａの構成を機能的に示すブロック図である。図２に示した第１実施形態との違いは、生成部３６０に代えて生成部３６０ａを備える点である。生成部３６０ａは、動作モードが「第２のモード」である場合に、提示用情報生成処理に並行させて、後述の結合情報生成処理を実行する。結合情報生成処理は、第２の入出力部３７０に接続されている全てのヘッドマウントディスプレイ１００（ヘッドマウントディスプレイ１００ａ〜１００ｎ）の提示用情報を結合した結合情報を生成する処理である。

Ｂ−３．頭部装着型表示装置の構成：
第２実施形態におけるヘッドマウントディスプレイ１００の概略構成は、図５に示す第１実施形態と同様である。

Ｂ−４．提示用情報生成処理：
第２実施形態における提示用情報生成処理の手順は、図６に示す第１実施形態と同様である。

Ｂ−５．付加的処理：
なお、第２実施形態の提示用情報生成処理においても、「Ａ−５−１．付加的処理１」〜「Ａ−５−３．付加的処理３」において説明した、第１実施形態と同様の付加的処理を実行してもよい。

Ｂ−６．結合情報生成処理：
図１６は、結合情報生成処理の手順を示すフローチャートである。結合情報生成処理は、ヘッドマウントディスプレイ１００へ表示させるための結合情報を生成する処理であり、情報処理装置３００ａ（図１５）の生成部３６０ａが実行する。結合情報生成処理は、提示用情報生成処理（図６）のステップＳ１００において、動作モードが「第２のモード」である場合に（ステップＳ１００：第２のモード）、図６で説明した初期処理と個別処理とに並行して実行される。

生成部３６０ａは、ヘッドマウントディスプレイ１００から結合情報の要求を受信したか否かを判定する（ステップＳ２００）。ここで、結合情報の要求とは、結合情報の送信を求める旨の要求であり、要求元のヘッドマウントディスプレイ１００の識別子と共に送信される。結合情報の要求を受信していない場合（ステップＳ２００：なし）、生成部３６０ａは、ステップＳ２００に処理を遷移させ、結合情報の要求の受信を待機する。

一方、結合情報の要求を受信した場合（ステップＳ２００：あり）、生成部３６０ａは、結合情報の要求に含まれる、要求元のヘッドマウントディスプレイ１００ｉの識別子を取得する（ステップＳ２０２）。ここで、ヘッドマウントディスプレイ１００ｉとは、結合情報の要求の発行元であるヘッドマウントディスプレイ１００（すなわち、現在処理中であるヘッドマウントディスプレイ１００）を指す。

ステップＳ２０４において、生成部３６０ａは、手術の記録３８４にアクセスする。そして、生成部３６０ａは、第２の入出力部３７０に接続されている全てのヘッドマウントディスプレイ１００（ヘッドマウントディスプレイ１００ａ〜１００ｎ）について、生成部３６０ａが生成した最新の提示用情報をそれぞれ取得する。なお、最新の提示用情報であることは、手術の記録３８４において、提示用情報に対応付けられて記憶されている「生成の日時」によって判断することができる。なお、ここでは、要求元のヘッドマウントディスプレイ１００ｉの提示用情報を、取得対象から除外してもよい。生成部３６０ａは、取得した複数の提示用情報を結合して、結合情報を生成する。

図１７は、結合情報の生成方法について説明するための説明図である。生成部３６０ａは、取得された複数の提示用情報に対して、以下の手順ｇ１〜ｇ４に示した処理を行う。
（ｇ１）生成部３６０ａは、取得された提示用情報の総数と、共通映像仕様３８１に記憶されている解像度とに応じて、提示用情報の縮小率を決定する。
（ｇ２）生成部３６０ａは、手順ｇ１で決定した縮小率で、ｉ番目の提示用情報（提示用情報ＰＮｉ）に含まれる画像を縮小する。
（ｇ３）生成部３６０ａは、手順ｇ２で縮小した画像を、他の画像と重ならない位置にレイヤー配置して上書き保存し、結合情報ＪＮとする。
（ｇ４）生成部３６０ａは、変数ｉをインクリメントし、「ｉ≧取得された提示用情報の総数」が成立するまで、上記手順ｇ２、ｇ３を繰り返す。
（ｇ５）生成部３６０ａは、結合情報ＪＮのうち、提示用情報の画像が配置されていない余白部分（図において斜線で表す）に対して、上記ｃ１、ｃ２で説明したと同様の手順を実行し、ダミードットデーターの挿入か、Ｅｎａｂｌｅ信号の調整を行う。
（ｇ６）生成部３６０ａは、生成された結合情報ＪＮに含まれる画像を、共通映像仕様３８１に規定されている映像信号の仕様に沿って変換する。

図１７の例には、上記のようにして生成され、６つの提示用情報ＰＮ１〜ＰＮ６が、それぞれ重ならない位置に配置された結合情報ＪＮが例示されている。

結合情報生成処理（図１６）のステップＳ２０６において、生成部３６０ａは、ステップＳ２０４で生成した結合情報ＪＮを、ヘッドマウントディスプレイ１００ｉが接続されている第２の入出力部３７０ｉへ送信した後、処理をステップＳ２００へ遷移させる。第２の入出力部３７０ｉは、受信した提示用情報ＰＮｉに含まれる画像を、ヘッドマウントディスプレイ１００ｉの映像信号の仕様に沿って変換する。

図１８は、ヘッドマウントディスプレイ１００ｉにおいて、結合情報ＪＮが虚像として表示されている様子を示す説明図である。第２の入出力部３７０ｉから送信された結合情報ＪＮを、インターフェイス１８０または無線通信部１３２を介して受信したヘッドマウントディスプレイ１００ｉでは、画像処理部１６０による上述の表示処理が行われる。この結果、ヘッドマウントディスプレイ１００ｉの使用者の両眼に導かれた画像光が使用者の網膜に結像することにより、ヘッドマウントディスプレイ１００ｉの使用者は、視野ＶＲに結合情報ＪＮの虚像ＶＩを視認することができる。図１８の例では、ヘッドマウントディスプレイ１００ｇの使用者の視野ＶＲにおいて、ヘッドマウントディスプレイ１００ａ〜１００ｆ用の提示用情報ＰＮ１〜６が結合された結合情報ＪＮを表す虚像ＶＩが表示されている。なお、図１８では、紙面の都合上、提示用情報ＰＮ３〜６の図示を省略している。

以上のように、第２実施形態の生成部３６０ａは、提示用情報生成処理で生成された複数の提示用情報ＰＮｉを結合した結合情報ＪＮを生成し、第２の入出力部３７０（提供部）は、結合情報の要求を発行した特定のヘッドマウントディスプレイ１００ｉ（画像表示装置）に対して、生成された結合情報ＪＮを出力する。この結果、特定のヘッドマウントディスプレイ１００ｉの使用者は、情報処理装置３００に接続されている複数のヘッドマウントディスプレイ１００ａ〜１００ｎ（画像表示装置）において、どのような提示用情報ＰＮが表示されているのかを知ることができ、特定のヘッドマウントディスプレイ１００ｉの使用者の利便性を向上させることができる。

Ｃ．変形例：
上記実施形態において、ハードウェアによって実現されるとした構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されるとした構成の一部をハードウェアに置き換えるようにしてもよい。その他、以下のような変形も可能である。

・変形例１：
上記実施形態では、情報処理システムの構成について例示した。しかし、情報処理システムの構成は、本発明の要旨を逸脱しない範囲において任意に定めることが可能であり、例えば、情報処理システムを構成する各装置の追加・削除・変換等を行うことができる。また、情報処理システムを構成する装置のネットワーク構成の変更を行うことができる。

例えば、情報処理装置の管理テーブル、不可視情報、手術の記録、院内ＬＡＮに接続されているデータベースＯＤに格納されていてもよい。また、データベースＯＤは、院内に限らず、インターネットＩＮＴを介した外部（例えば、院外に設けられているクラウドサーバー等）に設けられていてもよい。

・変形例２：
上記実施形態では、情報処理装置の構成について例示した。しかし、情報処理装置の構成は、本発明の要旨を逸脱しない範囲において任意に定めることが可能であり、例えば、各構成部の追加・削除・変換等を行うことができる。

例えば、情報処理装置は、タッチパネル、入力ボタン、キーボード、マウス、マイク、カメラ等、種々の入力デバイスを備えていてもよい。同様に、情報処理装置は、ディスプレイ、インジケーター、手術に関する簡易なログを出力するためのプリンター等、種々の出力デバイスを備えていてもよい。

例えば、生成部、第２の入出力部（提供部）における各機能は、ＣＰＵがＲＯＭやハードディスクに格納されているコンピュータープログラムをＲＡＭに展開して実行することにより実現されるものとして記載した。しかし、これら機能は、当該機能を実現するために設計されたＡＳＩＣ（Application Specific Integrated Circuit：特定用途向け集積回路）を用いて実現されてもよい。

例えば、情報処理装置において、ディスプレイを備える構成とする。その上で、情報処理装置の生成部は、結合情報生成処理において生成した結合情報を、情報処理装置のディスプレイに表示させてもよい。このようにすれば、情報処理装置の近傍に立つ利用者は、全てのヘッドマウントディスプレイ（画像表示装置）における表示内容を一見して把握することができ、便利である。

・変形例３：
上記実施形態では、ヘッドマウントディスプレイの構成について例示した。しかし、ヘッドマウントディスプレイの構成は、本発明の要旨を逸脱しない範囲において任意に定めることが可能であり、例えば、各構成部の追加・削除・変換等を行うことができる。例えば、制御部と、画像表示部とは、無線ＬＡＮや赤外線通信やＢｌｕｅｔｏｏｔｈ等の無線の信号伝送路を介した接続により接続されていてもよい。また、例えば、電源として、一次電池や、燃料電池、太陽電池、熱電池等を採用してもよい。

上記実施形態における、制御部と、画像表示部とに対する構成要素の割り振りは、あくまで一例であり、種々の態様を採用可能である。例えば、以下のような態様としてもよい。（i）制御部にＣＰＵやメモリー等の処理機能を搭載、画像表示部には表示機能のみを搭載する態様、（ｉｉ）制御部と画像表示部との両方にＣＰＵやメモリー等の処理機能を搭載する態様、（ｉｉｉ）制御部と画像表示部とを一体化した態様（例えば、画像表示部に制御部が含まれ眼鏡型のウェアラブルコンピューターとして機能する態様）、（ｉｖ）制御部の代わりにスマートフォンや携帯型ゲーム機を使用する態様、（ｖ）制御部と画像表示部とを無線通信かつワイヤレス給電可能な構成とすることにより、ケーブルを廃した態様。

例えば、入力情報取得部は、上記実施形態に例示した以外の種々の方法を用いて、使用者からの操作入力を取得してもよい。例えば、フットスイッチ（使用者の足により操作するスイッチ）による操作入力を取得してもよい。また、例えば、画像表示部に赤外線センサー等の視線検知部を設けた上で、使用者の視線を検知し、視線の動きに対応付けられたコマンドによる操作入力を取得してもよい。また、例えば、カメラを用いて使用者のジェスチャーを検知し、ジェスチャーに対応付けられたコマンドによる操作入力を取得してもよい。ジェスチャー検知の際は、使用者の指先や、使用者の手に付けられた指輪や、使用者の手にする医療器具等を動き検出のための目印にすることができる。フットスイッチや視線による操作入力を取得可能とすれば、入力情報取得部は、使用者が手を離すことが困難である医療の現場においても、使用者からの操作入力を容易に取得することができる。

例えば、ヘッドマウントディスプレイは、両眼タイプの透過型ヘッドマウントディスプレイであるものとしたが、単眼タイプのヘッドマウントディスプレイとしてもよい。また、使用者がヘッドマウントディスプレイを装着した状態において外景の透過が遮断される非透過型ヘッドマウントディスプレイとして構成してもよい。上記実施形態では、画像表示部を眼鏡のように装着するヘッドマウントディスプレイであるとしているが、例えば、帽子のように装着するタイプの画像表示部等、他の形状の画像表示部を採用したヘッドマウントディスプレイとしてもよい。また、イヤホンは耳掛け型やヘッドバンド型を採用してもよく、省略してもよい。さらに、例えば、自動車や飛行機等の車両に搭載されるヘッドアップディスプレイ（ＨＵＤ、Head-Up Display）として構成されてもよい。そのほか、ヘルメット等の身体防護具に内蔵されたヘッドマウントディスプレイとして構成されてもよい。

図１９は、変形例におけるヘッドマウントディスプレイの外観の構成を示す説明図である。図１９（Ａ）の例の場合、画像表示部２０ａが、右光学像表示部２６に代えて右光学像表示部２６ａを備え、左光学像表示部２８に代えて左光学像表示部２８ａを備えている。右光学像表示部２６ａは、第１実施形態の光学部材よりも小さく形成され、ヘッドマウントディスプレイの装着時における使用者の右眼の斜め上に配置されている。同様に、左光学像表示部２８ａは、第１実施形態の光学部材よりも小さく形成され、ヘッドマウントディスプレイの装着時における使用者の左眼の斜め上に配置されている。図１９（Ｂ）の例の場合、画像表示部２０ｂが、右光学像表示部２６に代えて右光学像表示部２６ｂを備え、左光学像表示部２８に代えて左光学像表示部２８ｂを備えている。右光学像表示部２６ｂは、第１実施形態の光学部材よりも小さく形成され、ヘッドマウントディスプレイの装着時における使用者の右眼の斜め下に配置されている。左光学像表示部２８ｂは、第１実施形態の光学部材よりも小さく形成され、ヘッドマウントディスプレイの装着時における使用者の左眼の斜め下に配置されている。このように、光学像表示部は使用者の眼の近傍に配置されていれば足りる。また、光学像表示部を形成する光学部材の大きさも任意であり、光学像表示部が使用者の眼の一部分のみを覆う態様、換言すれば、光学像表示部が使用者の眼を完全に覆わない態様のヘッドマウントディスプレイとして実現することもできる。

例えば、上記実施形態では、表示駆動部は、バックライトと、バックライト制御部と、ＬＣＤと、ＬＣＤ制御部と、投写光学系を用いて構成されるものとした。しかし、上記の態様はあくまで例示である。表示駆動部は、これらの構成部と共に、またはこれらの構成部に代えて、他の方式を実現するための構成部を備えていても良い。例えば、表示駆動部は、フロントライト方式や反射方式を用いて画像光を射出してもよい。また、例えば、表示駆動部は、有機ＥＬ（有機エレクトロルミネッセンス、Organic Electro-Luminescence）のディスプレイと、有機ＥＬ制御部と、投写光学系とを備える構成としても良い。また、例えば、表示駆動部は、ＬＣＤに代えてデジタル・マイクロミラー・デバイス等を用いることもできる。また、例えば、レーザー網膜投影型の頭部装着型表示装置に対して本発明を適用することも可能である。

・変形例４：
上記実施形態では、提示用情報生成処理の一例を示した。しかし、提示用情報生成処理の手順はあくまで一例であり、種々の変形が可能である。例えば、一部のステップを省略してもよいし、更なる他のステップを追加してもよい。また、実行されるステップの順序を変更してもよい。

例えば、上記実施形態で説明した不可視情報は、２次元的に表現された画像を想定した。しかし、医療用装置として、３次元的な不可視画像を撮影可能な装置が接続されてもよい。また、外部記憶装置に記憶されている不可視情報は、撮像機器を用いて撮像された複数の画像から作成された３次元モデルであってもよい。３次元的に表現された不可視情報を用いる場合、生成部は、提示用情報の生成に先立って、３次元モデルのレンダリングを行う。そして、レンダリング後の画像を用いて、提示用情報を生成する。このようにすれば、様々な方向から、対象物体の外観に現れない情報を視認することができる。

例えば、第１のモードの提示用情報生成処理において、生成部は、共通の提示用情報を複数生成してもいい。具体的には、例えば、第２の入出力部に接続されているヘッドマウントディスプレイを、ｍ（ｍは１以上の整数）個のグループに分割する。その上で、生成部は、第１のグループに共通の提示用情報・・・第ｍのグループに共通の提示用情報のように、各グループに共通の提示用情報を、複数生成してもよい。

例えば、第２のモードの提示用情報生成処理（初期処理）において、第２の入出力部に接続されている複数のヘッドマウントディスプレイに関して、変数ｉを用いてシリアルに初期処理をおこなっている。しかし、初期処理は、第２の入出力部に接続されている複数のヘッドマウントディスプレイに関して、並列に実行されてもよい。

例えば、第２のモードの提示用情報生成処理のうち、初期処理と、個別処理とのうちの、いずれか一方を省略してもよい。また、初期処理は、第２のモードの提示用情報生成処理が開始された直後に実行されなくてもよい。初期処理と同様の処理は、使用者や他のアプリケーションからの要求に応じて、適宜実行されてもよい。

例えば、第１のモードおよび第２のモードに共通して、提示用情報を受信したヘッドマウントディスプレイでは、使用者の要求に応じて、提示用情報に含まれる画像が虚像ＶＩとして表示される大きさを拡大、縮小してもよい。同様に、ヘッドマウントディスプレイは、使用者の要求に応じて、提示用情報に含まれる画像を非表示としてもよく、提示用情報に含まれる画像に対して色変換を行ってもよい。また、使用者からの要求の入力方法として、マイクロホンを介した音声入力を採用すれば、使用者が手を用いて操作することが困難な医療の現場においてヘッドマウントディスプレイが使用される場合の、使用者の利便性を大きく向上させることができる。

・変形例５：
上記実施形態では、結合情報生成処理の一例を示した。しかし、結合情報生成処理の手順はあくまで一例であり、種々の変形が可能である。例えば、一部のステップを省略してもよいし、更なる他のステップを追加してもよい。また、実行されるステップの順序を変更してもよい。

例えば、生成部は、生成する結合情報に対して、提示用情報の縮小画像以外の、他の情報を含ませてもよい。例えば、以下に列挙する情報を含ませてもよい。
・その提示用情報が供給されているヘッドマウントディスプレイを識別するための文字列や画像
・その提示用情報が供給されているヘッドマウントディスプレイの使用者の役職を表す文字列や画像
・医療用装置の医療用装置情報
・院内データベースに記録されているデーター
・不可視情報に記録されているデーター
・不可視情報に記録されているデーター
・表示部の視認が困難な医療用装置の医療用装置情報

例えば、生成部は、結合情報の要求を、特定のヘッドマウントディスプレイからのみ受け付け可能としてもよい。特定のヘッドマウントディスプレイとは、例えば、マスタであるヘッドマウントディスプレイ、使用者が特定の役割を担っているヘッドマウントディスプレイ等である。

・変形例６：
上記実施形態では、共通映像仕様と、管理テーブルとの一例を示した。しかし、これらの詳細はあくまで一例であり、種々の変更が可能である。例えば、フィールド（項目）の追加、削除、変更を行うことができる。また、管理テーブルは、複数のテーブルに分割して正規化してもよい。

例えば、管理テーブルには、ヘッドマウントディスプレイを相互に識別するための識別子に代えて、または識別子と共に、ヘッドマウントディスプレイの使用者の声紋が記憶されていてもよい。そうすれば、情報処理装置は、マイクロホンを介して取得した使用者の声紋に基づいて、当該使用者が使用するヘッドマウントディスプレイの装置間関係、役割、映像仕様を取得し、提示用情報生成処理を実行することができる。

例えば、管理テーブルには、ヘッドマウントディスプレイの識別子に対応付けてさらに、ヘッドマウントディスプレイと情報処理装置との通信に使用するための情報（例えば、ヘッドマウントディスプレイのＩＰアドレス、ＭＡＣアドレス、暗号化鍵等）が記憶されていてもよい。また、管理テーブルには、映像信号の仕様のパターンを表す「映像仕様」に変えて、各ヘッドマウントディスプレイにおいて採用されている実際の映像仕様そのもの（すなわち、共通映像仕様に記憶されている項目と同様の項目）が記憶されていてもよい。

例えば、管理テーブルは、ヘッドマウントディスプレイの識別子ごとに、装置間関係と、役割と、映像仕様とを記憶することとした。しかし、使用者ごとに「ユーザーＩＤ」を割り当てて、当該ユーザーＩＤごとに、装置間関係と、役割と、映像仕様とを記憶してもよい。

・変形例７：
本発明は、上述の実施形態や実施例、変形例に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば、発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態、実施例、変形例中の技術的特徴は、上述の課題の一部または全部を解決するために、あるいは、上述の効果の一部または全部を達成するために、適宜、差し替えや組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。

１０…制御部
２０…画像表示部
２２…右表示駆動部
２４…左表示駆動部
２６…右光学像表示部
２８…左光学像表示部
３２…右イヤホン
３４…左イヤホン
４０…ケーブル
５１…送信部
５２…送信部
５３…受信部
５４…受信部
６１…カメラ（画像取得部）
１１０…入力情報取得部
１００…ヘッドマウントディスプレイ（画像表示装置、頭部装着型表示装置）
１２０…記憶部
１３０…電源
１４０…ＣＰＵ
１６０…画像処理部
１７０…音声処理部
１８０…インターフェイス
１９０…表示制御部
２０１…右バックライト制御部
２０２…左バックライト制御部
２１１…右ＬＣＤ制御部
２１２…左ＬＣＤ制御部
２２１…右バックライト
２２２…左バックライト
２４１…右ＬＣＤ
２４２…左ＬＣＤ
２５１…右投写光学系
２５２…左投写光学系
２６１…右導光板
２６２…左導光板
３００…情報処理装置
３１０…第１の入出力部
３１１〜３１ｎ…第１の入出力部（取得部）
３２０…ＲＯＭ
３３０…ＲＡＭ
３４０…通信インターフェイス
３５０…ＣＰＵ
３６０…生成部
３７０…第２の入出力部（提供部）
３７１〜３７ｎ…第２の入出力部
３８０…外部記憶装置
３８１…共通映像仕様
３８２…管理テーブル（役割記憶部、装置間関係記憶部）
３８３…不可視情報
３８４…手術の記録
３８５…動作モード
５００…医療用装置
５０１〜５０ｎ…医療用装置
７００…ディスプレイ
１０００…情報処理システム
ＯＡ…外部機器
ＰＣ…パーソナルコンピューター
ＯＤ…データベース
ＶＩ…虚像
ＰＮ…提示用情報
ＪＮ…結合情報
ＶＲ…視野
ＰＲ…医師
ＭＰ１…位置
ＵＰ１…現在位置
ＣＰ１…医療用装置情報

Claims (13)

1. 情報処理装置であって、
   複数の医療用装置から取得された情報である複数の医療用装置情報を取得する取得部と、
   前記取得部により取得された前記複数の医療用装置情報の少なくとも一部を含む提示用情報を生成する生成部と、
   複数の画像表示装置に対して、生成された前記提示用情報を出力する提供部と、
   を備える、情報処理装置。
2. 請求項１に記載の情報処理装置であって、
   前記生成部は、前記複数の画像表示装置に対して共通する前記提示用情報を生成する第１のモードと、前記複数の画像表示装置にそれぞれ対応する複数の前記提示用情報を生成する第２のモードと、を有する、情報処理装置。
3. 請求項２に記載の情報処理装置であって、
   前記生成部は、前記第１のモードにおいて、特定の前記画像表示装置の使用者によって選択された前記医療用装置情報を少なくとも含む、共通の前記提示用情報を生成する、情報処理装置。
4. 請求項３に記載の情報処理装置であって、さらに、
   前記複数の画像表示装置を相互に識別するための情報と、当該画像表示装置が前記特定の画像表示装置であるか否かを表す情報と、を関連付けて記憶する装置間関係記憶部を備え、
   前記生成部は、前記第１のモードにおいて、前記装置間関係記憶部を用いて前記特定の画像表示装置を識別する、情報処理装置。
5. 請求項２から請求項４のいずれか一項に記載の情報処理装置であって、
   前記生成部は、前記第２のモードにおいて、前記複数の画像表示装置の使用者によってそれぞれ選択された前記医療用装置情報を少なくとも含む、前記複数の提示用情報を生成する、情報処理装置。
6. 請求項２から請求項４のいずれか一項に記載の情報処理装置であって、
   前記生成部は、前記第２のモードにおいて、前記使用者のそれぞれの役割に応じた前記医療用装置から取得した前記医療用装置情報を少なくとも含む、前記複数の提示用情報を生成する、情報処理装置。
7. 請求項６に記載の情報処理装置であって、さらに、
   前記複数の画像表示装置を相互に識別するための情報と、当該画像表示装置の使用者の役割とを関連付けて記憶する役割記憶部を備え、
   前記生成部は、前記第２のモードにおいて、前記役割記憶部を用いて前記使用者の役割を識別する、情報処理装置。
8. 請求項２から請求項７のいずれか一項に記載の情報処理装置であって、
   前記生成部は、前記第２のモードにおいて、さらに、生成された前記複数の提示用情報を結合した結合情報を生成し、
   前記提供部は、前記特定の画像表示装置に対して、生成された前記結合情報を出力する、情報処理装置。
9. 請求項１から請求項８のいずれか一項に記載の情報処理装置であって、
   前記生成部は、前記提示用情報を生成する際に、前記医療用装置情報に含まれる画像の縦横比を維持したまま、前記画像を拡大または縮小する、情報処理装置。
10. 請求項１から請求項９のいずれか一項に記載の情報処理装置であって、
    前記情報処理装置には、前記画像表示装置として、使用者が虚像と外景を同時に視認可能な頭部装着型表示装置が接続される、情報処理装置。
11. 請求項１０に記載の情報処理装置であって、
    前記提供部は、さらに、
    前記頭部装着型表示装置から、前記頭部装着型表示装置を装着した状態における使用者の視界方向の画像を取得し、
    取得された前記視界方向の画像を画像認識することで外景に含まれる物体の特徴を抽出し、
    抽出した前記特徴に基づいて生成部により生成された前記提示用情報を補正し、補正後の前記提示用情報を出力する、情報処理装置。
12. 情報処理方法であって、
    （ａ）複数の医療用装置から取得された情報である複数の医療用装置情報を取得する工程と、
    （ｂ）取得された前記複数の医療用装置情報の少なくとも一部を含む提示用情報を生成する工程と、
    （ｃ）複数の画像表示装置に対して、生成された前記提示用情報を出力する工程と、
    を備える、情報処理方法。
13. 情報処理システムであって、
    複数の医療用装置と、
    情報処理装置と、
    複数の頭部装着型表示装置であって、使用者が虚像と外景を同時に視認可能な頭部装着型表示装置と、
    を備え、
    前記情報処理装置は、
    前記複数の医療用装置から取得された情報である複数の医療用装置情報を取得する取得部と、
    前記取得部により取得された前記複数の医療用装置情報の少なくとも一部を含む提示用情報を生成する生成部と、
    前記複数の頭部装着型表示装置に対して、生成された前記提示用情報を出力する提供部と、
    を備え、
    前記頭部装着型表示装置は、
    前記情報処理装置から前記提示用情報を取得する提示用情報取得部と、
    取得された前記提示用情報を前記虚像として前記頭部装着型表示装置の使用者に視認させる画像表示部と、
    を備える、情報処理システム。

Images