JP7479978B2 - 内視映像表示システム、内視映像表示装置及び内視映像表示方法 - Google Patents

Description

本開示は、内視映像表示システム、内視映像表示装置及び内視映像表示方法に関する。

近年、現実空間に、付加的な情報を重畳してユーザに呈示する拡張現実（ＡＲ：ＡｕｇｍｅｎｔｅｄＲｅａｌｉｔｙ）と呼ばれる映像重畳技術が開発されている。重畳される付加的な情報は、画像、テキスト、アイコン、又はアニメーション等の様々な種類の表示オブジェクトがユーザの眼前に表示されることで可視化され得る。

ＡＲ技術はエンターテインメント、マーケティング、観光、工業等の分野において幅広く使用されており、ＡＲ技術を用いた様々な商品やサービスが提案されている。
例えば、特開２０１４－１０６５５６（特許文献１）には、「建物外に取り付けられたＡＲマーカを読み取る機能を有するＷＥＢカメラを有する端末からの映像を受信し、当該映像を画像とし、かつ３Ｄオブジェクトにマッピングし、当該マッピング画像を端末のカメラと当該ＡＲマーカとの相対視角に応じて当該画像の見える範囲が変化する仮想のぞき穴画像を生成し、当該仮想のぞき穴画像を当該端末に送信し、当該端末側に映し出される画像の見える範囲が変わるように構成した手段を設ける」技術が記載されている。

特開２０１４－１０６５５６

特許文献１には、建物外に取り付けられたＡＲマーカを読み取り、当該ＡＲマーカに対応する、建物内の様子を示す３Ｄオブジェクトを建物外の映像にマッピングすることで、ライブ会場や展覧会、美術館、博物館等の会場内の様子をのぞき穴から見ているのと同様に仮想のぞき穴画像として見ることができる。
しかしながら、特許文献１の手段では、ＡＲマーカを事前に対象の建物に設置した上、ＡＲマーカと当該ＡＲマーカに対応する３Ｄオブジェクト等のデジタルコンテンツの位置関係を予め設定しておく必要があり、相当程度の事前準備が必要である。また、建物内の様子を見ることができるのは、ＡＲマーカを設置した個所だけであり、ユーザーが建物内を透視する場所を自由に選択することは想定されていない。

そこで、本開示は、ＡＲマーカを用いなくても、目視で確認できない任意の内視対象物の内部の状況を容易に視認することを可能とする内視映像表示手段を提供することを目的とする。

上記の課題を解決するために、代表的な本開示の内視映像表示システムの一つは、内視の対象物である内視対象物の内部に関する内部情報を取得するためのセンサ装置と、前記内視対象物の内部構造の外観を示す内視映像を生成するための計算装置と、前記内視対象物について生成した前記内視映像を視認するためのクライアント端末とが通信ネットワークを介して接続される内視映像表示システムであって、前記計算装置は、前記内部情報を前記センサ装置から受信し、前記内視対象物の外側を示す外側映像と、前記外側映像に対して指定された、内視の対象となる内視対象領域の座標とを含む内視要求を前記クライアント端末から受信すると共に、内視映像を前記クライアント端末に送信する通信部と、前記センサ装置から受信した前記内部情報に基づいて、前記対象物の内部構造の外観を示すＣＧモデルを生成するモデル生成部と、前記内視要求に含まれる前記内視対象領域に基づいて、前記内視映像に表示する前記ＣＧモデルの領域である表示領域を設定し、前記表示領域に対応するＣＧモデル映像を前記ＣＧモデルから抽出し、前記ＣＧモデル映像と前記外側映像とを結合させることで、前記内視映像を生成する内視映像生成部とを含む。

本開示によれば、ＡＲマーカを用いなくても、目視で確認できない任意の内視対象物の内部の状況を容易に視認することを可能とする内視映像表示手段を提供することができる。
上記した以外の課題、構成及び効果は、以下の実施例の説明により明らかにされる。

図１は、本開示の実施例を実施するためのコンピュータシステムを示す図である。 図２は、本開示の実施形態に係る内視映像表示システムの構成の一例を示す図である。 図３は、本開示の実施形態に係る内視映像表示方法の流れの一例を示す図である。 図４は、本開示の実施形態に係るマスク解除手段の一例を示す図である。 図５は、本開示の実施形態に係る内部映像の撮影範囲の内部領域座標計算の一例を示す図である。 図６は、本開示の実施形態に係る深度推定の一例を示す図である。 図７は、本開示の実施形態に係る外側映像の一例を示す図である。 図８は、本開示の実施形態に係る外側映像に対する内視対象領域を指定する処理の一例を示す図である。 図９は、本開示の実施形態に係るＣＧモデルの一例を示す図である。 図１０は、本開示の実施形態に係るＣＧモデルに対して表示領域を設定する一例を示す図である。 図１１は、本開示の実施形態に係る内視映像の一例を示す図である。 図１２は、本開示の実施形態に係る障害物排除処理の一例を示す図である。

以下、図面を参照して、本開示の実施形態について説明する。なお、この実施形態により本発明が限定されるものではない。また、図面の記載において、同一部分には同一の符号を付して示している。
（本開示の背景及び概要）

上述したように、ＡＲマーカを用いなくても、目視で確認できない任意の内視対象物の内部の状況を容易に視認することを可能とする手段が求められている。このような内視映像表示手段を好適に適用できる場面の一例として、配管点検等が考えられる。
従来では、現場での配管の劣化確認において、配管の内側を確認するには、カメラを管に挿入し、内部を撮影するなどの方法がある。しかし、管の内部を撮影したとしても、内部映像の情報だけでは管の外側との関係が明らかではないため、配管の外側しか見えない現場の作業員にとっては、どの配管を交換すべきかの判断に窮することがある。外側と内側を同時に確認する手法として非破壊検査があるが、非破壊検査では内部の色の状態などを確認できないため、内部の状態の詳細を把握することができない。

そこで、本開示では、作業員等のユーザが、クライアント端末によって、配管等の内視対象物の外側映像と、当該外側映像に対して指定した領域の内視映像のＣＧモデル映像を見ることができる技術を示すものである。より詳細には、外側映像を用いて指定した内視対象領域の絶対位置を示す内視対象領域座標を含む内視要求に応じて、内視対象物の内部の状態に関する内部情報から生成されたＣＧモデルから内視対象領域に基づいたＣＧモデル映像を抽出し、当該ＣＧモデル映像と内視対象物の外側映像を結合した内視映像を生成し、クライアント端末に表示することで、ＡＲマーカを用いなくても、目視で確認できない任意の内視対象物の内部の状況を容易に視認することができる。
これにより、例えば水道管のような配管設備において、現場にいる作業員が、管の内部及び外部の両方の状態を容易に確認することが可能となり、点検等の作業の効率を向上させることができる。
以下では、本開示の実施形態に係る内視映像表示手段を配管点検に適用した場合を一例として説明するが、本開示はこれに限定されず、例えば、建物の内部、自動車の内部等、使用目的に応じて任意の環境に適用されてもよい。
（ハードウエア構成）

まず、図１を参照して、本開示の実施形態を実施するためのコンピュータシステム３００について説明する。本明細書で開示される様々な実施形態の機構及び装置は、任意の適切なコンピューティングシステムに適用されてもよい。コンピュータシステム３００の主要コンポーネントは、１つ以上のプロセッサ３０２、メモリ３０４、端末インターフェース３１２、ストレージインタフェース３１４、Ｉ／Ｏ（入出力）デバイスインタフェース３１６、及びネットワークインターフェース３１８を含む。これらのコンポーネントは、メモリバス３０６、Ｉ／Ｏバス３０８、バスインターフェースユニット３０９、及びＩ／Ｏバスインターフェースユニット３１０を介して、相互的に接続されてもよい。

コンピュータシステム３００は、プロセッサ３０２と総称される１つ又は複数の汎用プログラマブル中央処理装置（ＣＰＵ）３０２Ａ及び３０２Ｂを含んでもよい。ある実施形態では、コンピュータシステム３００は複数のプロセッサを備えてもよく、また別の実施形態では、コンピュータシステム３００は単一のＣＰＵシステムであってもよい。各プロセッサ３０２は、メモリ３０４に格納された命令を実行し、オンボードキャッシュを含んでもよい。

ある実施形態では、メモリ３０４は、データ及びプログラムを記憶するためのランダムアクセス半導体メモリ、記憶装置、又は記憶媒体（揮発性又は不揮発性のいずれか）を含んでもよい。メモリ３０４は、本明細書で説明する機能を実施するプログラム、モジュール、及びデータ構造のすべて又は一部を格納してもよい。例えば、メモリ３０４は、内視映像表示アプリケーション３５０を格納していてもよい。ある実施形態では、内視映像表示アプリケーション３５０は、後述する機能をプロセッサ３０２上で実行する命令又は記述を含んでもよい。

ある実施形態では、内視映像表示アプリケーション３５０は、プロセッサベースのシステムの代わりに、またはプロセッサベースのシステムに加えて、半導体デバイス、チップ、論理ゲート、回路、回路カード、および/または他の物理ハードウェアデバイスを介してハードウェアで実施されてもよい。ある実施形態では、内視映像表示アプリケーション３５０は、命令又は記述以外のデータを含んでもよい。ある実施形態では、カメラ、センサ、または他のデータ入力デバイス（図示せず）が、バスインターフェースユニット３０９、プロセッサ３０２、またはコンピュータシステム３００の他のハードウェアと直接通信するように提供されてもよい。

コンピュータシステム３００は、プロセッサ３０２、メモリ３０４、表示システム３２４、及びＩ／Ｏバスインターフェースユニット３１０間の通信を行うバスインターフェースユニット３０９を含んでもよい。Ｉ／Ｏバスインターフェースユニット３１０は、様々なＩ／Ｏユニットとの間でデータを転送するためのＩ／Ｏバス３０８と連結していてもよい。Ｉ／Ｏバスインターフェースユニット３１０は、Ｉ／Ｏバス３０８を介して、Ｉ／Ｏプロセッサ（ＩＯＰ）又はＩ／Ｏアダプタ（ＩＯＡ）としても知られる複数のＩ／Ｏインタフェースユニット３１２，３１４，３１６、及び３１８と通信してもよい。

表示システム３２４は、表示コントローラ、表示メモリ、又はその両方を含んでもよい。表示コントローラは、ビデオ、オーディオ、又はその両方のデータを表示装置３２６に提供することができる。また、コンピュータシステム３００は、データを収集し、プロセッサ３０２に当該データを提供するように構成された1つまたは複数のセンサ等のデバイスを含んでもよい。

例えば、コンピュータシステム３００は、心拍数データやストレスレベルデータ等を収集するバイオメトリックセンサ、湿度データ、温度データ、圧力データ等を収集する環境センサ、及び加速度データ、運動データ等を収集するモーションセンサ等を含んでもよい。これ以外のタイプのセンサも使用可能である。表示システム３２４は、単独のディスプレイ画面、テレビ、タブレット、又は携帯型デバイスなどの表示装置３２６に接続されてもよい。

Ｉ／Ｏインタフェースユニットは、様々なストレージ又はＩ／Ｏデバイスと通信する機能を備える。例えば、端末インタフェースユニット３１２は、ビデオ表示装置、スピーカテレビ等のユーザ出力デバイスや、キーボード、マウス、キーパッド、タッチパッド、トラックボール、ボタン、ライトペン、又は他のポインティングデバイス等のユーザ入力デバイスのようなユーザＩ／Ｏデバイス３２０の取り付けが可能である。ユーザは、ユーザインターフェースを使用して、ユーザ入力デバイスを操作することで、ユーザＩ／Ｏデバイス３２０及びコンピュータシステム３００に対して入力データや指示を入力し、コンピュータシステム３００からの出力データを受け取ってもよい。ユーザインターフェースは例えば、ユーザＩ／Ｏデバイス３２０を介して、表示装置に表示されたり、スピーカによって再生されたり、プリンタを介して印刷されてもよい。

ストレージインタフェース３１４は、１つ又は複数のディスクドライブや直接アクセスストレージ装置３２２（通常は磁気ディスクドライブストレージ装置であるが、単一のディスクドライブとして見えるように構成されたディスクドライブのアレイ又は他のストレージ装置であってもよい）の取り付けが可能である。ある実施形態では、ストレージ装置３２２は、任意の二次記憶装置として実装されてもよい。メモリ３０４の内容は、ストレージ装置３２２に記憶され、必要に応じてストレージ装置３２２から読み出されてもよい。Ｉ／Ｏデバイスインタフェース３１６は、プリンタ、ファックスマシン等の他のＩ／Ｏデバイスに対するインターフェースを提供してもよい。ネットワークインターフェース３１８は、コンピュータシステム３００と他のデバイスが相互的に通信できるように、通信経路を提供してもよい。この通信経路は、例えば、ネットワーク３３０であってもよい。

ある実施形態では、コンピュータシステム３００は、マルチユーザメインフレームコンピュータシステム、シングルユーザシステム、又はサーバコンピュータ等の、直接的ユーザインターフェースを有しない、他のコンピュータシステム（クライアント）からの要求を受信するデバイスであってもよい。他の実施形態では、コンピュータシステム３００は、デスクトップコンピュータ、携帯型コンピュータ、ノートパソコン、タブレットコンピュータ、ポケットコンピュータ、電話、スマートフォン、又は任意の他の適切な電子機器であってもよい。

次に、図２を参照して、本開示の実施形態に係る内視映像表示システムについて説明する。

図２は、本開示の実施形態に係る内視映像表示システム２００の構成の一例を示す図である。図２に示すように、内視映像表示システム２００は、クライアント端末２０５、センサ装置２１０、ストレージ部２２０、及び計算装置２３０を含む。また、クライアント端末２０５、センサ装置２１０、ストレージ部２２０、及び計算装置２３０は、例えばネットワーク２２５を介して相互的に接続される。
ネットワーク２２５は、例えばインターネットやＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）であってもよい。

クライアント端末２０５は、内視対象物の内部構造の外観を示す内視映像を視認するための装置である。クライアント端末２０５は、配管点検等の作業を行う作業員が利用する端末であり、例えば、スマートフォンやタブレット等の携帯型端末であってもよく、デスクトップパソコン等の固定型の端末であってもよい。また、ある実施形態では、クライアント端末２０５は、ユーザが頭部に装着するヘッドマウントディスプレイであってもよい。
また、クライアント端末２０５は、映像を取得するための撮影機能（カメラ）、クライアント端末の絶対位置を判定するための測位機能（ＧＰＳ等）、及び内視対象物等の被写体に対する相対的な位置を判定するための方角計測機能や向き計測機能を備えてもよい。更に、クライアント端末２０５は、ユーザからの入力を受け付けるためのタッチ画面、キーボード、マウス、音声認識機能等の入力機能を備えてもよい。
クライアント端末２０５を利用しているユーザは、内視対象物の内部が視認したい意図を示す内視要求を、ネットワーク２２５を介して計算装置２３０に送信する。この内視要求は、例えば、内視対象物の外側を示す外側映像と、当該外側映像に対して指定された、内視の対象となる内視対象領域の絶対位置を示す内視対象領域座標とを含んでもよい。

センサ装置２１０は、内視対象物の内部構造の外観を示すＣＧモデルを生成するための情報を取得するセンサである。センサ装置２１０は、内視対象物の内部を撮影し、内部構造の外観を示す内部映像を取得するためのカメラである。また、センサ装置２１０は、内視対象物の内部構造の外観を示す内部映像に加えて、センサ装置２１０の絶対位置、方角、向き、内視対象物からの距離、及びこれらの情報の取得時刻に関する情報を取得する機能や、ネットワーク２２５を介して外部の装置（例えば、ストレージ部２２０、計算装置２３０）と通信するための機能を含んでもよい。
以下では、内視対象物の内部構造の外観を示すＣＧモデルを生成するために取得される、内視対象物の内部構造の外観を示す内部映像、センサ装置２１０の絶対位置、方角、向き、内視対象物からの距離、及びこれらの情報の取得時刻に関する情報を「内部情報」という。これらの内部情報は、定期的に取得されてもよく（１時間毎、６時間毎、２４時間毎等）、継続的に取得されてもよい。
ある実施形態では、センサ装置２１０は、内視対象物の内部において設置されてもよい。あるいは、ある実施形態では、センサ装置２１０は、配管などの内視対象物に流れる液体と共に流れながら上述した内部情報を取得するための防水小型撮影装置であってもよい。

ストレージ部２２０は、上述したセンサ装置２１０によって取得された内部情報２２２をネットワーク２２５を介して受信し、格納するための記憶領域である。ストレージ部２２０は、例えば、ネットワーク２２５上の共通のハードディスクドライブ、ソリッドステートドライブなどのストレージ装置であってもよく、クラウド型のストレージ領域であってもよい。また、ストレージ部２２０に格納されている内部情報２２２は、例えば計算装置からアクセス可能な形態で格納されてもよい。

計算装置２３０は、クライアント端末２０５から受信した内視要求に応じて、内視対象物の内部構造の外観を示す内視映像を生成し、クライアント端末２０５に送信するための機能部である。図２に示すように、計算装置２３０は、内視対象物の内部構造の外観を示す内視映像を生成するために、通信部２３２と、モデル生成部２３４と、内視映像生成部２３６と、モデル記憶部２３８とを含む。

通信部２３２は、計算装置２３０と、内視映像表示システム２００における他の装置間で通信される各種情報の送受信を行うための機能部である。例えば、通信部２３２は、クライアント端末２０５からの内視要求を受信したり、ストレージ部２２０に格納される内部情報２２２を取得したり、内視対象物の内部構造の外観を示す内視映像をクライアント端末２０５に送信したりしてもよい。

モデル生成部２３４は、ストレージ部２２０に格納されている内部情報２２２に基づいて、内視対象物の内部構造の外観を示すＣＧモデルを生成するための機能部である。モデル生成部２３４は、例えばセンサ装置２１０によって撮影された複数の内部映像を、所定の映像処理手段によって加工することで、内視対象物の内部構造の外観を立体的に示す３次元のＣＧモデルを生成することができる。また、ある実施形態では、モデル生成部２３４は、センサ装置２１０によって撮影された内部映像を、Ｖｏｌｕｍｅなどの機械学習手法により、内視対象物の内部構造の深度を推定し、内視対象物の内側の凹凸やテクスチャ等を表すＣＧモデルを生成してもよい。
なお、本開示においてＣＧモデルとは、３次元空間内のポイントの集まりによって画定される三角形、線、曲面などの様々な幾何学的オブジェクトによって形成される物理的な物体を立体的に表現するデータの集合である。また、このＣＧモデルの面は、テクスチャマッピングにより、様々なテクスチャ（物体表面の質感）を表すことができる。
また、ここで生成されるＣＧモデルは、例えば計算装置２３０に備えられるモデル記憶部２３８に、ＣＧモデル２４０として格納されてもよく、ネットワーク２２５を介してストレージ部２２０に格納されてもよい。このモデル記憶部２３８は、計算装置２３０の内部記憶領域であり、例えばハードディスクドライブやソリッドステートドライブなど、任意の記憶手段であってもよい。

内視映像生成部２３６は、内視対象物の内部構造の外観を示す内視映像を生成するための機能部である。内視映像生成部２３６は、クライアント端末２０５から受信した内視要求に含まれる内視対象領域座標に基づいて、内視映像に表示する表示領域を設定し、当該表示領域に対応するＣＧモデル映像をＣＧモデルから抽出し、このＣＧモデル映像と外側映像とを結合させることで、内視映像を生成する。このＣＧモデル映像は、ＣＧモデルの特定の領域を示し、ＣＧモデルから抜き出される２次元の画像である。
また、ここで生成される内視映像は、上述した通信部２３２を用いて、クライアント端末２０５に送信される。一例として、ここでの内視映像は、クライアント端末２０５から受信した内視要求に含まれる内視対象物の外側映像に、当該内視対象物の内部構造の外観を示すＣＧモデル映像を重ね合わせて表示する映像であってもよい。

以上説明したように構成した内視映像表示システム２００により、任意の内視対象物の内部の構造を示す内視映像を生成することができる。これにより、例えば配管の点検などの作業を行う作業員は、配管の内部の様子を容易に視認することができ、作業効率を向上させることができる。

次に、図３を参照して、本開示の実施形態に係る内視映像表示方法の流れについて説明する。

図３は、本開示の実施形態に係る内視映像表示方法３６０の流れの一例を示す図である。図３に示す内視映像表示方法３６０は、計算装置２３０が、クライアント端末２０５から受信した内視要求に応じて、内視対象物の内部構造の外観を示す内視映像をセンサ装置２１０によって取得された内部情報に基づいて生成し、クライアント端末２０５に表示するための処理である。

まず、ステップＳ３６１では、センサ装置２１０は、内視対象物の内部構造の外観を示すＣＧモデルを生成するための内部情報を取得する。上述したように、センサ装置２１０は、内視対象物の内部構造の外観を示す内部映像、センサ装置２１０の絶対位置、方角、向き、内視対象物からの距離、及びこれらの情報の取得時刻に関する情報を内部情報として取得してもよい。
また、上述したように、これらの内部情報は、継続的に取得されてもよい。これにより、これらの内部情報に基づいて生成される内視映像を常時、リアルタイムで動的に更新することが可能となる。

次に、ステップＳ３６２では、センサ装置２１０は、取得した内部情報をストレージ部２２０に格納する。ここで、センサ装置２１０は、内視対象物の内部構造の外観を示す内部映像、センサ装置２１０の絶対位置、方角、向き、内視対象物からの距離、及びこれらの情報の取得時刻を互いに対応付けて、ストレージ部２２０に管理される専用のデータベースに保存してもよい。

次に、ステップＳ３６３では、内部情報の取得を継続するか否かが判定される。例えば、センサ装置２１０は、取得した内部情報がＣＧモデルを生成するために十分か否か（内視対象物の内部面積を十分に撮影したか否か等）を判定してもよい。内部情報が十分に取得された場合には、センサ装置２１０の処理はステップＳ３７２へと進み、終了する。内部情報が十分に取得されていない場合には、センサ装置２１０の処理がＳ３６１へと戻り、内部情報の取得を継続してもよい。

次に、ステップＳ３６４では、ユーザは、クライアント端末２０５を用いて、内視対象物の内部が視認したい意図を示す内視要求を、計算装置２３０に送信する。この内視要求は、例えば、内視対象物の外側を示す外側映像と、当該外側映像に対して指定された、内視の対象となる内視対象領域の絶対位置を示す内視対象領域座標とを含んでもよい。また、内視対象物の内部構造を示す内視映像が既にクライアント端末２０５上に表示されている場合には、この内視要求は、この内視映像におけるＣＧモデル映像を非表示にするための非表示指示を含んでもよい。

より具体的には、クライアント端末２０５は、内視対象物の外側を示す外側映像を取得する際、ＧＰＳ等の測位機能を用いてクライアント端末２０５の絶対位置を判定すると共に、クライアント端末２０５の、撮影された内視対象物に対する相対的な位置を判定する。その後、判定したクライアント端末２０５の絶対位置と、クライアント端末２０５の、撮影された内視対象物に対する相対的な位置とから、撮影された内視対象物の内視対象領域の絶対位置を示す内視対象領域座標を計算することができる。
一例として、ユーザは、クライアント端末２０５を用いて、内視対象物の外側を撮影し、外側映像を取得した後、指によるタップやスワイプなどの動作で、当該外側映像に対して内視対象領域を入力してもよい。その後、クライアント端末２０５は、上述したように、指定された内視対象領域の絶対位置を示す内視対象領域座標を計算する。最後に、クライアント端末２０５は、取得された外側映像と、計算された内視対象領域座標とを内視要求として計算装置２３０に送信する。

ステップＳ３６５では、計算装置２３０は、内視要求をクライアント端末２０５から受信する。

次に、ステップＳ３６６では、計算装置２３０は、内視映像におけるＣＧモデル映像を非表示にするための非表示指示が内視要求に含まれているか否かを判定する。非表示指示が内視要求に含まれている場合には、計算装置２３０の処理がステップＳ３６８へと進み、非表示指示が内視要求に含まれていない場合には、計算装置２３０の処理がステップＳ３６９へと進む。

非表示指示が内視要求に含まれている場合、ステップＳ３６８では、計算装置２３０は、クライアント端末２０５に表示されている内視映像におけるＣＧモデル映像が非表示となるように、内視映像の表示設定を更新する。これにより、内視対象物の内部構造を示すＣＧモデル映像が非表示となり、内視対象物の外側のみが表示されるため、内視映像が外側映像と実質的に同様となる。これにより、クライアント端末２０５のユーザは、内視対象物の内部構造を示すＣＧモデル映像の表示を自由に切り替えることができる。

非表示指示が内視要求に含まれていない場合、ステップＳ３６９では、計算装置２３０は、内部情報をストレージ部２２０から取得し、内視対象物の内部構造を立体的に示すＣＧモデルを生成する。より具体的には、計算装置２３０は、内部情報に含まれる内視対象物の内部構造の外観を示す内部映像とセンサ装置２１０の絶対位置、方角、向き、及び内視対象物からの距離を用いて、内部映像の四隅の絶対位置を示す内部領域座標を算出し、当該内部映像を、Ｖｏｌｕｍｅなどの機械学習手法により、内視対象物の内部構造の深度を推定することでＣＧモデルを作成し、作成したＣＧオブジェクトを、計算した内部領域座標に対応付けてもよい。
なお、ＣＧモデルの生成の詳細については、図５～１０を参照して説明する。

次に、ステップＳ３７０では、計算装置２３０は、ＣＧモデルの映像と、外側映像とを結合することで、内視対象物の内部構造を示す内視映像を生成し、クライアント端末２０５に送信する。より具体的には、計算装置２３０は、クライアント端末２０５から受信した内視要求に含まれる内視対象領域に基づいて、内視映像に表示するＣＧモデルの領域である表示領域を設定する。この表示領域は、ユーザが視認したいと示した内視対象領域に対応するＣＧモデルの領域を少なくとも含むが、これに限定されない。例えば、ある実施形態では、この表示領域は、内視対象領域に対応するＣＧモデルの領域より広いＣＧモデルの領域を含んでもよい。
その後、計算装置２３０は、設定した表示領域に対応するＣＧモデル映像を、例えば上述したモデル記憶部に格納されているＣＧモデルから抽出する。このＣＧモデル映像は、ユーザが視認したいと示した内視対象領域に対応するＣＧモデルの領域を少なくとも含む領域２次元の映像である。ＣＧモデル映像が抽出された後、計算装置２３０は、当該ＣＧモデル映像と、クライアント端末２０５から受信した内視要求に含まれる外側映像とを結合させることで、内視映像を生成してもよい。この内視映像は、内視対象物の外側を示す外側映像の上に、ユーザが内視したい領域に対応するＣＧモデル映像を重ねた映像であってもよい。また、ある実施形態では、この内視映像は、内視対象物の外側を示す外側映像と、ユーザが内視したい領域に対応するＣＧモデル映像とを別々に表示する映像であってもよい。
また、ある実施形態では、計算装置２３０は、リアルタイムでセンサ装置から送信される内部情報に応じて、内視映像をリアルタイムで更新してもよい。これにより、例えば内視対象物の内部が変化した場合、クライアント端末のユーザはこの変化を迅速に把握することができる。
内視映像が生成された後、計算装置２３０は、当該内視映像をクライアント端末２０５に送信する。

次に、ステップＳ３７１では、クライアント端末２０５は、内視映像を計算装置２３０から受信し、当該内視映像を、クライアント端末２０５の画面などに表示する。その後、本処理はステップＳ３７２へと進み、終了する。

上述した内視映像表示方法３６０により、クライアント端末２０５のユーザは、内視したい内視対象物の外側を撮影し得た外側映像に対して、内視したい領域を指定することで、内視対象物の内部構造を当該外側映像に重ね合わせた内視映像を視認することができ、内視対象物の内部の様子を容易に確認したり、点検したりすることができる。
また、上述したように、クライアント端末２０５に搭載される機能を用いて、撮影された内視対象物における内視対象領域の絶対位置を示す内視対象領域座標を計算し、当該内視対象領域座標に対応するＣＧモデル映像を、内視対象物の内部構造の外観を立体的に示すＣＧモデルから抽出し、外側映像とＣＧモデル映像とを結合した内視映像を生成し、表示することで、ＡＲマーカを用いなくても、内視対象物の内部の様子を視認することができる。

次に、図４を参照して、本開示の実施形態に係るマスク解除手段について説明する。

図４は、本開示の実施形態に係るマスク解除手段の一例を示す図である。上述したように、本開示では、例えば配管の点検などの作業を行う作業員は、内視対象物の外側を示す外側映像をクライアント端末によって撮影し、内視対象物の内部が視認したい意図を示す内視要求を計算装置に送信することで、当該内視対象物の内部構造を示す内視映像をクライアント端末上で視認することができる。
また、ある実施形態では、内視映像において、内視可能な領域は、本発明の実施形態に係るマスク解除手段によって制御されてもよい。以下では、本発明の実施形態に係るマスク解除手段の概念について説明する。

まず、ユーザは、上述したクライアント端末（図４では例示せず）を用いて、内視対象物の外側を撮影し、外側映像４０５を取得する。
なお、ここで撮影される内視対象物の外側には、ＡＲマーカ４１０が張り付けられてもよいが、上述したように、本開示では、ＡＲマーカ４１０を用いなくても、内視対象物の内部の様子を視認することができる。ここでのＡＲマーカ４１０とは、ＡＲコンテンツを表示するトリガとして機能する標識となる、決まったパターンの画像を意味する。ＡＲマーカ４１０は、例えばＱＲコード（登録商標）や他の所定の画像であってもよい。

次に、計算装置（図４では例示せず）は、ＣＧモデルから抽出したＣＧモデル映像４１２の上に、クライアント端末から受信した外側映像４０５を、マスク４１４として重ねる。これにより、ＣＧモデル映像４１２は、マスク４１４によって隠され、外側映像４０５のみが表示される。このマスク４１４と、ＣＧモデル映像４１２とが重なった映像は、上述した内視映像としてクライアント端末に送信されてもよい。

次に、ユーザは、クライアント端末に表示されている内視映像に対して、視認したい内部領域である内視対象領域を、タップなどの動作で内視映像に対して指定すると、指定された内視対象領域には、マスク４１４を解除するマスク解除オブジェクト４１６が生成される。これにより、マスク解除オブジェクト４１６によって解除される領域のみにおいて、マスク４１４によって隠されていたＣＧモデル映像４１２が視認可能となり、それ以外の領域には、マスク４１４となった外側映像４０５が表示される。
これにより、ユーザは、クライアント端末に表示される内視映像において、マスク解除オブジェクト４１６による「のぞき穴」を通して、内視対象物の内部構造を視認することができる。

次に、図５を参照して、本開示の実施形態に係る内部映像の撮影範囲の内部領域座標計算の一例について説明する。

図５は、本開示の実施形態に係る内部映像の撮影範囲の内部領域座標計算の一例を示す図である。
上述したように、本開示の実施形態に係るＣＧモデルを生成するに当たって、当該ＣＧモデルが内視対象物においてどこの位置に対応するかを計算する必要がある。従って、ＣＧモデルの元となる内部映像の撮影範囲の四隅の絶対位置を示す内部領域座標を計算することで、当該内部映像が内視対象物のどこに対応するかを把握することができ、ＣＧモデルと内視対象物の位置関係を対応付けることができる。

上述したように、センサ装置２１０は、内視対象物の内部構造の外観を示す内部映像５０５、センサ装置２１０の絶対位置、方角、向き、内視対象物からの距離、及びこれらの情報の取得時刻に関する情報を内部情報として取得し、計算装置２３０に送信する。

計算装置２３０は、センサ装置２１０から取得した内部情報に基づいて、内部映像５０５の四隅を規定するＰ１、Ｐ２、Ｐ３、Ｐ４の各ポイントのＧＰＳ座標を計算することができる。より具体的には、計算装置２３０は、センサ装置２１０の絶対位置Ｏ、センサ装置２１０から所定のポイントＰまでの距離ｒ、及びセンサ装置２１０の向きの角度を示すΦ、θ等の空間的関係５０７に基づいて、四隅を規定するＰ１、Ｐ２、Ｐ３、Ｐ４のそれぞれのＧＰＳ座標を算出することができる。これにより、内部映像５０５に写る内視対象物の領域の絶対位置を示す内部領域座標を把握し、ＣＧモデルと内視対象物の対応関係を互いに整合させることができる。

次に、図６を参照して、本開示の実施形態に係る深度推定について説明する。

図６は、本開示の実施形態に係る深度推定の一例を示す図である。上述したように、本発明の実施形態に係る内視映像表示システムによって生成されるＣＧモデルは、内視対象物の内部のテクスチャー（物体表面の質感を表現するために用いられる、小さな画像）を立体的に表現する３次元のＣＧモデルであってもよい。
以下、本開示の実施形態に係る深度推定を用いて、内視対象物の内部のテクスチャーを立体的に表現する３次元のＣＧモデルを生成する一例を説明する。ここでの深度推定とは、二次元の映像や映像を解析してセンサ装置から被写体（つまり、内視対象物の内側など）までの距離を推定する手法である。

上述したように、本開示の実施形態に係るセンサ装置（例えば、図２に示すセンサ装置２１０）は、内視対象物の内部構造を示す内部映像６０５を取得する。ここでのセンサ装置は、例えば単眼の撮影装置であってもよく、複眼の撮影装置であってもよい。内部映像６０５は、例えば平面の２次元映像であってもよい。また、センサ装置は、内部映像６０５を取得する際、深度測定の手段を行い、センサ装置の、内部映像６０５に写る被写体における複数のポイントまでの距離を測定してもよい。
なお、説明の便宜上、図６では、１枚の内部映像６０５のみを例示しているが、本開示はこれに限定されず、実際には、センサ装置は、複数の内部映像を取得する。例えば、センサ装置は、内部映像を連続的に撮影してもよく、動画などの映像を取得してもよい。

センサ装置によって取得された後、当該内部映像６０５は、計算装置２３０に送信され、計算装置２３０のモデル生成部２３４によって処理される。ある実施形態では、モデル生成部２３４は、内部映像６０５と、センサ装置の、当該内部映像６０５における複数のポイントとの距離とに基づいて、内部映像６０５に写る領域のテクスチャーを立体的に表現する３次元のＣＧモデル６１０を生成してもよい。図６に示すように、この３次元のＣＧモデル６１０は、撮影された内視対象物の領域における凹凸を表現することができる。
また、ある実施形態では、モデル生成部２３４は、Ｖｏｌｕｍｅなどの機械学習による深度測定手段を用いて、２次元の内部映像６０５を解析することで、上述したような内視対象物の領域における凹凸を表現する立体的なＣＧモデル６１０を生成してもよい。

以上説明した深度推定手段により、内視対象物の状態を立体的に示すＣＧモデルを生成することができる。これにより、例えば配管の点検などの作業を行う作業員は、配管の内部における錆や傷などの凹凸を視認することができ、作業効率を向上させることができる。

次に、図７を参照し、本開示の実施形態に係る外側映像の一例について説明する。

図７は、本開示の実施形態に係る外側映像７１０の一例を示す図である。上述したように、本開示の実施形態に係る内視映像表示システムでは、ユーザは、内視の対象となる内視対象物の外側を示す外側映像を、例えば携帯型のクライアント端末によって撮影し、当該外側映像に対して、内視したい領域である内視領域を指定する。その後、クライアント端末２０５からの内視要求に応じて、上述した計算装置は、当該内視領域において、内視対象物の内部構造を示す内視映像を生成し、クライアント端末に送信する。
以下、本開示の実施形態に係る外側映像７１０の一例について説明する。

本開示の実施形態に係る外側映像は、内視の対象となる内視対象物の外側を示す外側映像である。例えば、図７に示すように、内視対象物が配管の場合には、外側映像は、配管の外側を示す映像である。ある実施形態では、この外側映像７１０は、内視対象物の外側に張り付けられたＡＲマーカーを映す映像であってもよいが、本開示の実施形態に係る内視映像表示システムはこれに限定されず、例えばＡＲマーカーが張り付けられていない内視対象物の場合であっても、ユーザが視認したい内視対象領域に対応する内視映像を生成することができる。

次に、図８を参照し、本開示の実施形態に係る外側映像に対する内視対象領域を指定する処理について説明する。

図８は、本開示の実施形態に係る外側映像７１０に対する内視対象領域８１５を指定する処理の一例を示す図である。上述したように、内視の対象となる内視対象物の外側を示す外側映像を、例えば携帯型のクライアント端末によって撮影された後、ユーザは、当該外側映像に対して、内視したい領域である内視対象領域８１５を指定する。
以下、外側映像７１０に対する内視対象領域８１５を指定する一例について説明する。

本開示の実施形態に係る内視対象領域は、ユーザが内視したい内視対象物の領域である。ユーザは、クライアント端末の画面に表示されている外側映像７１０に対して、指によるタップやスワイプなどの動作を行うことで、１つ又は複数の内視対象領域を指定してもよい。例えば、図８に示すように、外側映像７１０が複数の配管を示す場合、ユーザは、外側映像７１０に写る５つの配管のそれぞれに対して、内視対象領域８１５を指定してもよい。

また、内視対象領域８１５が外側映像７１０に対して指定される際、クライアント端末は、指定された内視対象領域８１５の絶対位置を示す内視対象領域座標を計算する。より具体的には、クライアント端末は、内視対象物の外側を示す外側映像を取得する際、ＧＰＳ等の測位機能を用いてクライアント端末２０５の絶対位置を判定すると共に、クライアント端末の、撮影された内視対象物に対する相対的な位置を判定する。その後、判定したクライアント端末の絶対位置と、クライアント端末の、撮影された内視対象物に対する相対的な位置とから、撮影された内視対象物の内視対象領域の絶対位置を示す内視対象領域座標を計算することができる。また、ここで計算された内視対象領域座標は、計算装置に送信される。

次に、図９～図１０を参照して、本開示の実施形態に係るＣＧモデルについて説明する。

図９は、本開示の実施形態に係るＣＧモデル９００の一例を示す図である。上述したように、計算装置（図９には例示せず）は、センサ装置（図９には例示せず）によって取得された内部情報を用いて、内視対象物の内部構造を立体的に示すＣＧモデルを生成することができる。一例として、計算装置は、センサ装置によって取得された複数の内部映像を、Ｖｏｌｕｍｅなどの機械学習手法によって解析することで、内視対象物の内部構造の深度を推定し、内視対象物の内側のテクスチャを表す立体的なＣＧモデルを生成してもよい。
内視対象物が複数ある場合には、それぞれの内視対象物に対応するＣＧモデル９００が生成されてもよい。例えば、図９に示すように、５つの配管が内視対象物となっている場合には、計算装置は、それぞれの配管に対応するＣＧモデル９００を生成してもよい。このように、内視対象物の内部構造における錆、傷、変色などを視認することができ、内視対象物の内部の状態を把握することができる。

図１０は、本開示の実施形態に係るＣＧモデル９００に対して表示領域１０１５を設定する一例を示す図である。図１０に示すように、計算装置（図１０には例示せず）は、クライアント端末を介してユーザによって外側映像に対して指定された内視対象領域に基づいて、内視映像に表示するＣＧモデルの領域である表示領域１０１５をＣＧモデル９００に対して設定する。ある実施形態では、この表示領域１０１５は、ユーザによって指定された内視対象領域と実質的に同様であってもよいが、本開示はこれに限定されない。例えば、ある実施形態では、計算装置は、ユーザによって指定された内視対象領域を中心とした、より広い領域を表示領域１０１５として設定してもよい。

次に、図１１を参照して、本開示の実施形態に係る内視映像について説明する。

図１１は、本開示の実施形態に係る内視映像１１００の一例を示す図である。上述したように、本開示の実施形態に係る内視映像１１００は、クライアント端末（図１１には例示せず）から受信した内視要求に含まれる内視対象物の外側映像７００に、当該内視対象物の内部構造の外観を示すＣＧモデル映像１１１０を重ね合わせて表示する映像である。

より具体的には、計算装置（図１１には例示せず）は、図１０を参照して説明した表示領域に対応するＣＧモデル映像１１１０を、例えば図９に示すＣＧモデルから抽出する。このＣＧモデル映像は、ユーザが視認したいと示した内視対象領域に対応するＣＧモデルの領域を少なくとも含む領域の映像である。ここで、外側映像７００とＣＧモデル映像１１１０とは、例えば任意の既存の映像加工手段によって結合されてもよい。
計算装置は、内視映像１１００を生成した後、当該内視映像１１００をクライアント端末に送信する。これにより、ユーザは、クライアント端末の画面に表示される内視映像を視認することで、内視対象物の外観を確認し、内部の状態を把握することができる。

次に、図１２を参照して、本開示の実施形態に係る障害物排除処理について説明する。

図１２は、本開示の実施形態に係る障害物排除処理１２００の一例を示す図である。上述したように、本開示の実施形態に係るセンサ装置は、内視対象物の内部を撮影することで、内視対象物の内部構造の外観を示す内部映像を取得するように構成されている。しかし、内視対象物とセンサ装置の間に障害物がある場合には、内視対象物の一部が当該障害物によって隠され、内部映像に写らないことがある。このような、内視対象物の一部が抜けている内部映像を用いてＣＧモデルを生成すると、内視対象物の内部の状態を完全に把握することができない。そこで、本発明の実施形態に係る内視映像表示システムによる障害物排除処理によれば、異なるセンサ装置によって撮影された、異なる画角の映像を合成することで、障害物によって隠された領域である「隠し領域」を補足することができる。

図１２に示すように、複数のセンサ装置１２１５Ａ、１２１５Ｂは、内視対象物における同一の内部領域１２０５を撮影する際、障害物１２１０がセンサ装置１２１５Ａ、１２１５Ｂと内部領域１２０５の間に入ってしまったとする。その結果、センサ装置１２１５Ａによって取得された内部映像１２１８Ａには、センサ装置１２１５Ａの角度に応じて、障害物１２１０によって隠された第１の隠し領域１２２０が生じてしまう。また、同様に、センサ装置１２１５Ｂによって取得された内部映像１２１８Ｂには、センサ装置１２１５Ｂの角度に応じて、障害物１２１０によって隠された第２の隠し領域１２２５が生じてしまう。ただし、内部映像１２１８Ａにおいて、内部映像１２１８Ｂにおける第２の隠し領域１２２５に対応する内視対象物の内部領域が写っており、同様に、内部映像１２１８Ｂにおいて、内部映像１２１８Ａにおける第１の隠し領域１２２０に対応する内視対象物の内部領域が写っている。

従って、任意の既存の映像加工手段を用いることで、内部映像１２１８Ａにおける第１の隠し領域１２２０を内部映像１２１８Ｂで補足し、内部映像１２１８Ｂにおける第２の隠し領域１２２５を内部映像１２１８Ａで補足するように内部映像１２１８Ａ及び内部映像１２１８Ｂを結合することで、それぞれの隠し領域を補い、内視対象物の内部領域全体が写る結合画像（すなわち、内部映像）を得ることができる。また、このように結合した内部映像を用いて上述したＣＧモデルを生成することで、より完全なＣＧモデルを生成することができ、内視対象物の内部の状態をより正確に把握することができる。

以上、本開示の実施の形態について説明したが、本開示は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。

２００ 内視映像表示システム
２０５ クライアント端末
２１０ センサ装置
２２０ ストレージ部
２２２ 内部情報
２２５ ネットワーク
２３０ 計算装置
２３２ 通信部
２３４ モデル生成部
２３６ 内視映像生成部

Claims (7)

1. 内視の対象物である内視対象物の内部に関する内部情報を取得するためのセンサ装置と、
   前記内視対象物の内部構造の外観を示す内視映像を生成するための計算装置と、
   前記内視対象物について生成した前記内視映像を視認するためのクライアント端末とが通信ネットワークを介して接続される内視映像表示システムであって、
   前記計算装置は、
   前記内部情報を前記センサ装置から受信し、
   前記内視対象物の外側を示す外側映像と、前記外側映像に対して指定された、内視の対象となる内視対象領域の絶対位置を示す内視対象領域座標とを含む内視要求を前記クライアント端末から受信すると共に、前記内視映像を前記クライアント端末に送信する通信部と、
   前記センサ装置から受信した前記内部情報に基づいて、前記内視対象物の内部構造の外観を示すＣＧモデルを生成するモデル生成部と、
   前記内視要求に含まれる前記内視対象領域座標に基づいて、前記内視映像に表示する前記ＣＧモデルの領域である表示領域を設定し、前記表示領域に対応するＣＧモデル映像を前記ＣＧモデルから抽出し、前記ＣＧモデル映像と前記外側映像とを結合させることで、前記内視映像を生成する内視映像生成部と、
   を含み、
   前記内部情報は、
   前記内視対象物の内部を示す内部映像と、前記センサ装置の前記内視対象物に対する距離及び向きと、前記センサ装置の絶対位置と、情報の取得時刻とを含み、
   前記計算装置は、
   前記内部情報に含まれる前記センサ装置の絶対位置と、前記センサ装置の前記内視対象物に対する距離及び向きとに基づいて、前記内部映像に示されている前記内視対象物の内部領域の四隅の座標を示す内部領域座標を計算し、
   所定の映像解析手段により、前記内部映像に基づいて、前記内視対象物の内部を示す３次元のＣＧモデルを作成し、
   前記内部領域座標を、前記ＣＧモデルにマッピングすることにより、前記ＣＧモデルと前記内視対象物の位置関係を対応付けることで、前記ＣＧモデルを生成する、
   ことを特徴とする内視映像表示システム。
2. 前記計算装置は、
   第１のセンサ装置から、障害物によって隠されている第１の領域を含む第１の内部映像と、
   第２のセンサ装置から、前記第１の領域に対応し、且つ、視認可能な第２の領域を含む第２の内部映像とを受信し、
   前記第１の領域を、前記第２の領域によって補足するように前記第１の内部映像と前記第２の内部映像とを結合した結合映像に基づいて、前記ＣＧモデルを生成する、
   ことを特徴とする、請求項１に記載の内視映像表示システム。
3. 前記センサ装置は、
   液体と共に流れながら前記内視対象物の内部を撮影する小型撮影装置である、
   ことを特徴とする、請求項２に記載の内視映像表示システム。
4. 前記センサ装置は、
   前記内部情報を継続的に取得するように構成されており、
   前記計算装置は、
   前記内部情報に応じて、前記内視映像をリアルタイムで動的に更新する、
   ことを特徴とする、請求項３に記載の内視映像表示システム。
5. 内視の対象物である内視対象物の内部に関する内部情報をセンサ装置から受信し、前記内視対象物の外側を示す外側映像と、前記外側映像に対して指定された、内視の対象となる内視対象領域の絶対位置を示す内視対象領域座標とを含む内視要求をクライアント端末から受信すると共に、内視映像を前記クライアント端末に送信する通信部と、
   前記センサ装置から受信した前記内部情報に基づいて、前記対象物の内部構造の外観を示すＣＧモデルを生成するモデル生成部と、
   前記内視要求に含まれる前記内視対象領域座標に基づいて、前記内視映像に表示する前記ＣＧモデルの領域である表示領域を設定し、前記表示領域に対応するＣＧモデル映像を前記ＣＧモデルから抽出し、前記ＣＧモデル映像と前記外側映像とを結合させることで、前記内視映像を生成する内視映像生成部と、
   を含み、
   前記モデル生成部は、
   前記内部情報に含まれる前記センサ装置の絶対位置と、前記センサ装置の前記内視対象物に対する距離及び向きとに基づいて、前記内視対象物の内部構造の外観を示す内視映像に示されている前記内視対象物の内部領域の四隅の座標を示す内部領域座標を計算し、
   所定の映像解析手段により、前記内部情報に含まれて前記内視対象物の内部を示す内部映像に基づいて、前記内視対象物の内部を示す３次元のＣＧモデルを作成し、
   前記内部領域座標を、前記ＣＧモデルにマッピングすることにより、前記ＣＧモデルと前記内視対象物の位置関係を対応付けることで、前記ＣＧモデルを生成する、
   ことを特徴とする内視映像表示装置。
6. 内視の対象物である内視対象物の内部に関する内部情報として、前記内視対象物の内部を示す内部映像と、前記内部映像を取得したセンサ装置の前記内視対象物に対する距離及び向きと、前記センサ装置の絶対位置とを取得する工程と、
   前記内部情報に含まれる前記センサ装置の絶対位置と、前記センサ装置の前記内視対象物に対する距離及び向きとに基づいて、前記内部映像に示されている前記内視対象物の内部領域の四隅の座標を示す内部領域座標を計算する工程と、
   所定の映像解析手段により、前記内部映像に基づいて、前記内視対象物の内部を示す３次元のＣＧモデルを作成し、
   前記内部領域座標を、前記ＣＧモデルにマッピングすることにより、前記ＣＧモデルと前記内視対象物の位置関係を対応付ける工程と、
   前記内視対象物の外側を示す外側映像と、前記外側映像に対して指定された、内視の対象となる内視対象領域の絶対位置を示す内視対象領域座標とを含む内視要求を受信する工程と、
   前記内視要求に含まれる前記内視対象領域座標に基づいて、表示される前記ＣＧモデルの領域である表示領域を設定し、前記表示領域に対応するＣＧモデル映像を前記ＣＧモデルから抽出し、前記ＣＧモデル映像と前記外側映像とを結合させることで、内視映像を生成する工程と、
   前記内視映像を出力する工程と、
   を含むことを特徴とする内視映像表示方法。
7. 障害物によって隠されている第１の領域を含む第１の内部映像を受信する工程と、
   前記第１の領域に対応し、且つ、視認可能な第２の領域を含む第２の内部映像とを受信する工程と、
   前記第１の領域を、前記第２の領域によって補足するように前記第１の内部映像と前記第２の内部映像とを結合した結合映像に基づいて、前記ＣＧモデルを生成する工程と、
   を更に含むことを特徴とする請求項６に記載の内視映像表示方法。