以下に図面を用いて、本実施形態に係る診断システムを詳細に説明する。
〔システム構成の概略〕
まず、診断システムの構成の概略について説明する。図1は、本実施形態に係る診断システムの概略図である。
図1に示されているように、本実施形態の診断システムは、診断処理装置3、及び診断管理サーバ5によって構築されている。更に、診断システムには、撮影車両9に搭載された車載撮影システム、及び再検査者が携帯する携帯撮影システムも含まれる。
ここで、図2を用いて、車載撮影システムの概要について説明する。図2は、車載撮影システムの使用イメージ図である。図2に示されているように、車載撮影システムは、撮影車両9に搭載されており、全天球撮影可能な特殊撮影装置1、複数の一眼レフ(被写界深度拡大カメラ(通称EDoFカメラ))によって扇型に構成された一般撮影装置群20、及びパソコン4によって構築されている。
なお、一般撮影装置群20の被写界深度拡大カメラはライン撮像素子としてラインCCD(Charge Coupled Device)を有する。ラインCCDは画素が一次元状(ライン状)に配列されているCCDである。本実施形態では、画素の配列方向が車両の走行方向と交差するように配列されている。これにより、撮影車両9がトンネル8内を走行しながら一般撮影装置群20で撮影することで、結果的にトンネル内を走査(スキャン)することができる。また、全天球撮影が可能な特殊撮影装置1で、所定時間(例えば、1/30秒)でトンネル8内を全天球撮影する。そして、パソコン4が、一般撮影装置群20から取得したトンネル展開画像のデータと特殊撮影装置1から取得したトンネル全天球画像のデータを関連付けて記憶しておく。
次に、図3を用いて、携帯撮影システムの概要について説明する。図3は、撮影システムの使用イメージ図である。図3に示されているように、再検査者は、スマートフォン6を衣服のポケットに入れ、アダプタ10を用いて特殊撮影装置1を取り付けた一般撮影装置3でトンネル8内の撮影を行なう。そして、再検査者が一般撮影装置2のレンズを診断対象に向けてシャッターボタン215aを押して撮影すると、一般撮影装置2が診断対象を撮影すると共に特殊撮影装置1が連動してその周辺を全天球撮影する。そして、スマートフォン6が、一般撮影装置2から取得した診断対象を含むトンネル部分画像のデータと特殊撮影装置1から取得したトンネル全天球画像のデータを関連付けて記憶しておく。
ここで、被写界深度とは、写真の焦点が合っているように見える被写体側の距離の範囲をいう。被写界深度拡大カメラは、このような被写界深度を拡大したカメラである。具体的には、逆変換フィルタにより、収差によるぼけを復元する逆変換処理を実行する逆変換手段を有し、合焦位置が光学系の光軸方向に延伸した合焦面を形成するように、光学系及び撮像手段を配置したカメラである。
より詳しくは、被写界深度拡大カメラは、入射した光に均一な収差を与えるレンズと、その収差が付与された画像に対して、逆フィルタ処理で空間周波数を復元する画像処理部とを有する。被写界深度拡大カメラでは、レンズの焦点距離及び絞りの大きさ(F値)に基づいて想定される「フォーカスが合う範囲」(被写界深度)よりも広い範囲で均一に収差が付与できるため、被写界深度が深くなる。レンズの焦点距離及び絞りの大きさ(F値)に基づいて想定される被写界深度と比較し、最大5倍程度まで被写界深度が拡大する。収差としては、球面収差だけでなく、3次収差などの非球面収差の付与も可能であり、本実施形態ではより性能の良い後者を選択するため、レンズが左右非対称となる。
一般的に、レンズは絞りを小さくしてF値を大きくすれば、上記の被写界深度拡大カメラを使用しなくても、被写界深度は拡大する。しかし、その分カメラの撮像部に入射する光が減少する(暗くなる)ため、同等の画質を得るためには照明の明るさを上げる必要がある。
例えば、照明の光源の数を増やすと、電力・コスト・撮影装置のサイズ・照明向きの調整など様々なデメリットが生じる。被写界深度拡大カメラでは、F値を大きくしなくても、レンズの明るさを確保し、被写界深度を拡大することができる。レンズの明るさの不足を照明の明るさで補う必要がないため、照明の光源の数を増やすこと等による電力・コスト・撮影装置のサイズ・照明向きの調整などの様々なデメリットを回避することができる。
一例として、撮像素子の一画素のサイズが5μm×5μm、レンズの焦点距離が60mm、F値が4、被写体との距離が3000mmの場合、レンズの焦点距離及び絞りの大きさ(F値)に基づいて想定される被写界深度が約200mmなのに対して、被写界深度拡大カメラでは、約990mmの被写界深度が得られる。
仮にトンネル壁面が円柱形状ではなく、カメラの光軸に対して垂直な平面であったとしても、焦点距離及び絞りの大きさ(F値)に基づいて想定される被写界深度のレンズでは、カメラとトンネル壁面との距離が200mm変化すると、撮影される画像がぼける(ピンボケする)。そのため、カメラとトンネル壁面との距離が変化する蛇行の許容範囲は200mmである。これに対し、被写界深度拡大カメラを利用すれば、990mm分の余裕があるため、カメラとトンネル壁面との距離が990mm変化するまで、ぼけ(ピンボケ)のない画像を撮影することができる。つまり、990mmまで蛇行の許容範囲を広げることができる。
また、図1に示されているように、診断システムを構成する診断処理装置3、及び診断管理サーバ5は、通信ネットワーク100を介して通信することができる。通信ネットワーク100は、インターネット、移動体通信網、LAN(Local Area Network)等によって構築されている。通信ネットワーク100には、有線通信だけでなく、3G(3rd Generation)、WiMAX(Worldwide Interoperability for Microwave Access)、LTE(Long Term Evolution)等の無線通信によるネットワークが含まれてもよい。例えばデータをより高速、低遅延、大容量、高効率に提供する事ができる第5世代移動通信システムである「5G」を採用することで、通信を効率よく行うことができる。また、診断処理装置3は、NFC(Near Field Communication)(登録商標)等の近距離通信技術によって通信可能である。また、診断管理サーバ5をクラウドサーバにすることも可能である。クラウドサーバにすることで、複数拠点から診断管理サーバ5に接続可能となる。
また、診断システム1は、例えば第1の事業者がトンネル(構造物)の画像を撮影し、当該第1の事業者が撮影後に診断管理サーバ5に画像を保管しても良い。もしくは、第1の事業者がトンネル(構造物)の画像を撮影し、当該撮影画像を第2の事業者に提供し、第2の事業者が上述の診断管理サーバ5に画像を保管し、当該保管された画像を第2の事業者が診断処理装置3による診断作業を行っても良い。この場合、第2の事業者が提出書類を出力しトンネル管理者(行政機関など)に提出する。
また、第1の事業者がトンネル(構造物)の画像を撮影し、当該撮影画像を第2の事業者に提供し、第2の事業者が上述の診断管理サーバ5に画像を保管し、当該保管された画像を第3の事業者が診断処理装置3による診断作業を行っても良い。この場合、第3の事業者が提出書類を出力しトンネル管理者(行政機関など)に提出する。また、提出作業のみ、第4の事業者が行っても良い。
これらはあくまで一例であり、事業者が複数介在しても、本発明を実施する事ができる。
図1において、検査車両7に乗車して検査している検査者は、特殊チョークでひび割れ等の変状部分を上書きして変状部分を目立つようにしたり、ひび割れの幅が何センチであるか等を記載したりする。その際、検査者は変状の様子や判定結果を示すコメントを野帳等に記載しておく。一方、検査車両の下にいる補助者は、検査者が発したコメントを野帳等に記載したり、場合によっては全体の写真撮影を行なったりする。なお、検査者が被るヘルメットに小型マイクと小型カメラを備え、検査者が発するコメントを小型マイクで収録し、コメントした対象箇所をカメラで撮影してもよい。この場合、収録された音声情報を音声認識装置によって認識して電子化し、小型カメラで撮影された画像と共に自動的に野帳(この場合、タブレット型PC等)に記録しても良い。
その後、カメラを搭載した撮影車両9が、トンネル8内の入口から出口まで走行しながらトンネル8の壁を撮影することで、後述の図16に示されているトンネル展開画像210のデータを得ることができる。トンネル展開画像210には、検査者が特殊チョークで記載した部分が写し出されているため、後日、診断処理装置3の利用者はトンネル展開画像を見れば、変状部分の位置や形状を容易に把握することができる。
また、撮影車両9には、カメラ以外に、車両9の進行方向の移動距離を計測する第1の測距センサ、車両9とトンネル8の壁面との距離を計測する第2の測距センサ、車両9の角度(姿勢)や角速度(又は角加速度)を検出するジャイロセンサ等も搭載されている。第2の測距センサは、例えば、TOF(Time Of Flight)センサ、LIDAR(Light Detection and Ranging)センサである。撮影車両9のカメラにより得られたトンネル展開画像のデータ、及び撮影車両9の各センサ(第1及び第2の測距センサ、ジャイロセンサ等)から得られた各検出データは、診断処理装置3を介して、診断管理サーバ5に送信され、この診断管理サーバ5で管理される。
また、診断処理装置3は、後述の診断対象画像、診断領域、及び診断情報等の各種データ入力を行なうためのコンピュータ(情報処理装置)であり、描画用の専用アプリケーションプログラムがインストールされている。診断処理装置3の利用者は、補助者等が記載した野帳等のコメント、構造物の一例としてのトンネル8内の入口から出口まで撮影車両9が走行しながら撮影されることで得られたトンネル展開画像のデータ、所定時間毎(例えば1/30秒毎)にトンネル8内を広範囲に渡って撮影することで得られたトンネル全天球画像、及び各センサの検出データを診断処理装置3に入力する。撮影車両9が走行しながら撮影することにより、結果的にトンネル8内を走査(スキャン)することによって、トンネル展開画像が生成される。トンネル展開画像にはトンネル8内の座標データである位置情報が含まれている。また、トンネル全天球画像は、撮影されたトンネル8内の位置を示す上記位置情報と関連付けられており、結果的に、トンネル全天球画像は、トンネル展開画像の各部分領域(部分領域画像)と関連付けられている。なお、他の装置に入力後、他の装置から診断処理装置3にデータを転送してもよい。更に、診断処理装置3の利用者は、トンネル管理者から入手したトンネル台帳のデータを、診断処理装置3に入力する。トンネル台帳には、トンネルの長さや高さ等が記載されている。この場合、診断処理装置3は、入力装置である。
更に、診断処理装置3には、ブラウザが搭載されており、診断処理装置3は、診断管理サーバ5から送られて来るトンネル展開画像を表示することができる。また、診断処理装置3の利用者は、トンネル展開画像上に表されているひび割れ等の変状部分の上から線等の描画を行うことで、画像である変状部分を位置座標で数値化する。
診断処理装置3の利用者は、診断管理サーバ5から、変状部分の描画を行うことで作成した変状展開図を含む提出書類のデータをダウンロードして、印刷した書類又は印刷しない状態のデータを、トンネル管理者に対して提出する。
即ち、診断管理サーバ5の送受信部51は、通信ネットワーク100を介して診断処理装置3に対して、変状部分の描画を行うことで作成した変状展開図を含む提出書類のデータを送信する。これにより、診断処理装置3の送受信部31は、提出書類のデータを受信する。また、診断処理装置3の送受信部31は、通信ネットワーク100を介して、トンネル管理者に提出書類のデータを送信する。または、診断処理装置3の送受信部31は、印刷装置に提出書類のデータを送信して印刷した後、診断処理装置3の利用者等がトンネル管理者に提出書類である印刷用紙を提出する。または、診断処理装置3の記憶・送受信部31は、DVD−R等の記録メディアに提出書類のデータを記録した後、診断処理装置3の利用者等がトンネル管理者に記録メディアを提出する。
なお、トンネル管理者に提出書類(データ又は印刷用紙)を提出する際の送受信部31及び記憶・読出部39は、いずれも出力手段の一例である。この場合、診断処理装置3は出力装置である。また、トンネル管理者への提出書類(電子データを含む)は信憑性を確実にする為、改竄防止処理を施されることが好ましい。
診断管理サーバ5は、トンネル展開画像、コメント、及びトンネル台帳等のデータの管理を行う。また、診断管理サーバ5は、診断処理装置3で描画されたひび割れ等の変状部分を数値化したデータの管理、及びトンネル展開画像における座標データの管理等を行う。
上記の処理は、検査者によるトンネル8内の全ての検査、検査車両7の走行及び一時停止、撮影車両8による撮影しながらの走行、利用者による診断処理装置3の操作が含まれており、大掛かりな検査を行うことになるため、多くの時間及び経費が発生するため、例えば、5年に1回行われる。但し、診断処理装置3の利用者は、提出書類(変状展開図、写真台帳、及びトンネル点検結果総括表)を作成してトンネル管理者に提出した後、次に提出するまでに、診断対象の変状の悪化が急激に進んでいる場合がある。そのため、診断対象によっては1年後に再度検査する必要がある場合がある。この場合、5年に1回行う大掛かりな検査を再度行うと、検査に多くの時間と費用が発生してしまう。そこで、再検査者は、簡易的な携帯撮影システムを用いて、トンネル8内に入り込み、会社(又は事務所)に戻って再診断が必要な診断対象のみを撮影してトンネル部分画像を取得することで、時間と費用を抑える。
再検査者は、診断処理装置3に対して、携帯撮影システムで撮影することで生成されたトンネル部分画像及びトンネル全天球画像の各データを入力する。そして、再検査者は診断処理装置3を後述のように操作することで、トンネル点検結果統括表を変更した新たに作成する。
〔全天球画像の生成方法〕
続いて、図4乃至図10を用いて、全天球画像の生成方法について説明する。まず、図4を用いて、特殊撮影装置1の外観を説明する。特殊撮影装置1は、全天球(360°)パノラマ画像の元になる撮影画像を得るためのデジタルカメラである。なお、図4(a)は特殊撮影装置の左側面図であり、図4(b)は特殊撮影装置の背面図であり、図4(c)は特殊撮影装置の平面図であり、図4(d)は特殊撮影装置の底面図である。
図4(a),図4(b),図4(c),図(d)に示されているように、特殊撮影装置1の上部には、正面側(前側)に魚眼型のレンズ102a及び背面側(後側)に魚眼型のレンズ102bが設けられている。特殊撮影装置1の内部には、後述の撮像素子(画像センサ)103a,103bが設けられており、それぞれレンズ102a、102bを介して被写体や風景を撮影することで、半球画像(画角180°以上)を得ることができる。特殊撮影装置1の正面側と反対側の面には、シャッターボタン115aが設けられている。また、特殊撮影装置1の側面には、電源ボタン115b、Wi-Fi(Wireless Fidelity)ボタン115c、及び撮影モード切替ボタン115dが設けられている。電源ボタン115b、及びWi-Fiボタン115cは、いずれも押下される度に、オンとオフが切り替えられる。また、撮影モード切替ボタン115dは、押下される度に、静止画の撮影モードと動画の撮影モードが切り替えられる。なお、シャッターボタン115a、電源ボタン115b、Wi-Fiボタン115c、及び撮影モード切替ボタン115dは、操作部115の一部であり、操作部115は、これらのボタンに限られない。
また、特殊撮影装置1の底部150の中央には、カメラ用三脚に特殊撮影装置1や一般撮影装置3を取り付けるための三脚ねじ穴151が設けられている。また、底部150の左端側には、Micro USB(Universal Serial Bus)端子152が設けられている。底部150の右端側には、HDMI(High-Definition Multimedia Interface)端子153が設けられている。なお、HDMIは登録商標である。
次に、図5を用いて、特殊撮影装置1の使用状況を説明する。なお、図5は、特殊撮影装置の使用イメージ図である。特殊撮影装置1は、図5に示されているように、例えば、利用者が手に持って利用者の周りの被写体を撮影するために用いられる。この場合、図4に示されている撮像素子103a及び撮像素子103bによって、それぞれ利用者の周りの被写体が撮像されることで、2つの半球画像を得ることができる。
次に、図6及び図7を用いて、特殊撮影装置1で撮影された画像から正距円筒射影画像EC及び全天球画像CEが作成されるまでの処理の概略を説明する。なお、図6(a)は特殊撮影装置1で撮影された半球画像(前側)、図6(b)は特殊撮影装置で撮影された半球画像(後側)、図6(c)は正距円筒図法により表された画像(以下、「正距円筒射影画像」という)を示した図である。図7(a)は正距円筒射影画像で球を被う状態を示した概念図、図7(b)は全天球画像を示した図である。
図6(a)に示されているように、撮像素子103aによって得られた画像は、後述の魚眼レンズ102aによって湾曲した半球画像(前側)となる。また、図6(b)に示されているように、撮像素子103bによって得られた画像は、後述の魚眼レンズ102bによって湾曲した半球画像(後側)となる。そして、半球画像(前側)と、180度反転された半球画像(後側)とは、特殊撮影装置1によって合成され、図6(c)に示されているように、正距円筒射影画像ECが作成される。
そして、OpenGL ES(Open Graphics Library for Embedded Systems)が利用されることで、図7(a)に示されているように、正距円筒射影画像が球面を覆うように貼り付けられ、図7(b)に示されているような全天球画像CEが作成される。このように、全天球画像CEは、正距円筒射影画像ECが球の中心を向いた画像として表される。なお、OpenGL ESは、2D(2-Dimensions)および3D(3-Dimensions)のデータを視覚化するために使用するグラフィックスライブラリである。なお、全天球画像CEは、静止画であっても動画であってもよい。
以上のように、全天球画像CEは、球面を覆うように貼り付けられた画像であるため、人間が見ると違和感を持ってしまう。そこで、全天球画像CEの一部の所定領域(以下、「所定領域画像」という)を湾曲の少ない平面画像として表示することで、人間に違和感を与えない表示をすることができる。これに関して、図8及び図9を用いて説明する。
なお、図8は、全天球画像を三次元の立体球とした場合の仮想カメラ及び所定領域の位置を示した図である。仮想カメラICは、三次元の立体球として表示されている全天球画像CEに対して、その画像を見るユーザの視点の位置に相当するものである。また、図9(a)は図8の立体斜視図、図9(b)はディスプレイに表示された場合の所定領域画像を表す図である。また、図9(a)では、図7に示されている全天球画像CEが、三次元の立体球CSで表わされている。このように生成された全天球画像CEが、立体球CSであるとすると、図8に示されているように、仮想カメラICが全天球画像CEの内部に位置している。全天球画像CEにおける所定領域Tは、仮想カメラICの撮影領域であり、全天球画像CEを含む三次元の仮想空間における仮想カメラICの撮影方向と画角を示す所定領域情報によって特定される。
そして、図9(a)に示されている所定領域画像Qは、図9(b)に示されているように、所定のディスプレイに、仮想カメラICの撮影領域の画像として表示される。図9(b)に示されている画像は、初期設定(デフォルト)された所定領域情報によって表された所定領域画像である。以下では、仮想カメラICの撮影方向(ea,aa)と画角(α)を用いて説明する。
図10を用いて、所定領域情報と所定領域Tの画像の関係について説明する。なお、図10は、所定領域情報と所定領域Tの画像の関係との関係を示した図である。図10に示されているように、「ea」はelevation angle、「aa」はazimuth angle、「α」は画角(Angle)を示す。即ち、撮影方向(ea,aa)で示される仮想カメラICの注視点が、仮想カメラICの撮影領域である所定領域Tの中心点CPとなるように、仮想カメラICの姿勢を変更することになる。所定領域画像Qは、全天球画像CEにおける所定領域Tの画像である。fは仮想カメラICから中心点CPまでの距離である。Lは所定領域Tの任意の頂点と中心点CPとの距離である(2Lは対角線)。そして、図10では、一般的に以下の(式1)で示される三角関数が成り立つ。
L/f=tan(α/2)・・・(式1)
〔ハードウェア構成〕
続いて、図11乃至図14を用いて、診断システムを構築する各装置(特殊撮影装置1、一般撮影装置2、診断処理装置3、パソコン4、診断管理サーバ6、スマートフォン6)のハードウェア構成を説明する。
<特殊撮影装置のハードウェア構成>
まず、図11を用いて、特殊撮影装置1のハードウェア構成を説明する。図11は、特殊撮影装置1のハードウェア構成図である。以下では、特殊撮影装置1は、2つの撮像素子を使用した全天球(全方位)特殊撮影装置とするが、撮像素子は2つ以上いくつでもよい。また、必ずしも全方位撮影専用の装置である必要はなく、通常のデジタルカメラやスマートフォン等に後付けの全方位の撮像ユニットを取り付けることで、実質的に特殊撮影装置1と同じ機能を有するようにしてもよい。
図11に示されているように、特殊撮影装置1は、撮像ユニット101、画像処理ユニット104、撮像制御ユニット105、マイク108、音処理ユニット109、CPU(Central Processing Unit)111、ROM(Read Only Memory)112、SRAM(Static Random Access Memory)113、DRAM(Dynamic Random Access Memory)114、操作部115、ネットワークI/F116、通信部117、アンテナ117a、及び電子コンパス118によって構成されている。
このうち、撮像ユニット101は、各々半球画像を結像するための180°以上の画角を有する広角レンズ(いわゆる魚眼レンズ)102a,102bと、各広角レンズに対応させて設けられている2つの撮像素子103a,103bを備えている。撮像素子103a,103bは、魚眼レンズ102a,102bによる光学像を電気信号の画像データに変換して出力するCMOS(Complementary Metal Oxide Semiconductor)センサやCCD(Charge Coupled Device)センサなどの画像センサ、この画像センサの水平又は垂直同期信号や画素クロックなどを生成するタイミング生成回路、この撮像素子の動作に必要な種々のコマンドやパラメータなどが設定されるレジスタ群などを有している。
撮像ユニット101の撮像素子103a,103bは、各々、画像処理ユニット104とパラレルI/Fバスで接続されている。一方、撮像ユニット101の撮像素子103a,103bは、撮像制御ユニット105とは、シリアルI/Fバス(I2Cバス等)で接続されている。画像処理ユニット104、撮像制御ユニット105及び音処理ユニット109は、バス110を介してCPU111と接続される。さらに、バス110には、ROM112、SRAM113、DRAM114、操作部115、ネットワークI/F116、通信部117、及び電子コンパス118なども接続される。
画像処理ユニット104は、撮像素子103a,103bから出力される画像データをパラレルI/Fバスを通して取り込み、それぞれの画像データに対して所定の処理を施した後、これらの画像データを合成処理して、図3(c)に示されているような正距円筒射影画像のデータを作成する。
撮像制御ユニット105は、一般に撮像制御ユニット105をマスタデバイス、撮像素子103a,103bをスレーブデバイスとして、I2Cバスを利用して、撮像素子103a,103bのレジスタ群にコマンド等を設定する。必要なコマンド等は、CPU111から受け取る。また、撮像制御ユニット105は、同じくI2Cバスを利用して、撮像素子103a,103bのレジスタ群のステータスデータ等を取り込み、CPU111に送る。
また、撮像制御ユニット105は、操作部115のシャッターボタンが押下されたタイミングで、撮像素子103a,103bに画像データの出力を指示する。特殊撮影装置1によっては、ディスプレイ(例えば、スマートフォン6のディスプレイ617)によるプレビュー表示機能や動画表示に対応する機能を持つ場合もある。この場合は、撮像素子103a,103bからの画像データの出力は、所定のフレームレート(フレーム/分)によって連続して行われる。
また、撮像制御ユニット105は、後述するように、CPU111と協働して撮像素子103a,103bの画像データの出力タイミングの同期をとる同期制御手段としても機能する。なお、本実施形態では、特殊撮影装置1にはディスプレイが設けられていないが、表示部を設けてもよい。
マイク108は、音を音(信号)データに変換する。音処理ユニット109は、マイク108から出力される音データをI/Fバスを通して取り込み、音データに対して所定の処理を施す。
CPU111は、特殊撮影装置1の全体の動作を制御すると共に必要な処理を実行する。ROM112は、CPU111のための種々のプログラムを記憶している。SRAM113及びDRAM114はワークメモリであり、CPU111で実行するプログラムや処理途中のデータ等を記憶する。特にDRAM114は、画像処理ユニット104での処理途中の画像データや処理済みの正距円筒射影画像のデータを記憶する。
操作部115は、シャッターボタン115aなどの操作ボタンの総称である。ユーザは操作部115を操作することで、種々の撮影モードや撮影条件などを入力する。
ネットワークI/F116は、SDカード等の外付けのメディアやパーソナルコンピュータなどとのインターフェース回路(USBI/F等)の総称である。また、ネットワークI/F116としては、無線、有線を問わない。DRAM114に記憶された正距円筒射影画像のデータは、このネットワークI/F116を介して外付けのメディアに記録されたり、必要に応じてネットワークI/F116を介してスマートフォン5等の外部端末(装置)に送信されたりする。
通信部117は、特殊撮影装置1に設けられたアンテナ117aを介して、Wi-Fi、NFC、Bluetooth等の近距離無線通信技術によって、スマートフォン5等の外部端末(装置)と通信を行う。この通信部117によっても、正距円筒射影画像のデータをスマートフォン5等の外部端末(装置)に送信することができる。
電子コンパス118は、地球の磁気から特殊撮影装置1の方位を算出し、方位情報を出力する。この方位情報はExifに沿った関連情報(メタデータ)の一例であり、撮影画像の画像補正等の画像処理に利用される。なお、関連情報には、画像の撮影日時、及び画像データのデータ容量の各データも含まれている。
<一般撮影装置のハードウェア構成>
次に、図12を用いて、一般撮影装置のハードウェアについて説明する。図12は、一般撮影装置3のハードウェア構成図である。図12に示されているように、一般撮影装置3は、撮像ユニット201、画像処理ユニット204、撮像制御ユニット205、マイク208、音処理ユニット209、バス210、CPU211、ROM212、SRAM213、DRAM214、操作部215、ネットワークI/F216、通信部217、アンテナ217a、電子コンパス218、及びディスプレイ219によって構成されている。画像処理ユニット204及び撮像制御ユニット205は、バス210を介してCPU211と接続される。
各構成204、210、211、212、213、214、215、216、217、217a、218は、それぞれ、図11の特殊撮影装置1における各構成104、110、111、112、113、114、115、116、117、117a、118と同様の構成であるため、その説明を省略する。
更に、一般撮影装置3の撮影ユニット201は、図12に示されているように、撮像素子203の前面にレンズユニット206、及びメカニカルシャッタ207が外部から撮像素子203の方向に順に設けられている。
撮像制御ユニット205は、基本的に撮像制御ユニット105と同様の構成及び処理を行なうが、更に、操作部215によって受け付けられた利用者の操作に基づいて、レンズユニット206、及びメカニカルシャッタ207の駆動を制御する。
また、ディスプレイ219は、操作メニュー、撮影中又は撮影後の画像を表示させる表示手段の一例である。
<診断処理装置、パソコン、及び診断管理サーバのハードウェア構成>
図13は、診断処理装置、パソコン、診断管理サーバのハードウェア構成図である。括弧内の符号は、パソコン、及び診断管理サーバの構成を示している。
図13に示されているように、診断処理装置3は、CPU(Central Processing Unit)301、ROM(Read Only Memory)302、RAM(Random Access Memory)303、HD(Hard Disk)304、HDD(Hard Disk Drive)305、記録メディア306、メディアI/F307、ディスプレイ308、ネットワークI/F309、キーボード311、マウス312、メディアドライブ314、及び、バスライン310を備えている。
これらのうち、CPU301は、診断処理装置3全体の動作を制御する。ROM302は、CPU301の駆動に用いられるプログラムを記憶する。RAM303は、CPU301のワークエリアとして使用される。HD304は、プログラム等の各種データを記憶する。HDD305は、CPU301の制御にしたがってHD304に対する各種データの読み出し又は書き込みを制御する。メディアI/F307は、フラッシュメモリ等の記録メディア306に対するデータの読み出し又は書き込み(記憶)を制御する。ディスプレイ308は、カーソル、メニュー、ウィンドウ、文字、又は画像などの各種情報を表示する。ネットワークI/F309は、通信ネットワーク100を利用してデータ通信をするためのインターフェースである。キーボード311は、文字、数値、各種指示などの入力のための複数のキーを備えた入力手段の一種である。マウス312は、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行う入力手段の一種である。CD−RWドライブ314は、着脱可能な記録媒体の一例としてのDVD等のメディア313に対する各種データの読み出し又は書き込みを制御する。なお、メディアには、Blu-ray Disc(Blu-rayは登録商標)、CD(Compact Disc)等も含まれる。
また、パソコン4は、CPU401、ROM402、RAM403、HD404、HDD405、記録メディア406、メディアI/F407、ディスプレイ408、ネットワークI/F409、キーボード411、マウス412、メディアドライブ414、及び、バスライン410を備えている。これらは、それぞれ上述の構成(CPU301、ROM302、RAM303、HD304、HDD305、記録メディア306、メディアI/F307、ディスプレイ308、ネットワークI/F309、キーボード311、マウス312、CD−RWドライブ314、及び、バスライン310)と同様の構成であるため、これらの説明を省略する。
更に、診断管理サーバ5は、CPU501、ROM502、RAM503、HD504、HDD505、記録メディア506、メディアI/F507、ディスプレイ508、ネットワークI/F509、キーボード511、マウス512、メディアドライブ514、及び、バスライン510を備えている。これらは、それぞれ上述の構成(CPU301、ROM302、RAM303、HD304、HDD305、記録メディア306、メディアI/F307、ディスプレイ308、ネットワークI/F309、キーボード311、マウス312、CD−RWドライブ314、及び、バスライン310)と同様の構成であるため、これらの説明を省略する。なお、診断処理装置3、パソコン4、及び診断管理サーバ5は、それぞれ単一のコンピュータによって構築されてもよいし、各部(機能、手段、又は記憶部)を分割して任意に割り当てられた複数のコンピュータによって構築されていてもよい。
<スマートフォンのハードウェア構成>
次に、図14を用いて、スマートフォンのハードウェアについて説明する。図14は、スマートフォンのハードウェア構成図である。図14に示されているように、スマートフォン5は、CPU601、ROM602、RAM603、EEPROM604、CMOSセンサ605、撮像素子I/F613a、加速度・方位センサ606、メディアI/F608、GPS受信部609を備えている。
これらのうち、CPU601は、スマートフォン5全体の動作を制御する。ROM602は、CPU601やIPL(Initial Program Loader)等のCPU601の駆動に用いられるプログラムを記憶する。RAM603は、CPU601のワークエリアとして使用される。EEPROM604は、CPU601の制御にしたがって、スマートフォン用プログラム等の各種データの読み出し又は書き込みを行う。CMOSセンサ605は、CPU601の制御に従って被写体(主に自画像)を撮像し画像データを得る。撮像素子I/F613aは、CMOSセンサ612の駆動を制御する回路である。加速度・方位センサ606は、地磁気を検知する電子磁気コンパスやジャイロコンパス、加速度センサ等の各種センサである。メディアI/F608は、フラッシュメモリ等の記録メディア607に対するデータの読み出し又は書き込み(記憶)を制御する。GPS受信部609は、GPS衛星からGPS信号を受信する。
また、スマートフォン5は、遠距離通信回路611、アンテナ611a、CMOSセンサ612、撮像素子I/F613b、マイク614、スピーカ615、音入出力I/F616、ディスプレイ617、外部機器接続I/F618、近距離通信回路619、近距離通信回路619のアンテナ619a、及びタッチパネル521を備えている。
これらのうち、遠距離通信回路611は、後述の通信ネットワーク100を介して、他の機器と通信する回路である。CMOSセンサ612は、CPU601の制御に従って被写体を撮像して画像データを得る内蔵型の撮像手段の一種である。撮像素子I/F613bは、CMOSセンサ612の駆動を制御する回路である。マイク614は、音声を入力する内蔵型の集音手段の一種である。音入出力I/F616は、CPU601の制御に従ってマイク614及びスピーカ615との間で音信号の入出力を処理する回路である。ディスプレイ617は、被写体の画像や各種アイコン等を表示する液晶や有機ELなどの表示手段の一種である。外部機器接続I/F618は、各種の外部機器を接続するためのインターフェースである。近距離通信回路619は、Wi-Fi、NFC、Bluetooth等の通信回路である。タッチパネル521は、利用者がディスプレイ617を押下することで、スマートフォン5を操作する入力手段の一種である。
また、スマートフォン5は、バスライン610を備えている。バスライン610は、CPU601等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。
なお、上記各プログラムが記憶されたHD(Hard Disk)やCD−ROM等の記録媒体は、いずれもプログラム製品(Program Product)として、国内又は国外へ提供されることができる。
〔診断システムの機能構成〕
続いて、図15乃至図19を用いて、本実施形態の機能構成について説明する。図15は、診断システムの機能ブロック図である。
<診断処理装置の機能構成>
図15に示されているように、診断処理装置3は、送受信部31、受付部32、描画部33、表示制御部34、判断部35、類似画像検索部37、入出力部39、及び記憶・読出部39を有している。これら各部は、図13に示されている各構成要素のいずれかが、HD304からRAM303上に展開されたプログラムに従ったCPU301からの命令によって動作することで実現される機能、又は機能する手段である。また、診断処理装置3は、図13に示されているRAM303及びHD304によって構築される記憶部3000を有している。
(再検査結果情報)
記憶部3000には、携帯撮影システムのスマートフォン6から入出力部38を介して、又はスマートフォン6から一旦診断管理サーバ5に記憶された後に送受信部31を介して取得された再検査結果情報が記憶される。
図19(b)は、診断処理装置3が取得する再検査結果情報を示す。なお、ここでは、分りやすいようにテーブル形式にして示しているが、テーブル形式ではなくてもよい。再検査結果情報は、構造物ID、及び再検査日毎に、トンネル部分画像、及びトンネル全天球画像を関連付けて示している。
これらのうち、構造物IDは、トンネル等の構造物を識別するための構造物識別情報の一例である。同じトンネルであれば、検査日が異なっていても、構造物IDは同じである。検査日は、図1の右側に示すように携帯撮影システム撮影した日(第2期の一例)を示す。トンネル部分画像は、第2期の狭角画像の一例であり、図3に示すように、検査者が、再検査日に一般撮影装置2を用いて診断対象を撮影することで、一般撮影装置2が生成した平面画像のファイル名等を示す。トンネル全天球画像は、第2期の広角画像の一例であり、図3に示すように、検査者が、再検査日に特殊撮影装置1を用いて診断対象を含むトンネル内の広範囲を撮影することで、特殊撮影装置1が生成した全天球画像のファイル名等を示す。なお、狭角画像、広角画像の定義として、撮影画角の関係が「狭角画像<広角画像」であれば良い。
(診断処理装置の各機能構成)
次に、診断処理装置3の各構成要素について説明する。
送受信部31は、図13に示されているCPU301からの命令、並びにネットワークI/F305によって実現され、通信ネットワーク100を介して他の端末、装置又はシステムと各種データ(または情報)の送受信を行う。
受付部32は、主に、図13に示されているCPU301からの命令によって実現され、利用者によって操作されたキーボード311又はマウス312から信号を受信することで、利用者の各種操作を受け付ける。
描画部33は、図13に示されているCPU301からの命令によって実現され、ディスプレイ308に表示されている画像上に、線や矩形等の描画を行なう。
表示制御部34は、図13に示されているCPU301からの命令によって実現され、ディスプレイ308に、各種画像や画面を表示させる。
判断部35は、図13に示されているCPU301からの命令によって実現され、後述の各種判断を行なう。
類似画像検索部37は、図13に示されているCPU301からの命令によって実現され、ある画像を検索キーとして他の複数の画像を検索することで類似度が所定値を超える所定の画像を抽出する。
入出力部38は、図13に示されているCPU301からの命令、及びメディアI/F307又はメディアドライブ314によって実現され、DVD等の各種メディアからデータを入力したり、各種メディアにデータを出力する。
記憶・読出部39は、図13に示されているCPU301からの命令、並びに、HDD305、メディアI/F307、及びCD−RWドライブ314によって実行され、記憶部3000、記録メディア306、及びCD−RW313に各種データを記憶したり、記憶部3000、記録メディア306、及びCD−RW313から各種データを読み出したりする処理を行う。
<診断管理サーバの機能構成>
診断管理サーバ5は、送受信部51、作成部53、判断部55、及び記憶・読出部59を有している。これら各部は、図13に示されている各構成要素のいずれかが、HD504からRAM503上に展開されたプログラムに従ったCPU501からの命令によって動作することで実現される機能又は機能する手段である。また、診断管理サーバ5は、図18図に示されているHD504により構築される記憶部5000を有している。
(トンネル展開画像と座標)
図16は、トンネル展開画像のデータと座標データの関係を示した概念図である。記憶部5000には、図1に示されているように、コメント、トンネル全天球画像のデータ、トンネル展開画像のデータ、測距等の各センサの検出データ、トンネル台帳のデータが記憶される。座標データ201cは、診断管理サーバ5の送受信部51が診断処理装置3からトンネル展開画像及び各検出データを取得した後に、作成部53によって作成されたデータである。座標データ201cは、撮影車両9がトンネル8内を走行中に撮影することで、結果的にトンネル8内を走査(スキャン)する際に生成されたデータである。この座標データ201cの一部は、後述の走査位置を示す位置情報として用いられる。座標データ201cの作成方法は後述する。
トンネル展開画像201のデータは、撮影車両9のカメラから出力された状態では、単なる画像のデータであるため、トンネル展開画像201と、実際のトンネルとの位置関係が明確ではない。そこで、トンネル展開画像201と、実際のトンネルとの位置関係を明確にするため、トンネル展開画像201に対応する座標データが作成される。
図16では、実際のトンネルの入口から出口に向けて、1番目のスパン(「セントル」ともいう)から順に各スパンが表されている。このスパンは、実際のトンネルの入口から10m毎に区切られた領域を示しており、図16では、複数のスパンの画像によって構成されたトンネル展開画像201が示されている。スパン番号は、トンネル管理者が提供するトンネル台帳に記載されている。これに対して、座標データでも、1番目のスパンがS001で示され、2番目のスパンがS002で示されているように、左から右に向けて、座標データ用のスパン番号が割り振られている。更に、各スパン内の特定の位置を示すために位置座標(xn,ym)が用いられる。例えば、座標データにおける任意の2点が同じ座標で示されていても、スパンが異なればトンネル内の異なる位置を示している。なお、スパンの無いトンネルに対応するため、スパン番号S001等を用いずに、トンネル展開画像内の特定の位置を位置座標だけで示すようにしてもよい。
(診断情報管理テーブル)
図17は、診断情報管理テーブルを示す概念図である。記憶部5000には、図17に示されているような診断情報管理テーブルによって構成されている診断情報管理DB5001が構築されている。この診断情報管理テーブルは、図16に示されている座標データが診断管理サーバ5で作成された後、利用者が診断処理装置3を用いてトンネル展開画像上に表されているひび割れ等の変状部分の上から線等を描画することによって特定された変状部分の位置座標等を管理している。この診断情報管理テーブルでは、構造物ID及び検査日毎に、診断領域番号、スパン番号(またはセントル番号)、診断領域のスパン内における位置座標、診断領域の高さ及び幅、写真番号、変状・異常の種類、判定結果、及びコメントが関連付けて管理される。これらのうち、構造物IDは、トンネル等の構造物を識別するための構造物識別情報の一例である。同じトンネルであれば、検査日が異なっていても、構造物IDは同じである。検査日は、図1の左側に示すように検査車両7及び撮影車両9で検査及び撮影した日(第1期の一例)を示す。診断領域番号は、後述の診断領域が含まれるグループを示す識別情報である。スパン番号は、図16に示されている座標データ201cにおける特定のスパン番号を示し、トンネルのスパンの番号を示した値である。
診断領域のスパン内における位置座標は、図16に示されている座標データ201cにおける特定の位置座標を示し、任意のスパン内の特定の位置を原点とした場合に、このスパン内における診断領域の特定点(始点)の位置座標を示している。
診断領域の高さ及び幅は、診断領域のスパン内における位置座標を原点として、高さ及び幅を示すことで、診断領域全体を特定するための値を示している。
写真番号は、写真台帳に添付される写真を識別するための識別情報である。
変状・異常の種類は、検査者が判断した診断対象の変状又は異常の種類を示す。
判定結果は、検査者が判断した診断対象の判定結果を示す。一般には、S,A,B,Cの順に、左に行くほど、診断対象の状態が悪いことを示す。
コメントは、図1において、検査者又は補助者が記録したコメントの内容である。
(診断対象要素管理テーブル)
図18は、診断対象要素管理テーブルを示す概念図である。記憶部5000には、図18に示されているような診断対象要素管理テーブルによって構成されている診断対象要素管理DB5001が構築されている。この診断対象要素管理テーブルでは、構造物ID及び検査日毎に、診断領域番号、スパン番号(セントル番号)、要素番号、診断対象画像要素の始点位置座標、診断対象画像要素の終点位置座標、及び診断対象要素の幅(mm)が関連付けて管理される。
これらのうち、構造物ID、検査日、診断領域番号及びスパン番号(セントル番号)は、図17の診断情報管理テーブルと同じである。これら診断領域番号及びスパン番号(セントル番号)によって、診断情報管理テーブル及び診断対象要素管理テーブルは、関連付けられている。
要素番号は、診断対象画像の要素である診断対象画像要素を識別するための識別情報である。
診断対象要素画像の始点位置座標は、トンネル展開画像の任意のスパン内で診断対象要素画像が描画される場合の始点の位置座標を示している。例えば、図38では、診断対象画像要素e21の始点p21の位置座標を示している。
診断対象画像要素の終点位置座標は、トンネル展開画像の任意のスパン内で診断対象画像要素が描画される場合の終点の位置座標を示している。例えば、図38では、診断対象画像要素e21の終点p22の位置座標を示している。
なお、始点位置座標及び終点位置座標は、図16に示されている座標データ201cにおける特定の位置座標を示している。
診断対象要素の幅(mm)は、診断対象要素がひび割れの場合の幅を示している。例えば、図38では、利用者によって幅入力画面ws1に入力された値を示している。利用者が幅入力画面ws1に数値を入力すると、受付部32が入力を受け付け、図39に示されているように、表示制御部34は、入力された数値(「0.5」)を表示する。
(画像関連情報管理テーブル)
図19(a)は、画像関連情報管理テーブルを示す概念図である。記憶部5000には、図19(a)に示されているような画像関連情報管理テーブルによって構成されている画像関連情報管理DB5003が構築されている。この画像関連情報管理テーブルでは、構造物ID、検査日、及び展開画像ID毎に、トンネル展開画像の走査(スキャン)位置を示す位置情報、及びトンネル全天球画像が関連付けて管理される。
これらのうち、構造物ID及び検査日は、図17の構造物ID及び検査日と同じである。
図1の左側に示すように検査車両7及び撮影車両9で検査及び撮影した日を示す(ここでは、第1期)。展開画像IDは、トンネル展開画像を識別するための展開画像識別情報の一例である。トンネル展開画像の走査位置は、図2に示すように、撮影車両9がトンネル8内を走行中に一般撮影装置群20で走査することで撮影したトンネル内の位置を示す位置情報の一例である。トンネル全天球画像は、広角画像の一例であり、トンネル全天球画像のデータのファイル名等を示す(ここでは、第1期の広角画像のファイル名)。
(診断管理サーバの各機能構成)
次に、診断管理サーバ5の各機能構成について詳細に説明する。
なお、以下では、診断管理サーバ5の各機能構成を説明するにあたって、図13に示されている各構成要素のうち、診断管理サーバ5の各機能構成を実現させるための主な構成要素との関係も説明する。
図15に示されている診断管理サーバ5の送受信部51は、図13に示されているCPU501からの命令、及び図18に示されているネットワークI/F509によって実現され、通信ネットワーク100を介して診断処理装置等の他の装置(端末)と各種データ(または情報)の送受信を行う。
作成部53は、図13に示されているCPU501からの命令によって実現され、診断管理サーバ5の送受信部51が診断処理装置3から取得したトンネル展開画像201のデータ及び測距等の各検出データに基づいて、図16に示されているような座標データ201cを作成する。具体的には、作成部53は、上述のように撮影車両9に設置された各センサ(第1及び第2の測距センサ、ジャイロセンサ等)から診断処理装置3を介して取得された各検出データを用いて、トンネル展開画像201に対する座標データを作成する。撮影車両9がトンネル内を走行しながらトンネル壁を撮影する場合、撮影車両9は、トンネル内を常に一定速度で走行するとともにトンネル壁と常に一定距離を維持することは現実的には困難であり、しかも、トンネル8内の路面に生じている凸凹で撮影車両9の姿勢も傾くことも多い。そのため、作成部53は、各センサの検出データを用いて、トンネル展開画像201に対する座標データを補正しながら作成する。なお、図16において、座標データ201cのS001の左上角の位置とトンネル展開画像201の1番目のスパンの左上角とを合わせれば起点が決まるため、作成部53は、決まった起点に基づいて、トンネル展開画像201に対する座標データを作成することができる。診断管理サーバ5の管理者が診断管理サーバを利用して手動で起点を設定してもよいし、作成部53が自動的に起点を設定してもよい。自動的に起点を設定する場合には、トンネル8の入口(トンネル外とトンネル内の境界)では撮影画像の輝度値が急激に変化するため、作成部53は、撮影画像からトンネルの入口を特定しやすい。
また、作成部53は、診断情報管理DB5001及び診断対象要素管理DB5002で管理されている各種データに基づいて、トンネル管理者への提出書類(変状展開図、写真台帳、及びトンネル点検結果総括表)のデータを作成する。
判断部55は、図13に示されているCPU501からの命令によって実現され、作成部53が提出書類のデータを作成するにあたって必要な判断を行なう。
記憶・読出部59は、図13に示されているCPU501からの命令、及び図13に示されているHDD505によって実現され、記憶部5000に各種データを記憶したり、記憶部5000に記憶された各種データを読み出したりする処理を行う。
〔実施形態の処理または動作〕
以降、図20乃至図48を用いて、各実施形態の処理または動作について説明する。図20は、トンネル展開画像のデータ等のアップロードの処理を示したシーケンス図である。図21は、提出書類データの作成処理を示したシーケンス図である。図22は、本実施形態に係る提出書類の作成処理を示した概念図である。
まず、図22に示されているように、診断処理装置3は、利用者によって、トンネル管理者から取得したトンネル台帳のデータを入力する(ステップS1)。また、診断処理装置3は、利用者によって、撮影車両9から取得した、トンネル展開画像のデータ、コメントのデータ、及び測距等の各センサの検出データを入力する(ステップS2)。
次に、診断処理装置3の送受信部31は、診断管理サーバ5に、ステップS1で入力されたトンネル台帳のデータ、ステップS2で入力された各データ(トンネル展開画像のデータ、コメントのデータ、及び測距等の各センサの検出データ)をアップロードする(ステップS3)。これにより、診断管理サーバ5の送受信部51は、トンネル台帳等のデータを受信する。そして、診断管理サーバ5では、作成部53が、トンネル展開画像のデータ及び検出データに基づいて、図16に示されているような座標データを作成する(ステップS4)。
次に、記憶・読出部59が、記憶部5000にステップS3で受信されたトンネル台帳等のデータ、及びステップS4で作成された座標データを関連付けて記憶する(ステップS5)。
続いて、利用者が診断対象画像を入力する場合、図21に示されているように、診断処理装置3の送受信部31は、利用者によって、診断管理サーバ5に対して、トンネル台帳等のデータの要求を行なう(ステップS11)。これにより、診断管理サーバ5の送受信部51は、トンネル台帳等のデータの要求を受信する。
次に、診断管理サーバ5では、記憶・読出部59が、記憶部5000にステップS5で記憶しておいたトンネル台帳等のデータを読み出す(ステップS12)。そして、送受信部51は、診断処理装置3へ、ステップS12で読み出されたトンネル台帳等のデータを送信する(ステップS13)。これにより、診断処理装置3のブラウザによって、トンネル展開画像が表示される。
次に、図22に示されているように、診断処理装置3は、利用者の操作により、後述のトンネル展開画像201の一部202に診断対象画像を描画したり、診断情報を入力したりする処理を行なう(ステップS14)。このステップS14の処理については、後ほど詳細に説明する。そして、送受信部31は、描画された診断対象要素画像のデータ、及び入力された診断情報のデータとともに、診断管理サーバ5へ、トンネル管理者に提出すべき提出書類の作成要求を送信する(ステップS15)。これにより、診断管理サーバ5の送受信部51は、診断対象要素画像のデータ及び診断情報のデータとともに、提出書類の作成要求を受信する。
次に、診断管理サーバ5では、記憶・読出部59が、診断情報のデータ及び診断対象要素画像のデータを、それぞれ診断情報管理DB5001及び診断対象要素管理DB5002に振り分けて一旦記憶する(ステップS16)。更に、提出書類を作成するために、記憶・読出部59が、診断情報管理DB5001及び診断対象要素管理DB5002で管理されている診断情報のデータ及び診断対象要素画像のデータを読み出すとともに、記憶部5000からトンネル台帳等のデータを読み出す(ステップS17)。そして、診断管理サーバ7の作成部55は、診断情報のデータ、診断対象要素画像のデータ、及びトンネル台帳等のデータを用いて、図22に示されているような提出書類(変状展開図、写真台帳、及びトンネル点検結果総括表)のデータを作成する(ステップS18)。
そして、送受信部51は、診断処理装置3へ提出書類のデータを送信する(ステップS19)。これにより、診断処理装置3の送受信部31は、提出書類のデータを受信する。
次に、図22に示されているように、診断処理装置3では、トンネル管理者に提出するための提出書類のデータを印刷出力する(ステップS20)。これにより、検査業者は、役所に提出書類のデータを提出することができる。なお、トンネル管理者の機関の規則により、検査業者は、印刷せずに、提出書類のデータのまま役所に提出してもよい。
<描画及び診断情報の入力の概略の処理>
続いて、図23、図27、図28を用いて、上記ステップS14の処理の概略について説明する。図23は、描画及び診断情報の入力の概略の処理を示すフローチャートである。図27は、ホーム画面を示す図である。図28は、診断位置入力画面において診断対象画像(面積)の入力モードの選択を示した画面例である。
まず、図23は、診断処理装置3の利用者の操作によって、表示制御部34がディスプレイ308上に、図27に示されているホーム画面SC1を表示させる(ステップS21)。このホーム画面SC1の中央部には、トンネル展開画像201が表示されている。ホーム画面SC1の右上側には、トンネル展開画像の全体像を示す全体像画面SC10が表示されている。また、ホーム画面SC1の左上側には、右から、診断対象画像(面積)の入力モードの選択ボタンb1、診断対象画像(直線)の入力モードの選択ボタンb2、診断領域の入力モードの選択ボタンb3、ホーム画面SC1に戻るためのホームボタンb4、トンネル展開画像201を縮小表示するための縮小ボタンb5、及びトンネル展開画像201を拡大表示するための拡大ボタンb6が表示されている。
ホーム画面SC1の下側中央部には、既に診断管理サーバ5にアップロードした診断領域のデータのリストをプルダウン表示させるための「RELOAD」ボタンb11が表示されている。同じく、ホーム画面SC1の下側中央部には、診断処理装置3で作成して一時的に保存しておいた診断情報のデータをまとめて診断管理サーバ5に送信することで、診断管理サーバ5で診断領域のデータを保存するための「SAVE」ボタンb12が表示されている。更に、ホーム画面SC1の下側中央部には、診断管理サーバ5からダウンロードした診断領域のデータの名称と、診断処理装置3側で作成して一時的に保存している診断領域のデータの名称を表示するための保存リスト110が表示されている。利用者が、ポインタpoで保存リスト110を選択すると、表示制御部34は、対応する診断領域が示される診断位置入力画面SC2を表示する。
また、ホーム画面SC1の右側中央部には、変状の種類を示すレイヤリストLL1が表示されている。レイヤリストLL1には、ひび割れ、漏水、石灰化等の変状の種類が表示される。各チェックボックスがチェックされると、チェックされた変状がトンネル展開画像201上に表示されるレイヤ構造になっている。ホーム画面SC1の右下部には、レイヤリストLL1をプルアップ表示するための「LAYER」ボタンb13が表示されている。
このホーム画面SC1において、利用者がマウス312の操作により、ポインタpoによって、描画及び診断情報を入力したい所望のスパンを選択すると、表示制御部34は、ディスプレイ308上に、図28に示されているような診断位置入力画面SC2を表示させる(ステップS22)。診断位置入力画面SC2には、トンネル展開画像201のうち、選択されたスパン部分であるトンネル展開画像の一部202が表示されている。また、診断位置入力画面SC2の右下部には、トンネル展開画像に対する視線方向を切り替えるための視線切替ボタンb1が表示されている。なお、視線方向の切り替えに関しては、図47及び図48を用いて後述する。
ここで、利用者がポインタpoで、各選択ボタンb1,b2,b3のうち、所望の選択ボタンを選択することで、受付部32は、入力モードの選択を受け付ける(ステップS23)。そして、利用者が、入力モードに応じて、描画や診断情報の入力を行なうことで、診断処理装置3は、描画及び診断情報の入力の処理を実行する(ステップS24)。この処理に関しては、入力モード毎に、後ほど詳細に説明する。
そして、利用者によるマウス312等の操作を受付部32が受け付けることによって、記憶・読出部39が、記憶部3000に対して、描画及び診断情報の入力により作成された診断領域のデータを一時的に保存する(ステップS25)この描画されたデータ及び入力された診断情報のデータは、上記ステップS8によって、診断処理装置3から診断管理サーバ5へ送信される。
<診断対象画像(面積)の入力モード>
続いて、図24、及び図28乃至図35を用いて、診断対象画像(面積)の入力モードにおけるステップS24の処理を詳細に説明する。この診断対象画像(面積)の入力モードは、主に診断対象が石灰化や漏水の場合に用いられる。
図24は、診断対象画像(面積)の入力モードの処理を示すフローチャートである。図28は、診断位置入力画面において診断対象画像(面積)の入力モードの選択を示した画面例である。図29乃至図34は、診断位置入力画面において診断対象画像を入力する画面例である。図35は、診断位置入力画面の他の例を示した画面例である。
まず、ステップS23において、図28に示されているように、利用者がポインタpoで選択ボタンb1を選択した場合、表示制御部34は、診断対象画像(面積)の入力モードにする。そこで、図29に示されているように、利用者が、ポインタpoで最初の診断対象要素画像e11の始点p11を特定すると、受付部32は、最初の診断対象要素画像e11の始点p11の入力を受け付ける(ステップS101)。これにより、表示制御部34は、始点p11の周囲に確定ボタンco11及びキャンセルボタンca11を表示させる(ステップS102)。確定ボタンco11は、診断対象要素画像の入力を終了して診断対象画像を確定するためのボタンである。キャンセルボタンca11は、特定した始点p11の特定を解除するためのボタンである。なお、その他の確定ボタン、及びその他のキャンセルボタンも、それぞれ、確定ボタンco11、及びキャンセルボタンca11と同様の役割を果たす。
次に、図30に示されているように、利用者がポインタpoで診断対象要素画像e11の終点p12を特定すると、受付部32は、最初の診断対象要素画像e11の終点p12の入力を受け付ける(ステップS103)。これにより、表示制御部34は、始点p11と終点p12の間に診断対象要素画像e11を表示させると共に、診断対象要素画像e11の中央辺りに確定ボタンco12及びキャンセルボタンca12を表示させる(ステップS104)。このように、利用者は、始点と終点を特定することで、診断対象要素画像を描画することができる。
次に、判断部35は、ステップS104で表示された診断対象要素画像が複数かを判断する(ステップS105)。この時点では、診断対象要素画像が1つしか表示されていないため、判断部35は、複数でないと判断する(ステップS105;NO)。
次に、判断部35は、受付部32によって確定ボタンの押下が受け付けられたかを判断する(ステップS106)。判断部35が確定ボタンの押下を受け付けたと判断した場合には(ステップS106;YES)、後述のステップS110の処理に進む。一方、判断部35が確定ボタンの押下を受け付けないと判断した場合には(ステップS106;NO)、上述のステップS103の処理に戻る。図31では、利用者がポインタpoで診断対象要素画像e12の終点p13を特定すると、受付部32は、診断対象要素画像e12の終点p13の入力を受け付ける。なお、診断対象要素画像e12の始点は、診断対象要素画像e11の終点p12であるため、利用者は、診断対象要素画像e12の始点の特定を省略することができる。これにより、ステップS104によって、表示制御部34は、始点(終点p12)と終点p13の間に診断対象要素画像e12を表示させると共に、診断対象要素画像e11と診断対象要素画像e12の間に、確定ボタンco13及びキャンセルボタンca13を表示させる。そして、ステップS105によって、判断部35は、ステップS104で表示された診断対象要素画像が複数かを判断する。この時点では、診断対象要素画像が2つ表示されるため、判断部35は、複数であると判断する(ステップS105;YES)。そして、表示制御部34は、最初の診断対象要素画像e11の始点p11と、この時点の最後の診断対象要素画像e12の終点p13との間で、新たに診断対象要素画像e013を自動的に表示させる(ステップS107)。更に、表示制御部34は、確定ボタンとキャンセルボタンの表示位置を変更する(ステップS108)。ここでは、表示制御部34は、図30に示されている確定ボタンco12及びキャンセルボタンca12から、図31に示されている確定ボタンco13及びキャンセルボタンca13に変更する。
次に、判断部35は、受付部32によって確定ボタンの押下が受け付けられたかを判断する(ステップS109)。判断部35が確定ボタンの押下を受け付けないと判断した場合には(ステップS106;NO)、上述のステップS103の処理に戻る。図32では、利用者がポインタpoで診断対象要素画像e13の終点p14を特定すると、受付部32は、診断対象要素画像e13の終点p14の入力を受け付ける。なお、診断対象要素画像e13の始点は、診断対象要素画像e12の終点p13であるため、利用者は、診断対象要素画像e13の始点の特定を省略することができる。これにより、ステップS104によって、表示制御部34は、始点(終点p13)と終点p14の間に診断対象要素画像e13を表示させると共に、診断対象要素画像e11,e12,e13の間に、確定ボタンco14及びキャンセルボタンca14を表示させる。そして、ステップS105によって、判断部35は、ステップS104で表示された診断対象要素画像が複数かを判断する。この時点では、診断対象要素画像が3つ表示されるため、判断部35は、複数であると判断する(ステップS105;YES)。そして、ステップS107によって、表示制御部34は、最初の診断対象要素画像e11の始点p11と、この時点の最後の診断対象要素画像e13の終点p14との間で、新たに診断対象要素画像e14を自動的に表示させる。更に、ステップS108によって、表示制御部34は、確定ボタンとキャンセルボタンの表示位置を変更する。ここでは、表示制御部34は、図31に示されている確定ボタンco13及びキャンセルボタンca13から、図32に示されている確定ボタンco14及びキャンセルボタンca14に変更する。
次に、図33に示されているように、利用者がポインタpoで確定ボタンco14を押下すると、受付部32は押下を受け付け、判断部35が、確定ボタンが受け付けられたと判断する(ステップS109;YES)。そして、判断部35は、診断対象画像(面積)を確定し、図34に示されているように、表示制御部34は、確定された診断対象画像dt1を表示させる(ステップS110)。更に、表示制御部34は、診断対象画像dt1を含む矩形の診断領域da1を表示すると共に、診断情報入力画面SC3を表示させる(ステップS111)。この場合、診断情報入力画面SC3を目立たせるため、表示制御部34は、診断情報入力画面SC3以外の部分をマスキングする。
診断情報入力画面SC3は、利用者が検査者や補助者が書いたコメント等を参考に、各診断情報を入力するための画面である。診断情報入力画面SC3には、既存の(診断)情報の連携する場合の選択ボタン、点検(診断)箇所を選択するためのプルダウンメニュー、点検(診断)部位を選択するためのプルダウンメニュー、変状・異常の種類を選択するためのプルダウンメニュー、判定結果を入力するための入力欄、及びコメントを入力するための入力欄が表示されている。なお、既存の(診断)情報の連携は、既に確定している診断領域内に新たな診断対象画像を含める場合ための処理である。この連携は、例えば、既に水漏れとしての診断対象画像が確定している場合に、これを含む診断領域内に新たにひび割れとしての診断対象画像を含める場合である。また、診断情報入力画面SC3には、入力された診断情報を確定するための「OK」ボタンと、入力された診断情報を取り消すための「CANCEL」ボタンが表示されている。ここで、利用者が診断情報入力画面SC3に診断情報の選択及び入力を行ない、「OK」ボタンを押下すると、受付部32が、診断情報の選択及び入力を受け付ける(ステップS112)。
更に、診断情報入力画面SC3には、診断情報入力画面SC3から図35に示されている診断情報入力画面SC4に切り替えるための入力切替ボタンbmが表示されている。この入力切替ボタンbmが押下されると、表示制御部34は、図35に示されている診断情報入力画面SC4に切り替える。診断情報入力画面SC4は、一つの診断領域に複数の診断対象画像を含めて、それぞれの診断対象画像の診断情報を入力するための画面である。例えば、1つの診断領域に3つの診断対象画像(ひび割れ、石灰化、漏水)を含め、まとめて管理する場合に利用される。この場合、後ほど、診断処理装置3から診断管理サーバ5へ診断情報のデータがアップロードされると、診断管理サーバ5では、図17に示されているように、同じ診断領域の番号「3」で、3つの診断対象画像(ひび割れ、石灰化、漏水)が管理されることになる。
また、診断情報入力画面SC4にも、診断情報入力画面SC3と同様に、入力された診断情報を確定するための「OK」ボタンと、入力された診断情報を取り消すための「CANCEL」ボタンが表示されている。更に、診断情報入力画面SC4にも、診断情報入力画面SC4から図34に示されている診断情報入力画面SC3に切り替えるための入力切替ボタンbsが表示されている。この入力切替ボタンbsが押下されると、表示制御部34は、図34に示されている診断情報入力画面SC3に切り替える。
以上の処理によって、診断対象画像(面積)の入力モードにおける診断対象画像dt1及び診断領域da1の描画、及び診断情報の選択及び入力が終了する。
<診断対象画像(直線)の入力モード>
続いて、図25、及び図36乃至図41を用いて、診断対象画像(面積)の入力モードにおけるステップS24の処理を詳細に説明する。この診断対象画像(直線)の入力モードは、主に診断対象がひび割れの場合に用いられる。
図25は、診断対象画像(直線)の入力モードの処理を示すフローチャートである。図36は、診断位置入力画面において診断対象画像(直線)の入力モードの選択を示した画面例である。図37乃至図41は、診断位置入力画面において診断対象画像を入力する画面例である。
まず、ステップS23において、図36に示されているように、利用者がポインタpoで選択ボタンb2を選択した場合、表示制御部34は、診断対象画像(直線)の入力モードにする。そこで、図37に示されているように、利用者が、ポインタpoで最初の診断対象要素画像e21の始点p21を特定すると、受付部32は、最初の診断対象要素画像e21の始点p21の入力を受け付ける(ステップS201)。これにより、表示制御部34は、始点p21の周囲に確定ボタンco21及びキャンセルボタンca21を表示させる(ステップS202)。
次に、図38に示されているように、利用者がポインタpoで診断対象要素画像e21の終点p22を特定すると、受付部32は、最初の診断対象要素画像e21の終点p22の入力を受け付ける(ステップS203)。これにより、表示制御部34は、始点p21と終点p22の間に診断対象要素画像e21及び幅入力画面ws1を表示させると共に、診断対象要素画像e21の中央辺りに確定ボタンco22及びキャンセルボタンca22を表示させる(ステップS204)。このように、利用者は、始点と終点を特定することで、診断対象要素画像を描画することができる。
なお、幅入力画面は、診断対象要素がひび割れの場合の直線の幅を入力するための画面である。幅入力画面は、始点p21と終点p22の間で、診断対象要素画像の付近に表示される。利用者は、トンネル展開画像201に示されている数値(特殊チョークで書かれた数値)や、コメントを参考に幅の値を入力する。利用者が幅入力画面ws1に数値を入力すると、受付部32が入力を受け付け、図39に示されているように、表示制御部34は、入力された数値(「0.5」)を表示する。
次に、判断部35は、受付部32によって確定ボタンの押下が受け付けられたかを判断する(ステップS205)。判断部35が確定ボタンの押下を受け付けないと判断した場合には(ステップS205;NO)、上述のステップS203の処理に戻る。図39では、利用者がポインタpoで診断対象要素画像e22の終点p23を特定すると、受付部32は、診断対象要素画像e22の終点p23の入力を受け付ける。なお、診断対象要素画像e22の始点は、診断対象要素画像e21の終点p22であるため、利用者は、診断対象要素画像e22の始点の特定を省略することができる。これにより、ステップS204によって、表示制御部34は、始点(終点p22)と終点p23の間に診断対象要素画像e22及び幅入力画面ws2を表示させると共に、診断対象要素画像e21,e22の間に、確定ボタンco23及びキャンセルボタンca23を表示させる。利用者が幅入力画面ws2に数値を入力すると、受付部32が入力を受け付け、図40に示されているように、表示制御部34は、入力された数値(「0.7」)を表示する。
次に、図40に示されているように、利用者がポインタpoで確定ボタンco23を押下すると、受付部32は押下を受け付け、判断部35が、確定ボタンが受け付けられたと判断する(ステップS205;YES)。そして、判断部35は、診断対象(直線)を確定し、図41に示されているように、表示制御部34は、確定された診断対象画像dt2を表示させる(ステップS206)。更に、表示制御部34は、診断対象画像dt2を含む矩形の診断領域da2を表示すると共に、診断情報入力画面SC3を表示させる(ステップS207)。この場合、診断情報入力画面SC3を目立たせるため、表示制御部34は、診断情報入力画面SC3以外の部分をマスキングする。ここで、利用者が診断情報入力画面SC3に診断情報の選択及び入力を行ない、「OK」ボタンを押下すると、受付部32が、診断情報の選択及び入力を受け付ける(ステップS208)。
以上の処理によって、診断対象画像(直線)の入力モードにおける診断対象画像dt2及び診断領域da2の描画、及び診断情報の選択及び入力が終了する。
<診断領域の入力モード>
続いて、図26、及び図42乃至図46を用いて、診断領域の入力モードにおけるステップS24の処理を詳細に説明する。この診断領域の入力モードは、先に診断領域を特定した後に診断対象画像を特定する場合に用いられる。
図26は、診断領域の入力モードの処理を示すフローチャートである。図42は、診断位置入力画面において診断領域の入力モードの選択を示した画面例である。図43乃至図46は、診断位置入力画面において診断領域を入力する画面例である。
まず、ステップS23において、図42に示されているように、利用者がポインタpoで選択ボタンb3を選択した場合、表示制御部34は、診断領域の入力モードにする。そこで、図43に示されているように、利用者が、ポインタpoで仮診断領域da03の任意の頂点p31を特定すると、受付部32は、仮診断領域da03の任意の頂点p31の入力を受け付ける(ステップS301)。これにより、表示制御部34は、頂点p31の周囲に確定ボタンco31及びキャンセルボタンca31を表示させる(ステップS302)。
次に、図44に示されているように、利用者がポインタpoで仮診断領域da03の頂点p31の対角の頂点p32を特定すると、受付部32は、仮診断領域da03の頂点p31の対角の頂点p32の入力を受け付ける(ステップS303)。これにより、表示制御部34は、頂点p31と頂点p32を対角の頂点とする矩形の仮診断領域da03を表示させると共に、仮診断領域da03の中央辺りに確定ボタンco32及びキャンセルボタンca32を表示させる(ステップS304)。このように、利用者は、2つの対角となる頂点を特定することで、診断領域を描画することができる。
次に、判断部35は、受付部32によって確定ボタンの押下が受け付けられたかを判断する(ステップS305)。判断部35が確定ボタンの押下を受け付けないと判断した場合には(ステップS305;NO)、上述のステップS303の処理に戻る。この場合は、利用者が頂点p32を特定した後、更に仮診断領域da03の面積を拡大又は縮小するために、頂点p31又は頂点p32を変更する場合である。
一方、図45に示されているように、利用者がポインタpoで確定ボタンco32を押下すると、受付部32は押下を受け付け、判断部35が、確定ボタンが受け付けられたと判断する(ステップS305;YES)。そして、判断部35は、仮診断領域da03を確定する(ステップS306)。更に、表示制御部34は、確定された仮診断領域da03と同じ矩形の診断領域da3を表示すると共に、診断情報入力画面SC3を表示させる(ステップS307)。この場合、診断情報入力画面SC3を目立たせるため、表示制御部34は、診断情報入力画面SC3以外の部分をマスキングする。ここで、利用者が診断情報入力画面SC3に診断情報の選択及び入力を行ない、「OK」ボタンを押下すると、受付部32が、診断情報の選択及び入力を受け付ける(ステップS308)。
以上の処理によって、診断領域の入力モードにおける診断領域da3の描画、及び診断情報の選択及び入力が終了する。その後、利用者は、診断領域da3内に、診断対象画像(面積)の入力モード及び診断対象画像(直線)の入力ノードと同様に、診断対象画像を描画することができる。
<視線切り替え>
続いて、図47及び図48を用いて、トンネル展開画像201の視線切り替えの処理について説明する。図47(a)はトンネルと視点方向の関係を示した図、図47(b)は見上げ図の概念図、図47(c)は見下げ図の概念図である。図48は、視点方向を切り替えた診断対象入力画像を示し、(a)は見上げ図の一例を示した図、(b)は見下げ図の一例を示した概念図である。
トンネル展開図351は、図1に示されているように、トンネル8の内側から天井を見上げた状態で撮影されることにより得られた画像である。これは、「見上げ図」と呼ばれている。しかし、役所に提出しなければならない変状展開図は、図22に示されているように、トンネル8の外側(上空)から見下げた状態の画像である。これは、「見下げ図」と呼ばれている。
図47(a)に示されているように、トンネル8の内側81から視線方向sd1に見た場合の画像は見上げ図であり、図47(b)に示されるような画像となる。この場合、図47(a)の仮想矢印va1,va2の方向は、図47(b)では、それぞれ、左下から上向き、及び右上から下向きとなる。
また、トンネル8の外側82から視線方向sd2に見た場合の画像は見下げ図であり、図47(b)に示されるような画像となる。この場合、図47(a)の仮想矢印va1,va2の方向は、図47(c)では、それぞれ、左上から下向き、及び右下から上向きとなる。即ち、見上げ図と見下げ図は、天地が反転した図である。
表示制御部34は、展開画像の天地を反転して表示する場合に、記憶部3000に記憶されている診断対象要素画像の2次元の位置座標(X,Y)のうち、「Y」を「−Y」として、診断対象要素画像を表示する。
利用者は、図48(a)に示されている診断位置入力画面SC2において、「見下げ図へ切替」の視線切替ボタンbc1を押下すると、受付部32が押下を受け付け、表示制御部34が、図48(a)に示されている見上げ図372aから、図48(b)に示されている見下げ図372bに表示を変更(変換)する。また、利用者は、図48(b)に示されている診断位置入力画面SC2において、「見上げ図へ切替」の視線切替ボタンbc2を押下すると、受付部32が押下を受け付け、表示制御部34が、図48(b)に示されている見下げ図から、図48(a)に示されている見上げ図に表示を変更する。利用者は、どちらの図を使って、診断対象要素又は診断領域を描画してもよい。この場合、記憶部3000に記憶されている診断対象要素画像又は診断領域の座標位置が変更する訳ではなく、あくまで表示制御部34が、表示を変えているに過ぎない。
<トンネル点検結果総括表の再作成>
続いて、図50乃至図55を用いて、トンネル点検結果総括表の再作成の処理について説明する。図50は、トンネル点検結果総括表の再作成の処理を示すフローチャートである。なお、第1期は過去(第2期の再検査時を基準に例えば5年前)に撮像した画像が含まれ、第2期は再検査で撮像した画像が含まれているものとする。
まず、送受信部31は、診断管理サーバ5から、第1期の画像関連情報を取得する(ステップS41)。この場合、診断管理サーバ5の送受信部51は、診断処理装置3から、診断情報管理DB5001、診断対象要素管理DB5002、及び画像関連情報管理DB5003に管理されている各情報の要求(検査キー:構造物ID、検査日、及び展開画像IDを含む)を受信し、記憶・読出部59が画像関連情報管理DB5003から検索キーに対応する画像関連情報を読み出し、送受信部51が診断処理装置3に、第1期の各情報(診断情報、診断対象要素情報、及び画像関連情報)を送信する。
次に、診断処理装置3の入出力部38は、検査者の携帯撮影システムの一般撮影装置2から、第2期の再検査結果情報を取得する(ステップS42)。
次に、類似画像検索部37は、第2期の再検査結果情報におけるトンネル全天球画像を検索キーとして第1期の複数のトンネル全天球画像を類似画像検索することにより、第1期の複数の全天球画像のうち類似度が所定値(例えば、80%)より高い第1期の所定の全天球画像を抽出する(ステップS43)。
ここで、図51を用いて、ステップS43の処理を詳細に説明する。図51は、類似画像検索における第1期及び第2期の各画像の関係図である。図51の上部側には、第1期に撮影車両9によってトンネル8内を撮影されることで生成されたトンネル全天球画像a1等と、この撮影の際の走査位置P1等と、この走査位置におけるトンネル展開画像の部分領域(画像)A1等とが左側から右側に向けて時系列に表されている。また、図51の下部側には、第2期に携帯撮影システムによってトンネル8内を撮影されることで生成されたトンネル全天球画像b1等と、この撮影と連携して同時にトンネル8内を撮影されることで生成されたトンネル全天球画像b1等とが左側から右側に向けて時系列に表されている。図51に示されているように、例えば、類似画像検索部37は、第2期のトンネル全天球画像b2を検索キー(検索元)として、第1期の各トンネル全天球画像(a1,a2,・・・)と画像の類似度を算出することで、類似度が所定値(例えば、80%)より高い第1期のトンネル全天球画像を抽出する。第1期のトンネル全天球画像と第2期のトンネル全天球画像は、主に同じ射影方式であるため、類似画像検索しやすい。
図52において、(a)は第1期のトンネル展開画像の部分領域画像及びトンネル全天球画像の各具体例を示し、(b)は第2期のトンネル部分画像及びトンネル全天球画像の各具体例を示している。ここでは、(a)の上部に第1期のトンネル展開画像の部分領域画像A2の具体例、(a)の下部に第1期のトンネル全天球画像a2の具体例を示し、(b)の上部に第2期のトンネル部分画像B2の具体例を示し、(b)の下部に第2期のトンネル全天球画像b2の具体例を示している。ここでは、各トンネル全天球画像a2,b2には、同じランドマークL1が表されており、類似画像検索の際に画像の特徴点(又は特徴領域)として利用される。ランドマークとは、画像内における特徴を有する物を指す。例えば図53においてランドマークL1はトンネル内部に存在する各種ドアであり、ランドマークL2はトンネル内部に存在する配電盤や消火設備である。ここでは、第2期のトンネル部分画像B2は、第1期のトンネル展開画像の部分領域画像A2とトンネル8内の同じ位置を示している。そして、第2期のトンネル部分画像B2は、第1期のトンネル展開画像の部分領域画像A2に比べて、矢印で示されている領域の漏水が拡大している。なお、この矢印は説明の便宜上表したものであり、実際には存在しない。
図53において、(a)は第1期のトンネル展開画像の部分領域画像及びトンネル全天球画像の各具体例を示し、(b)は第2期のトンネル部分画像及びトンネル全天球画像の各具体例を示している。ここでは、(a)の上部に第1期のトンネル展開画像の部分領域画像A4の具体例、(a)の下部に第1期のトンネル全天球画像a4の具体例を示し、(b)の上部に第2期のトンネル部分画像B2の具体例を示し、(b)の下部に第2期のトンネル全天球画像b2の具体例を示している。ここでは、各トンネル全天球画像a4,b2には、異なるランドマークL2,L1が表されており、類似画像検索の際に画像の特徴点(又は特徴領域)として利用される。ここでは、第2期のトンネル部分画像B2は、第1期のトンネル展開画像の部分領域画像A4とトンネル8内の異なる位置を示している。このように、利用者が、第2期のトンネル部分画像B2と、第1期のトンネル展開画像の部分領域画像A4とを見比べた場合、両者は類似しているため、複数の第2期のトンネル部分画像の中から第1期のトンネル展開画像の部分領域画像と走査位置の特定の第2期のトンネル部分画像を選び出すのに苦労することになる。しかし、類似画像検索部37は、各トンネル全天球画像a4,b2の方を用いて類似画像検索を行うため、ランドマークL2,L1の違いにより、一次絞り込みにより、第1期のトンネル展開画像の部分領域画像A4を外すことができる。
次に、図50に戻って、表示制御部34は、最終的に利用者に決定させるため、ステップS43によって抽出された第1期の複数の所定のトンネル全天球画像に関連付けられているトンネル展開画像の各部分領域の画像(部分領域画像)をディスプレイ308上に表示する(ステップS44)。図54は、第1期のトンネル展開画像の各部分領域画像を示した部分領域画像選択画面の例を示す図である。ここでは、部分領域画像選択画面SC31に、2つの部分領域画像が表示されている。また、各部分領域画像の下側には、利用者の選択を受け付けるために各ラジオボタンbc31,bc32が表示されている。ここでは、左側の部分領域画像が選択された場合を示している。また、部分領域画像選択画面の右下側には、ラジオボタンの選択(指定)を確定するための「OK」ボタンbo3、選択したラジオボタンを解除するための「Cancel」ボタンbc3が表示されている。
このように、類似度が所定値(例えば、80%)より高いトンネル全天球画像に関連している全てのトンネル展開画像の部分領域画像を表示することで、診断処理装置3が一次絞り込みを行い、利用者に最終絞り込みを行わせることができる。これにより、正距円筒射影画像である全天球画像の類似画像検索の精度が比較的低くても、的確なトンネル展開画像の部分領域画像を決定することができる。
なお、ステップS43によって1つしか第1期のトンネル展開画像の部分領域画像が抽出されない場合であっても、ステップS44では、最終的に利用者に決定させるために、図54に示されているように、1つの部分領域画像とラジオボタンが表示される。
次に、利用者が所望のラジオボタン(ここでは、ラジオボタンbc31)を押下(選択)して、「OK」ボタンbo3を押下すると、受付部32は、特定の第1期のトンネル展開画像の部分領域画像(ここでは、部分領域画像A2)の選択を受け付ける(ステップS45)。
次に、表示制御部34は、図55に示されているように、ディスプレイ308上に、画像比較画面SC32を表示する(ステップS46)。図55は、画像比較画面を示した図である。この画像比較画面SC32では、左側にステップS45で選択されたた第1期のトンネル展開画像の部分領域画像が、右側に第2期のトンネル部分画像が、それぞれ検査日と共に表示される。なお、図55において、第2期のトンネル部分画像は、第1期のトンネル展開画像の部分領域画像に比べて、矢印で示されている領域の漏水が拡大している。なお、この矢印は説明の便宜上表したものであり、実際には存在しない。また、画像比較画面SC32の右下には、比較を終了した利用者が押下するための「終了」ボタンbo3が表示されている。
次に、利用者が、画像比較画面SC32により両画像を比較して、第2期の診断対象が第1期の診断対象より変状部分が悪化しているか否かを確認し、診断情報(図17参照)及び診断対象要素(図18参照)における判定結果やコメント等を変更すると、受付部32は、変更を受け付け(ステップS47)、トンネル点検結果総括表を再作成する(ステップS48)。なお、診断情報(図17参照)及び診断対象要素(図18参照)に関しては、診断管理サーバ5において、変更前の情報も第1期の情報として残される。
その後、変更後のトンネル点検結果総括表は、データ又は紙に印刷して、トンネル管理者に提出される。
〔実施形態の主な効果〕
以上説明したように本実施形態によれば、トンネル全天球画像のようにトンネル8内を広範囲に写し出された画像は、診断対象を主に写し出したトンネル部分画像に比べて、図53に示されているように、ランドマークL1,L2が含まれている可能性が高い。これにより、ランドマークを特徴点(特徴領域)として類似画像検索を行うことで検索の精度を増すことができる。よって、図55に示されているように、トンネル内の同じ位置における第1期と第2期の診断対象を含む画像を表示することができるため、従来のように、第2期のトンネル部分画像で示されるトンネル内の位置と同じ位置の第1期のトンネル展開画像の部分領域画像を探し出すために多くの時間を要する必要がなくなるという効果を奏する。
また、利用者は診断処理装置3で、トンネル等の構想物の展開画像上で、診断対象を示す診断対象画像を描画すると共に、診断対象の診断結果を含む診断情報を入力することができる。このように、利用者は展開画像上の診断対象に、直接、診断対象画像を描画して診断情報を入力するため、従来のように、あちらこちらと書類や画面を見ながら変状展開図等を作成する場合に比べて、ミスを少なくすることができる。
また、診断処理装置3で、診断領域の位置座標及び診断情報を関連付けて記憶することで、トンネル8等の構造物の診断情報を示す提出書類の作成に関し、従来に比べて手間が掛からないようにすることができる。
更に、写真台帳に添付する写真画像は、トンネル展開画像201のうち診断領域の部分を流用するため、従来のように変状写真を写真台帳に張り合わせたり、張り合わせる場所を間違えたりすることを防止することができる。
また、図48に示されているように、トンネル展開画像の一部202を、図48(a)の見上げ図372aと図48(b)の見下げ図372bとで切り替えて表示することができるため、利用者の好みに応じた(又は慣れた)トンネル展開画像の状態で、診断対象の描画や診断情報の入力を行なうことができるので、ミスを減少することができる。また、トンネル管理者への提出する際には、診断処理装置3が、見下げ図の状態で出力するため、利用者が勘違いして、提出のミスを防止することができる。
〔補足〕
上記実施形態では、全天球撮影可能な特殊撮影装置1でトンネル8内を撮影したが、広範囲に撮影できれば全天球ではなくパノラマ撮影であってもよい。即ち、全天球画像は広角画像の一例である。これに対して、一般撮影装置2が撮影して生成した診断対象の(平面)画像は、狭角画像の一例である。
なお、上記実施形態において、第1期の複数の広角画像データとは、過去撮影した複数の全天球画像データを指し、第1期の狭角画像とは、過去撮影したトンネル展開画像の一部を抽出(トリミング)した画像データを指し、第2期の広角画像とは、再検査時に撮影した全天球画像データを指し、第2期の狭角画像とは、再検査時に一般撮影装置2により撮影した、全天球やパノラマ画像データよりも狭い画角の画像データを指す。ただし、撮影画角の関係が「狭角画像<広角画像」であれば良く、第1期および第2期の狭角画像または広角画像は必ずしもここに記載したものに限定されない。
また、上記実施形態では、図34に示されているように、トンネルの展開画像上に、診断情報入力画面3が表示されているが、これに限るものではない。例えば、図49に示されているように、ディスプレイ308内であって、トンネルの展開画像外に診断情報入力画面SC5が表示されるようにしてもよい。または、ディスプレイ308とは別のディスプレイに診断情報入力画面SC5が表示されるようにしてもよい。
また、上記実施形態では、構造物の一例としてトンネルを説明したが、これに限るものではなく、構造物には、気体、液体、粉体、粒体物質の輸送に用いる配管も含まれる。また、構造物には、昇降機(エレベータ)が走行する縦穴状の鉄筋コンクリート構造等の昇降路(エレベータと対向するエレベータシャフト)も含まれる。特に昇降路の内壁は、経時劣化や地震などによる建物の揺れにより、変形やひび割れが発生する可能性がある。本実施例を適用すれば、各撮影装置を昇降機外部(例えば上部)に設置することで昇降路内壁を撮影することが可能となる。トンネルの内壁やエレベータ昇降路の内壁を検査面または検査対象面とも称することができる。
上記実施形態では、診断領域da1に診断対象画像dt1が含まれているが、これに限らず、診断領域da1が診断対象画像dt1と同じであってもよい。
また、上記実施形態では、受付部32が、利用者から診断対象の描画及び診断情報の入力を受け付けるが、これに限るものではない。例えば、診断処理装置3又は診断管理サーバに搭載された人工知能(Artificial Intelligence; AI)が、展開画像上の対象領域を検索し、自動的に診断対象の選択や、診断対象の幅の測定を行なってもよい。なお、診断対象の選択は、人工知能により実現された選択部が実行する。また、診断対象の幅の測定は、人工知能により実現された測定部が実行する。
更に、上記実施形態では、表示制御部34は、トンネル展開画像上に診断情報入力画面SC3を表示したが、これに限らず、トンネル展開画像と共に表示することができれば、トンネル展開画像を小さくして、このトンネル展開画像の周囲の一部に診断情報入力画面SC3を表示してもよい。