以下、劣化レベル判定装置等の実施形態について図面を参照して説明する。なお、実施の形態において同じ符号を付した構成要素は同様の動作を行うので、再度の説明を省略する場合がある。
劣化レベル判定装置は、通常、サーバであり、例えば、鉄道に関連する業務を行う企業や団体等の組織のサーバである。鉄道に関連する業務とは、例えば、鉄道による旅客や貨物の輸送、鉄道とそれに付随する設備の保守・管理などであるが、その種類は問わない。または、劣化レベル判定装置は、例えば、クラウドサーバでもよいし、組織の職員が携帯する携帯端末でもよく、そのタイプや所在は問わない。なお、携帯端末とは、例えば、タブレット端末、スマートフォン、携帯電話機、ノートPC等であるが、その種類は問わない。
または、劣化レベル判定装置は、鉄道関連以外の業務を行う組織のサーバ等でもよく、その所属先は問わない。なお、鉄道関連以外の業務とは、例えば、船舶に関連する業務、バスに関連する業務など、鉄道以外の乗り物に関連する業務でもよいし、オフィスビルやマンションといった、鉄道とは直接関係ない建築物の保守・管理などでもよく、その種類は問わない。
図1は、本実施の形態における劣化レベル判定装置1のブロック図である。劣化レベル判定装置1は、格納部11、受付部12、処理部13、および出力部14を備える。格納部11は、学習情報格納部112、教師データ格納部111、および組情報格納部113を備える。処理部13は、判定対象画像取得部131、劣化レベル取得部132、第一蓄積部133、第一判断部134、第二蓄積部135、第二判断部136、再構成部137、および原因判定部138を備える。劣化レベル取得部132は、教師特徴量群取得手段1321、学習情報取得手段1322、判定対象特徴量群取得手段1323、および劣化レベル取得手段1324を備える。
格納部11は、各種の情報を格納し得る。各種の情報とは、例えば、後述する教師データ、後述する学習情報、および後述する組情報などである。
また、格納部11には、通常、判定対象画像も格納される。判定対象画像とは、劣化レベル判定装置1による判定の対象となる建造物を撮影した画像である。判定対象画像は、後述する組情報の一部であってもよい。ただし、判定対象画像は、必ずしも格納部11に格納されなくてもよい。
建造物とは、建造された物である。建造物は、通常、建築物である。本実施の形態における建築物は、例えば、鉄道に関連する建築物である。鉄道に関連する建築物は、例えば、駅の建物である。駅の建物は、例えば、駅舎、プラットホーム、跨線橋等であるが、その種類は問わない。または、鉄道に関連する建築物は、駅以外の場所に建てられた建物でもよい。この種の建築物は、例えば、列車を格納する車庫、変電設備などであるが、鉄道に関連する建築物であれば何でもよい。
または、建築物は、鉄道以外の乗り物に関連する建築物であってもよい。鉄道以外の乗り物とは、例えば、船舶、バスなどであるが、その種類は問わない。この種の建築物は、例えば、港湾施設、バスターミナルなどであるが、その種類は問わない。なお、建造物は、例えば、鉄道や船舶等の乗り物それ自体をも含むと考えてもよい。
または、建造物は、鉄道とは直接関係ない建築物でもよい。この種の建築物は、例えば、自動車または歩行者のうち1種類以上のための専用の橋梁、オフィスビルやマンション、工場などである。ただし、鉄道とは直接関係ない建築物は、本実施の形態における建造物から除外してもよい。
また、建造物は、建築物等の全体でも、一部分でもよい。建築物等の一部分とは、建築物等を構成する各種の部材である。各種の部材は、例えば、駅舎を構成する柱や梁等であり、特に、鉄等の、錆びや腐食が生じ易い金属の部材であるが、その種類や材質は問わない。
教師データ格納部111には、2以上の教師データが格納される。教師データとは例えば、機械学習を行う際に教師となるデータである。機械学習とは、人が行う学習と同様の機能をコンピュータで実現する手法である。機械学習は、例えば、教師あり学習であるが、教師なし学習でもよい。なお、以下では、機械学習を単に学習と記す場合がある。
本実施の形態における教師データは、教師画像と劣化レベルとの対応を示す情報である。教師画像とは、建造物の劣化の程度と劣化レベルとの対応を学習する際に教師となる画像である。教示画像は、建造物をカメラで撮影した画像である。画像は、通常、静止画であるが、動画を構成する2以上の各静止画でもよい。
教師画像は、例えば、横800画素×縦600画素(以下、“800×600”のように記す場合がある)のサイズを有する。画素とは、画像を構成する要素であり、例えば、RGBやYUV等の情報を有する。ただし、教師画像のサイズは、例えば、1200×900や1600×900等、何でもよい。また、画素が有する情報の表現形式も問わない。なお、かかる事項は、後述する判定対象画像についても当てはまる。
劣化とは、時間の経過に伴って、品質が悪化すること又は性能が低下することである。劣化は、例えば、建造物に錆が発生すること(発錆)である。または、劣化は、建造物にひび割れや変形等が生じることでもよく、その種類は問わない。なお、劣化は、必ずしも経年変化によるものでなくてもよく、例えば、地震等の自然災害や事故などによる破損なども含むと考えてもよい。劣化の程度や速さは、例えば、建造物の材質によって異なり、また、同じ材質の建造物でも、環境や使用状況等に応じて変化する。
劣化レベルとは、建造物の劣化の程度(以下、劣化度と記す場合がある)をコンピュータの処理によって数値的に表現した情報である。すなわち、本実施の形態における劣化度とは、人の判断に基づく数値であるのに対し、劣化レベルは、コンピュータの処理に基づく数値である。劣化レベルは、例えば、“1”,“2”,“3”等の離散的な数値(以下、離散値)でもよいし、または、“2.2”,“2.45”等の小数部をも有する連続的な数値(以下、連続値)でも構わない。なお、本実施の形態における劣化レベルは、例えば、0から5の範囲の数値であり、その数値が大きいほど、建造物の劣化の程度も大きい。ただし、劣化レベルは、例えば、1~10の範囲の数値でもよいし、その数値が小さいほど、建造物の劣化の程度は大きくてもよく、その表現形式は問わない。例えば、劣化レベルは、数値に限らず、例えば、“A”,“B”,“C”等の文字で表現されても構わない。
教師データは、例えば、教師画像と劣化レベルとの対で構成される。教師データを構成する教師画像は、前述したような建造物の劣化箇所を撮影した画像である。教師データを構成する劣化レベルは、例えば、人の判断結果に基づく数値であるが、機械学習により取得される数値でもよい。ただし、教師データのデータ構造は問わない。教師データを構成する劣化レベルの取得方法も問わない。
なお、教師データを構成する劣化レベルには、例えば、劣化分布が付随していてもよい。劣化分布とは、劣化の分布に関する情報である。劣化分布は、例えば、全体劣化、局所劣化などである。全体劣化とは、建造物の全体に渡る劣化であり、局所劣化とは、建造物の一部のみの劣化である。劣化分布は、例えば、局所劣化に対応する“P”、全体劣化に対応する“G”のように、数字以外の文字や記号で表現されるが、その表現形式は問わない。
劣化分布付きの劣化レベルは、例えば、“2P”(レベル2の局所劣化),“4G”(レベル4の局所劣化)等のような添え字付きの数値で表現される。または、局所劣化のみ添え字“P”を付し、全体劣化には何ら添え字を付さなくてもよく、その表現形式は問わない。
ただし、本実施の形態において、上記のような教師データは、必須ではない。例えば、学習情報格納部112に予め学習情報が格納されており、劣化レベル判定装置1内で学習が行われない場合には、教師データは不要である。また、劣化レベル判定装置1内で、教師なし学習が行われる場合にも、教師データは必要ない。従って、劣化レベル判定装置1は、必ずしも教師データ格納部111を具備していなくてよい。
学習情報格納部112には、学習情報が格納される。学習情報とは、学習により取得された情報である。格納される学習情報は、2以上の特徴量と劣化レベルとの対応を示す情報である。学習情報は、通常、後述する学習情報取得手段1322が、教師データ格納部111に格納されている2以上の教師データを用いて、機械学習を行うことにより取得した情報である。ただし、学習情報の一部または全部は、例えば、人が計算や解析を行うことにより学習した結果を利用して取得された情報でもよい。または、学習情報は、外部の装置で機械学習等により取得された情報でもよく、その由来は問わない。
特徴量とは、劣化領域に関する各種の特徴を定量的に示す情報である、といってもよい。劣化領域とは、教師画像または判定対象画像の中の、建造物の劣化箇所に対応する領域である。
劣化領域に関する各種の特徴とは、例えば、色の特徴、明るさの特徴などである。色の特徴は、例えば、色の種類であるが、色の変化率でもよい。明るさの特徴は、例えば、明るさの変化率である。この種の特徴は、例えば、劣化領域内の複数の画素に対応する複数の画素値の集合でもよいし、かかる複数の画素値の統計量でもよい。統計量は、例えば、平均値であるが、中央値や最頻値でもよいし、分散でもよく、その種類は問わない。
なお、色の種類は、例えば、色相を用いて表現される。色相とは、色相環における各種の色の位置を示す情報である。色相は、例えば、0~360の範囲の数値である。または、色の種類は、RGB等の3つの数値の組で表現されてもよく、その表現形式は問わない。また、明るさは、例えば、明度(0~100)を用いて表現されるが、輝度で表現されてもよく、その表現形式は問わない。さらに、色の変化率は、例えば、色相の一次微分であり、明るさの変化率は、例えば、明度の一次微分であるが、それらの表現形式も問わない。
特徴量は、例えば、劣化領域に特有の色(特徴色)である。特徴色は、例えば、赤茶色等の錆の色である。または、特徴色は、焦げ茶色等の腐食の色などでもよく、その種類は問わない。
または、特徴量は、色の分散でもよい。色の分散とは、色のばらつき具合である。なお、錆や腐食などが生じた箇所では、例えば、色むらや斑模様が現れる結果、色の分散が大きくなる。このため、色の分散は、劣化箇所か否かの判定や、劣化の程度の判定に用いることができる。
または、特徴量は、色の変化率または明るさの変化率でもよい。なお、色の変化率または明るさの変化率は、例えば、エッジの強弱、高周波成分の多寡といってもよい。ひび割れや表面のざらつきが生じた箇所では、色または明るさの変化率が大きくなる(またはエッジが強くなる、または高周波成分が多くなる)ことから、色または明るさの変化率等は、劣化箇所か否かの判定や、劣化の程度の判定に用いることができる。
または、特徴量は、劣化領域のサイズでもよい。サイズは、例えば、面積である。面積は、例えば、ブロック数で表現される。ブロック数とは、劣化領域に含まれるブロックの数である。
ブロックとは、2以上の画素に対応する領域である。ブロックは、例えば、M画素×N画素の画像を、横方向にm分割し、かつ縦方向にn分割して得られる、“m×n”個の“(M/m)画素×(N/n)画素”の領域の各々である。ただし、Mは2以上の整数であり、mはMの約数である。また、Nは、2以上の整数であり、nは、Nの約数である。さらに、NとMは、異なる値でも、同じ値でもよい。ブロックは、具体的には、例えば、800×600の画像を、横方向に160分割し、かつ縦方向に120分割して得られる、19200個の“5画素×5画素”の領域の各々である。ただし、一のブロックの画素数や横縦比は問わない。
または、サイズは、長さでもよい。長さは、例えば、劣化領域の最大径である。最大径とは、一の領域の最大の差し渡しであり、例えば、矩形の領域の場合は対角線、円形の領域の場合は直径であるが、その表現形式は問わない。なお、長さは、縦方向または横方向の長さでもよい。例えば、縦方向の柱に生じた劣化領域のサイズは、縦方向の長さのみで表現されてもよいし、横方向の梁に生じた劣化領域のサイズは、横方向の長さのみで表現されてもよい。
長さは、例えば、一の方向の画素数で表現される。一の方向とは、例えば、対角線の方向、縦方向、または横方向等である。または、長さは、一の方向のブロック数で表現されてもよいし、後述する実寸でもよく、その表現形式は問わない。
なお、劣化領域のサイズに関する上記事項は、下記のオブジェクトのサイズについても当てはまる。そして、劣化領域のサイズは、オブジェクトに対する相対的なサイズであることは好適である。
オブジェクトとは、教師画像または判定対象画像の中の、建造物(例えば、駅舎、または駅舎を構成する柱や梁等の各種の部材)に対応する領域である。オブジェクトに対する相対的なサイズとは、オブジェクトのサイズに対する、劣化領域のサイズの比率である。
すなわち、特徴量は、オブジェクトのサイズに対する、劣化領域のサイズの比率でもよい。比率は、例えば、面積比であるが、長さの比でもよい。比率は、具体的には、例えば、“1/15”、“5%”、“1割”等であるが、その表現形式は問わない。
ただし、劣化領域のサイズは、絶対的なサイズでもよい。すなわち、特徴量は、現実の建造物における劣化箇所の実寸でもよい。劣化箇所の実寸は、例えば、“60mm”、“15cm”等であるが、その表現形式は問わない。劣化箇所の実寸は、例えば、既知である建造物の実寸に、上記比率を乗算することにより取得される。または、劣化箇所の実寸は、手入力の受け付けにより取得されてもよい。
学習情報は、上記のような2以上の特徴量と、劣化レベルとの対応を示す情報である。対応を示す情報とは、2以上の特徴量と劣化レベルとの対である対情報の集合でもよいし、関数でもよい。
前者の学習情報は、例えば、クラス分類である。クラス分類とは、2以上の特徴量と、離散値である劣化レベル(以下、「第一劣化レベル」と記す場合がある)との対である対情報の集合である、といってもよい。従って、クラス分類は、例えば、対応表と言い換えてもよい。クラス分類は、2以上の特徴量と第一劣化レベルとの対の集合である。クラス分類を構成する2以上の各対は、例えば、教師データ格納部111に格納されている2以上の各教師データを構成する教師画像から取得された2以上の特徴量(以下、教師特徴量群と記す場合がある)と、当該教師データを構成する劣化レベルとの対である。
また、後者の学習情報は、例えば、回帰式である。回帰式とは、2以上の特徴量と、連続値である劣化レベル(以下、「第二劣化レベル」と記す場合がある)との関係を示す式である、といってもよい。回帰式は、2以上の特徴量をパラメータとする関数である。回帰式は、例えば、線形関数であるが、非線形関数でもよい。
回帰式は、教師データ格納部111に格納されている2以上の教師データを用いて取得される。回帰式は、例えば、2以上の各教師データから取得された、2以上の特徴量と劣化レベルとの対の集合を用いて、最小二乗法等のアルゴリズムにより取得されるが、その取得方法は問わない。
そして、上記のような学習情報は、学習器であってもよい。学習器とは、2以上の教師データを用いて、2以上の特徴量と劣化レベルとの対応を機械学習することにより、2以上の特徴量の入力に対し、対応する劣化レベルを出力する機能ないしプログラムである、といってもよい。学習器は、例えば、回帰式による学習器でもよいし、クラス分類による学習器でもよい。
なお、学習情報格納部112には、予め学習情報が格納されていてもよい。予め格納される学習情報は、例えば、外部の装置において、例えば、機械学習により取得された情報である。または、予め格納される学習情報は、劣化レベル判定装置1内において、教師データ格納部111に格納されている2以上の教師データを用いて、例えば、機械学習により、または人の判断結果(例えば、後述するユーザ評価)を受け付けることにより、取得された情報であってもよく、その由来は問わない。
組情報格納部113には、1または2以上の組情報が格納される。組情報とは、判定結果データとユーザ評価との組で構成された情報である。判定結果データとは、判定対象画像に対して、劣化レベル判定装置1が判定した劣化レベルに関する情報である。判定結果データは、判定対象画像と、劣化レベル判定装置1が判定した劣化レベルとの対応を示す情報である。
判定結果データは、例えば、判定対象画像と、劣化レベルとの対で構成される。または、判定結果データは、画像識別子と劣化レベルとの対で構成されてもよく、そのデータ構造は問わない。画像識別子とは、画像を識別する情報である。画像は、教師画像または判定対象画像である。画像識別子は、例えば、“1”,“2”,“3”等のIDであるが、画像を識別し得る情報であれば何でもよい。
なお、以下では、教師データ格納部111に格納されている教師画像の数を“K”個(ただし、Kは2以上の自然数)とし、ID“k”(ただし、kは、K以下の自然数)で識別される教師画像を「教師画像k」と記す場合がある。
詳しくは、判定結果データは、例えば、後述する判定対象画像取得部131が取得した判定対象画像と、当該判定対象画像に対して、後述する劣化レベル取得部132が取得した劣化レベルとを有する。
ユーザ評価とは、ユーザによる評価である。ユーザ評価は、例えば、判定結果データが有する判定対象画像に対して、ユーザが判定した劣化レベルである。なお、ユーザが判定した劣化レベルは、劣化レベル判定装置1が判定した劣化レベルと同じでも、違っていてもよい。または、ユーザ評価は、判定結果データが有する劣化レベルの適否について、ユーザが判断した結果でもよい。または、ユーザ評価は、ユーザが不適であると判断した劣化レベルを有する判定結果データの判定対象画像に対して、ユーザが判定し直した劣化レベルでもよい。
受付部12は、各種の指示や各種の情報を受け付ける。各種の指示とは、例えば、劣化レベルの判定を行う旨の指示である。各種の情報とは、例えば、ユーザ評価である。受け付けとは、例えば、キーボードやタッチパネル等の入力デバイスから入力された情報の受け付けであるが、ネットワークや通信回線等を介して送信された情報の受信、ディスクや半導体メモリなどの記録媒体から読み出された情報の受け付けなどでもよい。
受付部12は、例えば、組情報格納部113に格納されている1以上の各判定対象画像に対するユーザ評価を、キーボード等の入力デバイスを介して受け付ける。詳しくは、例えば、後述する出力部14が、組情報格納部113から一の判定結果データを取得してディスプレイに表示し、受付部12は、表示されている判定結果データを構成する判定対象画像に対するユーザ評価を受け付ける処理を、格納されている1以上の全ての判定対象画像に対するユーザ評価の受け付けが完了するまで、繰り返し行ってもよい。
また、受付部12は、例えば、外部の装置から送信された学習情報を受信したり、記録媒体から読み出された学習情報を受け付けたりしてもよい。受付部12は、こうして受け付けた学習情報を、学習情報格納部112に蓄積する。
さらに、受付部12は、例えば、外部の装置から送信された1または2以上の判定対象画像を受信したり、記録媒体から読み出された1または2以上の判定対象画像を受け付けたり、劣化レベル判定装置1を実現する携帯端末の内蔵カメラで撮影された画像を受け付けたりしてもよい。受付部12は、こうして受け付けた1以上の判定対象画像を、例えば、組情報格納部113に蓄積する。
処理部13は、各種の処理を行う。各種の処理とは、例えば、判定対象画像取得部131、劣化レベル取得部132、第一蓄積部133、第一判断部134、第二蓄積部135、第二判断部136、再構成部137、原因判定部138、教師特徴量群取得手段1321、学習情報取得手段1322、判定対象特徴量群取得手段1323、および劣化レベル取得手段1324などの処理である。また、処理部13は、フローチャートで説明する判断や判別なども行う。
判定対象画像取得部131は、判定対象画像を取得する。例えば、組情報格納部113に1以上の判定対象画像が格納されており、判定対象画像取得部131は、組情報格納部113から一の判定対象画像を取得する。または、劣化レベル判定装置1が携帯端末であり、判定対象の建造物が携帯端末の内蔵カメラで撮影された場合、判定対象画像取得部131は、その撮影された判定対象画像を取得してもよい。
劣化レベル取得部132は、学習情報格納部112に格納されている学習情報に、判定対象画像取得部131が取得した判定対象画像を適用し、劣化レベルを取得する。
格納されている学習情報は、例えば、回帰式またはクラス分類のうち1種類以上の情報である。適用とは、例えば、機械学習の実行である。機械学習の実行は、例えば、回帰式への代入、または、クラス分類に従うクラス分け、または、代入およびクラス分けの両方である。取得とは、例えば、回帰式による算出結果の取得、または、クラス分類による分類結果の取得、または、算出結果および分類結果の両方の取得である。
劣化レベル取得部132は、例えば、教師データ格納部111に格納されている2以上の教師データを用いて、機械学習のアルゴリズムにより、2以上の特徴量を入力とし、劣化レベルを出力とする学習器である学習情報を構成する。機械学習のアルゴリズムは、例えば、ランダムフォレストのアルゴリズムである。
または、機械学習のアルゴリズムは、ランダムフォレスト以外の教師あり学習のアルゴリズムでもよい。ランダムフォレスト以外の教師あり学習のアルゴリズムは、例えば、SVR、決定木、深層学習等であるが、ニューラルネットワーク、SVM等でもよく、その種類は問わない。なお、機械学習においても、劣化レベルの判定に用いる2種類以上の特徴量の数や組み合わせは、通常、人為的に決定される必要があるが、深層学習(ディープラーニングともいう)の場合は、こうした数や組み合わせも自動的に決定される。
または、機械学習のアルゴリズムは、例えば、クラスタ分析、主成分分析、ベクトル量子化といった、教師なし学習のアルゴリズムでもよい。ただし、教師なし学習のアルゴリズムは、本実施の形態における機械学習のアルゴリズムから除外されてもよい。
機械学習のアルゴリズムにより構成される学習器は、例えば、回帰式による学習器でもよいし、クラス分類による学習器でもよいし、これら2種類の学習器の両方でもよい。
劣化レベル取得部132は、教師データ格納部111に格納されている2以上の教師データを用いて、機械学習のアルゴリズムにより、例えば、2以上の特徴量を入力とし、離散的な劣化レベルを出力とする回帰式による学習器、または、2以上の特徴量を入力とし、離散的な劣化レベルを出力とするクラス分類による学習器のうち、1種類以上の学習器を構成する。
そして、劣化レベル取得部132は、判定対象画像取得部131が取得した判定対象画像から2以上の特徴量を取得し、取得した2以上の特徴量(以下、判定対象特徴量群と記す場合がある)を、上記のように構成した1種類以上の各学習器に入力し、当該1種類以上の学習器から出力される1種類以上の劣化レベルを取得する。取得される1種類以上の劣化レベルは、第一劣化レベルまたは第二劣化レベルのうちの1種類以上である。第一劣化レベルとは、クラス分類による学習器(以下、第一の学習器と記す場合がある)から出力される離散的な劣化レベルである。第二劣化レベルとは、回帰式による学習器(第二の学習器)から出力される連続的な劣化レベルである。
なお、一の判定対象特徴量群を第一および第二の各学習器に入力し、第一の学習器から出力される第一劣化レベル、および第二の学習器から出力される第二劣化レベルの両方を取得した場合、劣化レベル取得部132は、第一または第二のいずれか一方の劣化レベルを採用してもよい。その際、劣化レベル取得部132は、例えば、閾値より低い又は閾値以下の劣化レベルについては、第二劣化レベルを採用し、閾値以上または閾値より高い劣化レベルについては、第一劣化レベルを採用することは好適である。
なお、適用は、例えば、劣化レベル取得部132が機械学習により取得した劣化レベルに対して、その尤度(尤もらしさ)を示すスコアを取得することをも含んでいてもよい。スコアは、例えば、0から1の数値で表現されるが、0から100の整数値で表現されてもよく、その表現形式は問わない。例えば、学習情報に尤度関数が含まれており、劣化レベル取得部132は、尤度関数を用いて、取得した劣化レベルに対するスコアを取得してもよい。
または、適用とは、機械学習によらない検索を行うことでもよい。劣化レベル取得部132は、例えば、判定対象画像から取得された判定対象特徴量群をキーとして、格納されている学習情報(例えば、クラス分類)を検索し、当該判定対象特徴量群と予め決められた条件を満たすほど類似する教師特徴量群と組になる劣化レベルを取得してもよい。予め決められた条件とは、例えば、判定対象特徴量群との類似度が、最も高く、かつ閾値以上である、という条件である。
この場合、劣化レベル取得部132は、格納されている学習情報を構成する2以上の教師特徴量群のうち、取得された判定対象特徴量群との類似度が最も高い教師特徴量群を選択し、当該判定対象特徴量群と当該教師特徴量群との類似度が閾値以上である又は閾値より大きい場合に、当該教師特徴量群と組になる劣化レベルを取得する。
または、予め決められた条件は、判定対象特徴量群との類似度が最も高い、という条件でもよく、その場合、劣化レベル取得部132は、格納されている学習情報を構成する2以上の教師特徴量群のうち、取得された判定対象特徴量群との類似度が最も高い教師特徴量群を選択し、当該教師特徴量群と組になる劣化レベルを取得する。
劣化レベル取得部132を構成する教師特徴量群取得手段1321は、教師データ格納部111に格納されている2以上の各教師画像ごとに、当該教師画像の少なくとも一部から、教師特徴量群を取得する。
教師特徴量群とは、一の教師画像から取得される2以上の特徴量の組である。2以上の特徴量の組は、例えば、3つの特徴量“色相”,“色相の変化率”,および“明度の変化率”の組である。ただし、2以上の特徴量の組は、例えば、上記3つの特徴量に加えて、またはそのうち1つの特徴量に代えて、LBP(Local Binary Pattern)を含んでいてもよく、教師特徴量群を構成する特徴量の数や種類は問わない。なお、LBPとは、画像を構成する2以上の各画素ごとに、当該画素とその周囲の近傍画素との差分が閾値以上であるか否かを、“0”,“1”等のビット値で示した情報である、といってもよい。LBPは公知であり、詳しい説明を省略する。
教師画像の少なくとも一部とは、一の教師画像の全部でもよいし、一の教師画像のうちの2以上の各ブロックに対応する部分でもよい。
詳しくは、教師特徴量群取得手段1321は、例えば、“M画素×N画素”の教師画像kを、横方向にm分割し、かつ縦方向にn分割することにより、“m×n”個のブロックを取得する。“m×n”個の各ブロックは、“(M/m)画素×(N/n)画素”で構成される。
具体的には、例えば、教師画像kが800画素×600画素で構成される場合(以下では、かかる教師画像を「800×600の教師画像k」のように記す場合がある)、教師特徴量群取得手段1321は、この800×600の教師画像kを、横方向に160分割し、かつ縦方向に120分割することにより、19200個の“5×5”のブロックを取得する。
次に、教師特徴量群取得手段1321は、取得した“m×n”個のブロックの各々から、教師特徴量群を取得する。これにより、教師画像kから、“m×n”個のブロックに対応する“m×n”個の教師特徴量群が取得される。例えば、800×600の教師画像kからは、19200個のブロックに対応する19200個の教師特徴量群が取得される。
教師特徴量群取得手段1321は、こうして教師画像kから取得した“m×n”個の各教師特徴量群を、画像識別子“k”およびブロック識別子(i,j)に対応付けて、格納部11に蓄積する。
ブロック識別子とは、ブロックを識別する情報である。ブロック識別子は、例えば、IDである。教師画像kから取得された“m×n”個のブロックに関するブロック識別子は、例えば、横方向のブロック番号iおよび縦方向のブロック番号jの組(i,j)である。横方向のブロック番号iとは、横方向のm個のブロックの配列における位置(例えば、左からi番目)を示す情報である。縦方向のブロック番号jとは、縦方向のn個のブロックの配列における位置(例えば、上からj番目)を示す情報である。
具体的には、例えば、800×600の教師画像kから取得された19200個の各ブロックを識別するブロック識別子は、(1,1),(1,2),・・・(120,160)等である。かかるブロック識別子(i,j)は、教師画像k内における当該ブロックの位置を示す位置情報でもある。なお、ブロック配列が一次元の場合のブロック識別子は、例えば、“1”,“2”,“3”といった、一のブロック番号でよい。ただし、ブロック識別子の表現形式は問わない。
例えば、M画素×N画素の教師画像kから取得した“m×n”個の各ブロックごとに、3つの特徴量“色相”,“色相の変化率”,および“明度の変化率”の組で構成される教師特徴量群を取得する場合、教師特徴量群取得手段1321は、当該ブロックを構成する“(M/m)×(N/n)”個の画素を用いて、色相を取得する。教師特徴量群取得手段1321は、取得した“m×n”個の各色相を、画像識別子“k”およびブロック識別子(i,j)に対応付けて、格納部11に蓄積する。
これにより、例えば、800×600の教師画像kから取得された19200個の各色相が、画像識別子“k”およびブロック識別子(1,1),(1,2),・・・(120,160)等に対応付けて、格納部11に格納される結果となる。
次に、教師特徴量群取得手段1321は、例えば、格納部11に、ブロック識別子(i,j)と対に格納されている“m×n”個の色相を用いて、“m×n”個の各ブロックごとに、色相を位置情報で一次微分した結果である“色相の変化率”を取得する。教師特徴量群取得手段1321は、取得した“m×n”個の各“色相の変化率”を、ブロック識別子(i,j)に対応付けて、格納部11にさらに蓄積する。
これにより、例えば、800×600の教師画像kから取得された19200個の各“色相の変化率”が、画像識別子“k”およびブロック識別子(1,1),(1,2),・・・(120,160)等に対応付けて、格納部11にさらに格納される結果となる。
また、教師特徴量群取得手段1321は、例えば、“m×n”個の各ブロックごとに、当該ブロックを構成する“(M/m)×(N/n)”個の画素を用いて、明度を取得する。そして、教師特徴量群取得手段1321は、取得した“m×n”個の明度を用いて、明度を位置情報で一次微分した結果である“明度の変化率”を取得する。教師特徴量群取得手段1321は、こうして取得した2以上の各“明度の変化率”を、画像識別子“k”およびブロック識別子(i,j)に対応付けて、格納部11にさらに蓄積する。
これにより、例えば、800×600の教師画像kから取得された19200個の各“明度の変化率”が、画像識別子“k”およびブロック識別子(1,1),(1,2),・・・(120,160)等に対応付けて、格納部11にさらに格納され、それによって、格納部11には、教師画像kの“m×n”個の各ブロックごとに、3つの特徴量“色相”,“色相の変化率”,および“明度の変化率”の組で構成された教師特徴量群が格納される結果となる。
次に、教師特徴量群取得手段1321は、教師データ格納部111から、当該一の教師画像に対応する劣化レベルを取得する。そして、教師特徴量群取得手段1321は、格納部11に、画像識別子“k”およびブロック識別子(i,j)に対応付けて格納されている、“m×n”個のブロックに対応する“m×n”個の教師特徴量群の集合に、教師データ格納部111から取得した劣化レベルを対応付ける。
これにより、格納部11には、例えば、800×600の教師画像kから取得された19200個の教師特徴量群が、画像識別子“k”およびブロック識別子(1,1),(1,2),・・・(120,160)等に対応付けて格納される結果となる。
教師特徴量群取得手段1321は、上記のような処理を、K個の各教師画像ごとに行い、それによって、格納部11には、画像識別子“k”およびブロック識別子(i,j)に対応付けて、3つの特徴量“色相”,“色相の変化率”,および“明度の変化率”の組で構成された“K×m×n”個の教師特徴量群が格納される結果となる。
なお、ブロックのサイズは、可変でもよい。すなわち、教師特徴量群取得手段1321は、例えば、教師画像のサイズに応じて、異なるサイズのブロックを採用し、各ブロックから教師特徴量群を取得してもよい。具体的には、教師特徴量群取得手段1321は、例えば、800×600の教師画像に対して5×5のブロックを採用し、640×480の教師画像に対しては4×4のブロックを採用することにより、例えば、教師画像のサイズが小さくても、教師特徴量群を高い精度で取得でき、また、教師画像のサイズが大きくても、教師特徴量群の取得のための処理量の抑制できる。つまり、サイズが異なる2以上の各教師画像から、2以上の教師特徴量群を効率よく取得できる。
または、教師特徴量群取得手段1321は、一の教師画像内で、例えば、色または輝度の変化率に応じて、異なるサイズのブロックを採用し、各ブロックから教師特徴量群を取得してもよい。具体的には、教師特徴量群取得手段1321は、例えば、一の教師画像内で、色または輝度の変化率が閾値より大きい又は閾値以上である部分に対して5×5のブロックを採用し、色または輝度の変化率が閾値以下または閾値未満である部分に対しては10×10のブロックを採用することにより、劣化領域に対応する部分から高い精度の教師特徴量群を取得し、劣化領域以外の領域(以下、健全領域と記す場合がある)に対応する部分からは、低い精度の教師特徴量群を取得する。こうして、一の教師画像内の劣化領域からのみ、高い精度で教示情報群を取得し、健全領域からは、低い精度で教示情報群を取得することで、2以上の教師特徴量群を異なる精度で効率よく取得できる。
または、教師特徴量群取得手段1321は、一の教師画像内で、色または輝度の変化率が閾値より大きい又は閾値以上である部分からのみ、教師特徴量群を取得し、色または輝度の変化率が閾値以下または閾値未満である部分からは教師特徴量群を取得しなくてもよい。
詳しくは、教師特徴量群取得手段1321は、例えば、教師画像を2以上のブロックに分割し、当該2以上のブロックのうち、色または輝度の変化率が閾値より大きい又は閾値以上であるブロックからのみ、教師特徴量群を取得し、色または輝度の変化率が閾値以下または閾値未満であるブロックからは、教師特徴量群を取得しない。
これにより、一の教師画像内の劣化領域からのみ、2以上の教師特徴量群を高い精度で効率よく取得できる。
なお、教師画像のブロックに関する上記事項は、判定対象画像のブロックについても当てはまる。
または、教師特徴量群取得手段1321は、2以上の各教師画像ごとに、輪郭線検出および領域抽出を行うことにより、劣化領域を取得してもよい。輪郭線検出とは、画像内の領域の輪郭線を検出する処理である。教師特徴量群取得手段1321は、例えば、予め決められた閾値で教師画像を二値化することにより、劣化領域の輪郭線を検出する。領域抽出とは、画像から領域を抽出す処理である。教師特徴量群取得手段1321は、教師画像から、検出した輪郭線で囲まれる領域を抽出する。教師特徴量群取得手段1321は、こうして2以上の教師画像から取得した2以上の各劣化領域ごとに、教師特徴量群を取得してもよい。
学習情報取得手段1322は、教師データ格納部111に格納されている2以上の各教師画像に対して教師特徴量群取得手段1321が取得した2以上の教師特徴量群を用いて、学習情報を取得し、学習情報格納部112に蓄積する。
学習情報取得手段1322は、例えば、教師データ格納部111に格納されているK個の教師画像に対して教師特徴量群取得手段1321が取得した“K×m×n”個の教師特徴量群を用いて、学習情報を取得し、学習情報格納部112に蓄積する。
学習情報取得手段1322は、格納されている2以上の各教師画像に対して取得された2以上の教師特徴量群を用いて、例えば、教師画像と2以上の教師特徴量群との対の集合である学習情報を取得する。
学習情報取得手段1322は、例えば、格納されているK以上の各教師画像に対して取得された“m×n”個の教師特徴量群を用いて、教師画像と“m×n”個の教師特徴量群とのk個の対の集合で構成された学習情報を取得する。
または、学習情報取得手段1322は、教師データ格納部111に格納されている2以上の各教師画像に対して教師特徴量群取得手段1321が取得した2以上の教師特徴量群を用いて、例えば、機械学習のアルゴリズムにより、クラス分類による第一の学習器、または回帰式による第二の学習器のうち、1種類以上の学習器を構成してもよい。
また、学習情報取得手段1322は、格納されている2以上の各教師画像に対して、教師特徴量群取得手段1321が取得した教師特徴量群と、取得された2以上の各教師特徴量群に対して、第一の学習器から出力される離散的な第一劣化レベル、および第二学習器から出力される連続的な第二劣化レベルとを用いて、例えば、機械学習のアルゴリズムにより、第三の学習器をも構成してもよい。第三の学習器とは、第一および第二の劣化レベルを入力とし、第一または第二のいずれかの劣化レベルを出力とする学習器である。
さらに、学習情報取得手段1322は、格納されている2以上の各教師画像に対して、教師特徴量群取得手段1321が当該教師画像を構成する“m×n”個のブロックから取得した“m×n”個の教師特徴量群と、当該“m×n”個の教師特徴量群に対して、第一または第二の学習器から出力される第一または第二の劣化レベルである“m×n”個の局所的劣化レベルとを用いて、例えば、機械学習のアルゴリズムにより、第四の学習器をも構成してもよい。第四の学習器とは、“m×n”個の局所的劣化レベルを入力とし、大局的劣化レベルを出力とする学習器である。
判定対象特徴量群取得手段1323は、判定対象画像取得部131が取得した判定対象画像の少なくとも一部から、2以上の特徴量の組である判定対象特徴量群を取得する。なお、判定対象特徴量群取得手段1323が判定対象画像から判定対象特徴量群を取得する手順は、教師特徴量群取得手段1321が教師画像から教師特徴量群を取得する手順と同じでよい。
すなわち、判定対象特徴量群取得手段1323は、例えば、取得された判定対象画像を2以上のブロックに分割し、当該2以上のブロックの各々から、判定対象特徴量群を取得する。
判定対象特徴量群取得手段1323は、例えば、“M画素×N画素”の判定対象画像を、横方向にm分割し、かつ縦方向にn分割することにより、“(M/m)画素×(N/n)画素”で構成された“m×n”個のブロックを取得する。これにより、例えば、800×600の判定対象画像は、前述した800×600の教師画像kの場合と同じく、5×5の19200個のブロックに分割され、19200個のブロックの各々から、判定対象特徴量群が取得される。
劣化レベル取得手段1324は、判定対象特徴量群取得手段1323が取得した判定対象特徴量群を、学習情報格納部112の学習情報に適用し、当該判定対象特徴量群に対応する劣化レベルを取得する。
劣化レベル取得手段1324は、例えば、判定対象特徴量群取得手段1323が2以上の各ブロックから取得した判定対象特徴量群を学習情報に適用し、各ブロックの局所的劣化レベルを取得する。局所的劣化レベルとは、判定対象画像を構成する2以上の各ブロックごとの劣化レベルである。
劣化レベル取得手段1324は、例えば、判定対象特徴量群取得手段1323がm×n個の各ブロックから取得した判定対象特徴量群を学習情報に適用し、m×n個の各ブロックの局所的劣化レベルを取得する。こうして取得されるm×n個の各局所的劣化レベルは、例えば、ブロック識別子(i,j)と劣化レベルとを有する。
劣化レベル取得手段1324は、2以上(例えば、m×n個:以下同様)の局所的劣化レベルを、例えば、機械学習のアルゴリズムにより取得する。
また、劣化レベル取得手段1324は、こうして取得した2以上の局所的劣化レベルを用いて、大局的劣化レベルを取得する。大局的劣化レベルとは、判定対象画像を構成する2以上のブロックに対する劣化レベルである。大局的劣化レベルは、例えば、判定対象画像を構成する2以上のブロックの全部に対する劣化レベル(つまり、判定対象画像を単位とする劣化レベル)であるが、判定対象画像を構成する2以上のブロックのうち、オブジェクトに対応する2以上のブロックに対する劣化レベル(つまり、オブジェクトを単位とする劣化レベル)でもよい。
大局的劣化レベルは、例えば、劣化領域のサイズを用いて取得される。大局的劣化レベルは、特に、例えば、判定対象画像のサイズに対する、劣化領域のサイズの比率を用いて取得されることは好適である。判定対象画像のサイズに対する、劣化領域のサイズの比率は、例えば、判定対象画像を構成するブロックの数に対する、局所的劣化レベルが閾値より小さい又は閾値以下であるブロックの数の割合である。
劣化レベル取得手段1324は、例えば、取得した2以上の局所的劣化レベルを用いて、劣化領域のサイズを取得し、取得した劣化領域のサイズを用いて、大局的劣化レベルを取得する。
または、劣化レベル取得手段1324は、取得した劣化領域のサイズを、判定対象画像のサイズで除算し、その除算結果を用いて、大局的劣化レベルを取得してもよい。
例えば、800×600の判定対象画像を5×5のブロックに分割する場合、劣化レベル取得部132は、“800×600”を“5×5”で除算することにより、判定対象画像のサイズ“19200”を取得する。これら19200個のブロックの中に、局所的劣化レベルが閾値より小さい又は閾値以下のブロックが、例えば、600個含まれている場合、劣化レベル取得部132は、劣化領域のサイズ“600”を判定対象画像のサイズ“19200”で除算し、除算結果“1/32”を取得する。
劣化レベル取得手段1324は、取得した劣化領域のサイズを用いて、または取得した劣化領域のサイズを判定対象画像のサイズで除算した結果を用いて、例えば、機械学習のアルゴリズムにより、大局的劣化レベルを取得する。
または、格納部11に、劣化領域のサイズと大局的劣化レベルとの対応を示す対応情報が格納されており、劣化レベル取得手段1324は、取得した劣化領域のサイズに対応する大局的劣化レベルを、この対応情報を用いて取得してもよい。
または、格納部11に、除算結果と大局的劣化レベルとの対応を示す対応情報が格納されており、劣化レベル取得手段1324は、取得した劣化領域のサイズを判定対象画像のサイズで除算し、除算結果に対応する大局的劣化レベルを、この対応情報を用いて取得してもよい。
劣化レベル取得手段1324は、予め決められた2以上のアルゴリズムのうち、判定対象の劣化度に応じたアルゴリズムにより、劣化レベルを取得してもよい。予め決められた2以上のアルゴリズムは、例えば、第一アルゴリズム、および第二アルゴリズムを含む。第一アルゴリズムとは、回帰式により連続値を取得するアルゴリズムである。第二アルゴリズムとは、クラス分類により離散値を取得するアルゴリズムである。
劣化レベル取得手段1324は、例えば、最初、第二アルゴリズムにより、離散値である第一劣化レベルを取得する。劣化レベル取得手段1324は、取得した第一劣化レベルが閾値以下または閾値より低い場合に、第一アルゴリズムにより、連続値である第二劣化レベルをさらに取得し、当該第二劣化レベルに対応する劣化レベルを採用する。第一劣化度が閾値より高い又は閾値以上である場合には、劣化レベル取得手段1324は、当該第一劣化度に対応する劣化レベルを採用する。
または、劣化レベル取得手段1324は、一の判定対象に対し、第一および第二の各アルゴリズムで劣化度を取得し、取得した2以上の劣化度のうち条件を満たす劣化度に対応する劣化レベルを採用してもよい。条件は、例えば、第二のアルゴリズムで取得した劣化度が閾値より大きい又は閾値以上である場合は、当該劣化度に対応する劣化レベルを採用し、第二の各アルゴリズムで取得した劣化度が閾値以下または閾値より小さい場合は、第二のアルゴリズムで取得した劣化度に対応する劣化レベルを採用する、という条件である。
または、条件は、第一および第二のアルゴリズムで取得した2つの劣化度の平均値が閾値より大きい又は閾値以上である場合は、第二のアルゴリズムで取得した劣化度に対応する劣化レベルを採用し、かかる平均値が閾値より小さい又は閾値以下である場合は、第一アルゴリズムで取得した劣化度に対応する劣化レベルを採用する、という条件でもよい。
なお、上記のように構成された劣化レベル取得部132において、教師特徴量群取得手段1321と学習情報取得手段1322とで、図示しない学習部が構成され、判定対象特徴量群取得手段1323と劣化レベル取得手段1324とで、図示しない自動判定部が構成されてもよい。
また、劣化レベル判定部132は、上記学習部を有さず、上記自動判定部のみを有していてもよく、その場合、劣化レベル判定装置1は、建造物の劣化レベルを事前の学習により自動判定できる。事前の学習による自動判定とは、例えば、学習情報格納部112に予め格納されている学習情報を用いて、劣化レベルを判定する行うことである。
第一蓄積部133は、判定結果データを組情報格納部113に蓄積する。第一蓄積部133は、例えば、判定対象画像取得部131が取得した判定対象画像と、当該判定対象画像に対して劣化レベル取得手段1324が取得した劣化レベルとの対で構成された判定結果データを、組情報格納部113に蓄積する。
第一判断部134は、組情報格納部113に格納されている1以上の各判定結果データを構成する判定対象画像が、予め決められた第一条件を満たすか否かを判断する。第一条件は、例えば、当該判定対象画像に対応付いた劣化レベルが、閾値以下である又は閾値より小さい、という条件である。閾値は、例えば、“3”であるが、“2”や“4”等でもよく、その数値は問わない。
なお、第一条件は、例えば、判定対象画像に対する劣化レベルが取得された、という条件でもよいし、判定対象画像が取得された、という条件でもよく、判定対象画像に関する条件であれば何でもよい。例えば、第一条件は、判定対象画像に対して取得された劣化レベルの尤度を示すスコアが、閾値以下である又は閾値より小さい、という条件であってもよい。または、第一条件は、当該判定対象画像に対応付いた劣化レベルが、閾値以下である又は閾値より小さく、かつ、当該劣化レベルの尤度を示すスコアが、閾値以下である又は閾値より小さい、という条件であってもよい。
第二蓄積部135は、第一条件を満たす1以上の各判定対象画像に対して受付部12が受け付けたユーザ評価を、当該判定対象画像が構成する判定結果データに対応付けて蓄積する。これにより、組情報格納部113において、第一条件を満たす判定対象画像を含む判定結果データと、当該判定対象画像に対するユーザ評価とを有する1以上の組情報が構成される。
第二蓄積部135は、例えば、第一条件を満たす1以上の各判定対象画像に対して受付部12が受け付けたユーザ評価であり、ユーザが判定した劣化レベルを示すユーザ評価を、当該判定対象画像が構成する判定結果データに対応付けて蓄積する。これにより、組情報格納部113において、第一条件を満たす判定対象画像を含む判定結果データと、当該判定対象画像に対してユーザが判定した劣化レベルを示すユーザ評価とを有する、1以上の組情報が構成される。
第二判断部136は、受付部12が受け付けたユーザ評価が、予め決められた第二条件を満たすか否かを判断する。第二条件は、例えば、劣化レベルとユーザ評価とが異なる組情報が、閾値以上または閾値より多く、組情報格納部113に格納された、という条件である。閾値は、例えば、“2”であるが、“1”でもよいし、“5”や“10”等でもよく、その数値は問わない。
なお、第二条件は、例えば、ユーザ評価が受け付けられた、という条件でもよく、ユーザ評価に関する条件であれば何でもよい。例えば、第二条件は、算出された劣化レベルと、受け付けられたユーザ評価とが異なる、という条件でもよい。
再構成部137は、組情報格納部113に格納されている1以上の組情報を用いて、学習情報格納部112に格納されている学習情報を再構成する。
再構成部137は、1以上の組情報を用いて、例えば、機械学習のアルゴリズムにより、学習器を再構成する。
または、再構成部137は、教師データ格納部111に格納されている2以上の教師データに加えて、組情報格納部113に格納されている1以上の組情報をも用いて、機械学習のアルゴリズムにより学習器を再構成してもよい。
再構成部137は、通常、第二判断部136が、受付部12が受け付けたユーザ評価が第二条件を満たすと判断した場合に、学習器を再構成する。または、再構成部137は、受付部12が、再構成を行う旨の指示を受け付けた場合に、学習情報を再構成してもよく、学習情報の再構成を行うトリガやタイミングは問わない。
原因判定部138は、判定対象画像取得部131が取得した判定対象画像を用いて、判定対象の劣化原因が、予め決められた2以上の劣化原因のうちいずれであるかを判定する。劣化原因とは、建造物の劣化の原因である。本実施の形態における劣化原因は、例えば、劣化の態様と言ってもよい。劣化原因は、例えば、錆であるが、ひび割れ、変形等でもよく、その種類は問わない。なお、各種の劣化が生じる要因は、経年変化に限らない。例えば、錆は、雨漏り、塩分飛来等によっても生じるし、変形は、加重、振動等によっても生じる。つまり、劣化が生じる要因は問わない。
予め決められた2以上の種類とは、例えば、錆、ひび割れ、変形といった、劣化の態様に関する種類であり、判定は、劣化の態様が、かかる2以上の態様のいずれであるかを判定することである。または、判定は、例えば、劣化原因を、錆、ひび割れ、変形といった2種類以上の態様に分類することである、といってもよい。
詳しくは、例えば、格納部11に、原因判定用情報が格納されている。原因判定用情報とは、建造物の劣化の原因を判定するための情報である。原因判定用情報は、例えば、1以上の特徴量と劣化原因との対の集合で構成される。1以上の特徴量と劣化原因との対とは、例えば、錆に特徴的な色相を示す特徴量“赤茶色”と、劣化原因“錆”との対、ひび割れに特徴的な高周波成分(例えば、閾値より大きい又は閾値以上の“明度の変化率”)を示す特徴量と、劣化原因“ひび割れ”との対などである。
原因判定部138は、例えば、判定対象画像取得部131が取得した判定対象画像に対し、判定対象特徴量群取得手段1323が取得した判定対象特徴量群(例えば、色相、高周波成分等)を用いて、判定対象の劣化原因が、予め決められた2以上の劣化原因のうちいずれであるかを判定する。
または、原因判定部138は、判定対象画像取得部131が取得した判定対象画像に対し、劣化レベル取得部132が取得した劣化レベルが閾値以上また閾値より高い場合に、例えば、判定対象特徴量群取得手段1323が取得した判定対象特徴量群を用いて、判定対象の劣化原因が、予め決められた2以上の劣化原因のうちいずれであるかを判定してもよい。
または、原因判定部138は、ランダムフォレスト等の機械学習のアルゴリズムにより劣化原因の判定を行ってもよし、1以上の特徴量を入力とし、劣化原因を出力とする学習器を構成しても構わない。劣化原因の判定に用いられる1以上の特徴量は、例えば、劣化原因の判定に用いられる2以上の特徴量の一部であるが、劣化原因の判定用とは別の特徴量でもよい。なお、原因判定部138は、取得した劣化原因の尤度を示すスコアをも取得してもよい。
なお、原因判定部138が判定した劣化原因は、例えば、出力部14により出力される。または、判定された劣化原因は、劣化レベル取得部132に引き渡され、劣化レベル取得部132は、劣化原因によって異なるアルゴリズムにより、レベル判定を行ってもよい。
出力部14は、劣化レベル取得部132が取得した劣化レベルを出力する。出力とは、例えば、ディスプレイへの表示、スピーカからの音出力、プリンタでの印字、記録媒体への蓄積、他のプログラムへの引渡し、外部の装置への送信などを含む概念である。なお、出力部14は、取得された劣化レベルと共に、当該劣化レベルに対して取得されたスコアをも出力してもよい。
また、出力部は、例えば、原因判定部138が取得した劣化原因を出力してもよい。
出力部14は、劣化レベル等の情報を、通常、ディスプレイに表示するが、例えば、記録媒体に蓄積してもよいし、他のプログラムに引き渡したり、外部の装置に送信したりしても構わない。
格納部11、学習情報格納部112、教師データ格納部111、および組情報格納部113は、例えば、ハードディスクやフラッシュメモリといった不揮発性の記録媒体が好適であるが、RAMなど揮発性の記録媒体でも実現可能である。
格納部11等に情報が記憶される過程は問わない。例えば、記録媒体を介して情報が格納部11等で記憶されるようになってもよく、ネットワークや通信回線等を介して送信された情報が格納部11等で記憶されるようになってもよく、あるいは、入力デバイスを介して入力された情報が格納部11等で記憶されるようになってもよい。入力デバイスは、例えば、キーボード、マウス、タッチパネル等、何でもよい。
受付部12は、入力デバイスを含むと考えても、含まないと考えてもよい。受付部12は、入力デバイスのドライバーソフトによって、または入力デバイスとそのドライバーソフトとで実現され得る。
なお、受付部12の受信機能は、通常、有線または無線の通信手段(例えば、NIC(Network interface controller)やモデム等の通信モジュール)で実現されるが、放送を受信する手段(例えば、放送受信モジュール)で実現されてもよい。
処理部13、判定対象画像取得部131、劣化レベル取得部132、第一判断部134、第一蓄積部133、第二蓄積部135、再構成部137、第二判断部136、原因判定部138、教師特徴量群取得手段1321、学習情報取得手段1322、判定対象特徴量群取得手段1323、および劣化レベル取得手段1324は、通常、MPUやメモリ等から実現され得る。処理部13等の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはROM等の記録媒体に記録されている。ただし、処理手順は、ハードウェア(専用回路)で実現してもよい。
出力部14は、ディスプレイやスピーカ等の出力デバイスを含むと考えても含まないと考えてもよい。出力部14は、出力デバイスのドライバーソフトによって、または出力デバイスとそのドライバーソフトとで実現され得る。
なお、出力部16の送信機能は、通常、有線または無線の通信手段で実現されるが、放送手段(例えば、放送モジュール)で実現されてもよい。
次に、劣化レベル判定装置1の動作について図2のフローチャートを用いて説明する。
(ステップS201)処理部13は、劣化レベルの判定を行うか否かを判断する。処理部13は、例えば、受付部12が、劣化レベルの判定を行う旨の指示を受け付けた場合に、劣化レベルの判定を行うと判断する。または、処理部13は、受付部12が、劣化レベル判定装置1を実現する携帯端末の内蔵カメラで撮影された画像を受け付けた場合に、劣化レベルの判定を行うと判断してもよい。劣化レベルの判定を行う場合はステップS202に進み、劣化レベルの判定を行わない場合はステップS206に進む。
(ステップS202)判定対象画像取得部131は、判定対象画像を取得する。例えば、組情報格納部113に1以上の判定対象画像が格納されており、判定対象画像取得部131は、組情報格納部113から一の判定対象画像を取得する。または、劣化レベル判定装置1が携帯端末であり、判定対象の建造物が携帯端末の内蔵カメラで撮影された場合、判定対象画像取得部131は、その撮影された判定対象画像を取得してもよい。
(ステップS203)劣化レベル取得部132は、学習情報格納部112に格納されている学習情報に、ステップS202で取得された判定対象画像を適用し、劣化レベルを取得する。なお、劣化レベル取得部132の詳細な動作については、前述したので同じ説明を繰り返さない。
(ステップS204)出力部14は、ステップS203で取得された劣化レベルを出力する。出力部14は、取得された劣化レベルを、通常、ディスプレイに表示するが、例えば、記録媒体に蓄積したり、他のプログラムに引き渡したり、外部の装置に送信したりしてもよい。
(ステップS205)第一蓄積部133は、ステップS202で受け付けられた判定対象画像と、ステップS203で取得された劣化レベルとの対応である判定結果データを、組情報格納部113に蓄積する。その後、ステップS201に戻る。
(ステップS206)第一判断部134は、組情報格納部113に格納されている1以上の各判定結果データを構成する判定対象画像が第一条件を満たすか否かを判断する。第一条件は、例えば、当該判定対象画像に対応付いた劣化レベルが、閾値以下である又は閾値より小さい、という条件である。いずれか1つの判定対象画像が第一条件を満たす場合はステップS206に進み、いずれの判定対象画像も第一条件を満たさない場合はステップS201に戻る。
(ステップS207)処理部13は、第一条件を満たす判定対象画像に対するユーザ評価を、受付部12が受け付けたか否かを判別する。第一条件を満たす判定対象画像に対するユーザ評価が受け付けられた場合はステップ208に進み、受け付けられていない場合はステップS201に戻る。
(ステップS208)第二蓄積部135は、ステップS207で受け付けられたユーザ評価を、当該ユーザ評価の対象である判定対象画像を含む判定結果データに対応付けて蓄積する。これにより、組情報格納部113において、第一条件を満たす判定対象画像を含む判定結果データと、当該判定対象画像に対するユーザ評価とを有する組情報が構成される。
(ステップS209)第二判断部136は、ステップS207で受け付けられたユーザ評価が第二条件を満たすか否かを判断する。第二条件は、例えば、劣化レベルとユーザ評価とが異なる組情報が、閾値以上または閾値より多く、組情報格納部113に格納された、という条件である。
(ステップS210)再構成部137は、組情報格納部113に格納されている1以上の組情報を用いて、学習情報格納部112に格納されている学習情報を再構成する。その後、ステップS201に戻る。
なお、図2のフローチャートにおいて、劣化レベル判定装置1の電源オンやプログラムの起動に応じて処理が開始し、電源オフや処理終了の割り込みにより処理は終了する。ただし、処理の開始または終了のトリガは問わない。
以下、劣化レベル判定装置1の具体的な動作例について説明する。本例における劣化レベル判定装置1は、鉄道による旅客等の輸送、駅舎等の設備の保守・管理などを行う企業のサーバである。建造物は、駅舎等の建築物、またはそれを構成する柱や梁などの部材であり、劣化箇所は、柱等の部材の錆びた箇所であるとする。
教師データ格納部111には、例えば、図3に示すような、2以上の教師データが予め格納されている。図3は、教師データのデータ構造図である。教師データは、教師画像と劣化レベルとの対である。教示画像は、柱等の部材の錆びた箇所を撮影した画像である。劣化レベルは、0~5の範囲の離散値である。
格納される2以上の教師データには、ID(例えば、“1”,“2”等)が対応付いている。例えば、ID“1”に対応する教師データ(以下、教師データ1と記す場合がある)は、教師画像1と劣化レベル“2”とを有する。同様に、ID“2”に対応する教師データ(教師データ2)は、教師画像2と劣化レベル“4”とを有する。
学習情報格納部112には、2以上の学習器が格納され得る。2以上の学習器のうち2つは、3つの特徴量“色相”,“色相の変化率”,および“明度の変化率”の組である特徴量群を入力とし、劣化レベルを出力とする学習器である。かかる2つの学習器のうち、一方は、回帰式による第一の学習器であり、他方は、クラス分類による第二の学習器である。上記特徴量群の入力に対し、第一の学習器からは、0~5の範囲の離散値である第一劣化レベルが出力され、第二の学習器からは、同範囲の連続値である第二劣化レベルが出力される。
また、学習情報格納部112には、第一の学習器からの第一劣化レベルおよび第二の学習器からの第二劣化レベルを入力とし、第一劣化レベルまたは第二劣化レベルのいずれか一方を出力とする第三の学習器も格納され得る。
さらに、学習情報格納部112には、第一または第二の学習器からの“160×120”個の局所的劣化レベルを入力とし、一の大局的劣化レベルを出力とする第四の学習器も格納され得る。なお、第四の学習器から出力される大局的劣化レベルは、第三の学習器から入力される局所的劣化レベルが第一劣化レベルか第二劣化レベルかに関わらず、第一劣化レベルである。だだし、第四の学習器からは、第三の学習器から入力される局所的劣化レベルが第一劣化レベルであれば、同じ第一劣化レベルである大局的劣化レベルが出力され、第三の学習器から入力される局所的劣化レベルが第二劣化レベルであれば、同じ第二劣化レベルである大局的劣化レベルが出力されてもよい。
第一および第二の学習器は、学習情報取得手段1322によって、教師データ格納部111に格納されている2以上の教師データ(教師データ1、教師データ2等:図3参照)を用いて、機械学習のアルゴリズムにより構成され、学習情報格納部112に蓄積される。
第一および第二の学習器が構成されるに当たって、格納部11には、例えば、図4に示すような、教師特徴量群と劣化レベルとの対の集合が格納され得る。
教師特徴量群と劣化レベルとの対とは、例えば、教師画像1を構成する“160×120”(=19200)個のフロックから取得された“160×120”個の教師特徴量群と、教師画像1に対応する劣化レベル“2”との対(以下、第一の対)、および、教師画像2を構成する“160×120”個のフロックから取得された“160×120”個の教師特徴量群と、教師画像2に対応する劣化レベル“4”との対(以下、第二の対)などである。
第一の対を構成する“160×120”個の各教師特徴量群は、画像識別子“1”およびブロック識別子(1,1),(1,2),・・・(160,120)に対応付けて、格納部11に格納される。
例えば、画像識別子“1”およびブロック識別子(1,1)に対応付いた教師特徴量群は、色相“H1”、色相の変化率“RH1”、および明度の変化率“RB1”の組である。なお、以下では、ブロック(1,1)に対応する特徴量の組を“(H1,HR1,RB1)”のように記す場合がある。また、(H1,HR1,RB1)等は、3個の数値の組である。
同様に、画像識別子“1”およびブロック識別子(1,2)に対応付いた教師特徴量群は(H2,HR2,RB2)である。また、画像識別子“1”およびブロック識別子(160,120)に対応付いた教師特徴量群は(H19200,HR19200,RB19200)である。
第二の対を構成する“160×120”個の各教師特徴量群は、画像識別子“2”およびブロック識別子(1,1),(1,2),・・・(160,120)に対応付けて、格納部11に格納される。
例えば、画像識別子“2”およびブロック識別子(1,1)に対応付いた教師特徴量群は(H1,HR1,RB1)であり、画像識別子“2”およびブロック識別子(1,2)に対応付いた教師特徴量群は(H2,HR2,RB2)であり、画像識別子“2”およびブロック識別子(160,120)に対応付いた教師特徴量群は(H19200,HR19200,RB19200)である。
なお、図4に示した、教師特徴量群と劣化レベルとの対の集合において、劣化レベルは、図示しない局所的劣化レベル、および図示しない大局的劣化レベルを含む。局所的劣化レベルは、離散的な第一劣化レベル、または連続的な第二劣化レベルである。大局的劣化レベルは、離散的な第一劣化レベルである。
構成された第一および第二の各学習器に対し、判定対象画像から取得された“160×120”個の判定対象特徴量群が入力され、第一の学習器から“160×120”個の第一劣化レベルが出力され、第二の学習器からは“160×120”個の第二劣化レベルが出力される。
第三の学習器は、2以上の各教師画像から取得された“160×120”個の判定対象特徴量群と、当該“160×120”個の判定対象特徴量群に対して、第一の学習器から出力された“160×120”個の第一劣化レベル、および第二の学習器からの“160×120”個の第二劣化レベルを用いて、機械学習のアルゴリズムにより構成される。
構成された第三の学習器に対し、第一の学習器から出力された“160×120”個の第一劣化レベルと、第二の学習器から出力された“160×120”個の第二劣化レベルとが入力され、第三の学習器から、“160×120”個の第一または第二の劣化レベルが出力される。
第四の学習器は、2以上の各教師画像から取得された“160×120”個の判定対象特徴量群に対して、第一の学習器から出力された“160×120”個の第一劣化レベル、および第二の学習器からの“160×120”個の第二劣化レベルと、当該“160×120”個の第一劣化レベルおよび当該“160×120”個の第二劣化レベルに対して第三の学習器から出力された“160×120”個の第一または第二の劣化レベルとを用いて、機械学習のアルゴリズムにより構成される。
構成された第四の学習器に対し、第三の学習器から出力された“160×120”個の第一または第二の劣化レベルが入力され、第四の学習器から、一の第一劣化レベルである大局的劣化レベルが出力される。
組情報格納部113に格納されている1以上の各判定対象画像に対し、劣化レベル取得手段1324が、第一~第四の学習器を用いて、劣化レベルを取得するに当たって、格納部11には、例えば、図5に示すような、判定対象特徴量群と劣化レベルとの対の集合が格納され得る。劣化レベルは、局所的劣化レベル、および大局的劣化レベルを含む。
判定対象特徴量群と劣化レベルとの対とは、例えば、判定対象画像αを構成する“160×120”(=19200)個のフロックから取得された“160×120”個の判定対象特徴量群と、当該“160×120”個の判定対象特徴量群に対応する“160×120”個の局所的劣化レベル、および判定対象画像αに対応する大局的劣化レベル“3”を含む劣化レベルとの対(以下、第一の対)である。
または、判定対象特徴量群と劣化レベルとの対は、判定対象画像βを構成する“160×120”(=19200)個のフロックから取得された“160×120”個の判定対象特徴量群と、当該“160×120”個の判定対象特徴量群に対応する“160×120”個の局所的劣化レベル、および判定対象画像βに対応する大局的劣化レベル“4”を含む劣化レベルとの対(以下、第二の対)でもよい。
判定対象特徴量群のデータ構造は、図4の示した教師特徴量群のデータ構造と同じである。例えば、第一の対において、画像識別子“α”およびブロック識別子(1,1)に対応付いた判定対象特徴量群は(H1,HR1,RB1)であり、画像識別子“α”およびブロック識別子(1,2)に対応付いた判定対象特徴量群は(H2,HR2,RB3)であり、画像識別子“α”およびブロック識別子(160,120)に対応付いた判定対象特徴量群は(H19200,HR19200,RB19200)である。
第一の対における判定対象特徴量群(H1,HR1,RB1)には、局所的劣化レベル“2.2”が対応付き、判定対象特徴量群(H2,HR2,RB2)には、局所的劣化レベル“3.8”が対応付き、判定対象特徴量群(H19200,HR19200,RB19200)には、局所的劣化レベル“3.5”が対応付いている。そして、これら“160×120”個の、連続的な第二劣化レベルである局所的劣化レベルには、離散的な第一劣化レベルである大局的劣化レベル“3”が対応付いている。
同様に、第二の対において、画像識別子“β”およびブロック識別子(1,1)に対応付いた判定対象特徴量群は(H1,HR1,RB1)であり、画像識別子“β”およびブロック識別子(1,2)に対応付いた判定対象特徴量群は(H2,HR2,RB3)であり、画像識別子“β”およびブロック識別子(160,120)に対応付いた判定対象特徴量群は(H19200,HR19200,RB19200)である。
第二の対における判定対象特徴量群(H1,HR1,RB1)には、局所的劣化レベル“4”が対応付き、判定対象特徴量群(H2,HR2,RB2)には、局所的劣化レベル“5”が対応付き、判定対象特徴量群(H19200,HR19200,RB19200)には、局所的劣化レベル“4”が対応付いている。そして、これら“160×120”個の、離散的な第一劣化レベルである局所的劣化レべルには、離散的な第一劣化レベルである大局的劣化レベル“4”が対応付いている。
また、格納部11には、判定対象画像に関する第一条件“判定対象画像の劣化レベルが閾値3以下である”が格納されている。さらに、格納部11には、評価レベルに関する第二条件“劣化レベルとユーザ評価とが異なる組情報が、閾値2以上、組情報格納部113に格納された”も格納されている。
組情報格納部113には、例えば、図6に示すような、1以上の組情報が格納され得る。図6は、組情報のデータ構造図である。組情報は、判定結果データとユーザ評価との組で構成される。判定結果データは、判定対象画像と劣化レベルとを含む。
格納される1以上の組情報には、ID(例えば、“1”,“2”等)が対応付いている。例えば、ID“1”に対応する組情報1は、判定対象画像α、劣化レベル“3”、およびユーザ評価“2”を有する。なお、劣化レベル“3”は、判定対象画像αに対して、劣化レベル判定装置1が判定した劣化レベルであり、具体的には、第四の学習器が出力された大局的劣化レベル“3”(図5参照)である。ユーザ評価“2”は、判定対象画像αに対して、ユーザが判定した劣化レベルであり、受付部12によって受け付けられた値である。
同様に、組情報2は、判定対象画像β、劣化レベル“4”、およびユーザ評価“Null”を有する。なお、劣化レベル“4”は、判定対象画像βに対して、劣化レベル判定装置1が判定した劣化レベルであり、第四の学習器からの出力である大局的劣化レベル“4”(図5参照)である。ユーザ評価“Null”は、判定対象画像βに対してユーザが判定した劣化レベルは存在しない旨の情報である。
現時点で、学習情報格納部112に学習器は格納されておらず、格納部11には、2つの判定対象画像αおよびβのみが格納されているとする。
最初、学習情報格納部112に格納されている2以上の教師画像1および2等を用いて、教師特徴量群取得手段1321および学習情報取得手段1322は、以下の手順で学習器を構成する。
教師特徴量群取得手段1321は、教師画像1を“160×120”個のブロックに分割し、当該“160×120”個のブロックから、“色相”,“色相の変化率”,および“明度の変化率”の組である教師特徴量群(H1,HR1,RB1),(H2,HR2,RB2),・・・(H19200,HR19200,RB19200)を取得する。そして、教師特徴量群取得手段1321は、取得した“160×120”個の各教師特徴量群を、画像識別子“1”およびブロック識別子(1,1),(1,2),・・・(160,120)に対応付けて、格納部11に蓄積する。また、教師特徴量群取得手段1321は、教師データ1を用いて、教師画像1に対応する劣化レベル“2”を取得し、取得した劣化レベル“2”を、取得した上記“160×120”個の教師特徴量群に対応付けて格納部11に蓄積する。
次に、教師特徴量群取得手段1321は、教師画像2を“160×120”個のブロックに分割し、当該“160×120”個のブロックから、同様の教師特徴量群(H1,HR1,RB1),(H2,HR2,RB2),・・・(H19200,HR19200,RB19200)を取得して、画像識別子“2”およびブロック識別子(1,1),(1,2),・・・(160,120)に対応付けて、格納部11に蓄積する。また、教師特徴量群取得手段1321は、教師データ2を用いて、教師画像2に対応する劣化レベル“4”を取得し、取得した劣化レベル“4”を、取得した上記“160×120”個の教師特徴量群に対応付けて格納部11に蓄積する。
これにより、格納部11において、図4に示したような、教師特徴量群と劣化レベルとの対の集合が構成される。学習情報取得手段1322は、かかる教師特徴量群と劣化レベルとの対の集合を用いて、機械学習のアルゴリズムにより、クラス分類による第一の学習器、および回帰式による第二の学習器を構成し、学習情報格納部112に蓄積する。なお、第一および第二の学習器については前述したので、詳しい説明を繰り返さない。第三および第四の学習器についても同様である。
また、学習情報取得手段1322は、上記教師特徴量群と劣化レベルとの対の集合と、各対に対して、第一の学習器から出力される第一劣化レベル、および第二学習器から出力される第二劣化レベルとを用いて、機械学習のアルゴリズムにより、第三の学習器をも構成し、学習情報格納部112に蓄積する。
さらに、学習情報取得手段1322は、上記各対に対して、第一の学習器から出力された“160×120”個の第一劣化レベル、および第二の学習器からの“160×120”個の第二劣化レベルと、当該“160×120”個の第一劣化レベルおよび当該“160×120”個の第二劣化レベルに対して第三の学習器から出力された“160×120”個の第一または第二の劣化レベルとを用いて、機械学習のアルゴリズムにより第四の学習器を構成し、学習情報格納部112に蓄積する。
こうして、学習情報格納部112には、第一~第四の学習器が格納される結果となる。なお、学習情報格納部112には、第一~第四の学習器に代えて、例えば、図4に示したような、教師特徴量群と劣化レベルとの対の集合で構成された学習情報が格納されてもよい。
その後、ユーザが、キーボード等の入力デバイスを介して、劣化レベルの判定を行う旨の指示を入力したとする。劣化レベル判定装置1において、受付部12は、当該指示を受け付ける。判定対象画像取得部131は、組情報格納部113から、判定対象画像αを取得する。劣化レベル取得部132は、学習情報格納部112に格納されている学習情報に、取得された判定対象画像αを適用し、劣化レベルを取得する。
詳しくは、劣化レベル取得部132を構成する判定対象特徴量群取得手段1323は、判定対象画像αを“160×120”個のブロックに分割し、当該“160×120”個のブロックから、教師特徴量群(H1,HR1,RB1),(H2,HR2,RB2),・・・(H19200,HR19200,RB19200)を取得する。そして、判定対象特徴量群取得手段1323は、取得した“160×120”個の判定対象特徴量群を、画像識別子“α”およびブロック識別子(1,1),(1,2),・・・(160,120)に対応付けて、格納部11に蓄積する。
劣化レベル取得手段1324は、最初、上記“160×120”個の判定対象特徴量群を、第一および第二の学習器の各々に入力し、第一の学習器から出力される第一劣化レベルと、第二の学習器から出力される第二劣化レベルとを取得する。次に、劣化レベル取得手段1324は、取得した第一および第二の劣化レベルを第三の学習器に入力し、第三の学習器から出力される第一または第二の劣化レベルを取得する。
本例では、第三の学習器から、離散的な第二劣化レベルであり、“160×120”個のグロックに対応する“160×120”個の局所的劣化レベル“2.2”,“3.8”,・・・“3.5”が出力されたとする。劣化レベル取得手段1324は、取得した“160×120”個の局所的劣化レベル“2.2”,“3.8”,・・・“3.5”を、画像識別子“α”およびブロック識別子(1,1),(1,2),・・・(160,120)に対応付けて、格納部11に蓄積する。
劣化レベル取得手段1324は、第三の学習器から出力された、第二劣化レベルである上記“160×120”個の局所的劣化レベル“2.2”,“3.8”,・・・“3.5”を、第四の学習器に入力し、第四の学習器から出力される大局的劣化レベルを取得する。本例では、第四の学習器から、大局的劣化レベル“3”が出力されたとする。第一蓄積部133は、こうして劣化レベル取得手段1324が取得した大局的劣化レベルである劣化レベル“3”を、画像識別子“α”に対応付けて、格納部11に蓄積する。
これによって、格納部11には、画像識別子“α”に対応付けて、図5に示したような、“160×120”個の判定対象特徴量群(H1,HR1,RB1),(H2,HR2,RB2),・・・(H19200,HR19200,RB19200)と、“160×120”個の局所的劣化レベル“2.2”,“3.8”,・・・“3.5”、および大局的劣化レベル“3”との対が格納される結果となる。
第一蓄積部133は、組情報格納部113の判定対象画像αに、画像識別子“α”に対応付いている上記大局的劣化レベル“3”を対応付けて蓄積し、それによって、組情報格納部113において、判定対象画像αと、上記大局的劣化レベルである劣化レベル“3”とを有する判定結果データが構成される。
出力部14は、組情報格納部113から、上記判定結果データを取得し、ディスプレイ等の出力デバイスを介して出力する。ディスプレイには、判定対象画像αと、これに対する劣化レベル判定装置1の判定結果である劣化レベル“3”とが表示される。
判定対象画像αに対して取得された劣化レベル“3”は、第一条件を満たすため、受付部12は、判定対象画像αに対するユーザ評価を、キーボード等の入力デバイスを介して受け付ける。本例では、ユーザ評価“2”が受け付けられたとする。
第一蓄積部133は、受け付けられた評価レベル“2”を、上記判定結果データに対応付けて、組情報格納部113に蓄積する。これによって、組情報格納部113において、図6に示した組情報1が構成される結果となる。
なお、この時点で、組情報格納部113には、劣化レベルとユーザ評価とが異なる組情報は、組情報1のみしか格納されておらず、第二判断部136は、第二条件を満たしていないと判断する。従って、再構成部137による学習情報の再構成は、この時点では行われない。
次に、判定対象画像取得部131は、組情報格納部113から判定対象画像βを取得し、劣化レベル取得部132は、学習情報格納部112の学習情報に判定対象画像βを適用して、劣化レベルを取得する。
詳しくは、判定対象特徴量群取得手段1323は、判定対象画像βを“160×120”個のブロックに分割し、当該“160×120”個のブロックから、教師特徴量群(H1,HR1,RB1),(H2,HR2,RB2),・・・(H19200,HR19200,RB19200)を取得する。そして、判定対象特徴量群取得手段1323は、取得した“160×120”個の判定対象特徴量群を、画像識別子“β”およびブロック識別子(1,1),(1,2),・・・(160,120)に対応付けて、格納部11に蓄積する。
劣化レベル取得手段1324は、上記“160×120”個の判定対象特徴量群を、第一および第二の学習器の各々に入力することにより、第一および第二の劣化レベルを取得し、次に、取得した第一および第二の劣化レベルを第三の学習器に入力することにより、第一または第二の劣化レベルを取得する。
本例では、第三の学習器から、離散的な第一劣化レベルであり、“160×120”個のブロックに対応する“160×120”個の局所的劣化レベル“4”,“5”,・・・“4”が出力されたとする。劣化レベル取得手段1324は、取得した“160×120”個の局所的劣化レベル“4”,“5”,・・・“4”を、画像識別子“β”およびブロック識別子(1,1),(1,2),・・・(160,120)に対応付けて、格納部11に蓄積する。
劣化レベル取得手段1324は、第三の学習器から出力された、第一劣化レベルである上記“160×120”個の局所的劣化レベル“4”,“5”,・・・“4”を、第四の学習器に入力し、第四の学習器から出力される大局的劣化レベルを取得する。本例では、第四の学習器から、大局的劣化レベル“4”が出力されたとする。第一蓄積部133は、こうして取得された大局的劣化レベルである劣化レベル“4”を、画像識別子“β”に対応付けて、格納部11に蓄積する。
これによって、格納部11には、画像識別子“β”に対応付けて、図5に示したような、“160×120”個の判定対象特徴量群(H1,HR1,RB1),(H2,HR2,RB2),・・・(H19200,HR19200,RB19200)と、“160×120”個の局所的劣化レベル“4”,“5”,・・・“4”、および大局的劣化レベル“4”との対が格納される結果となる。
第一蓄積部133は、組情報格納部113の判定対象画像βに、画像識別子“β”に対応付いている上記大局的劣化レベル“4”を対応付けて蓄積し、それによって、組情報格納部113において、判定対象画像βと、上記大局的劣化レベルである劣化レベル“4”とを有する判定結果データが構成される。
出力部14は、組情報格納部113から上記判定結果データを取得し、ディスプレイ等の出力デバイスを介して出力する。ディスプレイには、判定対象画像βと、これに対する判定結果である劣化レベル“4”とが表示される。
なお、判定対象画像βに対して取得された劣化レベル“4”は、第一条件を満たさないため、判定対象画像βに対するユーザ評価の受け付けは行われない。
第一蓄積部133は、ユーザ評価が存在しない旨の“Null”を、上記判定結果データに対応付けて、組情報格納部113に蓄積する。これによって、組情報格納部113において、図6に示した組情報2が構成される結果となる。
なお、この時点でも、組情報格納部113には、劣化レベルとユーザ評価とが異なる組情報は、組情報1のみしか格納されておらず、第二判断部136は、第二条件を満たしていないと判断する。従って、再構成部137による学習情報の再構成は、この時点でも行われない。
この後、図示しない評価対象画像γについて、上記と同様の処理が行われ、組情報格納部113に、判定対象画像γ、劣化レベル“2”、およびユーザ評価“3”を有する組情報3が格納されたとすると、第二判断部136は、第二条件を満たしたと判断し、再構成部137は、組情報格納部113に格納されている、劣化レベルとユーザ評価とが異なる2つの組情報1および3を用いて、学習情報の再構成を行う。
詳しくは、再構成部137は、判定対象画像αから取得された判定対象特徴量群を第一および第二の学習器への入力として、第四の学習器から、ユーザ評価“2”と同じ大局的劣化レベル“2”が出力され、かつ、判定対象画像γから取得された判定対象特徴量群を第一および第二の学習器への入力として、第四の学習器から、ユーザ評価“3”と同じ大局的劣化レベル“3”が出力されるように、第一~第四の学習器を再構成する。
これにより、劣化レベル判定装置1は、閾値3以下の劣化レベルをも、的確に判定できるようになる。
以上、本実施の形態によれば、学習情報格納部112に、建造物の劣化箇所を撮影した教師画像と劣化レベルとの対応である2以上の教師データから取得された学習情報が格納され、劣化レベル判定装置1は、判定対象の建造物の画像である判定対象画像を取得し、学習情報に判定対象画像を適用し、劣化レベルを取得し、劣化レベルを出力することにより、建造物の劣化レベルを自動判定できる。
また、教師データ格納部111に、2以上の教師データが格納され、劣化レベル判定装置1は、2以上の各教師画像ごとに、教師画像の少なくとも一部から2以上の特徴量の組である教師特徴量群を取得し、取得した2以上の教師特徴量群を用いて、2以上の特徴量と劣化レベルとの対応に関する学習情報を取得し、学習情報格納部112に蓄積する。そして、劣化レベル判定装置1は、判定対象画像の少なくとも一部から2以上の特徴量の組である判定対象特徴量群を取得し、判定対象特徴量群を学習情報に適用し、判定対象特徴量群に対応する劣化レベルを取得することにより、建造物の劣化レベルを学習により自動判定できる。
また、劣化レベル判定装置1は、取得した2以上の教師特徴量群を用いて、機械学習のアルゴリズムにより、2以上の特徴量を入力とし、劣化レベルを出力とする学習器を構成し、判定対象特徴量群を学習器に入力し、学習器から出力される劣化レベルを取得することにより、建造物の劣化レベルを、学習器を用いた機械学習により自動判定できる。
また、組情報格納部113に、判定対象画像と劣化レベルとの対応である判定結果データと、当該判定対象画像に対するユーザによる評価であるユーザ評価とを有する1以上の組情報が格納され、劣化レベル判定装置1は、組情報格納部113に格納されている1以上の各判定結果データを構成する判定対象画像が予め決められた第一条件を満たすか否かを判断し、第一条件を満たす1以上の各判定対象画像に対するユーザ評価を受け付け、第一条件を満たす1以上の各判定対象画像に対して受け付けたユーザ評価を、当該判定対象画像が構成する判定結果データに対応付けて蓄積することにより、組情報格納部113において、第一条件を満たす判定対象画像を含む判定結果データと、当該判定対象画像に対するユーザ評価とを有する1以上の組情報を構成し、組情報格納部113に格納されている1以上の組情報を用いて、機械学習のアルゴリズムにより学習器を再構成する。こうして、第一条件を満たす判定対象画像に対するユーザ評価を用いて学習器を再構成することで、第一条件を満たす判定対象画像に対応する建物の劣化レベルを高い精度で自動判定できるようになる。
また、劣化レベル判定装置1は、受け付けたユーザ評価が予め決められた第二条件を満たすか否かを判断し、ユーザ評価が第二条件を満たす場合に学習器を再構成する。こうして、第一条件を満たす判定対象画像に対するユーザ評価が第二条件を満たす場合に、当該ユーザ評価を用いて学習器を再構成することで、劣化レベル判定装置1は、第一条件を満たす判定対象画像に対応する建物の劣化レベルをより高い精度で自動判定できるようになる。
また、第一条件は、当該判定対象画像に対応付いた劣化レベルが、閾値以下である、という条件であることにより、劣化レベル判定装置1は、劣化レベルが低い判定対象画像に対するユーザ評価を用いて学習器を再構成することで、劣化度が低い建物の劣化レベルを高い精度で自動判定できるようになる。
また、第二条件は、劣化レベルとユーザ評価とが異なる組情報が、閾値以上または閾値より多く、組情報格納部113に格納された、という条件であることにより、劣化レベル判定装置1は、劣化レベルが低い判定対象画像に対するユーザ評価であり、当該劣化レベルとは異なるユーザ評価が多い場合に、当該ユーザ評価を用いて学習器を再構成することで、建物の劣化レベルをより高い精度で自動判定できるようになる。
また、劣化レベル判定装置1は、判定対象画像の一部である2以上のブロックを取得し、2以上の各ブロックを学習情報に適用し、ブロックごとの劣化レベルである2以上の局所的劣化レベルを取得し、2以上の局所的劣化レベルを用いて、2以上のブロックに対する劣化レベルである大局的劣化レベルを取得する。こうして、局所的な判定と大局的な判定を組み合わせることで、効率的な自動判定が行える。
また、劣化レベル判定装置1は、2以上の局所的劣化レベルを機械学習のアルゴリズムにより取得し、大局的劣化レベルを機械学習のアルゴリズムにより取得することにより、局所的な判定も大局的な判定も機械学習で自動的に行える。
また、劣化レベル判定装置1は、2以上の局所的劣化レベルを用いて、判定対象画像の中の劣化箇所に対応する領域である劣化領域のサイズを取得し、劣化領域のサイズを用いて、大局的劣化レベルを取得すること。こうして、局所的な判定の結果を用いて劣化領域のサイズを取得し、当該サイズを大局的な判定に用いることで、より効率的な自動判定が行える。
また、劣化レベル判定装置1は、教師画像の中のオブジェクトのサイズを取得し、オブジェクトのサイズと、オブジェクトの中の劣化領域のサイズとを用いて、大局的劣化レベルを取得する。こうして、オブジェクトに対する劣化領域の相対的なサイズを用いることで、的確な自動判定が行える。
また、劣化レベル判定装置1は、判定対象画像を用いて、判定対象の劣化原因が、予め決められた2以上の劣化原因のうちいずれであるかを判定することにより、劣化原因をも自動判定できる。
また、劣化レベル判定装置1は、予め決められた2以上のアルゴリズムのうち、判定対象の劣化度に応じたアルゴリズムにより劣化レベルを取得することにより、建造物の劣化の程度に応じた的確なレベル判定が行える。
また、2以上のアルゴリズムは、回帰式により連続値を取得する第一アルゴリズム、およびクラス分類により離散値を取得する第二アルゴリズムを含み、劣化レベル判定装置1は、第二アルゴリズムにより離散値である第一劣化レベルを取得し、第一劣化レベルが閾値以下または閾値より低い場合に、第一アルゴリズムにより連続値である第二劣化レベルをさらに取得し、第二劣化レベルに対応する劣化レベルを採用し、第一劣化レベルが閾値より高い又は閾値以上である場合には、第一劣化レベルに対応する劣化レベルを採用する。従って、建造物の劣化が軽度の場合は、回帰式による第一アルゴリズムで細かなレベル判定が行え、建造物の劣化が重度の場合は、クラス分類による第二アルゴリズムで多様なクラス分けが行える。
さらに、本実施の形態における処理は、ソフトウェアで実現してもよい。そして、このソフトウェアをソフトウェアダウンロード等により配布してもよい。また、このソフトウェアをCD-ROMなどの記録媒体に記録して配布してもよい。なお、本実施の形態における情報処理装置を実現するソフトウェアは、例えば、次のようなプログラムである。
つまり、コンピュータがアクセス可能な記録媒体は、建造物の劣化箇所を撮影した教師画像と劣化レベルとの対応である2以上の教師データから取得された学習情報が格納される学習情報格納部112を具備し、このプログラムは、前記コンピュータを、判定対象の建造物の画像である判定対象画像を取得する判定対象画像取得部131と、前記学習情報に前記判定対象画像を適用し、劣化レベルを取得する劣化レベル取得部132と、前記劣化レベルを出力する出力部14として機能させるためのプログラムである。
図7は、本実施の形態におけるプログラムを実行して、劣化レベル判定装置1を実現するコンピュータシステム900の外観図である。本実施の形態は、コンピュータハードウェアおよびその上で実行されるコンピュータプログラムによって実現され得る。図7において、コンピュータシステム900は、ディスクドライブ905を含むコンピュータ901と、キーボード902と、マウス903と、ディスプレイ904とを備える。なお、キーボード902やマウス903やディスプレイ904をも含むシステム全体をコンピュータと呼んでもよい。
図8は、コンピュータシステム900の内部構成の一例を示す図である。図8において、コンピュータ901は、ディスクドライブ905に加えて、MPU911と、ブートアッププログラム等のプログラムを記憶するためのROM912と、MPU911に接続され、アプリケーションプログラムの命令を一時的に記憶すると共に、一時記憶空間を提供するRAM913と、アプリケーションプログラム、システムプログラム、およびデータを記憶するストレージ914と、MPU911、ROM912等を相互に接続するバス915と、外部ネットワークや内部ネットワーク等のネットワークへの接続を提供するネットワークカード916と、を備える。ストレージ914は、例えば、ハードディスク、SSD、フラッシュメモリなどである。
コンピュータシステム900に、劣化レベル判定装置1の機能を実行させるプログラムは、例えば、DVD、CD-ROM等のディスク921に記憶されて、ディスクドライブ905に挿入され、ストレージ914に転送されてもよい。これに代えて、そのプログラムは、ネットワークを介してコンピュータ901に送信され、ストレージ914に記憶されてもよい。プログラムは、実行の際にRAM913にロードされる。なお、プログラムは、ディスク921、またはネットワークから直接、ロードされてもよい。また、ディスク921に代えて他の着脱可能な記録媒体(例えば、DVDやメモリカード等)を介して、プログラムがコンピュータシステム900に読み込まれてもよい。
プログラムは、コンピュータの詳細を示す901に、劣化レベル判定装置1の機能を実行させるオペレーティングシステム(OS)、またはサードパーティプログラム等を必ずしも含んでいなくてもよい。プログラムは、制御された態様で適切な機能やモジュールを呼び出し、所望の結果が得られるようにする命令の部分のみを含んでいてもよい。コンピュータシステム900がどのように動作するのかについては周知であり、詳細な説明は省略する。
なお、上述したコンピュータシステム900は、サーバまたは据え置き型のPCであるが、劣化レベル判定装置1は、例えば、タブレット端末やスマートフォンやノートPCといった、携帯端末で実現されてもよい。この場合、例えば、キーボード902およびマウス903はタッチパネルに、ディスクドライブ905はメモリカードスロットに、ディスク921はメモリカードに、それぞれ置き換えられる。ただし、以上は例示であり、劣化レベル判定装置1を実現するコンピュータのハードウェア構成は問わない。
なお、上記プログラムにおいて、情報を送信する送信ステップや、情報を受信する受信ステップなどでは、ハードウェアによって行われる処理、例えば、送信ステップにおけるモデムやインターフェースカードなどで行われる処理(ハードウェアでしか行われない処理)は含まれない。
また、上記プログラムを実行するコンピュータは、単数であってもよく、複数であってもよい。すなわち、集中処理を行ってもよく、あるいは分散処理を行ってもよい。
また、上記実施の形態において、一の装置に存在する2以上の通信手段(例えば、受付部12の受信機能、および出力部14の送信機能など)は、物理的に一の媒体で実現されてもよいことは言うまでもない。
また、上記各実施の形態において、各処理(各機能)は、単一の装置(システム)によって集中処理されることによって実現されてもよく、あるいは、複数の装置によって分散処理されることによって実現されてもよい。
本発明は、以上の実施の形態に限定されることなく、種々の変更が可能であり、それらも本発明の範囲内に包含されるものであることは言うまでもない。