JP6594039B2 - 画像処理装置、方法及びプログラム - Google Patents

Description

本発明の実施形態は、画像処理装置、方法及びプログラムに関する。

従来から、路面を維持・管理するため、路面のひび割れ率から路面の状況を判断する手法が知られている。この手法では、路面上に所定サイズ（例えば、５０ｃｍ×５０ｃｍ）の検査領域を複数設定し、検査領域毎に、当該検査領域内に存在するひび割れの本数からひび割れ率を算出する。ひび割れ率は、高いほど、路面が劣化していることを表す。

例えば特許文献１には、路面上のひび割れを検査者に把握させるため、測定車に、路面を見下ろすようにラインカメラ又はエリアカメラを設置するとともに、ラインカメラ又はエリアカメラの撮像位置を照らすように照明を設置し、測定車で移動しながら、照明された撮像位置をラインカメラ又はエリアカメラで撮像し、撮像画像を合成して路面を真上から見た画像を生成する技術が開示されている。

特開２００８−４６０６５号公報

しかしながら、上述したような従来技術では、路面の明るさや画像内の明るさムラなど様々な要因により、撮像画像間に明るさの違いが生じてしまう。このため、撮像画像を合成した合成画像においては、合成された撮像画像間の境界部分において明るさが変化してしまい、当該境界部分が検査領域内に存在すると、異常と誤認識させてしまうおそれがある。

本発明が解決しようとする課題は、合成された画像間の境界部分を異常と誤認識されてしまう可能性を低減することができる画像処理装置、方法及びプログラムを提供することを目的とする。

実施形態の画像処理装置は、取得部と、設定部と、選択部と、生成部と、出力部と、を備える。取得部は、移動体で移動しながら撮像装置で対象面を時系列で撮像した複数の撮像画像を取得する。設定部は、前記対象面に複数の検査領域で構成される検査範囲を設定する。選択部は、前記検査領域毎に、前記複数の撮像画像の中から検査領域画像の生成に用いられる撮像画像を選択する。生成部は、前記検査領域毎に、選択された前記撮像画像から、当該撮像画像を撮像した際の前記撮像装置の前記対象面の座標系での位置と前記撮像装置の座標系と前記対象面の座標系との対応関係とに基づいて当該検査領域に対応する部分画像を抽出し、前記対応関係に基づいて前記部分画像を前記対象面の座標系での部分変換画像に変換し、前記複数の検査領域の配置に基づいて、前記複数の部分変換画像を合成し、前記検査領域画像を生成する。出力部は、前記検査領域画像を出力する。

第１実施形態の移動体の構成例を示す図。 第１実施形態の座標系の例を示す図。 第１実施形態の撮像画像の例を示す図。 第１実施形態の画像処理装置の構成例を示す図。 第１実施形態の検査範囲の設定手法の一例の説明図。 第１実施形態の対応関係の一例の説明図。 第１実施形態の撮像画像の例を示す図。 第１実施形態のオルソ画像の例を示す図。 第１実施形態の撮像画像の例を示す図。 第１実施形態のマスク画像の例を示す図。 第１実施形態のオルソ画像の例を示す図。 第１実施形態のマスク画像の例を示す図。 第１実施形態のオルソ画像の例を示す図。 第１実施形態の撮像画像の選択手法の例を示す説明図。 第１実施形態の撮像画像の選択手法の例を示す説明図。 第１実施形態の撮像画像の選択手法の例を示す説明図。 第１実施形態の撮像画像の選択手法の例を示す説明図。 第１実施形態の検査範囲画像の例を示す図。 第１実施形態の検査範囲画像の例を示す図。 第１実施形態の検査範囲を反映させた撮像画像の例を示す図。 第１実施形態の検査範囲を反映させた撮像画像の例を示す図。 第１実施形態の処理例を示すフローチャート。 第１実施形態の画像処理装置の構成例を示す図。 第１実施形態のひび割れ検出結果の例を示す図。 第１実施形態のひび割れ検出結果の例を示す図。 第１実施形態の処理例を示すフローチャート。 各実施形態の画像処理装置のハードウェア構成の一例を示す図である。

以下、添付図面を参照しながら、実施形態を詳細に説明する。

（第１実施形態）
図１は、第１実施形態の対象面１０３の撮像に用いられる移動体１００の構成の一例を示す図である。第１実施形態では、対象面１０３が道路舗装面であり、移動体１００が車両である場合を例に取り説明するが、これに限定されるものではない。

移動体１００は、撮像範囲１０２を撮像するカメラなどの撮像装置１０１と、画像処理装置１１０と、を備える。但し、画像処理装置１１０を移動体１００に設けることは必須ではなく、画像処理装置１１０は、撮像装置１０１で撮像した撮像画像を取得可能であれば、どのような場所に設けられていてもよい。

移動体１００は、対象面１０３上を移動し、撮像装置１０１は、移動体１００の移動中に撮像範囲１０２を時系列で撮像し、撮像した撮像画像を画像処理装置１１０に入力する。

また、撮像装置１０１は、内部パラメータも画像処理装置１１０に入力する。内部パラメータを用いると、撮像画像上の位置と実空間上の３次元位置との関係は、数式（１）で表される。

ここで、ｘ〜は、撮像画像上の位置を同次座標表現したものであり、ｘ〜＝（ｕ，ｖ，１）で表される。Ｘ〜は、実空間上の３次元位置を同次座標表現したものであり、Ｘ〜＝（Ｘ，Ｙ，Ｚ，１）で表される。Ｐは、透視投影行列である。Ａは、内部パラメータであり、数式（２）で表される。

ここで、ｆｘは、撮像画像の横方向の焦点距離を撮像画像の有効画素間隔で除算した値を表し、ｆｙは、撮像画像の縦方向の焦点距離を撮像画像の有効画素間隔で除算した値を表す。ｃｘ及びｃｙは、撮像画像上の光学中心位置を表す。

また、撮像装置１０１は、撮像装置１０１のレンズに歪みがある場合には、歪みパラメータも画像処理装置１１０に入力する。歪みパラメータは、Ｔａｎｇｅｎｔｉａｌ歪み、Ｒａｄｉａｌ歪み、及び魚眼レンズや全方位レンズなどの歪みを考慮するとよい。

なお、撮像装置１０１の外部パラメータとしては、図２に示すように、対象面１０３の法線ベクトルｎ＝（ｎｘ，ｎｙ，ｎｚ）、及び対象面１０３と撮像装置１０１の光学中心とを結ぶ距離ｄが挙げられる。また、撮像装置１０１の相対姿勢（回転行列及び並進ベクトル）が挙げられる。

法線ベクトルｎ及び距離ｄを用いると、撮像装置１０１と対象面１０３との位置関係、即ち、撮像装置１０１の座標系（図２では、Ｙ_ｃ，Ｚ_ｃで表されている）と対象面１０３の座標系（図２では、Ｙ_ｒ、Ｚ_ｒで表されている）との関係は、数式（３）で表される。

ここで、Ｘ_ｒは、対象面１０３の座標を表し、Ｘ_ｃは、撮像装置１０１の座標を表す。ｔ＝（０ ０ ｄ）である。Ｒは、数式（４）で表される。

ここで、θ＝ａｒｃｃｏｓ（ｎｚ）、Ψ＝ａｒｃｔａｎ（−ｎｙ／ｎｘ）、Φ＝±π／２である。

なお、撮像装置１０１と対象面１０３との位置関係は、移動体１００の移動により振動や路面の状態によって変化することがある。このため、画像処理装置１１０は、撮像時刻毎に、撮像装置１０１と対象面１０３との位置関係を推定してもよい。

また、時刻ｍ〜ｍ＋１間の相対姿勢（回転行列Ｒ_{ｒ，ｍ．ｍ＋１}及び並進ベクトルｔ_{ｒ，ｍ．ｍ＋１}）を用いると、時刻ｍ＋１の時点の撮像装置１０１の対象面１０３の座標系に対する位置Ｘ_{ｒ，ｍ＋１}と、時刻ｍの時点の撮像装置１０１の対象面１０３の座標系に対する位置Ｘ_ｒ，ｍと、の関係は、数式（５）で表される。

回転行列及び並進ベクトルは、例えば、画像処理装置１１０が電波を用いて推定できる。この場合、地理座標位置は、例えば衛星測位システム（ＧＮＳＳ）であるＧＰＳ、ＧＬＯＮＡＳＳ、又は準天頂衛星みちびきなどを用いて求めてもよいし、Ｗｉｆｉ等の基地局からの電波を使って推定してもよい。方位は、撮像画像毎の相対的な回転行列がわかればよいため、基準とする方位（必ずしも、北または南である必要がない）を磁気センサや移動体１００に複数個の衛星測位システムを設置し、複数個の地理座標位置から求めてもよいし、また、移動体１００に角速度センサや加速度センサを設置して、その出力値から求めてもよい。

また、回転行列及び並進ベクトルは、例えば、画像処理装置１１０が距離計を用いて推定してもよい。この場合、移動体１００の移動距離を距離計である車輪の回転量をエンコーダで読み取ったり、移動体の方位の変化は操舵角を舵角センサの情報から求めたりしてもよい。

また、回転行列及び並進ベクトルは、例えば、画像処理装置１１０が撮像画像を用いて推定してもよい。この場合、撮像装置１０１で撮影した時系列画像から特徴点を検出し、特徴点の時系列画像間で対応付けを行うことで時系列画像間のフローを求めることができる。フローから時系列画像間の対象面１０３の座標系に対する回転行列と並進ベクトルを求めてもよい。

図３は、第１実施形態の撮像装置１０１により撮像された撮像画像の一例を示す図である。図３に示す例では、ひび割れの検査に用いられる検査領域の集合である検査範囲１０５は、模式的に表わされており、対象面１０３上に検査範囲１０５が実際に表されているわけではない。また第１実施形態では、図３に示すように、撮像装置１０１は、検査領域を一度に撮像できる画角を有しているため、検査領域が画像中において欠損なく１つ以上撮像されている。第１実施形態では、検査領域は、５０ｃｍ×５０ｃｍの領域であるものとするが、これに限定されるものではない。

図４は、第１実施形態の画像処理装置１１０の構成の一例を示す図である。図４に示すように、画像処理装置１１０は、取得部１１１と、設定部１１３と、算出部１１５と、選択部１１９と、生成部１２１と、出力部１２３と、を備える。

取得部１１１、設定部１１３、算出部１１５、選択部１１９、生成部１２１、及び出力部１２３は、例えば、ＣＰＵ（Central Processing Unit）などの処理装置にプログラムを実行させること、即ち、ソフトウェアにより実現してもよいし、ＩＣ（Integrated Circuit）などのハードウェアにより実現してもよいし、ソフトウェア及びハードウェアを併用して実現してもよい。

取得部１１１は、移動体１００で移動しながら撮像装置１０１で対象面１０３を時系列で撮像した複数の撮像画像を、撮像装置１０１から取得する。また取得部１１１は、撮像装置１０１から内部パラメータ等を取得する。

設定部１１３は、対象面１０３に複数の検査領域で構成される検査範囲を設定する。詳細には、設定部１１３は、対象面１０３に検査範囲を仮想的に設定する。

図５は、第１実施形態の検査範囲の設定手法の一例を示す説明図であり、上図は、対象面１０３の座標系を側面から観測した状態を示し、下図は、対象面１０３の座標系を真上から観測した状態を示す。図５に示す例では、対象面１０３全体に複数の検査領域で構成される検査範囲１０５が設定されている。対象面１０３上のダイヤマークは、横断歩道ありの標識を模したものである。位置１０６は、撮像装置１０１（詳細には、撮像装置１０１の光学中心）の位置を示す。

なお、検査範囲１０５は、撮像時刻毎に設定されるわけではなく、一度設定されたら固定される座標系（ここでは世界座標ｗとする）である。検査範囲１０５は、対象面１０３の検査で必要な範囲とすればよく、例えば横幅（Ｘｗ軸）は車幅、道路の車線幅、又は道幅などを設定すればよい。Ｚｗ軸は移動体１００の走行範囲である。

算出部１１５は、撮像装置１０１の座標系と対象面１０３の座標系との対応関係を算出する。

ここで、対象面１０３の座標系は、オルソ画像上の座標系と１対１の関係が成立する。具体的には、図６に示すように、撮像装置１０１の画像面３０２の位置３０３が、対象面１０３上の点３０４である場合、点３０４を路面と平行なオルソ画像面３０５上の点３０６へと変換することができる。

詳細には、画像面３０２上の２次元位置と対象面１０３上の３次元位置との関係は、数式（６）で表される。

ここで、Ｘ〜_１１０は、撮像装置１０１の座標系での３次元位置を同次座標表現したものであり、Ｘ〜_１１１は、対象面１０３の座標系での３次元位置を同次座標表現したものである。

つまり、算出部１１５は、撮像画像の座標系と対象面１０３の座標系との対応関係として数式（６）を求める。この数式（６）を用いて、対象面１０３上の任意の位置に対応する撮像画像の位置の画素値を取得し、オルソ画像面３０５上の対応点にマッピングすれば、当該撮像画像のオルソ画像を生成できる。

なお、対象面１０３は、３次元空間上の平面であるため、射影変換行列を使って撮像画像をオルソ画像に変換することができる。つまり、オルソ画像面３０５と撮像装置１０１の画像面３０２との間にも対象面１０３に対応した射影変換行列Ｈｏが存在するため、射影変換行列Ｈｏを用いれば、オルソ画像面３０５上の位置と撮像装置１０１の画像面３０２の位置との関係は、数式（７）で表される。

つまり、算出部１１５は、撮像画像の座標系と対象面１０３の座標系との対応関係として数式（７）を求めてもよい。この数式（７）を用いて、撮像画像からオルソ画像を生成すれば、オルソ画像面３０５と撮像装置１０１の画像面３０２との対応関係を容易に計算することができ、オルソ画像の生成が容易に行える。

ここで、射影変換行列Ｈｏは、オルソ画像を生成する仮想カメラの内部パラメータＡ３０５と、カメラ座標系と構造物座標系との間の回転行列Ｒと、撮像装置１０１の内部パラメータＡと、で構成される。

なお、仮想カメラの内部パラメータＡ３０５に関しては、任意のパラメータを設定できるので、構造物までの距離がｄで表現されるとき、数式（８）で表せる。

ここで、αは任意のパラメータであり、実際の路面上の距離１ｍがオルソ画像上でα画素の大きさになるように変換される。つまり、１画素は実際の路面上の距離では１／α［ｍ］の大きさに相当する。ｃｘとｃｙはオルソ画像を生成するための仮想カメラの画像中心である。前述の通り、対象面の座標系の任意の１点（例えば点３０４）は、オルソ画像上の座標系の１点（例えば点３０６）に１対１で対応している。

なお、撮像画像からオルソ画像までは射影変換行列Ｈｏで表現されるため、撮像画像からオルソ画像までの座標変換を行うテーブル、及びオルソ画像から撮像画像までの座標変換を行うテーブルの少なくともいずれかを作成しておき、オルソ画像生成や座標変換を高速に行ってもよい。さらに、レンズの歪み補正を含めて座標変換を行うテーブルを作成してもよい。

図７は、撮像装置１０１で撮影された撮像画像の一例を示し、図８は、図７に示す撮像画像のオルソ画像の一例を示す。

選択部１１９は、検査領域毎に、複数の撮像画像の中から検査領域画像の生成に用いられる撮像画像を選択する。なお、検査領域画像の詳細については、後述する。

具体的には、選択部１１９は、撮像画像毎に、当該撮像画像を撮像した際の撮像装置１０１の対象面１０３の座標系での位置と算出部１１５により算出された対応関係とに基づいて、当該撮像画像上での検査領域を特定する。

まず、選択部１１９は、複数の撮像画像それぞれについて、対象面１０３の座標系で検査範囲に相当する領域を求める。

例えば、選択部１１９は、図９に示す撮像画像に対し、車線を検出し、図１０に示すように、車線の内側とそれ以外とに異なる画素値を配し、車線の内側の領域４０３とそれ以外の領域４０４とに分離したマスク画像を生成し、数式（６）又は（７）を用いて、図１１に示すように、当該マスク画像をオルソ画像に変換する。これにより、領域４０３ａが検査範囲として求められる。なお、図１１の領域４０３ａは、図１０の領域４０３に相当し、図１１の領域４０４ａは、図１０の領域４０４に相当する。

また例えば、選択部１１９は、図９に示す撮像画像に対し、対象面１０３に対する撮像装置１０１の姿勢を利用して水平線を検出し、図１２に示すように、水平線の下側と水平線の上側とに異なる画素値を配し、水平線の下側の領域４０６と水平線の上側の領域４０７とに分離したマスク画像を生成し、数式（６）又は（７）を用いて、図１３に示すように、当該マスク画像をオルソ画像に変換する。これにより、領域４０６ａが検査範囲として求められる。なお、図１３の領域４０６ａは、図１２の領域４０６に相当し、図１３の領域４０７ａは、図１２の領域４０７に相当する。

次に、選択部１１９は、求めた検査範囲に相当する領域の対象面１０３の座標系での位置及び方向を求める。具体的には、撮像画像を撮像した時刻での対象面１０３の座標系での撮像装置１０１（詳細には、撮像装置１０１の光学中心）の位置を求める。例えば、選択部１１９は、数式（９）を用いて、対象面１０３の座標系での撮像装置１０１の位置を求める。

なお、数式（５）では、時刻ｍ〜ｍ＋１間の相対運動を記したが、数式（９）のように、時刻ｍ＋１の位置を時刻ｍより前の時刻の動きを用いて推定することができる。ここで、前述の検査範囲１０５の座標系の設定時刻を０とすると、数式（９）は、数式（１０）のように変形される。

なお、撮像画像間では大きく回転はしないと過程して回転行列を単位行列として近似する方法もありえる。

これにより、撮像画像毎に、撮像画像上での検査領域に対応する領域の対象面１０３の座標系での位置及び方向が分かるので、数式（６）又は（７）を用いれば、撮像画像毎に、当該撮像画像上での検査領域の位置及び方向が分かる。

次に、選択部１１９は、検査領域毎に、検査領域に対する撮像距離の近さ、撮像画像内での検査領域の大きさ、撮像画像内での検査領域のぶれの少なさ、撮像画像内での検査領域の明るさ、及び撮像画像内での検査領域のノイズの少なさの少なくともいずれかに基づいて、撮像画像を選択する。

例えば、撮像装置１０１は、図１４に示すように、位置４１０ｂにおいて、撮像範囲４１０ａで図１５に示す撮像画像を撮像した後に、位置４１１ｂにおいて、撮像範囲４１１ａで図１６に示す撮像画像を撮像したとする。図１７は、この場合の撮像装置１０１の位置、撮像範囲、及び複数の検査領域の関係を、対象面１０３の座標系で示した図である。

この状況を例に取り、検査領域毎の撮像画像の選択手法について説明する。

選択部１１９は、検査領域毎に、最も近い位置で撮像された撮像画像を選択する。これは、近くで撮像された画像では、画像中に対象面１０３のパターンが大きく写り、対象面１０３のより細かい模様を観察することができるためである。この場合、選択部１１９は、撮像画像内での検査領域の大きさや検査領域と撮像装置１０１との距離から最も近い位置で撮像された撮像画像を判断する。

まず、図１７に示すように、（１）、（８）、（１５）、（２２）、（２９）、及び（３０）の検査領域４１６は、位置４１１ｂの方が近くで撮像されているが、撮像範囲４１１ａがこれらの検査領域の一部しかカバーしておらず、検査領域全体が撮像されていない。このため、（１）、（８）、（１５）、（２２）、（２９）、及び（３０）の検査領域４１６については、検査領域全体を撮像するという条件では、図１５に示す撮像画像が最も近くで撮像されていることになり、図１５に示す撮像画像が選択される。

一方、図１７に示すように、（２）〜（５）、（９）〜（１２）、（１６）〜（１９）、（２３）〜（２６）、及び（３１）〜（３３）の検査領域４１５は、撮像範囲４１０ａ、４１１ａのいずれにおいても検査領域全体が撮像されているため、図１６に示す撮像画像が最も近くで撮像されていることになり、図１６に示す撮像画像が選択される。

なお、図１５に示す撮像画像では、検査領域４１５に相当する４１５ｂ、検査領域４１６に相当する４１６ａが描写され、図１６に示す撮像画像では、検査領域４１５に相当する４１５ａが描写されているが、これは、撮像画像上での検査領域の位置関係を分かりやすくするために描写したものであり、実際に描写されるわけではない。

また選択部１１９は、検査領域毎に、最も画質のよい撮像画像を選択するようにしてもよい。これは、撮像が近すぎると移動体１００の移動により画像にぶれが生じることがあるためである。

この場合、（１）、（８）、（１５）、（２２）、（２９）、及び（３０）の検査領域４１６については、先ほどと同様、図１５に示す撮像画像が選択されが、（２）〜（５）、（９）〜（１２）、（１６）〜（１９）、（２３）〜（２６）、及び（３１）〜（３３）の検査領域４１５については、それぞれ、画質がよい方の撮像画像が選択される。

ここで画質がよいとは、ぶれの少ない撮像画像、明るく写っている撮像画像、及びノイズの少ない撮像画像の少なくともいずれかである。ぶれの少ない撮像画像の選択には、検査領域に相当する撮像画像内の領域内の画素値の分散を求め、より分散の大きいもの、もしくは周波数分解を行い、高周波の波長を多く含む撮像画像を選択すればよい。また、明るく写っている撮像画像の選択には、検査領域に相当する撮像画像内の領域内の画素値の平均や中央値が大きい撮像画像を選択すればよい。ノイズが少ない撮像画像の選択には、撮像装置１０１のシャッター速度が長い撮像画像やゲインが小さい撮像画像などを選択すればよい。

なお、選択部１１９は、最も近い位置で撮像された撮像画像を選択する手法と、最も画質のよい撮像画像を選択する手法とを組み合わせて、検査領域毎に撮像画像を選択してもよい。この場合、手法毎に重みを決めておき、スコアが大きくなる撮像画像を選択すればよい。

生成部１２１は、検査領域毎に、選択部１１９により選択された撮像画像から、当該撮像画像を撮像した際の撮像装置１０１の対象面１０３の座標系での位置と算出部１１５により算出された対応関係とに基づいて当該検査領域に対応する部分画像を抽出し、当該対応関係に基づいて部分画像を対象面１０３の座標系での部分変換画像に変換し、複数の検査領域の配置に基づいて、複数の部分変換画像を合成し、検査領域画像を生成する。

図１８は、検査領域画像の一例を示す図である。検査領域画像は、検査領域毎に、選択された撮像画像のオルソ画像の当該検査領域に対応する部分の画像を合成したものと同じである。検査領域画像には、検査領域５０１が複数個含まれている。

図１８に示す検査領域画像では、検査領域５０１の境界がわかるように白線で区切ったが、図１９に示すように、白線で区切らなくてもよい。図１９に示す検査領域画像であっても、符号５０３に示す画素値の変化箇所から検査領域の境界があることがわかる。これは、撮像画像毎で明るさの変化が生じているためである。

なお、撮像画像毎に、検査領域画像の生成に用いられた領域を示すようにしてもよい。例えば、図２０に示す撮像画像では、図１８に示す検査領域画像の複数の検査領域５０４に相当する領域５０４ａが示され、図２１に示す撮像画像では、図１８に示す検査領域画像の複数の検査領域５０５に相当する領域５０５ａが示されている。

なお、領域５０４ａや領域５０５ａが歪んでいるのは、図２０及び図２１に示す撮像画像がレンズ歪みを補正していない画像を模しているためである。なお、図２０及び図２１に示す撮像画像において領域５０４ａや領域５０５ａを求めるには、数式（１０）を用いて検査領域の座標を撮像画像に一致させ、数式（６）又は（７）を用いて、検査領域画像と撮像画像との関係を推定すればよい。

出力部１２３は、生成部１２１により生成された検査領域画像を出力する。出力対象の検査領域画像は、図１８に示すものであっても図１９に示すものであってもよいが、図１９に示す検査領域画像の場合、検査領域の場所がわかるように座標情報等を付加しておくことが好ましい。また、図２０や図２１に示した撮像画像を併せて出力してもよい。

第１実施形態では、検査者が出力された検査領域画像を用いて、検査領域内のひび割れなど不良個所を検出し、対象面１０３である道路舗装面の維持・管理の情報として用いる。

図２２は、第１実施形態の処理の手順の流れの一例を示すフローチャートである。

まず、取得部１１１は、移動体１００で移動しながら撮像装置１０１で対象面１０３を時系列で撮像した複数の撮像画像や撮像装置１０１の内部パラメータなど各種データを取得する（ステップＳ１０１）。

続いて、設定部１１３は、対象面１０３に複数の検査領域で構成される検査範囲を設定する（ステップＳ１０３）。

続いて、算出部１１５は、撮像装置１０１の座標系と対象面１０３の座標系との対応関係を算出する（ステップＳ１０５）。

続いて、選択部１１９は、検査領域毎に、複数の撮像画像の中から検査領域画像の生成に用いられる撮像画像を選択する（ステップＳ１０７）。

続いて、生成部１２１は、検査領域毎に、選択部１１９により選択された撮像画像から、当該撮像画像を撮像した際の撮像装置１０１の対象面１０３の座標系での位置と算出部１１５により算出された対応関係とに基づいて当該検査領域に対応する部分画像を抽出し、当該対応関係に基づいて部分画像を対象面１０３の座標系での部分変換画像に変換し、複数の検査領域の配置に基づいて、複数の部分変換画像を合成し、検査領域画像を生成する（ステップＳ１０９）。

続いて、出力部１２３は、生成部１２１により生成された検査領域画像を出力する（ステップＳ１１１）。

以上のように第１実施形態によれば、検査領域画像では、検査領域の画像が１つの撮像画像から割り当てられるため、検査領域間の境界では画素値の変化（明るさのむら）が生じるが、検査領域内では、このような画素値の変化は生じない。よって、画像間の明るさの変化を補正しなくても、検査領域内でひび割れの誤検出を回避しやすくなる。

また、移動体１００の位置や姿勢の推定値には推定エラーがのることがあり、推定エラーによってひび割れが分断されてしまったり、複数のひび割れが重なってしまったりすることがある。

これによって、正しい検査が行えないが、本実施形態では検査領域の間（すなわち５０３部分）でのみ位置や姿勢の推定のエラーが生じるため、検査領域内でひび割れが分断または複数のひび割れが重なるなどの問題は生じない。

つまり、移動体１００の位置や姿勢の推定精度が高くなくても安定に路面の検査が可能である。

（第２実施形態）
第２実施形態では、ひび割れを自動検出する例について説明する。以下では、第１実施形態との相違点の説明を主に行い、第１実施形態と同様の機能を有する構成要素については、第１実施形態と同様の名称・符号を付し、その説明を省略する。

図２３は、第２実施形態の画像処理装置１１１０の構成の一例を示す図である。図２３に示すように、画像処理装置１１１０は、検出部１１２２が第１実施形態と相違する。

検出部１１２２は、検査領域毎にひび割れなどの不良個所を検出する。ひび割れの検出には、撮像画像の画素値情報を用いる。具体的には、ひび割れは、撮像画像では線状に観測されるため、撮像画像に対してフィルタリング処理を施して、エッジを検出することでひび割れを検出してもよい。

また、ひび割れのパターンから輝度勾配ヒストグラムなどの特徴量を算出し、非ひび割れのパターンとＳＶＭ（サポートベクタマシン）やニューラルネット、ランダム森などを用いて学習して、ひびと非ひびのパターンを識別することで、ひび割れを検出してもよい。

ひび割れ検出対象の画像は、検査領域画像であってもよいし、撮像画像であってもよい。なお、検査領域画像でひび割れ検出を行う場合、オルソ画像生成で用いる数式（８）のαの値を大きくして解像度を高くしておくことが、より細かいひび割れを検出する上で好ましい。但し、撮像画像よりも解像度は高くならず、必要以上にαを大きくしても画像がぼやけるだけである点に留意すべきである。

撮像画像でひび割れ検出を行う場合、撮像画像をそのまま用いるため、ひび検出のためのαの設定は不要である。

出力部１２３は、ひび割れなどの不良個所の検出結果を更に出力する。例えば、出力部１２３は、図２４に示すように、ひび割れ箇所６１１などひび割れ検出結果を反映させた撮像画像を更に出力してもよい。

また、図２５に示すように、検査領域画像上の検査領域毎にひび割れの数を色などで視覚化して出力してもよい。図２５に示す例では、検査領域６１３のひび割れの本数が０本、検査領域６１４のひび割れの本数が１本、検査領域６１５のひび割れの本数が２本以上となっている。

さらに、一定の長さの調査区間内のひび割れ具合を、ひび割れ度合いが大きいものを１００％、ひび割れがないものを０％としたひび割れ率の算出が「舗装調査・試験法便覧Ｓ０２９（平成１９年６月（社）日本道路協会）」で規定されており、ひび割れ本数が０本は占有面積０、１本は占有面積０．１５ｍ^２、２本以上は占有面積０．２５ｍ^２とされ、調査区間の面積を分母に、ひび割れ本数に応じた面積の積算値を分子として算出する。出力部１２３は、これによって求めた道路のひび割れ率を合わせて出力してもよい。また、出力部１２３は、ひび割れの長さを出力してもよい。

図２６は、第２実施形態の処理の手順の流れの一例を示すフローチャートである。

まず、ステップＳ２０１〜Ｓ２０９までの処理は、図２２に示すフローチャートのステップＳ１０１〜Ｓ１０９までの処理と同様である。

ステップＳ２１０では、検出部１１２２は、検査領域毎にひび割れを検出する（ステップＳ２１０）。

続いて、出力部１２３は、生成部１２１により生成された検査領域画像及びひび割れ検出結果を出力する（ステップＳ２１１）。

（変形例）
上記各実施形態では、対象面１０３が道路舗装面である場合を例に取り説明したが、これに限定されず、橋梁や建物、トンネル等の構造物のコンクリート面などとし、コンクリート面のひび割れや異常を検出してもよい。この場合、移動体１００は、カメラを搭載したロボットや首振りカメラなどを用いてもよい。

また、対象面１０３をエレベータシャフトとし、移動体をエレベータとし、エレベータシャフト内のひび割れや異常の検出を行うようにしてもよい。

このように、対象面は、移動体が相対的に移動しながら撮像できる面であればよく、移動体は、対象面を直接移動しなくてもよい。

（ハードウェア構成）
図２７は、各実施形態の画像処理装置のハードウェア構成の一例を示す図である。図２７に示すように、各実施形態の画像処理装置は、ＣＰＵなどの制御装置９０１と、ＲＯＭやＲＡＭなどの主記憶装置９０２と、ＨＤＤやＳＳＤなどの補助記憶装置９０３と、ディスプレイなどの表示装置９０４と、キーボードやマウスなどの入力装置９０５と、通信インタフェースなどの通信装置９０６と、を備えており、通常のコンピュータを利用したハードウェア構成となっている。

各実施形態の画像処理装置で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、ＣＤ−Ｒ、メモリカード、ＤＶＤ（Digital Versatile Disk）、フレキシブルディスク（ＦＤ）等のコンピュータで読み取り可能な記憶媒体に記憶されて提供される。

また、各実施形態の画像処理装置で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するようにしてもよい。また、各実施形態の画像処理装置で実行されるプログラムを、インターネット等のネットワーク経由で提供または配布するようにしてもよい。また、各実施形態の画像処理装置で実行されるプログラムを、ＲＯＭ等に予め組み込んで提供するようにしてもよい。

各実施形態の画像処理装置で実行されるプログラムは、上述した各部をコンピュータ上で実現させるためのモジュール構成となっている。実際のハードウェアとしては、ＣＰＵがＲＯＭやＨＤＤなどからプログラムをＲＡＭ上に読み出して実行することにより、上記各部がコンピュータ上で実現されるようになっている。なお、上記各部の少なくとも一部をＩＣなどのハードウェアで実現する場合、各実施形態の各装置は、当該ＩＣなどを更に備えればよい。

本発明は、上記各実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記各実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施形態に示される全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせても良い。

例えば、各実施形態のフローチャートにおける各ステップを、その性質に反しない限り、実行順序を変更し、複数同時に実施し、あるいは実施毎に異なった順序で実施してもよい。

以上のように、各実施形態によれば、合成された画像間の境界部分を異常と誤認識されてしまう可能性を低減することができる。

１００ 移動体
１０１ 撮像装置
１０３ 対象面
１１０ 画像処理装置
１１１ 取得部
１１３ 設定部
１１５ 算出部
１１９ 選択部
１２１ 生成部
１２３ 出力部
１１２２ 検出部

Claims (9)

1. 移動体で移動しながら撮像装置で対象面を時系列で撮像した複数の撮像画像を取得する取得部と、
   前記対象面に複数の検査領域で構成される検査範囲を設定する設定部と、
   前記検査領域毎に、前記複数の撮像画像の中から、前記検査領域に対する撮像距離がより近い撮像画像を選択する手法、および、より画質がよい撮像画像を選択する手法の少なくともいずれかに基づいて１つの撮像画像を選択する選択部と、
   前記検査領域毎に、選択された前記撮像画像から、当該撮像画像を撮像した際の前記撮像装置の前記対象面の座標系での位置と前記撮像装置の座標系と前記対象面の座標系との対応関係とに基づいて当該検査領域に対応する部分画像を抽出し、前記対応関係に基づいて前記部分画像を前記対象面の座標系での部分変換画像に変換し、前記複数の検査領域の配置に基づいて、前記複数の検査領域に対して得られた複数の前記部分変換画像を合成し、検査領域画像を生成する生成部と、
   前記検査領域画像を出力する出力部と、
   を備える画像処理装置。
2. 前記選択部は、前記検査領域に対する撮像距離の近さ、前記撮像画像内での前記検査領域の大きさ、前記撮像画像内での前記検査領域のぶれの少なさ、前記撮像画像内での前記検査領域の明るさ、及び前記撮像画像内での前記検査領域のノイズの少なさの少なくともいずれかに基づいて、前記撮像画像を選択する請求項１に記載の画像処理装置。
3. 前記選択部は、前記撮像画像毎に、当該撮像画像を撮像した際の前記撮像装置の前記対象面の座標系での位置と前記対応関係とに基づいて、当該撮像画像上での前記検査領域を特定する請求項２に記載の画像処理装置。
4. 前記対応関係を算出する算出部を更に備える請求項１〜３のいずれか１つに記載の画像処理装置。
5. 前記検査領域画像又は、前記複数の撮像画像それぞれ上の前記検査領域から不良個所を検出する検出部を更に備え、
   前記出力部は、検出結果を更に出力する請求項１〜４のいずれか１つに記載の画像処理装置。
6. 前記対象面は、前記移動体が相対的に移動しながら撮像できる面である請求項１〜５のいずれか１つに記載の画像処理装置。
7. 前記撮像装置は、前記検査領域を１度の撮像可能な画角を有する請求項１〜６のいずれか１つに記載の画像処理装置。
8. 移動体で移動しながら撮像装置で対象面を時系列で撮像した複数の撮像画像を取得する取得ステップと、
   前記対象面に複数の検査領域で構成される検査範囲を設定する設定ステップと、
   前記検査領域毎に、前記複数の撮像画像の中から、前記検査領域に対する撮像距離がより近い撮像画像を選択する手法、および、より画質がよい撮像画像を選択する手法の少なくともいずれかに基づいて１つの撮像画像を選択する選択ステップと、
   前記検査領域毎に、選択された前記撮像画像から、当該撮像画像を撮像した際の前記撮像装置の前記対象面の座標系での位置と前記撮像装置の座標系と前記対象面の座標系との対応関係とに基づいて当該検査領域に対応する部分画像を抽出し、前記対応関係に基づいて前記部分画像を前記対象面の座標系での部分変換画像に変換し、前記複数の検査領域の配置に基づいて、前記複数の検査領域に対して得られた複数の前記部分変換画像を合成し、検査領域画像を生成する生成ステップと、
   前記検査領域画像を出力する出力ステップと、
   を含む画像処理方法。
9. 移動体で移動しながら撮像装置で対象面を時系列で撮像した複数の撮像画像を取得する取得ステップと、
   前記対象面に複数の検査領域で構成される検査範囲を設定する設定ステップと、
   前記検査領域毎に、前記複数の撮像画像の中から、前記検査領域に対する撮像距離がより近い撮像画像を選択する手法、および、より画質がよい撮像画像を選択する手法の少なくともいずれかに基づいて１つの撮像画像を選択する選択ステップと、
   前記検査領域毎に、選択された前記撮像画像から、当該撮像画像を撮像した際の前記撮像装置の前記対象面の座標系での位置と前記撮像装置の座標系と前記対象面の座標系との対応関係とに基づいて当該検査領域に対応する部分画像を抽出し、前記対応関係に基づいて前記部分画像を前記対象面の座標系での部分変換画像に変換し、前記複数の検査領域の配置に基づいて、前記複数の検査領域に対して得られた複数の前記部分変換画像を合成し、検査領域画像を生成する生成ステップと、
   前記検査領域画像を出力する出力ステップと、
   をコンピュータに実行させるためのプログラム。