JP7476814B2 - 検査装置 - Google Patents

Description

本開示は、物品の内部を検査するために用いられる検査装置に関する。

撮像素子を備える内視鏡を被検査対象物の内部に挿入し、撮像素子によって取得された画像データを用いて、被検査対象物の内部の異常を検出する内視鏡装置が知られている（例えば、特許文献１）。

特開２００５－５５７５６号公報

従来の技術では、被検査対象物の内部における画像データの取得や内視鏡を移動させるための操作は、人がリモコンを操作することによって行われるため効率的ではなかった。そのため、被検査対象物の内部を効率的に検査することができる技術が求められている。

本開示は、以下の形態として実現することが可能である。
本開示の第１の形態によれば、物品の内部を検査するために用いられる検査装置が提供される。この検査装置は、画像を取得する撮像部を備える内視カメラと、前記内視カメラを移動させる内視カメラ移動部と、前記内視カメラ移動部を制御して、前記内視カメラを、前記物品の内部構造を表すデータを用いて予め設定される前記物品の内部の検査経路データに沿って移動させ、前記撮像部を制御して、前記物品の内部画像を取得する制御装置と、前記内視カメラとは異なるカメラによって前記物品の種類又は製造番号を認識し、認識した前記物品の種類又は製造番号に対応する３次元モデルデータを前記物品の内部構造を表すデータとして用いて、前記検査経路データを生成する経路生成部と、を備え、前記制御装置は、前記内部画像を用いて前記物品の内部の異常を検出する異常検出部を備え、前記制御装置は、前記異なるカメラを用いた画像認識により、前記内視カメラを検査の開始位置に配置し、前記制御装置は、前記撮像部によって予め定められた期間ごとに取得される複数の内部画像に含まれる同一の物体の位置の変化から前記撮像部の移動距離を演算し、前記開始位置からの累積の移動距離を算出することによって、前記検査経路データにおける前記撮像部の位置を取得する位置取得部、を備え、前記制御装置は、前記位置取得部によって取得される前記撮像部の位置と、前記異常を検出した位置とを関連付けて記憶する。

（１）本開示の一形態によれば、物品の内部を検査するために用いられる検査装置が提供される。この検査装置は、画像を取得する撮像部を備える内視カメラと、前記内視カメラを移動させる内視カメラ移動部と、前記内視カメラ移動部を制御して、前記内視カメラを、前記物品の内部構造を表すデータを用いて予め設定される前記物品の内部の検査経路データに沿って移動させ、前記撮像部を制御して、前記物品の内部画像を取得する制御装置と、を備える。
この形態の検査装置によれば、人がリモコンを操作することなく、物品の内部の検査経路上の画像データを取得することができる。したがって、検査対象の内部を効率的に検査することができる。
（２）上記形態の検査装置において、前記制御装置は、前記内部画像を用いて前記物品の内部の異常を検出する異常検出部を備えてよい。
この形態の検査装置によれば、人がリモコンを操作することなく、物品の内部の検査経路上の異常を検出することができる。したがって、検査対象の内部をより効率的に検査することができる。
（３）上記形態の検査装置において、前記制御装置は、前記撮像部によって予め定められた期間ごとに取得される複数の画像と、前記複数の画像に含まれる被写体画像とを用いて、前記検査経路データにおける前記撮像部の位置を取得する位置取得部、を備えてよい。
この形態の検査装置によれば、検査用に取得する画像を撮像部の位置の取得に用いることができるので、位置検出のための装置を別に設けることなく、撮像部の位置を検出することができる。
（４）上記形態の検査装置において、前記制御装置は、前記位置取得部によって取得される前記撮像部の位置と、前記異常を検出した位置とを関連付けて記憶してよい。
この形態の検査装置によれば、作業者は検査結果から物品の内部における異常の位置を容易に認識することができる。
（５）上記形態の検査装置において、さらに、前記物品の３次元モデルデータを用いて、前記検査経路データを生成する経路生成部、を備えてよい。
この形態の検査装置によれば、検査対象の３次元モデルデータをそのまま検査装置の検査に用いることができる。
（６）上記形態の検査装置において、前記内視カメラ移動部は、前記内視カメラの少なくとも一部を把持することができる複数のローラであって、前記ローラの回転方向を切り換えることによって、前記内視カメラを前進または後進させる複数のローラを含んでよい。
この形態の検査装置によれば、ローラで本体を把持することによって、内視カメラを安定して移動させることができる。
（７）上記形態の検査装置において、前記物品は、車両に搭載される部品であってよい。
この形態の検査装置によれば、車両部品の製造工程に用いる検査装置を提供することができる。
本開示は、検査装置以外の種々の形態で実現することも可能である。例えば、物品の検査方法や検査装置の制御方法、その制御方法を実現するコンピュータプログラム、そのコンピュータプログラムを記録した一時的でない記録媒体等の形態で実現することができる。

本開示の第１実施形態としての検査装置を示す説明図。 アームエンド近傍を拡大して示す説明図。 制御装置の機能を示すブロック図。 検査装置の制御装置が実行する検査制御を示すフロー図。 検査対象としてのワークの３次元モデルを模式的に示す説明図。 異常検出部が異常検出を実行する状態を示す説明図。 位置取得部が画像データの特徴点を取得する状態を示す説明図。 位置取得部が撮像部の移動距離を取得する状態を示す説明図。 検査装置による検査結果データを示す説明図。

Ａ．第１実施形態：
図１および図２を用いて、検査装置１００の構成について説明する。図１は、本開示の第１実施形態としての検査装置１００を示す説明図である。検査装置１００は、検査対象としての物品の内部を検査するために用いられる。本開示では、物品には、例えば、一般的な装置や構造物などの工業製品が含まれ、動物や人体は含まれない。物品の内部には、物品の内側に存在する空間やその空間を規定する物品の壁面などの部材などが含まれる。物品には、例えば、ダイカストマシン等によって製造される鋳造品が含まれる。本実施形態では、検査対象は、シリンダヘッド、シリンダブロックなど、車両に搭載される種々の鋳造部品である。図１には、３次元空間の直交座標系を規定する３つの軸Ｘ，Ｙ，Ｚが描かれている。Ｘ軸とＹ軸は水平方向の軸であり、Ｚ軸は鉛直方向の軸である。

検査装置１００は、内視カメラ装置５０と、内視カメラ移動部８０と、制御装置３０とを備えている。内視カメラ装置５０は、内視カメラ５２と、内視カメラ制御部５４と、を備えている。内視カメラ５２は、内視鏡とも呼ばれる。内視カメラ５２は、内視カメラ制御部５４によって制御される。制御装置３０は、例えばパーソナルコンピュータである。制御装置３０は、内視カメラ装置５０と、内視カメラ移動部８０とを制御する。本実施形態では、内視カメラ移動部８０には、ロボット４０と、ローラ装置７０と、後述する内視カメラ５２の方向切換部５２４とが含まれる。検査装置１００は、制御装置３０がロボット４０と、ローラ装置７０と、方向切換部５２４とを制御することによって、内視カメラ５２の移動や向きの切り換えなどの動作を制御することができる。

図１には、検査対象であるワークＷＫを載置するための架台６０が示されている。ワークＷＫは、内部空間ＳＰを有している。架台６０には、ワークＷＫを保持するホルダ６２が固定されている。架台６０には、後述するロボットカメラ４２４で撮像可能なキャリブレーション用のマーク６４が設置されている。

ロボット４０は、ワークＷＫに対する内視カメラ５２の相対的な位置を調節する。ロボット４０は、基台４４と、アーム４２と、を備えている。ロボット４０は、ロボット制御部２０によって制御される。アーム４２は、曲げ関節やねじり間接を含む複数の関節で順次接続されている。ロボット４０は、１個以上の関節を有する任意の機構のアーム４２を有してよい。

アーム４２の先端部であるアームエンド４２２には、ローラ装置７０と、ロボットカメラ４２４とが装着されている。本実施形態では、ローラ装置７０は、内視カメラ５２を一方向に沿って移動させる。具体的には、ローラ装置７０は、ローラ装置７０からワークＷＫに向かう方向（以下、「前進」とも呼ぶ）への内視カメラ５２の送り出しと、ワークＷＫからローラ装置７０に向かう方向（以下、「後進」とも呼ぶ）への内視カメラ５２の巻き取りとを行う。

ロボットカメラ４２４で撮影された画像は、制御装置３０に出力され、ワークＷＫの位置や形状を認識するために使用することができる。本実施形態では、ロボットカメラ４２４は、アーム４２の原点位置を認識させるためのキャリブレーションと、ワークＷＫに対する検査の開始位置の認識とに用いられる。ロボット４０は、予め設定された動作により、架台６０に設けられるマーク６４近傍にロボットカメラ４２４を配置する。ロボット４０は、ロボットカメラ４２４によってマーク６４を認識することにより、架台６０に対する相対位置を認識するとともに、アーム４２を原点位置へと配置する。ロボット４０は、後述するように、ロボットカメラ４２４がワークＷＫに設けられる部材の形状や専用のマークを認識することによって、内視カメラ５２を検査の開始位置へと配置する。

図２は、アームエンド４２２近傍を拡大して示す説明図である。図２には、アームエンド４２２に備えられるローラ装置７０と、ローラ装置７０に把持される内視カメラ５２の先端近傍が示されている。図２に示すように、内視カメラ５２は、撮像部５２２と、方向切換部５２４と、ケーブル５２６とを備えている。ケーブル５２６は、断面幅が５ｍｍから１０ｍｍ程度の長尺な中空管である。ケーブル５２６は、例えば、ポリウレタンやフッ素樹脂を用いた柔軟な部材であることが好ましい。ケーブル５２６の先端には、撮像部５２２が設けられている。ケーブル５２６の他端は、内視カメラ制御部５４に接続されている。

撮像部５２２は、例えば、ＣＣＤなどの固体撮像素子であり、検査対象の画像を取得するために用いられる。撮像部５２２には、固体撮像素子のほかに対物レンズが備えられ、固体撮像素子はその焦点面に配置されている。撮像部５２２は、ケーブル５２６内に挿通される信号線を介して内視カメラ制御部５４に接続されている。ケーブル５２６の先端には、撮像部５２２のほか、物体内の明るさを調節するためのライトガイド、検査対象内の異物を回収する鉗子、ケーブル５２６先端から流体を送り出すためのノズルなどが備えられていてもよい。撮像部５２２は、光ケーブルを介して内視カメラ制御部５４に接続されてもよい。撮像部５２２は、例えば、ケーブル５２６の先端以外に備えられてよく、この場合には、撮像部５２２は、例えば、ケーブル５２６の先端に配置されるレンズから取り入れた光を、光ファイバを介して検出することによって、検査対象の画像を取得する。

方向切換部５２４は、ケーブル５２６の先端近傍に設けられている。方向切換部５２４は、制御装置３０の制御のもとで内視カメラ制御部５４によって操作される。具体的には、方向切換部５２４は、ケーブル５２６内に挿通された図示しないワイヤ等が内視カメラ制御部５４によって操作されることで動作する。方向切換部５２４は、図２に方向Ｍ２として示すように、内視カメラ５２の先端の向きを、ケーブル５２６の軸方向と交差する任意の一方向に沿って、所定の範囲内で切り換えることができる。その結果、撮像部５２２による画角を所望の方向に切り換えることができる。方向切換部５２４は、一方向には限らず、互いに交差する２方向に沿って内視カメラ５２の方向を切り換えてもよい。

内視カメラ制御部５４は、信号線を介して制御装置３０と接続されている。撮像部５２２から取得した画像データは、制御装置３０に出力される。内視カメラ制御部５４は、制御装置３０から入力される操作信号により、撮像部５２２から取得した画像信号の処理、方向切換部５２４による内視カメラ５２の方向の切り換え、ライトガイドの光源の動作などを制御する。

図２には、ローラ装置７０の構成が模式的に示されている。本実施形態では、ローラ装置７０は、第一ローラ７１と、第二ローラ７２との互いに対向する一対のローラを備えている。第一ローラ７１と、第二ローラ７２とは、互いに近接しており、その間にケーブル５２６の一部を把持している。ローラ装置７０は、ケーブル５２６には限らず方向切換部５２４や撮像部５２２を把持してもよい。ローラ装置７０は、第一ローラ７１と、第二ローラ７２との２つのローラに限らず、３以上のローラを備えてもよい。ローラ装置７０は、制御装置３０による制御のもとで内視カメラ５２を把持した状態の第一ローラ７１と、第二ローラ７２との回転方向を切り換えることによって、図２に示す方向Ｍ１に沿って内視カメラ５２を前進または後進させる。

図３は、制御装置３０の機能を示すブロック図である。制御装置３０は、マイクロプロセッサ３２と、メモリ３４と、インターフェイス回路３６とを備えている。インターフェイス回路３６には、ロボット制御部２０と、内視カメラ制御部５４と、液晶ディスプレイなどの表示部３８とが接続されている。

メモリ３４には、経路生成部３４１と、位置取得部３４２と、異常検出部３４３との動作プログラムと、ＣＡＤプログラム３４４と、ＣＡＭプログラム３４５と、ロボット動作プログラムＲＰと、内視カメラ動作プログラムＣＰと、過去の検査結果を示す検査結果データＨＤとが格納されている。マイクロプロセッサ３２が、メモリ３４に格納されたコンピュータプログラムを実行することによって、検査装置１００の各部の機能が実現される。ただし、これら各部の機能の一部又は全部はハードウェア回路で実現されてもよい。

ＣＡＤプログラム３４４は、検査対象の設計データを生成するためのＣＡＤ（computer aided design）ソフトウェアである。ＣＡＭプログラム３４５は、内視カメラ移動部８０の動作プログラムを生成するＣＡＭ（computer aided manufacturing）ソフトウェアである。ＣＡＭプログラム３４５は、ＣＡＤプログラム３４４を用いて生成された検査経路データを用いて、内視カメラ５２を検査経路に沿って移動させるためのロボット動作プログラムＲＰ、ローラ装置７０の動作プログラム、ならびに内視カメラ動作プログラムＣＰを生成する。ロボット動作プログラムＲＰは、ロボット４０を動作させる複数の命令で構成されている。内視カメラ動作プログラムＣＰは、内視カメラ５２を動作させる複数の命令で構成されている。

経路生成部３４１は、ＣＡＤプログラム３４４を用いて生成された検査対象の３次元モデルデータを用いて、内視カメラ５２の検査経路データを生成する。位置取得部３４２は、撮像部５２２が取得する画像データを用いて、検査経路における撮像部５２２の位置情報を取得する。異常検出部３４３は、撮像部５２２が取得する画像データに基づいて画像処理を行い、検査対象の内部の異常を検出する。撮像部５２２が取得する画像データを用いて、人が異常の有無を直接確認する場合には、異常検出部３４３は省略されてよい。

図４は、本実施形態の検査装置１００の制御装置３０が実行する検査制御を示すフロー図である。図４に示すフローは、例えば、使用者によって、検査装置１００のスタートスイッチが押し下げられることによって開始する。

ステップＳ１０では、経路生成部３４１は、検査対象であるワークＷＫ内の検査経路を設定する。例えば、使用者がＣＡＤソフトウェアを操作し、ワークＷＫの３次元モデルデータを指定し、３次元モデルデータ上の検査すべき内部空間を指定する。経路生成部３４１は、内視カメラ５２のサイズや方向切換部５２４による内視カメラ５２の可動範囲を含む内視カメラ５２に関する３次元モデルデータの設定情報を、メモリ３４から読み出す。

経路生成部３４１は、３次元モデルデータとしてのワークＷＫの内部空間内に、内視カメラ５２が移動可能な経路を抽出し、検査経路として生成する。表示部３８には、使用者による検査経路や検査位置が容易となるように、ワークＷＫの３次元モデルデータに検査経路を表示してもよく、検査経路とともに撮像部５２２によって撮像可能なエリアが表示されてもよい。経路生成部３４１は、検査制御の開始とともに、例えば、ロボットカメラ４２４によってワークＷＫの種類や製造番号を認識し、認識したワークＷＫに対応する３次元モデルデータ等の情報をメモリ３４から読み出すことにより、検査の開始とともに検査対象の検査経路を自動的に生成してもよい。検査経路を生成した経路生成部３４１は、ＣＡＭプログラム３４５を用いて、内視カメラ５２を検査経路に沿って移動させるために必要なロボット動作プログラムＲＰならびに内視カメラ動作プログラムＣＰを生成する。本フローの開始前に予め検査経路が設定される場合には、ステップＳ１０は省略されてよい。

ステップＳ２０では、制御装置３０は、ロボット４０を制御して、内視カメラ５２をワークＷＫの検査経路における検査開始位置へ移動させる。ステップＳ３０では、制御装置３０は、内視カメラ装置５０を制御して、撮像部５２２による撮像を開始する。ステップＳ４０では、制御装置３０は、ローラ装置７０を駆動して、内視カメラ５２を検査経路に沿って移動させる。内視カメラ５２の移動には、ローラ装置７０の第一ローラ７１、第二ローラ７２の正転方向の回転による内視カメラ５２の前進と、第一ローラ７１、第二ローラ７２の逆転方向の回転による内視カメラ５２の後進とが含まれる。

ステップＳ５０では、位置取得部３４２は、検査経路における撮像部５２２の位置を取得する。位置取得部３４２は、後述するように、撮像部５２２によって予め定められた期間ごとに取得される複数の画像と、この複数の画像に含まれる被写体画像とを用いて撮像部５２２の移動距離を算出する。位置取得部３４２は、算出した移動距離を積算することによって、検査経路における撮像部５２２の位置を取得する。

ステップＳ６０では、異常検出部３４３は、撮像部５２２により取得された画像データを用いてワークＷＫ内の異常を検出する。本実施形態では、異常検出部３４３は、異常の検出にディープラーニングを利用している。異常検出部３４３は、異常の検出位置を、位置取得部３４２により取得された撮像部５２２の位置情報に関連付けてメモリ３４の検査結果データＨＤとして記憶させる。ステップＳ７０では、制御装置３０は、すべての検査経路での検査が完了したか否かを確認する。すべての検査経路での検査が完了していない場合（Ｓ７０：ＮＯ）、制御装置３０は、ステップＳ８０に移行する。

ステップＳ８０では、制御装置３０は、検査経路を確認し、内視カメラ５２を検査経路上の次の位置に移動させるために、内視カメラ５２の方向の切換が必要か否かを確認する。内視カメラ５２の方向の切換が必要ない場合には（Ｓ８０：ＮＯ）、制御装置３０は、ステップＳ４０に戻り検査を継続する。内視カメラ５２の方向の切換が必要である場合（Ｓ８０：ＹＥＳ）、制御装置３０は、ステップＳ８２に移行する。ステップＳ８２では、制御装置３０は、方向切換部５２４を制御し、検査経路上の次の移動位置に対応する向きに内視カメラ５２の方向を切り換える。制御装置３０は、方向切換部５２４による内視カメラ５２の方向の切換に代えて、またはそれとともに、ロボット４０のアーム４２を制御して内視カメラ５２の方向を切り換えてもよい。制御装置３０は、ワークＷＫを内視カメラ５２に対して回転または移動させることによって、ワークＷＫに対する内視カメラ５２の方向を切り換えてもよい。ステップＳ７０において、すべての検査経路での検査が完了した場合には（Ｓ７０：ＹＥＳ）、本フローを終了する。制御装置３０は、検査の完了とともに、表示部３８に検査結果を表示してもよい。

図５から図９までを用いて、検査装置１００による検査制御の詳細について説明する。図５は、検査対象としてのワークＷＫ１の３次元モデルを模式的に示す説明図である。ワークＷＫ１は、検査対象の一例としてのシリンダブロックである。ワークＷＫ１は、開口ＯＰ１と、開口ＯＰ１と連通する内部空間ＳＰ１と、開口ＯＰ２と、開口ＯＰ２と連通する内部空間ＳＰ２とを備えている。開口ＯＰ１および開口ＯＰ２は互いに略同一形状であり、内部空間ＳＰ１および内部空間ＳＰ２は互いに略同一形状である。

図５には、経路生成部３４１によって生成された検査経路ＩＲが示されている。使用者が制御装置３０を操作して３次元モデルデータのワークＷＫ１の内部空間ＳＰ１と内部空間ＳＰ２とを指定すると、経路生成部３４１は、内部空間ＳＰ１および内部空間ＳＰ２の内部に内視カメラ５２が移動可能な検査経路データとして、検査経路ＩＲを生成する。図５に示すように、検査経路ＩＲは、検査開始位置ＰＳから、検査位置Ｐ１、検査位置Ｐ２の順序で検査する略円筒形状の内部空間ＳＰ１の検査経路と、検査位置Ｐ３から、検査位置Ｐ４、検査終了位置ＰＥの順序で検査する略円筒形状の内部空間ＳＰ２の検査経路である。検査開始位置ＰＳから検査位置Ｐ１までの検査経路の方向に対して、検査位置Ｐ１から検査位置Ｐ２までの検査経路の方向は所定の角度で屈曲している。同様に、検査位置Ｐ３から検査位置Ｐ４までの検査経路の方向に対して、検査位置Ｐ４から検査終了位置ＰＥまでの検査経路の方向は所定の角度で屈曲している。

検査制御が実行されると、制御装置３０は、ロボット４０を制御して、内視カメラ５２を検査開始位置ＰＳ近傍に移動させる。本実施形態では、制御装置３０は、アームエンド４２２に設けられたロボットカメラ４２４を用いた画像認識により、開口ＯＰ１を検出する。制御装置３０は、さらに、ロボット４０のアーム４２を制御して、ローラ装置７０による内視カメラ５２の移動方向が、検査経路ＩＲの進行方向と一致するように、内視カメラ５２の向きを調節してもよい。制御装置３０は、例えば、開口ＯＰ１の画像データを用いて開口ＯＰ１の中心を検出して、検出した開口ＯＰ１の中心に内視カメラ５２を移動させるなど、ワークＷＫ１の画像データを用いて内視カメラ５２の検査開始位置ＰＳへの配置の微調整を実行してもよい。

制御装置３０は、内視カメラ５２を検査開始位置ＰＳに配置すると、内視カメラ装置５０を制御して、撮像部５２２による撮像を開始する。本実施形態では、制御装置３０は、撮像部５２２により所定のフレームレートによる動画の撮影を開始する。動画のフレームレートは、内視カメラ５２の移動距離や内視カメラ５２の移動速度に基づいて任意に設定されてよい。撮像部５２２による撮像は、動画に限らず、例えば、静止画であってよく、静止画は検査位置ごとに取得されてもよい。

制御装置３０は、撮像部５２２による動画の撮影を開始すると、ローラ装置７０を制御して、内視カメラ５２を検査開始位置ＰＳから検査位置Ｐ１まで前進させる。内視カメラ５２が移動している間、異常検出部３４３は、撮像部５２２から取得される画像データを用いて異物の検出を実行し、位置取得部３４２は、撮像部５２２から取得される画像データを用いて検査経路ＩＲにおける撮像部５２２の位置を取得する。

制御装置３０は、内視カメラ５２を検査位置Ｐ１まで移動させると、方向切換部５２４を制御して、次に移動すべき検査位置Ｐ２に向かう方向に内視カメラ５２の方向を切り換える。制御装置３０は、ローラ装置７０を制御して、内視カメラ５２を検査位置Ｐ１から検査位置Ｐ２まで前進させる。制御装置３０は、検査位置Ｐ２までの検査を終えると、ローラ装置７０を制御し、内視カメラ５２を後進させて内部空間ＳＰ１から取り出し、ロボット４０を制御して、内視カメラ５２を検査位置Ｐ３に移動させる。制御装置３０は、内部空間ＳＰ１での検査と同様に、検査位置Ｐ３から検査位置Ｐ４を経由して、検査終了位置ＰＥまでの内部空間ＳＰ２の検査を行う。

図６は、異常検出部３４３が異常検出を実行する状態を示す説明図である。図６には、撮像部５２２がワークＷＫ１の内部空間ＳＰ１，ＳＰ２で撮像した動画のうち、１フレーム分の画像データの例が示されている。図６に示すように、異常検出部３４３は、異常ＦＭ１を検出している。異常検出部３４３によって検出される異常には、例えば、検査対象への異物の付着、検査対象の欠損、壁面上の凹凸、ならびに鋳巣とも呼ばれる鋳造品に形成される空洞などが含まれる。本実施形態では、異常検出部３４３は、過去に取得した異常を示す画像のデータベースを用いたディープラーニング（深層学習とも呼ばれる）による画像認識を利用し、撮像部５２２によって取得された画像データを解析することによって異常を検出する。この形態の検査装置１００によれば、異常の検出精度を向上させることができる。

図７および図８を用いて、位置取得部３４２による撮像部５２２の位置の取得方法について説明する。図７は、位置取得部３４２が画像データの特徴点を取得する状態を示す説明図である。図８は、位置取得部３４２が撮像部５２２の移動距離を取得する状態を模式的に示す説明図である。図７には、撮像部５２２がワークＷＫ１の内部空間ＳＰ１，ＳＰ２で撮像した動画のうち、１フレーム分の画像データの例が示されている。図８には、撮像部５２２が図７に示す画像データを取得した後に所定の距離だけ検査経路ＩＲ上を移動した状態で撮像部５２２が撮像した１フレーム分の画像データの例が示されている。

図７および図８には、内部空間ＳＰ１内の物体ＯＢ１が示されている。物体ＯＢ１は、位置取得部３４２が画像データから検出した被写体画像の一例である。物体ＯＢ１としては、内部空間ＳＰ１，ＳＰ２の壁面上の凹凸、内部空間ＳＰ１，ＳＰ２に存在する異物、内部空間ＳＰ１，ＳＰ２に備えられる構造体などの種々の物体を用いることができる。

図７および図８には、位置取得部３４２によって抽出された複数の特徴点ＦＰが示されている。位置取得部３４２は、画像データの輝度などの情報から、例えば、角や線の交わり、エッジなどの他と区別できるような固有の点の座標を検出し、特徴点ＦＰを抽出する。位置取得部３４２は、検出した特徴点ＦＰの固有性をベクトルやバイナリコードで表現した特徴量として算出し、対応付ける画像データ同士の特徴量を比較してマッチングを行う。位置取得部３４２は、図７に示す画像データと、図８に示す画像データとで、特徴点ＦＰを用いたマッチングを行うことにより、図７に示す物体ＯＢ１と、図８に示す物体ＯＢ１とが同一の物体であることを認識する。特徴点のマッチングには、例えば、ＳＩＦＴ（scale-invariant feature transformation）のほか、ＳＵＲＦ、ＡＫＡＺＥなどの手法が用いられてよい。位置取得部３４２は、さらに、特徴点ＦＰまでの距離、すなわち物体ＯＢ１までの距離を、例えば、三角視野測量やＳＬＡＭ（Simultaneous Localization and Mapping）などを用いて求めることができる。

図８には、技術の理解を容易にするために、検査経路ＩＲを移動する前の物体ＯＢ１の位置、すなわち図７での物体ＯＢ１の位置を、物体ＯＢ２として概念的に示している。図８に距離ＤＴとして示すように、位置取得部３４２は、同一の物体としての物体ＯＢ１の位置の変化から物体ＯＢ２と物体ＯＢ１との距離ＤＴを演算し、距離ＤＴを撮像部５２２の移動距離として取得する。位置取得部３４２は、撮像部５２２が取得する動画の所定のフレームごとに移動距離を取得する。位置取得部３４２は、取得した移動距離を積算し、検査開始位置ＰＳからの累積の移動距離を算出することによって、検査経路ＩＲにおける撮像部５２２の現在位置を取得する。

異常検出部３４３は、異常の検出位置を、位置取得部３４２により取得された撮像部５２２の位置情報に関連付けてメモリ３４の検査結果データＨＤとして記憶させる。位置取得部３４２は、画像データを用いた移動距離の取得のほか、例えば、ローラ装置７０の第一ローラ７１および第二ローラ７２のエンコーダから取得した内視カメラ５２の送り量を撮像部５２２の移動距離としてもよい。

図９は、検査装置１００による検査結果データＨＤを示す説明図である。図９には、検査結果データＨＤが表示部３８に表示された状態が示されている。図９では、ワークＷＫ１の三次元モデルの図示は省略されている。図９に示すように、異常検出部３４３および位置取得部３４２によって検出された異常の位置情報ＤＦ０１～ＤＦ０５が検査経路ＩＲ上にマッピングされている。作業者は、例えば、表示部３８から、検査経路ＩＲ上の異常の位置情報ＤＦ０１～ＤＦ０５を視認して、ワークＷＫ１から異常の除去を行うことができる。

以上、説明したように、本実施形態の検査装置１００によれば、ロボット４０と、ローラ装置７０と、方向切換部５２４とを含む内視カメラ移動部８０を制御して、内視カメラ５２をワークＷＫ１の内部空間ＳＰ１，ＳＰ２の検査経路ＩＲに沿って移動させ、撮像部５２２を制御して、物品の内部画像を取得する。したがって、本実施形態の検査装置１００は、人がリモコンを操作することなく、ワークＷＫ１の内部空間ＳＰ１，ＳＰ２の検査経路ＩＲ上の画像データを取得することができる。したがって、検査対象の内部を効率的に検査することができる。

本実施形態の検査装置１００によれば、制御装置３０は、内部画像を用いてワークＷＫ１の内部の異常を検出する異常検出部を備えている。人がリモコンを操作することなく、ワークＷＫ１の内部空間ＳＰ１，ＳＰ２の検査経路ＩＲ上の異常を検出することができる。したがって、検査対象の内部をより効率的に検査することができる。また、人為的な異常の検出ミスなどを低減または防止することができる。

本実施形態の検査装置１００によれば、位置取得部３４２は、撮像部５２２によって取得される複数の画像データに含まれる物体ＯＢ１を用いた特徴点のマッチングにより、撮像部５２２の移動距離を算出し、検査経路ＩＲにおける撮像部５２２の位置を取得する。異常検出に用いられる画像データを位置検出に用いることができるので、例えば、ＬｉＤＡＲなどの測距装置やＧＮＳＳ(Global Navigation Satellite System）などの位置検出のための装置を別に設けることなく、撮像部５２２の位置を検出することができる。例えば、ローラ装置７０による内視カメラ５２の送り量と、実際の内視カメラ５２の移動量との誤差が発生した場合であっても、撮像部５２２の適正な位置を検出することができる。

本実施形態の検査装置１００によれば、異常検出部３４３は、位置取得部３４２が取得する撮像部５２２の位置に、異常検出部３４３が取得する異常ＦＭ１を検出した位置を関連付けて検査結果データＨＤとして記憶する。したがって、作業者は検査経路ＩＲ上の異常ＦＭ１の位置を容易に認識することができる。

本実施形態の検査装置１００によれば、経路生成部３４１は、物品の３次元モデルデータを用いて、検査経路ＩＲを生成する。したがって、３次元ＣＡＤソフトウェアで設計したワークＷＫ１の３次元モデルデータをそのまま検査装置１００の検査に用いることができる。本実施形態の検査装置１００によれば、検査装置１００による検査を実行中に異なる内部構造を有する検査対象に切り換えられた場合であっても、検査を停止することなく異なる内部構造に対応する検査経路を生成し、検査を停止することなく継続することができる。

本実施形態の検査装置１００によれば、ローラ装置７０は、内視カメラ５２を把持するための一対のローラ７１，７２を備えている。ローラ装置７０は、ローラの回転方向を切り換えることによって、内視カメラ５２を前進または後進させる。ローラで内視カメラ５２を把持することによって、内視カメラ５２を安定して移動させることができる。例えば、エンコーダなどのローラの回転量を用いることにより、検査経路ＩＲ上の内視カメラ５２の移動量を検出し、撮像部５２２の位置検出の精度を向上することができる。

本実施形態の検査装置１００によれば、物品は、シリンダヘッド、シリンダブロックなど、車両に搭載される部品である。したがって、検査装置１００を車両部品の製造工程に用いることができる。

Ｂ．他の実施形態：
（Ｂ１）上記実施形態では、検査装置１００の検査対象となる物品が、シリンダヘッド、シリンダブロックなど、車両に搭載される鋳造部品である例を示した。これに対して、検査対象となる物品は、車両に搭載される鋳造部品以外の物品であってよく、例えば、航空機、船舶、ならびに電車などの移動体に搭載される部品であってよく、建築物や建材などの種々の構造物であってもよい。検査対象となる物品は、例えば、原子炉であってもよい。この形態の検査装置１００によれば、内視カメラ５２による原子炉の内部の検査を自動で行うことができるので、人が放射線に曝されることを抑制することができる。

（Ｂ２）上記実施形態では、検査装置１００は、ロボット４０および内視カメラ装置５０の双方を制御する１つの制御装置３０を備える例を示した。これに対して、検査装置１００は、例えば、ロボット４０を制御する制御装置と、内視カメラ装置５０を制御する制御装置との２つの制御装置を備えてよく、３以上の複数の制御装置を備えていてもよい。

（Ｂ３）上記実施形態では、内視カメラ移動部８０には、ロボット４０と、ローラ装置７０と、方向切換部５２４とが含まれる。これに対して、内視カメラ移動部８０には、例えば、内視カメラ５２を移動させる方向が直線状のみである場合には、ロボット４０および方向切換部５２４は省略されてもよい。内視カメラ移動部８０は、検査経路に対応する内視カメラ５２の移動方向を実現するために必要な、ロボット４０と、ローラ装置７０と、方向切換部５２４との少なくともいずれかを備える形態であってよい。

本開示は、上述の実施形態に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば、発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態の技術的特徴は、上述の課題の一部又は全部を解決するために、あるいは、上述の効果の一部又は全部を達成するために、適宜、差し替えや、組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。

２０…ロボット制御部、３０…制御装置、３２…マイクロプロセッサ、３４…メモリ、３６…インターフェイス回路、３８…表示部、４０…ロボット、４２…アーム、４４…基台、５０…内視カメラ装置、５２…内視カメラ、５４…内視カメラ制御部、６０…架台、６２…ホルダ、６４…マーク、７０…ローラ装置、７１…第一ローラ、７２…第二ローラ、８０…内視カメラ移動部、１００…検査装置、３４１…経路生成部、３４２…位置取得部、３４３…異常検出部、３４４…ＣＡＤプログラム、３４５…ＣＡＭプログラム、４２２…アームエンド、４２４…ロボットカメラ、５２２…撮像部、５２４…方向切換部、５２６…ケーブル、ＣＰ…内視カメラ動作プログラム、ＦＭ１…異常、ＦＰ…特徴点、ＨＤ…検査結果データ、ＩＲ…検査経路、ＯＢ１，ＯＢ２…物体、ＯＰ１，ＯＰ２…開口、ＲＰ…ロボット動作プログラム、ＳＰ，ＳＰ１，ＳＰ２…内部空間、ＷＫ，ＷＫ１…ワーク

Claims (3)

1. 物品の内部を検査するために用いられる検査装置であって、
   画像を取得する撮像部を備える内視カメラと、
   前記内視カメラを移動させる内視カメラ移動部と、
   前記内視カメラ移動部を制御して、前記内視カメラを、前記物品の内部構造を表すデータを用いて予め設定される前記物品の内部の検査経路データに沿って移動させ、前記撮像部を制御して、前記物品の内部画像を取得する制御装置と、
   前記内視カメラとは異なるカメラによって前記物品の種類又は製造番号を認識し、認識した前記物品の種類又は製造番号に対応する３次元モデルデータを前記物品の内部構造を表すデータとして用いて、前記検査経路データを生成する経路生成部と、を備え、
   前記制御装置は、前記内部画像を用いて前記物品の内部の異常を検出する異常検出部を備え、
   前記制御装置は、前記異なるカメラを用いた画像認識により、前記内視カメラを検査の開始位置に配置し、
   前記制御装置は、前記撮像部によって予め定められた期間ごとに取得される複数の内部画像に含まれる同一の物体の位置の変化から前記撮像部の移動距離を演算し、前記開始位置からの累積の移動距離を算出することによって、前記検査経路データにおける前記撮像部の位置を取得する位置取得部、を備え、
   前記制御装置は、前記位置取得部によって取得される前記撮像部の位置と、前記異常を検出した位置とを関連付けて記憶する、
   検査装置。
2. 前記内視カメラ移動部は、前記内視カメラの少なくとも一部を把持することができる複数のローラであって、前記ローラの回転方向を切り換えることによって、前記内視カメラを前進または後進させる複数のローラを含む、請求項１に記載の検査装置。
3. 前記物品は、車両に搭載される部品である、請求項１又は請求項２に記載の検査装置。

Images