JP2019185664A - 制御装置、物体検出システム、物体検出方法及びプログラム - Google Patents

Abstract

【課題】対象物体が他の物体によって遮られている場合であっても、効率よく対象物体を検出することが可能な制御装置を提供する。【解決手段】物体認識部１１４は、センサ１２から取得された測定データを用いて、三次元環境４に存在する対象物体８０を認識する。情報生成部１１６は、複数の測定データを統合することによって、三次元環境情報を生成する。位置決定部１２０は、次に測定を行う際のセンサ１２の最適位置を決定する。センサ制御部１４０は、決定された最適位置にセンサ１２を移動させる。位置決定部１２０は、三次元環境情報を用いて、少なくとも１つの第１の物体によって遮られている領域の大きさがより大きくなるような画像を撮影可能なセンサ１２の位置を、最適位置として決定する。【選択図】図３

Description

本発明は、制御装置、物体検出システム、物体検出方法及びプログラムに関し、特に、センサを制御して物体を検出する制御装置、物体検出システム、物体検出方法及びプログラムに関する。

距離センサ等のセンサを動作させて検出の対象となる対象物体を検出する技術がある。このような技術においては、他の物体（障害物）によって対象物体が遮蔽されることを考慮する必要がある。この技術に関連し、特許文献１は、全体的な作業完了に向けた作業の効率化を支援する作業支援システムを開示する。特許文献１にかかる作業支援システムは、測定対象物の３次元形状データを測定する測定装置と、測定対象物及び測定装置の少なくとも一方を移動させて、測定装置による測定対象物の測定位置を変化させる移動装置と、移動装置を制御する作業支援装置とを有する。候補位置設定部は、測定対象物の表面のうち、測定対象範囲として指定された測定対象範囲の全域に対して、候補となる測定位置を設定する。可能面算出部は、設定された測定位置それぞれについて、測定可能な測定対象物の表面の数又面積を算出する。順位決定部は、それぞれの測定方向について、算出された表面の数又は面積に応じて、測定の優先順位を決定する。測定制御部は、決定された優先順位に従って、それぞれの測定方向で測定するよう前記移動装置に指示する。

特開２０１５−１９０８１８号公報

センサの動作環境によっては、検出の対象となる対象物体が複数存在することがあり、さらに、対象物体以外の他の物体が存在することもある。このような場合、他の物体によって対象物体が遮蔽される可能性がある。したがって、対象物体と他の物体との位置関係を考慮せずに闇雲にセンサを移動させても、対象物体を検出するのに膨大な時間を要するおそれがある。つまり、ある位置にセンサを移動しても、その位置で測定を行う場合に、他の物体によって遮られる領域が大きいため、測定できないおそれがある。したがって、その位置にセンサを移動して測定した時間は無駄となるおそれがある。特許文献１にかかる技術では、測定対象物以外の他の物体を考慮していない。したがって、特許文献１にかかる技術では、測定対象物が障害物によって遮蔽された場合に、効率よく測定対象物を検出できないおそれがあった。

本発明は、対象物体が他の物体によって遮られている場合であっても、効率よく対象物体を検出することが可能な制御装置、物体検出システム、物体検出方法及びプログラムを提供するものである。

本発明にかかる制御装置は、三次元環境において周囲を測定するセンサを制御して、検出対象である対象物体を検出する制御装置であって、前記センサから取得された測定データを用いて、前記三次元環境に存在する前記対象物体を認識する物体認識部と、複数の前記測定データを統合することによって、前記三次元環境に存在する物体の各位置を示す三次元環境情報を生成する情報生成部と、次に測定を行う際の前記センサの最適位置を決定する位置決定部と、前記決定された最適位置に前記センサを移動させるセンサ制御部とを有し、前記位置決定部は、前記三次元環境情報を用いて、前記物体認識部によって認識された前記対象物体である少なくとも１つの第１の物体によって遮られている領域の大きさがより大きくなるような画像を撮影可能な前記センサの位置を、前記最適位置として決定する。

また、本発明にかかる物体検出システムは、三次元環境において周囲を測定するセンサと、前記センサを制御して、検出対象である対象物体を検出する制御装置とを有し、前記制御装置は、前記センサから取得された測定データを用いて、前記三次元環境に存在する前記対象物体を認識する物体認識部と、複数の前記測定データを統合することによって、前記三次元環境に存在する物体の各位置を示す三次元環境情報を生成する情報生成部と、次に測定を行う際の前記センサの最適位置を決定する位置決定部と、前記決定された最適位置に前記センサを移動させるセンサ制御部とを有し、前記位置決定部は、前記三次元環境情報を用いて、前記物体認識部によって認識された前記対象物体である少なくとも１つの第１の物体によって遮られている領域の大きさがより大きくなるような画像を撮影可能な前記センサの位置を、前記最適位置として決定する。

また、本発明にかかる物体検出方法は、三次元環境において周囲を測定するセンサを制御して、検出対象である対象物体を検出する物体検出方法であって、前記センサから取得された測定データを用いて、前記三次元環境に存在する前記対象物体を認識するステップと、複数の前記測定データを統合することによって、前記三次元環境に存在する物体の各位置を示す三次元環境情報を生成するステップと、前記三次元環境情報を用いて、前記認識された前記対象物体である少なくとも１つの第１の物体によって遮られている領域の大きさがより大きくなるような画像を撮影可能な前記センサの位置を、次に測定を行う際の前記センサの最適位置として決定するステップと、前記決定された最適位置に前記センサを移動させるステップとを有する。

また、本発明にかかるプログラムは、三次元環境において周囲を測定するセンサを制御して、検出対象である対象物体を検出する物体検出方法を実行するプログラムであって、前記センサから取得された測定データを用いて、前記三次元環境に存在する前記対象物体を認識するステップと、複数の前記測定データを統合することによって、前記三次元環境に存在する物体の各位置を示す三次元環境情報を生成するステップと、前記三次元環境情報を用いて、前記認識された前記対象物体である少なくとも１つの第１の物体によって遮られている領域の大きさがより大きくなるような画像を撮影可能な前記センサの位置を、次に測定を行う際の前記センサの最適位置として決定するステップと、前記決定された最適位置に前記センサを移動させるステップとをコンピュータに実行させる。

本発明においては、センサを用いて対象物体を検出する際に、第１の物体によって死角となった領域をより適切に測定可能な位置に、センサ１２を移動させることができる。したがって、センサを用いて対象物体を検出する際にセンサを移動させる回数及び時間を削減することができる。したがって、本発明は、対象物体が他の物体によって遮られている場合であっても、効率よく対象物体を検出することが可能となる。

また、好ましくは、前記位置決定部は、前記対象物体が配置され得る収納物体の位置及び形状に応じて、前記対象物体が配置され得る領域である配置可能領域を測定可能な前記センサの位置を、前記最適位置の候補として算出し、前記候補から、前記最適位置を選択する。
このように、視点候補を算出することによって、収納物体の位置及び形状によっては対象物体の検出に寄与し得ない視点位置を、最適位置から除外することができる。したがって、本発明は、効率よく対象物体を検出することが可能となる。

また、好ましくは、前記位置決定部は、前記候補の位置のうち、前記センサが前記第１の物体によって遮られた領域を測定可能であり且つ未だ測定されていない未測定位置があるか否かを判定し、前記未測定位置があると判定された場合に、前記最適位置を決定する処理を行う。
未測定位置がない場合というのは、これ以上測定しても、対象物体を検出することができない場合である。したがって、本発明のように、未測定位置があるか否かを判定することによって、未測定位置がない場合には、最適位置の決定処理を打ち切ることができる。したがって、本発明は、無駄な処理を行うことなく、対象物体の検出処理を終了することができる。

また、好ましくは、前記未測定位置がないと判定された場合に、前記第１の物体によって遮られた領域が測定され得るように、除去すべき前記第１の物体を判定する除去判定部をさらに有する。
本発明は、上記のように構成されていることによって、以後の処理において除去すべき第１の物体を除去して測定され得なかった未測定領域を測定することができるので、効率的に未測定領域を測定可能とすることが可能となる。

また、好ましくは、前記判定された前記第１の物体を除去するように、アームを制御するアーム制御部をさらに有する。
本発明は、上記のように構成されていることによって、除去すべき前記第１の物体を自動的に除去することができる。したがって、未測定領域を効率的に測定することが可能となる。

また、好ましくは、前記位置決定部は、前記三次元環境情報を用いて、前記対象物体が配置され得る領域である配置可能領域の探索が完了したか否かを判定し、探索が完了していないと判定された場合に、前記最適位置を決定する処理を行う。
本発明は、上記のように構成されていることによって、収納物体の探索が完了したと判定された場合に、最適位置を決定する処理が行われないようにする。したがって、本発明は、不必要な処理が行われることを抑制することが可能となる。したがって、本発明は、物体の検出時間の増大を抑制することが可能となる。

本発明によれば、対象物体が他の物体によって遮られている場合であっても、効率よく対象物体を検出することが可能な制御装置、物体検出システム、物体検出方法及びプログラムを提供できる。

実施の形態１にかかる物体検出システムを示す図である。 実施の形態１にかかる物体検出システムのハードウェア構成を示すブロック図である。 実施の形態１にかかる制御装置の構成を示す機能ブロック図である。 実施の形態１にかかる制御装置によって行われる、物体検出方法を示すフローチャートである。 実施の形態１にかかる探索判定部によって行われる、探索完了の判定方法の第１の例を示すフローチャートである。 図５に示した第１の例を説明するための図である。 実施の形態１にかかる探索判定部によって行われる、探索完了の判定方法の第２の例を示すフローチャートである。 図７に示した第２の例を説明するための図である。 実施の形態１にかかる視点候補の算出方法を説明するための図である。 実施の形態１にかかる視点候補の算出方法を説明するための図である。 実施の形態１にかかる視点候補の算出方法を説明するための図である。 実施の形態１にかかる最適視点選択部の処理を説明するための図である。 実施の形態１にかかる最適視点選択部の処理を説明するための図である。 実施の形態１にかかる最適視点選択部の処理を説明するための図である。 実施の形態１にかかる未測定視点位置があるか否かの判定処理の一例を示すフローチャートである。 図１５で示した処理を説明するための図である。 図１５で示した処理を説明するための図である。 図１５で示した処理を説明するための図である。 実施の形態２にかかる物体検出システムを示す図である。 実施の形態２にかかる物体検出システムのハードウェア構成を示すブロック図である。 実施の形態２にかかる制御装置の構成を示す機能ブロック図である。 実施の形態２にかかる制御装置によって行われる、物体検出方法を示すフローチャートである。 実施の形態２にかかる、除去物体を判定する方法の例を示すフローチャートである。 図２３に示す方法を説明するための図である。 図２３に示す方法を説明するための図である。 図２３に示す方法を説明するための図である。 図２３に示す方法を説明するための図である。 図２３に示す方法を説明するための図である。

（実施の形態１）
以下、図面を参照して本発明の実施の形態について説明する。なお、実質的に同じ構成要素には、同じ符号が付される。

図１は、実施の形態１にかかる物体検出システム１を示す図である。また、図２は、実施の形態１にかかる物体検出システム１のハードウェア構成を示すブロック図である。実施の形態１にかかる物体検出システム１は、物体検出装置１０と、制御装置１００とを有する。物体検出装置１０は、センサ１２と、センサ１２を駆動する駆動部１４とを有する。

制御装置１００は、例えばコンピュータである。制御装置１００は、物体検出装置１０と、有線又は無線の通信リンク２を介して通信可能に接続されている。したがって、制御装置１００は、センサ１２及び駆動部１４と、通信可能に接続されている。

なお、図１では、制御装置１００は、物体検出装置１０と物理的に別個の装置であるとしたが、物体検出装置１０の内部に組み込まれていてもよい。また、後述する制御装置１００の構成要素の１つ以上が、物体検出装置１０に組み込まれていてもよい。この場合、物体検出装置１０も、コンピュータとしての機能を有する。

物体検出装置１０は、三次元環境４を移動する。物体検出装置１０は、三次元環境４を自律的に移動可能である。なお、三次元環境４は、直交座標系で表現されてもよいし、極座標系で表現されてもよい。以下の説明では、三次元環境４が（Ｘ，Ｙ，Ｚ）の直交座標系で表現された例を示している。

センサ１２は、物体までの距離を計測可能な深度センサ、距離センサ、三次元カメラ（ステレオカメラ）等の三次元センサである。センサ１２は、例えばライダ（ＬＩＤＡＲ；Light Detection and Ranging）等である。物体検出装置１０（センサ１２）は、駆動部１４により、以下に説明するように５つの自由度を有する。

駆動部１４は、矢印Ａで示すように、物体検出装置１０（センサ１２）を三次元環境４のＸ軸方向に移動させる。また、駆動部１４は、矢印Ｂで示すように、物体検出装置１０（センサ１２）を三次元環境４のＹ軸方向に移動させる。また、駆動部１４は、矢印Ｃで示すように、センサ１２を三次元環境４のＺ軸方向（鉛直方向）に移動させる。また、駆動部１４は、矢印Ｄで示すように、センサ１２を三次元環境４のＸＹ平面に平行に（つまり水平方向に）回転（旋回）させる。また、駆動部１４は、矢印Ｅで示すように、センサ１２を三次元環境４の上下方向に回転（揺動）させる。つまり、センサ１２は、駆動部１４によって、矢印Ａ，Ｂ，Ｃで示すように、三次元環境４における三次元位置座標を変化させるように移動する。また、センサ１２は、駆動部１４によって、矢印Ｄ，Ｅで示すように、三次元環境４における姿勢（向き）を変化させるように移動する。以下の説明では、センサ１２の「移動」とは、三次元位置座標の変化及び姿勢の変化を含む。また、センサ１２の「位置」とは、三次元位置座標及び姿勢を含む。

センサ１２は、物体検出装置１０の周囲を測定する。センサ１２は、測定した周囲の物体の画像を取得する。また、センサ１２は、センサ１２（物体検出装置１０）から観測した物体における各点までの距離を測定する。そして、センサ１２は、測定された距離を示す距離データを生成する。つまり、距離データは、センサ１２によって生成された測定データに対応する。センサ１２は、距離データとして、距離画像（ポイントクラウド）を示す距離画像データを生成する。つまり、距離データは、センサ１２（物体検出装置１０）に対する周囲の各物体表面の点群を三次元で示す。センサ１２は、レーザ光を周囲に走査し、物体に反射した反射光を受光して、送信時間と受信時間との差分から物体までの距離を算出する。そして、物体検出装置１０（センサ１２）は、三次元環境４におけるセンサ１２の三次元位置座標と、レーザ光の照射方向と、物体までの距離とから、レーザ光の反射位置における三次元座標（Ｘ，Ｙ，Ｚ）を算出する。このようにして、物体検出装置１０（センサ１２）は、三次元環境４における各物体の位置を測定する。なお、以下、用語「画像」は、情報処理における処理対象としての、「画像を示す画像データ」も意味する。

三次元環境４には、物体検出装置１０による検出の対象である複数の対象物体８０が配置されている。また、三次元環境４には、１つ以上の収納物体９０が設けられている。収納物体９０は、１つ以上の棚板９２と、壁面９４とを有する。収納物体９０は、複数の対象物体８０を収納し得る。図１に示す例では、対象物体８０Ａ〜８０Ｅが、収納物体９０に配置されている。

制御装置１００は、主要なハードウェア構成として、ＣＰＵ（Central Processing Unit）１０２と、ＲＯＭ（Read Only Memory）１０４と、ＲＡＭ（Random Access Memory）１０６と、インタフェース部１０８（ＩＦ；Interface）とを有する。ＣＰＵ１０２、ＲＯＭ１０４、ＲＡＭ１０６及びインタフェース部１０８は、データバスなどを介して相互に接続されている。

ＣＰＵ１０２は、制御処理及び演算処理等を行う演算装置としての機能を有する。ＲＯＭ１０４は、ＣＰＵ１０２によって実行される制御プログラム及び演算プログラム等を記憶するための機能を有する。ＲＡＭ１０６は、処理データ等を一時的に記憶するための機能を有する。インタフェース部１０８は、有線又は無線を介して外部と信号の入出力を行う。また、インタフェース部１０８は、ユーザによるデータの入力の操作を受け付け、ユーザに対して情報を表示する。

図３は、実施の形態１にかかる制御装置１００の構成を示す機能ブロック図である。制御装置１００は、情報格納部１１２、物体認識部１１４、情報生成部１１６、位置決定部１２０、及び、センサ制御部１４０（以下、「各構成要素」と称する）を有する。また、位置決定部１２０は、探索判定部１２２と、最適視点選択部１２４とを有する。各構成要素は、例えば、ＣＰＵ１０２がＲＯＭ１０４に記憶されたプログラムを実行することによって実現可能である。また、必要なプログラムを任意の不揮発性記録媒体に記録しておき、必要に応じてインストールするようにしてもよい。なお、各構成要素は、上記のようにソフトウェアによって実現されることに限定されず、何らかの回路素子等のハードウェアによって実現されてもよい。また、上記構成要素の１つ以上は、物理的に別個のハードウェアによってそれぞれ実現されてもよい。以上のことは、後述する実施の形態２においても同様である。

情報格納部１１２は、三次元環境情報、収納物体情報、対象物体情報、及び、センサ情報を格納する。さらに、情報格納部１１２は、後述する物体認識部１１４による認識結果を格納してもよい。「三次元環境情報」とは、三次元環境４に存在する各物体の各位置（点群）の三次元座標データを示す情報である。三次元環境４が複数ある場合、情報格納部１１２は、複数の三次元環境情報を格納し得る。例えば、家屋、店舗、テナント、フロアといったような環境ごとに、三次元環境情報が生成され、格納され得る。

三次元環境情報では、ある三次元座標（Ｘ，Ｙ，Ｚ）で示される点に何らかの物体が存在するか否かといったことが示される。したがって、制御装置１００及び物体検出装置１０は、三次元環境情報において、連続する三次元座標に何らかの物体が存在することを検出することで、その物体の形状を認識することができる。三次元環境情報は、例えばセンサ１２が三次元環境４の全体を走査して各物体の各位置の三次元座標を算出することで取得される。つまり、三次元環境情報は、センサ１２を用いて生成され得る。ここで、三次元環境情報は、センサ１２による測定によって生成された三次元測定データ（距離画像データ）が統合されたものに対応する。つまり、三次元環境情報は、ある視点位置からセンサ１２が測定して得られた三次元測定データと、別の視点位置からセンサ１２が測定して得られた三次元測定データとを統合することによって、生成され得る。言い換えると、三次元環境情報は、複数の視点位置それぞれにおいてセンサ１２によって三次元測定データが生成されるにつれて、更新されていく。

「収納物体情報」とは、収納物体９０に関する情報である。収納物体情報は、収納物体９０の三次元形状及び寸法を示す。例えば、収納物体情報は、物体のＣＡＤ（computer-aided design）データであってもよい。さらに、収納物体情報は、三次元環境４における位置（三次元座標）を示す。したがって、収納物体情報が三次元環境情報に統合されることにより、制御装置１００は、三次元環境情報を用いて、収納物体９０が三次元環境４のどこに配置されているかを認識することができる。言い換えると、制御装置１００は、三次元環境情報を用いて、三次元環境４のどの座標（Ｘ，Ｙ，Ｚ）に棚板９２及び壁面９４が存在するかを認識可能である。さらに、収納物体情報は、棚板９２の面積、エッジ、棚板９２の開口部等を示す情報も含み得る。

「対象物体情報」とは、物体検出装置１０の検出の対象となる対象物体の検出に必要な情報である。対象物体情報が情報格納部１１２に格納されていることにより、各対象物体８０が物体検出システム１に登録されることになる。対象物体情報は、対象物体８０の識別情報（登録名）を含む。さらに、例えば、対象物体情報は、対象物体８０の形状及び寸法を示す。例えば、対象物体情報は、物体のＣＡＤデータであってもよい。なお、対象物体情報には、対応する物体がどこに置かれているかといった位置情報は含まれなくてもよい。したがって、制御装置１００は、三次元環境情報を用いて、棚板９２の上に何らかの物体が配置されていることは認識できるが、それがどの対象物体８０であるかは、後述する物体認識処理を行わないと認識できない。物体検出システム１は、対象物体情報及び三次元環境情報を用いて、登録された対象物体８０が三次元環境４のどこに配置されているかを探索していく。言い換えると、物体検出システム１は、三次元環境４のどの領域が対象物体８０に対応するのかを検出していく。

「センサ情報」とは、センサ１２の計測に関する情報である。例えば、センサ情報は、センサ１２の画角（視野角；視野範囲）、焦点距離、解像度、及び画素数等を示す。つまり、センサ情報は、センサ１２の計測可能範囲を示してもよい。これにより、センサ１２によって生成される三次元画像データ（距離画像データ）のサイズ及び解像度等が特定され得る。

物体認識部１１４は、センサ１２によって測定がなされ三次元測定データ（距離画像）が生成されると、三次元測定データ及び情報格納部１１２に格納された情報を用いて、三次元環境４に存在する対象物体８０を認識する。具体的には、物体認識部１１４は、三次元測定データ（及び要すれば三次元環境情報）から、登録された対象物体８０を検出する。さらに具体的には、物体認識部１１４は、三次元測定データ（距離画像）における各物体の形状を示す情報と、対象物体８０の形状を示す物体情報（ＣＡＤデータ等）との差分を、それぞれ算出する。そして、物体認識部１１４は、差分が予め定められた閾値よりも小さい物体を対象物体８０であると認識する。そして、物体認識部１１４は、検出された対象物体８０の識別情報と、その対象物体８０が存在する位置を示す位置情報とを関連付ける。

情報生成部１１６は、三次元環境情報を生成する。具体的には、情報生成部１１６は、物体認識部１１４によって物体認識処理がなされると、物体認識処理の結果（認識結果）を用いて、三次元環境情報を更新する。ここで、三次元環境情報は、初期の段階では、収納物体９０に対応する位置情報のみを含み得る。言い換えると、センサ１２が測定を開始する前の段階では、三次元環境情報によって示される三次元仮想空間には、収納物体９０のみが存在する。そして、センサ１２が測定を行って物体認識部１１４によって物体が認識されるごとに、情報生成部１１６は、三次元環境情報に、センサ１２の測定によって生成された三次元測定データを統合する。これにより、三次元環境情報に含まれる物体の情報が増加していく。

なお、センサ１２の視点又は対象物体８０の位置によっては、センサ１２の視界（画角）にその対象物体８０が存在しているが、他の対象物体８０又は収納物体９０の壁面９４等によって対象物体８０の一部が遮蔽されることがある。この場合、遮蔽された対象物体８０の一部は、センサ１２によって撮影されない。例えば、図１の対象物体８０Ｃの手前には、対象物体８０Ｂが存在する。したがって、ある視点位置からでは、対象物体８０Ｃの一部（対象物体８０Ｂに遮蔽された右下部分）は、センサ１２によって撮影されない可能性がある。この場合、対象物体８０Ｂは、センサ１２が対象物体８０Ｃを測定（撮影）する際の障害物となり、センサ１２に対して死角を形成する。そして、その死角に、対象物体８０Ｃの少なくとも一部が存在することとなる。

このとき、その対象物体８０は、形状等を示す情報量の不足により、物体認識部１１４によって認識されない可能性がある。このような場合には、情報生成部１１６は、認識されなかった対象物体８０の、センサ１２によって撮影された部分の形状を示す情報を、三次元環境情報に追加する。この場合、制御装置１００は、三次元環境情報を用いて、その位置に何らかの物体が存在することは認識できるが、その物体がどの対象物体８０であるかを認識することはできない。したがって、三次元環境情報には、認識された対象物体８０に関する情報と、認識されなかった対象物体８０に関する情報とを含み得る。

位置決定部１２０は、次に測定を行うときのセンサ１２の最適視点位置（最適位置）を決定する（後述する図４のＳ１３０等）。具体的には、位置決定部１２０は、次にセンサ１２を移動して対象物体８０を測定（撮影）した場合に、収納物体９０に配置されている可能性があるが認識されなかった対象物体８０を認識できる可能性が高いと推測される視点位置を、最適視点位置として決定する。ここで、認識された対象物体８０（例えば図１の対象物体８０Ｂ）を第１の物体とし、第１の物体に遮られているため認識できなかった対象物体８０（例えば図１の対象物体８０Ｃ）を第２の物体とする。この場合、位置決定部１２０は、三次元環境情報を用いて、第１の物体によって遮られて死角となった領域がセンサ１２によって測定され得るような視点位置を、最適視点位置として決定する。つまり、位置決定部１２０は、物体認識部１１４によって認識された少なくとも１つの第１の物体によって遮られている領域をセンサ１２によって測定され得るように、三次元環境情報を用いて、第１の物体の位置に応じて、次に測定を行う際のセンサ１２の位置を、最適視点位置として決定する。言い換えると、位置決定部１２０は、三次元環境情報を用いて、物体認識部１１４によって認識された少なくとも１つの第１の物体によって遮られている領域の大きさがより大きくなるような距離画像を撮影可能なセンサ１２の位置を、最適視点位置として決定する。これにより、制御装置１００は、第１の物体によって遮られて死角となった領域をより適切に測定可能な位置に、センサ１２を移動させることができる。したがって、実施の形態１にかかる制御装置１００は、第２の物体が第１の物体によって遮られている場合であっても、効率よく対象物体８０を検出することが可能となる。

センサ制御部１４０は、位置決定部１２０によって決定された最適視点位置に、センサ１２を移動させる。そして、センサ制御部１４０は、移動後の視点位置（最適視点位置）にて測定を行うように、センサ１２を制御する。そして、センサ制御部１４０は、センサ１２によって生成された距離画像（三次元測定データ）を取得する。そして、センサ制御部１４０は、三次元測定データを物体認識部１１４に出力する。

探索判定部１２２は、収納物体９０の探索が完了したか否かを判定する（後述する図４のＳ１１０〜Ｓ１１２）。そして、探索判定部１２２によって収納物体９０の探索が完了したと判定された場合に、対象物体８０の認識結果が、例えばインタフェース部１０８等に出力される。一方、探索判定部１２２によって収納物体９０の探索が完了していないと判定された場合には、後述する最適視点選択部１２４の処理が行われる。具体的には、探索判定部１２２は、三次元環境情報を用いて、収納物体９０における、対象物体８０が配置され得る領域（配置可能領域）の探索が完了したか否かを判定する。詳しくは後述する。なお、配置可能領域は、対象物体８０が配置され得る平面（棚板９２の上面）であってもよいし、対象物体８０が配置され得る空間（上下の棚板９２の間の空間）であってもよい。

なお、センサ１２による収納物体９０の探索が完了した場合には、収納物体９０には、認識されていない対象物体８０が存在しない（つまり収納物体９０に配置された対象物体８０は全て認識された）可能性が高い。つまり、対象物体８０を検出するために十分測定を行った可能性が高い。したがって、これ以上、センサ１２による測定を行うことは、無駄である可能性が高い。したがって、実施の形態１のように、探索判定部１２２は、収納物体９０の探索が完了したと判定された場合に、最適視点選択部１２４の処理が行われないようにすることで、不必要な処理が行われることを抑制することが可能となる。したがって、実施の形態１にかかる制御装置１００は、物体の検出時間の増大を抑制することが可能となる。

最適視点選択部１２４は、対象物体８０が配置され得る収納物体９０の位置及び形状に応じて、配置可能領域を測定可能なセンサ１２の視点位置を、最適視点位置の候補（視点候補）として算出する（後述する図４のＳ１２２）。例えば、収納物体９０の棚板９２が測定できないような視点位置は、視点候補からは除外される。そして、最適視点選択部１２４は、視点候補から、最適視点位置を選択する。詳しくは後述する。このように、視点候補を算出することによって、収納物体９０の位置及び形状によっては対象物体８０の検出に寄与し得ない視点位置を、最適視点位置から除外することができる。したがって、実施の形態１にかかる制御装置１００は、効率よく対象物体８０を検出することが可能となる。

また、最適視点選択部１２４は、視点候補のうち、認識された対象物体８０（第１の物体）によって遮られた領域をセンサ１２が測定可能であり且つ未だ測定されていない視点位置である未測定視点位置（未測定位置）があるか否かを判定する（後述する図４のＳ１５０）。そして、最適視点選択部１２４は、未測定視点位置があると判定された場合に、最適視点位置を決定する処理を行う。詳しくは後述する。未測定視点位置がない場合というのは、これ以上測定しても、対象物体８０を検出することができない場合である。したがって、このように、未測定視点位置があるか否かを判定することによって、未測定視点位置がない場合には、最適視点位置の選択処理を打ち切ることができるので、対象物体８０の検出を効率化することが可能となる。つまり、無駄な処理を行うことなく、対象物体の検出処理を終了することができる。

図４は、実施の形態１にかかる制御装置１００によって行われる、物体検出方法を示すフローチャートである。まず、センサ制御部１４０は、現在の視点位置で測定を行うようにセンサ１２を制御して、センサ１２から、三次元測定データ（距離画像）を取得する（ステップＳ１００）。そして、物体認識部１１４は、上述したように、三次元測定データと、情報格納部１１２に格納された情報（対象物体情報、三次元環境情報、収納物体情報等）とを用いて、物体認識処理を行う（ステップＳ１０２）。情報生成部１１６は、認識結果及び三次元測定データを用いて、三次元環境情報を更新する（ステップＳ１０４）。

図１の例では、対象物体８０Ａ及び対象物体８０Ｂは、棚板９２の比較的手前に配置されており、それぞれの形状の略全体が測定され得る。したがって、物体認識部１１４は、対象物体８０Ａ及び対象物体８０Ｂを認識し得る。そして、情報生成部１１６は、対象物体８０Ａの対象物体情報を用いて、三次元環境情報で示される三次元仮想空間における、対象物体８０Ａが配置された位置に対応する領域に、対象物体８０Ａの形状を示す位置情報を追加してもよい。情報生成部１１６は、対象物体８０Ｂについても同様の処理を行い得る。

一方、対象物体８０Ｃは、対象物体８０Ｂの向こう側に配置されているので、その一部の形状が測定できない。したがって、物体認識部１１４は、対象物体８０Ｃを認識できない可能性がある。この場合、情報生成部１１６は、三次元測定データを用いて、三次元環境情報で示される三次元仮想空間における、対象物体８０Ｃが配置された位置に対応する領域に、対象物体８０Ｃの測定された部分を示す位置情報を追加してもよい。

次に、探索判定部１２２は、収納物体９０の探索が完了したか否かを判定する（ステップＳ１１０）。具体的には、後述する方法によって、探索判定部１２２は、三次元環境情報及び収納物体情報を用いて、センサ１２による配置可能領域の測定が完了したか否かを判定する。したがって、Ｓ１１０の処理は、三次元環境情報によって示される三次元仮想空間で行われる。

収納物体９０の探索が完了したと判定されていない場合（Ｓ１１０のＮＯ）、探索判定部１２２は、測定されていない視点位置からの測定が必要であると判定する。したがって、この場合、探索判定部１２２は、最適視点選択部１２４に対し、さらなる測定が必要である旨の信号を出力する。これにより、最適視点選択部１２４によって、後述するＳ１２０の処理が行われる。

一方、収納物体９０の探索が完了したと判定された場合（Ｓ１１０のＹＥＳ）、探索判定部１２２は、配置可能領域に配置された全ての対象物体８０それぞれの少なくとも一部分（対象物体８０の上半分又は左半分など）について測定されたと判定する。したがって、探索判定部１２２は、収納物体９０に配置された全ての対象物体８０についてラベリングがなされたか否かを判定する（ステップＳ１１２）。ここで、ラベリングとは、収納物体９０に配置された対象物体８０について認識がなされたことにより、その対象物体８０が配置された領域に、その対象物体８０に対応する識別情報を対応付けることである。

なお、三次元測定データ（三次元環境情報）において対象物体８０の略全体が測定されている場合（つまり距離画像に対象物体８０の全体の画像が含まれる場合）、対象物体情報を用いて、ラベリングを行うことが可能である。一方、三次元測定データ（三次元環境情報）において対象物体８０の全体が測定されていない場合（つまり距離画像において対象物体８０の画像の一部が欠如し、物体認識に必要な情報が不足している場合）、対象物体情報を用いても、物体認識に失敗する可能性がある。その場合、ラベリングを行うことができない。

収納物体９０に配置された全ての対象物体８０についてラベリングがなされたと判定された場合（Ｓ１１２のＹＥＳ）、制御装置１００は、収納物体９０に配置された全ての対象物体８０が検出されたと判定する。したがって、制御装置１００は、認識結果を、インタフェース部１０８に出力する（ステップＳ１１４）。ここで、認識結果とは、どの対象物体８０がどこに配置されているかを示す情報である。言い換えると、認識結果とは、三次元環境情報で示される三次元仮想空間において、どの領域がどの対象物体８０で占められているかを示す情報である。

収納物体９０に配置された全ての対象物体８０についてラベリングがなされていないと判定された場合（Ｓ１１２のＮＯ）、探索判定部１２２は、ラベリングを行うのに不足した情報を補うために、さらなる測定が必要であると判定する。この場合、探索判定部１２２は、最適視点選択部１２４に対し、さらなる測定が必要である旨の信号を出力する。これにより、最適視点選択部１２４によって、後述するＳ１２０の処理が行われる。

図５は、実施の形態１にかかる探索判定部１２２によって行われる、探索完了の判定方法の第１の例を示すフローチャートである。また、図６は、図５に示した第１の例を説明するための図である。図６は、収納物体９０の棚板９２に対象物体８０Ａ，８０Ｂ，８０Ｃが配置された状態を上方（Ｚ軸正方向）から見た平面図である。そして、対象物体８０Ａ，８０Ｂ，８０Ｃは認識済みであるとする。

探索判定部１２２は、収納物体９０の測定された棚板９２の面積と、認識された対象物体８０の底面の面積との合計Ｓａを算出する（ステップＳ１１２Ａ）。ここで、測定された棚板９２の面積は、三次元測定データ及び三次元環境情報における座標データから、幾何学的に算出され得る。また、認識された対象物体８０の底面の面積は、予め、対応する対象物体情報に含まれている。図６に示した例では、測定された棚板９２の面積は、視野範囲１２ａの内側における、対象物体８０Ａ，８０Ｂ，８０Ｃによって遮られて死角となった領域（斜線でハッチングされた領域）を除いた、棚板９２の面積である。また、認識された対象物体８０の底面の面積は、対象物体８０Ａ，８０Ｂ，８０Ｃの底面積の合計である。なお、対象物体８０Ｃが認識されていない場合、対象物体８０Ｃの底面積は、合計Ｓａからは除かれる。

探索判定部１２２は、棚板９２の面積Ｓｂに対するＳａの割合Ｓａ／Ｓｂが、予め定められた閾値ＴｈＡ以上であるか否かを判定する（ステップＳ１１４Ａ）。ここで、棚板９２の面積Ｓｂは、収納物体情報から取得可能である。面積Ｓｂは、収納物体情報に含まれていてもよい。Ｓａ／Ｓｂ＜ＴｈＡである場合（Ｓ１１４ＡのＮＯ）、探索判定部１２２は、収納物体９０の探索が完了していないと判定する（ステップＳ１１６Ａ）。一方、Ｓａ／Ｓｂ≧ＴｈＡである場合（Ｓ１１４ＡのＹＥＳ）、探索判定部１２２は、収納物体９０の探索が完了したと判定する（ステップＳ１１８Ａ）。なお、後述するＳ１３０の処理によって決定された視点位置でセンサ１２が測定を行うことによって、未測定の領域及び未認識の対象物体８０の数は減少し得る。したがって、Ｓ１３０の処理によって決定された視点位置でセンサ１２が測定を行うことを繰り返すことで、Ｓａ／Ｓｂ≧ＴｈＡとなる可能性が高くなる。

図７は、実施の形態１にかかる探索判定部１２２によって行われる、探索完了の判定方法の第２の例を示すフローチャートである。また、図８は、図７に示した第２の例を説明するための図である。図８は、収納物体９０の棚板９２に対象物体８０Ａ，８０Ｂ，８０Ｃが配置された状態を上方（Ｘ軸正方向）から見た平面図である。

探索判定部１２２は、測定データ（三次元環境情報）から、測定済みである収納物体９０の配置可能領域のエッジを抽出する（ステップＳ１１２Ｂ）。ここで、配置可能領域が棚板９２である場合、配置可能領域のエッジ９２ｅは、棚板９２と壁面９４との境界である（図８に太線で示す）。ここで、棚板９２の座標データは予め収納物体情報（三次元環境情報）に含まれているので、測定データ（三次元環境情報）においてどの領域がエッジ９２ｅであるかは、容易に認識できる。

探索判定部１２２は、配置可能領域の全てのエッジ９２ｅが検出されているか否かを判定する（ステップＳ１１４Ｂ）。全てのエッジ９２ｅが検出されていない場合（Ｓ１１４ＢのＮＯ）、探索判定部１２２は、収納物体９０の探索が完了していないと判定する（ステップＳ１１６Ｂ）。一方、全てのエッジ９２ｅが検出されている場合（Ｓ１１４ＢのＹＥＳ）、探索判定部１２２は、収納物体９０の探索が完了したと判定する（ステップＳ１１８Ｂ）。図８に示した例では、対象物体８０によって死角となった箇所、及び、視野範囲１２ａの外側の箇所について、エッジ９２ｅが検出されていない（図８の破線の楕円で示す）。したがって、この場合、探索判定部１２２は、収納物体９０の探索が完了していないと判定する。なお、後述するＳ１３０の処理によって決定された視点位置でセンサ１２が測定を行うことによって、未測定のエッジ９２ｅは減少し得る。したがって、Ｓ１３０の処理によって決定された視点位置でセンサ１２が測定を行うことを繰り返すことで、全てのエッジ９２ｅが検出される可能性がある。

なお、配置可能領域が空間である場合でも、上記第１の例及び第２の例は適用可能である。第１の例では、探索判定部１２２は、測定された収納物体９０における空間の体積と認識された対象物体８０の体積との合計を、収納物体９０の配置可能領域の体積と比較してもよい。第２の例では、探索判定部１２２は、棚板９２の周囲の壁面９４が全て測定されたかを判定してもよい。

最適視点選択部１２４は、視点候補が既に算出されているか否かを判定する（ステップＳ１２０）。視点候補が算出されていない場合（Ｓ１２０のＮＯ）、最適視点選択部１２４は、視点候補を算出する（ステップＳ１２２）。一方、視点候補が既に算出されている場合（Ｓ１２０のＹＥＳ）、最適視点選択部１２４は、視点候補における他の視点位置を検討する（Ｓ１４２〜Ｓ１５０）。なお、Ｓ１２２の処理は、始めの１回のみ行われ得る。

Ｓ１２０において、最適視点選択部１２４は、収納物体情報及び三次元環境情報を用いて、配置可能領域を測定可能なセンサ１２の視点位置を、視点候補として算出する。この場合、最適視点選択部１２４は、収納物体９０のみを考慮し、収納物体９０に配置された対象物体８０の存在については考慮しない。なお、Ｓ１２２の処理は、三次元環境情報によって示される三次元仮想空間で行われる。

具体的には、最適視点選択部１２４は、収納物体情報及び三次元環境情報を用いて、センサ１２の視野範囲１２ａ（視野角）に、収納物体９０の配置可能領域の少なくとも一部が含まれるような視点位置を算出する。最適視点選択部１２４は、例えば収納物体９０の棚板９２の少なくとも一部が含まれるような視点位置を算出する。例えば、最適視点選択部１２４は、三次元仮想空間において視点位置を移動させたときのセンサ１２の視野範囲１２ａ（視野角）に棚板９２の画像が含まれるか否かを判定する。そして、視野範囲１２ａに棚板９２の画像が含まれる場合に、最適視点選択部１２４は、その視点位置を視点候補とする。

図９〜図１１は、実施の形態１にかかる視点候補の算出方法を説明するための図である。図９において、視点Ａ及び視点Ｂでは、棚板９２の少なくとも一部が、壁面９４に遮られないで視野範囲１２ａに含まれる。したがって、視点Ａ及び視点Ｂは視点候補に含まれる。一方、視点Ｃでは、壁面９４に遮られてしまうので、棚板９２の全ての領域が視野範囲１２ａに含まれない。したがって、視点Ｃは視点候補に含まれない。

図１０において、センサ１２の位置である視点候補１２ｂの範囲が、太線矢印で示されている。この視点候補１２ｂにおける視点では、センサ１２は、棚板９２の少なくとも一部を測定可能である。一方、破線矢印で示された視点の範囲は、棚板９２を全く測定できないので、視点候補から除外されている。

図１１において、位置Ａにおけるセンサ１２の姿勢（向き）である視点候補１２ｂが、実線の太線矢印で示されている。この視点候補１２ｂにおける視点では、センサ１２は、棚板９２を測定可能である。一方、破線矢印で示された視点の範囲は、棚板９２を測定できないので、視点候補から除外されている。

次に、最適視点選択部１２４は、視点候補から、次のセンサ１２の視点位置として最適な視点位置である最適視点位置を選択する（ステップＳ１３０）。具体的には、最適視点選択部１２４は、認識済みの対象物体８０（例えば図１の対象物体８０Ａ，８０Ｂ）によって一部が遮られている対象物体８０（例えば図１の対象物体８０Ｃ）を測定可能な位置を、最適視点位置として選択する。また、最適視点選択部１２４は、認識済みの対象物体８０（図１の対象物体８０Ａ，８０Ｂ）によって遮られている領域を測定可能な位置を、最適視点位置として選択する。つまり、位置決定部１２０は、三次元環境情報を用いて、認識済みの対象物体８０（図１の対象物体８０Ａ，８０Ｂ）によって遮られている領域の大きさがより大きくなるような距離画像を撮影可能なセンサ１２の位置を、最適視点位置として決定する。

図１２〜図１４は、実施の形態１にかかる最適視点選択部１２４の処理を説明するための図である。図１２及び図１３の例は、一部が測定されたものの他の一部が遮蔽されているため認識されなかった対象物体８０（図１の対象物体８０Ｃ）の測定のために用いられ得る。また、図１４の例は、認識された対象物体８０の死角となった領域に対象物体８０が配置されているか否か不明である場合に用いられ得る。以下、図１に示す例の場合について説明する。

図１２に示す例では、最適視点選択部１２４は、未認識の対象物体８０及びその周囲の対象物体８０が、センサ１２の視野（画角）に広く分布するような視点位置を選択する。具体的には、まず、最適視点選択部１２４は、図１２に破線で示すように、三次元環境情報から、収納物体９０に関する位置データを除外する。そして、最適視点選択部１２４は、三次元環境情報で示される三次元仮想空間において、Ｓ１２２の処理で算出された視点候補の範囲で仮想的に定めた複数の視点位置から上記の複数の対象物体８０を見たときに得られる距離画像を、視点位置ごとに抽出する。なお、最適視点選択部１２４は、センサ１２の画角等を示すセンサ情報を用いて、仮想的に定めた視点位置から見たときに得られる距離画像を生成可能である。

そして、最適視点選択部１２４は、それぞれの距離画像において、複数の対象物体８０の両端間の距離を算出する。最適視点選択部１２４は、その両端間の距離が最も大きくなるような距離画像に対応する視点位置を、最適視点位置として選択する。なお、最適視点選択部１２４は、両端間の距離が予め定められた閾値よりも大きくなるような距離画像に対応する視点位置を、最適視点位置として選択してもよい。なお、「両端間の距離」は、実際の距離ではなく、距離画像における距離であってよい。したがって、「両端間の距離」は、距離画像における画素数に対応し得る（図１３の例でも同様）。ここで、「両端間の距離」が大きくなるような距離画像には、未認識の対象物体８０の一部を含む領域が、より大きく含まれることとなる。

図１２の例では、視点Ｘから見た、対象物体８０Ａ，８０Ｂ，８０Ｃそれぞれの画像である対象物体画像８０ＡＩ，８０ＢＩ，８０ＣＩを含む距離画像ＩｍＸが抽出される。同様に、視点Ｙ，Ｚそれぞれから見た、対象物体画像８０ＡＩ，８０ＢＩ，８０ＣＩを含む距離画像ＩｍＹ，ＩｍＺが抽出される。そして、最適視点選択部１２４は、距離画像ＩｍＸにおける、対象物体８０Ａ，８０Ｂ，８０Ｃの両端間の距離Ｗｘを算出する。同様に、最適視点選択部１２４は、距離画像ＩｍＹ及びＩｍＺにおける、対象物体８０Ａ，８０Ｂ，８０Ｃの両端間の距離Ｗｙ及びＷｚを、それぞれ算出する。そして、最適視点選択部１２４は、Ｗｘ＞Ｗｙ及びＷｘ＞Ｗｚである、つまり両端間の距離が最も大きくなるのは距離画像ＩｍＸであると判定する。したがって、最適視点選択部１２４は、最適視点位置として視点Ｘを選択する。このようにして、図１２に示した例では、位置決定部１２０は、認識済みの対象物体８０によって遮られている領域（未認識の対象物体８０Ｃの一部）の大きさがより大きくなるような距離画像を撮影可能なセンサ１２の位置を、最適視点位置として決定する。

なお、視点Ｙに対応する視点のみで測定がなされている場合、図１２において、矢印Ａ１で示す箇所は、この処理の時点では、実際にはセンサ１２によって測定されていない。したがって、三次元環境情報には矢印Ａ１で示す箇所の位置データは含まれないので、距離画像ＩｍＸ及びＩｍＺにおいては、この箇所が欠損した状態となっていてもよい（図１３でも同様）。一方、視点Ｙに対応する視点のみで測定がなされた場合、矢印Ｂ１で示された箇所も測定がなされていない。しかしながら、対象物体８０Ａ，８０Ｂについては認識がなされているので、対象物体情報を用いて、矢印Ｂ１で示された箇所を描画することは可能である。

図１３に示す例では、最適視点選択部１２４は、距離画像において、未認識の対象物体８０の中心位置と認識済みの対象物体８０の中心位置との距離が大きくなるような視点位置を選択する。具体的には、最適視点選択部１２４は、認識された対象物体８０の対象物体情報を用いて、三次元環境情報で示される三次元仮想空間における認識された対象物体８０の中心軸を算出する。なお、対象物体情報には、対象物体８０の中心軸を示す情報が予め含まれていてもよい。

また、最適視点選択部１２４は、三次元測定データを用いて、未認識の対象物体８０のＺ軸方向の中心軸を算出する。ここで、三次元測定データでは、未認識の対象物体８０の一部のみが測定された状態となっているが、最適視点選択部１２４は、測定された箇所から推定される範囲で、未認識の対象物体８０の中心軸を算出する。例えば、最適視点選択部１２４は、未認識の対象物体８０の上面が測定されている場合、その上面の重心を通る軸を、中心軸と推定してもよい。また、最適視点選択部１２４は、未認識の対象物体８０の左右の側面が測定されている場合、左右の側面の中間を通る軸を、中心軸と推定してもよい。

そして、最適視点選択部１２４は、三次元環境情報で示される三次元仮想空間において、Ｓ１２２の処理で算出された視点候補の範囲で仮想的に定めた複数の視点位置から上記の複数の対象物体８０を見たときに得られる距離画像を、視点位置ごとに抽出する。そして、最適視点選択部１２４は、それぞれの距離画像において、未認識の対象物体８０の中心軸と、認識済みの対象物体８０の中心軸との距離を算出する。最適視点選択部１２４は、その中心間の距離が最も大きくなるような距離画像に対応する視点位置を、最適視点位置として選択する。なお、最適視点選択部１２４は、中心間の距離が予め定められた閾値よりも大きくなるような距離画像に対応する視点位置を、最適視点位置として選択してもよい。ここで、「中心間の距離」が大きくなるような距離画像には、未認識の対象物体８０の一部を含む領域が、より大きく含まれることとなる。

図１３の例では、視点Ｘ、Ｙそれぞれから見た、対象物体画像８０ＡＩ，８０ＢＩ，８０ＣＩを含む距離画像ＩｍＸ，ＩｍＹが抽出される。そして、最適視点選択部１２４は、距離画像ＩｍＸにおける、対象物体８０Ｃの中心軸８０Ｃｃと対象物体８０Ａの中心軸８０Ａｃとの距離Ｄｘ１、及び、対象物体８０Ｃの中心軸８０Ｃｃと対象物体８０Ｂの中心軸８０Ｂｃとの距離Ｄｘ２を算出する。同様に、最適視点選択部１２４は、距離画像ＩｍＹにおける、対象物体８０Ｃの中心軸８０Ｃｃと対象物体８０Ａの中心軸８０Ａｃとの距離Ｄｙ１、及び、対象物体８０Ｃの中心軸８０Ｃｃと対象物体８０Ｂの中心軸８０Ｂｃとの距離Ｄｙ２を算出する。そして、最適視点選択部１２４は、例えば、距離画像ＩｍＸにおける中心軸間の距離Ｄｘ１及びＤｘ２の平均値（又は最大値）と距離画像ＩｍＹにおける中心軸間の距離Ｄｙ１及びＤｙ２の平均値（又は最大値）とを比較する。そして、最適視点選択部１２４は、平均値（又は最大値）が大きくなるのは距離画像ＩｍＸであると判定し、最適視点位置として視点Ｘを選択する。このようにして、図１３に示した例では、位置決定部１２０は、認識済みの対象物体８０によって遮られている領域（未認識の対象物体８０Ｃの一部）の大きさがより大きくなるような距離画像を撮影可能なセンサ１２の位置を、最適視点位置として決定する。

なお、図１３の例では、距離画像における対象物体８０の中心軸の距離が分かればよい。したがって、図１３の例では、距離画像を抽出する際に、対象物体８０の画像が含まれれている必要はなく、それぞれの中心軸が含まれていればよい。

図１４の例では、最適視点選択部１２４は、収納物体９０の配置可能領域のうち、未測定の領域が最も大きく視野範囲１２ａに入るような視点位置を選択する。なお、未測定の領域とは、既に選択された視点位置から測定したときに対象物体８０によって遮られた領域及び視野範囲１２ａの外側であった領域である。図１４は、収納物体９０の棚板９２に対象物体８０Ａ，８０Ｂ，８０Ｃが配置された状態を上方（Ｚ軸正方向）から見た平面図である。そして、対象物体８０Ａ，８０Ｂは認識済みであるとする。

最適視点選択部１２４は、収納物体９０の配置可能領域のうち、未測定の領域を抽出する。具体的には、最適視点選択部１２４は、三次元環境情報、三次元測定データ、及び収納物体情報から、幾何学的に、棚板９２のうち測定されていない領域を抽出する。さらに具体的には、最適視点選択部１２４は、収納物体情報で示される棚板９２の上面の位置データのうち、三次元測定データ（三次元環境情報）で測定済みであると示されていない領域を、未測定の領域として抽出する。

そして、最適視点選択部１２４は、三次元環境情報で示される三次元仮想空間において、視点候補の範囲で仮想的に定めた複数の視点位置から棚板９２を見たときに得られる距離画像を、視点位置ごとに抽出する。そして、最適視点選択部１２４は、それぞれの距離画像において、棚板９２のうち未測定の領域の面積を算出する。最適視点選択部１２４は、その未測定の領域の面積が最も大きくなるような距離画像に対応する視点位置を、最適視点位置として選択する。なお、「未測定の領域の面積」は、実際の面積ではなく、距離画像における面積であってもよい。したがって、「未測定の領域の面積」は、距離画像における未測定の領域に対応する箇所の画素数に対応する。

図１４の例では、最適視点選択部１２４は、矢印Ｙで示す視点位置からセンサ１２が測定を行った場合に未測定であった領域（図１４にハッチングで示す）は、矢印Ｚで示す視点位置からセンサ１２が測定を行った場合に、最も大きく視野範囲１２ａに入ると判定する。したがって、最適視点選択部１２４は、最適視点位置として、矢印Ｚに対応する視点位置を選択する。このようにして、図１４に示した例では、位置決定部１２０は、認識済みの対象物体８０によって遮られている領域の大きさがより大きくなるような距離画像を撮影可能なセンサ１２の位置を、最適視点位置として決定する。

なお、上述した図１２〜図１４に示した例の他に、最適視点選択部１２４は、未認識の対象物体８０の測定された位置データの不連続性により、最適視点位置を決定してもよい。具体的には、最適視点選択部１２４は、未認識の対象物体８０の測定済みの位置データうち、収納物体９０ではなく認識済みの対象物体８０により不連続となった箇所の大きさがより大きく撮影されるようなセンサ１２の位置を、最適視点位置として決定してもよい。ここで、「認識済みの対象物体８０により不連続となった箇所」は、認識済みの対象物体８０によって遮られている領域である。さらに、最適視点選択部１２４は、上述した図１２〜図１４に示した例及び上記の他の例の２つ以上を組み合わせて、最適視点位置を選択する処理を行ってもよい。

センサ制御部１４０は、駆動部１４を制御して、Ｓ１３０の処理によって決定された視点位置に、センサ１２を移動させる（ステップＳ１４０）。そして、センサ制御部１４０は、移動後の視点位置で測定を行うようにセンサ１２を制御して、センサ１２から、三次元測定データ（距離画像）を取得する（Ｓ１００）。そして、物体認識部１１４は、上述した物体認識処理を行う（Ｓ１０２）。最適視点位置で測定することにより、図１等に示した、未認識の対象物体８０（対象物体８０Ｃ）を認識できる可能性が高くなる。

そして、Ｓ１０４の処理がなされた後、探索判定部１２２は、収納物体９０の探索が完了したか否かの判定（Ｓ１１０）、及び、全ての対象物体８０についてラベリングがなされたか否かの判定（Ｓ１１２）を行う。例えば対象物体８０Ｃが認識され、収納物体９０には他に対象物体８０が配置されていないと判定されると（Ｓ１１０のＹＥＳ及びＳ１１２のＹＥＳ）、制御装置１００は、収納物体９０に配置された全ての対象物体８０の検出が完了したとして、認識結果を出力する（Ｓ１１４）。一方、未だ対象物体８０Ｃが認識されなかった場合、又は、収納物体９０に他の対象物体８０が配置されているか否か不明であると判定された場合（Ｓ１１０のＮＯ又はＳ１１２のＮＯ）、制御装置１００の処理はＳ１２０に移行する。

そして、Ｓ１２０の処理において、視点候補が既に算出されているので（Ｓ１２０のＹＥＳ）、最適視点選択部１２４は、視点候補における他の視点位置を検討する（Ｓ１４２〜Ｓ１５０）。具体的には、最適視点選択部１２４は、重複測定を避けるため、現在の視点位置、つまり既に測定がなされた視点位置を、視点候補から除外する（ステップＳ１４２）。このとき、最適視点選択部１２４は、現在の視点位置及びその周囲を、視点候補から除外してもよい。そして、最適視点選択部１２４は、視点候補のうちで、未測定の視点位置があるか否かを判定する（ステップＳ１５０）。具体的には、最適視点選択部１２４は、認識された対象物体８０によって遮られた領域をセンサ１２が測定可能であり且つ未だ測定されていない視点位置（未測定視点位置）があるか否かを判定する。

未測定視点位置（未測定位置）があると判定された場合（Ｓ１５０のＹＥＳ）、最適視点選択部１２４は、Ｓ１３０の処理、つまり最適視点位置の選択を行う。一方、未測定視点位置がないと判定された場合（Ｓ１５０のＮＯ）、最適視点選択部１２４は、これ以上の検出が不可能であると判定する。そして、制御装置１００は、これまでの認識結果を、インタフェース部１０８等に出力する（ステップＳ１１４）。

図１５は、実施の形態１にかかる未測定視点位置があるか否かの判定処理（Ｓ１５０）の一例を示すフローチャートである。また、図１６〜図１８は、図１５で示した処理を説明するための図である。まず、最適視点選択部１２４は、配置可能領域から遮蔽領域を抽出する（ステップＳ１５２）。ここで、遮蔽領域とは、配置可能領域（例えば棚板９２の上面）のうち、測定された領域でもなく、認識済みの対象物体８０の底面に対応すると推測される領域でもない領域である。つまり、遮蔽領域とは、物体（対象物体８０又は収納物体９０）によって遮られたために測定できなかった領域のうち、認識済みの対象物体８０の底面に対応すると推測される領域を除いた領域である。図１６〜図１８において、遮蔽領域９２ｈが、斜線のハッチングで示されている。

次に、最適視点選択部１２４は、遮蔽領域９２ｈの境界から配置可能領域の開口部側のエッジ９２ｆまで、障害物に遮られずに結ぶことが可能な直線を検出する（ステップＳ１５４）。ここで、障害物とは、例えば、配置可能領域（棚板９２）に配置された対象物体８０、及び、壁面９４である。図１６に示す直線Ｌ１及びＬ２は、遮蔽領域９２ｈの境界からエッジ９２ｆまでを、障害物に遮られないで結ぶことができる。一方、図１７に示す直線Ｌ３及びＬ４は、遮蔽領域９２ｈの境界からエッジ９２ｆまでを結ぶ際に、障害物（対象物体８０Ａ又は対象物体８０Ｂ）に遮られて（干渉して）しまう。したがって、直線Ｌ１及びＬ２が検出され、直線Ｌ３及びＬ４は検出されない。また、図１８に示す例では、対象物体８０Ｄ及び対象物体８０Ｅによって、遮蔽領域９２ｈの境界からエッジ９２ｆまで、直線で結ぶことができない。このように、配置可能領域の横方向（及び高さ方向）に対して、予め定められた閾値以上の割合で物体が配置された場合には、遮蔽領域９２ｈは、測定不可能となる。

最適視点選択部１２４は、Ｓ１５４の処理において直線が検出されたか否かを判定する（ステップＳ１５６）。直線が検出された場合（Ｓ１５６のＹＥＳ）、最適視点選択部１２４は、未測定視点位置があると判定する（ステップＳ１５８）。一方、直線が検出されなかった場合（Ｓ１５６のＮＯ）、最適視点選択部１２４は、未測定視点位置がないと判定する（ステップＳ１６０）。図１６に示す例では、直線が検出されたので、未測定視点位置があると判定される。一方、図１８に示す例では、直線が検出されなかったので、未測定視点位置がないと判定される。

なお、図１５〜図１７に示した例は、Ｓ１１０の処理の図５〜図６で示した第１の例に対応する。つまり、図１５〜図１７に示した例は、未測定視点位置の判定を、棚板９２における測定されていない領域があるか否かといった観点で行っている。そして、Ｓ１１０の処理の図７〜図８で示した第２の例に対応する方法であっても、未測定視点位置を判定することができる。この場合、最適視点選択部１２４は、未測定の棚板９２のエッジ９２ｅ（壁面９４に対応）から開口部側のエッジ９２ｆまで、障害物に遮られることなく結ぶことが可能な直線があるか否かを判定してもよい。

以上説明したように、実施の形態１にかかる制御装置１００は、センサ１２を用いて対象物体８０を検出する際に、他の対象物体８０等の障害物によって死角となった領域を測定可能な視点位置を、次に測定する際の最適視点位置と決定する。したがって、センサ１２を用いて対象物体８０を検出する際にセンサ１２を移動させる回数及び時間を削減することができる。したがって、実施の形態１にかかる制御装置１００は、対象物体８０が他の物体によって遮られている場合であっても、効率よく対象物体８０を検出することが可能となる。

（実施の形態２）
次に、実施の形態２について説明する。実施の形態２は、対象物体８０を除去し得る点で、実施の形態１と異なる。

図１９は、実施の形態２にかかる物体検出システム１を示す図である。また、図２０は、実施の形態２にかかる物体検出システム１のハードウェア構成を示すブロック図である。実施の形態２にかかる物体検出システム１は、物体検出装置１０と、制御装置１００とを有する。物体検出装置１０は、センサ１２と、センサ１２を駆動する駆動部１４と、アーム２０とを有する。アーム２０は、例えばロボットアームであり、複数の関節２２と、物体を把持可能なエンドエフェクタ２４とを有する。アーム２０は、制御装置１００による制御によって、対象物体８０を把持することができる。

図２１は、実施の形態２にかかる制御装置１００の構成を示す機能ブロック図である。実施の形態２にかかる制御装置１００は、情報格納部１１２、物体認識部１１４、情報生成部１１６、位置決定部１２０、及び、センサ制御部１４０を有する。さらに、実施の形態２にかかる制御装置１００は、除去判定部２１０と、アーム制御部２２０とを有する。

図２２は、実施の形態２にかかる制御装置１００によって行われる、物体検出方法を示すフローチャートである。なお、図２２において、図４と実質的に同様の処理については、図示が省略されている。未測定視点がない場合（Ｓ１５０のＮＯ）、除去判定部２１０は、どの対象物体８０を除去すれば、未測定領域（遮蔽領域）が最も良好に測定され得るかを判定する（ステップＳ２１０）。具体的には、除去判定部２１０は、認識済みの対象物体８０のうち、除去されたときに測定可能となる領域が最も大きくなる対象物体８０（除去物体）を判定する。具体的な判定方法については後述する。このように、実施の形態２にかかる制御装置１００は、除去物体を判定することができる。これにより、以後の処理において除去物体を除去して未測定領域を測定することができるので、実施の形態２にかかる制御装置１００は、効率的に未測定領域を測定可能とすることが可能となる。

そして、アーム制御部２２０は、Ｓ２１０で判定された除去物体を取り出して収納物体９０以外の場所に移動するように、アーム２０を制御する（ステップＳ２３０）。具体的には、アーム制御部２２０は、三次元環境情報を用いて、除去物体（対象物体８０）の位置を検出する。アーム制御部２２０は、収納物体９０及び他の対象物体８０の位置を抽出し、アーム２０が収納物体９０及び他の対象物体８０に干渉しないような軌道を検出する。そして、アーム制御部２２０は、検出された軌道でアーム２０が動作するように、関節２２を制御する。そして、アーム制御部２２０は、エンドエフェクタ２４が除去物体を把持可能な位置に到達したときに、エンドエフェクタ２４を制御して、除去物体を把持させる。そして、アーム制御部２２０は、除去物体を他の場所に移動するように、アーム２０を制御する。なお、除去物体が除去された結果、探索していた対象物体８０が発見されたときは、アーム制御部２２０は、その対象物体８０を把持して取り出すように、アーム２０を制御してもよい。このように、実施の形態２においては、除去物体を自動的に除去することができる。したがって、未測定領域を効率的に測定することが可能となる。

図２３は、実施の形態２にかかる、除去物体を判定する方法の例を示すフローチャートである。また、図２４〜図２８は、図２３に示す方法を説明するための図である。まず、除去判定部２１０は、認識された対象物体８０のうち、アーム２０を用いて除去可能な候補（除去候補物体）を選択する（ステップＳ２１２）。具体的には、除去判定部２１０は、既に認識できている対象物体８０それぞれについて把持可能なアーム２０の軌道計画を行い、把持して取り去ることができる除去候補物体を選択する。この選択された除去候補物体の個数をｎとする。図２４に示した例では、対象物体８０Ａ，８０Ｂ，８０Ｃが除去候補物体であるとする。つまり、ｎ＝３である。また、対象物体８０Ｘは、未だ認識されていないとする。

次に、除去判定部２１０は、現在のセンサ位置において、除去候補物体ｋそれぞれによって測定不可能な領域（測定不可能領域）ｖ＿ｋ（ｋは１〜ｎの整数）を算出する（ステップＳ２１４）。図２５を用いて説明すると、除去判定部２１０は、除去候補物体である対象物体８０Ａ（ｋ＝１）によって死角となった測定不可能領域８２Ａ（ｖ＿１）を算出する。同様に、除去判定部２１０は、除去候補物体である対象物体８０Ｂ（ｋ＝２）及び対象物体８０Ｃ（ｋ＝３）によって死角となった測定不可能領域８２Ｂ（ｖ＿２）及び測定不可能領域８２Ｃ（ｖ＿３）をそれぞれ算出する。なお、測定不可能領域８２Ｂ，８２Ｃの一部は、互いに重なっている。

次に、除去判定部２１０は、除去候補物体ｋを除去したと仮定したときにｎ−１個の除去候補物体によって測定不可能となる領域（測定不可能領域）Ｖ＿ｋを算出する（ステップＳ２１６）。図２６は、対象物体８０Ａを除去したと仮定したときに対象物体８０Ｂ，８０Ｃによって死角となった測定不可能領域８２Ｂ，８２Ｃを示す。この測定不可能領域８２Ｂ，８２Ｃのいずれかが存在する領域が、対象物体８０Ａ（ｋ＝１）を除去したと仮定したときの測定不可能領域Ｖ＿１である。つまり、測定不可能領域Ｖ＿１は、測定不可能領域８２Ｂ（ｖ＿２）と測定不可能領域８２Ｃ（ｖ＿３）との和集合に対応する。

図２７は、対象物体８０Ｂを除去したと仮定したときに対象物体８０Ａ，８０Ｃによって死角となった測定不可能領域８２Ａ，８２Ｃを示す。この測定不可能領域８２Ａ，８２Ｃのいずれかが存在する領域が、対象物体８０Ｂ（ｋ＝２）を除去したと仮定したときの測定不可能領域Ｖ＿２である。つまり、測定不可能領域Ｖ＿２は、測定不可能領域８２Ａ（ｖ＿１）と測定不可能領域８２Ｃ（ｖ＿３）との和集合に対応する。

図２８は、対象物体８０Ｃを除去したと仮定したときに対象物体８０Ａ，８０Ｂによって死角となった測定不可能領域８２Ａ，８２Ｂを示す。この測定不可能領域８２Ａ，８２Ｂのいずれかが存在する領域が、対象物体８０Ｃ（ｋ＝３）を除去したと仮定したときの測定不可能領域Ｖ＿３である。つまり、測定不可能領域Ｖ＿３は、測定不可能領域８２Ａ（ｖ＿１）と測定不可能領域８２Ｂ（ｖ＿２）との和集合に対応する。

そして、除去判定部２１０は、測定不可能領域Ｖ＿ｋが最も小さくなる除去候補物体ｋを、除去物体と判定する（ステップＳ２１８）。つまり、除去判定部２１０は、測定不可能領域Ｖ＿ｋが最も小さくなったときに除去すると仮定された除去候補物体を、取り去った時に測定可能となる領域が最も大きい対象物体８０と判断する。図２４〜図２８に示した例では、測定不可能領域Ｖ＿１〜Ｖ＿３のうち、図２７に示した測定不可能領域Ｖ＿２が最も小さい。したがって、除去判定部２１０は、対象物体８０Ｂを除去すると判定する。

（変形例）
なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。例えば、図４等に示したフローチャートの各ステップの順序は、適宜変更可能である。また、図４等に示したフローチャートの１つ以上のステップは、なくてもよい。また、上述した実施の形態では、最適視点位置は、三次元環境４における三次元座標及び向き（角度）を示すとしたが、このような構成に限られない。最適視点位置は、三次元環境における三次元座標を示すとしてもよい。

また、上述した実施の形態において、対象物体８０は、棚板９２に配置されているとしたが、このような構成に限られない。例えば、対象物体８０は、壁面９４に設けられたフックに掛けられていてもよい。さらに、対象物体８０は、収納物体９０に配置（収納）される必要はない。対象物体８０は、三次元環境４の床面に配置されてもよい。

また、上述した実施の形態では、センサ１２は距離センサ（三次元センサ）であるとしたが、このような構成に限られない。三次元環境情報を生成可能であれば、センサ１２は、二次元センサであってもよい。しかしながら、距離センサを用いることによって、複雑な画像処理（エッジ検出及びパターンマッチング等）を行うことなく、容易に物体の三次元位置を認識可能である。

また、上述した実施の形態２においては、除去物体であると判定された対象物体８０をアーム２０が除去するとしたが、このような構成に限られない。制御装置１００は、除去物体がどの対象物体８０であるかを、例えばインタフェース部１０８に出力してもよい。そして、ユーザが、そのインタフェース部１０８に出力された対象物体８０を、手で取り出してもよい。

また、上述の例において、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ）を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

１・・・物体検出システム、４・・・三次元環境、１０・・・物体検出装置、１２・・・センサ、１４・・・駆動部、２０・・・アーム、８０・・・対象物体、８０Ａ・・・対象物体、９０・・・収納物体、９２・・・棚板、９４・・・壁面、１００・・・制御装置、１１２・・・情報格納部、１１４・・・物体認識部、１１６・・・情報生成部、１２０・・・位置決定部、１２２・・・探索判定部、１２４・・・最適視点選択部、１４０・・・センサ制御部、２１０・・・除去判定部、２２０・・・アーム制御部

Claims (9)

1. 三次元環境において周囲を測定するセンサを制御して、検出対象である対象物体を検出する制御装置であって、
   前記センサから取得された測定データを用いて、前記三次元環境に存在する前記対象物体を認識する物体認識部と、
   複数の前記測定データを統合することによって、前記三次元環境に存在する物体の各位置を示す三次元環境情報を生成する情報生成部と、
   次に測定を行う際の前記センサの最適位置を決定する位置決定部と、
   前記決定された最適位置に前記センサを移動させるセンサ制御部と
   を有し、
   前記位置決定部は、前記三次元環境情報を用いて、前記物体認識部によって認識された前記対象物体である少なくとも１つの第１の物体によって遮られている領域の大きさがより大きくなるような画像を撮影可能な前記センサの位置を、前記最適位置として決定する
   制御装置。
2. 前記位置決定部は、前記対象物体が配置され得る収納物体の位置及び形状に応じて、前記対象物体が配置され得る領域である配置可能領域を測定可能な前記センサの位置を、前記最適位置の候補として算出し、前記候補から、前記最適位置を選択する
   請求項１に記載の制御装置。
3. 前記位置決定部は、前記候補の位置のうち、前記センサが前記第１の物体によって遮られた領域を測定可能であり且つ未だ測定されていない未測定位置があるか否かを判定し、前記未測定位置があると判定された場合に、前記最適位置を決定する処理を行う
   請求項２に記載の制御装置。
4. 前記未測定位置がないと判定された場合に、前記第１の物体によって遮られた領域が測定され得るように、除去すべき前記第１の物体を判定する除去判定部
   をさらに有する請求項３に記載の制御装置。
5. 前記判定された前記第１の物体を除去するように、アームを制御するアーム制御部
   をさらに有する請求項４に記載の制御装置。
6. 前記位置決定部は、前記三次元環境情報を用いて、前記対象物体が配置され得る領域である配置可能領域の探索が完了したか否かを判定し、探索が完了していないと判定された場合に、前記最適位置を決定する処理を行う
   請求項１〜５のいずれか一項に記載の制御装置。
7. 三次元環境において周囲を測定するセンサと、
   前記センサを制御して、検出対象である対象物体を検出する制御装置と
   を有し、
   前記制御装置は、
   前記センサから取得された測定データを用いて、前記三次元環境に存在する前記対象物体を認識する物体認識部と、
   複数の前記測定データを統合することによって、前記三次元環境に存在する物体の各位置を示す三次元環境情報を生成する情報生成部と、
   次に測定を行う際の前記センサの最適位置を決定する位置決定部と、
   前記決定された最適位置に前記センサを移動させるセンサ制御部と
   を有し、
   前記位置決定部は、前記三次元環境情報を用いて、前記物体認識部によって認識された前記対象物体である少なくとも１つの第１の物体によって遮られている領域の大きさがより大きくなるような画像を撮影可能な前記センサの位置を、前記最適位置として決定する
   物体検出システム。
8. 三次元環境において周囲を測定するセンサを制御して、検出対象である対象物体を検出する物体検出方法であって、
   前記センサから取得された測定データを用いて、前記三次元環境に存在する前記対象物体を認識するステップと、
   複数の前記測定データを統合することによって、前記三次元環境に存在する物体の各位置を示す三次元環境情報を生成するステップと、
   前記三次元環境情報を用いて、前記認識された前記対象物体である少なくとも１つの第１の物体によって遮られている領域の大きさがより大きくなるような画像を撮影可能な前記センサの位置を、次に測定を行う際の前記センサの最適位置として決定するステップと、
   前記決定された最適位置に前記センサを移動させるステップと
   を有する物体検出方法。
9. 三次元環境において周囲を測定するセンサを制御して、検出対象である対象物体を検出する物体検出方法を実行するプログラムであって、
   前記センサから取得された測定データを用いて、前記三次元環境に存在する前記対象物体を認識するステップと、
   複数の前記測定データを統合することによって、前記三次元環境に存在する物体の各位置を示す三次元環境情報を生成するステップと、
   前記三次元環境情報を用いて、前記認識された前記対象物体である少なくとも１つの第１の物体によって遮られている領域の大きさがより大きくなるような画像を撮影可能な前記センサの位置を、次に測定を行う際の前記センサの最適位置として決定するステップと、
   前記決定された最適位置に前記センサを移動させるステップと
   をコンピュータに実行させるプログラム。

Images