JP2024066817A - カメラの校正方法、カメラ校正システム、及び、コンピュータープログラム - Google Patents

Abstract

【課題】校正用治具を用いることなくカメラの校正を行うことのできる技術を提供する。
【解決手段】本開示の校正方法は、カメラで撮影されたロボットの少なくとも一部を含む第１画像を用いて、ロボットに対するカメラの外部パラメーターを求める校正処理を実行する校正工程と、校正処理の実行後に、外部パラメーターの有効性を判定する判定工程と、を含む。判定工程は、（ａ）校正処理の実行後に、ロボットの少なくとも一部を含む第２画像をカメラで撮影する工程と、（ｂ）第１画像と第２画像とを用いて、カメラとロボットの位置関係が変化しているか否か判定し、位置関係の変化の有無に応じて外部パラメーターが無効か有効かを判定する工程と、を含む。
【選択図】図４

Description

本開示は、ロボットに対するカメラの校正方法、カメラ校正システム、及び、コンピュータープログラムに関する。

ロボットの作業でカメラを使用する場合には、予め校正（キャリブレーション）を行うことによって、カメラの校正パラメーターが設定される。校正パラメーターは、レンズの性能やレンズと画素の関係を表す内部パラメーターと、カメラとロボットとの相対位置を表す外部パラメーターとを含む。

特許文献１には、カメラ校正パラメーターを求める方法が開示されている。この従来技術では、まず、対象物に関する６組以上の３次元点と、３次元点それぞれに対応する画像上の２次元点との変換を表す誤差関数を複数の部分問題に分割し、それぞれにおいて最適解候補を算出する。そして、最適解候補を初期値として、誤差関数によって得られる誤差を最小とする最適解を求め、その最適解を最適なカメラ校正パラメーターとして求めている。

国際公開第２０１８－１６８２５５号

しかしながら、上記従来技術では、６組以上の３次元点を持つ対象物を撮影する際に、カメラ視野内のあらかじめ決められた位置に校正用治具を正確に配置する必要がある。この配置条件は、ロボットを対象物とする場合には困難な場合がある。例えば、ロボットが作業を開始した後の場合、ロボットの周囲に校正用治具を配置するスペースを確保しにくい場合があり、ユーザーに作業環境の変更を強いることになる可能性がある。また、ロボットが柵で囲われておらず、人間の隣で作業を行うロボットなど、ロボットの動作範囲が動的に変化する環境では、作業内容が切り替わるたびにカメラの設置位置を変更する必要がある。このため、作業内容が変わる度にユーザーに校正パラメーターを求めるための作業を強いることになる。そこで、特別な校正用治具を用いることなく、カメラの校正処理を容易に行うことのできる技術が望まれる。

また、カメラの校正処理を一度実行した後にカメラとロボットの相対位置が変化すると、校正パラメーターが無効となる。そこで、校正処理の後に校正パラメーターが有効か否かを容易に判定できる技術が望まれる。

本開示は、上述した課題の少なくとも一部を解決するためになされたものである。

本開示の第１の形態によれば、カメラの校正方法が提供される。この校正方法は、前記カメラで撮影されたロボットの少なくとも一部を含む第１画像を用いて、前記ロボットに対する前記カメラの外部パラメーターを求める校正処理を実行する校正工程と、前記校正処理の実行後に、前記外部パラメーターの有効性を判定する判定工程と、を含む。前記判定工程は、（ａ）前記校正処理の実行後に、前記ロボットの少なくとも一部を含む第２画像を前記カメラで撮影する工程と、（ｂ）前記第１画像と前記第２画像とを用いて、前記カメラと前記ロボットの位置関係が変化しているか否か判定し、前記位置関係の変化の有無に応じて前記外部パラメーターが無効か有効かを判定する工程と、を含む。

本開示の第２の形態によれば、カメラ校正システムが提供される。このカメラ校正システムは、ロボットと、前記ロボットを撮影可能に設置されたカメラと、前記カメラで撮影された前記ロボットの少なくとも一部を含む第１画像を用いて、前記ロボットに対する前記カメラの外部パラメーターを求める校正処理を実行する校正実行部と、前記校正処理の実行後に、前記外部パラメーターの有効性を判定する判定部と、を備える。前記判定部は、前記校正処理の実行後に前記カメラで撮影された前記ロボットの少なくとも一部を含む第２画像と、前記第１画像とを用いて、前記カメラと前記ロボットの位置関係が変化しているか否か判定し、前記位置関係の変化の有無に応じて前記外部パラメーターが無効か有効かを判定する判定処理を実行する。

本開示の第３の形態によれば、カメラを校正する処理をプロセッサーに実行させるコンピュータープログラムが提供される。このコンピュータープログラムは、前記カメラで撮影されたロボットの少なくとも一部を含む第１画像を用いて、前記ロボットに対する前記カメラの外部パラメーターを求める校正処理と、前記校正処理の実行後に、前記外部パラメーターの有効性を判定する判定処理と、を前記プロセッサーに実行させる。前記判定処理は、（ａ）前記校正処理の実行後に、前記ロボットの少なくとも一部を含む第２画像を前記カメラで撮影する処理と、（ｂ）前記第１画像と前記第２画像とを用いて、前記カメラと前記ロボットの位置関係が変化しているか否か判定し、前記位置関係の変化の有無に応じて前記外部パラメーターが無効か有効かを判定する処理と、を含む。

本開示の第４の形態によれば、カメラの校正方法が提供される。この校正方法は、前記カメラで撮影されたロボットの少なくとも一部を含む第１画像を用いて、前記ロボットに対する前記カメラの外部パラメーターを求める校正処理を実行する校正工程を含み、前記校正工程は、前記ロボットの位置姿勢を決定可能な特定部分を前記第１画像から認識し、前記特定部分の認識結果から前記外部パラメーターを推定する。

カメラ校正システムの構成を示す説明図。 各種の座標系の関係を示す概念図。 情報処理装置の機能ブロック図。 カメラの校正処理を伴うロボットの作業手順を示すフローチャート。 第１実施形態における校正処理の内容を示す説明図。 第１実施形態におけるカメラ移動判定処理の手順を示すフローチャート。 第１実施形態におけるカメラ移動判定処理の内容を示す説明図。 第２実施形態におけるカメラ移動判定処理の手順を示すフローチャート。 第２実施形態におけるカメラ移動判定処理の内容を示す説明図。 第３実施形態における校正処理の内容を示す説明図。

Ａ．第１実施形態：
図１は、一実施形態におけるカメラ校正システムの一例を示す説明図である。このシステムは、ロボット１００と、ロボット１００を制御するロボットコントローラー２００と、情報処理装置３００と、カメラ４１０，４２０と、作業台５００とを備えるロボットシステムである。情報処理装置３００は、カメラ４１０，４２０の校正パラメーターを決定する校正処理装置としての機能を有しており、例えばパーソナルコンピューターで実現される。

ロボット１００は、非可動部である基台１１０と、可動部であるロボットアーム１２０と、を備えている。ロボットアーム１２０の先端部には、エンドエフェクターとしてのロボットハンド１５０が装着されている。ロボットハンド１５０は、ワークＷＫを把持することが可能なグリッパーや吸着パッドとして実現可能である。ロボットハンド１５０の先端部には、ロボット１００の制御点としてのＴＣＰ(Tool Center Point)が設定されている。なお、制御点ＴＣＰは、任意の位置に設定可能である。

ロボットアーム１２０は、６つの関節Ｊ１～Ｊ６で順次接続されている。これらの関節Ｊ１～Ｊ６のうち、３つの関節Ｊ２，Ｊ３，Ｊ５は曲げ関節であり、他の３つの関節Ｊ１，Ｊ４，Ｊ６はねじり関節である。本実施形態では６軸ロボットを例示しているが、複数の関節を有する任意のロボットアーム機構を有するロボットを用いることが可能である。また、本実施形態のロボット１００は、垂直多関節ロボットであるが、水平多関節ロボットを使用してもよい。

作業台５００には、第１容器５１０と第２容器５２０が設置されている。第１容器５１０には、複数のワークＷＫが収容される。第２容器５２０は、第１容器５１０から取り出されたワークＷＫを載置する場所として使用される。ロボット１００は、第１容器５１０からワークＷＫを取り出して、第２容器５２０に載置する作業を実行する。この際、ワークＷＫは、第２容器５２０内の予め定められた位置に、予め定められた姿勢で載置される。この作業を正確に行うため、カメラ４１０，４２０を用いてワークＷＫの位置姿勢の認識が実行される。なお、第２容器５２０を搬送ベルトで搬送してもよい。或いは、第１容器５１０を省略して、ワークＷＫを搬送ベルトで搬送してもよい。

作業台５００の上方には、ワークＷＫとロボット１００を撮影するカメラ４１０，４２０が設置されている。カメラ４１０，４２０で撮影された画像は、ワークＷＫとロボット１００のそれぞれについて、３次元的な位置及び姿勢を求めるために使用される。本開示では、物体の３次元的な位置及び姿勢を「位置姿勢」と呼ぶ。また、物体の位置姿勢を認識することを、単に「物体認識」と呼ぶ。

本実施形態では、作業中に障害物を回避してロボットアーム１２０を動作させるために、複数のカメラ４１０，４２０を使用する。但し、１台のカメラ４１０のみを用いて作業を行っても良い。複数のカメラを用いて作業を行う場合には、それぞれのカメラについて後述する校正処理が実行される。但し、以下では主として第１のカメラ４１０について校正処理を行う場合について説明する。

カメラ４１０の校正処理では、カメラ４１０で撮影されたロボット１００の少なくとも一部を含む画像を用いて、校正パラメーターが決定される。この際、画像に含まれる非可動部の画像部分が利用される。非可動部としては、例えば以下を利用可能である。
（ａ）ロボット１００の基台１１０
（ｂ）ロボット１００の基台１１０が設置される作業台又は架台
これらの非可動部は、いずれもロボット１００の作業中に移動したり変化したりせず、固定された位置に存在する固定部分である。

本実施形態では、非可動部として、ロボット１００の基台１１０を使用する。従って、カメラ４１０は、ワークＷＫと基台１１０の両方を撮影可能な状態で設置されていることが好ましい。カメラ４１０の校正処理の詳細については後述する。

カメラ４１０としては、例えば、ＲＧＢＤカメラやステレオカメラを用いることが好ましいが、単眼カメラを用いてもよい。ＲＧＢＤカメラは、ＲＧＢ画像を撮影するＲＧＢカメラと、深度画像（Depth image）を撮影するＤカメラと、を有するカメラである。カメラ４２０も同様である。

図２は、以下で説明する座標系の関係を示す概念図である。但し、図２では、ロボット１００は簡略化されている。
（１）ロボット座標系Σｒ
ロボット座標系Σｒは、ロボット１００の予め定められた位置を座標原点とする直交３次元座標系である。本実施形態では、ロボット座標系Σｒの原点Ｏ１は、非可動部である基台１１０の特定位置又は基準位置と一致しているものと仮定する。但し、両者が一致している必要はなく、両者の相対的な位置関係が既知であれば、後述する校正処理によってカメラ４１０の外部パラメーターを決定することが可能である。
（２）カメラ座標系Σｃ
カメラ座標系Σｃは、カメラ４１０の予め定められた位置を座標原点とする直交３次元座標系である。
（３）画素座標系Σｐ
画素座標系Σｐは、カメラ４１０で撮影された画像の直交二次元座標系である。

画素座標系Σｐの画素座標値（ｕ，ｖ）とカメラ座標系Σｃの３次元座標値（Ｘｃ，Ｙｃ，Ｚｃ）は、次式に示すように、カメラ４１０の内部パラメーターを用いて変換可能である。

ここで、Ｋｘ，Ｋｙは歪係数、Ｏｘ，Ｏｙは光学中心、ｆは焦点距離である。

カメラ座標系Σｃの３次元座標値（Ｘｃ，Ｙｃ，Ｚｃ）とロボット座標系Σｒの３次元座標値（Ｘｒ，Ｙｒ，Ｚｒ）は、次式に示すように、カメラ４１０の外部パラメーターで表される同次変換行列^ｒＨ_ｃを用いて変換可能である。

ここで、ｒ_１１～ｒ_３３は回転行列の要素、ｔ_ｘ，ｔ_ｙ，ｔ_ｚは並進ベクトルの要素である。

本実施形態では、カメラ４１０の校正パラメーターのうち、内部パラメーターは予め設定されているものと仮定する。校正処理は、外部パラメーターを決定するために行われる。

図３は、情報処理装置３００の機能を示すブロック図である。情報処理装置３００は、プロセッサー３１０と、メモリー３２０と、インターフェイス回路３３０と、を有している。インターフェイス回路３３０には、入力デバイス３４０と表示デバイス３５０が接続されており、また、ロボットコントローラー２００も接続されている。ロボットコントローラー２００は、カメラ４１０，４２０に接続されており、また、ロボット１００の各関節のモーター電流を測定する電流センサー１６０と、各関節の変位を測定するエンコーダー１７０に接続されている。

プロセッサー３１０は、校正実行部６１０と、判定部６２０と、物体認識部６３０と、経路計画部６４０と、ロボット制御部６５０の機能を有する。校正実行部６１０は、ロボット１００に対するカメラ４１０，４２０の校正処理を実行することによって、カメラ４１０，４２０の外部パラメーターをそれぞれ決定する。判定部６２０は、校正処理の実行後に、外部パラメーターの有効性を判定する判定処理を実行する。物体認識部６３０は、ロボット１００の作業において、カメラ４１０，４２０を用いて撮影された画像を用いて、ワークＷＫや障害物を認識する処理を実行する。経路計画部６４０は、ロボットアーム１２０が障害物やロボット１００自身に衝突しないように移動経路を計算により求めて、ロボット制御部６５０に通知する。移動経路は、ロボットアーム１２０の離散的な姿勢群である。ロボット制御部６５０は、移動経路に従ってロボットアーム１２０を移動させるとともに、ワークＷＫに関する作業をロボット１００に行わせる処理を実行する。これらの各部の機能は、メモリー３２０に格納されたコンピュータープログラムをプロセッサー３１０が実行することによってそれぞれ実現される。但し、各部の機能の一部又は全部をハードウェア回路で実現してもよい。

メモリー３２０には、ロボット属性データＲＤと、ロボット特徴データＣＤと、校正パラメーターＣＰと、ロボット制御プログラムＲＰが格納される。ロボット属性データＲＤは、ロボット１００の機械的構造や可動範囲などの属性を示すデータであり、ロボット１００の外形を表すＣＡＤデータを含んでいる。ロボット特徴データＣＤは、非可動部である基台１１０の特徴を表すデータを含んでいる。校正パラメーターＣＰは、各カメラ４１０，４２０についての内部パラメーターと外部パラメーターとを含んでいる。ロボット制御プログラムＲＰは、ロボット１００を動作させる複数の命令で構成される。

図４は、カメラの校正処理を伴うロボットの作業手順を示すフローチャートである。以下では、主として第１のカメラ４１０について校正処理を行う場合を説明するが、第２のカメラ４２０についても同様に校正処理が行われる。

ステップＳ１１０では、校正実行部６１０が、カメラ４１０を用いてロボット１００の少なくとも一部を含む第１画像を撮影する。この第１画像は、非可動部である基台１１０を少なくとも含む画像である。

ステップＳ１２０では、校正実行部６１０が、ロボット１００のＣＡＤデータを用いて、第１画像から、非可動部である基台１１０を認識する。ステップＳ１３０では、基台１１０が認識されたか否かが判定される。この判定は、例えば、校正実行部６１０による基台１１０の認識結果の信頼度に応じて行うことができる。校正実行部６１０や物体認識部６３０による物体の認識処理は、その認識結果の信頼度（confidence値）も出力されるように構成されていることが好ましい。認識結果の信頼度が閾値よりも低い場合には、物体が認識されないものと判定される。基台１１０がロボットアーム１２０によって隠されて基台１１０の一部が見えていない場合には、基台１１０が認識されないので、ステップＳ１３５に進み、ロボット１００の姿勢を変更して、ステップＳ１１０に戻り、第１画像を再度撮影する。なお、ステップＳ１３５では、ロボットアーム１２０が、予め設定された校正用姿勢を取るようにすることが好ましい。校正用姿勢は、カメラ４１０の視野において、非可動部である基台１１０がロボットアーム１２０によって隠されない姿勢である。校正用姿勢は、個々のカメラ４１０，４２０毎に異なる姿勢としてもよく、或いは、複数のカメラ４１０，４２０に共通する姿勢としても良い。

ステップＳ１４０では、校正実行部６１０が、第１画像を用いてカメラ４１０の外部パラメーターを推定する。外部パラメーターの推定方法としては、例えば以下のような方法が考えられる。

＜外部パラメーターの推定方法Ｍ１＞
（１ａ）非可動部である基台１１０のＣＡＤデータから、基台１１０の複数の基準特徴を予め抽出して保存しておく。「特徴」としては、エッジ等の特定の線分や、特定の点などを用いることができる。
（１ｂ）第１画像から、基台１１０の複数の画像特徴を抽出する。
（１ｃ）複数の基準特徴と複数の画像特徴の関係から、カメラ座標系Σｃにおける基台１１０の位置姿勢を示す６自由度情報を決定する。
（１ｄ）カメラ座標系Σｃにおける基台１１０の位置姿勢から、外部パラメーターを決定する。

上述した処理（１ａ）～（１ｃ）の具体的な方法としては、例えば、特開２０１３－５０９４７号公報や特開平９－１６７２３４号公報に開示された方法を使用可能である。特開２０１３－５０９４７号公報に開示された方法では、まず、物体を含む画像の２値マスクを作成し、２値マスクからシングレットのセットを抽出する。各シングレットは、画像内の物体の内側および外側輪郭内にある点を表す。そして、シングレットのセットを連結し、デュプレックス行列として表されるメッシュにし、候補姿勢のセットを作るべく２つのデュプレックス行列を比較し、物体姿勢推定値によって物体の姿勢を推定する。特開平９－１６７２３４号公報に開示された方法では、物体のＣＡＤ情報から物体を所定方向の直交面に投影して導いたＣＡＤ図形特徴量を算出し、カメラが所定方向から捉えた物体から得られる２次元画像におけるカメラ図形特徴量を算出し、ＣＡＤ図形特徴量とカメラ図形特徴量とを比較して、カメラが捉えた物体の位置姿勢を推定する。

＜外部パラメーターの推定方法Ｍ２＞
（２ａ）第１画像を入力とし、非可動部である基台１１０の位置姿勢を出力とするように構成された機械学習モデルを作成し、学習済みの機械学習モデルを保存しておく。
（２ｂ）基台１１０を含む第１画像を機械学習モデルに入力して、カメラ座標系Σｃにおける基台１１０の位置姿勢を示す６自由度情報を得る。
（２ｄ）カメラ座標系Σｃにおける基台１１０の位置姿勢から、外部パラメーターを決定する。
機械学習モデルとしては、例えば畳み込みニューラルネットワークを使用できる。また、機械学習モデルは、第１画像を入力とし、外部パラメーターを出力とするように構成してもよい。

上述した処理（１ａ）～（１ｃ）や処理（２ａ）～（２ｂ）は、物体認識部６３０による物体認識にも利用可能である。

図５は、第１実施形態における校正処理の内容を示す説明図である。ここでは、上述した第１の推定方法Ｍ１を使用している。校正実行部６１０は、まず、カメラ４１０で撮影された第１画像ＩＭ１を用いて、基台１１０に関する画像特徴ＣＲを抽出する。図５の右下には、第１画像ＩＭ１の中で抽出された画像特徴ＣＲが実線で描かれており、他の外形は点線で描かれている。基台１１０に関する画像特徴ＣＲは、例えば、第１画像ＩＭ１のエッジ等を抽出して多数の画像特徴を作成し、それらの画像特徴の中から、ロボット１００のＣＡＤデータで表される基台１１０の外形に一致するものを選択することによって得ることができる。校正実行部６１０は、基台１１０に関する画像特徴ＣＲと、予め設定されている基準特徴との関係から、基台１１０の位置姿勢の６自由度情報を推定し、基台１１０の位置姿勢からカメラ４１０の外部パラメーターを決定する。基準特徴は、図３に示したロボット特徴データＣＤとして予め準備されている。

基台１１０の位置姿勢は、ロボット座標系Σｒの座標をカメラ座標系Σｃの座標に変換する同次変換行列^ｃＨ_ｒとして表現することができる。図５の下部に示す第１画像ＩＭ１には、次式に示す同次変換行列^ｃＨ_ｒの例が表示されている。

ここで、Ｒは回転行列、ｔは並進ベクトルである。

並進ベクトルｔ＝[-548.5, 94.4, 1289.1]^Ｔは、カメラ座標系Σｃで見た基台１１０の特定位置、即ちロボット座標系Σｒの原点位置Ｏ１、の座標を表している。また、回転行列Ｒの３つの列成分は、カメラ座標系Σｃで見たロボット座標系Σｒの３つの基底ベクトルの成分に等しい。

この同次変換行列^ｃＨ_ｒは、外部パラメーターとしての同次変換行列^ｒＨ_ｃの逆行列であり、次式に示すように両者は容易に変換可能である。

ここで、Ｒ^Ｔは回転行列Ｒの転置行列である。一般に、回転行列Ｒの逆行列Ｒ^－１は、転置行列Ｒ^Ｔに等しい。

このように、校正実行部６１０は、ロボット１００の根元に近い非可動部である基台１１０をカメラ４１０で撮影し、基台１１０の位置姿勢を認識することによって、カメラ座標系Σｃにおけるロボット１００の設置位置と設置方向を求めることができる。また、この認識結果を用いてカメラ４１０の外部パラメーターを推定することが可能である。

複数のカメラ４１０，４２０について校正処理を行う場合には、個々のカメラについてステップＳ１１０～Ｓ１４０が実行される。なお、ステップＳ１１０，Ｓ１２０，Ｓ１３０，Ｓ１３５の処理は、複数のカメラのすべてについて非可動部である基台１１０を正しく認識できるまで繰り返し実行するようにしてもよい。

校正実行部６１０は、更に、複数のタイミングにおいて非可動部を同一のカメラで撮影することによって、複数の第１画像ＩＭ１を取得し、これらの複数の第１画像ＩＭ１から推定される複数の外部パラメーターの平均を用いて、そのカメラの外部パラメーターを決定するようにしてもよい。こうすれば、外部パラメーターをより正確に決定できる。

カメラ４１０の校正処理が終了すると、図４のステップＳ１５０に進み、ロボット制御部６５０が、ロボット１００を用いた作業を開始する。ステップＳ１５０では、ロボット制御部６５０が、作業命令を１つ選択して実行する。この際、物体認識部６３０によってワークＷＫや障害物の認識が行われる。経路計画部６４０は、物体認識部６３０の認識結果を用いて、障害物を避けながらワークＷＫの移動作業を行うように経路計画を作成する。ステップＳ１６０では、ロボット制御部６５０が、残りの作業命令があるか否かを判定する。残りの作業命令がある場合には、ステップＳ１７０に進む。

ステップＳ１７０では、判定部６２０が、カメラ４１０の移動判定処理を実行する。この移動判定処理では、カメラ４１０の校正処理の実行後に同じカメラ４１０で撮影されたロボット１００の第２画像と、前述した第１画像ＩＭ１とを用いて、カメラ４１０とロボット１００の位置関係が変化しているか否が判定される。そして、位置関係の変化の有無に応じてカメラ４１０の外部パラメーターが無効か有効かが判定される。なお、カメラの移動判定処理は、１つの作業命令が完了する度に行う必要はなく、一定時間毎に定期的に実行するようにしてもよい。

図６は、第１実施形態におけるカメラの移動判定処理の処理手順を示すフローチャートであり、図７は、その処理内容を示す説明図である。ステップＳ２１０では、判定部６２０が、カメラ４１０を用いてロボット１００の第２画像ＩＭ２を撮影する。カメラ４１０がロボット１００に対して移動していなければ、第２画像ＩＭ２における基台１１０の位置姿勢が、第１画像ＩＭ１におけるものと同じはずである。

ステップＳ２２０では、第１画像ＩＭ１と第２画像ＩＭ２のそれぞれを用いて、ロボット１００の領域を示す第１マスクＭＫ１と第２マスクＭＫ２を作成する。図７に示すように、第１マスクＭＫ１は、ロボット１００の領域を示すマスク領域ＭＡ１と、ワークＷＫなどの移動許容物体の領域を表すマスク領域ＭＢ１とを含む。マスク領域ＭＢ１は、移動許容物体が存在する範囲を示す矩形状の形状を有している。「移動許容物体」とは、ロボット１００の作業中に移動することが許容される物体を意味している。移動許容物体としては、少なくともワークＷＫを含むものを使用可能である。また、ワークＷＫの容器やトレイ、搬送ベルトなどのように、作業中に移動することが許容される他の物体を移動許容物体として使用してもよい。第２マスクＭＫ２も同様に、ロボット１００の領域を示すマスク領域ＭＡ２と、移動許容物体の領域を表すマスク領域ＭＢ２とを含む。但し、移動許容物体の領域を示すマスク領域ＭＢ１，ＭＢ２は省略してもよい。いずれもの場合にも、第１マスクＭＫ１は、第１画像ＩＭ１に含まれるロボット１００の領域を包含するマスク領域を示すように作成される。第２マスクＭＫ２も同様に、第２画像ＩＭ２に含まれるロボット１００の領域を包含するマスク領域を示すように作成される。

マスク領域ＭＡ１，ＭＡ２，ＭＢ１，ＭＢ２の画素に対しては、画素値１が割り当てられ、他の領域の画素に対して画素値０が割り当てられる。通常は、第１画像ＩＭ１と第２画像ＩＭ２ではロボットアーム１２０の姿勢が異なるので、ロボット１００のマスク領域ＭＡ１，ＭＡ２は互いに異なる。なお、個々の画像ＩＭ１，ＩＭ２におけるロボット１００のマスク領域ＭＡ１，ＭＡ２は、ロボット１００の外形を表すＣＡＤデータと、ロボットアーム１２０の姿勢と、カメラ４１０の外部パラメーターとを用いて算出可能である。移動許容物体の領域を示すマスク領域ＭＢ１，ＭＢ２もほぼ同様である。或いは、セマティックセグメンテーションを用いて個々の画像ＩＭ１，ＩＭ２の画像領域を異なる複数の物体の領域にそれぞれ分離し、その結果を用いてマスク領域ＭＡ１，ＭＡ２，ＭＢ１，ＭＢ２を決定するようにしてもよい。なお、第１マスクＭＫ１は、ステップＳ２２０に先立って、図４のステップＳ１１０の後に作成しておいてもよい。

ステップＳ２３０では、判定部６２０が、第１マスクＭＫ１と第２マスクＭＫ２の論理和を取ることによって判定用マスクＪＭＫを作成する。判定用マスクＪＭＫにおいて、ロボット１００に関するマスク領域ＪＭＡは、２つのマスク領域ＭＡ１，ＭＡ２の和領域である。移動許容物体に関するマスク領域ＪＭＢも、２つのマスク領域ＭＢ１，ＭＢ２の和領域である。ステップＳ２４０では、判定部６２０が、第１画像ＩＭ１から判定用マスクＪＭＫのマスク領域ＪＭＡ，ＪＭＢを除外した第１判定用画像ＪＭ１と、第２画像ＩＭ２から判定用マスクＪＭＫのマスク領域ＪＭＡ，ＪＭＢを除外した第２判定用画像ＪＭ２と、を作成する。第１判定用画像ＪＭ１は、第１画像ＩＭ１のうち、マスク領域ＪＭＡ，ＪＭＢの画素値を０とした画像である。第２判定用画像ＪＭ２も同様である。

ステップＳ２５０、Ｓ２６０では、判定部６２０が、第１判定用画像ＪＭ１と第２判定用画像ＪＭ２における画素値の変化に応じて、カメラ４１０とロボット１００の位置関係が変化しているか否かを判定する。具体的には、ステップＳ２５０では、第１判定用画像ＪＭ１と第２判定用画像ＪＭ２における画素値変化の指標値δＰが算出される。画素値変化の指標値δＰとしては、例えば以下のいずれかを使用可能である。
（１）第１判定用画像ＪＭ１の画素値Ｐ１と、第２判定用画像ＪＭ２の対応する画素位置の画素値Ｐ２の差分の絶対値｜Ｐ１－Ｐ２｜の平均値。この平均値は、マスク領域以外の領域について算出することが好ましい。
（２）上記絶対値｜Ｐ１－Ｐ２｜の合計値。
（３）第１判定用画像ＪＭ１と第２判定用画像ＪＭ２のコサイン類似度を１から減算した値。コサイン類似度も、マスク領域以外の領域について算出することが好ましい。

ステップＳ２６０では、判定部６２０が、画素値変化の指標値δＰが予め設定された閾値以上であるか否かを判定する。画素値変化の指標値δＰが閾値以上であれば、ステップＳ２７０においてカメラ４１０が移動してものと判定される。一方、画素値変化の指標値δＰが閾値未満であれば、ステップＳ２８０においてカメラ４１０が移動していないものと判定される。

上述した移動判定処理によれば、第１画像ＩＭ１と第２画像ＩＭ２の背景領域における画素値の変化から、カメラ４１０とロボット１００の位置関係が変化しているか否かを判定できる。なお、複数のカメラを用いる場合には、個々のカメラについて図６の処理を実行することが好ましい。

移動判定処理が終了すると、図４のステップＳ１８０において、カメラの移動があったか否かが判断される。カメラの移動がなければ、カメラの校正パラメーターが有効なので、ステップＳ１５０に戻り、上述したステップＳ１５０以降の処理が再度実行される。一方、カメラの移動があった場合には、外部パラメーターが無効なので、ステップＳ１１０に戻り、ステップＳ１１０～Ｓ１４０に従って外部パラメーターが新たに推定される。この際、ステップＳ１１０～Ｓ１４０に従って外部パラメーターが再度推定されるまでの間は、ロボット１００を停止させておくことが好ましい。

以上のように、第１実施形態では、第１画像に含まれる非可動部の認識結果を用いてカメラの校正処理を行うので、校正用治具を用いることなく、第１画像からカメラの外部パラメーターを求めることができる。また、校正処理の実行後に同じカメラで撮影された第２画像を用いて、校正パラメーターが有効か否かを判定できる。

なお、ステップＳ１７０におけるカメラの移動判定処理は省略してもよい。この場合にも、校正用治具を用いることなく、ロボット１００の少なくとも一部を含む第１画像からカメラの外部パラメーターを求めることができる。

Ｂ．第２実施形態：
図８は、第２実施形態におけるカメラの移動判定処理の処理手順を示すフローチャートであり、図９は、その処理内容を示す説明図である。第２実施形態が第１実施形態と異なる点は、カメラの移動判定処理だけであり、システムの構成や図４の処理手順は第１実施形態と同じである。また、図８の処理手順は、図６の２つのステップＳ２２０，Ｓ２３０をステップＳ２３５に置き換えたものであり、他のステップは図６と同じである。

ステップＳ２３５では、判定部６２０が、第１画像ＩＭ１を用いて、ロボット１００の可動領域を包含する判定用マスクＪＭＫ’を作成する。図９に示すように、この判定用マスクＪＭＫ’は、ロボット１００に関するマスク領域ＪＭＡ’と、移動許容物体に関するマスク領域ＪＭＢ’とを含む。ロボット１００に関するマスク領域ＪＭＡ’は、第１画像ＩＭ１に含まれるロボット１００の領域の他に、ロボットアーム１２０の可動領域を含むように形成されている。移動許容物体に関するマスク領域ＪＭＢ’も同様に、移動許容物体が移動し得る領域を含むように形成されている。但し、マスク領域ＪＭＢ’は省略可能である。ロボットアーム１２０の可動領域は、ロボット属性データＲＤに記述されている。ロボットアーム１２０の可動領域は、任意のタイミングにおけるロボットアーム１２０の領域を包含しているので、第２画像ＩＭ２におけるロボット１００の領域も、このマスク領域ＪＭＡ’に含まれている。従って、第２画像ＩＭ２を用いることなく、第１画像ＩＭ１から判定用マスクＪＭＫ’を作成することができる。

第２実施形態も、第１実施形態とほぼ同様の効果を奏することができる。第２実施形態では、第２画像ＩＭ２を用いることなく第１画像ＩＭ１から判定用マスクＪＭＫ’を作成できるので、判定用マスクの作成処理を第１実施形態に比べて簡略化できるという利点がある。一方、第１実施形態の判定用画像ＪＭ１，ＪＭ２の背景領域は、第２実施形態の判定用画像ＪＭ１’，ＪＭ２’の背景領域よりも大きいので、第１実施形態の方がカメラの移動判定処理の精度が高いという利点がある。

Ｃ．第３実施形態：
図１０は、第３実施形態における校正処理の内容を示す説明図である。第３実施形態が第１実施形態や第２実施形態と異なる点は、カメラの校正処理の内容だけであり、システムの構成や処理手順は第１実施形態又は第２実施形態と同じである。

上述した第１実施形態では、ロボット１００の根元に近い非可動部の位置姿勢のみを用いてカメラの外部パラメーターを推定していたが、第３実施形態では、図１０に示すように、ロボット１００の非可動部である基台１１０に加えて、ロボット１００のアーム部分１３０も同時に認識し、ロボット１００の基台１１０の特定位置Ｏ１とアーム部分１３０の特定位置Ｏ２とを用いて外部パラメーターを推定する。

第１実施形態で説明した上記（４）式の成分の中で、同次変換行列^ｃＨ_ｒの並進ベクトルｔは、図５で説明したように、カメラ座標系Σｃにおける基台１１０の特定位置Ｏ１の座標で表される。

外部パラメーターの回転行列については、以下に説明するように、非可動部である基台１１０の特定位置Ｏ１と、アーム部分１３０の特定位置Ｏ２とを用いて推定することができる。アーム部分１３０としては、ロボットアーム１２０の先端に近い手先部分を使用することが好ましい。こうすれば、回転行列の推定精度を高めることができる。また、アーム部分１３０の特定位置Ｏ２は、アーム部分１３０に含まれる関節の中心位置とすることが好ましい。こうすれば、ロボット１００の関節角度とリンク長さから、ロボット座標系Σｒにおけるアーム部分１３０の特定位置Ｏ２を容易に算出できる。

第３実施形態の校正処理において、校正実行部６１０は、まず、第１画像ＩＭ１に含まれる基台１１０の特定位置Ｏ１とアーム部分１３０の特定位置Ｏ２を、カメラ座標系Σｃで認識する。カメラ座標系Σｃにおける基台１１０の特定位置Ｏ１の座標は、上述した（３）式及び（４）式における同次変換行列^ｃＨ_ｒの並進ベクトルｔに相当する。

校正実行部６１０は、更に、２つの特定位置Ｏ１，Ｏ２を、ロボット座標系Σｒで算出する。ロボット座標系Σｒにおける特定位置Ｏ１，Ｏ２の座標は、ロボット１００の関節角度とリンク長から算出できる。

校正実行部６１０は、カメラ座標系Σｃにおいて２つの特定位置Ｏ１，Ｏ２を結ぶ第１ベクトルＶ１を作成し、また、ロボット座標系Σｒにおいて２つの特定位置Ｏ１，Ｏ２を結ぶ第２ベクトルＶ２を作成する。更に、校正実行部６１０は、カメラ座標系Σｃにおける第１ベクトルＶ１を、ロボット座標系Σｒにおける第２ベクトルＶ２に回転する３×３回転行列を求める。この回転行列は、上述した（４）式における回転行列Ｒ^Ｔに相当する。

校正実行部６１０は、こうして得られた並進ベクトルｔと回転行列Ｒ^Ｔを用いて、外部パラメーターを算出することができる。すなわち、外部パラメーターとしての同次変換行列^ｒＨ_ｃの回転行列はＲ^Ｔに等しく、同次変換行列^ｒＨ_ｃの並進ベクトルは上記（４）式に従って－Ｒ^Ｔ・ｔとして算出できる。

以上のように、第３実施形態では、非可動部である基台１１０の特定位置Ｏ１とアーム部分１３０の特定位置Ｏ２との関係を利用することによって、より精度の高い外部パラメーターを求めることができる。

・他の形態：
本開示は、上述した実施形態に限られるものではなく、その趣旨を逸脱しない範囲において種々の形態で実現することができる。例えば、本開示は、以下の形態（aspect）によっても実現可能である。以下に記載した各形態中の技術的特徴に対応する上記実施形態中の技術的特徴は、本開示の課題の一部又は全部を解決するために、あるいは、本開示の効果の一部又は全部を達成するために、適宜、差し替えや、組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。

（１）本開示の第１の形態によれば、カメラの校正方法が提供される。この校正方法は、前記カメラで撮影されたロボットの少なくとも一部を含む第１画像を用いて、前記ロボットに対する前記カメラの外部パラメーターを求める校正処理を実行する校正工程と、前記校正処理の実行後に、前記外部パラメーターの有効性を判定する判定工程と、を含む。前記判定工程は、（ａ）前記校正処理の実行後に、前記ロボットの少なくとも一部を含む第２画像を前記カメラで撮影する工程と、（ｂ）前記第１画像と前記第２画像とを用いて、前記カメラと前記ロボットの位置関係が変化しているか否か判定し、前記位置関係の変化の有無に応じて前記外部パラメーターが無効か有効かを判定する工程と、を含む。
この方法によれば、校正用治具を用いることなく、ロボットの少なくとも一部を含む第１画像からカメラの外部パラメーターを求めることができる。また、校正処理の実行後に同じカメラで撮影された第２画像を用いて、校正パラメーターが有効か否かを容易に判定できる。

（２）上記校正方法において、前記工程（ｂ）は、（ｂ１）前記第１画像における前記ロボットの領域と前記第２画像における前記ロボットの領域とを包含するマスク領域を示す判定用マスクを作成する工程と、（ｂ２）前記第１画像から前記マスク領域を除外した第１判定用画像と、前記第２画像から前記マスク領域を除外した第２判定用画像と、を作成する工程と、（ｂ３）前記第１判定用画像と前記第２判定用画像における画素値の変化に応じて、前記カメラと前記ロボットの前記位置関係が変化しているか否かを判定する工程と、を含むものとしてもよい。
この校正方法によれば、第１画像と第２画像の背景領域における画素値の変化から、カメラとロボットの位置関係が変化しているか否かを判定できる。

（３）上記校正方法において、前記工程（ｂ１）は、前記第１画像における前記ロボットの領域を包含する第１マスク領域を示す第１マスクを作成する工程と、前記第２画像における前記ロボットの領域を包含する第２マスク領域を示す第２マスクを作成する工程と、前記第１マスクと前記第２マスクの和を取ることによって前記判定用マスクを作成する工程と、を含むものとしてもよい。
この校正方法によれば、判定用マスクを容易に作成できる。

（４）上記校正方法において、前記工程（ｂ１）は、前記第１画像における前記ロボットの領域を認識し、前記判定用マスクの前記マスク領域が、前記第１画像に含まれる前記ロボットの領域と、ロボットアームの可動領域とを含むように前記判定用マスクを作成する工程と、を含むものとしてもよい。
この校正方法によれば、判定用マスクを容易に作成できる。

（５）上記校正方法において、前記判定用マスクの前記マスク領域は、前記ロボットの領域と、ワークを含む移動許容物体の領域とを包含するように形成されるものとしてもよい。
この校正方法によれば、カメラとロボットの位置関係が変化しているか否かをより精度良く判定できる。

（６）上記校正方法において、前記校正工程は、前記ロボットの位置姿勢を決定可能な特定部分を前記第１画像から認識し、前記特定部分の認識結果から前記外部パラメーターを推定するものとしてもよい。
この校正方法によれば、第１画像に含まれる特定部分の認識結果からカメラの外部パラメーターを求めることができる。

（７）上記校正方法において、前記特定部分は、前記ロボットの根元近くに存在する非可動部であり、前記校正工程は、前記第１画像に含まれる前記非可動部の位置姿勢を前記カメラのカメラ座標系で認識する工程と、前記非可動部の前記位置姿勢から前記外部パラメーターを推定する工程と、を含むものとしてもよい。
この校正方法によれば、非可動部の位置姿勢からカメラの外部パラメーターを求めることができる。

（８）上記校正方法において、前記特定部分は、前記ロボットの根元近くに存在する非可動部と、前記ロボットのアーム部分とを含み、前記校正工程は、前記第１画像に含まれる前記非可動部の第１特定位置と前記アーム部分の第２特定位置を、前記カメラのカメラ座標系で認識する工程と、前記第１特定位置と前記第２特定位置を、前記ロボットのロボット座標系で算出する工程と、前記カメラ座標系において前記第１特定位置と前記第２特定位置を結ぶ第１ベクトルと、前記ロボット座標系において前記第１特定位置と前記第２特定位置を結ぶ第２ベクトルと、を作成し、前記第１ベクトルを前記第２ベクトルに回転させる回転行列を求める工程と、前記カメラ座標系における前記非可動部の前記第１特定位置と、前記回転行列とを用いて前記外部パラメーターを算出する工程と、を含むものとしてもよい。
この校正方法によれば、非可動部とアーム部分の特定位置からカメラの外部パラメーターを求めることができる。

（９）上記校正方法において、前記非可動部は、前記ロボットの基台であるものとしてもよい。
この校正方法によれば、ロボットの基台の特定位置や位置姿勢からカメラの外部パラメーターを求めることができる。

（１０）上記校正方法において、前記校正工程は、複数のタイミングにおいて前記カメラの撮影を実行することによって、複数の前記第１画像を取得する工程と、前記複数の第１画像から推定される複数の前記外部パラメーターの平均を用いて、前記カメラの前記外部パラメーターを決定する工程と、を含むものとしてもよい。
この校正方法によれば、カメラの外部パラメーターの精度を高めることができる。

（１１）本開示の第２の形態によれば、カメラ校正システムが提供される。このカメラ校正システムは、ロボットと、前記ロボットを撮影可能に設置されたカメラと、前記カメラで撮影された前記ロボットの少なくとも一部を含む第１画像を用いて、前記ロボットに対する前記カメラの外部パラメーターを求める校正処理を実行する校正実行部と、前記校正処理の実行後に、前記外部パラメーターの有効性を判定する判定部と、を備える。前記判定部は、前記校正処理の実行後に前記カメラで撮影された前記ロボットの少なくとも一部を含む第２画像と、前記第１画像とを用いて、前記カメラと前記ロボットの位置関係が変化しているか否か判定し、前記位置関係の変化の有無に応じて前記外部パラメーターが無効か有効かを判定する判定処理を実行する。

（１２）本開示の第３の形態によれば、カメラを校正する処理をプロセッサーに実行させるコンピュータープログラムが提供される。このコンピュータープログラムは、前記カメラで撮影されたロボットの少なくとも一部を含む第１画像を用いて、前記ロボットに対する前記カメラの外部パラメーターを求める校正処理と、前記校正処理の実行後に、前記外部パラメーターの有効性を判定する判定処理と、を前記プロセッサーに実行させる。前記判定処理は、（ａ）前記校正処理の実行後に、前記ロボットの少なくとも一部を含む第２画像を前記カメラで撮影する処理と、（ｂ）前記第１画像と前記第２画像とを用いて、前記カメラと前記ロボットの位置関係が変化しているか否か判定し、前記位置関係の変化の有無に応じて前記外部パラメーターが無効か有効かを判定する処理と、を含む。

（１３）本開示の第４の形態によれば、カメラの校正方法が提供される。この校正方法は、前記カメラで撮影されたロボットの少なくとも一部を含む第１画像を用いて、前記ロボットに対する前記カメラの外部パラメーターを求める校正処理を実行する校正工程を含み、前記校正工程は、前記ロボットの位置姿勢を決定可能な特定部分を前記第１画像から認識し、前記特定部分の認識結果から前記外部パラメーターを推定する。
この校正方法によれば、校正用治具を用いることなく、ロボットの少なくとも一部を含む第１画像からカメラの外部パラメーターを求めることができる。

（１４）上記校正方法において、前記特定部分は、前記ロボットの根元近くに存在する非可動部としてもよい。前記校正工程は、前記第１画像に含まれる前記非可動部の位置姿勢を前記カメラのカメラ座標系で認識する工程と、前記非可動部の前記位置姿勢から前記外部パラメーターを推定する工程と、を含むものとしてもよい。
この校正方法によれば、非可動部の位置姿勢からカメラの外部パラメーターを求めることができる。

（１５）上記校正方法において、前記特定部分は、前記ロボットの根元近くに存在する非可動部と、前記ロボットのアーム部分とを含むものとしてもよい。前記校正工程は、前記第１画像に含まれる前記非可動部の第１特定位置と前記アーム部分の第２特定位置を、前記カメラのカメラ座標系で認識する工程と、前記第１特定位置と前記第２特定位置を、前記ロボットのロボット座標系で算出する工程と、前記カメラ座標系において前記第１特定位置と前記第２特定位置を結ぶ第１ベクトルと、前記ロボット座標系において前記第１特定位置と前記第２特定位置を結ぶ第２ベクトルと、を作成し、前記第１ベクトルを前記第２ベクトルに回転させる回転行列を求める工程と、前記カメラ座標系における前記非可動部の前記第１特定位置と、前記回転行列とを用いて前記外部パラメーターを算出する工程と、を含むものとしてもよい。
この校正方法によれば、非可動部とアーム部分の特定位置からカメラの外部パラメーターを求めることができる。

本開示は、上記以外の種々の形態で実現することも可能である。例えば、ロボットとロボット情報処理装置とを備えたロボットシステム、ロボット情報処理装置の機能を実現するためのコンピュータープログラム、そのコンピュータープログラムを記録した一時的でない記録媒体（non-transitory storage medium）等の形態で実現することができる。

１００…ロボット、１１０…基台、１２０…ロボットアーム、１３０…アーム部分、１５０…ロボットハンド、１６０…電流センサー、１７０…エンコーダー、２００…ロボットコントローラー、３００…情報処理装置、３１０…プロセッサー、３２０…メモリー、３３０…インターフェイス回路、３４０…入力デバイス、３５０…表示デバイス、４１０…カメラ、４２０…カメラ、５００…作業台、５１０…第１容器、５２０…第２容器、６１０…校正実行部、６２０…判定部、６３０…物体認識部、６４０…経路計画部、６５０…ロボット制御部

Claims (15)

1. カメラの校正方法であって、
   前記カメラで撮影されたロボットの少なくとも一部を含む第１画像を用いて、前記ロボットに対する前記カメラの外部パラメーターを求める校正処理を実行する校正工程と、
   前記校正処理の実行後に、前記外部パラメーターの有効性を判定する判定工程と、
   を含み、
   前記判定工程は、
   （ａ）前記校正処理の実行後に、前記ロボットの少なくとも一部を含む第２画像を前記カメラで撮影する工程と、
   （ｂ）前記第１画像と前記第２画像とを用いて、前記カメラと前記ロボットの位置関係が変化しているか否か判定し、前記位置関係の変化の有無に応じて前記外部パラメーターが無効か有効かを判定する工程と、
   を含む校正方法。
2. 請求項１に記載の校正方法であって、
   前記工程（ｂ）は、
   （ｂ１）前記第１画像における前記ロボットの領域と前記第２画像における前記ロボットの領域とを包含するマスク領域を示す判定用マスクを作成する工程と、
   （ｂ２）前記第１画像から前記マスク領域を除外した第１判定用画像と、前記第２画像から前記マスク領域を除外した第２判定用画像と、を作成する工程と、
   （ｂ３）前記第１判定用画像と前記第２判定用画像における画素値の変化に応じて、前記カメラと前記ロボットの前記位置関係が変化しているか否かを判定する工程と、
   を含む、校正方法。
3. 請求項２に記載の校正方法であって、
   前記工程（ｂ１）は、
   前記第１画像における前記ロボットの領域を包含する第１マスク領域を示す第１マスクを作成する工程と、
   前記第２画像における前記ロボットの領域を包含する第２マスク領域を示す第２マスクを作成する工程と、
   前記第１マスクと前記第２マスクの和を取ることによって前記判定用マスクを作成する工程と、
   を含む、校正方法。
4. 請求項２に記載の校正方法であって、
   前記工程（ｂ１）は、
   前記第１画像における前記ロボットの領域を認識し、前記判定用マスクの前記マスク領域が、前記第１画像に含まれる前記ロボットの領域と、ロボットアームの可動領域とを含むように前記判定用マスクを作成する工程を含む、校正方法。
5. 請求項２～４のいずれか一項に記載の校正方法であって、
   前記判定用マスクの前記マスク領域は、前記ロボットの領域と、ワークを含む移動許容物体の領域とを包含するように形成される、校正方法。
6. 請求項１に記載の校正方法であって、
   前記校正工程は、前記ロボットの位置姿勢を決定可能な特定部分を前記第１画像から認識し、前記特定部分の認識結果から前記外部パラメーターを推定する、校正方法。
7. 請求項６に記載の校正方法であって、
   前記特定部分は、前記ロボットの根元近くに存在する非可動部であり、
   前記校正工程は、
   前記第１画像に含まれる前記非可動部の位置姿勢を前記カメラのカメラ座標系で認識する工程と、
   前記非可動部の前記位置姿勢から前記外部パラメーターを推定する工程と、
   を含む校正方法。
8. 請求項６に記載の校正方法であって、
   前記特定部分は、前記ロボットの根元近くに存在する非可動部と、前記ロボットのアーム部分とを含み、
   前記校正工程は、
   前記第１画像に含まれる前記非可動部の第１特定位置と前記アーム部分の第２特定位置を、前記カメラのカメラ座標系で認識する工程と、
   前記第１特定位置と前記第２特定位置を、前記ロボットのロボット座標系で算出する工程と、
   前記カメラ座標系において前記第１特定位置と前記第２特定位置を結ぶ第１ベクトルと、前記ロボット座標系において前記第１特定位置と前記第２特定位置を結ぶ第２ベクトルと、を作成し、前記第１ベクトルを前記第２ベクトルに回転させる回転行列を求める工程と、
   前記カメラ座標系における前記非可動部の前記第１特定位置と、前記回転行列とを用いて前記外部パラメーターを算出する工程と、
   を含む校正方法。
9. 請求項７又は８に記載の校正方法であって、
   前記非可動部は、前記ロボットの基台である、
   校正方法。
10. 請求項１に記載の校正方法であって、
    前記校正工程は、
    複数のタイミングにおいて前記カメラの撮影を実行することによって、複数の前記第１画像を取得する工程と、
    前記複数の第１画像から推定される複数の前記外部パラメーターの平均を用いて、前記カメラの前記外部パラメーターを決定する工程と、
    を含む校正方法。
11. カメラ校正システムであって、
    ロボットと、
    前記ロボットを撮影可能に設置されたカメラと、
    前記カメラで撮影された前記ロボットの少なくとも一部を含む第１画像を用いて、前記ロボットに対する前記カメラの外部パラメーターを求める校正処理を実行する校正実行部と、
    前記校正処理の実行後に、前記外部パラメーターの有効性を判定する判定部と、
    を備え、
    前記判定部は、前記校正処理の実行後に前記カメラで撮影された前記ロボットの少なくとも一部を含む第２画像と、前記第１画像とを用いて、前記カメラと前記ロボットの位置関係が変化しているか否か判定し、前記位置関係の変化の有無に応じて前記外部パラメーターが無効か有効かを判定する判定処理を実行する、
    カメラ校正システム。
12. カメラを校正する処理をプロセッサーに実行させるコンピュータープログラムであって、
    前記カメラで撮影されたロボットの少なくとも一部を含む第１画像を用いて、前記ロボットに対する前記カメラの外部パラメーターを求める校正処理と、
    前記校正処理の実行後に、前記外部パラメーターの有効性を判定する判定処理と、
    を前記プロセッサーに実行させ、
    前記判定処理は、
    （ａ）前記校正処理の実行後に、前記ロボットの少なくとも一部を含む第２画像を前記カメラで撮影する処理と、
    （ｂ）前記第１画像と前記第２画像とを用いて、前記カメラと前記ロボットの位置関係が変化しているか否か判定し、前記位置関係の変化の有無に応じて前記外部パラメーターが無効か有効かを判定する処理と、
    を含むコンピュータープログラム。
13. カメラの校正方法であって、
    前記カメラで撮影されたロボットの少なくとも一部を含む第１画像を用いて、前記ロボットに対する前記カメラの外部パラメーターを求める校正処理を実行する校正工程を含み、
    前記校正工程は、前記ロボットの位置姿勢を決定可能な特定部分を前記第１画像から認識し、前記特定部分の認識結果から前記外部パラメーターを推定する、校正方法。
14. 請求項１３に記載の校正方法であって、
    前記特定部分は、前記ロボットの根元近くに存在する非可動部であり、
    前記校正工程は、
    前記第１画像に含まれる前記非可動部の位置姿勢を前記カメラのカメラ座標系で認識する工程と、
    前記非可動部の前記位置姿勢から前記外部パラメーターを推定する工程と、
    を含む校正方法。
15. 請求項１３に記載の校正方法であって、
    前記特定部分は、前記ロボットの根元近くに存在する非可動部と、前記ロボットのアーム部分とを含み、
    前記校正工程は、
    前記第１画像に含まれる前記非可動部の第１特定位置と前記アーム部分の第２特定位置を、前記カメラのカメラ座標系で認識する工程と、
    前記第１特定位置と前記第２特定位置を、前記ロボットのロボット座標系で算出する工程と、
    前記カメラ座標系において前記第１特定位置と前記第２特定位置を結ぶ第１ベクトルと、前記ロボット座標系において前記第１特定位置と前記第２特定位置を結ぶ第２ベクトルと、を作成し、前記第１ベクトルを前記第２ベクトルに回転させる回転行列を求める工程と、
    前記カメラ座標系における前記非可動部の前記第１特定位置と、前記回転行列とを用いて前記外部パラメーターを算出する工程と、
    を含む校正方法。

Images