JP4653844B2 - ロボットシステムのための画像処理装置及びこれを備えるロボットシステム - Google Patents

Description

本発明は、外部同期信号をカメラに出力しこの外部同期信号と同期してカメラから出力された画像データを処理する画像処理装置及びこれを備えるロボットシステムに関する。

ＣＣＤカメラなどのカメラすなわちエリアセンサは、通常、縦横に配置された撮像素子上に結像した画像（フレーム）を画面の左上から水平方向に走査して、順次映像信号として出力し、画面右端まで走査すると、次の行の先頭まで戻って次の行の走査及び映像信号の出力を行うことを繰り返し、１画面分の走査及び映像信号の出力を行う。走査の方式には、各行を上から下へ順次走査して一画面分の映像信号を出力するプログレッシブ方式と、１行おきに走査し奇数行の走査と偶数行の走査とで一画面分の映像信号を出力するインターレス方式とがある。

映像信号は、複数の行の画像データからなる１画面分の画像データを複数連続して含むので、映像信号を画像処理装置によって処理するためには、カメラから画像処理装置に入力される各画面毎の映像信号の開始位置を画像処理装置によって認識して映像信号の開始タイミングと画像処理の開始タイミングとを同期させる必要がある。このため、映像信号には、画像データに加えて、各フレームの開始位置を示す垂直同期信号と、各行の開始位置を示す水平同期信号とが含まれる。これら垂直同期信号及び水平同期信号は、各カメラの内部で生成される内部同期信号に同期させて映像信号を出力し画像処理装置において映像信号から分離した同期信号を用いて画像処理の同期をとる内部同期方式によって提供される場合と、画像処理装置によって内部同期信号と同じ周波数で生成された外部同期信号をカメラに供給し外部同期信号に同期させて映像信号を出力させて画像処理の同期をとる外部同期方式によって提供される場合とがあり、外部同期方式を採用するカメラでは、外部から外部同期信号が提供されないときには、自動的に内部同期信号に同期させて映像信号を出力するようになっていることが一般的である。

カメラには、各素子の特性やレンズの取り付け位置の微妙な違いなどにより個体差があり、画像処理装置に接続されるカメラが交換されるときには、画像処理装置においてホワイトバランス、フォーカス、露出などの設定の調整が必要となることがある。特許文献１は、カメラが交換されたときにカメラの個体差を吸収するように設定を自動的に調整するようにした映像入力装置を提案している。また、カメラの内部同期信号は個々に独立して生成されるので、同じ周期で同期信号を生成する複数の異なるカメラを一つの画像処理装置に接続して使用する場合、これらの同期信号のタイミングを画像処理装置側で制御する必要がある。特許文献２は、同じ周期で同期信号を生成する複数の異なるカメラを一つの画像処理装置に接続して複数のカメラによって撮像された画面をモニターに同時に表示する場合に、画像処理装置から各カメラに外部同期信号を提供して適したタイミングでカメラから映像信号を出力させるようにした画像合成装置を提案している。

特開平１１−２１５４１２号公報 特開平９−２２４１９２号公報

ところで、ロボットシステムにおいてカメラから得られた画像に基づいてロボットの動作を補正するために画像処理装置が用いられる場合には、カメラから得られた画像がどのようなタイミングで撮像されたものであるかを認識できないと、ロボットの動作を適切に補正することができない。例えば、ベルトコンベア上に流れてくる物体をロボットで把持する場合、どのタイミングで撮像された画像であるかを正確に認識していなければ、ワークが予め定められた位置に到達する時間の予測を誤り、ロボットで物体を把持するタイミングのズレを生じてしまう可能性がある。これを防ぐために、ロボットシステムでは、カメラの内部同期信号と同じ周期で生成された外部同期信号を画像処理装置からカメラに提供して、提供された外部同期信号に同期させてカメラから画像データを出力させ、所望のタイミングで取得した画像データの画像処理の結果に基づいてロボットの動きを補正するようにしている。このため、画像処理装置に接続されるカメラに適した同期信号の周波数を画像処理装置に予め設定して、使用するカメラに適した外部同期信号をカメラに提供するようにする必要がある。

一方で、内部同期信号であるか外部同期信号であるかを問わず、カメラに適した垂直同期信号及び水平同期信号の周波数はカメラの種類に固有となっており、異なる周波数の垂直同期信号及び水平同期信号が外部同期信号として提供されると、画面がひずむなどの不都合が生じる。したがって、画像処理装置からカメラへ外部同期信号を提供する場合には、画像処理装置に接続されているカメラの内部同期信号と同じ周波数となるように設定する必要がある。

また、カメラから出力される画像に基づいて画像処理を行う場合、画像処理装置に接続されるカメラの画素数に応じた量の画像データを画像処理装置のＲＡＭ等の記憶部に格納してから画像処理を行う。一方で、カメラの画素数は、カメラの種類によって異なることがある。このため、画像処理装置に接続されるカメラの画素数を考慮して、ＲＡＭ等の記憶部に対する画像処理用データ領域の割り付けを予め行う必要がある。

したがって、ロボットシステムにおいて画像処理装置に複数の種類のカメラが接続され得る場合、接続されているカメラに適した周波数の外部同期信号をカメラに提供するために、画像処理装置に接続されているカメラの内部同期信号と同じ周波数になるように外部同期信号の周波数を画像処理装置に予め設定する必要があった。また、カメラの画素数に応じた量の画像データを画像処理装置のＲＡＭ等の記憶部に格納するために、使用されるカメラの画素数を考慮してＲＡＭ等の記憶部に画像処理用データ領域の割り付けを行う必要があった。

しかしながら、このような設定や割り付けは、使用者が使用されるカメラに応じて手作業で行っていたため、設定ミスや割り付けミスが起こる可能性があり、このような場合、画像が画像処理装置に全く取り込めなくなる等の不具合が生じてしまう。

また、特許文献１や特許文献２に開示の装置も、異なる種類のカメラが接続されたときにカメラの種類に応じた同期信号の周波数や画素数を自動的に設定することはできない。

よって、本発明の目的は、従来技術に存する問題を解消して、複数の種類のカメラが接続されるロボットシステムのための画像処理装置において、接続されるカメラの種類に応じて同期信号の周波数などの設定を自動的に行うことを可能にさせることにある。

上記目的に鑑み、本発明によれば、予め定められた周波数で内部同期信号として生成された垂直同期信号及び水平同期信号に同期させて垂直同期信号と水平同期信号と画像データとを含む映像信号を出力する内部同期機能と、外部同期信号として提供された前記内部同期信号と同じ周波数の垂直同期信号及び水平同期信号に同期させて垂直同期信号と水平同期信号と画像データとを含む映像信号を出力する外部同期機能とを有し、前記外部同期信号が供給されないときには前記内部同期機能により前記内部同期信号に同期させて前記映像信号を出力し、前記外部同期信号が供給されたときには前記外部同期機能により前記外部同期信号に同期させて前記映像信号を出力するカメラを備え、該カメラから出力された映像信号を取り込んで画像処理を行うロボットシステムのための画像処理装置であって、前記カメラから内部同期信号に同期させて出力された前記映像信号から前記水平同期信号を分離する同期信号分離部と、前記同期信号分離部によって分離された前記水平同期信号から該水平同期信号の周波数を検出する同期周波数検出部と、垂直同期信号及び水平同期信号を生成する外部同期信号生成部とを備え、前記外部同期信号生成部が、所望のタイミングで垂直同期信号を生成した後、前記同期周波数検出部によって検出された前記内部同期信号の水平同期信号の周波数で水平同期信号を生成させ、生成された垂直同期信号及び水平同期信号を外部同期信号として前記カメラに提供するロボットシステムのための画像処理装置が提供される。

上記ロボットシステムのための画像処理装置では、外部同期信号を提供される前にカメラの内部同期信号に同期させてカメラから出力される映像信号から内部同期信号の水平同期信号を分離し、分離された内部同期信号の水平同期信号の周波数と同じ周波数で外部同期信号の水平同期信号を自動的に生成するので、使用者が外部同期信号の水平同期信号の周波数を設定する必要がなくなる。なお、ロボットシステムの画像処理装置では、連続的な画像データを必要とするわけではなく、所望されるタイミングの画像データを取得できればよい。さらに、任意のタイミングの画像の画像データは、一つの画面の画像データの先頭位置を示す垂直同期信号とそれに続く所定の周波数の水平同期信号とが外部同期信号として提供されればカメラから出力することができ、上記ロボットシステムのための画像処理装置の外部同期信号生成部のように所望のタイミングで垂直同期信号を生成できれば、垂直同期信号の周波数は、ロボットシステムにおいて使用する場合には必ずしも必要なものではない。したがって、上記ロボットシステムの画像処理装置によれば、使用者が、カメラの種類に応じて外部同期信号の周波数を設定する必要がなくなる。

前記画像処理装置は、カメラの種類と水平同期信号の周波数との対応関係を予め記憶した記憶部とをさらに備え、前記記憶部に記憶された対応関係を用いて、前記同期周波数検出部によって検出された前記内部同期信号の水平同期信号の周波数からカメラの種類を特定し、特定されたカメラの種類に対応する周波数で垂直同期信号及び水平同期信号を外部同期信号生成部に生成させることが好ましい。

前記画像処理装置は、外部同期信号生成部として、カメラの種類に対応する周波数で垂直同期信号及び水平同期信号を出力する複数の同期信号生成手段を備え、該複数の同期信号生成手段の中から、特定された前記カメラの種類に対応付けられた同期信号生成手段を選択して、選択された同期信号生成手段によって生成された垂直同期信号及び水平同期信号を外部同期信号として前記カメラに提供することがさらに好ましい。

また、前記記憶部は、カメラの種類と水平同期信号の周波数と画素数との対応関係を予め記憶しており、前記記憶部に記憶された対応関係を用いて、前記同期周波数検出部によって検出された前記内部同期信号の水平同期信号の周波数から画素数をさらに特定し、特定された画素数に基づいて画像処理用データ領域の割り付けを行うようにしてもよい。これにより、使用者が、使用されるカメラの画素数に応じた画像処理用データの割り付けを行う必要もなくなり、設定ミスの発生確率をさらに低下させることが可能となる。

前記画像処理装置は、複数のカメラに接続されるマルチプレクサを備え、前記マルチプレクサにより選択されたカメラからの映像信号を前記同期信号分離部に入力するようにすることもできる。

また、本発明によれば、ロボットと、予め定められた周波数で内部同期信号として生成された垂直同期信号及び水平同期信号に同期させて垂直同期信号と水平同期信号と画像データとを含む映像信号を出力する内部同期機能と、外部同期信号として提供された前記内部同期信号と同じ周波数の垂直同期信号及び水平同期信号に同期させて垂直同期信号と水平同期信号と画像データとを含む映像信号を出力する外部同期機能とを有し、前記外部同期信号が供給されないときには前記内部同期機能により前記内部同期信号に同期させて前記映像信号を出力し、前記外部同期信号が供給されたときには前記外部同期機能により前記外部同期信号に同期させて前記映像信号を出力するカメラと、該カメラから出力された映像信号を取り込んで画像処理を行う画像処理装置とを備え、画像処理の結果に基づいて前記ロボットに作業を行わせるロボットシステムにおいて、前記画像処理装置が、前記カメラから内部同期信号に同期させて出力された前記映像信号から前記水平同期信号を分離する同期信号分離部と、前記同期信号分離部によって分離された前記水平同期信号から該水平同期信号の周波数を検出する同期周波数検出部と、垂直同期信号及び水平同期信号を生成する外部同期信号生成部とを備え、前記外部同期信号生成部が、所望のタイミングで垂直同期信号を生成した後、前記同期周波数検出部によって検出された前記内部同期信号の水平同期信号の周波数で水平同期信号を生成させ、生成された垂直同期信号及び水平同期信号を外部同期信号として前記カメラに提供するロボットシステムが提供される。

本発明によれば、ロボットシステムの画像処理装置が所望するタイミングで画像を取得するために必要となる外部同期信号の水平同期信号の周波数が自動的に設定されるので、使用者がカメラの種類に応じて外部同期信号の周波数を手作業で入力する必要がなくなり、使用者の設定ミスによる画像処理の不具合を防ぐことができる。

本発明による画像処理装置の第１の実施形態の全体構成を示すブロック図である。 本発明による画像処理装置の第２の実施形態の全体構成を示すブロック図である。 本発明による画像処理装置の第３の実施形態の全体構成を示すブロック図である。 本発明による画像処理装置の第４の実施形態の全体構成を示すブロック図である。 図１に示されている画像処理装置による画像処理のための前準備の流れを示すフローチャートである。 本発明による画像処理装置を備えたロボットシステムの全体構成図である。

以下、図面を参照して、本発明による画像処理装置及びこれを備えたロボットシステムの実施形態を説明する。全ての図面を通して、共通する部分には、同じ参照番号を付している。
最初に、図６を参照して、本発明による画像処理装置を備えたロボットシステム１０の全体構成を説明する。ロボットシステム１０は、ワークＷの把持等を行うロボット１２と、ロボット１２の動作を制御するロボット制御装置１４と、ロボット制御装置１４に接続されている画像処理装置１６と、画像処理装置１６に接続されているカメラ１８とを備える。

図６に示されている実施形態では、ワークＷはコンベア２０などの搬送手段によって移動している。そこで、画像処理装置１６は、所望するタイミングでカメラ１８によって撮像されたワークＷの画像に基づいて画像処理を行い、その時点におけるワークＷの位置を認識し、認識されたワークＷの位置をロボット制御装置１４に伝達する。ロボット制御装置１４は、伝達されたワークＷの位置とコンベア２０の速度とから予め定められた位置にワークＷが到達する時間を予測して、所望される位置に到達したワークＷをロボット１２によって把持させ、次の工程に移動させる。

図示されている実施形態では、画像処理装置１６は、ロボット制御装置１４と別個に設けられているが、ロボット制御装置１４の一部として構成されてもよい。
以下では、図１〜図５を参照して、図６に示されている画像処理装置１６として使用可能な画像処理装置の幾つかの実施形態を説明する。

図１を参照して、第１の実施形態の画像処理装置３０を説明する。
画像処理装置３０は、同期信号分離回路３２と、Ａ／Ｄ変換回路３４と、クランプ回路３６と、水平同期周波数検出回路３８と、画像取込回路４０と、処理部４２と、同期信号生成回路４４と、一つのコネクタ４６とを備えている。また、画像処理装置３０には、ワークＷなどを撮像するためのカメラ４８がコネクタ４６を介して接続されている。

カメラ４８は、ＣＣＤカメラなど平面的な画像を取得できるエリアセンサであり、縦横に配置された撮像素子上に結像した画像（フレーム）を画面の左上から水平方向に走査し、順次画像データを映像信号として出力し、画面右端まで走査すると、次の行の先頭まで戻って次の行の走査及び映像信号の出力を行うことを繰り返し、１画面分の走査及び映像信号の出力を行う。カメラ４８は、予め定められた周波数で内部同期信号として生成された垂直同期信号及び水平同期信号に同期させて垂直同期信号と水平同期信号と映像データとを含む映像信号を出力する内部同期機能と、外部同期信号として提供された内部同期信号と同じ周波数の垂直同期信号及び水平同期信号に同期させて垂直同期信号と水平同期信号と映像データとを含む映像信号を出力する外部同期機能とを有し、外部同期信号が供給されないときには、カメラ４８の種類に固有の周波数で生成される内部同期信号に同期させて映像信号を出力し、内部同期信号と同じ周波数の外部同期信号が供給されると、外部同期信号に同期させて（すなわち、外部同期信号のタイミングに合わせて）映像信号を出力する。なお、映像信号に含まれる画像データはアナログ画像データとして出力される。

内部同期信号及び外部同期信号の各々には、各フレームの開始位置を示す垂直同期信号と、各行の開始位置を示す水平同期信号とが含まれ、映像信号には、アナログ画像データと共に、垂直同期信号及び水平同期信号が含まれる。この実施形態では、映像信号として、アナログ画像データである輝度信号と垂直同期信号及び水平同期信号とを合成したコンポジット映像信号がカメラ４８から出力されるようになっている。しかしながら、同期信号を合成した輝度信号（Ｙ信号）と色同期信号を合成した色信号（Ｃ信号）とからなるＹ／Ｃ信号や、赤信号（Ｒ信号）と同期信号を合成した緑信号（Ｇ信号）と青信号（Ｂ信号）とからなるＲＧＢ信号などをカメラ４８から出力してもよい。

同期信号分離回路３２は、周知のタイプのものであり、カメラ４８から入力された映像信号から、アナログ画像データ、垂直同期信号、水平同期信号を分離して、画像データをＡ／Ｄ変換回路３４及びクランプ回路３６に入力すると共に、水平同期信号を水平同期周波数検出回路３８に入力する。また、同期信号分離回路３２は、必要であれば、分離した垂直同期信号を後述する垂直同期周波数検出回路５８に入力する。

Ａ／Ｄ変換回路３４は、同期信号分離回路３２から入力されたアナログ画像データをデジタル画像データに変換する。また、クランプ回路３６は、同期信号分離回路３２からＡ／Ｄ変換回路３４に入力される映像信号のＤＣレベルの変動を抑えＤＣレベルを一定にするために、同期信号分離回路３２から入力される水平同期信号を用いて画像データの黒レベルをＡ／Ｄ変換回路３４の黒レベルに保つ機能を果たす。クランプ回路３６を用いることによりＡ／Ｄ変換回路３４において画像データを正確にＡ／Ｄ変換することができるようになる。

水平同期周波数検出回路３８は、同期信号分離回路３２から入力された水平同期信号の周波数を検出し、処理部４２に送る。また、画像取込部４０は、Ａ／Ｄ変換回路３４から入力されたデジタル画像データを処理部４２に取り込む機能を果たす。

処理部４２は、ＣＰＵ（中央演算装置）５０と、ＲＯＭ（リードオンリーメモリ）５２と、ＲＡＭ（ランダムアクセスメモリ）５４とを含む。ＣＰＵ５０は、レジスタ５６を備えており、水平同期周波数検出回路３８から受け取った水平同期信号の周波数がレジスタ５６に格納される。ＲＯＭ５２には、画像処理装置３０に接続可能な複数の種類のカメラ４８について、カメラ４８の種類と、そのカメラ４８の水平同期信号の周波数と、そのカメラ４８の画素数との対応関係に関する情報が予め記憶されている。また、ＲＡＭ５４には、画像処理プログラムやカメラ特定プログラムなどの各種プログラムが格納されると共に、画素数に応じて画像処理用データ領域が割り付けられる。

ＣＰＵ５０は、ＲＡＭ５４に格納された各種プログラムに従って、画像データに基づく画像処理を行う。また、ＣＰＵ５０は、ＲＡＭ５４に格納されたカメラ特定プログラムに従って、ＲＯＭ５２に予め記憶されている対応関係を参照して、水平同期周波数検出回路３８によって検出されたカメラ４８の内部同期信号の水平同期信号の周波数からカメラ４８の種類を特定し、特定されたカメラ４８の画素数に応じてＲＡＭ５４に対して画像処理用データ領域の割り付けを自動的に行う。

同期信号生成回路４４は、複数の同期信号生成回路４４を含む同期信号生成回路グループによって構成されている。同期信号生成回路グループの各同期信号生成回路４４は、それぞれ、コネクタ４６に接続可能な各種類のカメラ４８に対応付けられており、対応付けられた種類のカメラ４８に適した周波数の垂直同期信号及び水平同期信号を生成するように予め設定されている。ＣＰＵ５０は、同期信号生成回路グループの中から、水平同期周波数検出回路３８によって検出されたカメラ４８の水平同期信号（内部同期信号）の周波数に基づいて特定されたカメラ４８の種類に対応付けられた同期信号生成回路４４を選択し、選択された同期信号生成回路４４が、所望されるタイミングで、生成された垂直同期信号及び水平同期信号を外部同期信号としてカメラ４８に提供できるようにする。

画像処理装置３０は、必要に応じて、垂直同期周波数検出回路５８を備えてもよい。垂直同期周波数検出回路５８は、同期信号分離回路３２によって映像信号から分離された垂直同期信号の周波数を検出する。垂直同期周波数検出回路５８は、複数の種類のカメラ４８が適する水平同期信号の周波数において共通するが、適する垂直同期信号の周波数において異なっている場合に、特に有効である。この場合、処理部４２のＲＯＭ５２には、カメラ４８の種類に対応付けられて、そのカメラ４８の垂直同期信号の周波数がさらに記憶されている必要がある。

しかしながら、水平同期周波数検出回路３８によって検出されたカメラ４８の内部同期信号の水平同期信号の周波数に基づいてカメラ４８の種類が特定され、特定されたカメラ４８の種類に対応する同期信号生成回路４４を選択できるようになっていれば、選択された同期信号生成回路４４によってカメラ４８の種類に対応する周波数の垂直同期信号及び水平同期信号が生成されるので、カメラ４８の内部同期信号の垂直同期信号の周波数の検出は特に必要とされない。また、画像処理装置３０がロボットシステム１０において使用される場合、所望されるタイミングで取得した画像からワークＷの位置を認識できればよく、任意のタイミングの画像データは、一つの画面の画像データの先頭位置を示す垂直同期信号とそれに続く所定の周波数の水平同期信号とが外部同期信号として提供されればカメラ４８から出力することができ、画像処理装置３０も一つの画面分の画像データとして認識できる。よって、ＣＰＵ５０が、所望のタイミングで、先頭の垂直同期信号とそれに続く所定周期の水平同期信号を同期信号生成回路４４から出力させるようになっていれば、垂直同期信号の周波数は特に必要とされない。したがって、画像処理装置３０に垂直同期周波数検出回路５８を設けなくてもよい。

なお、主として内部同期信号の水平同期信号の周波数から、画像処理装置３０に接続されているカメラ４８を特定するのは、垂直同期信号の周波数は複数のカメラ４８で共通することが多いが、水平同期信号の周波数はカメラ４８の種類毎に異なることが多いことに着目したからである。

次に、図５を参照して、図１に示されている画像処理装置３０による前準備及び画像処理の動作を説明する。
画像処理装置３０が起動されたときには、画像処理装置３０からは外部同期信号が提供されず、カメラ４８は、内部同期機能によって、内部同期信号に同期させて映像信号を出力する。したがって、画像処理装置３０には、最初、カメラ４８から内部同期信号に同期して出力された映像信号が入力される（ステップＳ１００）。カメラ４８から出力された映像信号は、同期信号分離回路３２に入力され、画像データと水平同期信号と垂直同期信号とに分離される（ステップＳ１０２）。同期信号分離回路３２によって映像信号から分離された水平同期信号は水平同期周波数検出回路３８に入力されてその周波数が検出され、検出された水平同期信号の周波数は処理部４２のＣＰＵ５０のレジスタ５６に格納される（ステップＳ１０４）。

処理部４２のＣＰＵ５０は、ＲＡＭ５４に格納されたカメラ特定プログラムに従って、レジスタ５６に格納されたカメラ４８の水平同期信号（内部同期信号）の周波数を読み込み、ＲＯＭ５２に予め記憶されているカメラ４８の種類と水平同期信号の周波数とカメラ４８の画素数との対応関係に関する情報を参照して、検出されたカメラ４８の水平同期信号（内部同期信号）の周波数から、画像処理装置３０のコネクタ４６に接続されているカメラ４８の種類を特定する（ステップＳ１０６）。ＲＯＭ５２にカメラ４８の種類と垂直同期信号の周波数と水平同期信号の周波数とカメラ４８の画素数との対応関係に関する情報を予め記憶しておき、水平同期周波数検出回路３８によって検出された水平同期信号の周波数と垂直同期周波数検出回路５８によって検出された垂直同期信号の周波数とから、画像処理装置３０のコネクタ４６に接続されているカメラ４８の種類を特定するようにしてもよい。

カメラ４８の種類が特定されると、ＣＰＵ５０は、同期信号生成回路グループの中から、特定されたカメラ４８の種類に対応する同期信号生成回路４４を選択し、選択された同期信号生成回路４４が、所望されるタイミングで、生成された垂直同期信号及び水平同期信号を外部同期信号としてカメラ４８に提供できるようにする（ステップＳ１０８）。また、ＣＰＵ５０は、ＲＯＭ５２に予め記憶されているカメラ４８の種類と水平同期信号の周波数とカメラ４８の画素数との対応関係に関する情報を参照して、特定されたカメラ４８の種類の画素数を求め、求められた画素数に応じて画像処理用データ領域を自動的にＲＡＭ５４に割り付ける（ステップＳ１１０）。

このように、図１に示される画像処理装置３０は、画像処理装置３０に接続されたカメラ４８を自動的に判別して、接続されているカメラ４８に応じた垂直同期信号及び水平同期信号の周波数を自動的に設定すると共に、接続されているカメラ４８の画素数に応じて画像処理用データ領域の割り付けを自動的に行うことができる。したがって、画像処理装置３０の使用者が、画像処理装置３０に接続されているカメラ４８に応じた前準備を行う必要がなくなり、設定のミスを防ぐことが可能となる。

前準備が完了すると、画像処理装置３０は、画像処理を行いたいときに、選択されている同期信号生成回路４４によって垂直同期信号及び水平同期信号を生成させ、生成された垂直同期信号及び水平同期信号を外部同期信号としてカメラ４８に提供する。すると、カメラ４８は、外部同期機能によって、カメラ４８によって撮像された画像のデータを画像処理装置３０から提供された外部同期信号に同期させて映像信号として出力する。カメラ４８から出力された映像信号は、画像処理装置３０の同期信号分離回路３２に入力され、アナログ画像データと、水平同期信号と、垂直同期信号とに分離され、分離されたアナログ画像データはＡ／Ｄ変換回路３４によってデジタル画像データに変換される。Ａ／Ｄ変換の際には、同期信号分離回路３２によって分離された水平同期信号（外部同期信号）を使用してクランプ回路３６によって画像データの黒レベルを一定に保ち、Ａ／Ｄ変換が正確に行われるようにする。

Ａ／Ｄ変換回路３４から出力されたデジタル画像データは、画像取込回路４０を経由して、ＲＡＭ５４に格納され、ＣＰＵ５０が、ＲＡＭ５４に格納された画像処理プログラムに従って、取り込まれた画像データの画像処理を行い、ワークＷの位置を認識する。ロボット制御装置１４は、画像処理装置３０によって認識されたワークＷの位置から、ワークＷが予め定められた位置に到達する時刻を予測し、予め定められた位置に到達したワークＷをロボット１２によって把持させる。

上記実施形態では、カメラ４８の内部同期信号の水平同期信号の周波数からカメラ４８の種類を特定することによって、カメラ４８に適した外部同期信号の周波数を求めると共に、カメラ４８の画素数を求めているが、同じ画素数のカメラ４８のみを使用する場合などには、カメラ４８の画素数を求める必要はない。この場合、処理部４２のＲＯＭ５２には、カメラ４８の種類に対応付けて画素数を記憶しておく必要がないことは言うまでもない。

図２を参照して、第２の実施形態の画像処理装置６０を説明する。
第２の実施形態の画像処理装置６０は、第１の実施形態の画像処理装置３０の同期信号生成回路グループ４４に代えて一つの同期信号生成回路６２のみによって同期信号生成回路６２が構成されている点において、第１の実施形態の画像処理装置３０と異なっている。第２の実施形態の画像処理装置６０の同期信号生成回路６２は、ＣＰＵ５０からの指令により設定される任意の周波数で垂直同期信号及び水平同期信号を生成できるようになっている。また、処理部４２のＲＯＭ５２には、カメラ４８の種類と、そのカメラ４８の垂直同期信号及び水平同期信号の周波数と、そのカメラ４８の画素数との対応関係に関する情報が予め記憶されている。第２の実施形態の画像処理装置６０は、第１の実施形態の画像処理装置３０と同様に、同期信号分離回路３２と、Ａ／Ｄ変換回路３４と、クランプ回路３６と、水平同期周波数検出回路３８と、画像取込回路４０と、処理部４２と、一つのコネクタ４６とをさらに備え、画像処理装置６０には、コネクタ４６を介してカメラ４８が接続されている。これらの構成は、第１の実施形態の画像処理装置３０と同じであるので、ここでは詳しい説明を省略する。

画像処理の前準備のための動作において、第１の実施形態の画像処理装置３０と同様に、カメラ４８が内部同期機能によって内部同期信号に同期させて出力した映像信号が同期信号分離回路３２によって画像データと水平同期信号と垂直同期信号とに分離されて、分離された水平同期信号の周波数が水平同期周波数検出回路３８によって検出され、検出された水平同期信号の周波数が処理部４２のＣＰＵ５０のレジスタ５６に格納される。

処理部４２のＣＰＵ５０は、検出されたカメラ４８の内部同期信号の水平同期信号の周波数をレジスタ５６から読み込み、ＲＯＭ５２に予め記憶されているカメラ４８の種類と垂直同期信号及び水平同期信号の周波数とカメラ４８の画素数との対応関係に関する情報を参照して、水平同期周波数検出回路３８によって検出されたカメラ４８の内部同期信号の水平同期信号の周波数から、画像処理装置６０に接続されているカメラ４８の種類を特定して、適した垂直同期信号の周波数とカメラ４８の画素数とを求める。

次に、ＣＰＵ５０は、同期信号生成回路６２に指令を発して、特定されたカメラ４８の種類に適した垂直同期信号及び水平同期信号の周波数を同期信号生成回路６２に自動的に設定し、同期信号生成回路６２が、所望されるタイミングで、生成された垂直同期信号及び水平同期信号を外部同期信号としてカメラ４８に提供できるようにする。また、ＣＰＵ５０は、特定されたカメラ４８の種類に対応する画素数に応じて画像処理用データ領域を自動的にＲＡＭ５４に割り付ける。その他の動作については、第１の実施形態の画像処理装置３０と同じであるので、ここでは、説明を省略する。

本実施形態では、カメラ４８の内部同期信号の水平同期信号の周波数からカメラ４８の内部同期信号の垂直同期信号を求めることができればよく、カメラ４８の種類を必ずしも特定する必要はない。また、出願人は、カメラ４８の内部同期信号の水平同期信号の周波数とカメラ４８の画素数との間には一定の対応関係があることを見出した。したがって、垂直同期信号の周波数と水平同期信号の周波数と画素数とを対応付けてＲＯＭ５２に予め記憶されていれば、カメラ４８の種類を特定することなく、カメラ４８の内部同期信号の水平同期信号の周波数から、対応する垂直同期信号の周波数及び画素数を求めるようにしてもよい。

さらに、画像処理装置６０がロボットシステム１０において使用される場合、所望されるタイミングの画像からワークＷの位置を認識できればよく、任意のタイミングの画像の画像データは、一つの画面の画像データの先頭位置を示す垂直同期信号とそれに続く所定の周波数の水平同期信号とが外部同期信号として提供されればカメラ４８から出力することができ、画像処理装置６０も一つの画面分として認識できる。よって、ＣＰＵ５０が、所望のタイミングで、先頭の垂直同期信号とそれに続く所定周期の水平同期信号を同期信号生成回路６２から出力させるようになっていれば、垂直同期信号の周波数は特に必要とされない。したがって、水平同期信号の周波数と画素数とのみを対応付けてＲＯＭ５２に予め記憶しておき、カメラ４８の内部同期信号の水平同期信号の周波数から、対応する画素数のみを求めるようにしてもよい。この場合、ＣＰＵ５０は、水平同期周波数検出回路３８によって検出されたカメラ４８の内部同期信号の水平同期信号の周波数を同期信号生成回路６２に設定すると共に、求められた画素数に応じてＲＡＭ５４に対して画像処理用データ領域の割り付けを自動的に行えばよい。

さらに、上記実施形態では、カメラ４８の内部同期信号の水平同期信号の周波数から、カメラ４８に適した外部同期信号の周波数を求めると共に、カメラ４８の画素数を求めているが、同じ画素数のカメラ４８のみを使用する場合などには、カメラ４８の画素数を求める必要はない。また、上述したように、垂直同期信号の周波数は必ずしも必要とされない。したがって、処理部４２のＲＯＭ５２に記憶される上述の対応関係に関する情報は必須の構成要素ではない。

図３を参照して、第３の実施形態の画像処理装置７０を説明する。
第３の実施形態の画像処理装置７０は、第１の実施形態の画像処理装置３０と同じ同期信号分離回路３２と、Ａ／Ｄ変換回路３４と、クランプ回路３６と、水平同期周波数検出回路３８と、画像取込回路４０と、処理部４２とに加えて、複数のコネクタ４６とマルチプレクサ７２と各コネクタ４６に対応する同期信号生成回路７４とをさらに備え、複数のカメラ４８が複数のコネクタ４６を介して接続できるようになっている点において、第１の実施形態の画像処理装置３０と異なっている。

マルチプレクサ７２は、画像処理装置７０の複数のコネクタ４６と同期信号分離回路３２との間に配置されており、マルチプレクサ７２には、複数のコネクタ４６を介して複数のカメラ４８が接続されている。マルチプレクサ７２は、複数のコネクタ４６の中から一つのコネクタ４６を選択し、選択されたコネクタ４６に接続されているカメラ４８からの映像信号のみを同期信号分離回路３２に送る。また、各コネクタ４６に対応する同期信号生成回路７４は、複数の同期信号生成回路７４を含む同期信号生成回路グループによって構成されている。各同期信号生成回路グループの各同期信号生成回路７４は、それぞれ、各コネクタ４６に接続可能なカメラ４８の種類に対応付けられており、対応付けられたカメラ４８の種類に適した周波数の垂直同期信号及び水平同期信号を生成するように予め設定されている。

第３の実施形態の画像処理装置７０の同期信号分離回路３２と、Ａ／Ｄ変換回路３４と、クランプ回路３６と、水平同期周波数検出回路３８と、画像取込回路４０と、処理部４２とは、第１の実施形態の画像処理装置３０のものと同じであるので、ここでは詳しい説明を省略する。

画像処理の前準備のための動作においては、画像処理装置７０に接続されている複数のカメラ４８の各々からその内部同期機能によって内部同期信号に同期させて出力された映像信号が、各コネクタ４６を通してマルチプレクサ７２に入力され、マルチプレクサ７２が選択した一つのコネクタ４６に接続されているカメラ４８からの映像信号のみを同期信号分離回路３２に入力する。同期信号分離回路３２に入力された映像信号は、第１の実施形態の画像処理装置３０と同様に、画像データと水平同期信号と垂直同期信号とに分離されて、分離された水平同期信号の周波数が水平同期周波数検出回路３８によって検出され、検出された水平同期信号の周波数が処理部４２のＣＰＵ５０のレジスタ５６に格納される。

処理部４２のＣＰＵ５０は、検出されたカメラ４８の水平同期信号（内部同期信号）の周波数をレジスタ５６から読み込み、ＲＯＭ５２に予め記憶されているカメラ４８の種類と垂直同期信号及び水平同期信号の周波数とカメラ４８の画素数との対応関係に関する情報を参照して、検出されたカメラ４８の水平同期信号（内部同期信号）の周波数から、画像処理装置７０に接続されているカメラ４８の種類を特定し、特定されたカメラ４８に対応する垂直同期信号の周波数とカメラ４８の画素数とを求める。

次に、ＣＰＵ５０は、マルチプレクサ７２に選択されているカメラ４８が接続されているコネクタ４６に対応する同期信号生成回路グループの中から、特定されたカメラ４８の種類に対応する同期信号生成回路７４を選択し、選択された同期信号生成回路７４が、所望されるタイミングで、生成された垂直同期信号及び水平同期信号を外部同期信号としてカメラ４８に提供できるようにする。また、ＣＰＵ５０は、特定されたカメラ４８の種類に対応する画素数に応じて画像処理用データ領域を自動的にＲＡＭ５４に割り付ける。

次に、マルチプレクサ７２は、順次選択されるコネクタ４６すなわちカメラ４８を切り替え、同様にして、ＣＰＵ５０が、選択されているコネクタ４６に対応する同期信号生成回路グループの中から、そのコネクタ４６に接続されているカメラ４８の種類に対応する同期信号生成回路７４を選択し、選択された同期信号生成回路７４が、所望されるタイミングで、生成された垂直同期信号及び水平同期信号を外部同期信号としてカメラ４８に提供できるようにすると共に、ＲＯＭ５２に予め記憶されているカメラ４８の種類と水平同期信号の周波数とカメラ４８の画素数との対応関係に関する情報を参照して、特定されたカメラ４８の画素数を求め、求められた画素数に応じて画像処理用データ領域を自動的にＲＡＭ５４に割り付ける。その他の動作については、第１の実施形態と同じであるので、ここでは詳しい説明を省略する。

なお、第１の実施形態と同様に、同じ画素数のカメラ４８の種類のみを使用する場合などには、上記実施形態において、カメラ４８の画素数を求める必要はなく、この場合、処理部４２のＲＯＭ５２には、カメラ４８の種類に対応付けて画素数を記憶しておく必要がない。

図４を参照して、第４の実施形態の画像処理装置８０を説明する。
第４の実施形態の画像処理装置８０は、第３の実施形態の画像処理装置７０と類似する構成を有しているが、第３の実施形態の画像処理装置７０の同期信号生成回路グループに代えて一つの同期信号生成回路８２のみによって各コネクタ４６に対応する同期信号生成回路８２が構成されている点において、第３の実施形態の画像処理装置７０と異なっている。第４の実施形態の画像処理装置８０の同期信号生成回路８２は、ＣＰＵ５０からの指令により設定される任意の周波数で垂直同期信号及び水平同期信号を生成できるようになっている。また、処理部４２のＲＯＭ５２には、カメラ４８の種類と、そのカメラ４８の垂直同期信号及び水平同期信号の周波数と、そのカメラ４８の画素数との対応関係に関する情報が予め記憶されている。第４の実施形態の画像処理装置８０は、同期信号分離回路３２と、Ａ／Ｄ変換回路３４と、クランプ回路３６と、水平同期周波数検出回路３８と、画像取込回路４０と、処理部４２と、複数のコネクタ４６とをさらに備え、各コネクタ４６にはそれぞれカメラ４８が接続されている。これらの構成は、第３の実施形態の画像処理装置７０と同じであるので、ここでは詳しい説明を省略する。

画像処理の前準備のための動作においては、画像処理装置８０に接続されている複数のカメラ４８の各々からその内部同期機能によって内部同期信号に同期させて出力された映像信号が、各コネクタ４６を通してマルチプレクサ７２に入力され、マルチプレクサ７２が選択した一つのコネクタ４６に接続されたカメラ４８からの映像信号のみを同期信号分離回路３２に送る。同期信号分離回路３２に入力された映像信号は、第３の実施形態の画像処理装置７０と同様に、画像データと水平同期信号と垂直同期信号とに分離されて、分離された水平同期信号の周波数が水平同期周波数検出回路３８によって検出され、検出された水平同期信号の周波数が処理部４２のＣＰＵ５０のレジスタ５６に格納される。

処理部４２のＣＰＵ５０は、検出されたカメラ４８の水平同期信号（内部同期信号）の周波数をレジスタ５６から読み込み、ＲＯＭ５２に予め記憶されているカメラ４８の種類と垂直同期信号及び水平同期信号の周波数とカメラ４８の画素数との対応関係に関する情報を参照して、検出されたカメラ４８の水平同期信号（内部同期信号）の周波数から、マルチプレクサに選択されているコネクタ４６に接続されているカメラ４８の種類を特定して、対応する垂直同期信号の周波数とカメラ４８の画素数とを求める。

次に、ＣＰＵ５０は、マルチプレクサ７２に選択されているコネクタ４６に対応する同期信号生成回路８２に指令を発して、特定されたカメラ４８の種類に適した垂直同期信号及び水平同期信号の周波数を同期信号生成回路８２に自動的に設定し、同期信号生成回路８２が、所望されるタイミングで、生成された垂直同期信号及び水平同期信号を外部同期信号としてカメラ４８に提供できるようにする。また、ＣＰＵ５０は、特定されたカメラ４８の画素数に応じて画像処理用データ領域を自動的にＲＡＭ５４に割り付ける。

次に、マルチプレクサ７２は、順次選択されるコネクタ４６を切り替え、同様にして、ＣＰＵ５０が、マルチプレクサ７２によって選択されているコネクタ４６に対応する同期信号生成回路８２に、コネクタ４６に接続されているカメラ４８の種類に適した垂直同期信号及び水平同期信号の周波数を自動的に設定し、同期信号生成回路８２が、所望されるタイミングで、生成された垂直同期信号及び水平同期信号を外部同期信号としてカメラ４８に提供できるようにすると共に、ＲＯＭ５２に予め記憶されているカメラ４８の種類と垂直同期信号及び水平同期信号の周波数とカメラ４８の画素数との対応関係に関する情報を参照して、特定されたカメラ４８の画素数を求め、求められた画素数に応じて画像処理用データ領域を自動的にＲＡＭ５４に割り付ける。その他の動作については、第３の実施形態の画像処理装置７０と同じであるので、ここでは詳しい説明を省略する。

なお、上記実施形態でも、第３の実施形態と同様に、垂直同期信号の周波数と水平同期信号の周波数と画素数とを対応付けてＲＯＭ５２に予め記憶しておき、カメラ４８の内部同期信号の水平同期信号の周波数から、対応する垂直同期信号の周波数及び画素数を求めるようにしてもよい。また、ＣＰＵ５０が、所望のタイミングで、先頭の垂直同期信号とそれに続く所定周期の水平同期信号を同期信号生成回路８２から出力させるようになっていれば、垂直同期信号の周波数は特に必要とされないので、水平同期信号の周波数と画素数とのみを対応付けてＲＯＭ５２に予め記憶しておき、カメラ４８の内部同期信号の水平同期信号の周波数から、対応する画素数のみを求めるようにしてもよい。この場合、ＣＰＵ５０は、水平同期周波数検出回路３８によって検出されたカメラ４８の内部同期信号の水平同期信号の周波数を各同期信号生成回路８２に設定すると共に、求められた画素数に応じてＲＡＭ５４に対して画像処理用データ領域の割り付けを自動的に行えばよい。さらに、第２の実施形態で述べたように、同じ画素数のカメラ４８の種類のみを使用する場合などには、カメラ４８の画素数を求める必要はなく、垂直同期信号の周波数は特に必要とされないので、処理部４２のＲＯＭ５２に記憶される上述の対応関係に関する情報は必要とされない。

１０ ロボットシステム
１２ ロボット
１４ ロボット制御装置
１６ 画像処理装置
１８ カメラ
２０ コンベア
３０ 画像処理装置
３２ 同期信号分離回路
３８ 水平同期周波数検出回路
４４ 同期信号生成回路
４８ カメラ
６０ 画像処理装置
６２ 同期信号生成回路
７０ 画像処理装置
７２ マルチプレクサ
７４ 同期信号生成回路
８０ 画像処理装置
８２ 同期信号生成回路

Claims (6)

1. 予め定められた周波数で内部同期信号として生成された垂直同期信号及び水平同期信号に同期させて垂直同期信号と水平同期信号と画像データとを含む映像信号を出力する内部同期機能と、外部同期信号として提供された前記内部同期信号と同じ周波数の垂直同期信号及び水平同期信号に同期させて垂直同期信号と水平同期信号と画像データとを含む映像信号を出力する外部同期機能とを有し、前記外部同期信号が供給されないときには前記内部同期機能により前記内部同期信号に同期させて前記映像信号を出力し、前記外部同期信号が供給されたときには前記外部同期機能により前記外部同期信号に同期させて前記映像信号を出力するカメラを備え、該カメラから出力された映像信号を取り込んで画像処理を行うロボットシステムのための画像処理装置であって、
   前記カメラから内部同期信号に同期させて出力された前記映像信号から前記水平同期信号を分離する同期信号分離部と、
   前記同期信号分離部によって分離された前記水平同期信号から該水平同期信号の周波数を検出する同期周波数検出部と、
   垂直同期信号及び水平同期信号を生成する外部同期信号生成部と、
   を備え、前記外部同期信号生成部が、所望のタイミングで垂直同期信号を生成した後、前記同期周波数検出部によって検出された前記内部同期信号の水平同期信号の周波数で水平同期信号を生成させ、生成された垂直同期信号及び水平同期信号を外部同期信号として前記カメラに提供することを特徴としたロボットシステムのための画像処理装置。
2. 前記画像処理装置は、カメラの種類と水平同期信号の周波数との対応関係を予め記憶した記憶部とをさらに備え、前記記憶部に記憶された対応関係を用いて、前記同期周波数検出部によって検出された前記内部同期信号の水平同期信号の周波数からカメラの種類を特定し、特定されたカメラの種類に対応する周波数で垂直同期信号及び水平同期信号を外部同期信号生成部に生成させる、請求項１に記載のロボットシステムのための画像処理装置。
3. 前記画像処理装置は、外部同期信号生成部として、カメラの種類に対応する周波数で垂直同期信号及び水平同期信号を出力する複数の同期信号生成手段を備え、該複数の同期信号生成手段の中から、特定された前記カメラの種類に対応付けられた同期信号生成手段を選択して、選択された同期信号生成手段によって生成された垂直同期信号及び水平同期信号を外部同期信号として前記カメラに提供する、請求項２に記載のロボットシステムのための画像処理装置。
4. 前記記憶部は、カメラの種類と水平同期信号の周波数と画素数との対応関係を予め記憶しており、前記記憶部に記憶された対応関係を用いて、前記同期周波数検出部によって検出された前記内部同期信号の水平同期信号の周波数から画素数をさらに特定し、特定された画素数に基づいて画像処理用データ領域の割り付けを行う、請求項２又３に記載のロボットシステムのための画像処理装置。
5. 前記画像処理装置は、複数のカメラに接続されるマルチプレクサを備え、前記マルチプレクサにより選択されたカメラからの映像信号を前記同期信号分離部に入力する、請求項１から請求項４の何れか一項に記載のロボットシステムのための画像処理装置。
6. ロボットと、予め定められた周波数で内部同期信号として生成された垂直同期信号及び水平同期信号に同期させて垂直同期信号と水平同期信号と画像データとを含む映像信号を出力する内部同期機能と、外部同期信号として提供された前記内部同期信号と同じ周波数の垂直同期信号及び水平同期信号に同期させて垂直同期信号と水平同期信号と画像データとを含む映像信号を出力する外部同期機能とを有し、前記外部同期信号が供給されないときには前記内部同期機能により前記内部同期信号に同期させて前記映像信号を出力し、前記外部同期信号が供給されたときには前記外部同期機能により前記外部同期信号に同期させて前記映像信号を出力するカメラと、該カメラから出力された映像信号を取り込んで画像処理を行う画像処理装置とを備え、画像処理の結果に基づいて前記ロボットに作業を行わせるロボットシステムにおいて、
   前記画像処理装置が、
   前記カメラから内部同期信号に同期させて出力された前記映像信号から前記水平同期信号を分離する同期信号分離部と、
   前記同期信号分離部によって分離された前記水平同期信号から該水平同期信号の周波数を検出する同期周波数検出部と、
   垂直同期信号及び水平同期信号を生成する外部同期信号生成部と、
   を備え、前記外部同期信号生成部が、所望のタイミングで垂直同期信号を生成した後、前記同期周波数検出部によって検出された前記内部同期信号の水平同期信号の周波数で水平同期信号を生成させ、生成された垂直同期信号及び水平同期信号を外部同期信号として前記カメラに提供することを特徴としたロボットシステム。

Images