JP5207719B2 - カラーコード付き標識、カラーコード抽出手段及び三次元計測システム - Google Patents

Description

本発明はカラーコード付き標識、カラーコード抽出手段及び三次元計測システムに関する。詳しくは、コードの読み誤りを生じないように色彩を選択したカラーコード付き標識、そのコードを自動検出するためのカラーコード抽出手段、及びそのカラーコード抽出手段を用いて三次元座標を計測する三次元計測システムに関する。

三次元画像計測は、測定対象物を異なる方向から撮影した画像により三次元座標を計測する手法である。かかる手法では、異なる方向から撮影された複数の画像中から同一位置を指定する同定作業が必要である。そして、撮影する画像が多くなると、手動により行なう同定作業は膨大な量になり、多大な時間を要するとういう問題があった。そこで、発明者達は、手動で行っていた三次元画像計測の同定処理を自動化して効率を向上する事を目的に、カラーコード付きターゲットとその自動検出処理技術を開発した。（特許文献１，２参照）

カラーコード付きターゲットとは、例えば、矩形シートの三隅に位置検出用のレトロターゲットを有し、カラーコード領域における配色の組み合わせでコードを識別するコードターゲットである。色彩を用いたコードターゲットを採用すると、色数を増やすことによりコード数を増やすことができる。カラーコード付きターゲット検出処理は、まず、三隅のレトロターゲットを検出し、カラーコード付きターゲット領域を決定する。次に、カラーコード領域の色彩を抽出し、抽出した色彩からコード値に変換処理をする。最後に、カラーコード付きターゲットに、レトロターゲットで検出された位置と関連付けて、変換処理されたコード値によりラベルを付ける。これにより、同定作業を自動化することができ、作業性を大いに向上できた。特に、測定点が膨大な測定対象物の三次元計測の作業効率は著しく改善された。

特開２００７−６４６２７号公報（段落００２５〜０１４５、図１〜図２４） 特開２００７−１０１２７７号公報（段落００２４〜００７４、図１〜図２０）

しかし、カラーコード付きターゲットの色彩をどのように選択するかについては課題が残されていた。もし、カラーコードのコードを読み誤り、その結果、ターゲット位置について、誤った位置を同一の位置として指定した場合には、誤って指定した位置を探し出し修正する作業に多大な時間を要するので、誤りが生じないように色彩を選択することが重要である。

本発明は、コードの読み誤りを生じないように選択された色彩のカラーコードを有するカラーコード付き標識及びその自動検出処理技術を提供することを目的とする。

上記課題を解決するために、本発明の第１の態様に係るカラーコード付き標識ＣＴ１は、例えば図１に示すように、面内に、計測位置を示すための位置検出用パターンＰ１と、色彩の基準として用いる異なる色彩が施された複数の単位エリアを有する基準色パターンＰ２と、標識を識別するための異なる色彩が施された複数の単位エリアを有するカラーコードパターンＰ３とを備え、カラーコードパターンＰ３の色彩は、ＨＳＩ色空間において隣接する色彩同士が、少なくとも色相差、彩度差、明度差のいずれか１つが所定値以上になるように選択される。

ここにおいて、標識は典型的には三次元計測用のターゲットを表すが、これに限られず、商品、貨物、試料等を識別するための標識も含まれる。また、ＨＳＩ色空間とは、色相（Ｈ：Ｈｕｅ）・彩度（Ｓ：Ｓａｔｕｒａｔｉｏｎ）・明度（Ｉ：Ｉｎｔｅｎｓｉｔｙ）を変数とする座標（ＨＳＩ）で色彩を表現するもので、典型的には円筒座標を用いて、色相Ｈを円周方向、彩度Ｓを半径方向、明度Ｉを高さ方向で表現する。このように構成すると、隣接する色彩で所定値以上の差異があるので、隣接する色彩を識別し易くなり、コードの読み誤りを生じ難いように選択された色彩のカラーコードを有するカラーコード付き標識を提供できる。

また、第２の態様に係るカラーコード付き標識ＣＴは、第１の態様において、カラーコードパターンＰ３の色彩は、少なくとも色相、彩度、明度のいずれか１つを変数として変化させ、色相を変数とする場合は、所定値が色相差で表され、彩度を変数とする場合は、所定値が彩度差で表され、明度を変数とする場合は所定値が明度差で表される。

ここにおいて、カラーコードパターンＰ３の色彩は、色相、彩度、明度のいずれか１つを変数として変化させれば良いが、２つの変数を組み合わせても良く、３つの変数を組み合わせても良い。所定値は色彩検出の分解能によるが、例えば、色相（０〜３６０°で表す場合）では、５°以上（色相数が７２以下）が好ましく、１０°以上（色相数が３６以下）がより好ましく、２０°以上（色相数が１８以下）が更に好ましく（カラーコード付き標識ＣＴが５×５のパターンに相当）、彩度（０〜１の範囲で表して）では、０．２以上（彩度数が５以下）が好ましく、０．３３以上（彩度数が３以下）がより好ましく、明度（０〜２５５の範囲で表して）では、１６以上（明度数が１６以下）が好ましく、３２以上（明度数が８以下）がより好ましく、６４以上（明度数が４以下）が更に好ましい。

また、第３の態様に係るカラーコード付き標識ＣＴ１は、第１の態様において、例えば図１に示すように、基準色パターンＰ２の色彩は、ＨＳＩ色空間において隣接する色彩同士の色相差がほぼ等しくなるように選択され、カラーコードパターンＰ３の色彩は、基準色パターンＰ２の色彩を含み、ＨＳＩ色空間において隣接する色彩同士の色相差がほぼ等しくなるように選択される。

ここにおいて、色相差がほぼ等しくなるように選択するのは、色相が誤り無く明確に識別できるように指向するためなので、カラーコード数をｎとすると、隣接する色相間の間隔を等間隔に３６０°／ｎとする（このようにすると最小間隔を最大にできる）のが好ましく、ほぼ等しくの意味、すなわち、ずれの範囲は±３６０°／３ｎ以下が好ましく、±３６０°／６ｎ以下がより好ましく、±３６０°／１２ｎ以下がさらに好ましい。このように構成すると、同一のカラーコード数で隣接する色彩同士の色相差を最大に設定できるので、コードの読み誤りが生じ難くなる。

また、第４の態様に係るカラーコード付き標識は、第１の態様において、例えば図２４に示すように、ＨＳＩ色空間から一部の色相を除いて擬似ＨＳＩ色空間を構成し、基準色パターンＰ２の色彩は、擬似ＨＳＩ色空間において隣接する色彩同士の色相差がほぼ等しくなるように選択され、カラーコードパターンＰ３の色彩は、基準色パターンＰ２の色彩を含み、擬似ＨＳＩ色空間において隣接する色彩同士の色相差がほぼ等しくなるように選択される。

ここにおいて、一部の色相として、例えば、明度の低いＢｌｕｅ系，Ｐｕｒｐｌｅ系の色相が除かれる。明度の低い部分は検出光量が小さくなるので、他の部分に比較してコードの読み誤りが生じ易い。また、色相の標準偏差が大きい部分の色相を除いて、コードの読み誤りを生じ難くしても良い。また、隣接するカラーコード色間の一部の色相を除いて、隣接するカラーコード色同士の差異を明確化しても良い。このように構成すると、比較的コードの読み誤りが生じ易い一部の色相を除いてカラーコードパターンを構成するので、又は隣接色相間の差異を明確化するので、コードの識別誤りを低減できる。

また、第５の態様に係るカラーコード付き標識ＣＴ１は、第１ないし第４の態様のいずれかにおいて、例えば図１に示すように、カラーコードパターンＰ３は、選択された色彩数と同一数で等しい面積の単位エリアを有し、これらの単位エリアの色彩は全て異なる。
このように構成すると、カラーコードパターンＰ３の単位エリアの数と選択された色彩数（カラーコード数）を等しくするという条件を課すので、全てのカラーコード色がカラーコードパターンＰ３に使用されるため、各単位エリア間で色を相対比較することにより、識別コードを決定することができ、信頼性を上げることができる。また、各単位エリアの面積を全て同じにする条件を追加するので、異なる識別コードをもつカラーコード付きターゲットＣＴ１間でも各色の占有する面積が同じになるため、カラーコード付きターゲットＣＴ１を画像中から検出するのが容易になる。

また、第６の態様に係るカラーコード付き標識ＣＴは、第１ないし第５の態様のいずれかにおいて、基準色パターンＰ２の色彩は１色以上で構成され、カラーコードパターンＰ３の色彩は、基準色パターンＰ２の色彩を含み、３色以上で構成される。
このように構成すると、基準色パターンＰ２の色彩は少なくとも１色あるので、色彩の色ずれに対応でき、コードの識別誤りを低減できる。また、カラーコードパターンＰ３の色彩は３色以上あるので、カラーコードパターンＰ３の単位エリアの色彩は全て異なるという条件を課しても、３^３＝２７以上のコードを実現でき、実用的である。

また、第７の態様に係るカラーコード付き標識ＣＴ１は、第１ないし第６の態様のいずれかにおいて、例えば図１に示すように、位置検出用パターンＰ１には、再帰反射性のレトロターゲットが用いられる。
このように構成すると、位置検出用パターンからの検出光量が大きくなるので、カラーコード付きターゲットＣＴ１の位置の検出が容易になる。

また、第８の態様に係るカラーコード付き標識ＣＴは、第１ないし第７の態様のいずれかにおいて、カラーコード付き標識ＣＴは矩形のシートに形成され、シートの表面に位置検出用パターンＰ１が配置され、基準色パターンＰ２とカラーコードパターンＰ３が印刷され、シートの裏面に接着剤が塗布されているか磁気シートが設けられている。
ここにおいて、磁気シートを設ける場合には、裏面が磁気シートであれば良く、磁気シート自体の表面に位置検出用パターンＰ１を配置し、基準色パターンＰ２とカラーコードパターンＰ３を印刷しても良く、また、裏面の一部に磁気シートが設けられていても良い。このように構成すると、測定対象物にカラーコード付き標識ＣＴを容易に貼付等でき、ターゲット設置の作業性が向上する。なおカラーコード付き標識を特定せず用いる場合の符号をＣＴとする。

上記課題を解決するために、本発明の第９の態様に係るカラーコード抽出手段１００は、例えば図４に示すように、撮影画像の色彩又は測定対象物各部からの反射光の波長をＨＳＩ色空間の色彩に変換してＨＳＩ画像データを取得するＨＳＩ変換部３０と、撮影画像又はＨＳＩ画像データからカラーコード付き標識ＣＴの位置検出用パターンＰ１とカラーコードパターンＰ３とを抽出する抽出部４１と、抽出部４１で抽出されたカラーコード付き標識ＣＴのカラーコードパターンＰ３から、カラーコード付き標識ＣＴの識別コードをＨＳＩ色空間における色相により判別する識別コード判別部４６とを備える。

ここにおいて、ＨＳＩ色空間の色彩に変換する処理は、典型的には撮影画像の色彩をＣＣＤカメラ等で撮影されたＲＧＢ色空間から人間の知覚に近い表色系であるマンセル表色系（ＨＳＩ色空間）へ変換する処理であるが、これに限られず、例えば、受光された測定対象物の各部分からの反射光の波長を検出し、その波長（波長スペクトルを含む）をＨＳＩ色空間に変換しても良い。また、ＨＳＩ色空間の色彩に変換した後にＨＳＩ画像データからカラーコードパターン等を抽出しても良く、撮影画像からカラーコードパターン等を抽出した後にＨＳＩ色空間の色彩に変換しても良い。このように構成すると、カラーコードの判別に画像処理を行ない易いＨＳＩ色空間を用いるので、カラーコードの読み誤りが生じ難い自動検出処理技術を提供できる。

上記課題を解決するために、本発明の第１０の態様に係る三次元計測システム５００は、例えば図８に示すように、第９の態様に係るカラーコード抽出手段１００と、面内に計測位置を示すための位置検出用パターンＰ１と、標識を識別するためのカラーコードパターンＰ３とを有するカラーコード付き標識ＣＴを含むように少なくとも２方向から測定対象物１の撮影画像を撮影する画像撮影装置１０と、カラーコード抽出手段１００により抽出されたカラーコード付き標識の位置座標と識別コードに基づいて、測定対象物１表面の三次元座標を計測する三次元計測部５０とを備え、撮影画像はＲＧＢ色空間の色彩で表現され、ＨＳＩ変換部３０は撮影画像の色彩をＲＧＢ色空間の色彩からＨＳＩ色空間の色彩に変換する。

ここにおいて、少なくとも２方向からの撮影画像は、ステレオカメラを用いて１以上の位置から撮影されても良く、１台のカメラの位置を移動して２以上の方向から撮影されても良い。このように構成すると、カラーコードの読み誤りが生じ難い自動検出処理技術を用いるので、信頼性が高い三次元計測システムを提供できる。また、三次元形状の計測は測定対象物１の撮影された表面形状の全部又は一部についてなされれば良い。カラーコード付きターゲットＣＴのコードを判別して利用することにより、同定作業を自動化することができ、画像撮影から三次元計測まで自動化が可能な三次元計測システムを提供できる。

本発明によれば、コードの読み誤りが生じ難いように選択された色彩のカラーコードを有するカラーコード付き標識及びその自動検出処理技術を提供できる。

以下に図面に基づき本発明の実施の形態について説明する。ここでは、カラーコード付き標識が三次元計測用カラーコード付きターゲットである例について説明する。

［カラーコード付きターゲット］
図１に、第１の実施の形態によるカラーコード付きターゲットの例を示す。図１は全体が正方形の形状で、カラーコード部の単位エリアＣ１〜Ｃ６が６個のカラーコード付きターゲットである。図１のカラーコード付きターゲットＣＴ１は、位置検出用パターン（レトロターゲット部）Ｐ１、基準色パターン（基準色部）Ｐ２、カラーコードパターン（カラーコード部）Ｐ３、予備パターン（予備部）Ｐ４で構成されている。これら、位置検出用パターンＰ１、基準色パターンＰ２、カラーコードパターンＰ３、予備パターンＰ４はカラーコード付きターゲットＣＴ１内の所定の位置に配置される。すなわち、基準色パターンＰ２、カラーコードパターンＰ３、予備パターンＰ４は位置検出用パターンＰ１に対して所定の位置関係に配置される。

レトロターゲット部Ｐ１は、レトロターゲット自体の検出用、その重心検出用、カラーコード付きターゲットＣＴ１の位置と方向（傾斜方向）検出用、カラーコードパターン領域検出用として使用される。図１では位置検出用パターンＰ１がカラーコード付きターゲットＣＴ１の三隅（左上、右上、左下の隅）に設けられ、白い円の部分に、入射した方向に光を返す特性を持つ再帰性反射材を用いたレトロターゲットが使用されている。

基準色部Ｐ２は、照明やカメラ等の撮影条件による色のずれに対応するために、相対比較時の参照用、色ずれを補正するためのカラーキャリブレーション用として使用される。さらに、基準色部Ｐ２は、簡易な方法で作成されたカラーコード付きターゲットＣＴ１の色彩補正用として使用できる。例えば、色管理がなされていないカラーブリンター（インクジェット・レーザー・昇華型等のプリンタ）で印刷したカラーコード付きターゲットＣＴ１を使用する場合は、使用プリンタ等で色彩に個体差が出るが、基準色部Ｐ２とカラーコード部Ｐ３の色を相対比較し補正することで、個体差の影響を押さえることができる。図１では、基準色部Ｐ２は左上のレトロターゲット部Ｐ１の周囲の３つの単位エリアＲ１〜Ｒ３に配置されて、３つの基準色として、例えば、光の三原色であるＲｅｄ，Ｇｒｅｅｎ，Ｂｌｕｅが使用される。

カラーコード部Ｐ３は、その単位エリアＣ１〜Ｃ６への配色の組み合わせによってコードを表現する。コードに使用するカラーコード色の数により表現可能なコード数が変化する。例えば、カラーコード色数がｎの場合、図１のカラーコード付きターゲットＣＴ１では、カラーコード部Ｐ３の単位エリアＣ１〜Ｃ６が６個のため、ｎ^６通りのコードを表せる。そして、カラーコード色数を増やせばコード数を増加できる。信頼度を上げるため、他の単位エリアに使用されている色を重複して使用しないという条件を課した場合でも、ｎ！通り（ｎ＝６の場合、コード数は、６×５×４×３×２×１＝７２０コード）のコードを表現できる。かかる条件を課すると、コード読み取りの誤りを減らすことができる。さらに、カラーコード部Ｐ３の単位エリアの数とコード数を等しくするという条件を課すと、全てのカラーコード色がカラーコードパターンＰ３に使用されるため、基準色パターンＰ２との比較のみで無く、カラーコードパターンＰ３の各単位エリア間で色を相対比較することにより、各単位エリアの色彩を確認して識別コードを決定することができ、信頼性を上げることができる。また、カラーコード部Ｐ３の各単位エリアの面積を全て同じにする条件を追加すると、異なる識別コードをもつカラーコード付きターゲットＣＴ１間でも各色の占有する面積が同じになるため、カラーコードパターン全体からの検出光からはほぼ同様な分散値やヒストグラムが得られ、また、単位エリア間の境界は等間隔に繰り返され（本形態の場合はカラーコード付きターゲットＣＴ１の中心位置の周りにスキャンすれば等間隔に繰り返される）、明確な色彩差が検出されるので、カラーコード付きターゲットＣＴ１を画像中から検出するのが容易になる。

予備部Ｐ４は、カラーコード付きターゲットＣＴ１の方向検出用と色ずれのキャリブレーション用として使用する。ターゲットＣＴ１の四隅の内、一カ所だけレトロターゲットが配置されない箇所があり、これをターゲットＣＴ１の方向（傾斜）検出用に使用できる。このように予備部Ｐ４は白色パターン等のレトロターゲットと異なるパターンであれば良い。したがって、予備部には目視でコードを確認するための番号などの文字列を印刷しても良く、また、バーコード等のコード領域としても使用しても良い。また、検出精度を上げるために、テンプレートマッチング用のテンプレートパターンとして使用することも可能である。また、コード読み取り誤りをチェックするためのチェックサム用として使用することも可能である。例えば、７２０通り３桁の数字で表されるコードの３数字にチェックサム用の１数字を加えると１の桁が所定の値になる等である。

また、カラーコード付きターゲットＣＴ１は、矩形のシートの表面に印刷され、シートの裏面には接着剤が塗布されているか磁気シートが設けられている。接着剤の場合はカラーコード付きターゲットを測定対象物１（図８参照）にたやすく貼付でき、磁気シートの場合は測定対象物１が鉄等の磁性材料から成る場合にたやすく付着でき、いずれの場合もターゲット設置の作業性が向上する。

図２にＨＳＩ色空間における基準色とカラーコード色の色相環上の配置を示す。このようにカラーコード付きターゲットＣＴ１の基準色とカラーコード色に、ＨＳＩ色空間の色相環上に示す色を採用した。ＨＳＩ色空間では、色相（Ｈｕｅ）・彩度（Ｓａｔｕｒａｔｉｏｎ）・明度（Ｉｎｔｅｎｓｉｔｙ）として色を扱うため、色を用いた画像処理が行い易くなる。例えば、基準色の色彩は光の三原色とし、カラーコード色は、基準色のＲｅｄ，Ｇｒｅｅｎ，Ｂｌｕｅの３色に各基準色の中間のＹｅｌｌｏｗ，Ｃｙａｎ，Ｍａｇｅｎｔａの３色を加えた６色とする。カラーコードパターンの色彩は、ＨＳＩ色空間において隣接する色彩同士の色相差がほぼ等しくなるように選択される。このようにＨＳＩ色空間で、基準色と基準色の真中の色を選択した理由は、簡便な処理で、色分類を高い精度で行うためである。色相差がほぼ等しくなるように選択するのは、色相が誤り無く明確に識別できることを指向するためなので、カラーコード数をｎとすると、隣接する色相間の間隔を等間隔に３６０°／ｎとする（このようにすると最小間隔を最大にできる）のが好ましく、本実施の形態ではｎ＝６で、間隔を６０°とした。色相のずれの範囲は±３６０°／３ｎ＝２０°以下が好ましく、±３６０°／６ｎ＝１０°以下がより好ましく、±３６０°／１２ｎ＝５°以下がさらに好ましい。基準色部Ｐ２の単位エリアＲ１〜Ｒ３における基準色の配置については全てのカラーコード付きターゲットＣＴ１に共通であり、カラーコード色部Ｐ３の単位エリアＣ１〜Ｃ６におけるカラーコード色の配置については個別のカラーコード付きターゲットＣＴ１で異なるものとなる。

図３にＲＧＢ色空間とＨＳＩ色空間を比較して示す。（ａ）にＲＧＢ色空間を、（ｂ）にＨＳＩ色空間を示す。色彩は、ＲＧＢ色空間では直交座標で表現され、ＨＳＩ色空間では円筒座標で、色相Ｈが円周方向（角度）に、彩度Ｓが半径方向に、明度Ｉが高さ方向に表現される。

〔カラーコード抽出手段〕
図４にカラーコード抽出手段の構成例を示す。カラーコード抽出手段１００は、撮影画像の色彩をＨＳＩ色空間の色彩に変換するＨＳＩ変換部３０、カラーコード付きターゲットＣＴ１を抽出（レトロターゲット部Ｐ１、基準色部Ｐ２、カラーコード部Ｐ３を抽出）する抽出部４１及びそのカラーコードを判別する識別コード判別部４６により構成される。ＨＳＩ変換部３０はＨＳＩ画像データ記憶部３１を有する。抽出部４１は、レトロターゲット検出処理部１１０、レトロターゲットグループ化処理部１２０、カラーコード検出処理部１３０、画像・カラーパターン記憶部１４０を有する。また、識別コード判別部４６は色相関係判定部３２１とコード変換処理部３２２を有する。

また、１０はカラーコード付きターゲットを含む測定対象物１を撮影する画像撮影装置で、ＣＣＤステレオカメラ等が使用される。ＣＣＤカメラでは通常、色彩はＲＧＢフィルターを通して検出されるので、撮影画像はＲＧＢ色空間で知覚される。１３は画像撮影装置１０で撮影されたステレオ画像又は単写真画像を記憶する画像データ記憶部である。また、１５０は抽出部４１で抽出されたカラーコード付き標識ＣＴ１の位置検出用パターンＰ１の位置座標と識別コード判別部４６で判別された識別コードとを関連付けて記憶する標識情報記憶部であり、標識情報記憶部１５０に記憶されたデータは、標定部４４で標定に用いられ、三次元位置計測部５０で測定対象物１表面の三次元座標又は三次元形状の測定に用いられる。

ＨＳＩ変換部３０は、ＨＳＩ変換処理を行う。ＨＳＩ変換処理とは、測定対象物１の撮影画像の色彩をＨＳＩ色空間の色彩に変換する処理である。典型的には、入力画像をＲＧＢ色空間から人間の知覚に近い表色系であるマンセル表色系（ＨＳＩ色空間）へ変換する。ＨＳＩ変換処理された画像は、ＨＳＩ画像データ記憶部３１に記憶される。

レトロターゲット検出処理部１１０はレトロターゲットの検出処理を行なう。レトロターゲット検出処理部１１０では、ＨＳＩ画像データ記憶部３１に記憶されたＨＳＩ変換された画像から、位置検出用パターンＰ１としての特に高明度のレトロターゲットパターンを検出し、その位置座標を求める。

レトロターゲットグループ化処理部１２０はレトロターゲットのグループ化処理を行なう。すなわち、レトロターゲット検出処理部１１０で検出したレトロターゲットが同じカラーコード付きターゲットＣＴ１に属すると推定されたもの（例えば位置座標が同じカラーコード付きターゲットＣＴ１の領域に入ると推定されたもの）を同一グループに属する候補としてグループ化する。

カラーコード検出処理部１３０は、グループ化の確認処理とカラーコードの検出処理を行う。このため、同じカラーコード付きターゲットに属すると推定されたレトロターゲットのグループ候補から、当該カラーコード付きターゲットＣＴ１の領域と方向を検出し、当該カラーコード付きターゲットＣＴ１を構成するレトロターゲットの組み合わせを確認するカラーコード付きターゲット領域方向検出処理部１３１と、カラーコード付きターゲットＣＴ１の基準色部Ｐ２、カラーコード部Ｐ３における色彩の配列、画像中の測定対象物１の色彩を検出する色彩検出処理部３１１と、基準色パターンＰ２を参照してカラーコード部Ｐ３及び画像中の測定対象物１の色彩を補正する色彩補正部３１２とを有する。

画像・カラーパターン記憶部１４０は、カラーコード付きターゲットＣＴについて、レトロターゲット部Ｐ１の位置座標、カラーコード部Ｐ３における色彩の配列等を記憶するターゲット位置・色彩配列記憶部１４１と、使用が予定される複数種類のカラーコード付きターゲットＣＴについて、カラーコード付きターゲットＣＴの種別を示す種別コード番号を記録し、さらに、各種のカラーコード付きターゲットＣＴについて、パターン配置とコード番号の対応関係を記録するカラーコード付きターゲット対応表１４２を有する。

識別コード判別部４６は、カラーコード部Ｐ３における色彩の配列から識別コードを判別し、識別コードに変換する。このため、カラーコード検出処理部１３０で検出されたカラーコードが所定の色相関係を満たしているかを判別する色相関係判定部３２１と、カラーコード付きターゲットＣＴ１のカラーコード部Ｐ３における色彩の配列から識別コードを判別し、識別コードに変換する（コード番号を付与する）コード変換処理部３２２を有する。

〔カラーコード抽出フロー〕
図５にカラーコード自動検出処理フロー例を示す。まず、画像撮影装置１０でＣＣＤステレオカメラ等でカラー撮影画像を撮影し、取得する（Ｓ０１０）。ＣＣＤカメラでは通常、色彩をＲＧＢフィルターを通して検出するので、撮影画像はＲＧＢ色空間で知覚され、画像データ記憶部１３にはＲＧＢ座標データが入力される。

次にＨＳＩ変換部３０にてＨＳＩ変換処理を行う（Ｓ０２０）。ＨＳＩ変換モデルには、六角錐モデル、双六角錐モデル、円錐モデル等があり、本方法で用いたモデルは前田らが提唱する円錐モデルを使用した（「ＨＳＩ変換とマルチスペクトルデータへの応用」、前田、村井、写真測量とリモートセンシング、Ｖｏｌ．２６，Ｎｏ３，１９８７，Ｐ２１−３０、参照）。変換式を、式（１−１）〜（１−８）に示す。
ＨＳＩ変換処理された画像データは画像の位置座標と対応付けてＨＳＩ画像データ記憶部３１に記憶される。

次に、レトロターゲット検出処理部１１０にてレトロターゲットの検出処理を行なう（Ｓ０３０）。レトロターゲットの検出処理は、画像中から円形で近傍より明るい部分を、ＨＳＩ変換処理したデータより明度成分を用いて検出し、重心位置を求める。

図６はレトロターゲット２００を用いた重心位置検出を説明するための図で、図６（Ａ１）は内円部２０４の明度が明るく、外円部２０６の明度が暗いレトロターゲット、図６（Ａ２）は（Ａ１）のレトロターゲットの直径方向の明度分布図、図６（Ｂ１）は内円部２０４の明度が暗く、外円部２０６の明度が明るいレトロターゲット、図６（Ｂ２）は（Ｂ１）のレトロターゲットの直径方向の明度分布図を示している。レトロターゲットが（Ａ１）のように内円部２０４の明度が明るい場合は、測定対象物１の撮影画像において重心位置での反射光量が多く明るい部分になっているため、画像の光量分布が（Ａ２）のようになり、光量分布の閾値Ｔｏからレトロターゲットの内円部２０４や中心位置を求めることが可能となる。

ターゲットの存在範囲が決定されると、例えばモーメント法によって重心位置を算出する。例えば、図６（Ａ１）に表記されたレトロターゲット２００の平面座標を（ｘ、ｙ）とする。そして、レトロターゲット２００の明度が、しきい値Ｔｏ以上のｘ、ｙ方向の点について、式（２−１）、式（２−２）を演算する。

ｘｇ＝Σ｛ｘ×ｆ（ｘ、ｙ）｝／Σｆ（ｘ、ｙ） −−−−（２−１）
ｙｇ＝Σ｛ｙ×ｆ（ｘ、ｙ）｝／Σｆ（ｘ、ｙ） −−−−（２−２）
（ｘｇ、ｙｇ）：重心位置の座標、ｆ（ｘ、ｙ）：（ｘ、ｙ）座標上の明度値

なお、図６（Ｂ１）に表記されたレトロターゲット２００の場合は、明度がしきい値Ｔｏ以下のｘ、ｙ方向の点について、式（２−１）、式（２−２）を演算する。これにより、レトロターゲット２００の重心位置が求まる。

図５に戻り、レトロターゲット検出処理部１１０は、カラー画像中から検出した複数のレトロターゲットの座標をターゲット位置・色彩配列記憶部１４１に保存する。

次に、レトロターゲットグループ化処理部１２０にてグループ化処理を行なう（Ｓ０４０）。グループ化処理は、カラーコード付きターゲットを構成するレトロターゲットの組み合わせを決める処理である。レトロターゲットグループ化処理部１２０は、ターゲット位置・色彩配列記憶部１４１に保存されたレトロターゲットの座標から、同じカラーコード付きターゲットＣＴ１に属すると推定されるレトロターゲットのグループの候補を検出して（例えばレトロターゲット検出処理で求めた重心点から、重心点間距離が近い三つの重心点を選ぶ）、ターゲット位置・色彩配列記憶部１４１にその組み合わせをグループとして保存する。

次に、カラーコード検出処理部１３０は、グループ化の確認処理とカラーコードの検出処理を行う。まず、カラーコード付きターゲット領域方向検出処理部１３１は、レトロターゲットグループ化処理部１２０でグループ化されたグループの候補について、グループを構成する３個のレトロターゲット間の距離（１：１：√２（ルート２）の関係）及び３個のレトロターゲットを結ぶ三角形の頂角（９０°，４５°，４５°）を計測することにより、３個のレトロターゲットが１つのカラーコード付きターゲットＣＴ１を構成するグループに属することを確認し、３個のレトロターゲットにカラーコード付きターゲットＣＴ１のグループ番号（仮）を付してターゲット位置・色彩配列記憶部１４１に保存する。この際にカラーコード付きターゲット領域方向検出処理部１３１が検出したカラーコード付きターゲットＣＴ１の寸法と傾きを補正した（例えば、左上のレトロターゲットの位置を基準にして、傾きのない実寸と同じ寸法の辺を有する正方形のパターンに補正した）カラーコード付きターゲットの正視画像も併せてターゲット位置・色彩配列記憶部１４１に保存する。また、３個のレトロターゲット間の距離と頂角が上記条件を満たさなかった場合には、グループを構成しないと判断して、グループ化処理（Ｓ０４０）に戻り、別の組み合わせを探す。

次に、色彩検出処理部３１１は、グループ番号が付されたカラーコード付きターゲットの候補について、正視画像を用いて、カラーコード付きターゲットＣＴ１の基準色部Ｐ２、カラーコード部Ｐ３における色彩の配列、画像中の測定対象物１の色彩を検出する。次に、色彩補正部３１２は、基準色パターンＰ２を参照してカラーコード部Ｐ３及び画像中の測定対象物１の色彩を補正する。

図７は、色彩検出処理部３１１における基準色部Ｐ２及びカラーコード部Ｐ３の色彩配列検出を説明するための図である。図７（ａ）に、カラーコード付きターゲットＣＴ１における色彩配列の例を示す。この例では、基準色部の単位エリアＲ１〜Ｒ３の色彩をそれぞれ、Ｒｅｄ，Ｇｒｅｅｎ，Ｂｌｕｅとし、カラーコード部の単位エリアＣ１〜Ｃ６の色彩をそれぞれ、Ｒｅｄ，Ｙｅｌｌｏｗ，Ｇｒｅｅｎ，Ｃｙａｎ，Ｂｌｕｅ，Ｍａｇｅｎｔａとする。図７（ｂ）に各単位エリアＲ１〜Ｒ３、Ｃ１〜Ｃ６について色彩をＲＧＢ色空間で表した場合の光の強度を示す。各単位エリアＲ１〜Ｒ３、Ｃ１〜Ｃ６のＲＧＢ成分は、ＲＧＢ座標の１成分又は２成分で表現され、６つのパターンに分かれる。図７（ｃ）に各単位エリアＲ１〜Ｒ３、Ｃ１〜Ｃ６について色彩をＨＳＩ色空間で表した場合の色相を示す。ＨＳＩ色空間では、単位エリアＲ１〜Ｒ３、Ｃ１〜Ｃ６の色彩は色相すなわち角度θで表現され、等間隔の６つの角度に分かれる。図７（ａ）でカラーコード付きターゲットＣＴ１の画像上の色彩検出を、矢印Ｙ１で示すように、Ｒ１〜Ｒ３をほぼ均等に横切るようにスキャンし、更に矢印Ｙ２〜Ｙ４で示すように、それぞれＣ１〜Ｃ２，Ｃ３〜Ｃ４，Ｃ５〜Ｃ６をほぼ均等に横切るようにスキャンすると、ＲＧＢ色空間では図７（ｂ）を左から右に移動するようなＲＧＢの光強度の時間的又は空間的推移パターンが得られ（スキャン時間をｔで示す）、ＨＳＩ色空間では図７（ｃ）を左から右に移動するような色相θの時間的又は空間的推移パターンが得られる（スキャン時間をｔで示す）。これらの推移パターンはＲ１〜Ｒ３については全てのカラーコード付きターゲットＣＴ１に共通であり、Ｃ１〜Ｃ６については個別のカラーコード付きターゲットＣＴ１で異なるものとなる。個別のカラーコード付きターゲットＣＴ１について検出された色相θの時間的又は空間的推移パターンは、ターゲット位置・色彩配列記憶部１４１に記憶される。

色彩補正部３１２では、基準色として採用した色彩Ｒｅｄ，Ｇｒｅｅｎ，Ｂｌｕｅと基準となる色相θ_Ｒ＝０°、θ_Ｇ＝１２０°、θ_Ｂ＝２４０°との対応表を有し、個別のカラーコード付きターゲットＣＴ１について検出された色相θの時間的又は空間的推移パターンにおける基準色部Ｐ２の単位エリアの色相がθ_Ｒ＝０°、θ_Ｇ＝１２０°、θ_Ｂ＝２４０°からずれて検出された場合に（ずれ量をそれぞれδθ_Ｒ、δθ_Ｇ、δθ_Ｂとする）、当該カラーコード付きターゲットＣＴ１の基準色部Ｐ２の単位エリアの色相をθ_Ｒ＝０°、θ_Ｇ＝１２０°、θ_Ｂ＝２４０°と補正し、カラーコード部Ｐ３のカラーコード色として採用した色彩について、Ｒｅｄ，Ｇｒｅｅｎ，Ｂｌｕｅについてはδθ_Ｒ、δθ_Ｇ、δθ_Ｂ差し引き、Ｙｅｌｌｏｗ，Ｃｙａｎ，Ｍａｇｅｎｔａについては、色相θ_Ｙ、θ_Ｃ、θ_Ｍを例えば（δθ_Ｒ＋δθ_Ｇ）／２、（δθ_Ｇ＋δθ_Ｂ）／２、（δθ_Ｂ＋δθ_Ｒ）／２差し引き、さらに、それぞれ、６０°、１８０°、３００°に近い値（例えば±１０°以内）であれば、θ_Ｙ＝６０°、θ_Ｃ＝１８０°、θ_Ｍ＝３００°に補正する。近い値でなければ、前者の補正のみを行い、後者の補正を行わない。このカラーコード色の補正を色相θの時間的又は空間的推移パターンに適用し、補正された色相θの時間的又は空間的推移パターンは、ターゲット位置・色彩配列記憶部１４１に記憶される。

図５に戻り、次に、識別コード判定部４６では、カラーコード部Ｐ３における色彩の配列から識別コードを判別し、識別コードに変換する。色相関係判定部３２１は、カラーコード判定処理を行う（Ｓ０５０）。すなわち、グループ化処理でグループ化された重心点を正方形の３隅に含んで形成されるカラーコード付きターゲットＣＴ１について、基準色部Ｐ２及びカラーコード部Ｐ３の色相が所定の色相関係（カラーコード付きターゲットとしての条件）を満たしているかを判定する。例えば、基準色部Ｐ２の３箇所（Ｒ１・Ｒ２・Ｒ３）の色相Ｈ成分値を比較して、Ｈ成分値の大小関係が成り立っているかを条件式（３−１）、（３−２）で判定する。ただし、Ｈ成分値は角度で値が循環しているので比較を行う際は注意が必要である。
Ｈ_Ｒ１≦Ｈ_Ｒ２≦Ｈ_Ｒ３・・・（３−１）
Ｈ_Ｒ３≦Ｈ_Ｒ１＋２π・・・（３−２）

次に、色相関係判定部３２１は、カラーコード部Ｐ３の色がＲｅｄ，Ｇｒｅｅｎ，Ｂｌｕｅ，Ｙｅｌｌｏｗ，Ｃｙａｎ，Ｍａｇｅｎｔａであるか、また、それぞれの色が１単位エリアにのみ使用されているか（重複して使用されていないか）を判定する。この判定処理には、基準色部Ｐ２とカラーコード部Ｐ３のＨ成分値の比較を条件式（４−１）〜（４−６）により行う。この比較も、値が循環している色相値の比較なので注意が必要である。
Ｈ_Ｒ１−ｍ≦Ｒｅｄ≦Ｈ_Ｒ１＋ｍ・・・・（４−１）
Ｈ_Ｒ２−ｍ≦Ｇｒｅｅｎ≦Ｈ_Ｒ２＋ｍ・・（４−２）
Ｈ_Ｒ３−ｍ≦Ｂｌｕｅ≦Ｈ_Ｒ３＋ｍ・・・（４−３）
Ｈ_Ｒ１＋ｍ≦Ｙｅｌｌｏｗ≦Ｈ_Ｒ２−ｍ・・（４−４）
Ｈ_Ｒ２＋ｍ≦Ｃｙａｎ≦Ｈ_Ｒ３−ｍ・・・（４−５）
Ｈ_Ｒ３＋ｍ≦Ｍａｇｅｎｔａ≦Ｈ_Ｒ１＋２π−ｍ・・（４−６）
ｍはマージン用の定数である。

カラーコード判定処理（Ｓ０５０）でカラーコード付きターゲットとしての条件を満たすと判定された場合（Ｙｅｓの場合）は、識別コード判別部４６のコード変換処理部３２２でコード変換処理を行い（Ｓ０６０）、カラーコード付きターゲットとしての条件を満たさないと判定された場合（Ｎｏの場合）は、グループ化処理（Ｓ０４０）へ戻り、新たな重心点を用いてグループ化処理する。

コード変換処理（Ｓ０６０）は、カラーコード付きターゲットＣＴ１のカラーコード部Ｐ３からコードを読み取る処理である。コード変換処理部３２２は、色彩検出処理部３１１で色彩配列が検出され、色彩補正部３１２で補正された時間的又は空間的推移パターンに基いて、カラーコード部Ｐ３の色彩配列を求める。コード変換処理部３２２は、カラーコードの７２０種類の色彩配列とコード値（番号）の対応関係を記録する画像・カラーパターン記憶部１４０のコード変換テーブル（カラーコード付きターゲット対応表）１４２を参照してコード値を求める。

次に、カラーコード抽出手段１００は、全てのレトロターゲットの重心点データに対して処理を行ったか否かを判定する（Ｓ０７０）。求めた重心点データに未処理のものがあれば（Ｎｏの場合）、グループ化処理（Ｓ０４０）へ戻る。全ての重心点に対して処理が行なわれたら（Ｙｅｓの場合）、カラーコード自動検出処理を終了する。抽出部４１で抽出されたカラーコード付き標識ＣＴ１の位置検出用パターンＰ１の位置座標と識別コード判別部４６で判別された識別コードとは関連付けられて、標識情報記憶部１５０に記憶される。

［システム構成］
図８に本実施の形態における三次元計測システムの全体構成例のブロック図を示す。三次元計測装置５００は、画像撮影装置１０、撮影画像データ記憶部１３、画像対応付け・標定処理部４０、三次元位置計測部５０、表示装置６０を備える。このうち、撮影画像データ記憶部１３、画像対応付け・標定処理部４０、三次元位置計測部５０は例えばコンピュータで構成されている。測定対象物１は、施工対象物・製作対象物となる有体物で、例えば建築物、工場等の各種工作物や人物・風景等が該当する。

画像撮影装置１０は、測定対象物１の画像を取得するもので、例えば汎用のデジタルカメラ（ＣＣＤカメラ等）を使用し、カメラで撮影された測定対象物１の画像に対してレンズ収差の補償を行なう装置と組合せて用いられる。撮影画像はステレオカメラを用いて撮影される又は１台のカメラの位置を移動して撮影される。撮影画像データ記憶部１３は、測定対象物１の画像を記憶するもので、例えば画像撮影装置１０で撮影された測定対象物１の単写真画像やステレオ画像を記憶する。

画像対応付け・標定処理部４０は、測定対象物１に係る一対の撮影画像を対応づけて標定やマッチングを行なうもので、コード付き標識を抽出し、そのコードを識別して画像間でのターゲット位置の対応関係を決定したり、標定処理を行う。また、測定対象物１表面の三次元計測に際しステレオマッチングを行なう。抽出部４１、標定部４４、識別コード判別部４６、配列部４７、モデル画像形成・記憶部４８、標識情報記憶部１５０を有する。

撮影画像の色彩をＨＳＩ色空間の色彩に変換するＨＳＩ変換部３０、カラーコード付きターゲットＣＴ１を抽出する抽出部４１及びそのカラーコードを判別する識別コード判別部４６はカラーコード抽出手段１００についての説明を参照されたい。ＨＳＩ変換部３０はＨＳＩ画像データ記憶部３１を有する。抽出部４１は、レトロターゲット検出処理部１１０、レトロターゲットグループ化処理部１２０、カラーコード検出処理部１３０、画像・カラーパターン記憶部１４０を有する。識別コード判別部４６は色相関係判定部３２１、コード変換処理部３２２を有する。

配列部４７は、画像撮影装置１０で各撮影画像が少なくとも４個のカラーコード付きターゲットＣＴ１を含むように、かつ隣接し合う撮影画像間では少なくとも２個のカラーコード付きターゲットＣＴ１を共有するようにして撮影した一連の撮影画像について、隣接し合う撮影画像で共有されたカラーコード付きターゲットＣＴ１の識別コードが一致するように、一連の撮影画像の配列を定める。

ここでは、標識情報記憶部１５０に記憶されたカラーコード付きターゲットＣＴ１の情報を用いて撮影画像の配列を定めるものとする。ステレオカメラで撮影したステレオ画像（単写真をペアで撮影した近似する画像を含む）の場合には、抽出部４１によって、撮影画像データ記憶部１３に登録された画像のうち、識別コードが同じカラーコード付きターゲットＣＴ１の配置が近似する一対の画像を抽出し、ステレオペアとなる左右画像の組を設定する。ステレオペアの左右画像において対応点探索をしなくても、識別コードが同じカラーコード付きターゲットＣＴ１のレトロターゲット同士で対応点が構成されている。これに対し、個別の単写真で一連の撮影画像が構成される場合には、撮影画像に含まれているカラーコード付きターゲットＣＴ１のコードを読み取り、隣り合う画像で同じカラーコード付きターゲットＣＴ１を共有するように一連の撮影画像の配列を定める。配列部４７で定められた一連の画像の配列は標識情報記憶部１５０に記憶される。

標定部４４は、複数の画像に関する撮影位置と傾きに基づき、相互標定やバンドル調整などの標定処理を行い、外部標定要素すなわち撮影したカメラの位置、傾きを求める。ステレオ画像を用いる場合には、識別コードが同じカラーコード付きターゲットＣＴ１のレトロターゲット同士で対応点が構成されているので、これを用いて相互標定を行なう。相互標定には６点以上の対応点が必要であるが、左右画像に２以上のカラーコード付きターゲットＣＴ１があれば６以上のレトロターゲットが含まれるので相互標定が可能である。これに対し、個別の単写真で一連の撮影画像が構成される場合には、複数の撮影画像に含まれているカラーコード付きターゲットＣＴ１のレトロターゲットの画像上の座標に基き、バンドル調整で標定処理を行う。また、相互標定されたステレオ画像についても、一連のステレオ画像が構成される場合には、複数の撮影画像に含まれているカラーコード付きターゲットＣＴ１のレトロターゲットの画像上の座標に基き、バンドル調整を行う。

ステレオ画像を用いる場合には、モデル画像形成・記憶部４８は、標定部４４によって標定処理されたパラメータ（撮影したカメラの位置、傾き）から、モデル画像を形成し、記憶する。ここで、モデル画像とは、偏位修正画像ともいい、一対の撮影画像である左右画像の対応点を同一エピポーラライン上に再配置し、立体視可能な画像に再配置したものである。これに対し、個別の単写真で一連の撮影画像が構成される場合には、モデル画像を形成しなくても良い。

三次元位置計測部５０は、標定部４４で測定対象物１に対して標定された画像データ、又はステレオ画像を用いる場合にはモデル画像形成・記憶部４８で形成・記憶された測定対象物１のモデル画像データに基づき、測定対象物１の三次元座標データを計測し、任意の方向からの測定対象物１の立体的二次元画像を作成するもので、三次元座標データ演算部５１、三次元座標データ記憶部５３、立体的二次元画像形成部５４、立体的二次元画像表示部５７を有する。

三次元座標データ演算部５１は、標定部４４で求められた又はモデル画像形成・記憶部４８で形成・記憶されたカラーコード付きターゲットＣＴ１の位置座標データに基づいて、測定対象物１の表面の三次元座標データを求める。三次元座標データ記憶部５３には、三次元座標データ演算部５１で演算された測定対象物１の三次元座標データが記憶される。

立体的二次元画像形成部５４は、三次元座標データから測定対象物１の立体的二次元画像を形成する。ここで、立体的二次元画像とは、測定対象物１の形状を三次元座標により、例えば、任意の方向からの斜視画像が得られるように、立体的に表現したものである。立体的二次元画像表示部５７は、立体的二次元画像形成部５４で形成された測定対象物１の画像を、例えば、鳥瞰画像等の立体感テクスチャ付き画像を用いて、立体感のある二次元画像で表示装置６０に表示する。表示装置６０には、液晶表示装置やＣＲＴ等の画像表示装置を使用できる。

［システムの動作］
図９に、三次元計測システムの動作を説明するフローチャート例を示す。まず、撮影対象物１にコード付きターゲットを貼付する（Ｓ００５）。コード付きターゲットを貼付する位置は、計測位置となる。本実施の形態では、コード付きターゲットとしてカラーコード付きターゲットＣＴ１を用いるものとする。次に、ＣＣＤカメラ等の画像撮影装置１０を用いて撮影した測定対象物１の画像（処理対象の画像は、重複領域を含む多数の画像や、所定の基線長で撮影されたステレオ画像や単写真画像の集合であっても良い）を撮影し（Ｓ０１０）、撮影した画像を撮影画像データ記憶部１３に登録する（Ｓ０１５）。次に、ＨＳＩ変換部３０において、撮影画像の色彩をＨＳＩ色空間の色彩に変換する（Ｓ０２０）。

次に、画像対応付け・標定処理部４０は、抽出部４１において、撮影画像データ記憶部１３に登録された撮影画像からカラーコード付きターゲットＣＴ１を抽出する（Ｓ０２５）。次に、識別コード判別部４６において、抽出されたカラーコード付きターゲットＣＴ１の識別コードを判別する（Ｓ０５０）。抽出部４１で抽出されたカラーコード付き標識ＣＴ１の位置検出用パターンＰ１の位置座標と識別コード判別部４６で判別された識別コードとは関連付けられて、標識情報記憶部１５０に記憶される。

なお、配列部４７は、標識情報記憶部１５０に記憶されたカラーコード付きターゲットＣＴ１の情報を用いて撮影画像の配列を定める。これにより、ステレオペア画像や一連の撮影画像が導き出される。

次に、標定部４４によって、標定処理を行なう（Ｓ０８０）。ここで、標定処理とは、複数の画像に関する撮影位置と傾きに基づき、外部標定要素すなわち撮影したカメラの位置、傾きを求める処理である。標定処理により、撮影したカメラの位置、傾き、対応点の位置、計測精度を求めることができる。ステレオ画像を用いる場合には、識別コードが同じカラーコード付きターゲットＣＴ１のレトロターゲットの画像上の座標を用いて相互標定を行なう。これに対し、個別の単写真で一連の撮影画像が構成される場合には、複数の撮影画像に含まれているカラーコード付きターゲットＣＴ１のレトロターゲットの画像上の座標に基き、バンドル調整で標定処理を行う。また、相互標定されたステレオ画像についても、一連のステレオ画像が構成される場合には、複数の撮影画像に含まれているカラーコード付きターゲットＣＴ１のレトロターゲットの画像上の座標に基き、バンドル調整を行う。

次に、ステレオ画像を用いる場合には、モデル画像形成・記憶部４８は、標定部４４で標定された外部標定要素に基づいて偏位修正処理により一対の偏位修正画像（モデル画像）を形成する（Ｓ０８５）。偏位修正画像とは、左右画像のエピポーララインＥＰを横一線となるように並べ替えた画像である。従って、左右画像のリファレンスポイントＲＦは同一エピポーラライン（水平線）ＥＰ上に再配列される。標定処理の結果を用いてモデル画像を形成すると、このような偏位修正画像を得られる。なお、標定処理の結果得られたモデル画像を用いて再度標定処理を行なうことにより計測精度が向上する。これに対し、個別の単写真で一連の撮影画像が構成される場合には、モデル画像を形成しなくても良い。

次に、三次元位置計測部５０において、三次元座標データ演算部５１の演算処理にて測定対象物１の三次元座標が求められる（Ｓ０９０）。三次元座標データ演算部５１にて求められた三次元座標は三次元座標データ記憶部５３に記憶される。三次元座標データ記憶部５３から読み込まれた三次元座標から、立体的二次元画像形成部５４にて測定対象物１の立体的二次元画像を作成し、立体的二次元画像表示部５７は、作成された測定対象物１の立体的二次元画像を、例えば立体感テクスチャ付き画像等として表示装置６０に表示する。

［実験結果］
図１０は室外のワゴン車（測定対象物）にカラーコード付きターゲットＣＴ１を配置し、自動検出した同定結果を示す図である。ワゴン車の全周計測を行った。画像枚数は３６画像で、ステレオペア数は３２ペアである。カラーコード付きターゲットＣＴ１の三つのレトロターゲットに番号が振られているのがわかる。自動検出のみで同定作業を行うことが出来た。また、カラーコード付きターゲットＣＴ１のコードを誤った変換や、カラーコード付きターゲットＣＴ１以外の箇所をカラーコード付きターゲットＣＴ１として検出する等の誤検出は０であった。なお、図１０では、予備部Ｐ４を目視用にコード番号を数字で表示するために使用した。図１０の拡大図にはコード番号として数字５５が例示されている。コード数は三桁（Ａ５５）になるが、三桁で表示すると文字が小さくなり認識が難しくなるので下二桁（５５）で表記した。

図１１は２０ｍ×５ｍの範囲の床（測定対象物）にカラーコード付きターゲットＣＴ１を配置し、自動検出した同定結果である。画像枚数は、２１４画像で、ステレオペア数は１９４ペアである。１画像の撮影範囲は、約１．５ｍ×１．５ｍで、撮影位置を約０．５ｍ間隔で移動して、撮影画像が重なり合うように多重撮影した。カラーコード付きターゲットＣＴ１を自動同定し、床に配置したカラーコード付きターゲットＣＴ１の三次元座標位置を算出した結果である。白色の点がカラーコードの三次元位置で約３００点ある。マニュアルでの同定作業時間の約６時間と比較して、自動検出では１６．７％の処理時間の１時間で同定処理をおこなうことが出来た。カラーコード付きターゲット像数２０４９個の全てを検出し、検出率１００％を達成した。誤検出は０であった。本実験では、太陽光の変化に対する検出率の変化を見るため、１７時から１８時までの間に晴れの状況下で撮影したデータを用いた。検出率１００％を達成でき安定的にカラーコード付きターゲットＣＴ１を検出できた。

図１２は車のフロントバンパー（測定対象物）にカラーコード付きターゲットＣＴ１を配置し、自動検出した後に三次元の面として解析した結果を示す図である。自動検出のみで同定作業を行うことが出来、誤検出は０であった。本実験では、点での処理に加え、面での解析も行った。１４ペア２８画像（ランダムパターン照射画像を含めると５６画像）によるモデル画像接続でも問題なくモデル画像間の接続が出来、バンパーモデリング図を作成できた。

以上説明したように、本実施の形態によれば、コードの読み誤りが生じ難いように選択された色彩のカラーコードを有するカラーコード付き標識及びその自動検出処理技術を提供することができる。

〔第２の実施の形態〕
図１３に第２の実施の形態におけるカラーコード付きターゲットＣＴ２の例を示す。図１３のカラーコード付きターゲットＣＴ２は、カラーコード部Ｐ３の単位エリアを正方形で小さくし、９箇所にしたものである。この例では、カラーコードに使用する色を９色にするとコード数は、９の階乗＝３６２８８０コードを表現できる。

図１４に第２の実施の形態における基準色とカラーコード色の色相環上の配置を示す。例えば、基準色の単位エリアＲ１〜Ｒ３の色彩は、Ｒｅｄ，Ｇｒｅｅｎ，Ｂｌｕｅとし、カラーコード部の単位エリアＣ１〜Ｃの９色彩は、基準色及び基準色間に２色ずつを均等間隔に選択し、それぞれ、Ｒｅｄ，Ｙｅｌｌｏｗ１（Ｒｅｄ側），Ｙｅｌｌｏｗ２（Ｇｒｅｅｎ側），Ｇｒｅｅｎ，Ｃｙａｎ１（Ｇｒｅｅｎ側），Ｃｙａｎ２（Ｂｌｕｅ側），Ｂｌｕｅ，Ｍａｇｅｎｔａ１（Ｂｌｕｅ側），Ｍａｇｅｎｔａ２（Ｒｅｄ側）とする。隣接するカラーコード色の色相（角度）間の間隔は全て３６０°／（ｎ＝９）＝４０°で均一である。

図１５は第２の実施の形態における基準色部Ｐ２及びカラーコード部Ｐ３における色彩配列検出を説明するための図である。図１５（ａ）に、カラーコード付きターゲットＣＴ２における色彩配列の例を示す。矢印Ｙ１〜Ｙ４に沿ってスキャンすると、Ｒ１〜Ｒ３、Ｃ１〜Ｃ９の順にスキャンできるように配置した。図１５（ｂ）に各単位エリアＲ１〜Ｒ３、Ｃ１〜Ｃ９について色彩をＲＧＢ色空間で表した場合の光の強度を示す。各単位エリアＲ１〜Ｒ３、Ｃ１〜Ｃ９のＲＧＢ成分は、ＲＧＢ座標の１成分又は２成分で表現され、９つのパターンに分かれる。図１５（ｃ）に各単位エリアＲ１〜Ｒ３、Ｃ１〜Ｃ９について色彩をＨＳＩ色空間で表した場合の色相を示す。ＨＳＩ色空間では、単位エリアＲ１〜Ｒ３、Ｃ１〜Ｃ９の色彩は色相すなわち角度θで表現され、９つの角度に分かれる。図１５（ａ）でカラーコード付きターゲットＣＴ２の基準色部Ｐ２及びカラーコード部Ｐ３の色相検出を、矢印Ｙ１で示すように、Ｒ１〜Ｒ３をほぼ均等に横切るようにスキャンし、更に矢印Ｙ２〜Ｙ４で示すように、それぞれＣ１〜Ｃ３，Ｃ４〜Ｃ６，Ｃ７〜Ｃ９をほぼ均等に横切るようにスキャンすると、ＲＧＢ色空間では図１５（ｂ）を左から右に移動するようなＲＧＢの光強度の時間的又は空間的推移パターンが得られ、ＨＳＩ色空間では図１５（ｃ）を左から右に移動するような色相θの時間的又は空間的推移パターンが得られる。これらの推移パターンはＲ１〜Ｒ３については全てのカラーコード付きターゲットＣＴ２に共通であり、Ｃ１〜Ｃ９については個別のカラーコード付きターゲットＣＴ２で異なるものとなる。個別のカラーコード付きターゲットＣＴ２について検出された色相θの時間的又は空間的推移パターンは、ターゲット位置・色彩配列記憶部１４１に記憶される。また、色相のずれの範囲は±４０／３°以下が好ましく、±４０／６°以下がより好ましく、±４０／１２°以下がさらに好ましい。それ以外は、第１の実施の形態と同様に処理が出来る。

図１６に、基準色部及びカラーコード部の色相検出のための別のスキャン例を示す。矢印Ｙ５〜Ｙ１６に示すように、赤十字の旗の十字を囲むようにスキャンを行なっても、Ｒ１〜Ｒ３，Ｃ１〜Ｃ３，Ｃ４〜Ｃ６，Ｃ７〜Ｃ９をほぼ均等に横切るようにスキャンできるので、ＨＳＩ色空間において、図１５（ｃ）と同様な色相θの時間的又は空間的推移パターンが得られる。

〔第３の実施の形態〕
図１７に第３の実施の形態におけるカラーコード付きターゲットＣＴ３の例を示す。光の三原色以外の色を基準色に含む例である。ＨＳＩ色空間におけるカラーコード色の色相環上で基準色を４色（Ｒ１〜Ｒ４）、カラーコード色を基準色を含む８色（Ｃ１〜Ｃ８）とし、隣接するカラーコード色の色相（角度）間の間隔を均一とする。基準部Ｐ２とカラーコード部Ｐ３を合わせた単位エリアの数及び形状は第２の実施の形態と同じであるが、基準色部Ｐ２の単位エリアは４箇所で、２つのレトロターゲット部Ｐ１に挟まれた部分に配置され、カラーコード部Ｐ３の単位エリアは８箇所で、レトロターゲット部Ｐ１、基準色部Ｐ２、予備部Ｐ４を除いた残りの位置に配置される。

図１８に第３の実施の形態における基準色とカラーコード色の色相環上の配置を示す。ＨＳＩ色空間におけるカラーコード色の色相環上で基準色を４色、カラーコード色を８色とする、例えば、基準色の色相（角度）をＲ１（θ_１１＝０°，Ｒｅｄ）、Ｒ２（θ_１３＝９０°）、Ｒ３（θ_１５＝１８０°，Ｃｙａｎ）、Ｒ４（θ_１７＝２７０°）とし、カラーコード色の色相（角度）を、Ｃ１（θ_１１＝０°，Ｒｅｄ）、Ｃ２（θ_１２＝４５°）、Ｃ３（θ_１３＝９０°）、Ｃ４（θ_１４＝１３５°）、Ｃ５（θ_１５＝１８０°，Ｃｙａｎ）、Ｃ６（θ_１６＝２２５°）、Ｃ７（θ_１７＝２７０°）、Ｃ８（θ_１８＝３１５°）とするものである。隣接するカラーコード色の色相（角度）間の間隔は全て３６０°／（ｎ＝８）＝４５°で均一である。コード判別のためのスキャンは例えば第２の実施の形態と同様に行なう。色彩補正は、まず、基準色のずれδθ_１１，δθ_１３，δθ_１５，δθ_１７を補正し、中間のカラーコード色については、例えばδθ_１２に対しては（δθ_１１＋δθ_１３）／２を差し引いて行なう。また、色相のずれの範囲は±１５°以下が好ましく、±７．５°以下がより好ましく、±３．７５°以下がさらに好ましい。

〔第４の実施の形態〕
図１９に第４の実施の形態におけるカラーコード付きターゲットＣＴ４の例を示す。基準色を２色（Ｒ１，Ｒ２）、カラーコード色を基準色を含む４色（Ｃ１〜Ｃ４）とし、隣接するカラーコード色の色相（角度）間の間隔を均一とする例である。カラーコード付きターゲットＣＴ４を左上部と右下部に２分し、それぞれ、レトロターゲット部Ｐ１と予備部Ｐ４を除く残りの部分を基準色部Ｐ２とカラーコード部Ｐ３とする配置である。基準色の２色と、基準色に間に各１色の合計４色のカラーコード色を用いて、単位エリアに使用されている色を重複して使用しないという条件を課した場合に２４通り（４×３×２×１）のコードを表現できる。

図２０に第４の実施の形態における基準色とカラーコード色の色相環上の配置を示す。ＨＳＩ色空間におけるカラーコード色の色相環上で基準色を２色、カラーコード色を４色とする、例えば、基準色の色相（角度）をＲ１（θ_２１＝０°，Ｒｅｄ）、Ｒ２（θ_２３＝１８０°，Ｃｙａｎ）とし、カラーコード色の色相（角度）を、Ｃ１（θ_２１＝０°，Ｒｅｄ）、Ｃ２（θ_２２＝９０°）、Ｃ３（θ_２３＝１８０°，Ｃｙａｎ）、Ｃ４（θ_２４＝２７０°）とするものである。隣接するカラーコード色の色相（角度）間の間隔は全て３６０°／（ｎ＝４）＝９０°で均一である。コード判別のためのスキャンは例えば第１の実施の形態と同様に行なう。色彩補正は、まず、基準色のずれδθ_２１，δθ_２３を補正し、中間のカラーコード色については、例えばδθ_２２に対しては（δθ_２１＋δθ_２３）／２を差し引いて行なう。また、色相のずれの範囲は±３０°以下が好ましく、±１５°以下がより好ましく、±７．５°以下がさらに好ましい。

〔第５の実施の形態〕
図２１に第５の実施の形態におけるカラーコード付きターゲットＣＴ５の例を示す。基準色を１色（Ｒ１）、カラーコード色を基準色を含む３色（Ｃ１〜Ｃ３）とし、隣接するカラーコード色の色相（角度）間の間隔を均一とする例である。カラーコード付きターゲットＣＴ５を上部、右部、下部、左部に４分し、上部のレトロターゲット部Ｐ１を除く残りの部分を基準色部Ｐ２とし、他部のレトロターゲット部Ｐ１と予備部Ｐ４を除く残りの部分をカラーコード部Ｐ３とする配置である。基準色の１色と、基準色の他に２色の合計３色のカラーコード色を用いて、２７通り（３^３）のコードを表現できる。

図２２に第５の実施の形態における基準色とカラーコード色の色相環上の配置を示す。ＨＳＩ色空間におけるカラーコード色の色相環上で基準色を１色、カラーコード色を３色とする、すなわち、基準色の色相（角度）をＲ１（θ_３１＝０°，Ｒｅｄ）とし、カラーコード色の色相（角度）を、Ｃ１（θ_３１＝０°，Ｒｅｄ）、Ｃ２（θ_３２＝１２０°，Ｇｒｅｅｎ），Ｃ３（θ_３３＝２４０°，Ｂｌｕｅ）とするものである。隣接するカラーコード色の色相（角度）間の間隔は全て３６０°／（ｎ＝３）＝１２０°で均一である。コード判別のためのスキャンは例えば第１の実施の形態と同様に行なう。色彩補正は、まず、基準色のずれδθ_３１を補正し、中間のカラーコード色については、例えば一様にδθ_３１を差し引いて行なう。また、色相のずれの範囲は±４０°以下が好ましく、±２０°以下がより好ましく、±１０°以下がさらに好ましい。

〔第６の実施の形態〕
第１から第５の実施の形態では、基準色やカラーコード色に純粋なＲｅｄ，Ｇｒｅｅｎ，Ｂｌｕｅ等を用いる例を説明したが、第６の実施の形態では、これらの基準色やカラーコード色を一様にずらして用いる場合を説明する。

第１の実施の形態における図２の色相環を基にして、基準色及びカラーコード色の色相を一様にΔθ（例えば５°）増やす。このようにしても、カラーコードパターンの色彩は、ＨＳＩ色空間において隣接する色彩同士が、均等間隔に配置されるので、色彩を判別し易く、コードの読み誤りを生じ難い。また、基準色及びカラーコード色の色相を一様にΔθ（例えば５°）減じても同様であり、第２〜第５の実施の形態にも同様に適用できる。

〔第７の実施の形態〕
図２３に第７の実施の形態におけるカラーコード付きターゲットＣＴ６の例を示す。図２３のカラーコード付きターゲットＣＴ６は、図１のカラーコード付きターゲットＣＴ１のレトロターゲット部Ｐ１、基準色部Ｐ２、カラーコード部Ｐ３、予備部Ｐ４における単位エリアの間に黒色の分離領域部Ｐ５を形成したものである。これにより、単位エリア間の境界が明瞭になり、単位エリアの領域の判別やカラーの判別での誤りを減らす事が出来る。

〔第８の実施の形態〕
以上の実施の形態では、基準色及びカラーコード色がＨＳＩ色空間において色相間隔が均等になるように選択する例を説明したが、第７の実施の形態では色相間隔が均等でない場合を説明する。

図２４は、ＨＳＩ色空間において一部の色相を除いた色相環を説明するための図である。例えば、印刷装置による色再現領域には限界があるため、明度が低い色や、色相の標準偏差が大きい場合（色が不安定な場合）があり、隣接色相の判別の精度が低い場合が生じる。そこで、明度が低い色や、色相の標準偏差が大きい色を除いて、それ以外の色を使用することにより、色相の判別の精度を上げることが出来る。例えば、ＨＳＩ色空間において、Ｂｌｕｅ系とＰｕｒｐｌｅ系の色相の明度は他の部分において低く、検出系の感度が劣る場合には、色彩の検出に他の部分と比較して誤りが生じる可能性があり得る。また、Ｍａｇｅｎｔａ系では波長に不連続な部分があるので不安定となるおそれがある。

図２５に、第８の実施の形態における基準色とカラーコード色の色相環上の配置を示す。図２の色相環から、Ｂｌｕｅ系とＭａｇｅｎｔａ系の部分が除かれている。基準色を４色、カラーコード色を基準色を含む８色とし、隣接するカラーコード色の色相間隔を均一にする。

図２６に、一部の色相を除いて構成された擬似色相環上の基準色とカラーコード色の配置を示す。ＨＳＩ色空間における擬似色相環上で基準色を４色、カラーコード色を８色とする、例えば、基準色の色相（角度）をθ_１１＝０°（Ｒｅｄ）、θ_１３＝９０°（Ｙｅｌｌｏｗ）、θ_１５＝１８０°（Ｇｒｅｅｎ）、θ_１７＝２７０°（Ｃｙａｎ）とし、カラーコード色の色相（角度）を、θ_１１＝０°（Ｒｅｄ）、θ_１２＝４５°、θ_１３＝９０°（Ｙｅｌｌｏｗ）、θ_１４＝１３５°、θ_１５＝１８０°（Ｇｒｅｅｎ）、θ_１６＝２２５°、θ_１７＝２７０°（Ｃｙａｎ）、θ_１８＝３１５°とするものである。隣接するカラーコード色の色相（角度）間の間隔は全て擬似色相環上で３６０°／（ｎ＝８）＝４５°で均一である。基準部Ｐ２及びカラーコード部Ｐ３の配置、スキャンは例えば第２の実施の形態と同様である。また、ずれの範囲は擬似色相環上で±１５°以下が好ましく、±７．５°以下がより好ましく、±３．７５°以下がさらに好ましい。

〔第９の実施の形態〕
第８の実施の形態では、ＨＳＩ色空間において、色相環からＢｌｕｅ系とＭａｇｅｎｔａ系の部分を除く例を説明したが、第８の実施の形態では、ＨＳＩ色空間から隣接し合うカラーコード色の中間の各領域においてそれぞれ一部の色相を除いて擬似ＨＳＩ色空間を構成する例を説明する。隣接し合うカラーコード色間の差異を明確にできる。

図２７は本実施の形態における基準色とカラーコード色の色相環上の配置を説明するための図である。隣接し合うカラーコード色の中間の各領域においてそれぞれ一部の色相を除いて擬似ＨＳＩ色空間を構成する。除かれる色相の領域（図中に斜線で示す）をトータル５０％とする例である。カラーコード色の角度は２倍に広がる。このため、隣接し合うカラーコード色間の差異が明確になり、色彩の検出時に誤りが生じる可能性が低くなる。

〔第１０の実施の形態〕
以上の実施の形態では、色相を変数としてカラーコードを表現する例を説明したが、第１０の実施の形態では、色相以外の彩度や明度を変数とする例について説明する。例えばＹｅｌｌｏｗでは、目視でも、黄色、茶色、暗褐色と明度で識別可能であり、茶色と灰色がかった茶色と彩度で識別可能である。ＨＳＩ色空間をコンピュータで識別すれば、さらに多階層の識別が可能である。また、例えば、基準色には明度の高い色を採用し、カラーコード色には明度の高い色から明度の低い色まで５〜６色分類し、また、例えば、基準色には彩度が高い色を採用し、カラーコード色には彩度の高い色から彩度の低い色まで２〜３色分類し識別することが出来る。また、以上の実施の形態では色相を９色まで識別する例を説明したが、コンピュータの能力を生かせば、さらに多色の識別が可能である。さらに色相、彩度、明度を組み合わせてカラーコードを構成すれば、識別可能なカラーコード数を大いに増加することができる。

〔第１１の実施の形態〕
第１の実施の形態では、カラーコード抽出手段は、ＣＣＤカメラのＲＧＢフィルター等を通してＲＧＢ色空間で取得された撮影画像の色彩をＨＳＩ色空間に変換する例を説明したが、第１１の実施の形態では、受光装置は測定対象物の各部に貼付されたカラーコード付きターゲットＣＴから反射された光の波長を検出し、検出された光の波長に基づいてＨＳＩ色空間の色相に変換してＨＳＩ画像データを取得する例を説明する。

反射光が単色光であれば、光の波長とＨＳＩ色空間の色相は１：１に対応しているので、例えば、波長と色相との対応表を記憶し、この対応表に基づいて変換すれば良い。しかし、基準色部Ｐ２及びカラーコード部Ｐ３の色彩は印刷により付されるので、反射光が複数の波長やスペクトルを示す場合がある。このような場合には、例えば、対応表には各カラーコードの反射光のスペクトルとＨＳＩ色空間の色相との対応関係を記憶し、この対応関係に基づいて色相を求めるようにすれば良い。また、色彩輝度計で直接色相を計測してＨＳＩ色空間の色相としても良い。

〔第１２の実施の形態〕
測定対象物の表面積が大きいときには、複数の撮影画像を繋ぎ合わせて３次元計測を行う。第１２の実施の形態では、複数のステレオ画像を繋ぎ合わせて計測する場合の１例を説明する。

図２８に左右のステレオカメラでオーバーラップ撮影される撮影画像の例を示す。図２８（ａ）にステレオ画像のオーバーラップの様子を示す。計測される基本範囲は、２枚（一対）のステレオ撮影画像のオーバーラップ範囲である。このとき、４個のコード付きターゲットＣＴがオーバーラップ範囲に入るように撮影すると、ステレオ画像を用いて４個のコード付きターゲットＣＴ部分を含んだ三次元測定が可能である。また、図２８（ｂ）に隣接し合うステレオ画像間のオーバーラップのさせ方の例を示す。この様に、上下左右方向のいずれかに２個のコード付きターゲットＣＴを含んでオーバーラップするように一連の画像を撮影すると、一連の画像を繋いで広域にわたる非接触三次元測定の自動化が可能になる。一連の画像の配列は配列部４７で定められ、標識情報記憶部１５０に記憶される。なお、この手法は第１の実施の形態にも適用可能である。

［第１３の実施の形態］
以上の実施の形態では、カラーコード付きターゲットを測定対象物に貼付ける例を説明したが、第１３の実施の形態では、カラーコード付きターゲットＣＴの貼付に代えて、投影装置１２により撮影対象物１にカラーコード付きターゲットパターンを投影する例を説明する。

図２９に第１２の実施の形態における三次元計測システム５００Ａの全体構成例のブロック図を示す。第１の実施の形態（図８参照）における三次元計測システム５００に比して、投影装置１２と標識パターン処理部４９が追加されており、その他の構成は第１の実施の形態と同様である。投影装置１２は測定対象物１に位置検出用パターンなど各種パターンを投影し、画像撮影装置１０で投影された各種パターンを撮影して、標定や三次元計測に利用する。標識パターン処理部４９は画像データを受け取って各種パターンを検出し、また、各種パターンを発生させ、投影装置１２から投影させる。

図２９において、１０は画像撮影装置であるステレオカメラ、１２は投影装置（プロジェクター）、４９は標識パターン処理部である。標識パターン処理部４９は、図３０（ａ）に示すように、画像撮影装置１０から撮影画像を入力し、測定対象物１の特徴点や貼付けられたターゲットなどのパターンを検出するパターン検出部４９１、基準パターン、リファレンスポイント、ワイヤフレームパターンなどの投影パターンを形成するパターン形成部４９２、パターン形成部４９２で形成された投影パターンを投影装置１２から投影させるパターン投影部４９３を有する。

図３０に撮影対象物１に投影する基準パターンの例を示す。図３０（ｂ）はドット状のパターンであり、図３０（ｃ）は格子状のパターンである。格子は直交する縦横の線が等間隔に配置され、ドットは格子の交点に相当する位置に配置されている。図３０（ａ）に図３０（ｂ）の基準パターンを撮影対象物１に投影した例を示す。本実施の形態では、ドットの位置又は格子の位置に、例えばカラーコード付きターゲットパターンが縦方向に２ドット間隔、横方向に４ドット間隔で配置され、残りのドットの位置に、参照用としてレトロターゲットが配置され、撮影対象物１に投影されるものとする。なお、基準パターンに代えてドットや網目がランダムに配置されたランダムパターンを用いても良い。

なお、以上の処理を全自動化することも可能である。その場合、貼り付け作業は行わず、すべてプロジェクター投射のパターンのみにより計測する。投影装置１２と標識パターン処理部４９以外のシステム構成及び、カラーコード付き標識設置以外のプロセスは第１の実施の形態と同様である。

［第１４の実施の形態］
以上の実施の形態では、ターゲットとしてカラーコード付きターゲットのみを用いて標定及び三次元計測を行なう例を説明したが、第１４の実施の形態では、カラーコード付きターゲットとレトロターゲットを共に用いて標定及び三次元計測を行なう例を説明する。例えば、主要な点についてはカラーコード付きターゲットで計測を行い、多数の点を用いてより詳細な三次元座標を得たい場合には、そこにレトロターゲットを配置して計測を行う。第１の実施の形態と異なる点を主に説明する。

図３１に本実施の形態における三次元計測システム５００Ｂの全体構成例のブロック図を示す。第１の実施の形態（図８参照）における三次元計測システム５００に比して、画像対応付け・標定処理部４０内に、基準点設定部４２、対応点探索部４３、対応点指示部４５が追加される。特徴点には、測定対象物１に貼付されたカラーコード付きターゲットとレトロターゲットを使用する。カラーコード付きターゲットについては対応点探索をしなくても対応点が求められる。レトロターゲットについては、基準点設定部４２は、ステレオ画像の一方の画像（基準画像）上に指定された点の近傍であって、特徴点に適合する点を探索し、当該特徴点に適合する点を基準点に設定する。対応点探索部４３は、ステレオ画像の他方の画像（探索画像）上における、基準点設定部４２により設定された基準点と対応する対応点を定める。対応点指示部４５は、操作者が基準画像の特徴点近傍の点を指示した場合に、基準画像上での基準点及び探索画像上での対応点を定める。これにより、レトロターゲットについても基準点と対応点が定まり、標定が可能になる。また、レトロターゲットについて、基準点設定部４２、対応点探索部４３、対応点指示部４５を用いてステレオマッチングを行なうことにより、三次元計測が可能になる。この場合でも、カラーコード付きターゲットの位置座標を基準にレトロターゲットの位置座標を定めることができ、多数のレトロターゲットの存在により、詳細な三次元測定値を得ることができる。

図３２に、本実施の形態における三次元計測システムの動作を説明するフローチャート例を示す。識別コードを判別する（Ｓ０５０）までは、図９に示すフローチャートと同様なため、説明を省略する。識別コードを判別した後に、ステレオペアの設定に移行する。抽出部４１によって、撮影画像データ記憶部１３に登録された画像のうち、識別コードが同じカラーコード付きターゲットＣＴの配置が近似する一対の画像を抽出し、ステレオペアとなる左右画像の組を設定する（Ｓ０７２）。次に、基準点設定部４２によって、ステレオ画像の一方の画像（基準画像）上に対応点指示部４５で指定された点の近傍であって、レトロターゲットが貼付された特徴点に適合する点を探索し、当該特徴点に適合する点を基準点に設定する（Ｓ０７４）。また、対応点探索部４３によって、ステレオ画像の他方の画像（探索画像）上における、基準点と対応する対応点を定める（Ｓ０７６）。これにより、レトロターゲットについても、基準点と対応点が定まり、標定が可能になる。

次に、標定部４４によって、標定処理を行ない（Ｓ０８０）、モデル画像形成・記憶部４８でモデル画像を形成する（Ｓ０８５）。次に、画像対応付け・標定処理部４０にてマッチングエリアを決定し、マッチングエリアについて、基準点設定部４２、対応点探索部４３、対応点指示部４５の機能により、ステレオ計測がなされる（Ｓ０８７）。ステレオ計測には、例えば相互相関係数法を利用した画像相関処理が用いられる。これにより、レトロターゲットについても、三次元計測が可能になり、測定対象物１の三次元座標が求められる（Ｓ０９０）。この場合でも、カラーコード付きターゲットの位置座標を基準にレトロターゲットの位置座標を定めることができる。そして、より詳細な三次元測定値を得ることができる。なお、カラーコード付きターゲットＣＴで主要点の三次元座標を求め、その後に主要点の座標データを用いてレトロターゲットで詳細な三次元計測を行っても良い。その他の処理フローは第１の実施の形態と同様である。

以上、本発明の実施の形態について説明したが、本発明は以上の実施の形態に限定されるものではなく、実施の形態に種々変更を加えられることは明白である。

例えば、以上の実施の形態では、カラーコード付き標識が三次元計測用カラーコード付きターゲットの例について説明したが、本発明はこれに限られず、商品、貨物、試料を識別するための標識についても適用可能である。また、以上の実施の形態ではＨＳＩ変換モデルとして前田らが提唱する円錐モデルを使用する例を説明したが、六角錐モデル、双六角錐モデル、その他のモデルを用いても良い。また、以上の実施の形態では、カラーコード数ｎが、６，８，９等の例を説明したが、２以上の任意の整数で良く、この場合に隣接する色彩同士の色相差はほぼ３６０°／ｎになるように選択されるのが好ましい。また、第５の実施の形態では、Ｂｌｕｅ系とＭａｇｅｎｔａ系を除いた擬似ＨＳＩ色相環上で隣接する色彩同士の色相差がほぼ等しくなるように選択される例を説明したが、他の部分Ｂｌｕｅ系とＣｙａｎ系を除いた擬似ＨＳＩ色相環上で隣接する色彩同士の色相差がほぼ等しくなるように選択することも可能である。また、以上の実施の形態ではカラーコードパターンの色彩に基準色パターンの色彩を含める例を説明したが、必ずしも基準色パターンを含めなくても良く、例えば基準色パターンの色相が隣り合うカラーコードパターンの色相の中間になるように選定しても良い。また、以上の実施の形態では、カラーコード部の単位エリアが四角形、正方形等のカラーコード付き標識の例を説明したが、棒状パターン、円形パターン等他の形状にしても良い。また、カラーコード抽出手段の構成、カラーコード付きターゲットの抽出のフローも変更可能である。例えば、以上の実施の形態ではＨＳＩ変換を撮影画像取得後、カラーコード付きターゲットの抽出前に行なう例を説明したが、抽出部でのカラーコード付きターゲットの抽出後、識別コード判別部での識別コードの判別前に行なっても良く、グループ化処理後、カラーコード検出処理前に行なっても良い。また、例えば色相関係判定の条件式（４−１）〜（４−６）におけるマージン用の定数ｍを色彩毎に異なる値としても良い。また、基準色、カラーコード色の色彩やコード数等も適宜変更可能である。また、カラーコード抽出手段及び三次元計測システムについても以上の実施の形態に限定されるものではなく、ＨＩＳ変換機能、カラーコード抽出機能、コード判別機能を備えれば、他の態様であっても良い。

本発明は、三次元計測用のターゲットに利用される。

第１の実施の形態によるカラーコード付きターゲットの例を示す図である。 ＨＳＩ色空間における基準色とカラーコード色の色相環上の配置を示す図である。 ＲＧＢ色空間とＨＳＩ色空間を比較して示す図である。 カラーコード抽出手段の構成例を示す図である。 カラーコード自動検出処理フロー例を示す図である。 レトロターゲットを用いた重心位置検出を説明するための図である。 第１の実施の形態における基準色部及びカラーコード部の色彩配列検出を説明するための図である。 第１の実施の形態における三次元計測システムの全体構成例のブロック図である。 第１の実施の形態における三次元計測システムの動作を説明するフローチャート例を示す図である。 室外のワゴン車にカラーコード付きターゲットを配置し、自動検出した同定結果を示す図である。 床にカラーコード付きターゲットを配置し、自動検出した同定結果を示す図である。 車のフロントバンパーにカラーコード付きターゲットを配置し、自動検出した後に三次元の面として解析した結果を示す図である。 第２の実施の形態におけるカラーコード付きターゲットの例を示す図である。 第２の実施の形態における基準色とカラーコード色の色相環上の配置を示す図である。 第２の実施の形態における基準色部及びカラーコード部における色彩配列検出を説明するための図である。 色相検出のための別のスキャン例を示す図である。 第３の実施の形態におけるカラーコード付きターゲットの例を示す図である。 第３の実施の形態における基準色とカラーコード色の色相環上の配置を示す図である。 第４の実施の形態におけるカラーコード付きターゲットの例を示す図である。 第４の実施の形態における基準色とカラーコード色の色相環上の配置を示す図である。 第５の実施の形態におけるカラーコード付きターゲットの例を示す図である。 第５の実施の形態における基準色とカラーコード色の色相環上の配置を示す図である。 第７の実施の形態におけるカラーコード付きターゲットの例を示す図である。 ＨＳＩ色空間において一部の色相を除いた色相環を説明するための図である。 第８の実施の形態における基準色とカラーコード色の色相環上の配置を説明するための図である。 一部の色相を除いて構成された擬似色相環上の基準色とカラーコード色の配置を示す図である。 第９の実施の形態における基準色とカラーコード色の色相環上の配置を説明するための図である。 オーバーラップ撮影される撮影画像の例を示す図である。 第１３の実施の形態における三次元計測システムの全体構成例のブロック図である。 撮影対象物に投影された基準パターンの例を示す図である。 第１４の実施の形態における三次元計測システムの全体構成例のブロック図である。 第１４の実施の形態における三次元計測システムの動作を説明するフローチャート例を示す図である。

符号の説明

１ 測定対象物
１０ 画像撮影装置
１２ 投影装置
１３ 画像データ記憶部
３０ ＨＳＩ変換部
３１ ＨＳＩ画像データ記憶部
４０ 画像対応付け・標定処理部
４１ 抽出部
４２ 基準点設定部
４３ 対応点探索部
４４ 標定部
４５ 対応点指示部
４６ 識別コード判別部
４７ 配列部
４８ モデル画像形成・記憶部
４９ 標識パターン処理部
５０ 三次元位置計測部
５１ 三次元座標データ演算部
５３ 三次元座標データ記憶部
５４ 立体的二次元画像形成部
５７ 立体的二次元画像表示部
６０ 表示装置
１００ カラーコード抽出手段
１１０ レトロターゲット検出処理部
１２０ レトロターゲットグループ化処理部
１３０ カラーコード検出処理部
１３１ カラーコード付きターゲット領域方向検出処理部
１４０ 画像・カラーパターン記憶部
１４１ ターゲット位置・色彩配列記憶部
１４２ カラーコード付きターゲット対応表
１４３ ＨＳＩ画像データ記憶部
１５０ 標識情報記憶部
２００ レトロターゲット
２０４ 内部円
２０６ 外部円
３１１ 色彩検出処理部
３１２ 色彩補正部
３２１ 色相関係判定部
３２２ コード変換処理部
４９１ パターン検出部
４９２ パターン形成部
４９３ パターン投影部
５００，５００Ａ，５００Ｂ 三次元計測システム
ＣＴ、ＣＴ１〜ＣＴ６ カラーコード付きターゲット
Ｈ 色相
Ｉ 明度
Ｐ１ 位置検出用パターン（レトロターゲット部）
Ｐ２ 基準色パターン（基準色部）
Ｐ３ カラーコードパターン（カラーコード部）
Ｐ４ 予備パターン（予備部）
Ｐ５ 分離領域部
Ｓ 彩度
Ｔｏ 閾値
ｔ スキャン時間
θ 色相を表す角度

Claims (9)

1. 面内に、計測位置を示すための位置検出用パターンと、色彩の基準として用いる異なる色彩が施された複数の単位エリアを有する基準色パターンと、標識を識別するための異なる色彩が施された複数の単位エリアを有するカラーコードパターンとを備え；
   前記カラーコードパターンの色彩は、ＨＳＩ色空間において隣接する色彩同士が、少なくとも色相差、彩度差、明度差のいずれか１つが所定値以上になるように選択され；
   前記基準色パターンの色彩は、前記ＨＳＩ色空間において隣接する色彩同士の色相差がほぼ等しくなるように選択され、前記カラーコードパターンの色彩は、前記基準色パターンの色彩を含み、前記ＨＳＩ色空間において隣接する色彩同士の色相差がほぼ等しくなるように選択される；
   カラーコード付き標識。
2. 面内に、計測位置を示すための位置検出用パターンと、色彩の基準として用いる異なる色彩が施された複数の単位エリアを有する基準色パターンと、標識を識別するための異なる色彩が施された複数の単位エリアを有するカラーコードパターンとを備え；
   前記カラーコードパターンの色彩は、ＨＳＩ色空間において隣接する色彩同士が、少なくとも色相差、彩度差、明度差のいずれか１つが所定値以上になるように選択され；
   前記ＨＳＩ色空間から一部の色相を除いて擬似ＨＳＩ色空間を構成し；
   前記基準色パターンの色彩は、前記擬似ＨＳＩ色空間において隣接する色彩同士の色相差がほぼ等しくなるように選択され、前記カラーコードパターンの色彩は、前記基準色パターンの色彩を含み、前記擬似ＨＳＩ色空間において隣接する色彩同士の色相差がほぼ等しくなるように選択される；
   カラーコード付き標識。
3. 前記カラーコードパターンは、前記選択された色彩数と同一数で等しい面積の単位エリアを有し、これらの単位エリアの色彩は全て異なる；
   請求項１又は請求項２に記載のカラーコード付き標識。
4. 前記基準色パターンの色彩は１色以上で構成され、前記カラーコードパターンの色彩は、前記基準色パターンの色彩を含み、３色以上で構成される；
   請求項１ないし請求項３のいずれか１項に記載のカラーコード付き標識。
5. 前記位置検出用パターンには、再帰反射性のレトロターゲットが用いられる；
   請求項１ないし請求項４のいずれか１項に記載のカラーコード付き標識。
6. 前記カラーコード付き標識は矩形のシートに形成され、前記シートの表面に前記位置検出用パターンが配置され、前記基準色パターンと前記カラーコードパターンが印刷され、前記シートの裏面に接着剤が塗布されているか磁気シートが設けられている；
   請求項１ないし請求項５のいずれか１項に記載のカラーコード付き標識。
7. カラーコード標識の画像からカラーコードを抽出するカラーコード抽出手段であって；
   前記カラーコード付き標識は、面内に、計測位置を示すための位置検出用パターンと、色彩の基準として用いる異なる色彩が施された複数の単位エリアを有する基準色パターンと、標識を識別するための異なる色彩が施された複数の単位エリアを有するカラーコードパターンとを備え；
   前記基準色パターンの色彩は、ＨＳＩ色空間において隣接する色彩同士の色相差がほぼ等しくなるように選択され、
   前記カラーコードパターンの色彩は、前記ＨＳＩ色空間において隣接する色彩同士が、少なくとも色相差、彩度差、明度差のいずれか１つが所定値以上になるように、かつ、前記基準色パターンの色彩を含み、前記ＨＳＩ色空間において隣接する色彩同士の色相差がほぼ等しくなるように選択され；
   撮影画像の色彩又は測定対象物各部からの反射光の波長を前記ＨＳＩ色空間の色彩に変換してＨＳＩ画像データを取得するＨＳＩ変換部と；
   前記撮影画像又は前記ＨＳＩ画像データから前記カラーコード付き標識の位置検出用パターンとカラーコードパターンとを抽出する抽出部と；
   前記抽出部で抽出されたカラーコード付き標識のカラーコードパターンから、前記カラーコード付き標識の識別コードを前記ＨＳＩ色空間における色相により判別する識別コード判別部と；
   前記カラーコード付き標識について、前記基準色パターン及び前記カラーコードパターンの色相が所定の色相関係を満たしているかを判定する色相関係判定部とを備える；
   カラーコード抽出手段。
8. 前記所定の色相関係は、前記基準色パターンの３箇所（Ｒ１・Ｒ２・Ｒ３）の色相Ｈ成分値を比較して、Ｈ成分値の大小関係が条件式（３−１）、（３−２）を満たし、かつ、前記カラーコードパターンのそれぞれの色のＨ成分値が条件式（４−１）〜（４−６）を満たすか否かにより判定する；
   Ｈ _Ｒ１ ≦Ｈ _Ｒ２ ≦Ｈ _Ｒ３ ・・・（３−１）
   Ｈ _Ｒ３ ≦Ｈ _Ｒ１ ＋２π・・・（３−２）
   Ｈ _Ｒ１ −ｍ≦Ｒｅｄ≦Ｈ _Ｒ１ ＋ｍ・・・・（４−１）
   Ｈ _Ｒ２ −ｍ≦Ｇｒｅｅｎ≦Ｈ _Ｒ２ ＋ｍ・・（４−２）
   Ｈ _Ｒ３ −ｍ≦Ｂｌｕｅ≦Ｈ _Ｒ３ ＋ｍ・・・（４−３）
   Ｈ _Ｒ１ ＋ｍ≦Ｙｅｌｌｏｗ≦Ｈ _Ｒ２ −ｍ・・（４−４）
   Ｈ _Ｒ２ ＋ｍ≦Ｃｙａｎ≦Ｈ _Ｒ３ −ｍ・・・（４−５）
   Ｈ _Ｒ３ ＋ｍ≦Ｍａｇｅｎｔａ≦Ｈ _Ｒ１ ＋２π−ｍ・・（４−６）；
   請求項７に記載のカラーコード抽出手段。
9. 請求項７又は請求項８に記載のカラーコード抽出手段と；
   面内に計測位置を示すための位置検出用パターンと、標識を識別するためのカラーコードパターンとを有するカラーコード付き標識を含むように少なくとも２方向から測定対象物の撮影画像を撮影する画像撮影装置と；
   前記カラーコード抽出手段により抽出されたカラーコード付き標識の位置座標と識別コードに基づいて、前記測定対象物表面の三次元座標を計測する三次元計測部とを備え；
   前記撮影画像はＲＧＢ色空間の色彩で表現され；
   前記ＨＳＩ変換部は撮影画像の色彩をＲＧＢ色空間の色彩からＨＳＩ色空間の色彩に変換する；
   三次元計測システム。