JP6195915B2

JP6195915B2 - 画像計測装置

Info

Publication number: JP6195915B2
Application number: JP2015515850A
Authority: JP
Inventors: 真一有田; 徳井　圭; 圭徳井
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 2013-05-07
Filing date: 2014-04-28
Publication date: 2017-09-13
Anticipated expiration: 2034-04-28
Also published as: JPWO2014181725A1; US10074179B2; US20160086322A1; WO2014181725A1

Description

本発明は、両眼視差を有する撮像装置を用いて、２つの物体の任意の箇所の距離を簡単に計測することが可能な画像計測装置に関するものである。

所望の領域間の距離を測りたい場合には、物差しや巻尺のような計測器を直接計測箇所に押し当てて計測する方法が一般的である。しかし、広範囲に渡る物体間の距離を計測する場合や、計測対象が動いている場合には直接計測することが困難である。例えば、電車の乗り心地や安全性を確保するため、左右のレール間の距離（軌間）をレール上の多数の箇所で計測し、規定の距離に収まっているかの検査を行う場合があるが、計測箇所が広大であるため作業が煩雑になり、全体を計測するのに膨大な時間がかかる。また、例えばスポーツにおけるフォーム確認のため、走行者の腰の高さ、つまり地面と腰の距離の変位を解析したい場合などでは、計測対象が動いているため直接計測することは困難である。そこで、非接触で所望の対象の距離を計測することが望まれている。非接触で計測する方法の一つとして、画像を用いて計測箇所を視覚的に確認しつつ計測する技術が提案されている。

下記特許文献１は、２つの撮像部を備える撮像装置を用い、両眼視差を有するペア画像から被写体の３次元モデルを生成し、ユーザーの指定する２点間の長さを算出する技術に関して開示されており、画像上で指定する２点間の実際の長さの計測が可能となる。

特開２０１１−２３２３３０号公報

しかしながら、上記特許文献１に記載の技術では被写体の３次元モデルを生成する必要があるため、カメラに対して動いている計測対象の場合には３次元モデルの生成が困難なことや被写体上の多数の点に渡り３次元位置を計算する必要があるため処理量が大きくなりシステムが大規模化するという問題がある。また、生成した３次元モデル上の２点間での距離の計測は可能であるが、曲線や平面など領域を有する対象間の距離を計測する場合には距離が最小となる計測点を抽出する作業をユーザー自身がする必要があるため、作業が煩雑になる問題がある。さらに、画角に入りきらない対象との距離の計測や、被写体とカメラの位置関係が動的に変位し、それに合わせて計測点が変位する場合は考慮されていない。

本発明は、上述の実情を鑑みてなされたもので、簡単な操作によって曲線や平面など広範囲に領域を有する対象との距離を計測することを目的とする。

本発明の一観点によれば、画像上から第１の計測領域を取得する第１の計測領域取得部と、前記画像上から前記第１の計測領域とは異なる第２の計測領域を取得する第２の計測領域取得部と、を有し、前記第１の計測領域、および、前記第２の計測領域に対応した距離情報から、前記第１の計測領域と前記第２の計測領域との距離を算出する画像計測装置であって、前記第１計測領域が画像上で変位させる入力部からの操作に応じて、前記第２計測領域において、前記第２計測領域が位置する前記画像上の輪郭、または、平面上を変位させる線領域追従部または平面領域判定部と、前記変位後の前記第１計測領域と前記線領域追従部または平面領域判定部により変位させた変位後の前記第２計測領域の距離を算出する距離算出部と、を有することを特徴とする画像計測装置が提供される。

本明細書は本願の優先権の基礎である日本国特許出願２０１３−０９７８３７号の明細書および／または図面に記載される内容を包含する。

本発明によれば、画像上で２つの領域を指定することで、非接触で簡単に２領域間の距離を得ることができる。カメラとの相対位置が変わった場合や指定した被写体がカメラの画角に入りきらないほど広範囲の対象であっても、計測箇所を追従して自動で検出するため、所望の領域間の距離を計測することが可能という効果が得られる。

本発明の一実施形態による画像計測装置を用いた画像計測システムの一構成例を示す機能ブロック図である。本発明の一実施形態による画像計測装置と撮像装置とを用いた画像計測システムの一構成例を示す機能ブロック図である。本発明の一実施形態による画像計測装置の計測部の一構成例を示す機能ブロック図である。本実施形態の画像計測装置を用い、計測したい領域を計測する場合の、撮影から計測結果確認までの測定方法を示した図である。図２の計測作業において、本実施形態の画像計測装置の各構成部で実行される処理の流れを示しており、撮影画像の取得から計測領域の算出までの処理の概要を示したフローチャート図である。（ａ）は、計測時における撮影画像を示した図であり、（ｂ）は、計測箇所の断面を示した図であり、（ｃ）は、計測位置を変更した一例を示した図であり、（ｄ）は距離計測結果の変位を示した一例である。（ａ）（ｂ）は、撮影位置が変わった場合での撮影画像を示した図である。本発明の一実施形態による画像計測装置の計測部の一構成例を示す機能ブロック図である。計測における操作手順を示しており、計測対象の撮影から計測結果の確認までの流れを示したフローチャート図である。（ａ）は、計測時における撮影画像を示した図であり、（ｂ）は、撮影位置が変わった場合での撮影画像を示した図である。距離計測結果の変位を示した一例である。異なる位置から撮影した場合の概要図及びブロックマッチングを説明する概要図である。第１または第２の３次元計測領域取得部が算出する３次元位置に関する図である。

＜第１の実施形態＞
以下、本発明に係わる画像計測技術について各実施形態を挙げ図面を参照しながら説明する。

図１Ａは、本発明の一実施形態における画像計測装置を備えた画像計測システムの概略構成例を示す機能ブロック図である。画像計測システム１０は、映像入力装置１１と画像計測装置１２とを有している。映像入力装置１１は、例えば、撮像装置１３、再生装置１４、通信・ネットワーク１５などであり、計測対象となる被写体の映像データを取得し、画像計測装置１２へ出力する。画像計測装置１２は入力された映像データから所望の２領域間の距離を算出する。本実施形態では、撮像装置１３と画像計測装置１２から構成される画像計測システムを例にして説明する。その概要構成例を示す機能ブロック図を図１Ｂに示す。なお、画像計測装置１２への映像データの入力方法はこれに制限されないものとする。

本実施形態における画像計測システム１０は、撮像装置１３と、画像計測装置１２とから構成され、画像計測装置１２は、画像処理部１０２と、記録部１０３と、表示部１０４と、入力部１０５と、計測部１０６と、を有している。

撮像装置１３は、少なくとも２つの撮像部である第１撮像部１０１ａ、第２撮像部１０１ｂを有し、それぞれの撮像部１０１ａ・１０１ｂは、レンズとＣＣＤ（ＣｈａｒｇｅＣｏｕｐｌｅｄＤｅｖｉｃｅ）やＣＭＯＳ（ＣｏｍｐｌｅｍｅｎｔａｒｙＭｅｔａｌＯｘｉｄｅＳｅｍｉｃｏｎｄｕｃｔｏｒ）などの撮像素子、それらの動作を制御する制御部、メモリなどから構成される撮像装置の一般的な構成を有する。２つの撮像部１０１ａ・１０１ｂは、それぞれの撮像部１０１ａ・１０１ｂで撮影された２つの画像が視差を有するように、互いに左右方向に平行にずれた位置に配置される。

ここで、ある被写体上のある点は、２つの画像上では撮影位置、すなわち視点位置が異なるため、水平方向にずれた場所に位置し、このずれ量を視差という。この場合、平行に配置して撮影された画像の視差は、被写体が撮像装置に近いほど視差が大きく、逆に遠いほど視差が小さくなり、撮像部間の長さに対して非常に遠い、すなわち無限遠領域での視差はほぼ０となる。ある距離における視差は、撮像部１０１ａ・１０１ｂ間の距離である基線長や光学系、解像度などの撮像素子に関連するパラメータによって決まる。本実施形態では、２つの撮像部１０１ａ・１０１ｂは同等の特性（仕様）を有し、レンズ、撮像素子などは同じものを使用しているものとして説明する。仕様が異なる場合には、基準となる撮像部に対してもう一方の撮像部の各パラメータを正規化すれば良い。このようにして、撮像部１０１で撮影された撮影画像データは、画像処理部１０２に出力される。この時、撮影時の基線長や焦点距離情報など必要な撮影情報をカメラパラメータ取得部１１３に出力する。なお、カメラパラメータ取得部１１３は別途カメラパラメータを事前に保持することで、撮像部１０１から直接出力しない構成も取り得る。

なお、以降、１回の撮影において取得される撮像部１０１で撮影された視差を有する画像を、それぞれ画像ａ、ｂと表記するものとする。

画像処理部１０２は撮像部１０１によって撮影された画像データの明るさの調整や色の調整などの処理、表示部１０４に合わせたデータ形式への変換、記録部１０３とのデータ出力処理や読み出し処理などを行う。また、後述する計測部１０６への画像データを出力したり、計測部１０６から得られた情報を基に撮影画像に文字やマークや図などの情報を重畳して出力したりするなどの処理を行う。本実施形態では、撮像装置１３からの撮影画像データは視差値の調整がされていないものとするが、例えば、立体映像の立体感調整のために、画像ａ、ｂの視差値を調整して出力される場合には、元の配置の状態に戻すよう処理をして計測部１０６へと出力する。

記録部１０３はハードディスクやフラッシュメモリなどで構成され、画像処理部１０２から出力された画像データの記録を行う。

表示部１０４は画像処理部１０２から受け取った画像などを表示する装置であり、例えば液晶ディスプレイなどで構成される。表示部１０４は、タッチパネル液晶のように後述する入力部１０５と一体型となった構成でも構わない。

入力部１０５は、ユーザーによる選択や決定のコマンドを入力するものであり、例えば画像上のポインタを動かすための十字キーやタッチパネルによる入力である。本実施形態においては、表示部１０４と一体型となったタッチパネル液晶によって構成され、画像上の計測領域を選択する場合には、指定したい箇所をタッチすることで計測したい部分などの選択ができる。計測部１０６は、ユーザーによって指定された２つの計測領域間の距離を算出する。

図２は、計測部１０６の詳細な構成例を示す図である。計測部１０６は、第１の計測領域取得部１１１と第２の計測領域取得部１１２と、カメラパラメータ取得部１１３と、距離情報取得部１１４と、第１の３次元計測領域取得部１１５と、第２の３次元計測領域取得部１１６と、距離算出部１１７と、線領域追従部１１８と、から構成され、撮影された画像データからユーザーの計測したい２領域間の距離を算出する。算出された計測結果は表示部１０４に表示させることができる。

図３は、計測における操作手順を示しており、計測対象の撮影から計測結果の確認までの流れを示したフローチャート図である。また、図４は、計測時の処理の流れを示したフローチャート図であり、計測処理において、本実施形態の画像計測装置１２の各構成部で実行される処理の流れを示しており、撮影画像の取得から計測領域の入力、２領域間の距離算出までの処理の概要を表す。

まず、図３を用いて計測手順に関して説明する。ここでは、図５（ａ）に示すような線路の２つのレール間の距離である軌間を広範囲に渡って計測する際に、線路上から本撮像装置によって計測する事例で説明する。

画像計測システム１０の計測モードの起動を検知すると、撮像装置１３により、計測対象の領域が撮影される（Ｓ３０１）。この時、計測対象を撮影した画像を図５（ａ）に示す。図５（ａ）には２つのレール５０１Ｌ、５０１Ｒと前方の方に別の被写体５０２が撮影されている。次に、距離の計測箇所を指定するため、２つの計測領域を指定する。ここでは、２つのレール５０１Ｌ、５０１Ｒの内側の距離を計測するため、第１の計測領域の指定ではレール５０１Ｌのエッジ５０３Ｌ上の計測点Ｐ１Ｌを指定する（Ｓ３０２）。計測領域の指定は表示された画像上の領域を指定することで選択できる。例えば、エッジ５０３Ｌ上の点を指定したい場合には、エッジ５０３Ｌを画面上でなぞるようにして計測領域のエッジを選択し、次にエッジ５０３Ｌ上の点を指定することで第１の計測点Ｐ１Ｌを指定できるなど簡単な方法で指定できるのが望ましい。これは、直感的に分かりやすいだけでなく、所望のエッジを検出する精度を高める効果を有するためである。通常、画像中には複数のエッジが検出されるが、エッジをなぞるようにして選択するようにすることで、ユーザーの選択したいエッジの方向が判断できる。そのため、選択領域付近に計測対象でない他のエッジが検出される場合でも、入力されたエッジ方向から不要なエッジを判別できるため、検出精度を上げることができる。特に表示画面が小さい場合にはより有効である。例えば、タッチパネルに指で入力する場合に、画面が小さいほど指定される領域が広くなってしまい、不要なエッジも含まれる可能性が高くなるためである。

次に第２の計測領域を指定する（Ｓ３０３）。第２の計測領域指定では対象のレール５０１Ｒ上のエッジ５０３Ｒを指定する。同様に画像上でエッジ近傍をなぞることでエッジ５０３Ｒが指定されるようにすることで簡単にエッジの指定ができる。第１の計測領域と第２の計測領域が指定されると２領域間の３次元空間（実空間）での距離が計測され、画面上に計測箇所と距離の数値が表示され、計測箇所とその計測値が確認できる（Ｓ３０４）。この時、３次元空間で計測点Ｐ１Ｌと最小の距離をとるエッジ５０３Ｒ上の点Ｐ１Ｒが自動で検出され、計測点Ｐ１Ｌと計測点Ｐ１Ｒの距離の算出値５０４が表示される。図５（ｂ）は２点Ｐ１Ｌ，Ｐ１Ｒを通り、レールに対して垂直方向の断面を示したものであり、２つのレール上方の内側２点（Ｐ１Ｌ、Ｐ１Ｒ）間の距離５０４が計測される。

次に、軌間を広範囲に渡って計測する際に、計測箇所を移動させる必要があるが、ここでは画像上で計測箇所を移動させる場合（Ｓ３０６）と、撮影位置を移動しながら計測する場合（Ｓ３０７）の２通りの方法で説明する。

撮影画像上で計測箇所を移動させながら２点間の距離を計測することが可能なため、撮像装置を移動しなくても撮影範囲の中であれば広範囲の領域で計測することができる（Ｓ３０５のｙｅｓ）。撮影画像上で計測箇所を移動させる場合には第１の計測点をエッジ５０３Ｌに沿って移動させるだけでエッジ５０３Ｒとの距離が算出される。図５（ｃ）は図５（ａ）から画像上でＰ１Ｌの位置をエッジ５０３Ｌ上の異なる点Ｐ２Ｌの位置に変更した場合の計測結果を示している。第１の計測点をＰ１ＬからＰ２Ｌの位置に変更した場合に、Ｐ２Ｌに対してエッジ５０３Ｒ上の３次元空間上で最小距離となる新たな第２の計測点Ｐ２Ｒが検出され、Ｐ２ＬとＰ２Ｒ間の距離が算出される。そのため、第１の計測点の位置を変更するだけで、変更後の計測点の位置を基準に所望の曲線（エッジ５０３Ｒ）との距離を計測することができる。ここで、例えばＰ１ＬからＰ２Ｌまでの区間での軌間の変位を確認したい場合には、Ｐ１ＬをＰ２Ｌの位置まで移動させることで２領域間の距離の変化情報を得ることができる（Ｓ３０６）。この時、Ｐ１ＬからＰ２Ｌまでの移動に伴って計測点も変位しながら都度距離計測が行われ、それら距離データが記録される。このようにして第１の計測点を移動させるだけでその区間中の距離計測が簡単に行え、その変化の情報が確認できる（Ｓ３０８）。

この時、例えば図５（ｄ）のように計測した範囲の距離（軌間）変位結果をグラフ化して表示することで変化具合を容易に確認できる。計測箇所の確認や継続して計測する必要がなければ計測モードを終了する（Ｓ３０９のｎｏ）。図５（ｄ）に示すように、軌間の基準として基準値５０７と５０８の間に収まっている必要があるものとし、計測値５０９はこの基準値を超えているものとする。計測値５０９の計測箇所を確認したい場合（Ｓ３０９のｙｅｓ）には、計測値５０９の箇所を選択すれば（Ｓ３１０）、その計測値が得られた箇所が撮影画像上に表示され、計測箇所の確認ができる（Ｓ３１１）。これは計測値と画像上の座標との対応付けが簡単にできるためである。このように、第１の計測点を画像上で移動させるだけで、第２の計測領域から対応する計測点を自動で検出されるため、広範囲に渡って簡単に２領域間の距離を計測することが可能である。また、得られた計測値からそれが算出された箇所が瞬時に画像で確認できるため、計測値と計測箇所の管理が容易である。

上記では撮影位置を固定して画像内で計測位置を変更しながらその計測値の変化を確認したが、画角に入りきらないほど広範囲に渡って２領域間の距離変化を計測するためには移動しながら計測する必要がある。この時、図５（ａ）に示す初期の撮影画像上で計測領域を指定した後、撮影しながら移動すればよい（Ｓ３０７）。

本実施の形態では、レールに沿って前方へ移動しながら計測する場合で説明する。上述では計測点Ｐ１Ｌを画像内で移動させて広範囲に渡る計測値を算出したが、この場合には撮像装置の移動に伴ってＰ１Ｌの位置を変化させることで広範囲の距離とその変位を計測する。図６（ａ）は図５（ａ）の撮影位置から前方に移動した際の撮影画像を示している。同じ記号は同一の被写体である。レール５０１Ｌの内側のエッジ５０３Ｌ上の計測点Ｐ４Ｌが得られて、それに対応するようにエッジ５０３Ｒ上の第２の計測点Ｐ４Ｒが検出され、その２点間の距離５１０が算出されている。この場合、Ｐ１ＬとＰ４Ｌの画像縦方向の画素位置を同じ位置として固定し、エッジ５０３Ｌの位置を追従して、エッジ５０３Ｌ上の位置となるように横方向の画素位置を補正して第１の計測点位置が自動で設定される。撮影位置が前方に移動するに伴って、第１の計測点もエッジ上の位置を確保したまま移動する方向に第１の計測点の位置が変更され、その位置ごとにレールの軌間の計測がされる。このように、第１の計測領域上の計測点を撮像装置の移動量と方向を加味して設定することで広範囲の計測が可能となる。

計測された距離データは同様に記録されているのでＰ１ＬからＰ４Ｌまでの範囲に渡って軌間の計測値を得ることができ、図５（ｄ）に示すようにその変化と該当の計測箇所の確認が簡単にできる（Ｓ３０８）。

このようにして、撮影と簡単な計測領域の指定だけで広範囲に渡たって２領域間の距離の計測が可能となる。また、計測値と画像データの対応が容易に管理できるため、どのような個所の計測値であるか確認したい場合には対応する撮影画像を簡単に抽出でき、さらには実際の撮影画像上に重畳表示することで容易に詳細な計測箇所の認識ができる。

本実施の形態では先に計測領域を指定してから、撮影、計測を行った処理の例について示したが、これに限定されることはなく、まず、撮影をした後に、所望の２領域間の距離を指定する処理でも良い。画像データを記録しておけば、後からでも確認できるため、計測忘れや遠隔地での計測も可能であるという効果がある。

次に、上記操作手順に沿って図４を用いて各構成部の処理の流れを説明する。計測モードが起動して計測対象を撮影し、撮影画像が記録される（Ｓ４０１）。この時、撮像部１０１で取得された視差を有する画像ａ、ｂは画像処理部１０２へ受け渡され、明るさの調整やＪＰＥＧなどの静止画ファイルやＭＰＥＧなどの動画ファイルなど各種データ形式に変換され、記録部１０３に記録される。また、撮影された画像は表示部１０４に表示される。ここでは基準画像を左側に配置された撮像部１０１ａでの撮影画像とし、この基準画像を表示部１０４に表示するものとする。次に表示された画像からユーザーは計測したい箇所を入力部１０５によって指定し、第１の画像計測領域取得部１１１と第２の計測領域取得部１１２によって撮影画像上の計測領域情報を取得する（Ｓ４０２、Ｓ４０３）。本実施形態では、表示部１０４は例えば静電容量式のタッチパネル液晶で構成され、入力部１０５と一体となった構成を例とするが、画像上に表示されたカーソルを動かすキーによって選択するなど、画像を視認しながら所望の計測したい領域を選択する方法であれば上記の方法に限定されない。

第１の計測領域の取得に関して説明する。第１の計測領域取得部１１１では、画像ａにエッジ検出処理を行い、入力されたエッジ領域情報を参照して検出されたエッジの中から最も近い領域、方向のエッジを第１の計測領域として選択する。計測部１０６の入力はエッジ方向になぞるように入力する手段とし、入力の動く方向を検出することで、ユーザーの計測したいエッジ方向を識別する。入力する手段による入力座標と入力方向とを用いることで、より精度よくユーザーの選択したいエッジを抽出することができる。

エッジ選択後には、抽出されたエッジを画像上に重畳表示してユーザーに通知することで、ユーザーが選択したかったエッジ領域であるのか確認させるのが望ましい。また、ユーザーの選びたいエッジとは異なった場合には再度選択させるように面上に通知するコーションを表示するのが望ましい。これは、後で説明するように、初期に設定された計測領域を基にその後自動で追従しながら広範囲の距離の計測処理を行うため、事前に確認することで目的の計測が確実に行えるようになるためである。画像のエッジを検出する法はＳｏｂel、Ｃａｎｎｙ、Ｌａｐｌａｃｉａｎなど様々な手法があるが、同一被写体上の特徴のあるエッジ領域が検出できればよく、ここでは特にエッジ検出法の制限されないものとする。

次に、選択されたエッジに対してさらに計測点が画面上で入力され、その画像上の座標情報を取得して第１の計測領域上の計測点を取得する（Ｓ４０２）。

エッジやエッジ上の計測点の選択では、例えばユーザーが図５のエッジ５０３Ｌから少しずれた位置を指定しても、最も近いエッジ５０３Ｌが選択されるようにしたり、該当するエッジ上の点が選択されたりするなど自動で位置を補正して選択されるようにすることが望ましい。表示画面サイズが小さな場合には、撮影画像を縮小表示することになり、表示画面上で、１画素単位で指定しても撮影画像データ上では数画素分の領域を有することになる。また、タッチパネルに指を使って指定する場合など細かな領域での指定が難しい場合がある。そのような時に上記のように自動で位置を補正することで目的の計測箇所が簡単に選択できるようになる。さらには、取得した計測点の位置が計測したい箇所であるか画面上に重畳表示してユーザーに確認するのが望ましい。

次に、第２の計測領域であるエッジが画像上で指定され、第２の計測領域取得部によりその座標情報を取得する（Ｓ４０３）。この場合も第１の計測領域の指定の際に説明したように、目的の計測領域が精度よく指定できるようにするため、入力されたエッジ方向や指定された領域に近いエッジ位置情報を抽出して座標位置を補正する方が望ましい。

本実施形態では指定領域に対して近傍のエッジや点を選択するようにしたが、これに限定されることなく、例えば、事前に検出されたエッジを画面上に重畳表示し、その中からユーザーに選択させるのでも良い。

取得された第１の計測領域の座標情報、第２の計測領域の座標情報は距離情報取得部１１４へと出力され、選択された計測領域に対する距離情報を取得する（Ｓ４０４）。

距離情報取得部１１４では、指定された計測領域に対して３次元空間上（実空間上）での距離情報を取得する。ここでは、視差を有する２つの画像から計測領域に対する視差値を算出し、それを距離情報とする例で説明する。
距離情報取得部１１４では、入力された基準画像ａ上の計測箇所Ａ、Ｂの座標における対応点を撮像部１０１ｂの画像ｂ上から求めて視差値を算出する。対応点とは、画像ａ、画像ｂに写る被写体上の同じ特徴点を示し、この場合、画像ａ、ｂは異なる位置に配置された撮像部によって撮影された画像であるため、上記の同じ特徴点は２つの画像上で異なった座標位置に配置される。例えば、２つの撮像部が水平方向に配置されているのであれば、対応点は水平方向にずれた位置に検出される。

視差値算出には、例えばブロックマッチング法を用いることができる。ブロックマッチング法による視差値算出は、ブロック単位での類似度により２つの画像間で同じ被写体の特徴点位置を検出し、そのずれ量（視差量）を検出する。この特徴点に係る２つの画像中の共通の点を上述したように対応点と呼ぶ。対応点の探索を行うために評価関数としてＳＡＤ（ＳｕｍｏｆＡｂｓｏｌｕｔｅＤｉｆｆｅｒｅｎｃｅ）を用いる。ＳＡＤでは画像１、画像２のそれぞれで注目画素を中心にウィンドウを設定し、設定したウィンドウ間の各画素の輝度の差を求め、その各画素間から得られた輝度の差の総和を算出する。同様な処理を画像２側の注目画素を変えながら行い、値が最も小さい注目画素が対応点であるとする。

図１１（ａ）には被写体Ｏを水平方向に視点の異なる位置から撮影した場合の概要図を示している。左視点から撮影された画像は画像１であり、右視点から撮影された画像は画像２のようになる。このとき、撮影された画像を図１１（ｂ）に示している。図１１（ｂ）では視点位置が異なることで、被写体Ｏの位置がそれぞれの画像で異なる位置に存在することが分かる。

図１１（ｃ）と図１１（ｄ）とを用いて、画像１を基準に視差値を算出する場合において、被写体Ｏ上の一つの頂点を特徴点とした際のブロックマッチングの説明をする。この特徴点が画像１上の画素ａに存在するとした場合に、画素ａを中心とした３×３の大きさのウィンドウＭ１を設定する。次に、画像２において画素ａと同一の位置にある画素ａ’_０を探索開始点として設定し、３×３のウィンドウＭ２を設定する。次に設定したウィンドウ間の各画素の輝度の差を求め、その各画素間から得られた輝度の差の総和を算出する。例えば、図１１（ｄ）のように、それぞれの設定したウィンドウの画素の値をＸ１〜Ｘ９、Ｘ’１〜Ｘ’９とすると、

式（１）のような計算を行い、ＳＡＤ値を求める。平行配置された撮像部で撮影された視差を有する画像は無限遠が視差０であり、近くの被写体になるほど視差が大きくなる。このとき、画像１を基準として画像２が右視点の場合には、画像２上の特徴点は左側に移動する。そこで、探索方向を左側として画素ａ’_０から左方向に注目画素を変更していき、上述したＳＡＤ値を順次求め、得られたＳＡＤ値の中で最小値をとる注目画素を対応点とする。この場合、対応点である画像２上の画素ａ’_１が最も値が小さい結果となれば、この画素を対応点とする。

対応点を求めたい画素に対し、このような処理を行うことでその画素に対する視差値を取得することができる。本実施形態では、画像１と画像２のサイズは１９２０×１０８０、ウィンドウサイズは注目画素を中心に２５×２５として設定し視差値の算出を行っている。尚、ここでは上記の画像やブロックサイズを設定したが、これに限定されるものではなく精度や処理量を考慮し、適宜設定すればよい。また、本実施形態ではＳＡＤを用いたブロックマッチングによって求めたが、他の評価関数でも構わない。

また、ブロックマッチングのように領域ベースのマッチング方法に制限されず、その他の特徴点を検出する方法でも構わない。視差を算出する他の方法は、画像上の濃淡値の変化が大きい点や領域を抽出し、その点や領域に対して特徴量を規定する処理を行い、類似性を識別する。特徴点を抽出し、その類似性を識別するための方法としては、例えば、ＳＩＦＴ（Ｓｃａｌｅ−ＩｎｖａｒｉａｎｔＦｅａｔｕｒｅＴｒａｎｓｆｏｒｍ）を用いた特徴量検出方法がある。ＳＩＦＴは特徴点の周辺を数画素のブロックに分割し、ブロックごとに８方向の勾配ヒストグラムを求めて１２８次元の特徴ベクトルで示すものである。また、その他の特徴量検出にはＳＵＲＦ（Ｓｐｅｅｄｅｄ-ＵｐＲｏｂｕｓｔＦｅａｔｕｒｅｓ）やＧＬＯＨ（ＧｒａｄｉｅｎｔＬｏｃａｔｉｏｎ−ＯｒｉｅｎｔａｔｉｏｎＨｉｓｔｏｇｒａｍ）といった手法もある。視差値は撮影位置からの距離と相対関係があり、距離が近いほど視差値は大きく、遠いほど視差値は小さく、無限遠で０になる。そのため視差値を距離情報として扱うことができる。

次に、得られた計測領域上の距離情報はそれぞれ第１の３次元計測領域取得部１１５と第２の３次元計測領域取得部１１６に出力される。第１の３次元計測領域取得部１１５では計測点の撮像部１０１を基準とした３次元位置座標が算出される（Ｓ４０５）。

ここでは、基準画像中心を原点とするため、前記３次元座標の原点は第１撮像部１０１ａの光学中心となる。第１の３次元計測領域取得部１１５によって得られた３次元座標は距離算出部１１７に出力される。

第１の３次元計測領域取得部１１５は、入力された各点の距離情報とカメラパラメータ取得部１１３から入力された情報を基に、各点の実際の３次元位置情報を算出する。ここで、カメラパラメータ取得部１１３によって入力された情報とは、撮像部１０１の外部カメラパラメータや内部カメラパラメータを示す。カメラパラメータ取得部１１３は撮像部１０１からこのようなパラメータを取得したり、データベースなどの記憶部に保持する。記憶部は、距離算出部が算出した距離情報を、変位に依存させて記憶する。距離情報を、操作時間に依存させて記憶するようにしても良い。

ここで、撮像部の外部カメラパラメータとは２つの画像がどのような配置の撮像部によって撮影されたかを示す情報であり、例えば２つの撮像１０１ａ、１０１ｂ間の距離である基線長や撮像部間の光軸の相対的角度を示す輻輳角などである。また、内部カメラパラメータは撮影における撮像部の焦点距離情報、撮像素子の画素ピッチなどの情報である。カメラパラメータ取得部１１３はこのようなパラメータ情報を第１の３次元計測領域取得部１１５、第２の３次元計測領域取得部１１６へ出力する。

第１の３次元計測領域取得部１１５は、入力された座標情報に対応する実際の３次元位置情報を算出する。各撮影位置において、ここでの３次元位置は、視差値算出時の基準画像を撮影した撮像部の光学中心を基準とした実空間座標位置であり、撮像装置から被写体までの距離や左右上下方向の位置を表す。

第１の３次元計測領域取得部１１５が算出する３次元位置に関して図１２（ａ）、（ｂ）を用いて説明する。図１２（ａ）は図中のＸ軸、Ｙ軸、Ｚ軸で形成される３次元空間と各撮像部との配置の関係を概念的に示したものであり、基準となる撮像部１０１ａの光軸とＺ軸が一致している。また、撮像部１０１ｂは撮像部１０１ａに対して基線長Ｂだけ平行に移動した位置に配置されるものとする。この時、撮像部の焦点距離を焦点距離ｆとすると、２つの撮像部のセンサー面１２０１ａ、１２０１ｂは、Ｚ＝ｆの平面位置に配置される。

ここで、３次元空間上に位置する被写体上の点Ｋの座標を（Ｘ、Ｙ、Ｚ）とすると、点Ｋは２つのセンサー面１２０１ａ、１２０１ｂ上に投影され、投影されたセンサー面上の点をそれぞれｋａ，ｋｂとする。各センサー面１２０１ａ、１２０１ｂ上に投影されたＫの座標はピクセル単位で示すことができ、例えば基準画像上の左上を原点とした場合では、ｋａ，ｋｂの座標はそれぞれ（ｘａ，ｙａ）、（ｘｂ，ｙｂ）とする。

また、図１２（ｂ）は図１２（ａ）をＹ軸方向から見た図を示している。図１２（ｂ）の撮像部１０１ａの光軸１２０２ａはＺ軸に一致し、撮像部１０１ｂの光軸１２０２ｂとは平行である。センサー面１２０１ａでは点Ｋは３次元座標原点と点Ｋとを結ぶ直線１２０３との交点上の座標ｘａに投影される。同様にセンサー面１２０１ｂでも直線１２０４との交点上の座標ｘｂの位置に投影される。視差Ｄはこの同一の点Ｋの投影位置の差であるので、Ｄ＝｜ｘａ−ｘｂ｜と示すことができる。仮想的には、ｘｂの位置はセンサー面１２０１ａでは直線１２０４が原点を通るように位置した際の交点ｘｂ’との差ともいえる。

ここで、点Ｋ（Ｘ，Ｙ，Ｚ）を求める。画像上の座標ｋａを画像の中心を原点として表した場合の座標ｋａ’を（ｘ’，ｙ’）とする。この時、点Ｋに対する視差値Ｄ、撮影時の焦点距離ｆ、基線長Ｂ、センサーの画素ピッチＰを用いて、点Ｋまでの実空間上の距離Ｚは下記のように表すことができる。
Ｚ＝（Ｂ×ｆ）／（Ｄ×Ｐ）

また、センサー１画素あたりの大きさは距離Ｚの平面上ではＺ＊Ｐ／ｆと示せるので基準画像中心を基準とした３次元位置情報（Ｘ，Ｙ，Ｚ）のＸとＹは下記のように表せる。
Ｘ＝ｘ’×Ｂ／Ｄ
Ｙ＝ｙ’×Ｂ／Ｄ

上記のように計測点の実際の空間上の３次元位置情報を求めることができる。

このようにして、エッジ５０３Ｌ上の計測点Ｐ１Ｌの実空間上の３次元位置情報が得られる。

同様に第２の３次元計測領域取得部１１６においても、入力された第２の計測領域情報と視差値からエッジ５０３Ｒ上の点に対する実空間上の３次元位置座標を求める（Ｓ４０６）。ここで、第２の３次元計測領域取得部１１６内の３次元線領域算出部によって直線か曲線かの判定がされ、第２の計測領域が直線であれば直線上にある２点を抽出し、第２の計測領域が曲線などで構成されて直線でない場合には、エッジ上の３点以上の３次元位置情報を算出する。曲線の場合にはその曲率や形状によって算出点の間隔や数が制御される。複雑な形状の場合に抽出した点が少ないと実際のエッジ位置とのずれが発生するため計測誤差が大きくなるため抽出する点の数を増やす必要がある。

次に算出された第１の計測領域の３次元座標情報と第２の計測領域の３次元座標情報は距離算出部１１７に入力され、第１の計測領域と第２の計測領域との３次元空間上での距離を算出する（Ｓ４０７）。第２の計測領域が直線である場合には、直線上の２点の３次元座標から３次元直線方程式を求めることができ、第１の計測点の３次元座標と得られた第２の計測領域の３次元直線方程式との最小距離と第２の計測点の３次元座標を算出する。第２の計測領域が直線でない場合には、第２の計測領域上の複数点との距離を算出して比較し、最小となる距離が得られる３次元座標とその距離値を計測値として出力する。例えば、第１の計測点の３次元座標をＡ（Ｘａ,Ｙａ,Ｚａ）とし、第２の計測領域上のある点の３次元座標をＢ（Ｘｂ,Ｙｂ,Ｚｂ）とすると、２点Ａ，Ｂ間の距離Ｌは下記のように算出することができる。
Ｌ＝√（|Ｘａ−Ｘｂ’|^２＋|Ｙｂ−Ｙｂ’|^２＋|Ｚａ−Ｚｂ’|^２）

点Ｂの座標を入力された複数の第２の計測領域上の座標で実行することで、第１の計測点と第２の計測領域上の各点と距離が得られるので、その中の最小の距離Ｌとなる３次元座標Ｂを第２の計測点とする。算出された距離を表示部１０４に出力して距離と計測点を表示する（Ｓ４０８）。

本実施の形態では第１の計測点と第２の計測領域との距離が最小となるように第２の計測点を算出したが、これに制限されることはなく、例えば第１の計測点を通り、第１の計測領域であるエッジ５０３Ｌに垂直となる方向での距離を求めるものでもよい。この場合、第１の計測点Ｐ１Ｌを通り、エッジ５０３Ｌに垂直となる平面と第２の計測領域であるエッジ５０３Ｒとの交点を第２の計測点Ｐ１Ｒとして２つの計測点間の距離を算出する。第１の計測領域に対して同じ方向の距離を検出し続けたい場合などでは、角度を指定した計測方法が扱いやすい。

線領域追従部１１８は計測対象のエッジ位置を追従し、画像内から同一エッジの位置を検出する。前述したように、撮影画像内で計測箇所を移動してその範囲の距離情報を取得したい場合には（Ｓ４０９のｙｅｓ）、移動後の指定座標に合わせて初期に設定したエッジと同一のエッジ上の点となるように計測位置を補正する（Ｓ４１０）。ここでは同一のエッジかの判断はエッジの連続性を判定して、連続したエッジ成分であれば同一とみなす。移動しないで撮影画像内において計測位置を変更する場合には初めに選択されたエッジを連続したエッジとする。ここで、画像上にはエッジが多数検出される場合があり、計測点の変位途中で別のエッジと正確に区別することが必要となる。例えば、背景領域のエッジを混在した場合には２次元画像だけでは判定が難しい。そのため、計測点の変位時において、同領域に複数のエッジ成分が検出された場合には、第１の３次元計測領域取得部１１５と第２の３次元計測領域取得部１１６から得られた３次元情報を基に空間的に近いエッジを抽出して連続したエッジであると判断する。このように、撮影画像のエッジ情報だけでなく、３次元位置情報も用いることで、計測対象外のエッジとの分離を行い目的のエッジ位置精度良く取得する。

また、撮影位置を移動しながら計測を行う場合には、各フレーム間でエッジの位置が変位するが、各フレームでエッジ検出を行い、その移動量を検知して同一のエッジ上の点となるように計測点の位置を補正する。この時、各フレーム間で共通するエッジが存在する場合にはエッジ位置の移動方向とずれ量検出する。撮影位置の移動により、前フレームで撮影されなかった領域が発生する場合には、移動方向側の画像領域において、計測対象のエッジ位置との近いエッジを連続したエッジとして検出する。また、複数のエッジが検出され、２次元画像から判別が困難な場合は同様に３次元情報を基に空間的に近いエッジを検出して連続したエッジとする。

補正した計測位置情報は第１の計測領域取得部１１１と第２の計測領域取得部１１２に入力されて、距離算出処理が実行される。

このようにして、広範囲に渡って計測された距離情報は記録部１０３に保存され、表示部にてその変位情報が確認できる。画像と計測箇所と計測された距離の対応関係が容易に管理できるため、ユーザーの目的に応じた計測結果の表示が可能である。

例えば計測された距離とその計測位置を記録しておき、前述したように図５（ｄ）に示すような実空間上の計測箇所と計測値の関係をグラフで表示することで、全体の変位の傾向を容易に把握することができる。また、事前に計測許容値のようなものを設定しておき、それを超える距離が算出された場合のみ知りたい場合には、該当する距離とその画像データのみ表示することで、どの箇所で問題があるのかのみを簡単に管理できる。

また、動画で移動しながら撮影して計測を行う場合には、計測値がどのフレームから算出したかを記録しておくことで、該当するフレームの画像データを抽出して提示することで膨大な画像データから対象の画像をユーザー自ら探す必要はなくなる。

また、より広範囲に渡る計測の場合には画像データと供にＧＰＳ情報を記録しておくことでその画像がどの場所で撮影されたか容易に分かる。

ここで別の効果として、移動しながら撮影して計測する場合に、複数フレームに渡って同じ位置の距離を計測することで計測精度を向上させることができる。例えば、図６（ｂ）は図５（ａ）の撮影位置から前方に移動して撮影した画像を示し、計測点Ｐ１Ｌと計測点Ｐ１Ｒは被写体の同一箇所の点とする。ここで、視差を有する画像から３次元位置を算出する場合には、撮像装置から対象までの距離精度が計測精度に影響する。撮像装置から対象までの距離を算出する際には基本的には１画素内の範囲に対応する距離は判別することができず、この値を距離分解能という。撮像装置の基線長と撮像装置との距離の条件を変えた複数の画像を用いることで上記距離分解能を向上させることが可能である。一般的には対象までの距離を固定にして複数の異なる基線長で撮影した画像データ群から１画素以下の精度で距離を検出するが、基線長を固定として対象までの距離を変えることと同意である。ここではその方法の詳細に関しては記載しないものとするが、上記のような基線長と対象までの距離の条件を変えた複数の画像を得ることができれば高精度化が可能である。本発明では移動しながら撮影した場合においても計測箇所が検知でき、複数フレームの画像で同一箇所の計測点の抽出が可能であり、上記のような高精度化手法が適用できる。撮影位置の移動に応じて位置を変えた距離の計測と複数フレーム内での同一箇所の距離の計測を並列して行うことでより高精度で広範囲に渡る２領域間の計測が可能である。

このように、本実施形態の撮像装置によれば計測箇所が広範囲に渡る場合であってもユーザーからの簡単な操作によって領域を指定することで所望の領域の距離を取得することができる。

＜第２の実施形態＞
本発明の第２の実施形態による画像計測装置を説明する。第２の実施の形態は、平面領域との距離を簡単に計測できる装置であり、第１の計測領域で指定された計測対象を追従し、第２の計測領域として指定された平面との距離を時系列的に計測することで、平面上を移動する物体と平面との距離（高さ）の変化を計測することができる。

第２の実施形態における撮像装置の構成は、図１に示す構成とほぼ同様であり、撮像装置１３は、撮像部１０１と、画像処理部１０２と、記録部１０３と、表示部１０４と、入力部１０５と、計測部１０６と、を有している。各部の詳細な説明は同様のため省略する。次に、計測部１０６の構成を図７に示す。第２の実施形態における計測部１０６は、第１の計測領域取得部７０１と第２の計測領域取得部７０２と、カメラパラメータ取得部１１３と、距離情報取得部１１４と、第１の３次元位置取得部１１５と、第２の３次元領域取得部７０３と、距離情報算出部１１７、計測領域追従部７０４、平面領域判定部７０５とから構成され、計測領域１と平面領域との距離を算出する。算出された計測結果は表示部１０４に表示される。図２と同じ図番の構成部は同様の処理を行うものとする。

以下に、本実施形態における計測全体の流れを説明しながら各動作について詳述する。本実施形態ではスポーツのフォーム解析の一部を事例として、走行中のランナーの腰の上下動、つまりランナーの腰と地面との距離を計測する例で説明する。図８は計測における操作手順を示しており、計測対象の撮影から計測結果の確認までの流れを示したフローチャート図である。

ここで対象の走行中のランナーを撮影し、撮影後に計測部を指定して距離を計測するものとして説明する。撮像装置の計測モードの起動を検知すると、撮像装置１３により、計測対象の領域が撮影される（Ｓ８０１）。この時、計測対象を撮影した画像の一部を図９（ａ）に示す。図９（ａ）にはランナー９０１、地面９０３ａ、背景に被写体９０２が撮影されている。腰と地面との距離が必要なため２つの領域が画角内に入るように撮影する。そのような条件の基で走行するランナー９０１を撮影する。また、ランナー９０１が大きく移動する場合にはランナー９０１に合わせて撮像装置を移動させて撮影する。仮にランナー９０１が大きく移動して画角外に出てしまった場合でも、画角内に入った際に自動で追従される。図９（ｂ）はｔ秒後のランナーを撮影した画像であり、図９（ａ）に対してランナーが右方向に移動したため、それに合わせて撮影位置を移動した様子を示している。ここで図９（ａ）（ｂ）で同じ番号の対象は同一のものとみなす。

撮影が終了したら、距離の計測箇所を指定するため、まず第１の計測領域を指定する。ここでは、人物９０１の腰位置と地面９０３ａの距離を計測するため、第１の計測領域の指定では人物９０１の腰位置領域を指定する（Ｓ８０２）。計測領域の指定は表示された画像上の領域を指定することで選択できる。

次に第２の計測領域を指定するため地面９０３ａを指定する（Ｓ８０３）。地面の指定方法は例えば、地面９０３ａの一部を円で囲むように指定すれば囲まれた領域と連続する同じ平面領域が抽出され、簡単に平面領域を指定することができる。第１の計測領域と第２の計測領域が指定されると２領域間の距離が計測され、画面上に計測箇所と距離の数値が表示され、計測箇所とその計測値が確認できる（Ｓ８０４）。計測対象が目的の対象となっていれば撮影画像全体へ同様の処理を実行する（Ｓ８０５）。動画で撮影した場合にはそれぞれのフレームごとに地面との距離が計測され、その統計データが確認できる（Ｓ８０６）。ここでは、フレームごとに距離計測が自動で行われて、図１０に示すように撮影時間ごとに計測された距離データの推移がグラフ化されて表示部にされる。計測箇所を確認する必要がなければ計測モードを終了する（Ｓ８０７のｎｏ）。もし、確認したい計測結果箇所がある場合（Ｓ８０７でｙｅｓ）には、簡単に計測結果から対応する映像を表示することができる。例えば、図１０に示すように時間ｔを境に２つの上下動のパターン１００１、１００２が確認できたとする。上下動パターン１００２の時のフォームが確認したい場合には、計測値と撮影データが対応づけられているためすぐに対応する映像を呼び出すことができ（Ｓ８０８）、パターン１００２の映像を計測値と供に映像を再生することもできる（Ｓ８０９）。また、距離計測の結果からパターン１００１と１００２の比較を行いたい場合においてもそれぞれの対応する映像は簡単に検索できるため、簡単に両映像を比較して確認することもできる。このように、本画像計測装置では撮影データと計測値の対応関係が容易に分かるため、映像と計測値を視覚的に分かりやすく示すことが可能である。また、計測対象も撮影後に自由に変更できるため、一度の撮影で複数個所の距離計測も可能である。例えば、腰の重心位置だけではなく、頭部の上下動も同時に確認したい場合など、計測対象箇所も複数あっても構わない。

このようにして、撮影と簡単な計測領域の指定だけで広範囲に渡たって２領域間の距離の計測が可能となる。また、どの個所の計測値であるか実際の撮影画像上に重畳表示することで容易に認識できる。

本実施の形態では先に計測領域を撮影してから計測を行った場合で示したが、これに制限される事はなく、撮影開始時に対象を指定し、撮影しながらリアルタイムで計測結果を得ることも可能である。

次に、上記操作手順に沿って図４を用いて各構成部の処理の流れを説明する。計測モードが起動して計測対象を撮影し、撮影画像が記録される（Ｓ４０１）。この時、撮像部１０１で取得された視差を有する画像ａ、ｂは画像処理部１０２へ受け渡され、明るさの調整やＪＰＥＧなど静止画ファイルやＭＰＥＧなど動画ファイルなどの各種データ形式に変換され、記録部１０３に記録される。また、撮影された画像は表示部１０４に表示される。ここでは基準画像を左側に配置された撮像部１０１ａでの撮影画像とし、この基準画像を表示部１０４に表示するものとする。次に表示された画像からユーザーは計測したい箇所を入力部１０５によって指定し、第１の計測領域取得部７０１と第２の計測領域部７０２によって撮影画像上の計測領域情報を取得する（Ｓ４０２、Ｓ４０３）。本実施形態では、表示部１０４は静電容量式のタッチパネル液晶で構成され、入力部１０５と一体となった構成とするが、画像上に表示されたカーソルを動かすキーによって選択するなど、画像を視認しながら所望の計測したい領域を選択する方法であれば上記の方法に限定されない。

Ｓ４０２では、第１の計測領域取得部７０１により画像ａに特徴点検出処理を行い、入力計測領域における特徴量の取得を行う。得られた特徴量は計測領域追従部７０４へ出力し、計測領域の座標情報を視差値算出部と第１の３次元計測領域取得部１１５に出力する。この時、選択された計測領域を画像上に重畳表示してユーザーに通知することで、ユーザーが選択したかった計測領域であるのか確認させるのが望ましい。

次に、距離を計測したい対象となる第２の計測領域である平面領域が画像上で指定される（Ｓ４０３）。ここでは、平面の指定は平面領域を囲むような操作をすることで平面領域の特徴のある点を抽出し、その３次元位置から平面領域を検出する。例えば、図９（ａ）でランナー９０１が走っている地面９０３ａを指定したい場合、指定領域９０６のように、地面上の領域を指定される。指定された領域を含む範囲で特徴点検出を行い、特徴を有する点を複数算出する。次に、算出された地面９０３ａ上の複数の特徴点から３点以上の特徴点を抽出する。ここでは、図９（ａ）の点９０７、９０８、９０９の３点を含む複数点が抽出された。抽出された平面上の特徴点座標を平面領域判定部７０５、距離情報取得部１１４、第２の３次元計測領域取得部７０３に出力する。距離情報取得部１１４では入力された計測領域に係る座標情報から視差値を算出する（Ｓ４０４）。視差値算出の方法は第１の実施の形態と同様であるので詳細は記載しない。

平面領域の指定は上記の方法以外でもよく、例えば、あらかじめ特徴点を表示しておいて、計測対象の平面領域上にある特徴点を選択させるなど簡単に入力できる方法であれば上記に制約されない。また、入力する領域の大きさや形状に制約はなく、平面内の領域であればどこでも良い。

通常、撮影画像には多くの平面領域が存在するため、計測領域を含む平面領域を識別することは困難であるが、ユーザーによって簡単な入力で指定できるようにすることで、失敗することなく適切な平面領域を取得できる。

距離情報取得部１１４で算出された各計測領域に係る座標に対応する視差値は第１の３次元計測領域取得部１１５と第２の３次元計測領域取得部７０３に入力される。第１の３次元計測領域取得部１１５では第１の計測点の画像上の座標と視差値から撮像装置を基準とした３次元位置情報を算出して距離算出部１１７に出力する。第２の３次元計測領域取得部７０３では入力された平面領域（地面９０３ａ）上の複数の座標情報と視差値から平面を形成するための３点を抽出する。ここでは、視差値が正確に算出されているかの判定を行い、３点がそれぞれ並行に配置されない組合せの点を抽出する。視差値算の判定は、例えば、ＳＡＤを用いたブロックマッチングであればＳＡＤ値の最小値を算出する際に周辺画素のＳＡＤ値との差分の比較によって行う。ＳＡＤを用いたブロックマッチングの場合には前述したように順にＳＡＤ値を求めて、その中で最小値をとる注目画素を対応点とするが、特徴の少ない領域や繰り返しパターンの領域では周辺画素のＳＡＤ値との差が付きにくくなる。

つまり、明確に判別できる場合には、周辺画素に比べて最小値のピークが強く発生するが、周辺に類似性の高い領域や特徴が少ない場合には周辺画素とのＳＡＤ値と対応点のＳＡＤ値が近い値となり、差分が少なくなる。そのため、ある閾値ρを設けて周辺画素とのＳＡＤ値の差分が閾値ρ以下であれば特徴が少ないとみなし、視差が算出できないと判定し、閾値ρ以上であれば視差値が正確に算出できたと判定する。

ここでは、図９の点９０７、９０８、９０９が抽出され、その３点９０７、９０８、９０９に対して、３次元平面領域算出部７０３ａが３次元位置の算出を行い、３次元位置を、距離算出部１１７と平面領域判定部７０５に出力する。距離算出部１１７では入力された第２の計測領域である平面上の３点の３次元情報から３次元平面方程式を算出し、第１の計測領域の３次元座標との距離を算出する。３次元平面方程式と直交し、かつ、第１の計測領域の３次元座標を通る直線と３次元平面との交点を算出し、交点と該第１の計測領域の３次元座標との距離を求めればよい。

このようにして、第１の計測領域と第２の計測領域である平面（地面９０３ａ）との距離Ｌ１が算出され、画像上に重畳表示されて確認を行うことができる。

次に、ランナー９０１が、時間経過とともに移動する場合について説明する。まず、図９（ａ）の撮影範囲内で移動する場合を説明する。

この場合、第１の計測領域の対象と平面を形成する３点９０７、９０８、９０９は画角内に収まったままである。計測領域追従部７０４は第１の計測領域取得部７０１から入力された特徴量をもとに、画像データから計測領域の移動量を検出し、その座標位置を取得する。計測領域追従部７０４はこのように常に第１の計測領域となる被写体位置を追従してその位置を第１の計測領域取得部７０１へと出力する。平面領域判定部７０５は撮影画像内に平面を形成する３点９０７、９０８、９０９を追従し、その座標位置を検出する。この場合は撮像装置位置を移動させていないので画角内に３点が配置されている。この時には平面位置は再度この３点の位置情報を用いて第１の計測領域との距離を算出する。

ここで、ランナー９０１が大きく移動した場合を考える。図９（ｂ）はランナーが右方向に大きく移動した後の撮影画像であるが、ランナー９０１に合わせて撮像装置の撮影方向を移動したため、平面を形成する３点の内、点９０７（図９（ａ））が撮影範囲外となっている。この場合、そのままでは平面位置を算出することはできない。そこで、平面領域判定部７０５は撮影位置の移動によって平面を形成する点が撮影範囲外となる場合には同一平面上に配置される新たな特徴点を検出して連続する平面領域を取得する。例えば、図９（ａ）から図９（ｂ）へ撮影位置を移動させた場合に、点９０７が撮影範囲外となる。平面領域判定部７０５は３点の座標位置を検出しており、点９０７が撮影範囲の端から閾値ｎ以内となった時点で移動方向（この場合には右側）の領域から特徴点を検出し、その３次元位置を算出して３点９０７、９０８、９０９で形成される平面と同じ平面上に存在する特徴点９１０を抽出する。点９０７が撮影範囲外となった場合には、点９０７を、新たに平面算出のための点９１０に置き換え、前述した処理と同様に３点９０８、９０９、９１０で形成される３次元平面（地面９０３ｂ）と第１の計測領域との距離Ｌ２を算出する。このように、指定された第２の計測領域と同一の平面であるかの判定を自動で行うことで撮影位置が変わっても同じ平面との距離を広範囲に渡って計測することができ、ユーザーによる作業が発生しない。

上記のようにして一度計測領域を指定できれば各フレームから同一の被写体と平面の距離を得ることができ、かつその変位を容易に確認できる。また、距離情報を対応する画像上に重畳表示することで、どのシーンでどのような計測結果が出たのか容易に確認できる。

本実施の形態では第１の計測領域を指定された被写体位置としたが、第１の実施の形態で記載したような領域を有する線分でも良い。この場合には、線分上の第１の計測点と平面との距離を広範囲に渡って計測することが可能となる。

第１、第２の実施の形態において、添付図面に図示されている構成等については、これらに限定されるものではなく、本発明の効果を発揮する範囲内で適宜変更することが可能である。その他、本発明の目的の範囲を逸脱しない限りにおいて適宜変更して実施することが可能である。

＜第３の実施形態＞
本実施の形態１、２では距離情報取得部１１４での距離情報を取得する場合に視差を有する画像から距離情報を算出したが、撮影画像領域に対応する距離情報を得る手段であればこれに制限されない。例えば、１つの撮影画像と撮影画像の領域ごとの実空間上での距離情報を示したデータを入力するのでもよい。距離情報を示したデータの一例としては各画素の実空間上の距離の相対値を示した距離画像がある。この場合、距離情報取得部１１４は距離画像から抽出された計測領域に対応する距離情報を該距離画像データから抽出して、距離情報として出力する。距離算出部１１７は得られた距離情報とそれを実空間上の距離へ変換するパラメータを用いて３次元空間の距離に変換を行う。

本発明は、撮像装置として特定した場合に、撮像装置を有する携帯端末（スマートフォン、携帯電話機、ＰＣなど）や、カメラ、撮像装置から撮像データを主張して２領域間の距離を取得する情報処理装置などの種々の装置を含むものであり、機器の名称により限定されるものではない。

また、本実施の形態で説明した機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各部の処理を行ってもよい。尚、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。

また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。

また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また前記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。機能の少なくとも一部は、集積回路などのハードウェアで実現しても良い。

（付記）本発明は、以下の開示を含む。

（１）
画像上から第１の計測領域を取得する第１の計測領域取得部と、前記画像上から前記第１の計測領域とは異なる第２の計測領域を取得する第２の計測領域取得部と、を有し、前記第１の計測領域、および、前記第２の計測領域に対応した距離情報から、前記第１の計測領域と前記第２の計測領域との距離を算出する画像計測装置であって、
前記第１計測領域が画像上で変位させる入力部からの操作に応じて、前記第２計測領域において、前記第２計測領域が位置する前記画像上の輪郭、または、平面上を変位させる線領域追従部または平面領域判定部と、前記変位後の前記第１計測領域と前記線領域追従部または平面領域判定部により変位させた変位後の前記第２計測領域の距離を算出する距離算出部と
を有することを特徴とする画像計測装置。

（２）
異なる時間で撮影された第１の画像と第２の画像において、
前記第１の画像上で取得した前記第１の計測領域と同じ被写体を前記第２の画像上から検出して第２の計測領域とし、
前記第２の画像上で前記第２の計測領域を新たな第１の計測領域として距離を算出することを特徴とする（１）に記載の画像計測装置。

（３）
前記距離算出部が算出した距離情報を、変位に依存させて記憶する記憶部を有することを特徴とする（１）に記載の画像計測装置。

広範囲に渡って計測された距離情報は記録部に保存され、表示部にてその変位情報が確認できる。画像と計測箇所と計測された距離の対応関係が容易に管理できるため、ユーザーの目的に応じた計測結果の表示が可能である。

（４）
前記距離算出部が算出した距離情報を、操作時間に依存させて記憶する記憶部を有することを特徴とする（１）に記載の画像計測装置。

（５）
計測点の変位時において、同領域に複数のエッジ成分が検出された場合には、第１の３次元計測領域取得部と第２の３次元計測領域取得部から得られた３次元情報を基に空間的に近いエッジを抽出して連続したエッジであると判断することを特徴とする（１）から（４）までのいずれか１に記載の画像計測装置。

このように、撮影画像のエッジ情報だけでなく、３次元位置情報も用いることで、計測対象外のエッジとの分離を行い目的のエッジ位置精度良く取得する。

（６）
画像上から第１の計測領域を取得する第１の計測領域取得部と、前記画像上から前記第１の計測領域とは異なる第２の計測領域を取得する第２の計測領域取得部と、を有し、前記第１の計測領域、および、前記第２の計測領域に対応した距離情報から、前記第１の計測領域と前記第２の計測領域との距離を算出する画像計測装置であって、
前記第１計測領域が画像上で変位させる入力部からの操作に応じて、
前記第１の計測領域取得部から入力された特徴量をもとに、画像データから計測領域の移動量を検出し、その座標位置を取得する計測領域追従部と、
を有することを特徴とする画像計測装置。

計測領域追従部はこのように常に第１の計測領域となる被写体位置を追従してその位置を第１の計測領域取得部へと出力する。

（７）
さらに、
撮影画像内に平面を形成する少なくとも３点を追従し、その座標位置を検出する平面領域判定部を有することを特徴とする（６）に記載の画像計測装置。

（８）
画像上から第１の計測領域を取得する第１の計測領域取得部と、前記画像上から前記第１の計測領域とは異なる第２の計測領域を取得する第２の計測領域取得部と、前記第１の計測領域、および、前記第２の計測領域に対応した距離情報から、前記第１の計測領域と前記第２の計測領域との距離を算出する画像計測装置による計測方法であって、
入力部からの操作に応じて前記第１計測領域を画像上で変位させたときに、前記第２計測領域を、前記第２計測領域が位置する前記画像上の輪郭、または、平面上を変位させ、変位後の前記第１計測領域と変位後の前記第２計測領域の距離を算出する距離算出ステップを有することを特徴とする計測方法。

（９）
画像上から第１の計測領域を取得する第１の計測領域取得部と、前記画像上から前記第１の計測領域とは異なる第２の計測領域を取得する第２の計測領域取得部と、を有し、前記第１の計測領域、および、前記第２の計測領域に対応した距離情報から、前記第１の計測領域と前記第２の計測領域との距離を算出する画像計測装置において、
前記第１計測領域が画像上で変位させる入力部からの操作に応じて、
前記第１の計測領域取得部から入力された特徴量をもとに、画像データから計測領域の移動量を検出し、その座標位置を取得する計測領域追従ステップと、を有することを特徴とする画像計測方法。

（１０）
コンピュータに（８）又は（９）に記載の計測方法を実行させるためのプログラム。

（１１）
（１０）に記載のプログラムを記憶するコンピュータ読み取り可能な記録媒体。

本発明は、測長装置に利用できる。

１０画像計測システム
１１映像入力装置
１２画像計測装置
１３撮像装置
１４再生装置
１５通信・ネットワーク
１０１撮像部
１０２画像処理部
１０３記録部
１０４表示部
１０５入力部
１０６計測部
１１１第１の計測領域取得部
１１２第２の計測領域取得部
１１３カメラパラメータ取得部
１１４距離情報取得部
１１５第１の３次元計測領域取得部
１１６第２の３次元計測領域取得部
１１７距離算出部
１１８線領域追従部

本明細書で引用した全ての刊行物、特許および特許出願をそのまま参考として本明細書にとり入れるものとする。

Claims

画像の領域を指定する入力部と、
前記入力部により指定された第１の領域から、第１の計測領域を取得する第１の計測領域取得部と、
前記入力部により指定された第２の領域から、第２の計測領域を取得する第２の計測領域取得部と、
前記第１の計測領域と前記第２の計測領域との実空間上の距離を算出する距離算出部と、
を備えた画像計測装置であって、
前記入力部からの第１の計測領域への変位操作に応じて、
前記第１の計測領域取得部は、変位後の第１の計測領域を取得し、
前記第２の計測領域取得部は、変位後の第２の計測領域を取得し、
前記第２の計測領域取得部は、前記第２の計測領域と同じ被写体上を変位させて、前記変位後の第２の計測領域を取得し、
前記画像のエッジを検出して追従する線領域追従部をさらに備え、
前記入力部からの第１の計測領域への変位操作に応じて、前記第２の計測領域は前記線領域追従部によって追従された連続するエッジ上を変位する
ことを特徴とする画像計測装置。
前記連続するエッジの追従において、前記線領域追従部は、前記画像上の同領域に複数のエッジ成分が検出された場合には、第２の３次元計測領域取得部から得られた３次元情報を基に空間的に近いエッジを連続したエッジであると判断して追従することを特徴とする請求項１に記載の画像計測装置。
画像の領域を指定する入力部と、
前記入力部により指定された第１の領域から、第１の計測領域を取得する第１の計測領域取得部と、
前記入力部により指定された第２の領域から、第２の計測領域を取得する第２の計測領域取得部と、
前記第１の計測領域と前記第２の計測領域との実空間上の距離を算出する距離算出部と、
を備えた画像計測装置であって、
前記入力部からの第１の計測領域への変位操作に応じて、
前記第１の計測領域取得部は、変位後の第１の計測領域を取得し、
前記第２の計測領域取得部は、変位後の第２の計測領域を取得し、
前記第２の計測領域取得部は、前記第２の計測領域と同じ被写体上を変位させて、前記変位後の第２の計測領域を取得し、
前記画像の平面領域を判定する平面領域判定部をさらに備え、
前記入力部からの第１の計測領域への変位操作に応じて、前記第２の計測領域は前記平面領域判定部によって判定された連続する平面上を変位することを特徴とする画像計測装置。
異なる時間で撮影された第１の画像と第２の画像において、
前記第１の画像から取得した前記第１の計測領域と同じ被写体の領域を前記第２の画像から検出し、新たな第１の計測領域として距離を算出することを特徴とする請求項１から請求項３のいずれか１つに記載の画像計測装置。
前記距離算出部が算出した距離情報を、変位に依存させて記憶する記憶部を有することを特徴とする請求項１から請求項４のいずれか１つに記載の画像計測装置。
前記距離算出部が算出した距離情報を、操作時間に依存させて記憶する記憶部を有することを特徴とする請求項１から請求項５のいずれか１つに記載の画像計測装置。