JP4166993B2

JP4166993B2 - Stereoscopic image display apparatus and method

Info

Publication number: JP4166993B2
Application number: JP2002064094A
Authority: JP
Inventors: 仁志大谷; 伸夫高地; 弘幸青木; 光晴山田; 宏一佐藤
Original assignee: Topcon Corp
Current assignee: Topcon Corp
Priority date: 2002-03-08
Filing date: 2002-03-08
Publication date: 2008-10-15
Anticipated expiration: 2022-03-08
Also published as: JP2003264852A

Description

【０００１】
【産業上の利用分野】
本発明は、ステレオ撮影された画像から撮影対象物の三次元画像を作成して、立体表示できる立体画像表示装置及び方法に関する。また、本発明は、作成された三次元画像からステレオ画像計測を行える立体画像表示装置に関する。
【０００２】
【従来の技術】
ステレオ計測するためのステレオカメラは、各カメラが相対的に動かないように固定されている。そこで、カメラ間隔に対応する基線長は不変であり、カメラの撮影距離も各カメラ間で正確に一致させる必要があるため、焦点距離を可変にしたズームレンズではなく、固定焦点距離式のレンズが使用されている。また、カメラの分解能に依存して、ステレオカメラの計測精度が定まるため、収差の少ない高精度レンズが使用されている。
【０００３】
また、ステレオ撮影された画像を立体視する立体画像表示装置として、液晶シャッター方式と液晶フィルターシャッター方式が存在している。液晶シャッター方式は、１枚の画面に左右画像を交互に表示させ、それら画像を液晶眼鏡によって同期させて左右画像を切り替えるものである。液晶フィルターシャッター方式は、画面上に液晶偏向フィルターを取り付け、左右画像を切り替え表示しながら液晶偏向フィルターも同時に切り替え、偏向眼鏡で観察するものである。
【０００４】
【発明が解決しようとする課題】
そこで、従来のステレオカメラには、以下のような課題がある。
▲１▼各カメラが相対的に動かないように固定されているため持ち運びがしにくい。
▲２▼基線長と撮影距離の選択範囲が少ないため、ステレオカメラの計測対象物の寸法が限定される。
▲３▼高精度レンズを使用した専用カメラは高価で、一般の人には利用しにくい。
【０００５】
また、従来の立体画像表示装置では、液晶眼鏡、液晶フィルターなどを用いて、左右画像を時分割で切り替えて表示して、立体視を可能としているが、以下に示す課題がある。
▲４▼切り替えた画像を人間の左右の目に時分割でそれぞれ表示し、脳で左右画像を融合させているため、左右画像の切り替えがちらつきとなって、立体視をとても疲労の伴う難しいものとしている。
▲５▼液晶シャッター方式では、液晶眼鏡の左右の切り替えをセンサーで行っているため、蛍光灯のノイズにより左右の切り替えに誤動作が起こる場合がある。そこで、蛍光灯のもとでは使用（立体視）が困難である。
【０００６】
本発明は、上述する課題を解決したもので、第１の目的は、デジタルカメラやデジタルビデオ画像を利用して立体視可能な三次元画像を作成できる立体画像表示装置及び方法を提供することである。
本発明の第２の目的は、作成された三次元画像からステレオ画像計測を行える立体画像表示装置を提供することである。
本発明の第３の目的は、ステレオ撮影された画像を立体視する場合に、長時間立体視しても疲労の伴わない立体画像表示装置を提供することである。
【０００７】
【課題を解決するための手段】
第１の目的を達成する本発明の立体画像表示装置は、図１に示すように、ステレオ画像取得部１０で取得された一対のステレオ画像に含まれている特徴要素を指定する特徴要素指定部４０と、特徴要素指定部４０で指定された特徴要素の前記ステレオ画像中の位置に基づき前記ステレオ画像の標定を行う画像標定部３０と、標定の済んだステレオ画像を立体表示する表示部６０とを備えている。
【０００８】
このように構成された装置においては、特徴要素指定部４０によってステレオ画像に含まれている特徴要素が指定されるので、画像標定部３０によるステレオ画像の標定が容易に行える。標定されたステレオ画像は、表示部６０によって立体表示される。好ましくは、ステレオ画像取得部１０で取得された一対のステレオ画像を格納する画像データ記憶部２０を設けると、特徴要素指定部４０での特徴要素を指定する処理を画像データ記憶部２０に格納されたステレオ画像を用いて行える。
【０００９】
好ましくは、特徴要素指定部４０は、画像内でカーソルを移動させるカーソル移動手段を含み、当該カーソル移動手段により前記特徴要素を指示するように構成されていると、オペレータによるステレオ画像の標定作業が容易に行える。カーソル移動手段には、典型的にはマウス、ポインタ、タッチパッド、キースイッチ等の電子機器用入力装置が用いられる。
【００１０】
好ましくは、特徴要素指定部４０は、ステレオ画像内での特徴要素となる特徴要素候補画像を捜索し、当該特徴要素候補画像に前記カーソルを移動させる自動捜索処理部４４を有するように構成されていると、オペレータによるステレオ画像の標定作業が容易に行える。特徴要素候補画像を捜索するために、典型的にはテンプレート画像を用いた相互相関係数法を用いるとよく、相互相関係数が極大化された画像位置が特徴要素候補画像の位置である。
【００１１】
好ましくは、特徴要素指定部４０は、オペレータの操作により前記ステレオ画像における対応点が指定される対応点指示部４２と、前記ステレオ画像上の対応点の画像位置に基づき、前記対応点の位置データを計測する演算処理部４８とを備えるように構成されていると、ステレオ画像の三次元計測作業が容易に行える。
【００１２】
好ましくは、画像標定部３０が、前記ステレオ画像中の標定処理において更に偏位修正作業を行うように構成されていると、標定処理によりカメラの位置と傾きが計算されると共に、偏位修正作業により左右の画像を立体視可能な画像に変換して、基準となる縮尺が与えられていれば、立体視可能な三次元画像からステレオ画像計測が行える。
【００１３】
好ましくは、画像標定部３０は、ステレオ画像取得部１０の撮影基線長を用いて、前記ステレオ画像に対して作成されたステレオモデルに適切な縮尺を与えるように構成されていると、ステレオ画像取得部１０と被写体の距離に応じた被写体の概括的な大きさが提示できる。
【００１４】
第２の目的を達成する本発明の立体画像表示装置は、図１に示すように、好ましくは、さらに前記指定された特徴要素の寸法決定に用いられるデータを入力するデータ入力部５０を備えるように構成されていると、データ入力部５０で入力された寸法決定に用いられるデータに基づき、画像標定部３０により立体視可能に偏位修正されたステレオ画像から、当該ステレオ画像に写し込まれた被写体の実寸が計測可能な状態となる。
【００１５】
好ましくは、データ入力部５０で入力されるデータは、特徴要素の位置、長さ、方向の少なくとも何れか一つを含む構成とすると、画像標定部３０におけるステレオ画像中の標定処理が容易に行える。
【００１６】
第３の目的を達成する本発明の立体画像表示装置は、図２に示すように、表示部６０として、前記標定の済んだステレオ画像を構成する左右画像を２枚の偏光ディスプレイ６６２、６６４にそれぞれ表示させて、ハーフミラー６６６によって前記２枚の偏光ディスプレイに表示された左右画像を合成し、偏光眼鏡６６８によって当該ステレオ画像を左右画像に分離した状態で視聴可能に構成されるデュアルディスプレイ方式とするとよい。デュアルディスプレイ方式は、左右画像を同時に観察しているため、蛍光灯や照明条件等の外部環境ノイズに影響されず、オペレータは安定して長時間立体視できる。
【００１７】
第１の目的を達成する本発明の立体画像表示方法は、図３に示すように、ステレオ画像取得部で取得された一対のステレオ画像を読み込む工程（Ｓ１０２）と、当該一対のステレオ画像に含まれている特徴要素を指定する工程（Ｓ１１０）と前記指定された特徴要素の前記ステレオ画像中の位置に基づき、前記ステレオ画像の標定を行なう工程（Ｓ１１２、Ｓ１１４）と、標定の済んだステレオ画像を立体表示する工程（Ｓ１１６）を備えている。
【００１８】
【発明の実施の形態】
以下図面を用いて本発明を説明する。図１は本発明の第１の実施の形態を説明する全体構成ブロック図である。立体画像表示装置は、ステレオ画像取得部１０、画像データ記憶部２０、画像標定部３０、特徴要素指定部４０、データ入力部５０並びに表示部６０を備えている。
【００１９】
ステレオ画像取得部１０は、ステレオカメラのような精密機器でも良く、またデジタルカメラやデジタルビデオカメラ等のような簡易なレンズを用いた機器でもよい。ステレオカメラは、ステレオ計測するためのもので、各カメラが相対的に動かないように固定されている。そこで、カメラ間隔に対応する基線長は不変であり、カメラの撮影距離も各カメラ間で正確に一致させる必要があるため、固定焦点距離式のレンズが使用されている。また、カメラの分解能に依存して、ステレオカメラの撮影作業領域が定まるため、収差の少ない高精度レンズを使用して、撮影作業領域を拡大している。
【００２０】
他方、デジタルカメラやデジタルビデオカメラは、同じ光学的性質を有するレンズを用いた２台の機器をステレオバーに取り付けて、ステレオカメラとすることが可能である。あるいは、デジタルカメラやデジタルビデオカメラを一台として、測定対象物に対して右撮影方向と左撮影方向から撮影しても良い。一台で右撮影方向と左撮影方向から撮影する場合には、左右撮影のカメラ間隔が一定になるように留意する。デジタルカメラやデジタルビデオカメラでは、レンズ収差がステレオカメラのレンズ収差に比較して大きいので、レンズ収差を補償して画像データ記憶部２０に格納するとよい。レンズ収差が大きいので、レンズの視野はステレオカメラよりも狭くして、精度を確保するとよい。
【００２１】
画像データ記憶部２０は、ステレオ画像取得部１０にて取得した画像を記憶するもので、デジタルカメラやデジタルビデオカメラであればデジタル画像情報を記憶するフレキシブルディスク、ＣＤ−ＲＯＭ、ハードディスク等を用いるとよい。ステレオカメラとしてフィルムに焼付けたアナログ画像情報を用いる場合には、アナログ画像情報をスキャナー等でデジタル化してデジタル画像情報化して、記憶するとよい。
【００２２】
画像標定部３０は、特徴要素指定部４０で指定された画像の位置を用いてカメラの位置と傾き（外部標定要素）を計算し、偏位修正作業により立体視可能なステレオ画像（偏位修正画像）を作成するもので、典型的には航空写真測量でいうところの内部標定、相互標定、絶対標定のうち相互標定と絶対標定を行う機能に相当している。画像標定部３０はパソコン上のソフトウェアとしても良いし、あるいはマイコン等の組込み型ソフトとして表示部６０に組み込んでも良い。あるいはハードウェアで構成しても良い。なお、立体画像作成の原理に関しては後で詳細に説明する。
【００２３】
さらに、画像標定部３０は、特徴要素指定部４０で指示する画像の特徴点に対して、データ入力部５０より実際又は仮想の座標又は寸法を入力することにより、立体視可能なステレオ画像において実際又は仮想の縮尺又は寸法になったステレオ画像に変換する。このように立体視可能なステレオ画像を作成して、絶対標定に必要な寸法を与えれば、ステレオ法の原理に従って三次元計測が可能となる。
【００２４】
特徴要素指定部４０は、ステレオ画像を立体視可能なように修正する際に、左右画像上で特徴要素としての画像の特徴点を指示するものである。画像の特徴点とは、標定を可能とするために左右画像上で重なった領域に少なくとも６点設ける必要のあるもので、特徴点の分布密度は左右画像上の重なった領域で概ね均等になるように定めるとよい。画像の特徴点は、オペレータや自動捜索処理部４４で認識しやすい形状や模様であることが好ましく、例えばターゲットと呼ばれる標識を被写体に設けると良い。
【００２５】
特徴要素指定部４０は、立体画像を作成する際や計測する際に左右画像の対応点を指示する対応点指示部４２、自動で対応点を探索するための自動捜索処理部４４、三次元計測をする際の演算を施す演算処理部４８を備えている。ここで、対応点とは、画像の特徴点の中で左画像と右画像の双方で認識された同一の特徴点をいう。対応点指示部４２は、画像上の平面方向としてのＸＹ方向の指示や奥行き方向の指示をするもので、ＰＣのマウスや奥行きを指示するダイヤルをつけたものなどを使用する。対応点指示部４２には、表示部６０のカーソル位置が対応点位置に対して近傍になると、表示部６０に表示されているカーソルマーク表示を変更する機能を持たせるとよい。
【００２６】
自動捜索処理部４４での対応点探索には、例えば画像相関処理を用いて行う。即ち、左画像上で特徴点として指示した点をテンプレートとして、右画像上を探索する。画像相関処理は、相互相関係数法や残差逐次検定法（ＳＳＤＡ法）などどれを用いても良い。
【００２７】
対応点指示部４２や自動捜索処理部４４により左右画像の対応点を定めているので、ステレオ画像取得部１０として、ステレオアタッチメント等に２台のカメラを取り付けステレオカメラ撮影した場合も、ステレオ撮影における対応点を求めることができる。さらに、画像標定部３０により外部標定要素を用いて、ステレオ撮影に対応するステレオモデルを作成できる。すると、オペレータの熟練度に依存せず安定したステレオ撮影とステレオモデル作成が可能となる。ステレオカメラの場合には、基線長やカメラの傾きが既知なので、該当するパラメータを用いればステレオモデルが一義的に得られる。
【００２８】
データ入力部５０は、実際の寸法と合わせるのに基準量等を入力する。なお、立体画像を作成するだけであれば、データ入力部５０を設ける必要はない。データ入力部５０により、立体視可能なように修正されたステレオ画像に寸法をいれれば、絶対標定に必要なパラメータとして入力された寸法を用いて、立体画像の作成が可能となる。
【００２９】
表示部６０は、取得された画像や立体視可能になった画像を表示するもので、操作表示部６４と立体画像表示部６６を備えている。操作表示部６４には、画像標定部３０に用いるパソコン用モニタを用いるとよい。立体画像表示部６６には、偏向眼鏡をかけて立体視可能とするデュアルディスプレイ方式の立体ディスプレイを用いるとよい。
【００３０】
図２はデュアルディスプレイ方式の立体画像表示部を説明する構成斜視図である。デュアルディスプレイ方式は、左右画像を２枚の偏光ディスプレイ６６２、６６４にそれぞれ表示させ、ハーフミラー６６６によって合成する。ハーフミラー６６６によって合成された画像は、偏光眼鏡６６８によって左右それぞれの画像を分離できる偏光状態となっている。即ち、偏光ディスプレイ６６２、６６４で表示される画像の偏光状態は光学的に直交していて、偏光眼鏡６６８による分離が可能となっている。観察者が偏光眼鏡６６８を用いて立体画像表示部６６に表示された画面を観察すると、左右の目に左右画像を同時に表示する状態が実現される。そこで、観察者は左右画像を立体的に観察できる。デュアルディスプレイ方式は、従来の液晶シャッター方式や液晶フィルターシャッター方式と比較して、左右画像を同時に観察しているため、蛍光灯や照明条件等の外部環境ノイズに影響されず、安定して長時間立体視できるという利点がある。
【００３１】
表示部６０には、立体画像だけでなく、計測点の指示、装置の操作用の表示、取得された生画像等も表示するとよい。これら表示は、立体画像表示部６６にあわせて表示しても良いし、あるいは操作表示部６４に表示させても良い。
【００３２】
次に、このように構成された装置の使用について説明する。図３は図１の装置におけるステレオ画像計測の手続きの流れを説明するフローチャートである。まず、市販のデジタルカメラやデジタルビデオカメラを用いて、立体表示したい対象物のステレオ撮影を行う（Ｓ１００）。ステレオ撮影に用いるカメラは１台として撮影方向を右方向と左方向で撮影してもよく、またカメラを２台固定して右方向と左方向からステレオ撮影してもよい。
【００３３】
次に、ステレオ撮影した左右画像を画像データ記憶部２０に読み込む（Ｓ１０２）。そして、画像データ記憶部２０に読み込まれた画像を表示部６０に表示する（Ｓ１０４）。ここで、表示部６０には左右２枚の画像を並べて表示すると、その後の操作が容易になる。表示部６０に操作表示部６４が設けられている場合には、操作表示部６４に表示するとよい。この状態であっても、固定されたステレオアッタチメントで被写体となる対象物に対し平行に撮影した画像であれば、表示部６０に表示すれば、立体視することも可能である。
【００３４】
続いて、ステレオ撮影した左右画像上で対応点の座標値や特徴点において関連する寸法がある場合は、該関連する寸法をデータ入力部５０から入力する（Ｓ１０６）。例えば、実際の座標として３点が既知であれば、データ入力部５０から既知の３点の座標値を入力することができる。すると、Ｓ１１０で処理される左右画像の対応点決定において既知の座標系に変換可能でき、三次元計測が可能となる。データ入力部５０から入力する他のデータとしては、撮影したカメラの傾き（方向）、既知の画像上の寸法、ステレオ撮影した際のカメラ間距離（基線長）がある。これら画像中の６点以上の対応点によりカメラの相対的な位置と傾きを求める相互標定や絶対座標でその位置と傾き求める絶対標定に必要とされるデータとしてデータ入力部５０から既知の３点の座標値等の実際の寸法と合わせる基準量となるデータを入力すれば、相互標定や絶対標定を通して作成された偏位修正されたステレオ画像に写し込まれた被写体の実寸を計測することが可能となる。なお、上記標定は、ステレオ撮影した左右画像上の多数の特徴要素としての特徴点から６点以上の対応点を選択して行なわれる。また、既知の３点の座標値は予め行なった三次元計測値等を使用する。なお、データ入力部５０からのデータ入力に代えて、ステレオ画像取得部１０を用いて基準となる寸法となる部位を予めステレオ画像として写し込んでおいてもよい。
【００３５】
また、データ入力部５０から入力するデータは実際の寸法でなくとも、仮想値を入力して仮想寸法のステレオモデルを作成することも可能である。あるいは、Ｓ１０６にて、データ入力部５０からデータを何もいれないくても、ステレオモデルを作成することは可能であり、立体画像表示部６６に立体視可能なステレオ画像を表示することが可能である。ただし寸法は、基準となる寸法を別途定めないと、現実の寸法に対して相似のステレオ画像が得られるだけとなり、絶対値は得られない。
なお、データ入力部５０へのデータ入力は、Ｓ１０６の位置に代えて、初期設定値として予め入力しても良く、Ｓ１１０で処理される左右画像の対応点決定の際に入力しても良く、あるいは、左右画像の対応点決定処理の後に入力してもよい。
【００３６】
続いて、主画像と従画像の選択を行う（Ｓ１０８）。ここで、主画像とは、自動相関処理の際に、基準カーソルが現れる画像をいう。また、従画像とは、自動相関処理の際に、基準カーソルの位置に対応した相関値の高い位置にカーソルが自動的に移動する従カーソルが現れる画像をいう。
【００３７】
ステレオ撮影した左右画像のどちらを主画像とするかは、使用者に任せられる。主画面とする画像は、使用者が物の形を認識するための利き目側の画像を選択することが望ましい。何故なら、人間の目は両眼で立体視をしているが、物の形を認識するために、左右の何れかが利き目となっているからである。なお、両眼のうち何れが利き目か判断するためには、立体視をしている状態で所定のマークを指差し、一方の目を閉じても所定のマークを指差している側の目を求める。以下の説明においては、主画像は左画像とし、従画像を右画像とする場合を例に説明する。
【００３８】
次に、立体画像を作成するために特徴要素指定部４０の対応点指示部４２により左右画像の対応点を指示決定する（Ｓ１１０）。左右画像上の同一点を最低６点以上対応付けすることによって、先に説明した立体視の原理を適用し、相互標定をする画像標定部３０により、後述する（４）式の共面条件式を用い、さらにモデル座標系ＸＹＺとカメラ座標系ｘｙｚとの変換式（６）、（７）を用いて、各パラメータを求め、カメラの相対的な位置と傾き（外部標定要素）を求めることができる。以上により、カメラの相対的な３次元位置ならびに３軸の傾きが求まり、偏位修正された立体視可能なステレオ画像（ステレオモデル）が作成できるようになる。また、ステレオ撮影したカメラ間の距離（基線長）を入力してやれば、実寸のステレオモデルとすることができる。さらに、６点のうち３点のＸＹＺ座標を与えてやることができれば、実際の座標系変換し、実座標における三次元計測が可能となる。すなわち、相互標定で用いた上記３点以外のステレオ画像の被写体の対応点の実座標が求まる。対応点決定は、画像上で特徴のあるところを左右画像上で決定すれば良いが、明確なターゲットを対象物周辺にプリンタ等で印刷、配置しておけば作業自体は楽なものになる。明確なターゲットマークとしては、黒丸”●”、四角”■”、菱形”◆”、三角形”▲”などがある。なお、この対応点決定から外部標定要素計算までの一連の作業は標定と呼ばれている。
【００３９】
続いて、左右画像の対応点を決定する具体的な処理過程を、図４を参照して説明する。図４は、対応点決定処理を説明するフローチャートである。対応点決定処理に入ると（Ｓ２００）、対応点決定処理としてのマニュアルモード、半自動モード、自動モードと３つのモードの何れか一つを選択する（Ｓ２０２）。なお、以下に説明する左画像と右画像は、その逆の右画像と左画像と逆に置き換えても処理は全く同様であり、そのように読替えて処理してもよい。
【００４０】
マニュアルモードが選択されると、マニュアルモードでの処理が開始される（Ｓ２１０）。まず、表示部上の左画像の特徴となるところを対応点指示部４２のマウスによって指示し、確定する（Ｓ２１２）。確定は、例えばマウスのボタンを押すことなどに行う。確定処理により左画像座標が読み込まれる。次に、左画像と同じ特徴点を表示部の右画像上で対応点指示部４２のマウスにより指示・確定する（Ｓ２１４）。これにより、右画像座標が読み込まれる。このようにマニュアルモードでは、左右画像上で別々に対応点指示部４２により指示、確定させる。そして、対応点として６点以上対応付けをしたか判断し（Ｓ２１６）、６点未満であればＳ２０２のモード選択に戻る。なお、Ｓ２１２に戻ってマニュアルモードによる対応点決定処理を継続するようにプログラムを作成してもよい。６点以上対応付けしていれば、戻しとする。
【００４１】
半自動モードが選択されると、半自動モードでの処理が開始される（Ｓ２２０）。半自動モードでは、特徴要素指定部４０の自動捜索処理部４４にうつる（Ｓ２２２）。次に、表示部６０の左画像上で特徴点を対応点指示部４２のマウスにより指示する（Ｓ２２４）。すると、自動捜索処理部４４は、右画像上の対応点を自動で探索する（Ｓ２２６）。
【００４２】
そして、オペレータは自動捜索処理部４４にて検索された右画像上の対応点が適切であるか、判断する（Ｓ２２８）。この場合、自動捜索処理部４４にて演算された相互相関係数が、ある閾値以上であればＯＫと決定する（例えば０．７以上等）。表示部６０には、対応点指示部４２により、例えば右画像上で左画像上に対応した探索位置にＯＫなら緑表示の点、ＮＧなら赤表示の点を表示したり、カーソルマークの図形を変えたり（例えば、矢印”⇒”から二重丸”◎”にカーソルマーク表示を変更する）、相互相関係数値を表示させたりすることに、オペレータが判定する。右画像探索ＯＫか否かの表示は、オペレータが判断容易であればどのような表示によっても良い。
【００４３】
ＯＫでなかった場合、対応点が他の位置でもよいか判断し（Ｓ２３０）、他の位置でもよければＳ２２４へもどり他の点を指示する。他方、どうしてもその位置を特徴点としたい場合は、右画像上のカーソルをマニュアルにて移動させて指示する（Ｓ２３２）。即ち、例えば対応点指示部４２の奥行き方向を合わせるダイヤル等を回せば、等価的に右画像上のカーソルが動くことになるので、それを調整して、左画像と同じ特徴点のところへ持って行き、あわせる。
【００４４】
そして、Ｓ２２８で右画像探索ＯＫの場合、あるいはＳ２３２にて右画像を指示した場合は、その点の画像座標を読み込む（Ｓ２３４）。例えばマウスのボタンを押すなどして確定させる。そして、対応点として６点以上対応付けをしたか判断し（Ｓ２３６）、６点未満であればＳ２０２のモード選択に戻る。なお、Ｓ２２２に戻って半自動モードによる対応点決定処理を継続するようにプログラムを作成してもよい。６点以上の対応付けしていれば、戻しとする。
【００４５】
上述した半自動モードは、左画像上で特徴点をマウスにより指示することにより、自動で右画像の対応点を探索し、ＯＫかどうか表示している。そこで、オペレータはカーソルマーク表示の表示を見て、自動捜索処理部４４にて検索された右画像上の対応点が適切であれば、検索された対応点を対応点として確定させる（（例えば矢印”⇒”から”◎”に変更されている場合）。半自動モードを用いることにより、オペレータは片方の画像を指示するだけでよいので、対応点決定処理を簡単に処理できる。なお、マウスによる指示と確認のための判定は、ボタンを押すことによっても良いが、更にマウスカーソルを移動して左画像上をなぞるだけで、右画像上の対応点を常に判定表示させるように構成しても良い。左画像上のマウスカーソルに対応する右画像上の対応点を判定表示させると、対応点決定処理をさらに容易に処理できる。
【００４６】
自動モードが選択されると、自動モードでの処理が開始される（Ｓ２４０）。自動モードは、対応点となるターゲットを予め対象物周辺に配置することで、自動でターゲットを検出するモードである。ターゲットとなるものは、予め特徴点として認識しやすいものを対象物周辺に配置する。ターゲットは認識しやすいものであればなんでもよい。例えば、前述した”●”ようなターゲットマークをプリンタにより印刷したり、作成したりして配置する。この場合、ターゲットの正確な位置が予めわかっていれば、正確な三次元計測がその後可能となる。
【００４７】
まず、オペレータは、表示部６０により左右画像上に６点以上のターゲットが含まれているか確認する（Ｓ２４２）。もし左右画像上で６点以上のターゲットが含まれていなければ、マニュアルもしくは半自動モードへ行く（Ｓ２４４）。なお、左右画像に対応する６点以上のターゲットが撮影されていない場合には、ターゲットが６点以上入るように撮影しなおす。そして、特徴要素指定部４０を用いた自動モード処理に移行する（Ｓ２４６）。
【００４８】
自動モード処理では、自動ターゲット検出を行うために、配置したターゲット画像の一つを対応点指示部４２により指示し、特徴要素指定部４０にテンプレート画像として登録する（Ｓ２４８）。そして、自動捜索処理部４４によりテンプレート画像を元に、左画像と右画像の各々のターゲット位置を探索する（Ｓ２５０）。このターゲット位置の探索処理は、例えば先に説明した相互相関係数法等を利用して自動検出させる。そして、探索されたターゲット位置を表示部６０上に表示する（Ｓ２５２）。
【００４９】
オペレータは、探索されたターゲット位置がＯＫであるか判断し（Ｓ２５４）、ＯＫであれば戻しとする。ＮＧであれば、ターゲット位置の修正を行う（Ｓ２５６）。この修正には、マニュアルモードあるいは半自動モードによる処理を用いる。仮に、ＮＧであった場合でも、ターゲットを配置してあるので修正は容易である。
【００５０】
そして、修正されたターゲット位置を用いて、左右画像上での対応点を検出する（Ｓ２５８）。この作業は、特徴要素指定部４０の対応点指示部４２により左右画像の対応点を表示部６０を見ながら指示することにより行う。あるいは、図５（Ａ）のように予めターゲットの配置を決めて、概略平行にステレオ撮影する。すると、ターゲットの配置は撮影した画像上でも保たれるため、対応付けを自動で行うことも可能である。更には、６点以上のターゲットマークを別々に決め、予めテンプレート指定しておいても、対応付けを自動で行うことが可能である。左右画像上での対応点の点数は、最小６点なので作業はマニュアルで行っても簡単にできる。
【００５１】
図３にもどり、Ｓ１１０にて左右画像の対応点の対応付けが終了したら、該対応点を元に画像標定部３０にて外部標定要素（カメラの位置、傾き）を計算する（Ｓ１１２）。外部標定要素の詳細については、後述する立体画像作成の原理の該当箇所に説明されている。
【００５２】
Ｓ１１２にて外部標定要素が求まったら、求めた外部標定要素値により画像の偏位修正（ステレオ画像作成）を行う（Ｓ１１４）。そして、表示部６０にステレオ画像を表示する（Ｓ１１６）。以上のようにして、ステレオ画像が作成される。
【００５３】
さらに表示されたステレオ画像から計測をするか判断し（Ｓ１１８）、Ｙｅｓであれば、計測位置指定を行う（Ｓ１２０）。次に、ステレオ画像における計測位置指定をする具体的な処理過程を図６を参照して説明する。図６は、計測位置指定処理を説明するフローチャートである。計測位置指定処理に入ると（Ｓ４００）、計測位置指定処理としてのマニュアルモード、半自動計測モード、自動計測モードの３モードのうち何れか一つを選択する（Ｓ４０２）。
【００５４】
なお、計測位置指定処理の各モードにおいて、入力データ部により入力されたデータによって、指定された点の三次元座標値、あるいは２点間の距離等が計測できる。ここでは、立体画像表示部６６にて、立体画像が表示されているので、それを見て、確認しながら計測することが可能となる。更に、操作表示部６４上に左右画像別々に表示し、それを見ながら計測することも可能であるが、立体画像表示部６６にて確認しながら行えば、さらに確実な計測が可能になる。
また、対応点指示部４２の立体画像上における奥行き方向の指示は、マウスについたダイヤルや、あるいはダイヤル単体等により指示する。
【００５５】
マニュアルモードが選択されると、マニュアルモードでの計測位置指定の処理が開始される（Ｓ４１０）。ここでは、オペレータが立体画像表示部６６を見ながら操作表示部６４を用いて計測点を指示する手順を説明する。オペレータは、立体画像表示部６６を見ながら、操作表示部６４で表示されている左画像について、計測したい位置を特徴点として指示する（Ｓ４１２）。次に、操作表示部６４で表示されている右画像について、同一点と思われる位置を特徴点として指示する（Ｓ４１４）。そして、立体画像表示部６６を見て、左画像の特徴点と右画像の特徴点がカーソルの指し示す計測したい点として、一致する特徴点の上にあるか確認する（Ｓ４１６）。このカーソルが計測したい点の位置には、画面の平面方向の他に、奥行き方向も含まれる。もし違っていれば、対応点指示部４２のマウスを利用して計測したい位置を指示する（Ｓ４１８）。
【００５６】
オペレータが立体画像表示部６６を見ていると、奥行き方向も同時に観察できるため、奥行き方向の位置も合わせる（Ｓ４２０）。即ち、奥行き方向があっていなければカーソルが対象点より浮いたり沈んだりして見える。この場合、奥行き方向を合わせるダイヤルがあれば、それらを利用して対象点の上にカーソル位置を合わせることができる。このカーソル位置合わせ作業は、実質的には、左右画像の位置あわせをしていることと同じであるが、立体視をしながら行っているので間違いがないのと同時に確実である。即ち、特徴が少ないところでも、左右画像の位置あわせをすることができる。そして、左画像の特徴点と右画像の特徴点が一致していてＯＫであれば、マウスのボタンなどにより位置確定して、座標位置を読み込ませる（Ｓ４２２）。
【００５７】
半自動計測モードが選択されると、半自動計測モードでの計測位置指定の処理が開始される（Ｓ４３０）。半自動計測モードでは、操作表示部６４もしくは立体画像表示部６６どちらを見ながら行ってもよい。半自動計測モードでは、特徴要素指定部４０は、自動捜索処理部４４に移行する（Ｓ４３２）。そして、オペレータは左画像上の計測点をマウスにより指示する（Ｓ４３４）。すると、自動捜索処理部４４によって、左画像上の計測点と同一計測点を右画像上で探索する（Ｓ４３６）。なお、この自動捜索処理部４４による左画像上の計測点と同一計測点を右画像上で探索は、Ｓ２２６にて説明した内容と全く同様である。そして、右画像の探索位置がＯＫか確認する（Ｓ４３８）。
【００５８】
もし右画像の探索位置が左画像上の計測点と違っていれば、マニュアルモードと同様に対応点指示部４２のマウスを利用して計測したい位置を指示する（Ｓ４４０）。この時、オペレータは立体画像表示部６６上で奥行き方向と画像平面方向と同時に観察できるため、奥行き方向の位置も一致させる（Ｓ４４２）。そして、左画像の特徴点と右画像の特徴点が一致していてＯＫであれば、マウスのボタンなどにより位置確定して、座標位置を読み込ませる（Ｓ４４４）。この時、操作表示部６４上には、ＯＫであれば対応する右画像の位置にＯＫ表示をするとよい。また、立体画像表示部６６上であれば、ＯＫ表示もカーソルの色、形状をかえることなどにより確認できるが、実際にあっているかどうかも本人の目で確認することができる。
【００５９】
自動計測モードが選択されると、自動計測モードでの計測位置指定の処理が開始される（Ｓ４５０）。自動計測モードでは、指定した領域の三次元座標値を一括して計測することが可能である。そこで、計測したい領域について指定する計測領域指定処理を行う（Ｓ４５２）。即ち、計測領域の一番外側となる左右画像の境界点を指示する。例えば、大略五角形の領域を一括計測したい場合は、図５（Ｂ）のように対応境界となる境界点を５点指示する。ここでは、オペレータによって指示された境界点を黒丸で表している。そして、オペレータは境界点の表示を参照して、左右画像の境界点を指示する点が適切か判断し（Ｓ４５４）、指定した境界点を間違えたり、気に入らなければＳ４５２に戻り指示しなおす。
【００６０】
左右画像の境界点の指定が適切であれば、各指定点を結線し、立体画像表示部６６に表示して計測領域を明確にする（Ｓ４５６）。すると、図５（Ｂ）のように立体画像表示部６６の表示は、対応境界となる境界点を結線した表示となる。そして、オペレータは境界点及び結線表示を参照して、計測領域の指定が適切であるかを確認する（Ｓ４５８）。適切でない場合は、不適切な指定点と対応する結線をクリアして（Ｓ４６０）、Ｓ４５２に戻り指示しなおす。計測領域の指定が適切であれば、計測領域として確定する（Ｓ４６２）。このようにして、計測領域を決めれば、その領域において左右画像の対応点が間違いなく決まっているので、確実な一括計測が可能となる。また、一括計測において、これらの左右画像の対応点を利用すれば、信頼性、速度ともにあげることが可能となる。
【００６１】
次に、計測領域指定された領域内の対応点に対して、自動捜索処理部４４により自動で対応点検出を一括処理する（Ｓ４６４）。ここでは、画像相関処理により行う。例えば先に説明した、相互相関係数法を利用して、左画像をテンプレート、右画像をその探索領域として各点の対応点検出を行えばよい。なお、画像相関処理として、粗密探索相関法やその他の画像相関処理として利用される通常の処理方法を用いても良い。
【００６２】
図３にもどり、対応点の左右座標値から計測値を演算処理部４８によって算出する（Ｓ１２２）。演算は、先に説明したステレオ法の原理により計算される。自動計測モードで、計測領域の対応点を自動検出した場合は、その対応点検出したすべての点について計算する。そして、計測値を表示部６０上に表示する（Ｓ１２４）。そして、Ｓ１１８に戻り、さらに計測を続けるか判断し（Ｓ１１８）、続けるのであれば繰り返し測定する。計測を続けない場合は、終了する。
【００６３】
なお、自動計測により領域を計測した場合であれば、表示は、数値でなく鳥瞰図や等高線図等で表示することも可能である。また、これら領域の計測値データを他のＣＡＤ(Computer Aided Design)装置等にわたして、ＣＡＤ側で処理してもよい。
【００６４】
次に、上記の実施の形態において用いたステレオ画像計測における基本原理を項目毎に説明する。
１．［ステレオ法の原理］
ステレオ法の原理について以下説明する。図７はステレオ法の原理の説明図である。図７に示すように、２台のカメラ１、２が、光軸が平行で、カメラレンズの主点から撮像面としてのＣＣＤ面までの距離ａが等しく、ＣＣＤは光軸に直角に置かれているものとする。また、カメラ１、２の間隔と等しい、２つの光軸間距離（基線長）をｌとする。
【００６５】
このとき、物体上の点Ｐ１（ｘ１、ｙ１）、Ｐ２（ｘ２、ｙ２）の座標の間には、以下のような関係がある。
ｘ１＝ａｘ／ｚ −−−（１）
ｙ１＝ｙ２＝ａｙ／ｚ −−−（２）
ｘ２−ｘ１＝ａｌ／ｚ −−−（３）
但し、全体の座標系（ｘ、ｙ、ｚ）の原点をカメラ１のレンズ主点にとるものとする。（３）式よりｚを求め、これを用いて（１）式、（２）式よりｘ、ｙが求められる。以上で、左右画像の対応点を求めれば、その位置の三次元座標を計測することが可能となる。
【００６６】
２．［立体画像作成の原理］
次に立体画像作成についての原理を説明する。立体画像作成の原理は、ステレオ法が成立するように画像を修正すれば、立体視が可能になるということである。立体視可能な画像とは、対象物に対して２枚の画像が平行でありかつ縦視差が除去されているものである。例えば、図８に示されている画像では、左右の画像間でいくらオーバーラップしている領域があっても、左右画像の縮尺が異なり、さらに回転や縦視差があるために、人間の目では立体視することができない。しかしながら、図９のように左右画像の倍率をあわせ、回転を補正し縦視差を除去すれば、人間が立体視可能な画像とすることができ、ステレオ法を成り立たせることができる。
【００６７】
ステレオ画像（ステレオモデル）は、左右画像中に６点以上の同一の対応点を求めることにより作成することができる。即ち、左右の画像上で６点対応する点の画像座標があれば、二つのカメラの相対的な位置と傾きを求めることができるので、それにより左右画像の縮尺、回転、縦視差を補正し、立体視可能なステレオ画像（ステレオモデル）を作成することができる。
【００６８】
２．１［相互標定］
相互標定は、画像中の６点以上の対応点によりカメラの相対的な位置と傾きを求める原理である。図１０は相互標定の説明図である。相互標定では、以下の共面条件式により各パラメータを求める。
【数１】

【００６９】
図１０に示すように、モデル座標系の原点を左側の投影中心にとり、右側の投影中心を結ぶ線をＸ軸にとるようにする。縮尺は、基線長を単位長さにとる。このとき求めるパラメータは、左側のカメラのＺ軸の回転角κ１、Ｙ軸の回転角φ１、右側のカメラのＺ軸の回転角κ２、Ｙ軸の回転角φ２、Ｘ軸の回転角ω２の５つの回転角となる。この場合左側のカメラのＸ軸の回転角ω１は０なので、考慮する必要ない。
このような条件にすると、▲４▼の共面条件式は式▲５▼のようになり、この式を解けば各パラメータが求まる。
【数２】

【００７０】
ここで、モデル座標系ＸＹＺとカメラ座標系ｘｙｚの間には、次に示すような座標変換の関係式が成り立つ。
【数３】

【００７１】
これらの式を用いて、次の手順により、未知パラメータを求める。
２−▲１▼：初期近似値は通常０とする。
２−▲２▼：共面条件式▲５▼を近似値のまわりにテーラー展開し、線形化したときの微分係数の値を▲６▼、▲７▼式により求め、観測方程式をたてる。
２−▲３▼：最小二乗法をあてはめ、近似値に対する補正量を求める。
２−▲４▼：近似値を補正する。
２−▲５▼：補正された近似値を用いて、２−▲２▼〜２−▲５▼までの操作を収束するまで繰り返す。
【００７２】
以上により、カメラの相対的な３次元位置ならびに３軸の傾きが求まり、立体視可能なステレオ画像（ステレオモデル）が作成できるようになる。また、ステレオ撮影したカメラ間の距離（基線長）を入力してやれば、実寸のステレオモデルとすることができる。さらに、６点のうち３点のＸＹＺ座標を与えてやることができれば、実際の座標系変換し、実座標における三次元計測が可能となる。
【００７３】
３．［相互相関係数法］
相互相関係数による方法では、次式を用いた以下の手順による。
【数４】

３−▲１▼：例えば、特徴要素指定部４０の対応点指示部４２により指示された特徴点となる点を中心とした、Ｎ１×Ｎ１画素の画像をテンプレート画像として左画像から切出す。図１１は左右画像における探索範囲とテンプレート画像の一例を示す図である。
３−▲２▼：テンプレート画像より大きい右画像中のＭ１×Ｍ１画素を探索範囲（Ｍ１−Ｎ１＋１）^２として、探索範囲上でテンプレート画像を動かす。
３−▲３▼：上式の相互相関係数Ｃ(a,b)が最大になるような画像位置を求めて、テンプレート画像に対し探索されたとみなす。完全に左画像と右画像が一致していれば、相互相関係数値Ｃ(a,b)が1.0となる。
一般的には、標定作業により撮影カメラの位置と傾きを求めて、その結果を用いて偏位修正画像を作成する作業が行われる。本実施の形態においては、画像標定部３０により、偏位修正画像を作成する処理を行わせている。
【００７４】
【発明の効果】
以上説明したように、本発明のステレオ画像用処理装置によれば、ステレオ画像取得部で取得された一対のステレオ画像に含まれている特徴要素を指定する特徴要素指定部と、特徴要素指定部で指定された特徴要素の前記ステレオ画像中の位置に基づき前記ステレオ画像の標定を行う画像標定部と、標定の済んだステレオ画像を立体表示する表示部とを備えているので、オペレータは特徴要素指定部を用いてステレオ画像中の特徴要素を指定すれば、画像標定部と表示部によりステレオ画像が作成されて、表示される。
【００７５】
また、さらに指定された特徴要素の寸法決定に用いられるデータを入力するデータ入力部を備えるステレオ画像用処理装置によれば、データ入力部で入力された寸法決定に用いられるデータに基づき、画像標定部により立体視可能に偏位修正されたステレオ画像から、当該ステレオ画像に写し込まれた被写体の実寸が計測可能な状態となる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態を説明する全体構成ブロック図である。
【図２】デュアルディスプレイ方式の立体ディスプレイを説明する構成斜視図である。
【図３】図１の装置におけるステレオ画像計測の手続きの流れを説明するフローチャートである。
【図４】対応点決定処理を説明するフローチャートである。
【図５】（Ａ）はターゲットの配置の一例、（Ｂ）は対応境界の指示及び結線の表示例を説明する図である。
【図６】計測位置指定処理を説明するフローチャートである。
【図７】ステレオ法の原理の説明図である。
【図８】人間の目では立体視することができない画像の一例を示す図である。
【図９】人間が立体視可能な画像の一例を示す図である。
【図１０】相互標定の説明図である。
【図１１】左右画像における探索範囲とテンプレート画像の一例を示す図である。
【符号の説明】
１０ステレオ画像取得部
２０画像データ記憶部
３０画像標定部
４０特徴要素指定部
４２対応点指示部
４４自動捜索処理部
５０データ入力部
６０表示部
６６立体画像表示部[0001]
[Industrial application fields]
The present invention relates to a stereoscopic image display apparatus and method capable of creating a three-dimensional image of an object to be photographed from a stereo image and stereoscopically displaying it. The present invention also relates to a stereoscopic image display apparatus that can perform stereo image measurement from a created three-dimensional image.
[0002]
[Prior art]
Stereo cameras for stereo measurement are fixed so that the cameras do not move relatively. Therefore, the baseline length corresponding to the camera interval is invariant, and the shooting distance of the camera needs to be accurately matched between the cameras, so a fixed focal length lens is used instead of a zoom lens with a variable focal length. in use. In addition, since the measurement accuracy of a stereo camera is determined depending on the resolution of the camera, a high-precision lens with less aberration is used.
[0003]
In addition, there are a liquid crystal shutter system and a liquid crystal filter shutter system as stereoscopic image display devices for stereoscopically viewing a stereo image. In the liquid crystal shutter method, left and right images are alternately displayed on a single screen, and the left and right images are switched by synchronizing the images with liquid crystal glasses. In the liquid crystal filter shutter system, a liquid crystal deflection filter is attached on the screen, and the liquid crystal deflection filter is switched at the same time while switching and displaying the left and right images, and observation is performed with deflecting glasses.
[0004]
[Problems to be solved by the invention]
Therefore, the conventional stereo camera has the following problems.
(1) It is difficult to carry because each camera is fixed so as not to move relatively.
(2) Since the selection range of the baseline length and the shooting distance is small, the size of the measurement object of the stereo camera is limited.
(3) Dedicated cameras using high-precision lenses are expensive and difficult to use for ordinary people.
[0005]
Further, in the conventional stereoscopic image display device, the left and right images are switched and displayed in a time division manner using liquid crystal glasses, a liquid crystal filter, and the like, and stereoscopic viewing is possible. However, there are the following problems.
(4) Switched images are displayed in a time-sharing manner in the left and right eyes of the human, and the left and right images are fused in the brain, so the switching of the left and right images flickers, making stereoscopic viewing very difficult with fatigue It is said.
(5) In the liquid crystal shutter method, the right and left switching of the liquid crystal glasses is performed by a sensor. Therefore, it is difficult to use (stereoscopic view) under a fluorescent lamp.
[0006]
The present invention solves the above-described problems, and a first object is to provide a stereoscopic image display apparatus and method capable of creating a stereoscopically viewable three-dimensional image using a digital camera or a digital video image. is there.
A second object of the present invention is to provide a stereoscopic image display apparatus capable of measuring a stereo image from a created three-dimensional image.
A third object of the present invention is to provide a stereoscopic image display device that does not cause fatigue even when viewed stereoscopically for a long time when stereoscopically captured images are stereoscopically viewed.
[0007]
[Means for Solving the Problems]
As shown in FIG. 1, the stereoscopic image display apparatus of the present invention that achieves the first object is a feature element designating unit that designates a feature element included in a pair of stereo images acquired by the stereo image acquiring unit 10. 40, an image orientation unit 30 that locates the stereo image based on the position of the feature element designated by the feature element designation unit 40 in the stereo image, and a display unit 60 that stereoscopically displays the stereo image after orientation It has.
[0008]
In the apparatus configured as described above, since the feature elements included in the stereo image are designated by the feature element designation unit 40, the stereo orientation of the stereo image by the image orientation unit 30 can be easily performed. The determined stereo image is stereoscopically displayed by the display unit 60. Preferably, when the image data storage unit 20 that stores a pair of stereo images acquired by the stereo image acquisition unit 10 is provided, the process of specifying the feature element by the feature element specifying unit 40 is stored in the image data storage unit 20. This can be done using stereo images.
[0009]
Preferably, the feature element designating unit 40 includes a cursor moving unit that moves a cursor in the image. When the feature element specifying unit 40 is configured to instruct the feature element by the cursor moving unit, a stereo image is standardized by an operator. Easy to do. Typically, an input device for an electronic device such as a mouse, a pointer, a touch pad, or a key switch is used as the cursor moving means.
[0010]
Preferably, the feature element specifying unit 40 is configured to include an automatic search processing unit 44 that searches for a feature element candidate image to be a feature element in a stereo image and moves the cursor to the feature element candidate image. If so, the stereo image orientation work by the operator can be easily performed. In order to search for a feature element candidate image, a cross-correlation coefficient method using a template image is typically used, and the image position where the cross-correlation coefficient is maximized is the position of the feature element candidate image.
[0011]
Preferably, the feature element specifying unit 40 is based on the corresponding point indicating unit 42 in which a corresponding point in the stereo image is specified by an operator's operation and the image data of the corresponding point on the stereo image. If it is configured to include the arithmetic processing unit 48 that measures the stereo image, the three-dimensional measurement work of the stereo image can be easily performed.
[0012]
Preferably, when the image orientation unit 30 is configured to further perform a displacement correction operation in the orientation processing in the stereo image, the position and inclination of the camera are calculated by the orientation processing, and the displacement correction operation is performed. Thus, if the left and right images are converted into stereoscopically viewable images and a reference scale is given, stereo image measurement can be performed from a stereoscopically viewable three-dimensional image.
[0013]
Preferably, when the image orientation unit 30 is configured to give an appropriate scale to the stereo model created for the stereo image using the imaging baseline length of the stereo image acquisition unit 10, the stereo image acquisition is performed. The general size of the subject according to the distance between the unit 10 and the subject can be presented.
[0014]
As shown in FIG. 1, the stereoscopic image display apparatus of the present invention that achieves the second object preferably further includes a data input unit 50 for inputting data used for determining the dimensions of the designated feature element. If the stereo image is configured to be shifted by the image orientation unit 30 so as to be stereoscopically viewed based on the data used for determining the dimensions input by the data input unit 50, the stereo image is imprinted on the stereo image. The actual size of the subject can be measured.
[0015]
Preferably, when the data input by the data input unit 50 includes at least one of the position, length, and direction of the feature element, the image orientation unit 30 can easily perform the orientation process in the stereo image. .
[0016]
As shown in FIG. 2, the stereoscopic image display device of the present invention that achieves the third object, as a display unit 60, displays left and right images constituting the above-mentioned stereo image on two

polarized displays

662 and 664. A dual display system configured such that the left and right images displayed on the two polarizing displays are combined by the half mirror 666 and can be viewed in a state where the stereo image is separated into the left and right images by the polarizing glasses 668; Good. In the dual display system, the left and right images are observed simultaneously, so that the operator can stably view stereoscopically for a long time without being affected by external environmental noise such as a fluorescent lamp and illumination conditions.
[0017]
As shown in FIG. 3, the stereoscopic image display method of the present invention that achieves the first object includes a step of reading a pair of stereo images acquired by the stereo image acquisition unit (S102) and the pair of stereo images. A designated feature element (S110), a stereo image orientation step based on the position of the designated feature element in the stereo image (S112, S114), and a stereo image after orientation Is provided in a three-dimensional display (S116).
[0018]
DETAILED DESCRIPTION OF THE INVENTION
The present invention will be described below with reference to the drawings. FIG. 1 is a block diagram showing the overall configuration of a first embodiment of the present invention. The stereoscopic image display device includes a stereo image acquisition unit 10, an image data storage unit 20, an image orientation unit 30, a feature element designation unit 40, a data input unit 50, and a display unit 60.
[0019]
The stereo image acquisition unit 10 may be a precision device such as a stereo camera, or may be a device using a simple lens such as a digital camera or a digital video camera. The stereo camera is for stereo measurement, and is fixed so that each camera does not move relatively. Therefore, since the base line length corresponding to the camera interval is not changed and the shooting distance of the camera needs to be accurately matched between the cameras, a fixed focal length type lens is used. In addition, since the shooting work area of the stereo camera is determined depending on the resolution of the camera, the shooting work area is enlarged using a high-precision lens with less aberration.
[0020]
On the other hand, a digital camera or a digital video camera can be a stereo camera by attaching two devices using lenses having the same optical properties to a stereo bar. Alternatively, a digital camera or a digital video camera may be used as one unit to shoot the measurement object from the right shooting direction and the left shooting direction. When shooting from the right shooting direction and the left shooting direction with a single camera, care should be taken so that the left and right camera intervals are constant. In digital cameras and digital video cameras, the lens aberration is larger than the lens aberration of the stereo camera, so it is preferable to compensate the lens aberration and store it in the image data storage unit 20. Since lens aberration is large, the field of view of the lens should be narrower than that of a stereo camera to ensure accuracy.
[0021]
The image data storage unit 20 stores the image acquired by the stereo image acquisition unit 10, and if a digital camera or a digital video camera is used, a flexible disk, a CD-ROM, a hard disk, or the like that stores digital image information is used. Good. When using analog image information printed on a film as a stereo camera, the analog image information may be digitized by a scanner or the like to be converted into digital image information and stored.
[0022]
The image orientation unit 30 calculates the position and inclination of the camera (external orientation element) using the position of the image specified by the feature element specification unit 40, and is a stereo image (displacement correction) that can be viewed stereoscopically by a displacement correction operation. Image), and typically corresponds to the function of performing relative orientation and absolute orientation among internal orientation, relative orientation, and absolute orientation in aerial photogrammetry. The image orientation unit 30 may be software on a personal computer, or may be incorporated in the display unit 60 as embedded software such as a microcomputer. Or you may comprise by hardware. The principle of creating a stereoscopic image will be described later in detail.
[0023]
Further, the image orientation unit 30 inputs actual or virtual coordinates or dimensions from the data input unit 50 to the feature points of the image designated by the feature element designating unit 40, so that the stereo image can be actually viewed in a stereoscopic image. Alternatively, the image is converted into a stereo image having a virtual scale or size. If a stereoscopically viewable stereo image is created in this way and given the dimensions necessary for absolute orientation, three-dimensional measurement can be performed according to the principle of the stereo method.
[0024]
The feature element designating unit 40 instructs a feature point of an image as a feature element on the left and right images when the stereo image is corrected so as to be stereoscopically viewed. The feature points of the image need to be provided at least 6 points in the overlapped area on the left and right images in order to enable orientation, and the distribution density of the feature points is almost uniform in the overlapped area on the left and right images. It is good to define as follows. The feature point of the image is preferably a shape or pattern that can be easily recognized by the operator or the automatic search processing unit 44. For example, a sign called a target may be provided on the subject.
[0025]
The feature element designation unit 40 includes a corresponding point designating unit 42 that designates corresponding points of the left and right images when creating and measuring a stereoscopic image, an automatic search processing unit 44 for automatically searching for corresponding points, and a three-dimensional measurement. An arithmetic processing unit 48 is provided for performing an arithmetic operation when performing the operation. Here, the corresponding points are the same feature points recognized in both the left image and the right image among the feature points of the image. The corresponding point instruction unit 42 instructs the XY direction and the depth direction as a planar direction on the image, and uses a PC mouse or a dial with a depth instruction. The corresponding point instruction unit 42 may have a function of changing the cursor mark display displayed on the display unit 60 when the cursor position on the display unit 60 is close to the corresponding point position.
[0026]
The corresponding point search in the automatic search processing unit 44 is performed using, for example, image correlation processing. That is, the right image is searched using the point designated as the feature point on the left image as a template. For the image correlation processing, any of a cross-correlation coefficient method, a residual sequential test method (SSDA method), or the like may be used.
[0027]
Since the corresponding points of the left and right images are determined by the corresponding point instructing unit 42 and the automatic search processing unit 44, even when two cameras are attached to a stereo attachment or the like as the stereo image acquiring unit 10, stereo shooting is performed. Corresponding points can be obtained. Furthermore, a stereo model corresponding to stereo shooting can be created by the image orientation unit 30 using external orientation elements. Then, stable stereo shooting and stereo model creation are possible without depending on the skill level of the operator. In the case of a stereo camera, since the baseline length and camera tilt are known, a stereo model can be uniquely obtained by using the corresponding parameters.
[0028]
The data input unit 50 inputs a reference amount and the like to match the actual dimensions. Note that the data input unit 50 need not be provided if only a stereoscopic image is to be created. If the data input unit 50 puts dimensions into a stereo image that has been modified so that it can be viewed stereoscopically, a stereoscopic image can be created using the dimensions input as parameters necessary for absolute orientation.
[0029]
The display unit 60 displays an acquired image or an image that can be stereoscopically viewed, and includes an operation display unit 64 and a stereoscopic image display unit 66. The operation display unit 64 may be a personal computer monitor used for the image orientation unit 30. The stereoscopic image display unit 66 may be a dual display type stereoscopic display that can be viewed stereoscopically with deflecting glasses.
[0030]
FIG. 2 is a perspective view illustrating a dual display type stereoscopic image display unit. In the dual display method, left and right images are displayed on two

polarization displays

662 and 664, respectively, and are combined by a half mirror 666. The image synthesized by the half mirror 666 is in a polarization state in which the left and right images can be separated by the polarizing glasses 668. In other words, the polarization states of the images displayed on the polarization displays 662 and 664 are optically orthogonal and can be separated by the polarizing glasses 668. When the observer observes the screen displayed on the stereoscopic image display unit 66 using the polarized glasses 668, a state in which the left and right images are displayed simultaneously on the left and right eyes is realized. Therefore, the observer can observe the left and right images three-dimensionally. Compared with the conventional liquid crystal shutter method and liquid crystal filter shutter method, the dual display method observes the left and right images at the same time, so it is not affected by external environmental noise such as fluorescent lamps and lighting conditions, and is stable for a long time. There is an advantage that stereoscopic viewing is possible.
[0031]
The display unit 60 may display not only a stereoscopic image, but also an indication of measurement points, a display for operating the apparatus, an acquired raw image, and the like. These displays may be displayed in accordance with the stereoscopic image display unit 66 or may be displayed on the operation display unit 64.
[0032]
Next, the use of the apparatus configured as described above will be described. FIG. 3 is a flowchart for explaining the flow of a procedure for stereo image measurement in the apparatus of FIG. First, using a commercially available digital camera or digital video camera, stereo shooting of an object to be stereoscopically displayed is performed (S100). One camera may be used for stereo shooting, and shooting may be performed in the right and left directions. Alternatively, two cameras may be fixed and stereo shooting may be performed from the right and left directions.
[0033]
Next, the left and right images taken in stereo are read into the image data storage unit 20 (S102). Then, the image read into the image data storage unit 20 is displayed on the display unit 60 (S104). Here, when the left and right images are displayed side by side on the display unit 60, the subsequent operation becomes easy. When the operation display unit 64 is provided in the display unit 60, the operation display unit 64 may display the operation display unit 64. Even in this state, if the image is taken in parallel to the target object as a subject with a fixed stereo attachment, the image can be stereoscopically displayed by being displayed on the display unit 60.
[0034]
Subsequently, if there is a dimension related to the coordinate value or feature point of the corresponding point on the left and right images taken in stereo, the relevant dimension is input from the data input unit 50 (S106). For example, if three points are known as actual coordinates, the coordinate values of three known points can be input from the data input unit 50. Then, in the determination of the corresponding points of the left and right images processed in S110, conversion to a known coordinate system is possible, and three-dimensional measurement is possible. Other data input from the data input unit 50 includes the tilt (direction) of the captured camera, the dimensions on the known image, and the inter-camera distance (baseline length) at the time of stereo shooting. these Find the relative position and tilt of the camera using 6 or more corresponding points in the image Mutual orientation and Find the position and tilt in absolute coordinates Data required for absolute orientation As a reference amount to be combined with actual dimensions such as the coordinate values of three known points from the data input unit 50 If you enter Through mutual orientation and absolute orientation Created Deviation corrected Stereo image Actual size of the subject Can be measured. The orientation is performed by selecting six or more corresponding points from a large number of feature points on the left and right images taken in stereo. In addition, the coordinate values of the known three points use a three-dimensional measurement value or the like performed in advance. Instead of data input from the data input unit 50, the stereo image acquisition unit 10 may be used to copy in advance a part having a reference size as a stereo image.
[0035]
Further, even if the data input from the data input unit 50 is not an actual dimension, it is possible to input a virtual value and create a stereo model of the virtual dimension. Alternatively, in S106, a stereo model can be created without inputting any data from the data input unit 50, and a stereoscopically viewable stereo image can be displayed on the stereoscopic image display unit 66. It is. However, unless a dimension serving as a reference is separately determined, a stereo image similar to the actual dimension can be obtained, and an absolute value cannot be obtained.
The data input to the data input unit 50 may be input in advance as an initial setting value instead of the position of S106, or may be input when determining the corresponding points of the left and right images processed in S110. Or you may input after the corresponding point determination process of a right-and-left image.
[0036]
Subsequently, the main image and the sub image are selected (S108). Here, the main image refers to an image in which a reference cursor appears during automatic correlation processing. The slave image refers to an image in which a slave cursor in which the cursor automatically moves to a position having a high correlation value corresponding to the position of the reference cursor during the automatic correlation process.
[0037]
It is left to the user to decide which of the left and right images taken in stereo is the main image. As the main screen image, it is desirable to select a dominant-side image for the user to recognize the shape of the object. This is because human eyes are stereoscopic with both eyes, but either the left or right side is dominant in order to recognize the shape of an object. In order to determine which of the two eyes is dominant, the eye on the side pointing at the predetermined mark even when one eye is closed and one eye is closed Ask for. In the following description, a case where the main image is the left image and the sub image is the right image will be described as an example.
[0038]
Next, in order to create a stereoscopic image, the corresponding point instruction unit 42 of the feature element specifying unit 40 determines the corresponding points of the left and right images (S110). By associating at least 6 or more identical points on the left and right images, the principle of stereoscopic vision described above is applied, Mutual orientation The image orientation unit 30 Each parameter is obtained using a coplanar conditional expression (4) described later, and further using conversion expressions (6) and (7) between the model coordinate system XYZ and the camera coordinate system xyz, Camera Relative The position and inclination (external orientation element) can be obtained. As described above, the relative three-dimensional position of the camera and the inclination of the three axes can be obtained, and a stereo image (stereo model) with a corrected displacement can be created. Moreover, if a distance (baseline length) between cameras that have taken a stereo image is input, an actual stereo model can be obtained. Furthermore, if three XYZ coordinates of the six points can be given, the actual coordinate system can be converted, and three-dimensional measurement in actual coordinates can be performed. That is, the actual coordinates of the corresponding points of the subject of the stereo image other than the three points used in the relative orientation are obtained. Corresponding points may be determined on the left and right images by determining where the features are on the image. However, if a clear target is printed and arranged around the object using a printer or the like, the operation itself becomes easy. Clear target marks include black circle “●”, square “■”, rhombus “◆”, triangle “▲” and the like. A series of operations from determining corresponding points to calculating external orientation elements is called orientation.
[0039]
Next, a specific process for determining the corresponding points of the left and right images will be described with reference to FIG. FIG. 4 is a flowchart for explaining the corresponding point determination process. When the corresponding point determination process is entered (S200), one of the three modes, the manual mode, the semi-automatic mode, and the automatic mode, is selected as the corresponding point determination process (S202). It should be noted that the processing for the left image and the right image described below is exactly the same even if they are replaced with the opposite right image and the left image, and may be read and processed in that way.
[0040]
When manual mode is selected, processing in manual mode is started (S210). First, the feature of the left image on the display unit is designated with the mouse of the corresponding point designating unit 42 and determined (S212). Confirmation is performed, for example, by pressing a mouse button. The left image coordinates are read by the confirmation process. Next, the same feature point as that of the left image is designated / determined on the right image of the display unit by the mouse of the corresponding point designation unit 42 (S214). Thereby, the right image coordinates are read. As described above, in the manual mode, the corresponding point instruction unit 42 instructs and confirms the left and right images separately. Then, it is determined whether or not 6 points or more are associated as corresponding points (S216), and if it is less than 6 points, the mode selection returns to S202. Note that the program may be created so as to return to S212 and continue the corresponding point determination process in the manual mode. If 6 or more points are associated, it is returned.
[0041]
When the semi-automatic mode is selected, processing in the semi-automatic mode is started (S220). In the semi-automatic mode, the process proceeds to the automatic search processing unit 44 of the feature element specifying unit 40 (S222). Next, feature points are designated on the left image of the display unit 60 by the mouse of the corresponding point designating unit 42 (S224). Then, the automatic search processing unit 44 automatically searches for corresponding points on the right image (S226).
[0042]
Then, the operator determines whether or not the corresponding point on the right image searched by the automatic search processing unit 44 is appropriate (S228). In this case, if the cross-correlation coefficient calculated by the automatic search processing unit 44 is equal to or greater than a certain threshold value, it is determined as OK (for example, 0.7 or higher). On the display unit 60, the corresponding point instruction unit 42 displays a green display point if OK, a red display point if NG, or a cursor mark figure on the search position corresponding to the left image on the right image, for example. The operator determines to change (for example, change the cursor mark display from an arrow “⇒” to a double circle “” ”) or to display a cross-correlation coefficient value. Whether the right image search is OK or not may be displayed as long as the operator can easily make a determination.
[0043]
If it is not OK, it is determined whether the corresponding point may be another position (S230). If it is acceptable to return to another position, the process returns to S224 to indicate another point. On the other hand, if it is absolutely necessary to use the position as a feature point, the cursor on the right image is manually moved and instructed (S232). That is, for example, if the dial or the like for adjusting the depth direction of the corresponding point indicating unit 42 is turned, the cursor on the right image is equivalently moved, so that it is adjusted and brought to the same feature point as the left image. Go and match.
[0044]
If the right image search is OK in S228 or if the right image is designated in S232, the image coordinates of that point are read (S234). For example, confirm by pressing a mouse button. Then, it is determined whether or not 6 points or more are associated as corresponding points (S236), and if it is less than 6 points, the mode selection returns to S202. Note that the program may be created so as to return to S222 and continue the corresponding point determination process in the semi-automatic mode. If 6 or more points are associated, it is returned.
[0045]
In the semi-automatic mode described above, the corresponding point of the right image is automatically searched by indicating the feature point on the left image with the mouse, and whether or not it is OK is displayed. Therefore, the operator looks at the display of the cursor mark display, and if the corresponding point on the right image searched by the automatic search processing unit 44 is appropriate, the searched corresponding point is determined as the corresponding point (for example, an arrow) (If changed from “⇒” to “◎”.) By using the semi-automatic mode, the operator only has to specify one of the images, so the corresponding point determination process can be processed easily. The determination for confirmation may be performed by pressing a button, but the corresponding point on the right image may always be determined and displayed only by moving the mouse cursor and tracing the left image. If the corresponding point on the right image corresponding to the mouse cursor on the left image is determined and displayed, the corresponding point determination process can be further easily performed.
[0046]
When the automatic mode is selected, processing in the automatic mode is started (S240). The automatic mode is a mode in which a target is automatically detected by arranging a target as a corresponding point around the object in advance. As a target, an object that is easily recognized as a feature point is arranged around the object in advance. Any target can be used as long as it is easy to recognize. For example, a target mark such as “●” described above is printed by a printer or created. In this case, if the exact position of the target is known in advance, accurate three-dimensional measurement is possible thereafter.
[0047]
First, the operator confirms whether or not six or more targets are included on the left and right images by the display unit 60 (S242). If six or more targets are not included in the left and right images, the process goes to manual or semi-automatic mode (S244). If six or more targets corresponding to the left and right images have not been photographed, photographing is performed again so that six or more targets are included. Then, the process shifts to an automatic mode process using the feature element specifying unit 40 (S246).
[0048]
In the automatic mode process, in order to perform automatic target detection, one of the arranged target images is instructed by the corresponding point instruction unit 42 and registered as a template image in the feature element specifying unit 40 (S248). Then, the automatic search processing unit 44 searches each target position of the left image and the right image based on the template image (S250). This target position search process is automatically detected using, for example, the cross-correlation coefficient method described above. Then, the searched target position is displayed on the display unit 60 (S252).
[0049]
The operator determines whether the searched target position is OK (S254). If it is NG, the target position is corrected (S256). For this correction, processing in manual mode or semi-automatic mode is used. Even if it is NG, correction is easy because the target is arranged.
[0050]
Then, corresponding points on the left and right images are detected using the corrected target position (S258). This operation is performed by instructing corresponding points of the left and right images while viewing the display unit 60 by the corresponding point instruction unit 42 of the feature element specifying unit 40. Alternatively, as shown in FIG. 5A, the arrangement of the target is determined in advance, and stereo photography is performed approximately in parallel. Then, since the arrangement of the target is maintained on the captured image, it is possible to automatically perform the association. Furthermore, even if six or more target marks are separately determined and a template is designated in advance, it is possible to automatically perform association. Since the number of corresponding points on the left and right images is a minimum of 6, it can be done easily even if it is done manually.
[0051]
Returning to FIG. 3, when the correspondence between the corresponding points of the left and right images is completed in S110, the image orientation unit 30 calculates external orientation elements (camera position and inclination) based on the corresponding points (S112). Details of the external orientation element are described in the corresponding part of the principle of creating a stereoscopic image described later.
[0052]
When the external orientation element is obtained in S112, image displacement correction (stereo image creation) is performed based on the obtained external orientation element value (S114). Then, a stereo image is displayed on the display unit 60 (S116). A stereo image is created as described above.
[0053]
Further, it is determined whether to perform measurement from the displayed stereo image (S118). If Yes, the measurement position is designated (S120). Next, a specific process for specifying a measurement position in a stereo image will be described with reference to FIG. FIG. 6 is a flowchart for explaining the measurement position designation process. When the measurement position designation process is started (S400), any one of three modes of a manual mode, a semi-automatic measurement mode, and an automatic measurement mode as the measurement position designation process is selected (S402).
[0054]
In each mode of the measurement position designation process, it is possible to measure the three-dimensional coordinate value of the designated point, the distance between the two points, or the like based on the data input from the input data section. Here, since a stereoscopic image is displayed on the stereoscopic image display unit 66, it is possible to perform measurement while viewing and confirming the stereoscopic image. Further, it is possible to display the left and right images separately on the operation display unit 64 and perform the measurement while looking at the images. However, if the measurement is performed while confirming with the stereoscopic image display unit 66, more reliable measurement is possible.
Further, the instruction in the depth direction on the stereoscopic image of the corresponding point instruction unit 42 is instructed by a dial attached to the mouse or a dial alone.
[0055]
When the manual mode is selected, the measurement position designation process in the manual mode is started (S410). Here, a procedure will be described in which the operator designates measurement points using the operation display unit 64 while viewing the stereoscopic image display unit 66. The operator instructs the position to be measured as a feature point for the left image displayed on the operation display unit 64 while viewing the stereoscopic image display unit 66 (S412). Next, for the right image displayed on the operation display unit 64, a position that is considered to be the same point is designated as a feature point (S414). Then, the stereoscopic image display unit 66 is checked to check whether the feature point of the left image and the feature point of the right image are on the matching feature point as the point to be measured indicated by the cursor (S416). In addition to the plane direction of the screen, the position of the point to be measured by the cursor includes the depth direction. If they are different, a position to be measured is instructed using the mouse of the corresponding point instructing unit 42 (S418).
[0056]
When the operator looks at the stereoscopic image display unit 66, the depth direction can be observed at the same time, so the position in the depth direction is also adjusted (S420). That is, if there is no depth direction, the cursor appears to float or sink from the target point. In this case, if there is a dial for adjusting the depth direction, the cursor position can be adjusted on the target point using them. This cursor alignment operation is substantially the same as the alignment of the left and right images, but since it is performed while stereoscopically viewing, there is no mistake and at the same time. That is, the left and right images can be aligned even where there are few features. If the feature point of the left image matches the feature point of the right image and is OK, the position is fixed by using a mouse button or the like, and the coordinate position is read (S422).
[0057]
When the semi-automatic measurement mode is selected, measurement position designation processing in the semi-automatic measurement mode is started (S430). In the semi-automatic measurement mode, the operation display unit 64 or the stereoscopic image display unit 66 may be viewed while viewing. In the semi-automatic measurement mode, the feature element specifying unit 40 proceeds to the automatic search processing unit 44 (S432). Then, the operator designates the measurement point on the left image with the mouse (S434). Then, the automatic search processing unit 44 searches the right image for the same measurement point as the measurement point on the left image (S436). The search for the same measurement point as the measurement point on the left image by the automatic search processing unit 44 on the right image is exactly the same as the content described in S226. Then, it is confirmed whether the search position of the right image is OK (S438).
[0058]
If the search position of the right image is different from the measurement point on the left image, the position to be measured is instructed using the mouse of the corresponding point instruction unit 42 as in the manual mode (S440). At this time, since the operator can observe the depth direction and the image plane direction at the same time on the stereoscopic image display unit 66, the positions in the depth direction are also matched (S442). If the feature point of the left image matches the feature point of the right image and is OK, the position is fixed by using a mouse button or the like, and the coordinate position is read (S444). At this time, if it is OK on the operation display unit 64, it is preferable to display OK at the position of the corresponding right image. On the three-dimensional image display unit 66, OK display can be confirmed by changing the color and shape of the cursor, but it can also be confirmed with the eyes of the person whether or not the display is actually true.
[0059]
When the automatic measurement mode is selected, a process for specifying a measurement position in the automatic measurement mode is started (S450). In the automatic measurement mode, it is possible to collectively measure the three-dimensional coordinate values of the designated area. Therefore, a measurement area specifying process for specifying an area to be measured is performed (S452). That is, the boundary point of the left and right images that is the outermost side of the measurement area is designated. For example, when it is desired to collectively measure a substantially pentagonal region, five boundary points serving as corresponding boundaries are designated as shown in FIG. Here, the boundary points designated by the operator are represented by black circles. Then, the operator refers to the display of the boundary point and determines whether or not the point for indicating the boundary point of the left and right images is appropriate (S454). If the specified boundary point is incorrect or the user does not like it, the process returns to S452 and instructs again.
[0060]
If the right and left image boundary points are designated appropriately, the designated points are connected and displayed on the stereoscopic image display unit 66 to clarify the measurement region (S456). Then, as shown in FIG. 5B, the display of the stereoscopic image display unit 66 is a display in which the boundary points serving as the corresponding boundaries are connected. Then, the operator refers to the boundary points and the connection display, and confirms whether the measurement area is specified appropriately (S458). If it is not appropriate, the connection corresponding to the inappropriate designated point is cleared (S460), and the process returns to S452 to give an instruction again. If the measurement area is properly designated, the measurement area is determined (S462). If the measurement area is determined in this way, the corresponding points of the left and right images are definitely determined in the area, so that reliable collective measurement is possible. Further, if the corresponding points of these left and right images are used in batch measurement, both reliability and speed can be improved.
[0061]
Next, corresponding points in the measurement area designated area are automatically processed by the automatic search processing unit 44 for corresponding point detection (S464). Here, the image correlation processing is performed. For example, using the cross-correlation coefficient method described above, the corresponding points of each point may be detected using the left image as a template and the right image as a search region. Note that as the image correlation process, a coarse / dense search correlation method or a normal processing method used as another image correlation process may be used.
[0062]
Returning to FIG. 3, the measurement value is calculated by the arithmetic processing unit 48 from the left and right coordinate values of the corresponding points (S122). The calculation is performed according to the principle of the stereo method described above. When the corresponding points in the measurement area are automatically detected in the automatic measurement mode, the calculation is performed for all the points detected in the corresponding points. Then, the measured value is displayed on the display unit 60 (S124). Then, the process returns to S118 to determine whether or not to continue the measurement (S118). If the measurement is not continued, the process is terminated.
[0063]
Note that if the area is measured by automatic measurement, the display can be displayed as a bird's-eye view, a contour map, or the like instead of a numerical value. Further, the measurement value data of these areas may be transferred to another CAD (Computer Aided Design) apparatus or the like and processed on the CAD side.
[0064]
Next, the basic principle in stereo image measurement used in the above embodiment will be described for each item.
1. [Principle of stereo method]
The principle of the stereo method will be described below. FIG. 7 is an explanatory diagram of the principle of the stereo method. As shown in FIG. 7, the two cameras 1 and 2 are parallel in the optical axis, the distance a from the principal point of the camera lens to the CCD surface as the imaging surface is equal, and the CCD is placed perpendicular to the optical axis. It shall be. Further, the distance between the two optical axes (base line length), which is equal to the interval between the cameras 1 and 2, is assumed to be l.
[0065]
At this time, there is the following relationship between the coordinates of the points P1 (x1, y1) and P2 (x2, y2) on the object.
x1 = ax / z --- (1)
y1 = y2 = ay / z --- (2)
x2-x1 = al / z --- (3)
However, the origin of the entire coordinate system (x, y, z) is taken as the lens principal point of the camera 1. Z is obtained from the equation (3), and x and y are obtained from the equations (1) and (2) using this. As described above, if the corresponding points of the left and right images are obtained, the three-dimensional coordinates of the position can be measured.
[0066]
2. [Principle of stereoscopic image creation]
Next, the principle of creating a stereoscopic image will be described. The principle of creating a stereoscopic image is that stereoscopic viewing is possible if the image is corrected so that the stereo method is established. A stereoscopically viewable image is an image in which two images are parallel to an object and vertical parallax is removed. For example, in the image shown in FIG. 8, even if there is an overlapping area between the left and right images, the scales of the left and right images are different, and there are rotation and vertical parallax. It cannot be stereoscopically viewed. However, if the left and right image magnifications are adjusted as shown in FIG. 9, the rotation is corrected and the vertical parallax is removed, an image that can be viewed stereoscopically by a human can be obtained, and the stereo method can be realized.
[0067]
A stereo image (stereo model) can be created by obtaining six or more identical corresponding points in the left and right images. That is, if there are image coordinates of points corresponding to 6 points on the left and right images, the relative position and inclination of the two cameras can be obtained, thereby correcting the scale, rotation, and vertical parallax of the left and right images. A stereoscopically viewable stereo image (stereo model) can be created.
[0068]
2.1 [mutual orientation]
The relative orientation is a principle for obtaining the relative position and inclination of the camera from six or more corresponding points in the image. FIG. 10 is an explanatory diagram of relative orientation. In relative orientation, each parameter is obtained by the following coplanar conditional expression.
[Expression 1]

[0069]
As shown in FIG. 10, the origin of the model coordinate system is taken as the left projection center, and the line connecting the right projection centers is taken as the X axis. For the scale, the base line length is taken as the unit length. The parameters to be obtained at this time are 5 of the left camera Z-axis rotation angle κ1, the Y-axis rotation angle φ1, the right-hand camera Z-axis rotation angle κ2, the Y-axis rotation angle φ2, and the X-axis rotation angle ω2. One rotation angle. In this case, since the rotation angle ω1 of the X axis of the left camera is 0, there is no need to consider it.
Under such conditions, the coplanar conditional expression (4) becomes the expression (5), and each parameter can be obtained by solving this expression.
[Expression 2]

[0070]
Here, the following relational expression for coordinate transformation is established between the model coordinate system XYZ and the camera coordinate system xyz.
[Equation 3]

[0071]
Using these equations, unknown parameters are obtained by the following procedure.
2- (1): The initial approximate value is normally 0.
2- (2): The coplanar conditional expression (5) is Taylor-expanded around the approximate value, and the value of the differential coefficient when linearized is obtained by the expressions (6) and (7) to form an observation equation.
2- (3): A least square method is applied to obtain a correction amount for the approximate value.
2- (4): The approximate value is corrected.
2- (5): Using the corrected approximate value, the operations from 2- (2) to 2- (5) are repeated until convergence.
[0072]
As described above, the relative three-dimensional position of the camera and the inclination of the three axes are obtained, and a stereoscopically viewable stereo image (stereo model) can be created. Moreover, if a distance (baseline length) between cameras that have taken a stereo image is input, an actual stereo model can be obtained. Furthermore, if three XYZ coordinates of the six points can be given, the actual coordinate system can be converted, and three-dimensional measurement in actual coordinates can be performed.
[0073]
3. [Correlation coefficient method]
In the method using the cross correlation coefficient, the following procedure using the following equation is used.
[Expression 4]

3- (1): For example, an image of N1 × N1 pixels centering on a point that is a feature point designated by the corresponding point designating unit 42 of the feature element designating unit 40 is cut out from the left image as a template image. FIG. 11 is a diagram illustrating an example of a search range and a template image in the left and right images.
3- (2): Search range for M1 × M1 pixels in the right image larger than the template image (M1-N1 + 1) ² The template image is moved on the search range.
3- (3): An image position where the cross-correlation coefficient C (a, b) in the above equation is maximized is obtained, and it is considered that the template image has been searched. If the left image and the right image completely match, the cross-correlation coefficient value C (a, b) becomes 1.0.
In general, the position and inclination of the photographing camera are obtained by the orientation work, and the work for creating the deviation corrected image is performed using the result. In the present embodiment, the image orientation unit 30 performs a process of creating a deviation corrected image.
[0074]
【The invention's effect】
As described above, according to the stereo image processing device of the present invention, the feature element designating unit that designates the feature elements included in the pair of stereo images acquired by the stereo image acquiring unit, and the feature element specifying unit Since the operator includes the image locating unit for locating the stereo image based on the position in the stereo image of the feature element specified in (2), and the display unit for stereoscopically displaying the stereo image after locating. If a feature element in a stereo image is designated using the designation unit, a stereo image is created and displayed by the image orientation unit and the display unit.
[0075]
Further, according to the stereo image processing apparatus including a data input unit for inputting data used for determining the dimension of the designated feature element, the image orientation is based on the data used for the dimension determination input by the data input unit. From the stereo image whose displacement is corrected so as to be stereoscopically viewed by the unit, the actual size of the subject imaged in the stereo image can be measured.
[Brief description of the drawings]
FIG. 1 is an overall configuration block diagram for explaining a first embodiment of the present invention;
FIG. 2 is a configuration perspective view illustrating a dual display type stereoscopic display.
FIG. 3 is a flowchart for explaining a flow of a procedure for stereo image measurement in the apparatus of FIG. 1;
FIG. 4 is a flowchart for explaining corresponding point determination processing;
5A is a diagram for explaining an example of target arrangement, and FIG. 5B is a diagram for explaining an example of correspondence boundary indication and connection display;
FIG. 6 is a flowchart for explaining measurement position designation processing.
FIG. 7 is an explanatory diagram of the principle of the stereo method.
FIG. 8 is a diagram illustrating an example of an image that cannot be stereoscopically viewed by human eyes.
FIG. 9 is a diagram illustrating an example of an image that can be stereoscopically viewed by a human.
FIG. 10 is an explanatory diagram of relative orientation.
FIG. 11 is a diagram illustrating an example of a search range and a template image in left and right images.
[Explanation of symbols]
10 Stereo image acquisition unit
20 Image data storage unit
30 Image orientation part
40 Feature element specification part
42 Corresponding point indicator
44 Automatic search processing unit
50 Data input section
60 Display section
66 3D image display

Claims

A feature element designating unit for designating a feature element included in the pair of stereo images acquired by the stereo image acquiring unit;
Based on the position of the designated feature element in the stereo image, an external orientation element of a camera that has captured the stereo image is obtained, and an image orientation that corrects the displacement of the stereo image using the obtained external orientation element is used. Part;
A display unit including a stereoscopic image display unit that stereoscopically displays the stereo image after the displacement correction and an operation display unit that displays both images of the stereo image;
The feature element designation unit moves a cursor in the stereo image, automatically moves a cursor moving means for designating the feature element, and searches for a corresponding point in the stereo image, and moves the cursor to the searched corresponding point. A corresponding point from among the feature elements in the other image of the stereo image according to an instruction of the feature element by an operator in one image of the stereo image displayed on the operation display unit A corresponding point designating unit for which is designated;
In the display unit, the feature element instructed by the operator using the cursor moving unit in the one image and the corresponding point searched by the automatic search processing unit in the other image are the same feature element. Display to indicate ;
Stereoscopic image display device.

Wherein the display unit, if the automatic search process is equal to or more than the threshold there is a correlation coefficient computed by unit, the display indicating that the identical features elements;
The stereoscopic image display apparatus according to claim 1.

The image orientation unit is configured to give an appropriate scale to the stereo model created for the stereo image using the imaging baseline length of the stereo image acquisition unit;
The stereoscopic image display apparatus according to claim 1 or 2 .

Further, as data used for determining the dimensions between the specified feature elements , the coordinate values of three known points, the tilt of the photographed camera, the known image dimensions, or stereo, which are reference amounts to be matched with the actual dimensions. A data input unit for inputting data including the distance between cameras at the time of shooting ;
The image orientation unit is capable of measuring the actual size of the subject imaged in the stereo image based on the data used for dimension determination input by the data input unit;
The stereoscopic image display apparatus according to claim 1.

The display unit displays left and right images constituting the stereo image after the orientation on two polarization displays, and combines the left and right images displayed on the two polarization displays by a half mirror, thereby polarizing glasses. The stereo image can be viewed in a state where the stereo image is separated into left and right images;
The three-dimensional image display apparatus according to claim 1.

Designating feature elements included in a pair of stereo images acquired by the stereo image acquisition unit;
Obtaining an external orientation element of a camera that has captured the stereo image based on a position of the designated feature element in the stereo image;
Correcting the displacement of the stereo image using the obtained external orientation element;
A display step including a step of stereoscopically displaying the stereo image after the displacement correction and a step of displaying both images of the stereo image;
The step of designating the feature element includes moving a cursor in the stereo image, automatically searching for a corresponding point in the stereo image, and a cursor moving step for designating the feature element. Corresponding points are designated from among the feature elements in the other image of the stereo image by an automatic search processing step of moving the cursor and an instruction of the feature element by an operator's operation on one image of the stereo image A corresponding point indicating process;
In the display step, the feature element instructed in the cursor movement step by the operator in the one image and the corresponding point searched in the automatic search processing step in the other image are the same feature element. Display to indicate ;
3D image display method.