JP4451968B2

JP4451968B2 - ３次元画像入力装置

Info

Publication number: JP4451968B2
Application number: JP2000209448A
Authority: JP
Inventors: 山本　　清
Original assignee: Hoya Corp
Current assignee: Hoya Corp
Priority date: 2000-07-11
Filing date: 2000-07-11
Publication date: 2010-04-14
Anticipated expiration: 2020-07-11
Also published as: JP2002027502A

Description

【０００１】
【発明の属する技術分野】
本発明は光伝播時間測定法を用いて被計測物体の３次元形状等を検出する３次元画像入力装置に関する。
【０００２】
【従来の技術】
従来、パルス変調されたレーザ光を被写体に照射し、被写体までの距離に応じた反射光を２次元ＣＣＤセンサによって電気信号に変換して被写体の３次元画像を検出する３次元画像入力装置が知られている。この装置によると、一回の検出動作では被写体の一方向からの３次元形状しか検出されないため、被写体全周の３次元形状を検出するには、異なる方向から検出した複数の３次元画像を合成する必要がある。
【０００３】
３次元画像の合成は、従来３次元画像入力装置によって検出された３次元画像をコンピュータに入力して、コンピュータのディスプレイ上において表示して行っていた。すなわち合成された３次元画像はコンピュータのディスプレイ上において初めて表示され、検出動作中において合成に不足する３次元画像を認識することはできず、また表示画面において、どの部分の３次元画像が不足するのかを確認するのは困難であった。
【０００４】
【発明が解決しようとする課題】
本発明は、被写体の３次元形状の検出に必要な３次元画像が容易に確認できるように３次元画像を合成し、表示する３次元画像入力装置を得ることを目的とする。
【０００５】
【課題を解決するための手段】
本発明にかかる３次元画像入力装置は、被写体の表面各点までの距離を示す距離データによって形成される３次元画像を撮影可能なカメラであって、被写体を異なる方向から撮影して得られた複数の３次元画像を合成して１つの３次元画像を形成するために座標変換を行なう座標変換手段と、複数の３次元画像を画面上に表示する画像表示手段とを備え、座標変換手段と画像表示手段が、撮影された３次元画像を撮影動作毎に合成するリアルタイムモードまたは、撮影された３次元画像を同時に表示して、選択された画像を合成する一括接続モードによって制御されることを特徴とする。
【０００６】
好ましくは画像表示手段が、第１の撮影動作におけるカメラの光軸方向に沿って被写体を見たようにして３次元画像を画面上に表示する。
【０００７】
好ましくは画像表示手段が、カメラの光軸方向に従って表示した３次元画像を、カメラの光軸方向とは異なる方向から被写体を見たようにして画面上に表示するように操作可能な手段を備える。
【０００８】
例えば座標変換手段が、第１の撮影動作における３次元画像と第２の撮影動作における３次元画像とを、第１の撮影動作におけるカメラの位置を原点とし、カメラの光軸方向を１つの座標軸をする座標系に変換する。
【０００９】
好ましくは座標変換手段が、第１の撮影動作におけるカメラの位置から第２の撮影動作におけるカメラの位置に至るまでのカメラの角速度を検出する角速度検出手段と、第１の撮影動作におけるカメラの位置から第２の撮影動作におけるカメラの位置に至るまでのカメラの加速度を検出する加速度検出手段を備える。
【００１０】
【発明の実施の形態】
以下、本発明の実施の形態を図面を参照して説明する。
図１は、本発明の実施形態である３次元画像入力装置を備えたカメラの斜視図である。
【００１１】
カメラ本体１０の前面において、撮影レンズ１１の左上にはファインダ窓１２が設けられ、右上にはストロボ１３が設けられている。カメラ本体１０の上面において、撮影レンズ１１の真上には、測距光であるレーザ光を照射する発光装置（光源）１４が配設されている。発光装置１４の左側にはレリーズスイッチ１５と液晶表示パネル１６が設けられ、また右側にはリアルタイムモード設定ダイヤル１７と作動スイッチ１８が設けられている。カメラ本体１０の側面には、ＩＣメモリカード等の記録媒体を挿入するためのカード挿入口１９が形成され、また、ビデオ出力端子２０とインターフェースコネクタ２１が設けられている。
【００１２】
図２は、図１の３次元画像入力装置を備えたカメラの背面図である。カメラ本体１０の背面において、画面表示ＬＣＤパネル３７が設けられている。画面表示ＬＣＤパネル３７の右側には操作ボタン６１、メニューボタン６２およびセットボタン６３が配設され、画面表示ＬＣＤパネル３７の上部にはファインダ接眼部１２ｂが設けられている。
【００１３】
図３は図１および図２に示すカメラの回路構成を示すブロック図である。
撮影レンズ１１の中には絞り２５が設けられている。絞り２５の開度はアイリス駆動回路２６によって調整される。撮影レンズ１１の焦点調整動作およびズーミング動作はレンズ駆動回路２７によって制御される。
【００１４】
撮影レンズ１１の光軸上には撮像素子（ＣＣＤ）２８が配設されている。ＣＣＤ２８には、撮影レンズ１１によって被写体像が形成され、被写体像に対応した電荷が発生する。ＣＣＤ２８における電荷の蓄積動作、電荷の読出動作等の動作はＣＣＤ駆動回路３０によって制御される。ＣＣＤ２８から読み出された電荷信号すなわち画像信号はアンプ３１において増幅され、Ａ／Ｄ変換器３２においてアナログ信号からデジタル信号に変換される。デジタルの画像信号は撮像信号処理回路３３においてガンマ補正等の処理を施され、画像メモリ３４に一時的に格納される。アイリス駆動回路２６、レンズ駆動回路２７、ＣＣＤ駆動回路３０、撮像信号処理回路３３はシステムコントロール回路３５によって制御される。
【００１５】
画像信号は画像メモリ３４から読み出され、ＬＣＤ駆動回路３６に供給される。ＬＣＤ駆動回路３６は画像信号に応じて動作し、これにより画像表示ＬＣＤパネル３７には、画像信号に応じた画像が表示される。
【００１６】
さらに、画像メモリ３４から読み出された画像信号はＴＶ信号エンコーダ３８に送られ、ビデオ出力端子２０を介して、カメラ本体１０の外部に設けられたモニタ装置３９に伝送可能である。システムコントロール回路３５はインターフェース回路４０に接続されており、インターフェース回路４０はインターフェースコネクタ２１に接続されている。したがって、画像メモリ３４から読み出された画像信号は、インターフェースコネクタ２１に接続されたコンピュータ４１に伝送可能である。また、システムコントロール回路３５は、記録媒体制御回路４２を介して画像記録装置４３に接続されている。したがって画像メモリ３４から読み出された画像信号は、画像記録装置４３に装着されたＩＣメモリカード等の記録媒体Ｍに記録可能である。
【００１７】
システムコントロール回路３５には、発光素子制御回路４４が接続されている。発光装置１４には発光素子１４ａと照明レンズ１４ｂが設けられ、発光素子１４ａの発光動作は発光素子制御回路４４によって制御される。発光素子１４ａは測距光であるレーザ光を照射するものであり、このレーザ光は照明レンズ１４ｂを介して被計測物体に照射される。被計測物体において反射した光は撮影レンズ１１に入射する。この光をＣＣＤ２８によって検出することにより、後述するように被計測物体の３次元画像が計測される。
【００１８】
カメラ本体１０には角速度センサ４６および加速度センサ４８が配設されている。角速度センサ４６は互いに直交する３軸（Ｘ軸、Ｙ軸、Ｚ軸）回りの回転角速度を検出するものであり、加速度センサ４８は直交する３軸それぞれの移動加速度を検出するものである。角速度センサ４６、加速度センサ４８により検出されたデータは角速度検出回路４７、加速度検出回路４９にそれぞれ入力され、カメラ本体１０の移動が３次元の角加速度データとして検出される。３次元の角加速度データはシステムコントロール回路３５に入力され、このデータに基づいてカメラの位置、姿勢、レンズの向きの変化が判断される。
【００１９】
システムコントロール回路３５には、レリーズスイッチ１５、リアルタイムモード設定ダイヤル１７、作動スイッチ１８、操作ボタン６１、メニューボタン６２、セットボタン６３から成るスイッチ群４５と液晶表示パネル（表示素子）１６とが接続されている。
【００２０】
次に図４および図５を参照して、本実施形態における距離測定の原理について説明する。なお図５において横軸は時間ｔである。
【００２１】
距離測定装置Ｂから出力された測距光は被写体Ｓにおいて反射し、図示しないＣＣＤによって受光される。測距光は所定のパルス幅Ｈを有するパルス状の光であり、したがって被写体Ｓからの反射光も、同じパルス幅Ｈを有するパルス状の光である。また反射光のパルスの立ち上がりは、測距光のパルスの立ちあがりよりも時間δ・ｔ（δは遅延係数）だけ遅れる。測距光と反射光は距離測定装置Ｂと被写体Ｓの間の２倍の距離ｒを進んだことになるから、その距離ｒは
ｒ＝δ・ｔ・Ｃ／２
により得られる。ただしＣは光速である。
【００２２】
例えば測距光のパルスの立ち上がりから反射光を検知可能な状態に定め、反射光のパルスが立ち下がる前に検知不可能な状態に切換えるようにすると、すなわち反射光検知期間Ｔを設けると、この反射光検知期間Ｔにおける受光量Ａは距離ｒの関数である。すなわち受光量Ａは、距離ｒが大きくなるほど（時間δ・ｔが大きくなるほど）小さくなる。
【００２３】
本実施形態では上述した原理を利用して、ＣＣＤ２８に設けられ、２次元的に配列された複数のフォトダイオードにおいてそれぞれ受光量Ａを検出することにより、カメラ本体１０から被写体Ｓの表面の各点までの距離をそれぞれ検出し、被写体Ｓの３次元形状を示す３次元画像のデータを一括して入力している。
【００２４】
次に、複数の方向から被写体を撮影し、各方向からの撮影により検出された距離データを合成する合成モードについて説明する。
【００２５】
図６は、合成モードにおける撮影動作の一例を示すものであり、１つのカメラを用いて３個所から被写体であるビルを撮影している。第１の撮影動作は、点Ｇ₁からビルの正面を撮影している。第２の撮影動作は点Ｇ₂からビルの右側面を撮影しており、第３の撮影動作は点Ｇ₃からビルの左斜め後を撮影している。半直線Ｌｐ₁、Ｌｐ₂、Ｌｐ₃は、点Ｇ₁、Ｇ₂、Ｇ₃の撮影においてカメラのレンズが向けられた向きを表しており、撮影時のカメラの光軸に一致する。また点Ｇ₁、Ｇ₂、Ｇ₃は、撮影時におけるカメラの撮影光学系の焦点に一致する。
【００２６】
一点（一方向）からの撮影により検出される被写体の３次元形状は、被写体の一部についてのみである。例えば第１の撮影動作では、ビルの正面部分の３次元形状しか検出されない。ビル全体の３次元形状を検出するには、図のように複数の方向からビルを撮影し、各点Ｇ₁、Ｇ₂、Ｇ₃の撮影により検出されたビルの３次元形状を１つに合成しなければならない。合成モードでは、点Ｇ₁を基準として、各点Ｇ₂、Ｇ₃の位置、カメラの姿勢、光軸が向いている向きを角速度センサ４６、加速度センサ４８を用いて検出し、これらのデータをもとに点Ｇ₁、Ｇ₂、Ｇ₃をそれぞれ原点として検出されたビルの３次元形状に関する座標データを１つの座標系に変換する。これにより各点Ｇ₁、Ｇ₂、Ｇ₃において別々に検出された被写体の３次元形状が、１つの座標系によって一体的に表される。なお本実施形態では、合成モード設定後、初めて撮影が行なわれたときの座標系、すなわち点Ｇ₁を座標原点とし、光軸方向Ｌｐ₁をＺ軸とした座標系を世界座標系として採用する。
【００２７】
図７〜図１１を用いて本実施形態の３次元画像の撮影、合成および表示の動作について説明する。
図７は画面表示ＬＣＤパネル３７に表示されるメニュー画面を示す図である。メニュー画面はカメラの電源がオン状態にされたときには自動的に、又は３次元画像の検出開始後においてもメニューボタン６２をオン状態にすることによって画面表示ＬＣＤパネル３７上に表示される。
【００２８】
メニュー画面には２次元画像撮影モードを示す文字「２Ｄ撮影」３７ａ、３次元画像撮影モードを示す文字「３Ｄ撮影」３７ｂ、画像設定モードを示す文字「設定」３７ｃ、一括接続モードを示す文字「３Ｄ一括接続」３７ｄがぞれぞれ表示される。これらの項目は操作ボタン６１の操作によって選択され、セットボタン６３によって決定される。２次元画像撮影モードは撮影レンズ１１を介して得られる２次元画像を撮影するモードである。３次元画像撮影モードは上述の距離測定の原理を利用した３次元画像の撮影を行うモードである。画像設定モードは画像の解像度の調整を行うモードである。一括接続モードは後述する３次元画像の合成に関するモードである。
【００２９】
図８、９はメニュー画面において２次元画像の撮影または３次元画像の撮影が選択されたときに実行される撮影動作のフローチャートである。
【００３０】
ステップ１００において変数ｎが初期値０に定められる。ステップ１０１においてレリーズスイッチ１５が全押しされていることが確認されるとステップ１０２が実行され、ＣＣＤ２８による通常の撮影動作（ＣＣＤビデオ制御）がオン状態に定められ、被写体の２次元画像が撮影され画像データとして検出される。検出された画像データは、ステップ１０３において画像メモリ３４に一時的に記憶される。２次元画像撮影モードが選択されている場合は、画像記録装置４３を介して画像記録媒体Ｍのデータファイルに記録され撮影動作が終了する。
【００３１】
ステップ１０４においてＣＣＤのビデオ制御がオフ状態に定められた後、ステップ１０５において垂直同期信号が出力されるとともに測距光制御が開始される。すなわち発光装置１４が駆動され、パルス状の測距光が断続的に出力される。次いでステップ１０６が実行され、ＣＣＤ２８による検知制御が開始される。
【００３２】
ステップ１０７では、距離情報検出動作の開始から１フィールド期間が終了したか否か、すなわち新たに垂直同期信号が出力されたか否かが判定される。１フィールド期間が終了するとステップ１０８に進み、積分された距離情報の信号電荷がＣＣＤ２８から出力される。この信号電荷はステップ１０９において画像メモリ３４に一時的に記憶される。
【００３３】
ステップ１１０では測距光制御がオフ状態に切換えられ、発光装置１４の発光動作が停止する。ステップ１１１では、距離データの演算処理が行なわれ、画像メモリ３４に一時的に記憶される。
【００３４】
ステップ１１２では、取得された距離データのキャリブレーションとして例えばディストーション補正が行なわれ、３次元画像のデータの歪みが修正される。
【００３５】
ステップ１１３では、ステップ１１１で算出された距離データから撮影点を原点とした被写体の位置の座標が算出され、座標データとして画像メモリ３４に一時的に記憶される。
【００３６】
ステップ１１４では角速度センサ４６、加速度センサ４８によって検出された角速度、加速度のデータからカメラの位置、姿勢、レンズの方向に関する座標変換のパラメータが算出され、画像メモリ３４に一時的に記憶される。
【００３７】
ステップ１１５では、変数ｎが１だけインクリメントされる。すなわち検出された各データが何番目に撮影された３次元画像に関するものかが設定される。
【００３８】
ステップ１１６では、画像データ、座標データ、座標変換のパラメータおよび変数ｎの数値が画像記録装置４３を介して画像記録媒体Ｍのデータファイルに記録される。
【００３９】
ステップ１１７においてリアルタイムモードが設定されているか否かが判断される。リアルタイムモードとは３次元画像の合成に関するモードの種類であって、検出された座標データを撮影動作毎に合成して表示するモードである。リアルタイムモードの設定は、リアルタイムモード設定ダイヤル１７を手動でオン状態に設定することによっておこなう。
【００４０】
リアルタイムモードが設定されていないと判断されたときは、ステップ１１８に移行し、撮影を終了するか否かが判断される。撮影の終了は作動スイッチ１８をＯＦＦに設定することにより選択される。撮影の終了が選択されないときは、ステップ１０１に戻り次の撮影が実行されるまで、すなわちレリーズスイッチが押されるまで待機する。
【００４１】
ステップ１１７においてリアルタイムモードが設定されていると判断されたときは、ステップ２０１に移行し、３次元画像の合成に関するリアルタイムモードの処理に移行する。
【００４２】
ステップ２０１では、ｎ＝１であるか否かが判定される。すなわち実行されている３次元画像の撮影動作が、最初（１枚目）の撮影動作によるものか否かが判定される。ｎ＝１のときは処理はステップ２０２に移り、ステップ１１３において得られた座標データが第１の座標データに定められる。
【００４３】
ステップ２０１でｎ＝１でないと判定されると、ステップ２０３が実行され、ステップ１１３において得られた座標データが第２の座標データとして定められ、ステップ１１４において求められた座標変換のパラメータを用いて、世界座標系に変換される。世界座標は第１の座標データが得られたときのカメラの位置を原点とする。ステップ２０４において、世界座標系に変換された第２座標データが第１の座標データに合成される。第１の座標データと第２の座標データの重複する部分は一方が削除される。
【００４４】
ステップ２０５では合成された座標データは３次元画像として、最初の撮影動作時の光軸方向視線で画面表示ＬＣＤパネル３７に表示される。ステップ２０６では撮影を終了するか否かが判断される。終了が選択されるとリアルタイムモードのルーチンは終了する。一方、ステップ２０６において撮影の終了が選択されないときはステップ１０１に戻り次の撮影が実行されるまで、すなわちレリーズスイッチが押されるまで待機する。
【００４５】
次に、図１０、図１１を用いて一括接続モードが選択された場合について説明する。本実施形態における３次元画像の合成には、上述のリアルタイムモードの他に、各撮影点からの撮影により検出された３次元画像を同時に一覧表示して、表示された３次元画像の中から選択した画像のみを合成する一括接続モードがある。
【００４６】
メニュー画面（図７参照）において一括接続モードが選択されると、ステップ３０１において３次元画像が一覧表示される。３次元画像の一覧表示は、図１１に示すように、３次元画像の撮影が開始されてから一括接続モードが選択されるまでに各撮影点で得られた３次元画像が全て表示される。図１１の例では図８の３次元画像の撮影のプログラムを６回実行し、第１〜第６の３次元画像が検出されてメニュー画面に表示されている。第１〜第６の３次元画像には撮影された順番に対応した▲１▼〜▲６▼の番号が付されている。
【００４７】
ステップ３０２において、オペレータの操作によって合成の対象とする３次元画像が選択される。一覧表示された３次元画像の中から操作ボタン６１の操作により合成する３次元画像を選択してセットボタン６３の操作により合成する３次元画像を決定することができる。図１１の例では▲１▼と▲５▼の３次元画像が選択されている。選択された３次元画像は太い線で囲まれて表示される。
【００４８】
ステップ３０３では選択された３次元画像の合成処理が行われる。すなわち、選択された３次元画像は、リアルタイムモードにおける合成と同様に世界座標に座標変換されて合成される。ここで世界座標は最初の撮影動作におけるカメラの位置を原点とし、最初の撮影動作におけるカメラの光軸をＺ軸とする。
【００４９】
ステップ３０４において、画面表示ＬＣＤパネル３７画面から３次元画像の一覧表示が消去され、合成された３次元画像が表示される。合成された３次元画像は、世界座標に統一されており、最初の撮影動作における光軸方向視線で表示される。
【００５０】
ステップ３０５において、一括接続モードを終了するか否かが判断される。一括接続モードを終了するときは、作動スイッチ１８をＯＦＦに設定することにより選択される。一括接続モードの終了が選択されないときは、ステップ３０１に戻り合成された３次元画像の表示が消去されて再び各撮影点で撮影された３次元画像が一覧表示される。
【００５１】
以上のようにリアルタイムモードおよび一括接続モードによって合成された３次元画像は、画面表示ＬＣＤパネル３７上において最初に撮影された３次元画像の撮影時のカメラ光軸方向視線と一致するように表示される。また合成された３次元画像は、操作ボタン６１の操作により回転させ、別方向から表示することも可能である。合成された画像を別角度から表示することにより、データを既に取り込んでいる部分と取り込んでいない部分との判別が可能となる。すなわち撮影されていない部分は表示されないため、データの不足する部分の確認が容易となる。
【００５２】
本実施形態においてはカメラの位置、姿勢、向きの検出に角速度・加速度センサを用いたが、例えば磁気センサ、多軸式アームを用いてもよい。
【００５３】
リアルタイムモードにおいて合成された３次元画像は世界座標を原点として表示、すなわち第１の撮影動作におけるカメラの光軸方向視線で画面表示ＬＣＤパネル３７上に表示されるが、最後（最新）の撮影動作におけるカメラの光軸方向視線で表示されてもよい。この場合、３次元画像は世界座標に変換されて合成された後、最後の撮影動作におけるカメラの位置を原点とし、最後の撮影動作におけるカメラの光軸方向をＺ軸とする座標系に変換されて画面上に表示される。
【００５４】
３次画像の合成及び表示はコンピュータ４１の操作によってモニタ装置３９上に表示されてもよい。
【００５５】
【発明の効果】
以上のように本発明によれば、被写体の３次元形状の検出に必要な３次元画像が容易に確認できるように合成、表示する３次元画像入力装置を得ることができる。
【図面の簡単な説明】
【図１】本発明の実施形態である３次元画像入力装置を備えたカメラの斜視図である。
【図２】本発明の実施形態である３次元画像入力装置を備えたカメラの背面図である。
【図３】図１、２に示すカメラの回路構成を示すブロック図である。
【図４】測距光による距離測定の原理を説明するための図である。
【図５】測距光、反射光、ゲートパルス、およびＣＣＤが受光する光量分布を示す図である。
【図６】合成モードで複数の方向から被写体を撮影し、被写体の全体的な３次元形状を検出する方法について説明した図である。
【図７】メニュー画面を示す図である。
【図８】３次元画像検出動作のフローチャートである。
【図９】リアルタイムモードの３次元画像合成動作のフローチャートである。
【図１０】一括接続モードの３次元画像合成動作のフローチャートである。
【図１１】一括接続モードにおける３次元画像を一覧表示する画面を示す図である。
【符号の説明】
１０カメラ本体
３７画面表示ＬＣＤパネル
６１操作ボタン

Claims

被写体の表面各点までの距離を示す距離データによって形成される３次元画像を撮影可能なカメラ型の３次元画像入力装置であって、
前記被写体を異なる方向から撮影して得られた複数の３次元画像を合成して１つの３次元画像を形成するために座標変換を行なう座標変換手段と、
３次元画像を画面上に表示する画像表示手段と、
撮影された前記３次元画像を撮影動作毎に前記座標変換を施し合成するリアルタイムモードと、
撮影された複数の３次元画像を前記画面上に同時に表示して、選択された３次元画像に前記座標変換を施し合成する一括接続モードとを備える
ことを特徴とする３次元画像入力装置。
前記リアルタイムモードにおいて、第１の撮影動作における前記カメラの光軸方向に沿って前記被写体を見たようにして前記３次元画像が前記画面上に表示されることを特徴とする請求項１に記載の３次元画像入力装置。
前記リアルタイムモードにおいて、前記カメラの光軸方向に従って表示した前記３次元画像を、前記カメラの光軸方向とは異なる方向から前記被写体を見たようにして前記画面上に表示するように操作可能な手段を備えることを特徴とする請求項２に記載の３次元画像入力装置。
前記座標変換手段が、第２の撮影動作における３次元画像を、第１の撮影動作における前記カメラの位置を原点とし、前記第１の撮影動作における前記カメラの光軸方向を１つの座標軸とする座標系に変換することを特徴とする請求項１に記載の３次元画像入力装置。
前記座標変換手段が、第１の撮影動作における前記カメラの位置から第２の撮影動作における前記カメラの位置に至るまでの前記カメラの角速度を検出する角速度検出手段と、前記第１の撮影動作における前記カメラの位置から第２の撮影動作におけるカメラの位置に至るまでの前記カメラの加速度を検出する加速度検出手段を備えることを特徴とする請求項１に記載の３次元画像入力装置。