JP4136195B2

JP4136195B2 - ３次元画像入力装置

Info

Publication number: JP4136195B2
Application number: JP16288999A
Authority: JP
Inventors: 信博谷
Original assignee: Hoya Corp
Current assignee: Hoya Corp
Priority date: 1999-06-09
Filing date: 1999-06-09
Publication date: 2008-08-20
Anticipated expiration: 2019-06-09
Also published as: JP2000346626A

Description

【０００１】
【発明の属する技術分野】
本発明は、光伝播時間測定法を用いて被計測物体の３次元形状等を検出する３次元画像入力装置に関する。
【０００２】
【従来の技術】
従来３次元画像入力装置による３次元計測は、光、電波あるいは音を被計測物体に照射する能動方式と、光等を照射しない受動方式とに分類される。能動方式には、光伝播時間測定法、変調した光波を用いる位相差測定法、三角測量法、モアレ法、干渉法等が知られており、受動方式には、ステレオ視法、レンズの焦点法等が知られている。
【０００３】
能動方式は受動方式に比べ、レーザ光等を照射するための機構が必要なために装置の規模が大きくなるが、距離分解能、計測時間、計測空間範囲等の点において優れており、産業応用分野において広く用いられてきている。「Measurement Science and Technology」（S. Christie 他、vol.6, p1301-1308, 1995 年）に記載された３次元画像入力装置では、パルス変調されたレーザ光が被計測物体に照射され、その反射光がイメージインテンシファイアが取付けられた２次元ＣＣＤセンサによって受光され、電気信号に変換される。イメージインテンシファイアはレーザ光のパルス発光に同期したゲートパルスによってシャッタ制御される。この構成によれば、遠い被計測物体からの反射光による受光量は近い被計測物体からの反射光による受光量に比べて小さいので、被計測物体の距離に応じた出力がＣＣＤの各画素毎に得られる。
【０００４】
一方、国際公開97/01111号公報に開示された装置では、パルス変調されたレーザ光等の光が被計測物体に照射され、その反射光がメカニカル又は液晶素子等から成る電気光学的シャッタと組み合わされた２次元ＣＣＤセンサによって受光され、電気信号に変換される。そのシャッタは、測距光のパルスとは異なるタイミングで制御され、距離情報がＣＣＤの各画素毎に得られる。
【０００５】
【発明が解決しようとする課題】
このような従来の能動方式の装置では、ＣＣＤセンサにおける電荷蓄積動作を制御するためにＫＤＰ素子等の光シャッタが設けられている。ところが光シャッタの規模が大きいだけでなく、光シャッタを駆動するために高電圧を供給する電気回路が必要であるので、従来装置は大型化せざるを得ないという問題があった。一方、米国特許第 5,081,530号明細書には、ＣＣＤセンサの電荷蓄積動作を制御するために電子シャッタを用いる構成が開示されているが、従来の１回の電子シャッタにより得られるＣＣＤセンサの出力は、被計測物体の距離情報を検出するために十分な大きさを有していない。
【０００６】
本発明は、光シャッタを必要とせず小型で安価であり、しかも高精細画像に対応した多画素ＣＣＤにおいても十分に大きい出力を得ることのできる３次元画像入力装置を得ることを目的としている。
【０００７】
【課題を解決するための手段】
本発明の３次元画像入力装置は、被計測物体に測距光を照射する光源と、受光量に応じた電荷を蓄積可能な第１及び第２の光電変換素子と、第１の光電変換素子に隣接して設けられた第１の信号電荷保持部と、第２の光電変換素子に隣接して設けられた第２の信号電荷保持部と、第１の光電変換素子に蓄積した第１の信号電荷を第１の信号電荷保持部のみに接続された第１の電極を用いて第１の信号電荷保持部に転送する第１の信号電荷転送手段と、第２の光電変換素子に蓄積した第２の信号電荷を第２の信号電荷保持部のみに接続された第２の電極を用いて第２の信号電荷保持部に転送する第２の信号電荷転送手段と、第１の信号電荷転送手段を繰り返し駆動することにより、第１の信号電荷保持部において被計測物体の距離情報に関する第１の信号電荷を積分する信号電荷積分手段とを備えたことを特徴としている。
【０００８】
３次元画像入力装置は好ましくは、第１の光電変換素子に蓄積した不要電荷を第１の光電変換素子から掃出すことにより第１の光電変換素子における信号電荷の蓄積動作を開始させる第１の蓄積電荷掃出手段と、第２の光電変換素子に蓄積した不要電荷を第２の光電変換素子から掃出すことにより第２の光電変換素子における信号電荷の蓄積動作を開始させる第２の蓄積電荷掃出手段とを備え、信号電荷積分手段が、第１の蓄積電荷掃出手段と前記第１の信号電荷転送手段とを交互に駆動することにより行われる。
【０００９】
第１及び第２の光電変換素子が基板に沿って形成された構成においては、蓄積動作開始手段は不要電荷を基板側に掃出す。第１及び第２の信号電荷保持部は、好ましくは第１及び第２の信号電荷を３次元画像入力装置の外部に出力するための垂直転送部である。また第１の光電変換素子は例えば、所定方向に第２の光電変換素子を所定の数挟んで配列される。
【００１０】
第１の蓄積電荷掃出手段において不要電荷を掃出すために出力される電荷掃出し信号と、第１の信号電荷転送手段において第１の信号電荷を転送するために出力される第１の電荷転送信号と、第２の信号電荷転送手段において第２の信号電荷を転送するために出力される第２の電荷転送信号とは、それぞれ例えばパルス信号である。
【００１１】
好ましくは、被計測物体の距離情報に対応した信号電荷が、第１の光電変換素子による反射光の受光終了まで、第１の光電変換素子において蓄積される。またこのとき好ましくは、電荷掃出し信号の出力が終了することによって、被計測物体の距離情報に対応した信号電荷の第１の光電変換素子における蓄積が開始する。
【００１２】
好ましくは、光源によって、パルス状の測距光が出力され、電荷掃出し信号が出力されてから第１の電荷転送信号が出力されるまでの第１の電荷蓄積期間中、測距光のパルスが出力されることによって、被計測物体の距離情報に対応した信号電荷が第１の信号電荷保持部において積分される。
【００１３】
また好ましくは、光源による測距光の照射動作を禁止する照射動作制御手段と、この照射動作制御手段により測距光の照射を禁止した状態で、第１及び第２の蓄積電荷掃出手段と第１及び第２の信号電荷転送手段とを駆動して被計測物体の画像情報に関する第１及び第２の信号電荷をそれぞれ第１及び第２の信号電荷保持部に転送する画像情報検出手段とを備える。
【００１４】
また本発明の３次元画像入力装置は、被計測物体に光を照射する光源と、所定のグループに分けられ受光量に応じた電荷を生成する複数の光学センサと、光学センサにおいて生成された電荷を光学センサの外部へ転送するために光学センサの各々に設けられた電荷転送電極と、電荷転送電極により光学センサから転送される電荷を保持転送するための電荷転送部と、光学センサ毎に設けられた電荷転送電極を前記光学センサのグループ毎に制御可能な電荷転送電極制御手段と、電荷転送電極制御手段を繰り返し駆動することにより光学センサの一部のグループで生成された電荷を電荷転送部へ繰り返し転送し、この電荷を電荷転送部において累積的に蓄積する生成電荷蓄積手段とを備えることを特徴としている。
【００１５】
【発明の実施の形態】
以下、本発明の実施の形態を図面を参照して説明する。
図１は本発明の第１の実施形態である３次元画像入力装置を備えたカメラの斜視図である。
【００１６】
カメラ本体１０の前面において、撮影レンズ１１の左上にはファインダ窓１２が設けられ、右上にはストロボ１３が設けられている。カメラ本体１０の上面において、撮影レンズ１１の真上には、測距光であるレーザ光を照射する発光装置（光源）１４が配設されている。発光装置１４の左側にはレリーズスイッチ１５と液晶表示パネル１６が設けられ、また右側にはモード切替ダイヤル１７とＶ／Ｄモード切替スイッチ１８が設けられている。カメラ本体１０の側面には、ＩＣメモリカード等の記録媒体を挿入するためのカード挿入口１９が形成され、また、ビデオ出力端子２０とインターフェースコネクタ２１が設けられている。
【００１７】
図２は図１に示すカメラの回路構成を示すブロック図である。
撮影レンズ１１の中には絞り２５が設けられている。絞り２５の開度はアイリス駆動回路２６によって調整される。撮影レンズ１１の焦点調節動作およびズーミング動作はレンズ駆動回路２７によって制御される。
【００１８】
撮影レンズ１１の光軸上には撮像素子（ＣＣＤ）２８が配設されている。ＣＣＤ２８には、撮影レンズ１１によって被写体像が形成され、被写体像に対応した電荷が発生する。ＣＣＤ２８における電荷の蓄積動作、電荷の読出動作等の動作はＣＣＤ駆動回路３０によって制御される。ＣＣＤ２８から読み出された電荷信号すなわち画像信号はアンプ３１において増幅され、Ａ／Ｄ変換器３２においてアナログ信号からデジタル信号に変換される。デジタルの画像信号は撮像信号処理回路３３においてガンマ補正等の処理を施され、画像メモリ３４に一時的に格納される。アイリス駆動回路２６、レンズ駆動回路２７、ＣＣＤ駆動回路３０、撮像信号処理回路３３はシステムコントロール回路３５によって制御される。
【００１９】
画像信号は画像メモリ３４から読み出され、ＬＣＤ駆動回路３６に供給される。ＬＣＤ駆動回路３６は画像信号に応じて動作し、これにより画像表示ＬＣＤパネル３７には、画像信号に対応した画像が表示される。
【００２０】
また画像メモリ３４から読み出された画像信号はＴＶ信号エンコーダ３８に送られ、ビデオ出力端子２０を介して、カメラ本体１０の外部に設けられたモニタ装置３９に伝送可能である。システムコントロール回路３５はインターフェース回路４０に接続され、インターフェース回路４０はインターフェースコネクタ２１に接続されている。したがって画像メモリ３４から読み出された画像信号は、インターフェースコネクタ２１に接続されたコンピュータ４１に伝送可能である。またシステムコントロール回路３５は、記録媒体制御回路４２を介して画像記録装置４３に接続されている。したがって画像メモリ３４から読み出された画像信号は、画像記録装置４３に装着されたＩＣメモリカード等の記録媒体Ｍに記録可能である。
【００２１】
システムコントロール回路３５には、発光素子制御回路４４が接続されている。発光装置１４には発光素子１４ａと照明レンズ１４ｂが設けられ、発光素子１４ａの発光動作は発光素子制御回路４４によって制御される。発光素子１４ａは測距光であるレーザ光を照射するものであり、このレーザ光は照明レンズ１４ｂを介して被計測物体の全体に照射される。被計測物体において反射した光は撮影レンズ１１に入射する。この光をＣＣＤ２８によって検出することにより、後述するように被計測物体の３次元画像が計測される。なお、この計測において、ＣＣＤ２８における転送動作のタイミング等の制御はシステムコントロール回路３５とＣＣＤ駆動回路３０によって行なわれる。
【００２２】
システムコントロール回路３５には、レリーズスイッチ１５、モード切替ダイヤル１７、Ｖ／Ｄモード切替スイッチ１８から成るスイッチ群４５と、液晶表示パネル（表示素子）１６とが接続されている。
【００２３】
図３および図４を参照して、本実施形態における距離測定の原理を説明する。なお図４において横軸は時間ｔである。
【００２４】
距離測定装置Ｂから出力された測距光は被計測物体Ｓにおいて反射し、図示しないＣＣＤによって受光される。測距光は所定のパルス幅Ｈを有するパルス状の光であり、したがって被計測物体Ｓからの反射光も、同じパルス幅Ｈを有するパルス状の光である。また反射光のパルスの立ち上がりは、測距光のパルスの立ち上がりよりも時間δ・ｔ（δは遅延係数）だけ遅れる。測距光と反射光は距離計測装置Ｔと被計測物体Ｓの間の２倍の距離ｒを進んだことになるから、その距離ｒは
ｒ＝δ・ｔ・Ｃ／２・・・（１）
により得られる。ただしＣは光速である。
【００２５】
例えば測距光のパルスの立ち上がりから反射光を検知可能な状態に定め、反射光のパルスが立ち下がる前に検知不可能な状態に切換えるようにすると、すなわち反射光検知期間Ｔを設けると、この反射光検知期間Ｔにおける受光量Ａは距離ｒの関数である。すなわち受光量Ａは、距離ｒが大きくなるほど（時間δ・ｔが大きくなるほど）小さくなる。
【００２６】
本実施形態では上述した原理を利用して、ＣＣＤ２８に設けられ、２次元的に配列された複数のフォトダイオード（光電変換素子）においてそれぞれ受光量Ａを検出することにより、カメラ本体１０から被計測物体Ｓの表面の各点までの距離をそれぞれ検出し、被計測物体Ｓの表面形状に関する３次元画像のデータを一括して入力している。
【００２７】
図５は、ＣＣＤ２８に設けられているフォトダイオード（第１及び第２の光電素子）５１ａ₁、５１ａ₂と垂直転送部５２の配置を示す図である。図６は、ＣＣＤ２８を基板５３に垂直な平面で切断して示す断面図である。このＣＣＤ２８は従来公知のインターライン型ＣＣＤであり、不要電荷の掃出しにＶＯＤ（縦型オーバーフロードレイン）方式を用いたものである。
【００２８】
フォトダイオード５１ａ₁、５１ａ₂と垂直転送部（信号電荷保持部）５２はｎ型基板５３の面に沿って形成されている。フォトダイオード５１ａ₁、５１ａ₂は所定の配置で２次元的に格子状に配列され、垂直転送部５２はフォトダイオード５１ａ₁、５１ａ₂に隣接して設けられている。図５は格子状に配列されたフォトダイオードの１つの列を抜き出したもので、フォトダイオード５１ａ₁が３つのフォトダイオード５１ａ₂を挟んで３つおきに上下方向に配置さている。垂直転送部５２は、１つのフォトダイオード５１ａ₁に対して４つの垂直転送電極５２ａ₁、５２ｂ₁、５２ｃ₁、５２ｄ₁を備え第１の信号電荷保持部を形成している。また同様に１つのフォトダイオード５１ａ₂に対して４つの垂直転送電極５２ａ₂、５２ｂ₂、５２ｃ₂、５２ｄ₂を備え第２の信号電荷保持部を形成している。同一記号で図示された垂直転送電極同士、例えば垂直転送電極５３ａ₂は回路内において互いに電気的に接続されている。また垂直転送電極５２ｂ₁と５２ｂ₂、５２ｃ₁と５２ｃ₂、５２ｄ₁と５２ｄ₂は回路内においてそれぞれ電気的に接続されている。すなわちＣＣＤ内の垂直転送電極は、電気的に記号５２ａ₁、５２ａ₂、５２ｂ₁と５２ｂ₂、５２ｃ₁と５２ｃ₂、５２ｄ₁と５２ｄ₂で表される５つの系列の電極に分かれており、それぞれの系列毎に独立に信号電圧を印加することができる。例えば記号５２ａ₁で表される垂直転送電極、あるいは記号５２ｂ₁と５２ｂ₂で表される垂直転送電極のみに信号電圧を印加しその他の垂直転送電極には信号電圧を印加しないことができる。したがって垂直転送部５２では、フォトダイオード毎に４つのポテンシャルの井戸が形成可能であり、従来公知のように、これらの井戸の深さを制御することによって、信号電荷をＣＣＤ２８から出力することができる。なお垂直転送電極の数は目的に応じて自由に変更できる。
【００２９】
基板５３の表面に形成されたｐ型井戸の中にフォトダイオード５１ａ₁、５１ａ₂が形成され、ｐ型井戸とｎ型基板５３の間に印加される逆バイアス電圧によってｐ型井戸が完全に空乏化される。この状態において、入射光（被計測物体からの反射光）の光量に応じた電荷がフォトダイオード５１ａ₁、５１ａ₂において蓄積される。基板電圧Ｖsub を所定値以上に大きくすると、フォトダイオード５１ａ₁、５１ａ₂に蓄積した電荷は、基板５３側に掃出される。これに対し、転送ゲート部５４に電荷転送信号（電圧信号）が印加されたとき、フォトダイオード５１ａ₁、５１ａ₂に蓄積した電荷は垂直転送部５２に転送される。すなわち電荷掃出し信号によって電荷を基板５３側に掃出した後、フォトダイオード５１ａ₁、５１ａ₂に蓄積した信号電荷が、電荷転送信号によって垂直転送部５２側に転送される。このような動作を繰り返すことにより、垂直転送部５２において信号電荷が積分され、電子シャッタ動作が実現される。
【００３０】
本実施形態におけるＣＣＤは、垂直転送電極５２ａ₁を有するフォトダイオード５１ａ₁と、垂直転送電極５２ａ₂を有するフォトダイオード５１ａ₂を備えているが、距離に関するデータを検出するために用いられるのは、フォトダイオード５１ａ₁のみである。これは後に詳述するように、高精細な画像を得るためにＣＣＤの画素数（フォトダイオード数）を増加すると、距離検出動作の実行が困難となるためである。このため距離検出動作には３ラインおきのフォトダイオード５１ａ₁のみを用いている。なお、被計測物体の画像に関するデータの検出にはフォトダイオード５１ａ₁及び５１ａ₂を用いて画像検出動作を行なう。
【００３１】
図７は、被計測物体の表面の各点までの距離に関するデータを検出する距離情報検出動作のタイミングチャートである。図１、図２、図５〜図７を参照して距離情報検出動作を説明する。
【００３２】
垂直同期信号（図示せず）の出力に同期して電荷掃出し信号（パルス信号）Ｓ１が出力され、これによりフォトダイオード５１ａ₁に蓄積していた不要電荷が基板５３の方向に掃出され、フォトダイオード５１ａ₁における蓄積電荷量はゼロになる（符号Ｓ２）。電荷掃出し信号Ｓ１の出力の開始の後、一定のパルス幅を有するパルス状の測距光Ｓ３が出力される。測距光Ｓ３が出力される期間（パルス幅）は調整可能であり、図示例では、電荷掃出し信号Ｓ１の出力と同時に測距光Ｓ３がオフするように調整されている。
【００３３】
測距光Ｓ３は被計測物体において反射し、ＣＣＤ２８に入射する。すなわちＣＣＤ２８によって被計測物体からの反射光Ｓ４が受光されるが、電荷掃出し信号Ｓ１が出力されている間は、フォトダイオード５１ａ₁において電荷は蓄積されない（符号Ｓ２）。電荷掃出し信号Ｓ１の出力が停止されると、フォトダイオード５１ａ₁では、反射光Ｓ４の受光によって電荷蓄積が開始され、反射光Ｓ４と外光に起因する信号電荷Ｓ５が発生する。反射光Ｓ４が消滅すると（符号Ｓ６）フォトダイオード５１ａ₁では、反射光に基く電荷蓄積は終了するが（符号Ｓ７）、外光のみに起因する電荷蓄積が継続する（符号Ｓ８）。
【００３４】
その後、電荷転送信号Ｓ９が出力されると、フォトダイオード５１ａ₁に蓄積された電荷が垂直転送部５２に転送される。この電荷転送は、電荷転送信号の出力の終了（符号Ｓ１０）によって完了する。すなわち、外光が存在するためにフォトダイオード５１ａ₁では電荷蓄積が継続するが、電荷転送信号の出力が終了するまでフォトダイオード５１ａ₁に蓄積されていた信号電荷Ｓ１１が垂直転送部５２へ転送される。電荷転送信号の出力終了後に蓄積している電荷Ｓ１４は、そのままフォトダイオード５１ａ₁に残留する。
【００３５】
このように電荷掃出し信号Ｓ１の出力の終了から電荷転送信号Ｓ９の出力が終了するまでの期間Ｔ_U1の間、フォトダイオード５１ａ₁には、被計測物体までの距離に対応した信号電荷が蓄積される。そして、反射光Ｓ４の受光終了（符号Ｓ６）までフォトダイオード５１ａ₁に蓄積している電荷が、外光と被計測物体の距離情報とに対応した信号電荷Ｓ１２として垂直転送部５２へ転送され、その他の信号電荷Ｓ１３は外光のみに起因するものである。
【００３６】
電荷転送信号Ｓ９の出力から一定時間が経過した後、再び電荷掃出し信号Ｓ１が出力され、垂直転送部５２への信号電荷の転送後にフォトダイオード５１ａ₁に蓄積された不要電荷が基板５３の方向へ掃出される。すなわち、フォトダイオード５１ａ₁において新たに信号電荷の蓄積が開始する。そして、上述したのと同様に、電荷蓄積期間Ｔ_U1が経過したとき、信号電荷は垂直転送部５２へ転送される。
【００３７】
このような信号電荷Ｓ１１の垂直転送部５２への転送動作は、次の垂直同期信号が出力されるまで、繰り返し実行される。これにより垂直転送部５２において、信号電荷Ｓ１１が積分され、１フィールドの期間（２つの垂直同期信号によって挟まれる期間）に積分された信号電荷Ｓ１１は、その期間被計測物体が静止していると見做せれば、被計測物体までの距離情報に対応している。
【００３８】
以上説明した信号電荷Ｓ１１の検出動作は１つのフォトダイオード５１ａ₁に関するものであり、垂直転送電極５２ａ₁を有する全てのフォトダイオード５１ａ₁においてこのような検出動作が行なわれる。１フィールドの期間における検出動作の結果、垂直転送電極５２ａ₁を有するフォトダイオード５１ａ₁に隣接した垂直転送部には、そのフォトダイオード５１ａ₁によって検出された距離情報が保持される。この距離情報は垂直転送部５２における垂直転送動作および図示しない水平転送部における水平転送動作によってＣＣＤ２８から出力され、被計測物体の３次元画像データとして、３次元画像入力装置の外部に取り出される。
【００３９】
しかしＣＣＤ２８により検出された反射光は、被計測物体の表面の反射率の影響を受けている。したがって、この反射光を介して得られた距離情報は反射率に起因する誤差を含んでいる。また、ＣＣＤ２８により検出された反射光には、被計測物体からの反射光以外に外光等の成分も含まれており、これに起因する誤差も存在する。
【００４０】
次にこれらの誤差を補正する方法について説明する。図８〜図１０は距離補正情報、反射率情報および反射率補正情報の検出動作におけるタイミングチャートである。図１１と図１２は距離情報検出動作のフローチャートである。図１、図２、図７〜図１２を参照して、本実施形態における距離情報検出動作について説明する。
【００４１】
ステップ１０１においてレリーズスイッチ１５が全押しされていることが確認されるとステップ１０２が実行され、ビデオ（Ｖ）モードと距離測定（Ｄ）モードのいずれが選択されているかが判定される。これらのモード間における切替はＶ／Ｄモード切替スイッチ１８を操作することによって行なわれる。
【００４２】
Ｄモードが選択されているとき、ステップ１０３において垂直同期信号が出力されるとともに測距光制御が開始される。すなわち発光装置１４が駆動され、パルス状の測距光Ｓ３が断続的に出力される。次いでステップ１０４が実行され、ＣＣＤ２８による検知制御が開始される。すなわち図７を参照して説明した距離情報検出動作が開始され、電荷掃出し信号Ｓ１と電荷転送信号Ｓ９が交互に出力されて、距離情報の信号電荷Ｓ１１が垂直転送部５２において積分される。
【００４３】
ステップ１０５では、距離情報検出動作の開始から１フィールド期間が終了したか否か、すなわち新たに垂直同期信号が出力されたか否かが判定される。１フィールド期間が終了するとステップ１０６へ進み、距離情報の信号電荷Ｓ１１がＣＣＤ２８から出力される。この信号電荷Ｓ１１はステップ１０７において画像メモリ３４に一時的に記憶される。ステップ１０８では測距光制御がオフ状態に切換えられ、発光装置１４の発光動作が停止する。
【００４４】
ステップ１０９〜１１２では、距離補正情報の検出動作が行なわれる。まずステップ１０９では、垂直同期信号が出力されるとともにＣＣＤ２８による検知制御が開始される。すなわち発光装置１４の発光動作が行なわれることなく、光源が消灯された状態で、電荷掃出し信号Ｓ２１と電荷転送信号Ｓ２２が交互に出力される。電荷蓄積時間Ｔ_U1は図７に示す距離情報検出動作と同じであるが、被計測物体に測距光が照射されないため（符号Ｓ２３）、反射光は存在せず（符号Ｓ２４）。したがって、距離情報の信号電荷は発生しないが、ＣＣＤ２８には外光等の外乱成分が入射するため、この外乱成分に対応した信号電荷Ｓ２５が発生し、電荷転送信号Ｓ２２の出力によって、それまでフォトダイオードに蓄積していた信号電荷Ｓ２６が垂直転送部へ転送される。この信号電荷Ｓ２６は、外乱成分が距離情報に及ぼす影響を補正するための、電荷蓄積時間Ｔ_U1に対する距離補正情報に対応している。
【００４５】
ステップ１１０では、距離補正情報の検出動作の開始から１フィールド期間が終了したか否か、すなわち新たに垂直同期信号が出力されたか否かが判定される。１フィールド期間が終了するとステップ１１１において、距離補正情報の信号電荷Ｓ２６がＣＣＤ２８から出力される。距離補正情報の信号電荷Ｓ２６はステップ１１２において画像メモリ３４に一時的に記憶される。
【００４６】
ステップ１１３〜１１７では、反射率情報の検出動作が行なわれる。ステップ１１３では、垂直同期信号が出力されるとともに測距光制御が開始され、パルス状の測距光Ｓ３３が断続的に出力される。ステップ１１４では、ＣＣＤ２８による検知制御が開始され、電荷掃出し信号Ｓ３１と電荷転送信号Ｓ３５が交互に出力される。電荷掃出し信号Ｓ３１が出力されることによって、フォトダイオードにおける蓄積電荷量はゼロになる（符号Ｓ３２）。電荷掃出し信号Ｓ３１の出力が終了すると、測距光Ｓ３３が出力され、ＣＣＤには反射光Ｓ３４が入射する。反射光Ｓ３４が消滅した後、電荷転送信号Ｓ３５が出力される。すなわち反射率情報の検出動作は、電荷掃出し信号Ｓ３１の出力が終了してから電荷転送信号Ｓ３５の出力が終了するまでの電荷蓄積期間Ｔ_U2内に、反射光Ｓ３４の全てが受光されるように制御される。
【００４７】
このようにフォトダイオードでは、反射光Ｓ３４を受光している間は反射光Ｓ３４と外光に起因する信号電荷Ｓ３６が蓄積され、また、反射光Ｓ３４を受光していない間は外光のみに起因する信号電荷Ｓ３７、Ｓ３８が蓄積される。そして電荷転送信号Ｓ３５の出力により、それまでのフォトダイオードに蓄積されていた信号電荷Ｓ３９が垂直転送部へ転送される。この信号電荷Ｓ３９は反射率情報に対応し、外光に基く成分Ｓ’３９を含んでいる。
【００４８】
ステップ１１５では、反射率情報検出動作の開始から１フィールド期間が終了したか否か、すなわち新たに垂直同期信号が出力されたか否かが判定される。１フィールド期間が終了するとステップ１１６へ進み、反射率情報の信号電荷Ｓ３９がＣＣＤ２８から出力される。この信号電荷Ｓ３９はステップ１１７において画像メモリ３４に一時的に記憶される。ステップ１１８では測距光制御がオフ状態に切換えられ、発光装置１４の発光動作が停止する。
【００４９】
ステップ１１９〜１２２では、反射率補正情報の検出動作が行なわれる。ステップ１１９では、垂直同期信号が出力されるとともにＣＣＤ２８による検知制御が開始される。すなわち発光装置１４の発光動作が行なわれることなく、光源が消灯された状態で、電荷掃出し信号Ｓ４１と電荷転送信号Ｓ４２が交互に出力される。電荷蓄積時間Ｔ_U2は図９に示す反射率情報検出動作と同じであるが、被計測物体に測距光が照射されないため（符号Ｓ４３）、反射光は存在せず（符号Ｓ４４）。したがって、反射率情報の信号電荷は発生しないが、ＣＣＤ２８には外光等の外乱成分に対応した信号電荷Ｓ４６が発生する。この信号電荷Ｓ４６は、外乱成分が電荷蓄積時間Ｔ_U2に対する反射率情報に及ぼす影響を補正するための反射率補正情報に対応している。
【００５０】
ステップ１２０では、反射率補正情報の検出動作の開始から１フィールド期間が終了したか否か、すなわち新たに垂直同期信号が出力されたか否かが判定される。１フィールド期間が終了するとステップ１２１において、反射率補正情報の信号電荷Ｓ４６がＣＣＤ２８から出力され、ステップ１２２において画像メモリ３４に一時的に記憶される。
【００５１】
ステップ１２３では、ステップ１０３〜１２２において得られた距離情報、距離補正情報、反射率情報および反射率補正情報を用いて距離データの演算処理が行なわれ、ステップ１２４において距離データが出力されてこの検出動作は終了する。一方、ステップ１０２においてＶモードが選択されていると判定されたとき、ステップ１２５において測距光制御がオフ状態に切換えられるとともに、ステップ１２６においてＣＣＤ２８（フォトダイオード５１ａ₁５１ａ₂）による通常の撮影動作（ＣＣＤビデオ制御）がオン状態に定められ、この検出動作は終了する。
【００５２】
ステップ１２３において実行される演算処理の内容を図７〜図１０を参照して説明する。
反射率Ｒの被計測物体が照明され、この被計測物体が輝度Ｉの２次光源と見做されてＣＣＤに結像された場合を想定する。このとき、電荷蓄積時間ｔの間にフォトダイオードに発生した電荷が積分されて得られる出力Ｓｎは、
Ｓｎ＝ｋ・Ｒ・Ｉ・ｔ・・・（２）
で表される。ここでｋは比例定数で、撮影レンズのＦナンバーや倍率等によって変化する。
【００５３】
被計測物体がレーザ等の光源からの光で照明される場合、輝度Ｉはその光源による輝度Ｉ_Sと背景光による輝度Ｉ_Bとの合成されたものとなり、
Ｉ＝Ｉ_S＋Ｉ_B ・・・（３）
と表せる。
【００５４】
図７に示されるように電荷蓄積時間をＴ_U1、測距光Ｓ３のパルス幅をＴ_S、距離情報の信号電荷Ｓ１２のパルス幅をＴ_Dとし、１フィールド期間中のその電荷蓄積時間がＮ回繰り返されるとすると、得られる出力ＳＭ₁₀は、

となる。なお、パルス幅Ｔ_Dは

と表せる。
【００５５】
図９に示されるようにパルス状の電荷蓄積時間Ｔ_U2が、測距光Ｓ３３の期間（パルス幅）Ｔ_Sよりも十分大きく、反射光の単位受光時間を全部含むように制御された場合に得られる出力ＳＭ₂₀は、

となる。
【００５６】
図８に示されるように発光を止めて、図７と同じ時間幅でのパルス状の電荷蓄積を行なった場合に得られる出力ＳＭ₁₁は、

となる。同様に、図１０に示されるような電荷蓄積を行なった場合に得られる出力ＳＭ₂₁は、

となる。
【００５７】
（４）、（６）、（７）、（８）式から、

が得られる。
【００５８】
上述したように測距光Ｓ３と反射光Ｓ４にはそれぞれ外光等の外乱成分（背景光による輝度Ｉ_B）が含まれている。（９）式のＴ_D／Ｔ_Sは、測距光Ｓ３を照射したときの被計測物体からの反射光Ｓ４の光量を、測距光Ｓ３の光量によって正規化したものであり、これは、測距光Ｓ３の光量（図７の信号電荷Ｓ１１に相当）から外乱成分（図８の信号電荷Ｓ２６に相当）を除去した値と、反射光Ｓ４の光量（図９の信号電荷Ｓ３９に相当）から外乱成分（図１０の信号電荷Ｓ’３９に相当）を除去した値との比に等しい。
【００５９】
（９）式の各出力値ＳＭ₁₀、ＳＭ₁₁、ＳＭ₂₀、ＳＭ₂₁はステップ１０７、１１２、１１７、１２２において、距離情報、距離補正情報、反射率情報、反射率補正情報として格納されている。したがって、これらの情報に基いて、Ｔ_D／Ｔ_Sが得られる。パルス幅Ｔ_sは既知であるから、（５）式とＴ_D／Ｔ_Sから距離ｒが得られる。
【００６０】
次に図６および図１３〜図１５を参照して例えば１００万画素を越えるような高精細な多画素ＣＣＤを距離検出動作に用いたときの問題について説明する。
【００６１】
ＣＣＤ回路内において各垂直転送電極には、それぞれ寄生容量Ｃｐが存在する。図６に図示された寄生容量Ｃｐは、これを模式的に表したものである。したがって同一記号で表された垂直転送電極全体における寄生容量は、これらの寄生容量Ｃｐの和となる。図１３は同一記号で表される垂直転送電極全体の等価回路図であり、Ｃはそのときの寄生容量（Ｃｐの和）、Ｒは垂直転送電極がもつ抵抗による抵抗値である。またＡ_inは等価回路への入力信号、Ａ_outは等価回路からの出力信号を表す。
【００６２】
図１４は等価回路に入力されるパルス状の入力信号Ａ_inと、そのとき等価回路から出力される出力信号Ａ_outを図示したものであり、Ａ_in、Ａ_outはそれぞれの最大値によって規格化されている。パルス状の入力信号Ａ_inが垂直転送電極に入力されるとき、出力信号Ａ_outの立ち上り及び立ち下がりには寄生容量Ｃと抵抗値Ｒの存在のために時定数ｔ₁（＝ＣＲ）で特徴づけられる遅れが生ずる。高精細な画像を得るためにＣＣＤの画素数（フォトダイオードの数）を増加すると、垂直転送電極の数が増えるために寄生容量Ｃ（Ｃｐの和）の値が大きくなる。その結果時定数ｔ₁が増大し、出力信号Ａ_outの立ち上がり及び立ち下がりの遅れが増大する。
【００６３】
例えばＣＣＤの全フォトダイオードを用いたときの垂直転送電極（５２ａ₁、５２ａ₂）の寄生容量Ｃが３０００ｐＦで抵抗値Ｒが５０Ωの場合、時定数ｔ₁は１５０ｎｓである。このとき図５のように、１／４ラインに間引かれた３ラインおきのフォトダイオード５１ａ₁のみを距離検出に用いると、寄生容量Ｃは７５０ｐＦとなり、抵抗値Ｒは７０Ωとなる。したがって時定数ｔ₁は５２．５ｎｓに減ぜられる。図１５は図７と同様に距離情報検出動作におけるタイミングチャートを表しているが、電荷転送信号を時定数１５０ｎｓおよび時定数５２．５ｎｓで出力したときの状態を表している。実線で表される電荷転送信号Ｓ６１はフォトダイオード５１ａ₁のみを用いたとき、すなわち時定数５２．５ｎｓのときの電荷転送信号を表す。破線で表される電荷転送信号Ｓ６２はフォトダイオード５１ａ₁、５１ａ₂を用いたとき、すなわち時定数１５０ｎｓのときの電荷転送信号を表す。また実線で表された垂直転送部への転送電荷量Ｓ６３は電荷転送信号Ｓ６１に対応し、破線で表された垂直転送部への転送電荷量Ｓ６４は電荷転送信号Ｓ６２に対応する。
【００６４】
本実施形態では、電荷転送信号が立ち上がったときにフォトダイオードから垂直転送部へ蓄積電荷の転送が開始される。電荷転送信号が立ち下がったときにフォトダイオードから垂直転送部へ蓄積電荷の転送が終了される。電荷転送信号Ｓ６１は電荷転送信号Ｓ６２よりも信号の立ち下がりが早いので、垂直転送部へ転送される蓄積電荷のうち外光に起因するものは斜線部Ｓ６５だけ電荷転送信号Ｓ６２のときよりも少ない。このため垂直転送部へ転送された蓄積電荷のうち距離情報の信号電荷Ｓ６６の占める割合は相対的に高くなり、雑音である外光による信号電荷の割合は低くなる。したがって距離情報に対する雑音成分が低減し距離検出精度が向上する。また雑音による信号電荷の量が減じるとともにフォトダイオードから垂直転送部への転送時間が短くなることから、１フィールド期間における電荷の積分回数を増加させることができるので大きな信号出力を得ることができる。
【００６５】
以上のように本実施形態によれば、高精細画像に対応した多画素ＣＣＤにおいても光シャッタを必要としない小型の３次元画像入力装置を安価に製造することができる。
【００６６】
さらに本実施形態によれば、被計測物体に対して測距光を走査することなく、被計測物体の表面形状に関する３次元画像のデータ、すなわち距離情報を一括して計測することができる。したがって被計測物体の３次元画像を得るまでの時間を大幅に短縮することが可能となる。
【００６７】
なお本実施形態では被計測物体の距離情報に対して、外光等の影響が除去されていたが、外光等の影響が無視できるときは、（９）式において外光等の影響に関する信号電荷の積分値（すなわちＳＭ₁₁、ＳＭ₂₁）を省略すればよい。これにより、被計測物体の表面の反射率のみに関する補正が行なわれる。
【００６８】
またステップ１０５、１１０、１１５、１２０では、１フィールド期間の間、信号電荷の蓄積が行なわれているが、これに代えて、複数フィールド期間、電荷蓄積を行なうようにしてもよい。
【００６９】
また本実施形態におけるＣＣＤは、フォトダイオード５１ａ₁を３個のフォトダイオード５１ａ₂を挟んで垂直ライン上にとびとびに配置していたが、所定の数のフォトダイオード５１ａ₂を挟んで水平ライン上にとびとびに配置してもよい。またこれらの配置を組み合せて格子状に配置してもよい。
【００７０】
【発明の効果】
以上のように本発明によれば、光シャッタを必要とせず小型で安価であり、しかも高精細画像に対応した多画素ＣＣＤにおいても十分に大きい出力を得ることのできる３次元画像入力装置を得ることができる。
【図面の簡単な説明】
【図１】本発明の一実施形態である３次元画像入力装置を備えたカメラの斜視図である。
【図２】図１に示すカメラの回路構成を示すブロック図である。
【図３】測距光による距離測定の原理を説明するための図である。
【図４】測距光、反射光、ゲートパルス、およびＣＣＤが受光する光量分布を示す図である。
【図５】ＣＣＤに設けられるフォトダイオードと垂直転送部の配置を示す図である。
【図６】ＣＣＤを基板に垂直な平面で切断して示す断面図である。
【図７】被計測物体までの距離に関するデータを検出する距離情報検出動作のタイミングチャートである。
【図８】距離補正情報の検出動作のタイミングチャートである。
【図９】反射率情報の検出動作のタイミングチャートである。
【図１０】反射率補正情報の検出動作のタイミングチャートである。
【図１１】距離情報検出動作のフローチャートの前半部である。
【図１２】距離情報検出動作のフローチャートの後半部である。
【図１３】ＣＣＤ回路内における垂直転送電極の等価回路である。
【図１４】垂直転送電極の等価回路への入力信号波形とそのときの出力信号波形を表す図である。
【図１５】フォトダイオードを間引いて距離情報検出動作を行なったときと間引かないで行なったときのタイミングチャートである。
【符号の説明】
発光装置１４
フォトダイオード５１ａ₁、５１ａ₂
垂直転送電極５２ａ₁、５２ａ₂
垂直転送部５２

Claims

被計測物体に測距光を照射する光源と、
前記被計測物体からの反射光を受け、受光量に応じた電荷を蓄積可能な第１及び第２の光電変換素子と、
前記第１の光電変換素子に隣接して設けられた第１の信号電荷保持部と、
前記第２の光電変換素子に隣接して設けられた第２の信号電荷保持部と、
前記第１の光電変換素子に蓄積した第１の信号電荷を前記第１の信号電荷保持部のみに接続された第１の電極を用いて前記第１の信号電荷保持部に転送する第１の信号電荷転送手段と、
前記第２の光電変換素子に蓄積した第２の信号電荷を前記第２の信号電荷保持部のみに接続された第２の電極を用いて前記第２の信号電荷保持部に転送する第２の信号電荷転送手段と、
前記第１の信号電荷転送手段を繰り返し駆動することにより、前記第１の信号電荷保持部において前記被計測物体の距離情報に関する前記第１の信号電荷を積分する信号電荷積分手段とを備え、
前記第１の光電変換素子が所定方向に前記第２の光電変換素子を所定の数だけ挟んで配列されている
ことを特徴とする３次元画像入力装置。
前記第１の光電変換素子に蓄積した不要電荷を前記第１の光電変換素子から掃出すことにより前記第１の光電変換素子における信号電荷の蓄積動作を開始させる第１の蓄積電荷掃出手段と、
前記第２の光電変換素子に蓄積した不要電荷を前記第２の光電変換素子から掃出すことにより前記第２の光電変換素子における信号電荷の蓄積動作を開始させる第２の蓄積電荷掃出手段とを備え、
前記信号電荷積分手段が、前記第１の蓄積電荷掃出手段と前記第１の信号電荷転送手段とを交互に駆動することにより行われることを特徴とする請求項１に記載の３次元画像入力装置。
前記第１及び第２の光電変換素子が基板に沿って形成され、前記第１の蓄積電荷掃出手段が不要電荷を前記基板側に掃出すことを特徴とする請求項２に記載の３次元画像入力装置。
前記第１及び第２の信号電荷保持部が前記第１及び第２の信号電荷を３次元画像入力装置の外部に出力するための垂直転送部であることを特徴とする請求項１に記載の３次元画像入力装置。
前記第１の蓄積電荷掃出手段において前記不要電荷を掃出すために出力される電荷掃出し信号と、前記第１の信号電荷転送手段において前記第１の信号電荷を転送するために出力される第１の電荷転送信号と、前記第２の信号電荷転送手段において前記第２の信号電荷を転送するために出力される第２の電荷転送信号とがそれぞれパルス信号であることを特徴とする請求項２に記載の３次元画像入力装置。
前記被計測物体の距離情報に対応した信号電荷が、前記第１の光電変換素子による前記反射光の受光終了まで、前記第１の光電変換素子において蓄積されることを特徴とする請求項５に記載の３次元画像入力装置。
前記電荷掃出し信号の出力が終了することによって、前記被計測物体の距離情報に対応した信号電荷の前記第１の光電変換素子における蓄積が開始することを特徴とする請求項６に記載の３次元画像入力装置。
前記光源によって、パルス状の測距光が出力され、前記電荷掃出し信号が出力されてから前記第１の電荷転送信号が出力されるまでの第１の電荷蓄積期間中、前記測距光のパルスが出力されることによって、前記被計測物体の距離情報に対応した信号電荷が前記第１の信号電荷保持部において積分されることを特徴とする請求項５に記載の３次元画像入力装置。
前記光源による前記測距光の照射動作を禁止する照射動作制御手段と、
前記照射動作制御手段により前記測距光の照射を禁止した状態で、前記第１及び第２の蓄積電荷掃出手段と前記第１及び第２の信号電荷転送手段とを駆動して前記被計測物体の画像情報に関する前記第１及び第２の信号電荷をそれぞれ前記第１及び第２の信号電荷保持部に転送する画像情報検出手段とを備えたことを特徴とする請求項１に記載の３次元画像入力装置。
被計測物体に光を照射する光源と、
所定のグループに分けられ、受光量に応じた電荷を生成する複数の光学センサと、
前記光学センサにおいて生成された前記電荷を前記光学センサの外部へ転送するために前記光学センサの各々に設けられた電荷転送電極と、
前記電荷転送電極により前記光学センサから転送される前記電荷を保持転送するための電荷転送部と、
前記光学センサ毎に設けられた前記電荷転送電極を前記光学センサの前記グループ毎に制御可能な電荷転送電極制御手段と、
前記電荷転送電極制御手段を繰り返し駆動することにより前記光学センサの一部のグループで生成された電荷を前記電荷転送部へ繰り返し転送し、この電荷を前記電荷転送部において累積的に蓄積する生成電荷蓄積手段とを備え、
１つのグループに含まれる光学センサが、他のグループに含まれる光学センサを所定の数だけ挟んで所定方向に配列されている
ことを特徴とする３次元画像入力装置。