JP2011163988A - パターン光投影装置 - Google Patents

Abstract

【課題】パターン投影法による人の頭部等の３次元計測に用いられるパターン光を、簡易な装置で明るく、高精細に投影する。
【解決手段】フラッシュを光源とする事で簡易な構造とし、投影する直線状のパターンと平行な方向には広く、垂直な方向には狭いスリット状の絞りを設ける事により、投影された像のパターンと垂直な方向のぼけ幅を小さくし、高精細なパターン光を得る。また、ライトパイプを用いる事により明るいパターン光を得、高精度な３次元計測を行う。
【選択図】図１

Description

本発明は、静物や人の頭部や上半身、全身等の被写体をパターン投影法を用いて３次元計測する場合に用いるパターン光投影装置に関するものである。

物体の形状を３次元データにするための３次元計測システムとしては、被写体にレーザースリット光やパターン光を投影した状態で、投影源とは異なる角度から被写体をカメラで撮影し、三角測量の原理で計測する光切断法やパターン投影法などの方法を用いたものが知られている。これらのシステムでは、通常はカメラの他にレーザーやプロジェクタ等、パターン光を投影するための専用のパターン光投影装置を必要とするために大がかりなものになる。しかし、特開２００２−２５０６１３号公報に記載された発明の様に、カメラの内蔵フラッシュを光源として用い、市販のコンパクトカメラの内蔵フラッシュの前に、パターンマスクと投影レンズを備えた着脱可能なアタッチメントを装着するだけで手軽にパターン光を投影することが出来るものも提案されている。

特開２００２−２５０６１３号公報

上記特許文献１の発明では、カメラの内蔵フラッシュから発せられたフラッシュ光を、直線状の縞模様が描かれたパターンマスクに導き、パターンマスクを透過した後に投影レンズを用いて被写体上に縞模様のパターンを結像させている。その状態でカメラで撮影し、得られた画像上での被写体上に投影されたパターンの、投影レンズとカメラの視差による歪みを解析する事により、被写体の３次元形状を求める事が出来る。

この従来例は、近距離に置かれた凹凸の程度が小さい被写体を低い解像度で３次元データ化する場合には有効で有るが、下記の理由により、人の顔を３次元計測する場合の様に、鼻の先端から耳まで含めると１０Ｃｍに及ぶ奥行きの差が有り、且つ有る程度高精度な計測が必要とされる場合に適用する事は難しい。

まず第１の問題は、カメラから数１０Ｃｍ以上離れた被写体の高精度な３次元計測が行える程に大きな視差を取ると、被写体上に投影されるパターン光が非常に暗くなる事である。数１０Ｃｍ離れた人の顔を、目鼻立ちが分かる程度の精密さで計測するためには、カメラとパターン光照射源の視差は最低１０〜２０Ｃｍ以上は必要であり、また、この視差を大きく取れば取るほど高精度な３次元計測が可能になる。上記従来例にも視差を大きくした実施例が記載されているが、その具体的な構造については記載がない。仮に、潜望鏡の様に２枚の反射鏡を使用して光路を折り曲げて視差を大きくしたものだとすると、光源となる内蔵フラッシュと投影レンズとの距離が拡大するため、その距離の２乗に反比例して投影レンズまで到達する光の光量が減少し、明るい像を得ることが出来ない。

図１２は上記従来のパターン光投影装置の光の進み方を模式的に描いた光路図である。実際には潜望鏡の様に光軸が２度折り曲げられているはずであるが、ここでは、フラッシュ光の距離による広がりのみに注目するため、折り曲げ部分は省略して真っ直ぐな光路としてとして模式的に描いた。図において、３はフラッシュ、１２はパターンマスク、１３は投影レンズ、４はフラッシュ３から放射されたフラッシュ光である。フラッシュ光はフラッシュ３から広い角度で放射状に放射されるが、比較対象となる、後述する図１３が煩雑になるのを避けるために図では上半分の光線のみを示してある。図１２に示した光線のうち、被写体上の像の明るさに寄与する有効な部分を実線で、寄与しない無効な部分を破線で描いた。

有効な光線は、パターンマスク１２を通過し、且つ投影レンズ１３の有効範囲内に到達した光線のみである。図１２より、視差を大きく取るためにフラッシュ３と投影レンズ１３の距離を大きく取ると、有効な光線の割合が非常に小さくなることが分かる。

第２の問題は、像の明るさを向上させるために、従来例の特許文献の図に有るほどの開口の大きなレンズを用いると、焦点深度が非常に浅くなるため、人の顔の様に凹凸の大きな被写体の全面にシャープな像を結ぶ事が出来ない事である。

図４は従来のパターン光投影装置の、フラッシュ光の進み方を模式的に描いた光路図である。図において、２０は被写体の表面、２１はこの結像光学系の焦点面、１２Ｐ、１２Ｑはそれぞれパターンマスク１２に描かれたパターン上の点、１２Ｐ１，１２Ｑ１はそれぞれ点１２Ｐ、１２Ｑがこの結像光学系によって被写体２０上に投影された像である。

結像光学系においては、シャープな像を得るためには、パターンマスク上の１点から出た光は１点に結像しなければならないが、レンズ径が大きく、被写体の凹凸が大きい場合には、焦点面２１が被写体２０の凹凸の中央付近になる様に被写体の位置を調節したとしても、像１２Ｐ１、１２Ｑ１の出来る位置は焦点面２１から前後に大きく外れるため、ぼけた像しか得る事ができない。この焦点深度に起因するぼけの直径は図より幾何学的に求める事が出来る。

人の顔を３次元計測する場合には、カメラと被写体の距離は５０Ｃｍ〜１００Ｃｍ程度が好ましいので、例えば、投影レンズ１３の有効径を、特許文献１に記載された図の程度の２０ｍｍ、投影レンズから焦点面２１までの距離を５０Ｃｍ、被写体の、焦点面からの前後ずれを、プラスマイナス５Ｃｍとすると、この前後ずれは焦点面までの距離の１０％であるので、焦点面から最も外れた位置ではこの焦点深度に起因するぼけの直径も投影レンズ直径の１０％、つまり２ｍｍとなる。ぼけの径が２ｍｍも有ると、被写体上には２ｍｍ間隔より細かいピッチのパターン光を投影する事が出来ないため、精度の高い３次元計測を行う事は出来ない。

本発明は、上記の課題を解決するためのもので、カメラ内蔵または外付けのフラッシュから放射されたフラッシュ光を受け入れる手段と、視差方向と垂直な方向に伸びる直線状の縞模様のパターン光を投影する手段と、そのパターン光の縞模様と平行な方向には広く、垂直な方向には狭い光路を持つ結像光学手段を備えた事を最も主要な特徴とする。

本発明のパターン光投影装置は、外付けフラッシュやコンパクトカメラの内蔵フラッシュに取り付けるだけの簡単な操作で、凹凸の大きな被写体上にも明るく精細なパターンを投影する事が出来るので、精度の高い３次元計測が可能になるという利点がある。

図１はパターン光投影装置を示す一部断面上面図である。（実施例１） 図２はパターン光投影装置のパターンマスクのパターンを示す模式図である。（実施例１） 図３はパターン光投影装置の光の進み方を示す光路図である。（実施例１） 図４は従来のパターン光投影装置の光の進み方を示す光路図である。（従来例） 図５はパターン光投影装置の光の進み方を示す光路図である。（実施例１） 図６はパターン光投影装置を用いた第１の撮影シーンを示す上面図である。（実施例１） 図７はパターン光投影装置を用いて撮影された画像である。（実施例１） 図８はパターン光投影装置を用いた第２の撮影シーンを示す上面図である。（実施例１） 図９はパターン光投影装置を用いた第３の撮影シーンを示す上面図である。（実施例１） 図１０はパターン光投影装置を示す一部断面上面図である。（実施例２） 図１１はパターン光投影装置を示す正面図である。（実施例２） 図１２は従来のパターン光投影装置の光の進み方を模式的に描いた光路図である。（従来例） 図１３はパターン光投影装置の光の進み方を模式的に描いた光路図である。（実施例２）

簡単な構造で凹凸の大きな被写体上にも明るく精細なパターン光を投影する事が出来るパターン光投影装置を実現した。

図１は、本発明の実施例１を示す一部断面上面図である。図において、２はカメラ、３はカメラのアクセサリーシューに取り付けられた背の高いフラッシュ、８はパターン光投影装置の鏡筒、１６は反射率の高い内壁を備えたフラッシュ光導入口、１２はフラッシュ光導入口１６の後段に設置されたフィルム状のパターンマスクであり、被写体によって交換可能になっている。１３は投影レンズ、１４は投影レンズ１３の前方に設けられた、図の上下方向には狭く、図の紙面に垂直な方向には広いスリットが設けられた絞り、１５は較正板、４はパターン光の光軸、５はカメラ２の光軸であり、この２つの光軸の根本どうしの距離が３次元計測の計算の元となる視差である。

図２は、本発明の実施例１のパターンマスクをパターン光の光軸４の方向から見たときのパターンを示す模式図である。パターンマスク１２は透明なフィルムからなり、斜線の無い領域１２ｂと斜線で示した領域１２ｃが区別出来る様に、異なる色で着色されている。１２ａはパターンマスク上に描かれた、視差方向と垂直な方向に伸びる複数のライン、１２Ｍは中央のライン１２ａを切り欠いたもので、投影されたパターン光の位置の基準となる基準マークである。１２Ｐは、ライン１２ａのうち、最もカメラの光軸から遠いもの、１２Ｑは、同じく最もカメラの光軸に近いものである。図２では構成を分かりやすくするために、ラインを模式的に粗いピッチで描いたが、実用的にはもっと細かいピッチで描かれる。

図３は、ライン１２Ｐを投影する光線がフラッシュ３から放射されて投影レンズ１３に入射するまでの光の進み方を示す光路図である。ライン１２Ｐを結像させるのに有効な光線は、ライン１２Ｐを通り、投影レンズで屈折した後に絞り１４の開口部を通り抜ける、図に斜線で示した範囲の光線だけである。したがって、フラッシュ３から直接ライン１２Ｐに照射される直接光は有効ではなく、フラッシュ光導入口１６の内面で１度反射されたものだけが有効である事が分かる。フラッシュ光導入口１６の内面は反射率が高く作られているので、フラッシュ光を効率よく反射させ、ライン１２Ｐを明るく照射する。

図５は本発明の実施例１のパターン光投影装置の光の進み方を示す光路図であり、図の上下方向が視差方向である。パターンマスク１２を通過した光は、視差方向に狭いスリットを備えた絞り１４で薄いビームに絞られるため、視差方向の焦点深度が深くなり、被写体２０の表面が焦点面から前後に大きくずれても像ライン１２Ｐ、１２Ｑの像１２Ｐ１，１２Ｑ１はそれぞれそれほど大きくはぼけず、極めてシャープな像が得られる。

従来例の場合と同じく、投影レンズから焦点面２１までの距離を５０Ｃｍ、被写体の、焦点面からの前後ずれをプラスマイナス５Ｃｍとし、スリット幅を２ｍｍとすると、焦点深度に起因するぼけの幅はスリット幅の１０％、つまり０．２ｍｍとなる。

絞り１４のスリット幅は狭ければ狭いほど上記焦点深度に起因するぼけ幅は狭くなるが、スリット幅をあまり狭くすると、今度は狭くすればするほど回折に起因するぼけが大きくなる。上記パラメタで回折に起因するぼけ幅を計算すると、焦点深度によるぼけと同じく幅０．２ｍｍ程度、投影レンズから焦点面２１までの距離を１ｍとした場合には回折に起因するぼけ幅は０．４ｍｍ程度になる。また、スリット幅を狭くする事は、被写体上の像を暗くする事にも直接繋がるので、この意味からもスリットをあまり狭くする事は好ましくない。

したがって、これらを勘案すると、人の頭部を計測する場合の様に、被写体の距離が５０〜１００Ｃｍ程度の場合は、スリット幅は２〜３ｍｍ程度にするのがバランスが良く、この範囲の幅のスリットを用いれば、被写体上に１ｍｍピッチ程度、光学系をより注意深く設計すれば０．５ｍｍピッチ程度の精細なパターン光を投影する事が可能である。この程度の解像度が実現できれば人の顔の特徴がつかめる程度の３次元計測には十分である。スリット幅が１ｍｍより小さい場合や４ｍｍより大きい場合は、それぞれ回折によるぼけ、焦点深度によるぼけが大きくなるので、精細なパターン光を投影する事が出来ず、人の顔の３次元計測には適さない。

被写体に投影するパターン光は明るいに越した事はない。スリットの視差方向の幅は上記理由により４ｍｍ以下にしておく必要があるが、視差と垂直方向に伸びる直線状の縞模様を投影する場合には、視差と垂直方向にはいくらぼけても害が無いため、像を明るくするためには開口の大きな投影レンズと、視差と垂直方向に広いスリットを持つ絞りを用いた方が良い。

図６はこの実施例によるパターン光投影装置を用いた第１の撮影シーンの例を示す上面図である。カメラを横向きで使い、被写体である人２０の顔を、向かって右下から仰ぎ見る様なアングルで撮影している。

図７は、図６の状態で撮影した画像である。２０Ｐは縦縞状のパターン光が投影された被写体の画像、２０ＭＰは基準マーク１２Ｍが投影されたものである。パターンマスク上では直線だったライン１２ａは、被写体の凹凸と視差によって歪められている。基準マークの画像２０ＭＰを基準にこの歪みを画像解析する事により、被写体の３次元形状を求める事が出来る。

図８はパターン光投影装置を用いた第２の撮影シーンの例を示す上面図である。図において、３０は垂直な壁に固定された鏡、２０Ｒは被写体２０が鏡３０に映った虚像である。パターン光とカメラの光軸は被写体２０と被写体２０の虚像２０Ｒの中間を向いており、直視するフラッシュ光とカメラ視線で主に被写体の顔の左半分を、鏡３０に反射させたフラッシュ光とカメラ視線で主に被写体の顔の右半分を計測する様にしている。この際、被写体上では、直接投影する光路を通ったパターン光と鏡で反射された光路を通ったパターン光が重なって投影されるが、パターンマスク上のそれぞれのパターン光に対応する領域１２ｂと１２ｃは異なる色で着色されているため、画像解析時にはそれぞれの光路を通って投影されたパターン光を色で区別する事が出来る。

図９はパターン光投影装置の第３の撮影シーンを示す上面図である。図において、１５は円形の面が正面に向くようにパターン光投影装置に取り付けられた較正板、３０は鏡であり、撮影者は、鏡を用いて自分自身の撮影を行っている。カメラの画角は、被写体の他に較正板も写す様に調整されている。較正板の形状は既知なので、この撮影シーンで得られた画像に被写体と同時に較正板が写っていれば、その形状から、カメラの角度、被写体との距離などのカメラパラメタを計算し、画像解析の基礎データとする事が出来る。

短い時間間隔で、フラッシュ以外の照明光を用いた撮影と、フラッシュを発光させた状態での撮影を行い、それら２枚の差分を求める操作を行なえば、投影されたパターンをより鮮明に検出する事が出来る。

上記実施例では、円形の凸レンズと細長いスリット状の絞りを備える事により直線状の縞模様と平行な方向には長く、垂直な方向には狭い光路を持つ結像光学手段を形成したが、細長い形状のレンズや細長いフレネルレンズ、細長い凹面反射鏡等を用いても同様の効果を得る事が出来る。

また、上記実施例では、２つの光路に対応したフラッシュ光を区別するためにパターンマスクの２つの領域を異なる色で着色したが、複数の鏡を用いる場合など、区別すべき光路の数が多い時には、それぞれの光路に対応したフラッシュ光を区別するために、それぞれ対応するパターンマスクの領域を異なる色で色分けしても良い。

また、上記実施例では２つの領域１２ｂと１２ｃが区別出来る様に、それぞれの領域を異なる色で着色したが、１２ｂと１２ｃの地は何れも透明とし、領域毎に区別出来る色でライン１２ａを着色しても良い。また、ライン１２ａや地の色は、単一領域内でも単一の色に揃える必要はなく、それぞれのラインが区別出来る様に、各種の色を取り混ぜて使っても良い。

また、上記実施例では、ライン１２ａを切り欠く事により基準マークを形成したが、ラインやラインが描かれていない場所の太さや色、間隔、長さ等を変える事によって他のラインと区別出来る様にしても良い。

また、上記実施例では、パターンマスクはフィルムで構成したが、フィルムを使わずに、糸を張る事によってライン１２ａを構成しても良い。

図１０は本発明の実施例２を示すパターン光投影装置の一部断面上面図、図１１その正面図である。図において、２はコンパクトカメラ、３はコンパクトカメラ２に内蔵された内蔵フラッシュ、４はフラッシュから放射されたフラッシュ光の光軸、１１は透明素材からなり、滑らかな表面を備えたライトパイプ、１１ａは内蔵フラッシュと正対する様に配置されたライトパイプ１１のフラッシュ光導入口、１１ｂは集光手段となる、断面が放物線形状である反射面を備えた光軸折り曲げ部、１１ｃは第２の光軸折り曲げ部、１１ｄはフラッシュ光放射口であり、その他は実施例１と同様である。

なお、フラッシュ光導入口周辺その他から幾分かのフラッシュ光が漏れるので、実際にはこの漏れたフラッシュ光が前方に放射されるのを防ぐためのカバーやパターン光投影装置をカメラと一定の位置関係になるように固定するためのブラケット等が必要であるが、本質的な部分ではないので図では省略した。

コンパクトカメラの内蔵フラッシュは、一般に長手方向がカメラ本体の左右方向に向いた細長い発光管の上に細かい凹凸を備えた拡散板が被せられた構造になっているが、拡散板の幅は数ｍｍ以下と狭いものが多い。従って、拡散板の効果を無視し、光は発光管の半径方向に放射状に放射されると考えてもライトパイプの集光効果にはそれほど大きな違いはないと思われる。これを前提とすると、発光管の中心軸が光軸折り曲げ部１１ｂの放物線形状の反射面の焦点位置に来る様に配置すれば、フラッシュ光は光軸折り曲げ部１１ｂでコリメートされ、平行光に近くなって図の右側の、視差を拡大する方向に導かれる。平行光になるのは、発光管の半径方向に正確に放射された光のみに成り立つ効果であるが、拡散板で光の方向が多少散乱されたとしても、光の多くは光軸からあまり大きな角度差を持たずに視差を拡大する方向に進行する。ライトパイプの側面に入射する場合も浅い角度で入射するため、効率的にライトパイプの内側に向かって全反射される。このため、ライトパイプの外に漏れる率は小さくなる。

光軸折り曲げ部１１ｂでは、フラッシュ発光管の長手方向の側面も断面が放物線形状の反射面となっており、フラッシュ発光管から長手方向に角度を持って放射されたフラッシュ光も効率的にコリメートされる様になっている。

図１３はライトパイプ内のフラッシュ光の進み方を模式的に描いた光路図である。図１２と同様に、折り返し部分は省略して真っ直ぐな光路として上半分の光線のみを示し、被写体上の像の明るさに寄与する有効な部分を実線で、寄与しない無効な部分を破線で描いた。図１３より、光軸からの角度差があまりに大きい光はライトパイプの壁面で全反射されずにライトパイプから漏れるが、壁面への入射角が臨界角になるまでの光は全反射されてライトパイプ内に閉じこめられたままフラッシュ光放射口の方向に進行する事が分かる。このため、ライトパイプを用いない場合に比べて有効に利用できる光の割合を大幅に増やす事が出来る。

光軸折り曲げ部１１ｂと１１ｃにおいて、光軸の方向を大きく折り曲げようとすると、多くの光の反射面への入射角は小さくなるため、全反射されずに漏れてしまう割合が増えてしまう。そこで、何れの光軸折り曲げ部においても、光軸の方向変化は直角よりも小さくなる様にした。

上記実施例２では、光軸折り曲げ部１１ｂに、集光手段として断面が放物線形状の反射面を備えたが、回転放物面をフラッシュ発光管の長手方向に引き延ばした様な面や球面の反射面を備える様にしてもよい。また、光軸折り曲げ部１１ｃにも凹面鏡を備えても良い。また、集光手段は単一の凹面鏡である必要はなく、フレネルミラーの様に細かく分割された鏡面を用いても良い。

上記実施例では透明なフィルムによりパターンマスクを構成したが、ライトパイプのフラッシュ光放射口に凹凸パターンを刻み、その凹凸パターンにおける屈折や反射を利用してパターンマスクの機能を持たせても良い。

計測されたデータを元に人物や静物の３次元モデルを構築し、インターネット上で公開したり、親しい友人や家族に送って観て貰っても良い。また、ネット上のビジネスとして拡大しつつある３次元バーチャル空間の中で、リアルなアバターとして存在させても良い。

２ カメラ
３ フラッシュ
１１ ライトパイプ
１２ パターンマスク
１２ａ ライン
１２Ｍ 基準マーク
１３ 投影レンズ
１４ 絞り
１５ 較正板
１６ フラッシュ光導入口
２０ 被写体
３０ 鏡

Claims (9)

1. 撮影用のフラッシュより発せられたフラッシュ光を導入するフラッシュ光導入手段と、被写体上に視差方向と垂直な方向に伸びる直線状のパターン光を投影するための、直線状のパターンが描かれた透過型のパターンマスクと、パターンマスクによって形成される直線状のパターン光と平行な方向には広く、垂直な方向には狭い光路を持つ結像光学手段を備える事を特徴とするパターン光投影装置。
2. フラッシュから発せられたフラッシュ光がパターンマスクに至るまでの光路の側面に、フラッシュ光を光路の内側方向に反射させる機能を備える事を特徴とする請求項１に記載のパターン光投影装置。
3. 直線状のパターン光と垂直な方向の幅が１ｍｍから４ｍｍまでの範囲の細長いスリット状の開口を持った絞りを備える事を特徴とする請求項１に記載のパターン光投影装置。
4. パターンマスク上に、投影されるパターン光の位置の基準となる基準マークを備える事を特徴とする請求項１に記載のパターン光投影装置。
5. 撮影用のフラッシュより発せられたフラッシュ光を導入するフラッシュ光導入口と、反射によりフラッシュ光の光軸を折り曲げる複数の光軸折り曲げ部と、視差を拡大する方向にフラッシュ光を導く光路を備え、透明な素材よりなり、全反射を利用して光の漏れを防ぐライトパイプを備える事を特徴とする請求項１に記載のパターン光投影装置。
6. フラッシュ光を導く光路内に集光手段を備える事を特徴とする請求項５に記載のパターン光投影装置。
7. 全ての光軸折り曲げ部における光軸の方向変化を直角よりも小さくする事を特徴とする請求項５に記載のパターン光投影装置。
8. ライトパイプのフラッシュ光放射口に刻まれた凹凸によりパターンマスクを形成した事を特徴とする請求項５に記載のパターン光投影装置。
9. 色の違いによってそれぞれ他の領域と区別する事が出来る複数の領域を備えたパターン光を投影する機能を備える事を特徴とするパターン光投影装置。

Images