WO2020178905A1 - 撮像装置及び撮像方法 - Google Patents

Abstract

表示機能と撮像機能を併せ持ち、且つ小型情報端末に搭載可能でその薄型化を可能とする。　撮像装置であって、画像を表示し、かつ入射光の一部を背面に透過し透過光とする画像表示部と、透過光を撮影用パターンに基づいて変調し変調光とする光変調器と、変調光を電気信号に変換し、センサ画像を生成する画像センサと、変調光の投影像の撮影用パターンと大きさが等しくなるよう所定の現像用パターンを拡大する割合を決定して被写体とのフォーカス距離を設定するフォーカス設定部と、を備える。

Description

撮像装置及び撮像方法

　本発明は、撮像装置及び撮像方法に関し、特に表示機能と一体化された撮像装置及び撮像方法に関する。

　小型情報端末などの端末の表示部と操作部として、液晶ディスプレイとタッチパネルを組み合わせた装置が広く利用されている。タッチパネルの他にも、例えば特許文献１のようにガラス基板上に液晶を駆動する回路とともに光センサを形成する技術が考案されている。この技術により、画像を表示するだけでなく、一般的なスキャナのように画像の入力を行うことができる。また、入力された画像を処理することでタッチパネルのように利用することができる。また、この表示装置は、感圧式もしくは静電容量式のタッチパネル部材を用いることなく、通常の液晶表示装置と同様のプロセスで製造できるため、コストを抑えることができるとされている。

特開２００４－３１８８１９号公報

　上述した特許文献１では、形成された光センサによって操作する指を検出したり、スキャナのように極近傍の被写体を撮影したりすることは可能である。しかしながら、カメラのように遠方の被写体を撮影することはできない。

　本発明の目的は、表示機能と撮像機能を併せ持ち、且つ小型情報端末に搭載可能でその薄型化を可能とする技術を提供することにある。

　本願は、上記課題の少なくとも一部を解決する手段を複数含んでいるが、その例を挙げるならば、以下のとおりである。

　本発明の一態様は、撮像装置であって、画像を表示し、かつ入射光の一部を背面に透過し透過光とする画像表示部と、上記透過光を撮影用パターンに基づいて変調し変調光とする光変調器と、上記変調光を電気信号に変換し、センサ画像を生成する画像センサと、上記変調光の投影像の上記撮影用パターンと大きさが等しくなるよう所定の現像用パターンを拡大する割合を決定して被写体とのフォーカス距離を設定するフォーカス設定部と、を備えることを特徴とする。

　本発明によれば、表示機能と一体化された、より薄型の撮像装置を実現することができる。

　上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

第１実施形態に係る表示機能一体型撮像装置の構成例を示す図である。 表示機能一体型撮像部の構成例を示す図である。 画像センサがカバーする領域の例を示す図である。 画像センサがカバーする領域の別の例を示す図である。 表示機能一体型撮像装置をスマートフォンに適用した例を示す図である。 表示機能一体型撮像装置をスマートフォンに適用した外観例を示す図である。 撮影用パターンの一例を示す図である。 撮影用パターンの他の例を示す図である。 斜め入射平行光によるパターン基板表面から画像センサへの射影像が面内ずれを生じることを説明する図である。 （ａ）は撮影用パターンの投影像の一例を示す図であり、（ｂ）は現像用パターンの一例を示す図であり、（ｃ）は相互相関演算による現像画像の一例を示す図である。 フリンジスキャンにおける初期位相の組合せの例を示す図である。 撮影用パターンの一例を示す図である。 撮影用パターンの他の例を示す図である。 撮影用パターンのさらに他の例を示す図である。 撮影用パターンのさらに他の例を示す図である。 画像処理部の画像処理の一例を示すフローチャートである。 物体が無限距離にある場合の撮影用パターンの投影を説明する図である。 物体が有限距離にある場合の撮影用パターンの拡大を説明する図である。 表示機能一体型撮像装置の他の構成例を示す図である。 第２実施形態に係る表示機能一体型撮像装置を横から見た構成例を示す図である。 第２実施形態に係る表示機能一体型撮像装置のＸ－Ｘ´断面の例を示す図である。 第２実施形態に係る表示機能一体型撮像装置の例の斜視図である。 第２実施形態に係る表示機能一体型撮像装置の別の例の斜視図である。 画像表示部の構成例を示す図である。 指置きガイドの別の例を示す図である。 （ａ）はセンサ一つに対する光源の配置例を示す図であり、（ｂ）は複数のセンサに対する光源の配置例を示す図であり、（ｃ）は複数のセンサに対する光源の別の配置例を示す図である。 第２実施形態に係る表示機能一体型撮像装置の構成例を示す図である。 表示機能一体型撮像装置の認証動作の一例を示すフローチャートである。 表示機能一体型撮像装置の顔認証制御の利用例を示すタイミングチャートである。 第３実施形態に係る表示機能一体型撮像装置の一例の斜視図である。 指紋撮影部の断面の例を示す図である。 指紋撮影部の断面の別の例を示す図である。 第４実施形態に係る表示機能一体型撮像部の構成例を断面で示す図である。 第４実施形態に係る表示制御の一例を示すタイミングチャートである。 第４実施形態に係る表示機能一体型撮像部の構成例を示す図である。 第４実施形態に係る表示機能一体型撮像部の構成例を断面で示す図である。 静脈認証の画像補正例を示す図である。

　以下の実施形態においては便宜上その必要があるときは、複数のセクションまたは実施の形態に分割して説明するが、特に明示した場合を除き、それらはお互いに無関係なものではなく、一方は他方の一部または全部の変形例、詳細、補足説明等の関係にある。

　また、以下の実施形態において、要素の数等（個数、数値、量、範囲等を含む）に言及する場合、特に明示した場合および原理的に明らかに特定の数に限定される場合等を除き、その特定の数に限定されるものではなく、特定の数以上でも以下でもよい。

　さらに、以下の実施形態において、その構成要素（要素ステップ等も含む）は、特に明示した場合および原理的に明らかに必須であると考えられる場合等を除き、必ずしも必須のものではないことは言うまでもない。

　同様に、以下の実施形態において、構成要素等の形状、位置関係等に言及するときは特に明示した場合および原理的に明らかにそうではないと考えられる場合等を除き、実質的にその形状等に近似または類似するもの等を含むものとする。このことは、上記数値および範囲についても同様である。

　また、実施形態を説明するための全図において、同一の部材には原則として同一の符号を付し、その繰り返しの説明は省略する。以下、本発明の各実施形態について図面を用いて説明する。

［第１実施形態］
〈無限遠物体の撮影原理〉
　図１は、第１実施形態に係る表示機能一体型撮像装置の構成例を示す図である。表示機能一体型撮像装置１０１は、表示機能一体型撮像部１０２、画像処理部１０７、コントローラ１０８、及び画像入力部１０９を備える。

　図２は、表示機能一体型撮像部の構成例を示す図である。表示機能一体型撮像部１０２は、画像センサ１０３、スペーサー１０４、撮影用パターン１０５、および画像表示部１０６を備える。なお、一般に、画像センサ１０３と、画像表示部１０６とは、一体となる構造を実現する技術も存在するが、さまざまな事情により一般的に普及しているものではないため、本実施形態では一体化していないものとして扱う。ただし、原理的に一体化していても実現可能な場合には、一体化したユニットを用いて置換することは可能である。

　画像センサ１０３は、光を受光して得られた光学像を画像データに変換して画像処理部１０７に出力する。より詳しくは、画像センサ１０３は、表面には受光素子である画素ユニット１０３ａが格子状に規則的に配置されている。画像センサ１０３は、画素が受光した光学像を電気信号である画像信号に変換する。この画像信号は、画像処理部１０７により画像処理されて出力されることで、被写体等を主に肉眼で把握することができる画像（現像画像）となる。

　スペーサー１０４は、画像センサ１０３の受光面に密着して固定される。スペーサー１０４は、例えばガラスやプラスティックなどの撮影対象となる波長（多くは可視光）に対して透明な材料からなる。可視光以外では、例えば遠赤外線の撮影を行う際には、ゲルマニウム、シリコン、カルコゲナイドなどの遠赤外線に対して透明な材料とすることができる。

　撮影用パターン１０５は、例えば半導体プロセスに用いられるスパッタリング法などによってアルミニウム、クロムなどの撮影対象となる波長を遮断する材料（金属）を、撮影対象となる波長を透過する素材上に蒸着することによって形成される。金属が蒸着されたパターンと蒸着されていないパターンによって濃淡がつけられる。例えば、撮影用パターン１０５には、外側に向かうほど中心からの半径に反比例して格子パターンの間隔、すなわちピッチが狭くなる同心円状の格子パターンを形成することが考えられる。

　なお、撮影用パターン１０５の形成は、これに限定されるものでなく、例えばインクジェットプリンタなどによる印刷などによって濃淡をつけるなど、透過率の変調を実現できる手段であればどのように形成してもよい。

　画像表示部１０６は、液晶ディスプレイのようにバックライトと液晶とカラーフィルタからなる構成や、有機ＥＬ（Ｅｌｅｃｔｒｏ　Ｌｕｍｉｎｅｓｃｅｎｅ）ディスプレイのように素子自体が発光する構成により実現する。ただし、画像表示部１０６は、背面に画像センサ１０３が配されるため、光をある程度透過させる構造を有する必要がある。これについては、昨今の液晶ディスプレイでは半透明のものが一般化され、有機ＥＬディスプレイはその構造上発光画素の隙間から光を透過できるものがあるため、これを利用するのがよい。

　図３は、画像センサがカバーする領域の例を示す図である。また、図４は、画像センサがカバーする領域の別の例を示す図である。図３、４に示すように、画像センサ１０３は、画像表示部１０６よりも小さい面積を覆うものであってもよいし、略同じ面を覆うものであってもよい。画像センサ１０３が画像表示部１０６よりも小さい面積を覆う場合には、画像表示部１０６の一部が画像センサ１０３による撮像範囲となり、画像センサ１０３が画像表示部１０６と略同じ面を覆う場合には、画像表示部１０６のほぼ全部が画像センサ１０３による撮像範囲となる。

　以上の構成において、撮影する場合には、入射光は、画像表示部１０６および撮影用パターン１０５を透過し、その透過光は、画像表示部１０６および撮影用パターン１０５によって光強度が変調され、その変調光は画像センサ１０３にて受光される。なお、スペーサー１０４及び撮影用パターン１０５を併せて、光変調器と呼ぶことができる。

　コントローラ１０８は、画像処理部１０７からの出力信号をホストコンピュータや外部記録媒体に出力する場合には、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）等のインターフェースに適合するようデータ形式を変換して出力する。画像処理部１０７からの出力信号を表示機能一体型撮像部１０２に表示させる場合には、コントローラ１０８は、出力信号を画像入力部１０９に出力する。なお、コントローラ１０８は、他に表示機能一体型撮像部１０２に出力させる情報があれば、同様に画像入力部１０９に出力することで、画像表示部１０６に画像を表示させることができる。

　なお、コントローラ１０８は、例えば、プロセッサ、メモリ、通信装置、処理回路等を備えるユニットによって実現することができる。また、コントローラ１０８は、例えばＵＳＢ、ＨＤＭＩ（Ｈｉｇｈ－Ｄｅｆｉｎｉｔｉｏｎ　Ｍｕｌｔｉｍｅｄｉａ　Ｉｎｔｅｒｆａｃｅ）等の、外部装置と接続する入出力インターフェイスに接続される又はこれを備えてもよい。画像処理部１０７、及び画像入力部１０９は、例えば、処理回路によって実現される。画像処理部１０７、コントローラ１０８、及び画像入力部１０９は、一体的に構成されていてもよい。

　このような表示機能一体型撮像部１０２を、スマートフォンに適用した場合の例を以下に説明する。

　図５は、表示機能一体型撮像装置をスマートフォンに適用した例を示す図である。一般的な小型情報端末（スマートフォン）５０１は、ディスプレイ５０２、カメラ５０３、生体認証センサ５０４、スピーカー５０５を有する。これに対して、表示機能一体型撮像装置を適用した小型情報端末（スマートフォン）６０１では、ディスプレイ５０２、カメラ５０３、生体認証センサ５０４を表示機能一体型撮像部１０２で代用することが可能となる。また、画面背面にスピーカー５０５を配置しディスプレイの表面のガラスを振動体として用いることで、同一の筐体サイズであっても画面枠の少ないベゼルレスなスマートフォンを実現できる。

　図６は、表示機能一体型撮像装置をスマートフォンに適用した外観例を示す図である。図３に示したように、画像センサ１０３は、画像表示部１０６よりも小さい面積を覆うものである場合には、画像センサ１０３は画像表示部１０６の中央付近に配置することも可能である。その場合には、カメラへの目線がずれると違和感の有るビデオチャットのようなアプリケーションソフトウェアを用いる場合に、自然に視線を相手にあわせることが可能となる。

　続いて、表示機能一体型撮像装置１０１における撮影原理について説明する。

　まず、撮影用パターン１０５は、中心からの半径に対して反比例してピッチが細かくなる同心円状のパターンであり、同心円の中心である基準座標からの半径ｒ、係数βを用いて、

と定義される。撮影用パターン１０５は、この式に比例して透過率が変調されているものとする。

　このような縞を持つプレートは、ガボールゾーンプレートやフレネルゾーンプレートと呼ばれる。図７は、撮影用パターンの一例を示す図である。図７には、式（１）のガボールゾーンプレートが示されている。図８は、撮影用パターンの他の例を示す図である。図８には、式（１）を閾値１で２値化したフレネルゾーンプレートが示されている。

　ここより以降、簡単化のためにｘ軸方向についてのみ数式で説明するが、同様にｙ軸方向について考慮することで２次元に展開して考えることが可能である。

　図９は、斜め入射平行光によるパターン基板表面から画像センサへの射影像が面内ずれを生じることを説明する図である。厚さｄのスペーサー１０４に、ｘ軸方向に角度θ_０で平行光が入射したとする。スペーサー１０４中の屈折角をθとして、幾何光学的には、表面の格子の透過率が乗じられた光が、ｋ＝ｄ・ｔａｎθだけずれて画像センサ１０３に入射する。このとき、

のような強度分布を持つ投影像が画像センサ１０３上で検出される。Φは式（１）の透過率分布の初期位相を示す。この撮影用パターン１０５の投影像（図１０（ａ））は、式（２）のようにｋシフトして投影される。本方式は、この投影像と現像用パターン１００１（図１０（ｂ））との相互相関関数を演算することにより、シフト量ｋの輝点（図１０（ｃ））を得るものである。

　本実施形態では、図示したように、ガボールゾーンプレートやフレネルゾーンプレートを、撮影用パターン１０５（第１のパターンとも呼ぶ）ならびに現像用パターン１００１（第２のパターンとも呼ぶ）として用いる。よって、現像用パターン１００１は、初期位相Φを用いて、

と表せる。現像用パターン１００１は、画像処理部１０７の演算処理内で仮想的なデータとして生成されて使用されるため、式（１）のように１でオフセットさせる必要はなく、負の値を有していても問題ない。

　式（２）及び式（３）のフーリエ変換は、それぞれ、

のようになる。ここで、Ｆはフーリエ変換の演算を表し、ｕはｘ方向の周波数座標、括弧を伴うδはデルタ関数である。この式で重要なことはフーリエ変換後の式もまたフレネルゾーンプレートやガボールゾーンプレートとなっている点である。よって、この数式に基づいて現像用パターン１００１を生成してもよい。

　次に、式（４）および式（５）を乗算すると、

となる。この指数関数で表された項ｅｘｐ（－ｉｋｕ）が信号成分であり、この項をフーリエ変換すると、

のように変換され、元のｘ軸においてｋの位置に輝点を得ることができる。この輝点が無限遠の光束を示しており、図１の表示機能一体型撮像装置１０１による撮影像にほかならない。

　なお、式（６）の右辺第２項のｓｉｎの中の式から、Φ＝π／４となる時、ｓｉｎの初期位相が０となる。さらに、式（６）の右辺第１項が０となり、現像に不要な項を低減できる。この条件で現像処理すれば、現像時のノイズが少ない現像画像を得ることが可能である。

〈ノイズキャンセル〉
　式（６）から式（７）への変換において信号成分に着目して話を進めたが、実際には信号項ｅｘｐ（－ｉｋｕ）以外のノイズ項が現像を阻害する。そこで、フリンジスキャンに基づくノイズキャンセルを行う。三角関数の直交性を利用し、

のように式（６）の乗算結果をΦに関して積分すると、ノイズ項がキャンセルされ信号項の定数倍が残ることになる。これを逆フーリエ変換すれば、

のように変換され、元のｘ軸においてｋの位置にノイズのない輝点を得ることができる。ここで式（８）は積分の形で示しているが、実際には図１１（フリンジスキャンにおける初期位相の組合せの例を示す図）に示すようなΦの組合せの総和を計算することによっても同様の効果が得られる。この組合せのように、Φは０～２πの間の角度を等分するように設定すればよい。

　さらに、式（８）は式（６）の乗算結果をΦに関して積分したが、

のように、Φが異なる撮影用パターン１０５で撮影した画像センサ１０３出力の総和を計算しておき、その後、現像用パターン１００１との相互相関演算を行うことによっても実現できる。これにより、式（４）のフーリエ変換回数を削減することが可能である。

　以上で説明したフリンジスキャンでは、撮影用パターン１０５として初期位相の異なる複数のパターンを使用する必要がある。これを実現するには、時分割でパターンを切り替える方法と、空間分割でパターンを切り替える方法がある。

　時分割フリンジスキャンを実現するには、例えば図１１（フリンジスキャンにおける初期位相の組合せの例を示す図）に示す複数の初期位相のパターンを電気的に切り替えて表示することが可能な液晶表示素子などで構成される撮影用パターン１０５を使用する。この液晶表示素子の切替タイミングと画像センサ１０３のシャッタタイミングを同期して制御し４枚の画像を取得後、画像処理部１０７は、フリンジスキャン演算を実施する。

　対して、空間分割フリンジスキャンを実現するには、例えば図１２（撮影用パターンの一例を示す図）に示すように、図１１に示す複数の初期位相のパターンがそれぞれ分割された領域に配置された撮影用パターン１０５を使用する。１枚の画像を取得後、画像処理部１０７は、それぞれの初期位相の領域に対応して取得画像を４枚に分割し、フリンジスキャン演算を実施する。

　この空間分割フリンジスキャンの場合、例えば図１３（撮影用パターンの他の例を示す図）のように４つ以上のパターンを使用して撮影用パターン１０５を構成してもよい。この場合、４つのパターンが含まれるフリンジスキャン単位１３０１を１３０２のように重複してシフトさせながらフリンジスキャン演算を実行してもよい。これにより、より高精細な画像を得ることが可能となる。

　なお、フリンジスキャンを実施しない場合、撮影用パターン１０５は、図８のような単眼でも、図１４（撮影用パターンのさらに他の例を示す図）のような複眼で実現してもよい。さらに、本実施形態の現像方式は相互相関演算に基づいているため、フレネルゾーンプレートやガボールゾーンプレートに限定されないパターン、例えば図１５（撮影用パターンのさらに他の例を示す図）に示すようなランダムなパターンで実現してもよい。

　続いて、説明した撮影原理に基づく画像処理部１０７による画像処理の概略について説明する。図１６は、画像処理部１０７の画像処理の一例を示すフローチャートである。

　まず、画像処理部１０７は、時分割もしくは空間分割フリンジスキャンにより、画像センサ１０３から出力される複数枚の画像を取得する又は画像センサ１０３から出力される１枚の画像から複数枚の画像を取得し、式（１０）に基づきフリンジスキャン演算を実施する（ステップＳ１６０１）。次に、画像処理部１０７は、現像処理に使用する現像用パターン１００１を生成し（ステップＳ１６０２）、フリンジスキャン結果の相互相関演算として２次元畳込み演算を行い（ステップＳ１６０３）、撮影対象の像を現像（復元ともいう）する。そして、画像処理部１０７は、ステップＳ１６０３で得られた画像に対してコントラスト強調処理（ステップＳ１６０４）、カラーバランス調整（ステップＳ１６０５）などを実施し、撮影画像として出力する。以上により、画像処理部１０７による画像処理が終了となる。なお、一般的に相互相関演算を２次元畳込み演算で行うと演算量が大きくなることから、高速フーリエ変換（ＦＦＴ：Ｆａｓｔ　Ｆｏｕｒｉｅｒ　Ｔｒａｎｓｆｏｒｍ）を用いて演算してもよい。

〈有限距離物体の撮影原理〉
　図１７は、物体が無限距離にある場合の撮影用パターン１０５の投影を説明する図である。図１７は、これまで述べた被写体が遠い場合における撮影用パターン１０５の画像センサ１０３への射影の様子を示している。遠方の物体を構成する点１７０１からの球面波は、十分に長い距離を伝搬する間に平面波となり撮影用パターン１０５を照射し、その投影像１７０２が画像センサ１０３に投影される場合、投影像は撮影用パターン１０５とほぼ同じ形状である。結果、投影像１７０２に対して、現像用パターンとの相互相関演算を行うことにより、単一の輝点を得ることが可能である。

　一方、有限距離の物体に対する撮影について説明する。図１８は、物体が有限距離にある場合の撮影用パターン１０５の拡大を説明する図である。物体を構成する点１８０１からの球面波が撮影用パターン１０５を照射し、その投影像１８０２が画像センサ１０３に投影される場合、投影像はほぼ一様に拡大される。なお、この拡大率αは、撮影用パターン１０５から点１８０１までの距離ｆを用いて、

のように算出できる。

　そのため、平行光に対して設計された現像用パターンの透過率分布をそのまま使用し相互相関演算したのでは、単一の輝点を得ることができない。そこで、一様に拡大された撮影用パターン１０５の投影像に合わせて、現像用パターン１００１を拡大させたならば、拡大された投影像１８０２に対して再び、単一の輝点を得ることができる。このためには、現像用パターン１００１の係数βをβ／α^２とすることで補正が可能である。これにより、必ずしも無限遠でない距離の点１８０１からの光を選択的に再生することができる。これによって、任意の位置に焦点を合わせて撮影を行うことができる。

　さらに、本構成によれば、撮影後に任意の距離にフォーカスを合わせることも可能となる。図１９は、表示機能一体型撮像装置１０１の他の構成例を示す図である。図１と異なり、表示機能一体型撮像装置１０１は、フォーカス設定部１９０１を備える。フォーカス設定部１９０１は、表示機能一体型撮像装置１０１に備え付けられた摘み等のハードウェアスイッチやＧＵＩ（Ｇｒａｐｈｉｃａｌ　Ｕｓｅｒ　Ｉｎｔｅｒｆａｃｅ）の操作により入力されるフォーカス距離を、コントローラ１０８を介して取得可能であり、フォーカス距離情報を画像処理部１０７に出力する。フォーカス設定部１９０１は、コントローラ１０８内で実現されてもよい。すなわち、フォーカス設定部１９０１は、変調光の投影像の撮影用パターンと大きさが等しくなるよう所定の現像用パターンを拡大する割合を決定して被写体とのフォーカス距離を設定することができるといえる。

　また、このようにセンサ画像に奥行き情報が含まれるため、距離情報を算出することも可能となる。以上の方法・構成によれば、表示機能と一体化された薄型の撮像装置を実現することができる。

　以上の第１実施形態によれば、表示機能と一体化された、より薄型の撮像装置を実現することができる。

［第２実施形態］
　第２実施形態は、表示機能一体型撮像装置１０１を、指静脈を用いた生体認証に適用している点で、第１実施形態と異なる。

　図２０は、第２実施形態に係る表示機能一体型撮像装置を横から見た構成例を示す図である。指静脈の撮影に適しているのは、第１関節もしくは第２関節周辺の静脈といわれている。スマートフォンは、ディスプレイ表面の指先によるタッチ操作により操作することが多いが、撮影すべき指静脈は指先から離れた位置にあり、さらにはディスプレイから指２００１までの距離がゼロに限られず、有限距離にありその距離は使用状況により異なる。そのため、撮影は簡単ではない。

　図２１は、第２実施形態に係る表示機能一体型撮像装置のＸ－Ｘ´断面の例を示す図である。光源２１０１は、指２００１に向けて照射するように、画像表示部１０６の背面に配置されている。血液は、８００ｎｍ（ナノメートル）程度の周波数の近赤外線に対する吸収感度があるため、近赤外線は指静脈を撮影する場合の照明光として適している。そこで、光源２１０１は、指２００１下部（手のひら側）にむけて画像表示部１０６越しに照射する。この近赤外線で照明された指２００１を、表示機能一体型撮像部１０２が撮影することで指静脈の形状を撮影する。

　ここで、表示機能一体型撮像部１０２の画像センサ１０３が表示機能一体型撮像部１０２の全面に配置されているのならば、指２００１の置き場所は限定されない。しかし、図６に示すように画像センサ１０３が表示機能一体型撮像部１０２の一部である場合には、撮影可能範囲内に指２００１をユーザーに置かせるよう促す必要がある。その例を図２２に示す。

　図２２は、第２実施形態に係る表示機能一体型撮像装置の例の斜視図である。図２２に示すように、撮影可能範囲内に指２００１をユーザーに置かせるよう促すために、指置きガイド２２０１を画像表示部１０６に表示させる。指置きガイド２２０１は、円内に指先をタッチすると該指の第１もしくは第２関節が画像センサ１０３の直上付近になるような位置関係に表示するのがよい。なお、この位置関係は、ユーザーの性別、年齢、指登録時の設定値などでユーザー毎に変えて表示してもよい。

　図２３は、第２実施形態に係る表示機能一体型撮像装置の別の例の斜視図である。図２２に示した例では、光源２１０１を画像表示部１０６の下部の背面に配置した例について示したが、画像表示部１０６の一部の画素を光源２３０１として用いてもよい。その場合には、光源２３０１とする位置のディスプレイ表示には、近赤外線に周波数が近い赤の画素のみを表示させる。もしくは、図２４に示すように画素ユニット１０３ａに、通常の赤色発光素子２４０１、緑色発光素子２４０２、青色発光素子２４０３のほかに、近赤外線を発光する近赤外線発光素子２４０４を内蔵した構成であるとなおよい。

　また、図２３では、光源２３０１は、指２００１の真下ではなく横にずらして配置した例を示しているが、指２００１の真下や円状に発光させることで指の影を生じ難いように照明するようにしてもよい。

　また、図２２では、指置きガイド２２０１をリング状とする例を示しているが、指を置く位置が判り易いのであれば、指置きガイド２２０１は四角や指のイラスト等であってもよい。

　図２５は、指置きガイドの別の例を示す図である。この指置きガイド２５０１は、指の形状を模したものであり、指先の位置と、指の配置角度と、をガイドするものであり、その輪郭は赤く発光する。

　図２６は、光源の配置例を示す図である。図２６（ａ）はセンサ一つに対する光源の配置例を示す図であり、図２６（ｂ）は複数のセンサに対する光源の配置例を示す図であり、図２６（ｃ）は複数のセンサに対する光源の別の配置例を示す図である。

　図２６（ａ）では、画像センサ１０３一つに対する光源２６０１の配置例が示されており、光源２６０１は画像センサ１０３の周囲を囲うようにリング形状となっている。

　図２６（ｂ）では、複数の画像センサ１０３に対する光源の配置例が示されており、光源２６０２は短い直線状であって、環状に配置された画像センサ１０３間を埋めるように環状に配置されている。

　図２６（ｃ）では、複数の画像センサ１０３に対する光源の別の配置例が示されており、第一の光源２６０３および第二の光源２６０４はそれぞれ、画像センサ１０３の内側と外側に環状に連なって配置されている。

　図２７は、第２実施形態に係る表示機能一体型撮像装置の構成例を示す図である。第２実施形態に係る表示機能一体型撮像装置１０１では、表示機能一体型撮像部１０２、画像処理部１０７、コントローラ１０８、及び画像入力部１０９に加えて、距離算出部２７０１を備える。

　距離算出部２７０１は、撮影されたセンサ画像から距離情報を算出し、指までの距離から指静脈にピントの合う設定距離を求める。

　図２８は、表示機能一体型撮像装置の認証動作の一例を示すフローチャートである。まず、指置きガイド２２０１を画像表示部１０６に表示し（Ｓ２８０１）、ユーザーが指先を指置きガイド２２０１内にタッチしたことをスマートフォンのタッチセンサにより検出し（Ｓ２８０２）、光源２１０１、光源２３０１、光源２６０１、光源２６０２、第一の光源２６０３および第二の光源２６０４を発光させて指を照明し（Ｓ２８０３）、表示機能一体型撮像部１０２により指静脈を撮影する（Ｓ２８０４）。

　図２７の画像処理部１０７では、距離算出部２７０１が算出した、撮影された指静脈にピントの合う距離を用いて現像処理を実施する。そのため、ユーザーの指の置き方に依らずピントの合った指静脈画像を現像することが可能となる。この指静脈画像をスマートフォン内もしくは図示しない遠隔のサーバーにある認証アルゴリズムにより登録済みの指静脈の画像とのマッチングを実施して、本人かどうかの判定を下す認証処理を行う（Ｓ２８０５）。

　認証がＯＫである場合（Ｓ２８０６、本人と認められる場合（Ｓ２８０６にて「ＹＥＳ」の場合））には認証処理を終了し、認められない場合（Ｓ２８０６にて「ＮＯ」の場合）は、Ｓ２８０１からＳ２８０６の処理を一定回数繰り返す。

　なお、図３７に示す現像画像のように、表示機能一体型撮像部１０２とユーザーの指との距離によって、撮影される指静脈画像の画像上のサイズが登録済みの指静脈画像と異なってしまい、本来は同一の指静脈であってもマッチングがうまく実施できない場合がある。

　図３７は、静脈認証の画像補正例を示す図である。上記のようにマッチングがうまく実施できない場合には、指までの距離に応じて現像画像を拡大・縮小して略同じサイズとなるように撮影した静脈画像を調整することが望ましい。この他にも、現像画像や距離情報を用いて図３７のように指の幅を算出し、指の幅が同じサイズとなるように撮影した静脈画像を拡大縮小により調整してもよい。

　さらに、表示機能一体型撮像部１０２に対して指先側と指の根元側とで指までの距離が一定にならない場合、つまり指が斜めに配置される場合も考えられる。その場合、画像の拡大・縮小は一定の比率で行うのではなく、画像内の領域に応じて別々の比率で拡大・縮小を行う、あるいは台形補正を行うことも可能である。

　また、指をかざす方向にずれが発生する場合には、回転補正（傾き補正）を同時に行うようにしてもよい。これらの画像上の調整により、ユーザーの指の置き方に依らず、安定した指静脈認証が可能となる。以上の方法・構成に依れば、表示機能と一体化された薄型の指静脈認証装置を実現することが可能となる。

　さらに、本実施例では指静脈認証への適用を例に説明したが、ディスプレイ背面下のセンサで距離情報を取得できることから、図２９のように一定程度離れた顔２９０１の画像を用いた顔認証など、他の方式に適用可能である。

［第３実施形態］
　第３実施形態は、表示機能一体型撮像装置１０１を、指静脈だけでなく指紋を使用した生体認証に適用している点で、第１実施形態と異なる。

　上述の通り、指静脈の撮影に適しているのは第１関節もしくは第２関節周辺の静脈である一方、指紋は指先が適している。よって、指静脈と指紋とでは撮影場所が空間的に異なるので、同時に認証を行うことも可能である。図３０にその構成について示す。

　図３０は、第３実施形態に係る表示機能一体型撮像装置の一例の斜視図である。第３実施形態に係る表示機能一体型撮像装置では、画像センサ１０３、光源２３０１等の指静脈認証のための機構は第２実施形態と同様の構成である。指紋撮影用の構成として、表示機能一体型撮像装置は、指紋撮影部３００１、光源３００２を備える。指紋撮影部３００１について、図３１を用いて説明する。

　図３１は、指紋撮影部の断面の例を示す図である。指紋撮影部３００１は、画像センサ３１０１、コリメーター３１０２、画像表示部１０６から構成されている。コリメーター３１０２は、一般的にはピンホールアレイのような構造や、マイクロレンズアレイのような垂直に可視光が透過する構造であればよい。

　撮影する場合には、画像表示部１０６を透過する光は、コリメーター３１０２により直上からの光に制限されて画像センサ３１０１にて受光される。画像センサ３１０１から出力された画像信号は、画像処理部１０７によって画像処理されたデータがコントローラ１０８に出力される。この指紋撮影の際には、指先下にある光源３００２を発光させて可視光により指紋を照明して撮影する。

　以上の構成であれば、指紋は可視光により、指静脈は近赤外光により、両方の情報を同時に撮影し、認証に使用できることから認証精度を大幅に向上できる。そのため、成りすましなども困難になりよりセキュアな認証装置を実現できる。

　但し、指紋と指静脈とを同時に撮影するためには認証に必要な空間的領域は大きいものとなる。認証に用いる空間的領域を低減したい場合も考えられ、その場合には指紋と指静脈の認証を時分割で切替える構成が有効である。そのような時分割切り替えを実現する構成を、図３２に示す。

　図３２は、指紋撮影部の断面の別の例を示す図である。この構成では、画像センサ１０３、撮影用パターン３２０１、コリメーター３２０２、画像表示部１０６から構成されている。ここで、指紋を撮影するのは可視光線であるが、指静脈を撮影するのは近赤外線であることに着目する。

　すなわち、指紋撮影に使用するコリメーター３２０２は可視光線に対してピンホールの役目を果たすが近赤外線に対して透明に近い特性を示し、指静脈撮影に使用する撮影用パターン３２０１は近赤外線に対して撮影用パターンの役目を果たすが可視光線に対して透明に近い特性を示す素材で作製するようにする。例えば、コリメーター３２０２は、近赤外線を透過させるＩＲ透過フィルター素材やＩＲ透過インクを塗布した樹脂等に無数の小さなピンホールを設けて作成し、撮影用パターン３２０１は可視光透過素材にＩＲを遮断する金属等を塗布してＦＺＡを形成することで作成する。

　以上の構成に依れば、指静脈撮影時には、コリメーター３２０２は近赤外線を透過させるためスペーサーとして機能することで画像センサ１０３、撮影用パターン３２０１による指静脈撮影が可能となり、指紋撮影時には、撮影用パターン３２０１は可視光を透過させるために画像センサ１０３、コリメーター３２０２による指紋撮影を行うことが可能となる。

　なお、以上の説明は、画像センサ１０３が画像表示部１０６よりも小さい図３のような例であったが、図４のように画像センサ１０３が画像表示部１０６と同様の大きさで略全面で撮影可能である場合には、指先下の領域を指紋撮影用、第１もしくは第２関節下の領域を指静脈撮影用として使用する領域を切り替えることで、ユーザーの指の置き方に依らず、認証を行うことが可能となることはいうまでもない。

［第４実施形態］
　第４実施形態では、表示機能一体型撮像部１０２のさらなる薄型化、ならびに光利用効率の向上を可能とする構成について、図３３から図３６を用いて説明する。第一の実施形態に係る表示機能一体型撮像部１０２の構成では、撮影用パターン１０５と画像表示部１０６が別体に分かれているため装置の厚みが厚くなりがちであり、また画像表示部１０６を透過した光しか画像センサ１０３は利用できない。そのため、光利用効率が悪い。

　図３３は、第４実施形態に係る表示機能一体型撮像部の構成例を断面で示す図である。表示機能一体型撮像部１０２は、画像兼パターン表示部３３０１と、バックライト部３３０２と、画像センサ１０３と、により構成される。画像兼パターン表示部３３０１は、例えばピクセル構造を持つ液晶素子を用いて構成される。

　図３３に示すように、表示機能一体型撮像装置１０１をディスプレイとして使用する場合には、画像兼パターン表示部３３０１にスマートフォンのディスプレイとしての画像を表示させ、バックライト部３３０２を点灯することにより画像を視認できるようにする。対して、表示機能一体型撮像装置１０１を撮像装置として使用する場合には、画像兼パターン表示部３３０１に図７（ガボールゾーンプレート）、あるいは図８（フレネルゾーンプレート）に基づくパターンを表示させ、バックライト部３３０２を消灯する。

　図３４は、第４実施形態に係る表示制御の一例を示すタイミングチャートである。表示機能一体型撮像装置１０１については、「表示」と「撮像」を所定の単位時間で繰り返す。そして、画像兼パターン表示部３３０１は、表示機能一体型撮像装置１０１が「表示」のタイミングでは表示する「画像」を表示させ、「撮像」のタイミングでは「パターン」すなわちガボールゾーンプレートあるいはフレネルゾーンプレートを表示させる。バックライト部３３０２は、「表示」時には点灯させ、「撮像」時には消灯させる。

　図３５は、第４実施形態に係る表示機能一体型撮像部の構成例を示す図である。第４実施形態に係る表示機能一体型撮像装置１０１は、表示機能一体型撮像部１０２と、画像処理部１０７と、コントローラ１０８と、画像入力部１０９と、パターン制御部３５０１と、を備える。

　パターン制御部３５０１は、画像兼パターン表示部３３０１に表示する画像と現像用パターン（ガボールゾーンプレートやフレネルゾーンプレート）の時間的あるいは空間的な切替えを制御する。つまり、パターン制御部３５０１は、光変調器と画像表示部を制御し、撮影時に画像表示部に撮影用パターンを表示することで光変調器として動作させ、画像表示部に画像を表示する時間と撮影用パターンを表示する時間とが排他的になる、または画像を表示する領域と撮影用パターンを表示する領域とが排他的になるように制御するものといえる。これに限られず、パターン制御部３５０１は、時分割フリンジスキャンを実施する際に位相の異なるフレネルゾーンプレートの表示制御についても行う。

　なお、画像兼パターン表示部３３０１を、バックライト部３３０２消灯時には撮影対象の波長に対して透明となるような素材・構成で実現することで、高効率化が可能である。例えば、ホログラフィック素子や、プリズムアレイのような光導波路を用いてバックライト部３３０２を実現することにより、撮影時には透明に近い構成にすることも可能である。他にも、厚みを薄くするために、図３６に示す構成を採ることも考えられる。

　図３６は、第４実施形態に係る表示機能一体型撮像部の構成例を断面で示す図である。パターン表示部３６０１を、画像表示部１０６の表面に配置することによって、画像表示部１０６を図２におけるスペーサー１０４として使用することができることから、薄型化が可能となる。画像表示部１０６は、例えばピクセル構造を持つ液晶素子を用いて構成できる。なお、パターン表示部３６０１は背面から光が照射されることになるため、パターン表示部３６０１背面で反射した光が画像センサ１０３に入射し画質が劣化するおそれがある。そこで、パターン表示部３６０１の背面には無反射コートや吸光剤を塗布する加工をすることが望ましい。

　以上が、第４実施形態に係る表示機能一体型撮像部１０２である。この構成によれば、表示機能と一体化された撮影装置の薄型化、ならびに光利用効率の向上を実現することが可能となる。

　なお、本発明は上記の実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。

　また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。

　また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

　また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）等の記録装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。

　また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

　本発明は、撮像装置、及び撮像方法に限られず、撮像システム、現像方法、コンピュータ読み取り可能なプログラム、などの様々な態様で提供できる。

１０１・・・表示機能一体型撮像装置、１０２・・・表示機能一体型撮像部、１０３・・・画像センサ、１０３ａ・・・画素ユニット、１０４・・・スペーサー、１０５・・・撮影用パターン、１０６・・・画像表示部、１０７・・・画像処理部、１０８・・・コントローラ、１０９・・・画像入力部、５０１・・・小型情報端末（スマートフォン）、５０２・・・ディスプレイ、５０３・・・カメラ、５０４・・・生体認証センサ、５０５・・・スピーカー、６０１・・・小型情報端末（スマートフォン）、１００１・・・現像用パターン、１３０１・・・フリンジスキャン単位、１３０２・・・フリンジスキャン単位、１７０１・・・点、１７０２・・・投影像、１８０１・・・点、１８０２・・・投影像、１９０１・・・フォーカス設定部、２００１・・・指、２１０１・・・光源、２２０１・・・指置きガイド、２３０１・・・光源、２４０１・・・赤色発光素子、２４０２・・・緑色発光素子、２４０３・・・青色発光素子、２４０４・・・近赤外線発光素子、２５０１・・・指置きガイド、２６０１，２６０２・・・光源、２６０３・・・第一の光源、２６０４・・・第二の光源、２７０１・・・距離算出部、２９０１・・・顔、３００１・・・指紋撮影部、３００２・・・光源、３１０１・・・画像センサ、３１０２・・・コリメーター、３２０１・・・撮影用パターン、３２０２・・・コリメーター、３３０１・・・画像兼パターン表示部、３３０２・・・バックライト部、３５０１・・・パターン制御部、３６０１・・・パターン表示部。

Claims (15)

1. 　画像を表示し、かつ入射光の一部を背面に透過し透過光とする画像表示部と、
   　前記透過光を撮影用パターンに基づいて変調し変調光とする光変調器と、
   　前記変調光を電気信号に変換し、センサ画像を生成する画像センサと、
   　前記変調光の投影像の前記撮影用パターンと大きさが等しくなるよう所定の現像用パターンを拡大する割合を決定して被写体とのフォーカス距離を設定するフォーカス設定部と、
   　を備えることを特徴とする撮像装置。
2. 　請求項１に記載の撮像装置であって、
   　前記現像用パターンを前記被写体とのフォーカス距離に応じて拡大させ、前記センサ画像との相互相関演算を行い像を復元する画像処理部、
   　を備えることを特徴とする撮像装置。
3. 　請求項１に記載の撮像装置であって、
   　前記画像表示部の背面に、前記被写体を照明する光源、
   　を備えることを特徴とする撮像装置。
4. 　請求項１に記載の撮像装置であって、
   　前記画像表示部を発光させることで、前記被写体を照明する光源として用いる、
   　ことを特徴とする撮像装置。
5. 　請求項１に記載の撮像装置であって、
   　前記被写体とは指であり、
   　前記画像表示部は、撮影時には、前記指の置き場所を示す指置きガイドを表示する、
   　ことを特徴とする撮像装置。
6. 　請求項１に記載の撮像装置であって、
   　前記被写体とは指であり、
   　指紋を撮影する指紋撮影部を有し、
   　前記指の静脈と指紋とをともに撮影する、
   　ことを特徴とする撮像装置。
7. 　請求項１に記載の撮像装置であって、
   　前記光変調器と前記画像表示部を制御するパターン制御部を備え、
   　前記パターン制御部は、前記画像表示部に前記撮影用パターンを表示することで前記光変調器として動作させ、
   　前記画像表示部に画像を表示する時間と前記撮影用パターンを表示する時間とが排他的になる、または前記画像を表示する領域と前記撮影用パターンを表示する領域とが排他的になるように制御する、
   　ことを特徴とする撮像装置。
8. 　請求項１～７のいずれか一項に記載の撮像装置であって、
   　前記撮影用パターンは、基準座標からの距離に対してピッチが反比例して細かくなる同心円で形成されている、
   　ことを特徴とする撮像装置。
9. 　撮像装置による撮像方法であって、
   　前記撮像装置は、入射光の一部を背面に透過し透過光とする画像表示部と、光変調器と、画像センサと、被写体とのフォーカス距離を設定するフォーカス設定部と、を備え、
   　前記画像表示部は、画像を表面に表示する画像表示ステップと、
   　前記光変調器は、前記透過光を撮影用パターンに基づいて変調し変調光とする光変調ステップと、
   　前記画像センサは、前記変調光を電気信号に変換し、センサ画像を生成する画像検出ステップと、
   　前記フォーカス設定部は、前記変調光の投影像の前記撮影用パターンと大きさが等しくなるよう所定の現像用パターンを拡大する割合を決定するフォーカス距離設定ステップと、
   　を実施することを特徴とする撮像方法。
10. 　請求項９に記載の撮像方法であって、
    　撮像装置は、画像処理部を備え、
    　前記画像処理部は、前記現像用パターンを前記被写体とのフォーカス距離に応じて拡大させ、前記センサ画像との相互相関演算を行い像を復元する画像処理ステップ、
    　を実施することを特徴とする撮像方法。
11. 　請求項９に記載の撮像方法であって、
    　前記画像表示ステップに続けて、前記被写体を照明する光照射ステップ、
    　を実施することを特徴とする撮像方法。
12. 　請求項９に記載の撮像方法であって、
    　前記画像表示部は、前記画像表示ステップにおいて、前記被写体を照明する画像を表示させることを特徴とする撮像方法。
13. 　請求項９に記載の撮像方法であって、
    　前記被写体とは指であり、
    　前記画像表示部は、撮影時には、前記画像表示ステップにおいて、指の置き場所を示す指置きガイドを表示する、
    　ことを特徴とする撮像方法。
14. 　請求項９に記載の撮像方法であって、
    　前記被写体とは指であり、
    　指紋を撮影する指紋撮影ステップを実施し、
    　前記指の静脈と指紋とをともに撮影する、
    　ことを特徴とする撮像方法。
15. 　請求項９に記載の撮像方法であって、
    　前記光変調器と前記画像表示部とを制御するパターン制御部を備え、
    　前記パターン制御部は、前記画像表示部に前記撮影用パターンを表示することで前記光変調器として動作させ、
    　前記画像表示部に画像を表示する時間と前記撮影用パターンを表示する時間とが排他的になる、または前記画像を表示する領域と前記撮影用パターンを表示する領域とが排他的になる、ように制御する制御ステップ、
    　を実施することを特徴とする撮像方法。

Images