JP2018152748A - 立体画像の撮像・表示兼用装置及びヘッドマウント装置 - Google Patents

Abstract

【課題】現在のライトフィールドカメラ及びディスプレーで問題となっている計算処理を不要とするとともに、撮影及び表示デバイスを一体化することで新しい写真・映像体験を提供する。【解決手段】平面上に配置された複数の受光画素及び複数の表示画素からなる受光・表示兼用素子と、前記受光・表示兼用素子の画素配置面側に規則的に並べて配置され、被写体からの光を互いに視差の異なる視差画像群の光束に変換する複数の光学系とを有し、前記各視差画像を対応する前記受光画素で撮像することによって立体画像を記録できるとともに、前記表示画素からの前記視差画像群の光束を、前記各光学系により立体像の光束に変換することによって立体画像を表示することができることを特徴とする立体画像の撮像・表示兼用装置。【選択図】図１

Description

本発明は、立体画像の撮像と表示との両機能を有する撮像・表示兼用装置、及びそれを用いたヘッドマウント装置に関する。

マイクロレンズアレイを用いて、ライトフィールド（撮像面に入射する光線の撮像面上での位置・角度・強度情報の集合）を記録する撮像装置及び記録したライトフィールドを再現する表示装置はすでに知られており、撮像素子及び表示素子の進歩及びデータ処理技術の進歩により近年実用化されてきている。これらのライトフィールドデバイスは、撮像装置と表示装置とが独立したものと考えられているため、ライトフィールドを記録及び再生するといったことを１つのデバイスで行うことが不可能である。

例えば、一般向けに市販されている唯一のライトフィールドカメラであるLYTROは、通常のカメラに使われるのと同等な撮像レンズを通した後のライトフィールド、すなわち撮像面に入射する光線の撮像面上での位置・角度・強度情報の集合を記録できる撮像装置である。取得したライトフィールド情報から撮影後に画像処理を行うことにより、リフォーカス、視点微調整などを実現している。しかしながら、画像処理によって得られる出力は、従来のカメラと同様に二次元の画像であり、得られたライトフィールド情報から簡便な方法で立体画像を観察することはできていない。また、ライトフィールド情報から二次元の画像を得るためには膨大な計算処理が必要である。

ライトフィールドディスプレイとしては、NHKが開発を続けているインテグラルディスプレイや、nVIDIAが開発したNear-eye Light Field Displaysがある。これらのディスプレーは、ライトフィールドカメラで撮影したデータ又はCGによって作成したデータを立体画像として出力することができる。しかしながら、CGデータからの立体画像への変換、撮影に使ったライトフィールドカメラとディスプレーとの光学系の違いを補正するための変換に膨大な計算処理が必要である。

すなわち、ほとんどの場合、ライトフィールドデータのサンプリングパターンがカメラとディスプレーとで異なるため、ライトフィールドカメラで撮影して得られたライトフィールドデータをディスプレーで立体画像として表示する際には、撮影したライトフィールドデータから表示するライトフィールドデータに変換処理（再サンプリング）を行う必要がある。

例えば、特表2009-518877号（特許文献１）は、このライトフィールドデータの変換処理で生じるアーティファクトを最小にすることのできる、前記ライトフィールドデータの再サンプリング方法を開示している。しかしながら、カメラとディスプレーとのサンプリングパターンが異なる以上、根本的な解決にはならない。

特開平11-122544号（特許文献２）は、多数の撮像画素をマトリクス状に配列した撮像パネルと、前記撮像パネルの前面に所定の間隔をもって配置され、前記各撮像画素に対応して多数のマイクロ望遠鏡をマトリクス状に配列した望遠鏡アレイパネルとを有し、さらに前記各撮像画素の間に表示画素をマトリクス状に配列した表示装置を具備している撮像／表示装置を開示している。この撮像／表示装置は、撮像装置によって人の視界前方の像を撮像するとともに、この撮像した像を表示装置によって拡大表示し、大型画面の映像として見せることができる。しかしながら、特許文献２に記載の撮像／表示装置はライトフィールドを撮像及び表示するためのものではないため単に拡大表示ができるのみであり、立体画像を表示することはできず、距離感の表現は不十分である。

特表2009-518877号公報 特開平11-122544号公報

従って、本発明の目的は、現在のライトフィールドカメラ及びディスプレーで問題となっている計算処理を不要とするとともに、撮影及び表示デバイスを一体化することで新しい写真・映像体験を提供することである。

上述した課題を解決するために、本発明の第一の態様である立体画像の撮像・表示兼用装置は、平面上に配置された複数の受光画素及び複数の表示画素からなる受光・表示兼用素子と、前記受光・表示兼用素子の画素配置面側に規則的に並べて配置され、被写体からの光を互いに視差の異なる視差画像群の光束に変換する複数の光学系とを有し、前記各視差画像を対応する前記受光画素で撮像することによって立体画像を記録できるとともに、前記表示画素からの前記視差画像群の光束を、前記各光学系により立体像の光束に変換することによって立体画像を表示することができることを特徴とする。

上述した課題を解決するために、本発明の第二の態様である立体画像の撮像・表示兼用装置は、平面上に配置された複数の受光・発光兼用画素からなる受光・発光兼用素子と、前記受光・発光兼用素子の画素配置面側に規則的に並べて配置され、被写体からの光を互いに視差の異なる視差画像群の光束に変換する複数の光学系とを有し、前記各視差画像を対応する前記受光・発光兼用画素で撮像することにより立体画像を記録できるとともに、前記受光・発光兼用画素からの前記視差画像群の光束を、前記各光学系により立体像の光束に変換することによって立体画像を表示することができることを特徴とする。

上述した課題を解決するために、本発明の第三の態様である立体画像の撮像・表示兼用装置は、平面上に配置された特定数の受光画素と、前記特定数の受光画素の画素配置面側に配置された撮影光学系とからなる複数の受光ユニットと、
前記受光ユニットの間に配置され、平面上に配置された特定数の表示画素と、前記特定数の表示画素の画素配置面側に配置された表示光学系とからなる複数の表示ユニットとを有し、
前記複数の受光ユニットにより、それぞれ被写体からの光を互いに視差の異なる視差画像群の光束に変換し撮像することによって立体画像を記録できるとともに、
前記複数の表示ユニットにより、前記視差画像群の光束を立体像の光束に変換することによって立体画像を表示することを特徴とする。

本発明は、現在のライトフィールドカメラ・ディスプレイで問題となっている複雑な計算処理を不要とするとともに、撮影及び表示デバイスを一体化することで新しい写真・映像体験を提供することができる。ここで「新しい写真・映像体験」とは、具体的には、両眼視差・輻輳・目のピント感覚を全て表現できる等倍ライトフィールド写真・映像を手軽に撮影・観賞すること、テレビ電話・テレビ会議システムで自然なアイコンタクトできることなどである。

本発明の立体画像の撮像・表示兼用装置の第一の態様を示す模式断面図である。 本発明の立体画像の撮像・表示兼用装置の第一の態様を示す模式図である。 本発明の立体画像の撮像・表示兼用装置を用いて、(a)撮影している状態、及び(b)表示している状態を示す模式図である。 本発明の立体画像の撮像・表示兼用装置の第二の態様を示す模式断面図である。 本発明の立体画像の撮像・表示兼用装置の第二の態様を示す模式図である。 本発明の立体画像の撮像・表示兼用装置の第三の態様を示す模式断面図である。 本発明の立体画像の撮像・表示兼用装置の第三の態様を示す模式図である。 本発明のヘッドマウント装置の一例を示す模式図である。 本発明のヘッドマウント装置の他の一例を示す模式図である。 本発明のヘッドマウント装置のさらに他の一例を示す模式図である。

[1] 立体画像の撮像・表示兼用装置
本発明の立体画像の撮像・表示兼用装置は、受光素子（撮像素子）としての機能と表示素子（液晶表示素子、発光素子など）としての機能との両方の機能を有する受光・表示兼用素子（デバイス）を備えてなるライトフィールドカメラ兼ディスプレーであり、撮影時には受光素子によりライトフィールド情報を取得し、観察時には、撮像時と同じ光学系又はほぼ同等の光学系を使用して、取得したライトフィールド情報を元に表示素子により立体画像の表示を行う。受光・表示兼用素子は、同一平面上に受光画素と表示画素とを有する素子であり、このような素子及び光学系を用いることにより、ライトフィールド情報から立体画像の表示を行う際に複雑な変換処理が必要でなくなる。

このような受光・表示兼用素子は、(a)受光画素と表示画素とを交互に並べてなる素子、(b)１つの画素が受光と発光との両方の機能を有する受光・発光兼用素子、又は(c)受光素子ユニットと表示素子ユニットとを交互に並べてなる素子により実現することができる。ここで受光素子ユニットとは特定数の受光画素からなる微小な受光素子であり、表示素子ユニットとは特定数の表示画素からなる微小な表示素子である。態様(a)の受光画素と表示画素との配列又は態様(c)の受光素子ユニットと表示素子ユニットとの配列は、交互に配列する方法であっても、無秩序さを持たせてつつ全体として均等に配置する方法であっても良い。なお本願において、受光画素及び表示画素は、それぞれ受光機能及び表示機能を有する１つの画素（ピクセル）のことであり、受光素子及び表示素子とは、それぞれ受光画素及び表示画素が複数配列してなるデバイスのことである。受光画素としては、例えばフォトダイオードやフォトトランジスター等のフォトセンサを使用することができ、表示画素としては、液晶表示画素の他に、LED、有機EL等の発光画素を使用することができる。

態様(a)及び態様(b)の素子を用いた場合、受光画素と表示画素と（又は受光・発光兼用画素）が共通する光学系を使用することができるため、撮像時の条件と同じ条件で立体画像を表示することができる。態様(b)の場合、光学的には受光時と発光時とで同一なので、理想的な構成である。ただし、態様(b)では受光画素と発光画素とが共通であるため、原理的には受光（撮像）と発光（表示）とを同時に行うことができない。また態様(a)及び態様(c)の場合、受光画素と表示画素と、又は受光ユニットと表示ユニットとが隣接しているので、受光（撮像）と表示とを同時に行うと、表示光（発光素子又は液晶表示用のバックライト）が受光画素に迷光として作用してしまい撮像にかぶりが生じる可能性がある。しかしながら、例えば、受光動作と表示動作とのタイミングをずらして、受光動作と表示動作とをごく短時間で切り替えて行うことにより、実質的に撮像と表示とを同時に行うことが可能である。

態様(c)の素子を使用する場合、受光素子ユニットと表示素子ユニットとのそれぞれに１つの光学系（マイクロレンズ等）を対応させて配置し、光学系単位で独立の受光ユニット及び表示ユニットを構成することで、受光（撮像）と表示とを同時に行うことができる。この場合も少なくとも近傍の光学系の設計を同じものにすることで複雑な変換処理が不要となる。

これらの態様について以下に詳しく説明する。

(1)第一の態様
立体画像の撮像・表示兼用装置の第一の態様は、平面上に配置された複数の受光画素及び複数の表示画素からなる受光・表示兼用素子と、前記受光・表示兼用素子の画素配置面側に規則的に並べて配置され、被写体からの光を互いに視差の異なる視差画像群の光束に変換する複数の光学系とを有し、前記各視差画像を対応する前記受光画素で撮像することによって立体画像を記録できるとともに、前記表示画素からの前記視差画像群の光束を、前記各光学系により立体像の光束に変換することによって立体画像を表示することができる。

第一の態様における立体画像の撮像・表示兼用装置100（ライトフィールドカメラ兼ディスプレー）は図1(a)に示すように、複数の受光画素11と複数の表示画素12とが平面上に交互に配置されてなる受光・表示兼用素子1と、受光・表示兼用素子1の画素配置面1s側（被写体側及び観察側）に配置された複数の光学系2とを有する。受光・表示兼用素子1は、各光学系2aに対応する位置に、特定数の受光画素と特定数の表示画素とからなる受光・表示兼用素子ユニット1aを構成する。これらの受光・表示兼用素子ユニット1aとそれに対応する光学系2aとからなる１つの組み合わせ（単位）を、図1(b)に示すように、受光・表示ユニット3と呼ぶ。各受光・表示兼用素子ユニット1aには、特定数の受光画素11と特定数の表示画素12とが平面上に交互に配置されている。１つの表示兼用素子ユニット3に配列される受光画素11と表示画素12との数は適宜設定することができる。

図２に第一の態様における撮像・表示兼用装置100を模式的に示す。撮像・表示兼用装置100のマス目が１つの受光・表示ユニット3を表す。図では各受光・表示ユニット3を正方配置した例を示すが、受光・表示ユニットの外径を六角形としてハニカム状に充填配置してもよいし、その他複数の多角形を同一面上に充填配置してもよい。各受光・表示ユニット3は、光学系2aとその下部に配置された受光・表示兼用素子ユニット1aとからなる。

１つの受光・表示兼用素子ユニット1aは、赤色フィルター部(R)51、２つの緑色フィルター部(G)52及び青色フィルター部(B)53をベイヤー型に配列させたものを１単位とし、これらの単位が複数配列されて構成される。各赤色フィルター部(R)51、緑色フィルター部(G)52及び青色フィルター部(B)53には、それぞれ２つの受光画素11及び２つの表示画素12が交互に並べて配置されており、その上に赤色フィルター、緑色フィルター又は青色フィルターが設けられている。図2では緑色フィルター部(G)52のみを示したが、他のフィルター部も同様である。なお表示画素が液晶表示画素である場合、画素配置面の反対側にバックライトを設けることができる。各受光・表示ユニット3の境には隣の光学系からの光がかぶらないように遮光壁4を設けてもよい。なおカラーでの撮像及び表示の必要のない用途ではこれらの赤色、緑色及び青色のフィルターを設ける必要はない。

図3(a)は、立体画像の撮像・表示兼用装置100を用いて立体画像を記録（撮像）する方法を示す模式図である。被写体からの光は、複数の光学系2によって互いに視差の異なる視差画像群の光束に変換され、光学系2a₁〜2a₇に対応して配置された受光・表示兼用素子ユニット1a₁〜1a₇に入射し、撮像画素によって撮像される。各受光・表示兼用素子ユニット1a₁〜1a₇で撮像された画像は、それぞれ視差の異なる画像であるため、これらの視差画像群のデータは被写体の立体情報を有している。

図3(b)は、立体画像の撮像・表示兼用装置100を用いて立体画像を表示（観察）する方法を示す模式図である。観察時には観察者は光学系2側から各光学系2a₁〜2a₇を介して観察する。このとき前記撮像により得られた視差画像群のデータを対称変換して受光・表示兼用素子ユニット1a₁〜1a₇によって表示させると、視差画像群の光束が各光学系2a₁〜2a₇により立体像の光束に変換され、観察者に立体画像として認識される。

立体画像の撮像・表示兼用装置100は、例えば、立体動画像を撮影し、再生して表示するカメラ兼ディスプレー装置とすることができる。このとき立体画像の撮像・表示兼用装置100は、立体画像撮像機能により一連の動画像を視差画像群データに変換及び保存する機能を有するとともに、撮像の際のフレームレートと同一のフレームレートで再生して立体動画像を表示する機能を有する。なお、立体画像の撮像・表示兼用装置100は、例えば、立体静止画像を撮像及び表示するカメラ兼ディスプレー装置として機能することもできる。この場合、立体画像の撮像・表示兼用装置100は、一静止画像ごとに視差画像群データを取得して保存する機能を有するとともに、得られた視差画像群データを表示する機能を有する。

光学系としては、レンズを配列させてなるレンズアレイ、回折光学素子を配列させてなる回折光学素子アレイ、及びピンホールを配列させてなるピンホールアレイが挙げられる。設計の容易さ及び光学性能に優れたレンズアレイ（マイクロレンズアレイ）が好ましい。

(2)第二の態様
第二の態様における立体画像の撮像・表示兼用装置200は、図４に示すように、平面上に配置された複数の受光・発光兼用画素13からなる受光・発光兼用素子201と、前記受光・発光兼用素子201の画素配置面201s側に規則的に並べて配置され、被写体からの光を互いに視差の異なる視差画像群の光束に変換する複数の光学系2とを有し、前記各視差画像を対応する前記受光・発光兼用画素201で撮像することにより立体画像を記録できるとともに、前記受光・発光兼用画素201からの前記視差画像群の光束を、前記各光学系2aにより立体像の光束に変換することによって立体画像を表示することができることを特徴とする。

第二の態様における立体画像の撮像・表示兼用装置200は、複数の受光画素11と複数の表示画素12とが平面上に交互に配置されてなる受光・表示兼用素子１の代わりに、受光と発光との両方の機能を有する受光・発光兼用画素13を配列してなる受光・発光兼用素子201を用いた以外立体画像の撮像・表示兼用装置の第一の態様100（図１参照）と同様の構成である。従って、第一の態様における立体画像の撮像・表示兼用装置100との相違点を中心に説明する。

受光・発光兼用画素13は、電気的な制御によって受光画素として機能させたり、発光画素として機能させたりすることが可能な画素であり、１つの画素（ピクセル）が受光と発光との両方の機能を有している。このため。受光（撮影）時に入射する光束と発光（表示）時に出射する光束とが全く同じ光学系2aを通ることになるので、本発明の立体画像の撮像・表示兼用装置としては理想的な構成である。

第二の態様における立体画像の撮像・表示兼用装置200は、図4(a)に示すように、複数の光学系2とそれに対応する特定数の受光・発光兼用画素13とからなる。ここで特定数の受光・発光兼用画素13を受光・発光兼用素子ユニット201aと呼ぶ。図4(b)は、１つの光学系2と１つの受光・発光兼用素子ユニット201aとからなる受光・発光ユニット203を示す。１つの受光・発光兼用素子ユニット201aに配列される受光・発光兼用画素13の数は適宜設定することができる。

図5に第二の態様における撮像・表示兼用装置200を模式的に示す。撮像・表示兼用装置200のマス目が１つの受光・発光ユニット203を表す。図では各受光・発光ユニット203を正方配置した例を示すが、受光・発光ユニットの外径を六角形としてハニカム状に充填配置してもよいし、その他複数の多角形を同一面上に充填配置してもよい。各受光・発光ユニット203は、光学系2aとその下部に配置された受光・発光兼用素子ユニット201aとからなる。

１つの受光・発光兼用素子ユニット201aは、赤色フィルター部(R)51、２つの緑色フィルター部(G)52及び青色フィルター部(B)53をベイヤー型に配列させたものを１単位とし、これらの単位が複数配列されて構成される。各赤色フィルター部(R)51、緑色フィルター部(G)52及び青色フィルター部(B)53には、それぞれ受光・発光兼用画素13が配置されており、その上に赤色フィルター、緑色フィルター又は青色フィルターが設けられている。各受光・発光ユニット203の境には隣の光学系からの光がかぶらないように遮光壁4を設けてもよい。なおカラーでの撮像及び表示の必要のない用途ではこれらの赤色、緑色及び青色のフィルターを設ける必要はない。

第二の態様における立体画像の撮像・表示兼用装置200を用いて立体画像を記録（撮像）する方法及び表示（観察）する方法は、第一の態様における方法と同様である。また使用できる光学系も同様である。

(3)第三の態様
第三の態様における立体画像の撮像・表示兼用装置300は、図6に示すように、平面上に配置された特定数の受光画素11と、前記特定数の受光画素11の画素配置面301s側に配置された撮影光学系21とからなる複数の受光ユニット301と、前記受光ユニット301の間に配置され、平面上に配置された特定数の表示画素12と、前記特定数の表示画素12の画素配置面301s側に配置された表示光学系22とからなる複数の表示ユニット302とを有し、前記複数の受光ユニット301により、それぞれ被写体からの光を互いに視差の異なる視差画像群の光束に変換し撮像することによって立体画像を記録できるとともに、前記複数の表示ユニット302により、前記視差画像群の光束を立体像の光束に変換することによって立体画像を表示することを特徴とする。

第三の態様における立体画像の撮像・表示兼用装置300は、複数の受光ユニット301と複数の表示ユニット302とが平面上に、交互に又は無秩序さをもって均等に配置された構成を有する。各受光ユニット301は、特定数の受光画素11を有する受光素子ユニット311と撮影光学系21とを有し、各表示ユニット302は、特定数の表示画素12を有する表示素子ユニット312と表示光学系22とを有している。ここで特定数の受光画素11を受光素子ユニット311と呼び、特定数の受光画素12を表示素子ユニット312と呼ぶ。各受光ユニット301と表示ユニット302との間には表示ユニット302からの光がかぶらないように遮光壁4を設けるのが好ましい。撮影光学系21と表示光学系22とは同等の光学性能を有するのが好ましく、少なくとも近傍の光学系の光学設計は同一であるのが好ましい。受光素子ユニット311を構成する特定数の受光画素11の数は適宜設計することができ、同様に、表示素子ユニット312を特定数の表示画素12も適宜設計することができる。

図7に第三の態様における撮像・表示兼用装置300を模式的に示す。撮像・表示兼用装置300の一つのマス目が１つの受光ユニット301又は表示ユニット302を表し、図では受光ユニット301と表示ユニット302とが交互に配置されている。受光ユニット301と表示ユニット302との配列方法は、第一の態様と同様、正方配置でもよいし、ハニカム状に充填配置してもよいし、その他複数の多角形を同一面上に充填配置してもよい。

１つの受光ユニット301は、赤色フィルター部(R)51、２つの緑色フィルター部(G)52及び青色フィルター部(B)53をベイヤー型に配列させたものを１単位とし、これらの単位が複数配列されて構成される。各赤色フィルター部(R)51、緑色フィルター部(G)52及び青色フィルター部(B)53には、それぞれ受光画素11が配置されている。１つの表示ユニット302は、赤色フィルター部(R)51、２つの緑色フィルター部(G)52及び青色フィルター部(B)53をベイヤー型に配列させたものを１単位とし、これらの単位が複数配列されて構成される。各赤色フィルター部(R)51、緑色フィルター部(G)52及び青色フィルター部(B)53には、それぞれ表示画素12が配置されている。なおカラーでの撮像及び表示の必要のない用途ではこれらの赤色、緑色及び青色のフィルターを設ける必要はない。

第三の態様における立体画像の撮像・表示兼用装置300は、受光（撮像）部と表示部とが独立しているが、この装置を用いて立体画像を記録（撮像）する方法及び表示（観察）する方法は、第一の態様における方法と同様である。第三の態様では受光（撮像）部と表示部とが独立しているため、撮像と表示とを同時に行うことが可能である。また使用できる光学系も同様のものにすることができる。

[2] ヘッドマウント装置
本発明の立体画像の撮像・表示兼用装置は、同一面で撮影と表示ができるので、撮影時には前記画素配置面が被写体方向を向き、表示時には前記画素配置面が観察者の目と対向するように前記立体画像の撮像・表示兼用装置の向きを変更できるようにすることで、撮像と表示（鑑賞）とを手軽に行うことのできるヘッドマウント装置が得られる。

例えば、図８に示すような、立体画像の撮像・表示兼用装置401を眼鏡の上側の縁に上下に180°反転できるようにした、すなわち跳ね上げ式サングラスのような形態のヘッドマウント装置400とすることができる。撮影時には、図8(a)に示すように、撮像・表示兼用装置401を額に跳ね上げて画素配置面401sが被写体の方向を向くようにすることで、目で見た光景と同等の立体画像の記録ができる。鑑賞時には、図8(b)に示すように、撮像・表示兼用装置401を180°回転させて目の前に下ろして画素配置面401sを目の方向に向けて観察することができる。このようなヘッドマウント装置400により、非常に手軽に、自分が目にした光景をリアルな距離感をもってそのまま記録し再現することができる。

他の構成のヘッドマウント装置500は、図9(a)に示すように、視界前方に配置された第1のハーフミラー501と、第1のハーフミラー501と人の眼との間にほぼ45°の角度で配置された第2のハーフミラー502と、第2のハーフミラー502からの反射光を入光する位置に配置された本発明の立体画像の撮像・表示兼用装置503とを備える。立体画像の撮像・表示兼用装置503には、必要に応じてその背面にバックライト504を設けてもよい。

撮影時には、図9(b)に示すように、第1のハーフミラー501を通して入射した被写体からの光を第2のハーフミラー502を通過させて人の眼に導くとともに、第2のハーフミラー502で反射させて立体画像の撮像・表示兼用装置503に導く。従って、第2のハーフミラー502によって反射して立体画像の撮像・表示兼用装置503に形成された像と同等の像が仮想的な撮像面505に観察される。

表示時には、図9(c)に示すように、立体画像の撮像・表示兼用装置503により表示した立体画像を前記第2のハーフミラー502及び前記第1のハーフミラー501で反射させ、さらに第2のハーフミラー502を通過させて人の眼に導く。従って、観察者からは、立体画像の撮像・表示兼用装置503が仮想的な表示面506に見える。この仮想的な表示面506は、前記仮想的な撮像面505に対して、第1のハーフミラー501〜第2のハーフミラー502〜立体画像の撮像・表示兼用装置503の光路に沿った距離分だけ遠くに位置するので、被写体の虚像が見える位置も同じ距離だけ遠くなる。通常、この仮想的な撮像面505と仮想的な表示面506との間の距離は被写体と観察者との間の距離に比べてかなり短いので問題とならないが、仮想的な表示面506の位置が遠くなることによって視野角が狭くなってしまうという問題が生じる場合がある。

上記の問題を解決する一例として、例えば図10に示すようなヘッドマウント装置600が挙げられる。このヘッドマウント装置600は、第１のハーフミラー601を曲面とした以外図９に示すヘッドマウント装置500と同様の構成である。第１のハーフミラー601は、例えば、両面の曲率半径が等しいごく薄いメニスカスレンズで、観察者側に位置する反射面の曲率中心が、例えば、仮想的な撮像面605（第2のハーフミラー602によって反射して立体画像の撮像・表示兼用装置603に形成された像と同等の像が観察される面）の位置にあるように構成する。このような構成であれば、透過光に対してはレンズ効果を及ぼさず、仮想的な撮像面605の位置と仮想的な表示面606の位置が一致する。つまり、撮影と表示を同じ位置で行うこととなるとともに、視野角が狭くなるという問題が解消される。

この例では第1のハーフミラー601を両面の曲率半径が等しい薄いメニスカスレンズとしたが、収差補正のために曲面を非球面とする、接合レンズとして接合面を反射面として構成する、第2のハーフミラーも曲面とするなどしても良い。いずれの場合も、第1のハーフミラーと第2のハーフミラーからなる系が透過光に対してレンズ効果を有さないようにすることによって、裸眼で見たのと同じ光景を再現することができる。また、普段メガネを使っている観察者に対しては、第1のハーフミラーと第2のハーフミラーからなる系が、透過光に対して普段使っているメガネと同じレンズ効果を有するように構成することによって、メガネ装着状態で見るのと同じ光景を表現することができる。

[3] その他の応用例
本発明の立体画像の撮像・表示兼用装置は、同一又は同等の光学系を用いてライトフィールドを撮像及び表示できるので、撮像面（表示面）・画面サイズが大きなものでは両眼視差・運動視差・輻輳、小さなもの（メガネ型等）では両眼視差・輻輳・ピント感覚が再現でき、自然な距離感を表現できる。撮影と表示とを一体化することによって同一面で撮影と表示とができるので、撮像面（表示面）・画面サイズが大きなものでは撮影機能と表示機能とを同時に動作させることによりテレビ電話・テレビ会議システムとして好適に使用できる。撮影と表示の位置が一致しているので、自然なアイコンタクトができ、また複数人が参加している場合でも任意の相手とアイコンタクトできる。また同一面で撮影と表示とができるので、この装置で目立たせたくないものの周囲を覆い、裏側の面で受けたライトフィールドをそのまま又は加工して表示することにより光学的な「迷彩」が実現できる。

ライトフィールドを再現するためには膨大な光線が必要であり、そのための情報量は膨大なものになる。しかし、ライトフィールド表示装置が表示する光線のうち、観察者の瞳に入って知覚されるのはごく一部である。本発明の立体画像の撮像・表示兼用装置は表示面と同じ面が撮影機能を持つので、撮影データから観察者の瞳あるいは顔を認識することで、表示時に観察者に知覚される光線を精度よく特定することができる。これを利用して、表示やそのためのデータ処理やデータ伝送の過程で、観察者の瞳あるいは顔の近傍に至る光線に関わるもののみを取り扱うことによって、計算量やデータ通信量を大幅に削減することができる。

100・・・撮像・表示兼用装置の第一の態様
1・・・受光・表示兼用素子
1a・・・受光・表示兼用素子ユニット
1s・・・画素配置面
11・・・受光画素
12・・・表示画素
13・・・受光・発光兼用画素
2・・・複数の光学系
2a・・・光学系
3・・・受光・表示ユニット
4・・・遮光壁
51・・・赤色フィルター部
52・・・緑色フィルター部
53・・・青色フィルター部
200・・・撮像・表示兼用装置の第二の態様
201・・・受光・発光兼用素子
201a・・・受光・発光兼用素子ユニット
201s・・・画素配置面
203・・・受光・発光ユニット
300・・・撮像・表示兼用装置の第三の態様
21・・・撮影光学系
22・・・表示光学系
301・・・受光ユニット
301s・・・画素配置面
302・・・表示ユニット
311・・・受光素子ユニット
312・・・表示素子ユニット
400・・・ヘッドマウント装置
401・・・撮像・表示兼用装置
401s・・・画素配置面
500・・・ヘッドマウント装置
501・・・第1のハーフミラー
502・・・第2のハーフミラー
503・・・撮像・表示兼用装置
504・・・バックライト
505・・・仮想的な撮像面
506・・・仮想的な表示面
600・・・ヘッドマウント装置
601・・・第1のハーフミラー
602・・・第2のハーフミラー
603・・・撮像・表示兼用装置
604・・・バックライト
605・・・仮想的な撮像面
606・・・仮想的な表示面

Claims (18)

1. 平面上に配置された複数の受光画素及び複数の表示画素からなる受光・表示兼用素子と、
   前記受光・表示兼用素子の画素配置面側に規則的に並べて配置され、被写体からの光を互いに視差の異なる視差画像群の光束に変換する複数の光学系とを有し、
   前記各視差画像を対応する前記受光画素で撮像することによって立体画像を記録できるとともに、
   前記表示画素からの前記視差画像群の光束を、前記各光学系により立体像の光束に変換することによって立体画像を表示することができることを特徴とする立体画像の撮像・表示兼用装置。
2. 平面上に配置された複数の受光・発光兼用画素からなる受光・発光兼用素子と、
   前記受光・発光兼用素子の画素配置面側に規則的に並べて配置され、被写体からの光を互いに視差の異なる視差画像群の光束に変換する複数の光学系とを有し、
   前記各視差画像を対応する前記受光・発光兼用画素で撮像することにより立体画像を記録できるとともに、
   前記受光・発光兼用画素からの前記視差画像群の光束を、前記各光学系により立体像の光束に変換することによって立体画像を表示することができることを特徴とする立体画像の撮像・表示兼用装置。
3. 請求項１又は２に記載の立体画像の撮像・表示兼用装置において、
   前記複数の光学系が、レンズアレイにより構成されていることを特徴とする立体画像の撮像・表示兼用装置。
4. 請求項１又は２に記載の立体画像の撮像・表示兼用装置において、
   前記複数の光学系が、回折光学素子により構成されていることを特徴とする立体画像の撮像・表示兼用装置。
5. 請求項１又は２に記載の立体画像の撮像・表示兼用装置において、
   前記複数の光学系が、ピンホールアレイにより構成されていることを特徴とする立体画像の撮像・表示兼用装置。
6. 平面上に配置された特定数の受光画素と、前記特定数の受光画素の画素配置面側に配置された撮影光学系とからなる複数の受光ユニットと、
   前記受光ユニットの間に配置され、平面上に配置された特定数の表示画素と、前記特定数の表示画素の画素配置面側に配置された表示光学系とからなる複数の表示ユニットとを有し、
   前記複数の受光ユニットにより、それぞれ被写体からの光を互いに視差の異なる視差画像群の光束に変換し撮像することによって立体画像を記録できるとともに、
   前記複数の表示ユニットにより、前記視差画像群の光束を立体像の光束に変換することによって立体画像を表示することを特徴とする立体画像の撮像・表示兼用装置。
7. 請求項６に記載の立体画像の撮像・表示兼用装置において、前記受光ユニットと前記表示ユニットとが交互又は不規則に、かつ全体として均一に分布するように配置されていることを特徴とする立体画像の撮像・表示兼用装置。
8. 請求項６又は７に記載の立体画像の撮像・表示兼用装置において、
   前記撮影光学系及び表示光学系が、レンズアレイにより構成されていることを特徴とする立体画像の撮像・表示兼用装置。
9. 請求項６又は７に記載の立体画像の撮像・表示兼用装置において、
   前記撮影光学系及び表示光学系が、回折光学素子により構成されていることを特徴とする立体画像の撮像・表示兼用装置。
10. 請求項６又は７に記載の立体画像の撮像・表示兼用装置において、
    前記撮影光学系及び表示光学系が、ピンホールアレイにより構成されていることを特徴とする立体画像の撮像・表示兼用装置。
11. 請求項６〜10のいずれかに記載の立体画像の撮像・表示兼用装置において、
    前記撮影光学系と前記表示光学系とが同一の光学特性を有することを特徴とする立体画像の撮像・表示兼用装置。
12. 請求項１〜11のいずれかに記載の立体画像の撮像・表示兼用装置において、
    撮像と表示とを同時に行うことができることを特徴とする立体画像の撮像・表示兼用装置。
13. 請求項１〜12に記載の立体画像の撮像・表示兼用装置を用いたヘッドマウント装置であって、
    撮影時には前記画素配置面が被写体方向を向き、表示時には前記画素配置面が観察者の目と対向するように前記立体画像の撮像・表示兼用装置の向きを変更できるようにしたことを特徴とするヘッドマウント装置。
14. 請求項１〜12に記載の立体画像の撮像・表示兼用装置を用いたヘッドマウント装置であって、
    視界前方に配置された第1のハーフミラーと、前記第1のハーフミラーと人の眼との間にほぼ45°の角度で配置された第2のハーフミラーと、前記第2のハーフミラーからの反射光を入光する位置に配置された前記立体画像の撮像・表示兼用装置とを有し、
    前記第1のハーフミラーを通して入射した被写体からの光を前記第2のハーフミラーを通過させて人の眼に導くとともに、前記第2のハーフミラーで反射させて前記立体画像の撮像・表示兼用装置に導くことができ、さらに前記立体画像の撮像・表示兼用装置により表示した立体画像を前記第2のハーフミラー及び前記第1のハーフミラーで反射させ、さらに第2のハーフミラーを通過させて人の眼に導くようにしたことを特徴とするヘッドマウント装置。
15. 請求項14に記載のヘッドマウント装置において、
    前記第1のハーフミラー又は前記第2のハーフミラーが曲面のハーフミラーであることを特徴とするヘッドマウント装置。
16. 請求項14又は15に記載のヘッドマウント装置において、
    前記第1のハーフミラー及び前記第2のハーフミラーからなる系が、透過光する光に対してレンズ効果を有さないことを特徴とするヘッドマウント装置。
17. 請求項14又は15に記載のヘッドマウント装置において、
    前記第1のハーフミラー及び前記第2のハーフミラーからなる系が、透過光する光に対して視力矯正効果を有することを特徴とするヘッドマウント装置。
18. 請求項14〜17のいずれかに記載のヘッドマウント装置において、
    前記立体画像の撮像・表示兼用装置の撮像機能によって取得した観察者の顔又は瞳の位置情報を利用して、表示並びに表示に関わるデータ処理並びにデータ伝送において、瞳又は顔の近傍に至る光線に関わるもののみを取り扱うようにしたことを特徴とするヘッドマウント装置。