JP2018152748A - Imaging/display device of stereoscopic image and head mount device - Google Patents
Imaging/display device of stereoscopic image and head mount device Download PDFInfo
- Publication number
- JP2018152748A JP2018152748A JP2017048159A JP2017048159A JP2018152748A JP 2018152748 A JP2018152748 A JP 2018152748A JP 2017048159 A JP2017048159 A JP 2017048159A JP 2017048159 A JP2017048159 A JP 2017048159A JP 2018152748 A JP2018152748 A JP 2018152748A
- Authority
- JP
- Japan
- Prior art keywords
- display
- stereoscopic image
- light
- light receiving
- image capturing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Stereoscopic And Panoramic Photography (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、立体画像の撮像と表示との両機能を有する撮像・表示兼用装置、及びそれを用いたヘッドマウント装置に関する。 The present invention relates to an imaging / display combined device having both functions of capturing and displaying a stereoscopic image, and a head mount device using the same.
マイクロレンズアレイを用いて、ライトフィールド（撮像面に入射する光線の撮像面上での位置・角度・強度情報の集合）を記録する撮像装置及び記録したライトフィールドを再現する表示装置はすでに知られており、撮像素子及び表示素子の進歩及びデータ処理技術の進歩により近年実用化されてきている。これらのライトフィールドデバイスは、撮像装置と表示装置とが独立したものと考えられているため、ライトフィールドを記録及び再生するといったことを１つのデバイスで行うことが不可能である。 An imaging device that records a light field (a set of position, angle, and intensity information on the imaging surface of a light ray incident on the imaging surface) using a microlens array and a display device that reproduces the recorded light field are already known. In recent years, it has been put into practical use due to advances in imaging devices and display devices and advances in data processing technology. Since these light field devices are considered that the imaging device and the display device are independent, it is impossible to record and reproduce the light field with one device.
例えば、一般向けに市販されている唯一のライトフィールドカメラであるLYTROは、通常のカメラに使われるのと同等な撮像レンズを通した後のライトフィールド、すなわち撮像面に入射する光線の撮像面上での位置・角度・強度情報の集合を記録できる撮像装置である。取得したライトフィールド情報から撮影後に画像処理を行うことにより、リフォーカス、視点微調整などを実現している。しかしながら、画像処理によって得られる出力は、従来のカメラと同様に二次元の画像であり、得られたライトフィールド情報から簡便な方法で立体画像を観察することはできていない。また、ライトフィールド情報から二次元の画像を得るためには膨大な計算処理が必要である。 For example, LYTRO, the only light field camera on the market for the general public, is the light field after passing through an imaging lens equivalent to that used for ordinary cameras, that is, on the imaging surface of the light incident on the imaging surface. This is an imaging device capable of recording a set of position, angle, and intensity information. By performing image processing after shooting from the acquired light field information, refocusing, fine adjustment of viewpoint, and the like are realized. However, the output obtained by the image processing is a two-dimensional image like a conventional camera, and a stereoscopic image cannot be observed by a simple method from the obtained light field information. In addition, enormous calculation processing is required to obtain a two-dimensional image from light field information.
ライトフィールドディスプレイとしては、NHKが開発を続けているインテグラルディスプレイや、nVIDIAが開発したNear-eye Light Field Displaysがある。これらのディスプレーは、ライトフィールドカメラで撮影したデータ又はCGによって作成したデータを立体画像として出力することができる。しかしながら、CGデータからの立体画像への変換、撮影に使ったライトフィールドカメラとディスプレーとの光学系の違いを補正するための変換に膨大な計算処理が必要である。 Light field displays include the integral display that NHK continues to develop and the near-eye light field displays that nVIDIA has developed. These displays can output data photographed by a light field camera or data created by CG as a stereoscopic image. However, enormous calculation processing is required for conversion from CG data to a stereoscopic image and conversion for correcting the difference in optical system between the light field camera used for shooting and the display.
すなわち、ほとんどの場合、ライトフィールドデータのサンプリングパターンがカメラとディスプレーとで異なるため、ライトフィールドカメラで撮影して得られたライトフィールドデータをディスプレーで立体画像として表示する際には、撮影したライトフィールドデータから表示するライトフィールドデータに変換処理（再サンプリング）を行う必要がある。 That is, in most cases, the sampling pattern of the light field data differs between the camera and the display. Therefore, when displaying the light field data obtained by photographing with the light field camera as a stereoscopic image on the display, It is necessary to perform conversion processing (resampling) from light data to light field data to be displayed.
例えば、特表2009-518877号（特許文献１）は、このライトフィールドデータの変換処理で生じるアーティファクトを最小にすることのできる、前記ライトフィールドデータの再サンプリング方法を開示している。しかしながら、カメラとディスプレーとのサンプリングパターンが異なる以上、根本的な解決にはならない。 For example, Japanese Translation of PCT International Application No. 2009-518877 (Patent Document 1) discloses a light field data re-sampling method capable of minimizing artifacts generated in the light field data conversion process. However, as long as the sampling patterns of the camera and the display are different, this is not a fundamental solution.
特開平11-122544号（特許文献２）は、多数の撮像画素をマトリクス状に配列した撮像パネルと、前記撮像パネルの前面に所定の間隔をもって配置され、前記各撮像画素に対応して多数のマイクロ望遠鏡をマトリクス状に配列した望遠鏡アレイパネルとを有し、さらに前記各撮像画素の間に表示画素をマトリクス状に配列した表示装置を具備している撮像／表示装置を開示している。この撮像／表示装置は、撮像装置によって人の視界前方の像を撮像するとともに、この撮像した像を表示装置によって拡大表示し、大型画面の映像として見せることができる。しかしながら、特許文献２に記載の撮像／表示装置はライトフィールドを撮像及び表示するためのものではないため単に拡大表示ができるのみであり、立体画像を表示することはできず、距離感の表現は不十分である。 Japanese Patent Application Laid-Open No. 11-122544 (Patent Document 2) discloses an imaging panel in which a large number of imaging pixels are arranged in a matrix and a front surface of the imaging panel arranged at a predetermined interval. An imaging / display device is disclosed that includes a telescope array panel in which micro telescopes are arranged in a matrix, and further includes a display device in which display pixels are arranged in a matrix between the imaging pixels. This imaging / display device can capture an image in front of a human field of view with the imaging device, and can enlarge and display the captured image with a display device to display it as a large screen image. However, since the imaging / display device described in Patent Document 2 is not for imaging and displaying a light field, it can only display an enlarged image, cannot display a stereoscopic image, and expresses a sense of distance. It is insufficient.
従って、本発明の目的は、現在のライトフィールドカメラ及びディスプレーで問題となっている計算処理を不要とするとともに、撮影及び表示デバイスを一体化することで新しい写真・映像体験を提供することである。 Therefore, an object of the present invention is to provide a new photo / video experience by integrating the photographing and display devices while eliminating the calculation processing that is a problem in current light field cameras and displays. .
上述した課題を解決するために、本発明の第一の態様である立体画像の撮像・表示兼用装置は、平面上に配置された複数の受光画素及び複数の表示画素からなる受光・表示兼用素子と、前記受光・表示兼用素子の画素配置面側に規則的に並べて配置され、被写体からの光を互いに視差の異なる視差画像群の光束に変換する複数の光学系とを有し、前記各視差画像を対応する前記受光画素で撮像することによって立体画像を記録できるとともに、前記表示画素からの前記視差画像群の光束を、前記各光学系により立体像の光束に変換することによって立体画像を表示することができることを特徴とする。 In order to solve the above-described problem, a stereoscopic image capturing / displaying apparatus according to a first aspect of the present invention includes a light receiving / display combined element including a plurality of light receiving pixels and a plurality of display pixels arranged on a plane. And a plurality of optical systems that are regularly arranged on the pixel arrangement surface side of the light receiving / display element and convert light from the subject into light beams of parallax image groups having different parallax, and each of the parallaxes A stereoscopic image can be recorded by capturing an image with the corresponding light receiving pixel, and a stereoscopic image can be displayed by converting the light beam of the parallax image group from the display pixel into a light beam of a stereoscopic image by the optical systems. It can be done.
上述した課題を解決するために、本発明の第二の態様である立体画像の撮像・表示兼用装置は、平面上に配置された複数の受光・発光兼用画素からなる受光・発光兼用素子と、前記受光・発光兼用素子の画素配置面側に規則的に並べて配置され、被写体からの光を互いに視差の異なる視差画像群の光束に変換する複数の光学系とを有し、前記各視差画像を対応する前記受光・発光兼用画素で撮像することにより立体画像を記録できるとともに、前記受光・発光兼用画素からの前記視差画像群の光束を、前記各光学系により立体像の光束に変換することによって立体画像を表示することができることを特徴とする。 In order to solve the above-described problem, a stereoscopic image capturing / display combined device according to the second aspect of the present invention includes a light receiving / light emitting combined element including a plurality of light receiving / light emitting combined pixels arranged on a plane, A plurality of optical systems that are regularly arranged on the pixel arrangement surface side of the light receiving / emitting element, and convert light from the subject into light beams of parallax image groups having different parallaxes, and A stereoscopic image can be recorded by taking an image with the corresponding light receiving / emitting combined pixel, and the light beam of the parallax image group from the light receiving / emitting combined pixel is converted into a stereoscopic image light beam by the respective optical systems. A stereoscopic image can be displayed.
上述した課題を解決するために、本発明の第三の態様である立体画像の撮像・表示兼用装置は、平面上に配置された特定数の受光画素と、前記特定数の受光画素の画素配置面側に配置された撮影光学系とからなる複数の受光ユニットと、
前記受光ユニットの間に配置され、平面上に配置された特定数の表示画素と、前記特定数の表示画素の画素配置面側に配置された表示光学系とからなる複数の表示ユニットとを有し、
前記複数の受光ユニットにより、それぞれ被写体からの光を互いに視差の異なる視差画像群の光束に変換し撮像することによって立体画像を記録できるとともに、
前記複数の表示ユニットにより、前記視差画像群の光束を立体像の光束に変換することによって立体画像を表示することを特徴とする。
In order to solve the above-described problems, a stereoscopic image capturing / displaying apparatus according to a third aspect of the present invention includes a specific number of light receiving pixels arranged on a plane and a pixel arrangement of the specific number of light receiving pixels. A plurality of light receiving units comprising a photographing optical system arranged on the surface side;
A plurality of display units each including a specific number of display pixels disposed between the light receiving units and disposed on a plane; and a display optical system disposed on a pixel arrangement surface side of the specific number of display pixels. And
The plurality of light receiving units can record a stereoscopic image by converting light from a subject into light beams of parallax image groups having different parallaxes, and capturing images.
A stereoscopic image is displayed by converting the light flux of the parallax image group into a light flux of a stereoscopic image by the plurality of display units.
本発明は、現在のライトフィールドカメラ・ディスプレイで問題となっている複雑な計算処理を不要とするとともに、撮影及び表示デバイスを一体化することで新しい写真・映像体験を提供することができる。ここで「新しい写真・映像体験」とは、具体的には、両眼視差・輻輳・目のピント感覚を全て表現できる等倍ライトフィールド写真・映像を手軽に撮影・観賞すること、テレビ電話・テレビ会議システムで自然なアイコンタクトできることなどである。 The present invention eliminates the complicated calculation processing that is a problem in current light field cameras and displays, and can provide a new photo / video experience by integrating the photographing and display devices. Here, “new photo / video experience” specifically refers to the ability to easily shoot and view 1x light field photos and video that can express all binocular parallax, convergence, and focus of eyes, It is possible to make natural eye contact with the video conference system.
[1] 立体画像の撮像・表示兼用装置
本発明の立体画像の撮像・表示兼用装置は、受光素子（撮像素子）としての機能と表示素子（液晶表示素子、発光素子など）としての機能との両方の機能を有する受光・表示兼用素子（デバイス）を備えてなるライトフィールドカメラ兼ディスプレーであり、撮影時には受光素子によりライトフィールド情報を取得し、観察時には、撮像時と同じ光学系又はほぼ同等の光学系を使用して、取得したライトフィールド情報を元に表示素子により立体画像の表示を行う。受光・表示兼用素子は、同一平面上に受光画素と表示画素とを有する素子であり、このような素子及び光学系を用いることにより、ライトフィールド情報から立体画像の表示を行う際に複雑な変換処理が必要でなくなる。
[1] Combined stereoscopic image capturing / display apparatus The combined stereoscopic image capturing / display apparatus of the present invention has a function as a light receiving element (imaging element) and a function as a display element (liquid crystal display element, light emitting element, etc.). It is a light field camera / display equipped with a light receiving / display combined element (device) having both functions, and the light field information is acquired by the light receiving element at the time of photographing, and at the time of observation, the same optical system as that at the time of imaging or almost equivalent Using an optical system, a stereoscopic image is displayed by a display element based on the acquired light field information. The light receiving / display combined element is an element having a light receiving pixel and a display pixel on the same plane. By using such an element and an optical system, a complicated conversion is performed when a stereoscopic image is displayed from light field information. No processing is necessary.
このような受光・表示兼用素子は、(a)受光画素と表示画素とを交互に並べてなる素子、(b)１つの画素が受光と発光との両方の機能を有する受光・発光兼用素子、又は(c)受光素子ユニットと表示素子ユニットとを交互に並べてなる素子により実現することができる。ここで受光素子ユニットとは特定数の受光画素からなる微小な受光素子であり、表示素子ユニットとは特定数の表示画素からなる微小な表示素子である。態様(a)の受光画素と表示画素との配列又は態様(c)の受光素子ユニットと表示素子ユニットとの配列は、交互に配列する方法であっても、無秩序さを持たせてつつ全体として均等に配置する方法であっても良い。なお本願において、受光画素及び表示画素は、それぞれ受光機能及び表示機能を有する１つの画素（ピクセル）のことであり、受光素子及び表示素子とは、それぞれ受光画素及び表示画素が複数配列してなるデバイスのことである。受光画素としては、例えばフォトダイオードやフォトトランジスター等のフォトセンサを使用することができ、表示画素としては、液晶表示画素の他に、LED、有機EL等の発光画素を使用することができる。 Such a light receiving / display combined element includes (a) an element in which light receiving pixels and display pixels are alternately arranged, (b) a light receiving / light emitting combined element in which one pixel has both functions of light reception and light emission, or (c) It can be realized by an element in which a light receiving element unit and a display element unit are alternately arranged. Here, the light receiving element unit is a minute light receiving element composed of a specific number of light receiving pixels, and the display element unit is a minute display element composed of a specific number of display pixels. The arrangement of the light receiving pixels and the display pixels in the aspect (a) or the arrangement of the light receiving element units and the display element units in the aspect (c) may be a method of alternately arranging them while maintaining disorder. A method of evenly arranging may be used. In the present application, the light receiving pixel and the display pixel are one pixel (pixel) having a light receiving function and a display function, respectively. The light receiving element and the display element are each formed by arranging a plurality of light receiving pixels and display pixels. It is a device. For example, a photosensor such as a photodiode or a phototransistor can be used as the light receiving pixel, and a light emitting pixel such as an LED or an organic EL can be used as the display pixel in addition to the liquid crystal display pixel.
態様(a)及び態様(b)の素子を用いた場合、受光画素と表示画素と（又は受光・発光兼用画素）が共通する光学系を使用することができるため、撮像時の条件と同じ条件で立体画像を表示することができる。態様(b)の場合、光学的には受光時と発光時とで同一なので、理想的な構成である。ただし、態様(b)では受光画素と発光画素とが共通であるため、原理的には受光（撮像）と発光（表示）とを同時に行うことができない。また態様(a)及び態様(c)の場合、受光画素と表示画素と、又は受光ユニットと表示ユニットとが隣接しているので、受光（撮像）と表示とを同時に行うと、表示光（発光素子又は液晶表示用のバックライト）が受光画素に迷光として作用してしまい撮像にかぶりが生じる可能性がある。しかしながら、例えば、受光動作と表示動作とのタイミングをずらして、受光動作と表示動作とをごく短時間で切り替えて行うことにより、実質的に撮像と表示とを同時に行うことが可能である。 In the case of using the element of the aspect (a) and the aspect (b), an optical system having a common light receiving pixel and display pixel (or a light receiving / light emitting pixel) can be used. Can display a stereoscopic image. In the case of the mode (b), since it is optically the same during light reception and during light emission, it is an ideal configuration. However, since the light receiving pixel and the light emitting pixel are common in the mode (b), in principle, light reception (imaging) and light emission (display) cannot be performed simultaneously. In the case of the mode (a) and the mode (c), since the light receiving pixel and the display pixel or the light receiving unit and the display unit are adjacent to each other, if light reception (imaging) and display are performed simultaneously, display light (light emission) An element or a backlight for liquid crystal display) may act as stray light on the light receiving pixels, and fogging may occur in imaging. However, for example, by shifting the timing between the light receiving operation and the display operation and switching between the light receiving operation and the display operation in a very short time, it is possible to substantially perform imaging and display at the same time.
態様(c)の素子を使用する場合、受光素子ユニットと表示素子ユニットとのそれぞれに１つの光学系（マイクロレンズ等）を対応させて配置し、光学系単位で独立の受光ユニット及び表示ユニットを構成することで、受光（撮像）と表示とを同時に行うことができる。この場合も少なくとも近傍の光学系の設計を同じものにすることで複雑な変換処理が不要となる。 When using the element of the aspect (c), one optical system (such as a microlens) is arranged corresponding to each of the light receiving element unit and the display element unit, and an independent light receiving unit and display unit are provided for each optical system unit. By configuring, light reception (imaging) and display can be performed simultaneously. In this case as well, complicated conversion processing is not required by making the design of at least the neighboring optical systems the same.
これらの態様について以下に詳しく説明する。 These aspects will be described in detail below.
(1)第一の態様
立体画像の撮像・表示兼用装置の第一の態様は、平面上に配置された複数の受光画素及び複数の表示画素からなる受光・表示兼用素子と、前記受光・表示兼用素子の画素配置面側に規則的に並べて配置され、被写体からの光を互いに視差の異なる視差画像群の光束に変換する複数の光学系とを有し、前記各視差画像を対応する前記受光画素で撮像することによって立体画像を記録できるとともに、前記表示画素からの前記視差画像群の光束を、前記各光学系により立体像の光束に変換することによって立体画像を表示することができる。
(1) First Aspect A first aspect of a stereoscopic image capturing / displaying device is a light receiving / displaying element composed of a plurality of light receiving pixels and a plurality of display pixels arranged on a plane, and the light receiving / displaying method. A plurality of optical systems that are regularly arranged on the pixel arrangement surface side of the dual-purpose element and convert light from the subject into light beams of parallax image groups having different parallaxes, and each of the parallax images corresponding to the light receiving unit. A stereoscopic image can be recorded by imaging with pixels, and a stereoscopic image can be displayed by converting the light flux of the parallax image group from the display pixel into the light flux of a stereoscopic image by the optical systems.
第一の態様における立体画像の撮像・表示兼用装置100（ライトフィールドカメラ兼ディスプレー）は図1(a)に示すように、複数の受光画素11と複数の表示画素12とが平面上に交互に配置されてなる受光・表示兼用素子1と、受光・表示兼用素子1の画素配置面1s側（被写体側及び観察側）に配置された複数の光学系2とを有する。受光・表示兼用素子1は、各光学系2aに対応する位置に、特定数の受光画素と特定数の表示画素とからなる受光・表示兼用素子ユニット1aを構成する。これらの受光・表示兼用素子ユニット1aとそれに対応する光学系2aとからなる１つの組み合わせ（単位）を、図1(b)に示すように、受光・表示ユニット3と呼ぶ。各受光・表示兼用素子ユニット1aには、特定数の受光画素11と特定数の表示画素12とが平面上に交互に配置されている。１つの表示兼用素子ユニット3に配列される受光画素11と表示画素12との数は適宜設定することができる。 As shown in FIG. 1 (a), the stereoscopic image capturing / displaying device 100 (light field camera / display) in the first embodiment has a plurality of light receiving pixels 11 and a plurality of display pixels 12 alternately on a plane. The combined light receiving / displaying element 1 and a plurality of optical systems 2 arranged on the pixel arrangement surface 1s side (the subject side and the observation side) of the light receiving / display combining element 1 are provided. The light receiving / display combined element 1 constitutes a light receiving / display combined element unit 1a including a specific number of light receiving pixels and a specific number of display pixels at positions corresponding to the respective optical systems 2a. One combination (unit) composed of the light receiving / display combined element unit 1a and the corresponding optical system 2a is referred to as a light receiving / display unit 3 as shown in FIG. In each light receiving / display element unit 1a, a specific number of light receiving pixels 11 and a specific number of display pixels 12 are alternately arranged on a plane. The number of the light receiving pixels 11 and the display pixels 12 arranged in one display / element unit 3 can be set as appropriate.
図２に第一の態様における撮像・表示兼用装置100を模式的に示す。撮像・表示兼用装置100のマス目が１つの受光・表示ユニット3を表す。図では各受光・表示ユニット3を正方配置した例を示すが、受光・表示ユニットの外径を六角形としてハニカム状に充填配置してもよいし、その他複数の多角形を同一面上に充填配置してもよい。各受光・表示ユニット3は、光学系2aとその下部に配置された受光・表示兼用素子ユニット1aとからなる。 FIG. 2 schematically shows the imaging / display combination apparatus 100 in the first embodiment. A grid of the image pickup / display combined apparatus 100 represents one light receiving / display unit 3. The figure shows an example in which each light receiving / display unit 3 is squarely arranged. However, the outer diameter of the light receiving / display unit 3 may be filled in a honeycomb shape with a hexagonal shape, and a plurality of other polygons may be filled on the same surface. You may arrange. Each light receiving / display unit 3 includes an optical system 2a and a light receiving / display combined element unit 1a disposed below the optical system 2a.
１つの受光・表示兼用素子ユニット1aは、赤色フィルター部(R)51、２つの緑色フィルター部(G)52及び青色フィルター部(B)53をベイヤー型に配列させたものを１単位とし、これらの単位が複数配列されて構成される。各赤色フィルター部(R)51、緑色フィルター部(G)52及び青色フィルター部(B)53には、それぞれ２つの受光画素11及び２つの表示画素12が交互に並べて配置されており、その上に赤色フィルター、緑色フィルター又は青色フィルターが設けられている。図2では緑色フィルター部(G)52のみを示したが、他のフィルター部も同様である。なお表示画素が液晶表示画素である場合、画素配置面の反対側にバックライトを設けることができる。各受光・表示ユニット3の境には隣の光学系からの光がかぶらないように遮光壁4を設けてもよい。なおカラーでの撮像及び表示の必要のない用途ではこれらの赤色、緑色及び青色のフィルターを設ける必要はない。 One light-receiving / display combined element unit 1a is a unit in which a red filter part (R) 51, two green filter parts (G) 52, and a blue filter part (B) 53 are arranged in a Bayer type. A plurality of units are arranged. In each red filter part (R) 51, green filter part (G) 52, and blue filter part (B) 53, two light receiving pixels 11 and two display pixels 12 are alternately arranged, respectively. Are provided with a red filter, a green filter or a blue filter. Although only the green filter part (G) 52 is shown in FIG. 2, the same applies to the other filter parts. Note that when the display pixel is a liquid crystal display pixel, a backlight can be provided on the side opposite to the pixel arrangement surface. A light shielding wall 4 may be provided at the boundary between each light receiving / display unit 3 so that light from the adjacent optical system is not fogged. It is not necessary to provide these red, green, and blue filters for applications that do not require color imaging and display.
図3(a)は、立体画像の撮像・表示兼用装置100を用いて立体画像を記録（撮像）する方法を示す模式図である。被写体からの光は、複数の光学系2によって互いに視差の異なる視差画像群の光束に変換され、光学系2a1〜2a7に対応して配置された受光・表示兼用素子ユニット1a1〜1a7に入射し、撮像画素によって撮像される。各受光・表示兼用素子ユニット1a1〜1a7で撮像された画像は、それぞれ視差の異なる画像であるため、これらの視差画像群のデータは被写体の立体情報を有している。 FIG. 3A is a schematic diagram illustrating a method of recording (imaging) a stereoscopic image using the stereoscopic image capturing / displaying apparatus 100. Light from a subject, a plurality of optical systems 2 are converted into light beams of different parallax image group of parallax, receiving and display combined elements arranged corresponding to the optical system 2a 1 to 2A region 7 unit 1a 1 to 1A 7 And imaged by the imaging pixel. Since the images picked up by each of the light receiving / display combined element units 1a 1 to 1a 7 are images having different parallaxes, the data of these parallax image groups have stereoscopic information of the subject.
図3(b)は、立体画像の撮像・表示兼用装置100を用いて立体画像を表示（観察）する方法を示す模式図である。観察時には観察者は光学系2側から各光学系2a1〜2a7を介して観察する。このとき前記撮像により得られた視差画像群のデータを対称変換して受光・表示兼用素子ユニット1a1〜1a7によって表示させると、視差画像群の光束が各光学系2a1〜2a7により立体像の光束に変換され、観察者に立体画像として認識される。 FIG. 3B is a schematic diagram showing a method of displaying (observing) a stereoscopic image using the stereoscopic image capturing / displaying apparatus 100. The observer when the observer observes through the optical systems 2a 1 to 2A region 7 from the optical system 2 side. At this time, when the parallax image group data obtained by the imaging is symmetrically converted and displayed by the light receiving / display combined element units 1a 1 to 1a 7 , the light beams of the parallax image group are three-dimensionally converted by the optical systems 2a 1 to 2a 7. It is converted into a luminous flux of the image and recognized as a stereoscopic image by the observer.
立体画像の撮像・表示兼用装置100は、例えば、立体動画像を撮影し、再生して表示するカメラ兼ディスプレー装置とすることができる。このとき立体画像の撮像・表示兼用装置100は、立体画像撮像機能により一連の動画像を視差画像群データに変換及び保存する機能を有するとともに、撮像の際のフレームレートと同一のフレームレートで再生して立体動画像を表示する機能を有する。なお、立体画像の撮像・表示兼用装置100は、例えば、立体静止画像を撮像及び表示するカメラ兼ディスプレー装置として機能することもできる。この場合、立体画像の撮像・表示兼用装置100は、一静止画像ごとに視差画像群データを取得して保存する機能を有するとともに、得られた視差画像群データを表示する機能を有する。 The stereoscopic image capturing / displaying apparatus 100 can be, for example, a camera / display apparatus that captures, reproduces, and displays a stereoscopic moving image. At this time, the stereoscopic image capturing / displaying apparatus 100 has a function of converting and storing a series of moving images into parallax image group data by a stereoscopic image capturing function, and reproduces the same frame rate as the frame rate at the time of imaging. And a function of displaying a stereoscopic moving image. Note that the stereoscopic image capturing / displaying apparatus 100 can also function as, for example, a camera / display apparatus that captures and displays a stereoscopic still image. In this case, the combined stereoscopic image capturing / displaying apparatus 100 has a function of acquiring and storing parallax image group data for each still image, and also has a function of displaying the obtained parallax image group data.
光学系としては、レンズを配列させてなるレンズアレイ、回折光学素子を配列させてなる回折光学素子アレイ、及びピンホールを配列させてなるピンホールアレイが挙げられる。設計の容易さ及び光学性能に優れたレンズアレイ（マイクロレンズアレイ）が好ましい。 Examples of the optical system include a lens array in which lenses are arranged, a diffractive optical element array in which diffractive optical elements are arranged, and a pinhole array in which pinholes are arranged. A lens array (microlens array) excellent in ease of design and optical performance is preferable.
(2)第二の態様
第二の態様における立体画像の撮像・表示兼用装置200は、図４に示すように、平面上に配置された複数の受光・発光兼用画素13からなる受光・発光兼用素子201と、前記受光・発光兼用素子201の画素配置面201s側に規則的に並べて配置され、被写体からの光を互いに視差の異なる視差画像群の光束に変換する複数の光学系2とを有し、前記各視差画像を対応する前記受光・発光兼用画素201で撮像することにより立体画像を記録できるとともに、前記受光・発光兼用画素201からの前記視差画像群の光束を、前記各光学系2aにより立体像の光束に変換することによって立体画像を表示することができることを特徴とする。
(2) Second Aspect As shown in FIG. 4, the stereoscopic image capturing / displaying apparatus 200 according to the second aspect is a light receiving / light emitting combined function composed of a plurality of light receiving / light emitting combined pixels 13 arranged on a plane. An element 201 and a plurality of optical systems 2 that are regularly arranged on the pixel arrangement surface 201s side of the light receiving / emitting element 201 and convert light from the subject into light beams of parallax images having different parallaxes. A stereoscopic image can be recorded by capturing each parallax image with the corresponding light-receiving / light-emitting combined pixel 201, and a light beam of the parallax image group from the light-receiving / light-emitting combined pixel 201 is used as the optical system 2a. Thus, a stereoscopic image can be displayed by converting the luminous flux into a stereoscopic image.
第二の態様における立体画像の撮像・表示兼用装置200は、複数の受光画素11と複数の表示画素12とが平面上に交互に配置されてなる受光・表示兼用素子１の代わりに、受光と発光との両方の機能を有する受光・発光兼用画素13を配列してなる受光・発光兼用素子201を用いた以外立体画像の撮像・表示兼用装置の第一の態様100（図１参照）と同様の構成である。従って、第一の態様における立体画像の撮像・表示兼用装置100との相違点を中心に説明する。 The stereoscopic image capturing / display combination apparatus 200 according to the second aspect is configured to receive light instead of the light reception / display combination element 1 in which a plurality of light receiving pixels 11 and a plurality of display pixels 12 are alternately arranged on a plane. Same as the first aspect 100 (see FIG. 1) of the stereoscopic image capturing / displaying apparatus except that the light receiving / light emitting combined element 201 having the light receiving / light emitting combined pixels 13 having both functions of light emission is arranged. It is the composition. Therefore, the difference from the stereoscopic image capturing / displaying apparatus 100 in the first embodiment will be mainly described.
受光・発光兼用画素13は、電気的な制御によって受光画素として機能させたり、発光画素として機能させたりすることが可能な画素であり、１つの画素（ピクセル）が受光と発光との両方の機能を有している。このため。受光（撮影）時に入射する光束と発光（表示）時に出射する光束とが全く同じ光学系2aを通ることになるので、本発明の立体画像の撮像・表示兼用装置としては理想的な構成である。 The light receiving / light emitting pixel 13 is a pixel that can function as a light receiving pixel or a light emitting pixel by electrical control, and one pixel (pixel) has both functions of light receiving and light emitting. have. For this reason. Since the light beam incident at the time of light reception (photographing) and the light beam emitted at the time of light emission (display) pass through exactly the same optical system 2a, it is an ideal configuration for a stereoscopic image capturing / display apparatus of the present invention. .
第二の態様における立体画像の撮像・表示兼用装置200は、図4(a)に示すように、複数の光学系2とそれに対応する特定数の受光・発光兼用画素13とからなる。ここで特定数の受光・発光兼用画素13を受光・発光兼用素子ユニット201aと呼ぶ。図4(b)は、１つの光学系2と１つの受光・発光兼用素子ユニット201aとからなる受光・発光ユニット203を示す。１つの受光・発光兼用素子ユニット201aに配列される受光・発光兼用画素13の数は適宜設定することができる。 As shown in FIG. 4A, the stereoscopic image capturing / displaying apparatus 200 in the second mode includes a plurality of optical systems 2 and a specific number of light receiving / emitting combined pixels 13 corresponding thereto. Here, the specific number of light receiving / light emitting combined pixels 13 is referred to as a light receiving / light emitting combined element unit 201a. FIG. 4B shows a light receiving / light emitting unit 203 including one optical system 2 and one light receiving / light emitting element unit 201a. The number of light receiving / light emitting combined pixels 13 arranged in one light receiving / light emitting combined element unit 201a can be set as appropriate.
図5に第二の態様における撮像・表示兼用装置200を模式的に示す。撮像・表示兼用装置200のマス目が１つの受光・発光ユニット203を表す。図では各受光・発光ユニット203を正方配置した例を示すが、受光・発光ユニットの外径を六角形としてハニカム状に充填配置してもよいし、その他複数の多角形を同一面上に充填配置してもよい。各受光・発光ユニット203は、光学系2aとその下部に配置された受光・発光兼用素子ユニット201aとからなる。 FIG. 5 schematically shows the combined imaging / display apparatus 200 in the second embodiment. The grid of the imaging / display combined apparatus 200 represents one light receiving / emitting unit 203. The figure shows an example in which each light receiving / emitting unit 203 is squarely arranged. However, the light receiving / emitting unit 203 may be filled in a honeycomb shape with the outer diameter of the light receiving / emitting unit being hexagonal, and other polygons may be filled on the same plane. You may arrange. Each light receiving / light emitting unit 203 includes an optical system 2a and a light receiving / light emitting element unit 201a disposed below the optical system 2a.
１つの受光・発光兼用素子ユニット201aは、赤色フィルター部(R)51、２つの緑色フィルター部(G)52及び青色フィルター部(B)53をベイヤー型に配列させたものを１単位とし、これらの単位が複数配列されて構成される。各赤色フィルター部(R)51、緑色フィルター部(G)52及び青色フィルター部(B)53には、それぞれ受光・発光兼用画素13が配置されており、その上に赤色フィルター、緑色フィルター又は青色フィルターが設けられている。各受光・発光ユニット203の境には隣の光学系からの光がかぶらないように遮光壁4を設けてもよい。なおカラーでの撮像及び表示の必要のない用途ではこれらの赤色、緑色及び青色のフィルターを設ける必要はない。 One light receiving / light emitting element unit 201a is a unit in which a red filter part (R) 51, two green filter parts (G) 52, and a blue filter part (B) 53 are arranged in a Bayer type. A plurality of units are arranged. In each red filter part (R) 51, green filter part (G) 52 and blue filter part (B) 53, a light receiving / emitting pixel 13 is arranged, respectively, on which red filters, green filters or blue A filter is provided. A light shielding wall 4 may be provided at the boundary between each light receiving / emitting unit 203 so that light from the adjacent optical system is not fogged. It is not necessary to provide these red, green, and blue filters for applications that do not require color imaging and display.
第二の態様における立体画像の撮像・表示兼用装置200を用いて立体画像を記録（撮像）する方法及び表示（観察）する方法は、第一の態様における方法と同様である。また使用できる光学系も同様である。 The method of recording (imaging) a stereoscopic image and the method of displaying (observing) the stereoscopic image using the combined apparatus 200 for capturing and displaying a stereoscopic image in the second aspect are the same as the method in the first aspect. The same applies to optical systems that can be used.
(3)第三の態様
第三の態様における立体画像の撮像・表示兼用装置300は、図6に示すように、平面上に配置された特定数の受光画素11と、前記特定数の受光画素11の画素配置面301s側に配置された撮影光学系21とからなる複数の受光ユニット301と、前記受光ユニット301の間に配置され、平面上に配置された特定数の表示画素12と、前記特定数の表示画素12の画素配置面301s側に配置された表示光学系22とからなる複数の表示ユニット302とを有し、前記複数の受光ユニット301により、それぞれ被写体からの光を互いに視差の異なる視差画像群の光束に変換し撮像することによって立体画像を記録できるとともに、前記複数の表示ユニット302により、前記視差画像群の光束を立体像の光束に変換することによって立体画像を表示することを特徴とする。
(3) Third Aspect The stereoscopic image capturing / displaying apparatus 300 according to the third aspect includes a specific number of light receiving pixels 11 arranged on a plane and the specific number of light receiving pixels, as shown in FIG. A plurality of light receiving units 301 composed of the photographing optical system 21 disposed on the pixel placement surface 301s side, a specific number of display pixels 12 disposed between the light receiving units 301 and disposed on a plane, A plurality of display units 302 including a display optical system 22 arranged on the pixel arrangement surface 301 s side of the specific number of display pixels 12, and the plurality of light receiving units 301 respectively convert light from the subject to parallax. A stereoscopic image can be recorded by converting to a luminous flux of a different parallax image group and captured, and a stereoscopic image can be displayed by converting the luminous flux of the parallax image group to a luminous flux of a stereoscopic image by the plurality of display units 302. It is characterized by.
第三の態様における立体画像の撮像・表示兼用装置300は、複数の受光ユニット301と複数の表示ユニット302とが平面上に、交互に又は無秩序さをもって均等に配置された構成を有する。各受光ユニット301は、特定数の受光画素11を有する受光素子ユニット311と撮影光学系21とを有し、各表示ユニット302は、特定数の表示画素12を有する表示素子ユニット312と表示光学系22とを有している。ここで特定数の受光画素11を受光素子ユニット311と呼び、特定数の受光画素12を表示素子ユニット312と呼ぶ。各受光ユニット301と表示ユニット302との間には表示ユニット302からの光がかぶらないように遮光壁4を設けるのが好ましい。撮影光学系21と表示光学系22とは同等の光学性能を有するのが好ましく、少なくとも近傍の光学系の光学設計は同一であるのが好ましい。受光素子ユニット311を構成する特定数の受光画素11の数は適宜設計することができ、同様に、表示素子ユニット312を特定数の表示画素12も適宜設計することができる。 The stereoscopic image capturing / displaying apparatus 300 according to the third aspect has a configuration in which a plurality of light receiving units 301 and a plurality of display units 302 are arranged alternately or evenly on a plane. Each light receiving unit 301 includes a light receiving element unit 311 having a specific number of light receiving pixels 11 and a photographing optical system 21, and each display unit 302 includes a display element unit 312 having a specific number of display pixels 12 and a display optical system. And 22. Here, the specific number of light receiving pixels 11 is referred to as a light receiving element unit 311, and the specific number of light receiving pixels 12 is referred to as a display element unit 312. A light shielding wall 4 is preferably provided between each light receiving unit 301 and the display unit 302 so that the light from the display unit 302 is not fogged. It is preferable that the photographing optical system 21 and the display optical system 22 have the same optical performance, and at least the optical design of the adjacent optical systems is preferably the same. The number of the specific number of light receiving pixels 11 constituting the light receiving element unit 311 can be designed as appropriate. Similarly, the display element unit 312 can also be designed as appropriate for the specific number of display pixels 12.
図7に第三の態様における撮像・表示兼用装置300を模式的に示す。撮像・表示兼用装置300の一つのマス目が１つの受光ユニット301又は表示ユニット302を表し、図では受光ユニット301と表示ユニット302とが交互に配置されている。受光ユニット301と表示ユニット302との配列方法は、第一の態様と同様、正方配置でもよいし、ハニカム状に充填配置してもよいし、その他複数の多角形を同一面上に充填配置してもよい。 FIG. 7 schematically shows the combined imaging / display apparatus 300 in the third embodiment. One grid of the image pickup / display combined apparatus 300 represents one light receiving unit 301 or display unit 302. In the figure, the light receiving units 301 and the display units 302 are alternately arranged. The arrangement method of the light receiving unit 301 and the display unit 302 may be a square arrangement, a honeycomb arrangement, or a plurality of other polygons arranged on the same plane as in the first embodiment. May be.
１つの受光ユニット301は、赤色フィルター部(R)51、２つの緑色フィルター部(G)52及び青色フィルター部(B)53をベイヤー型に配列させたものを１単位とし、これらの単位が複数配列されて構成される。各赤色フィルター部(R)51、緑色フィルター部(G)52及び青色フィルター部(B)53には、それぞれ受光画素11が配置されている。１つの表示ユニット302は、赤色フィルター部(R)51、２つの緑色フィルター部(G)52及び青色フィルター部(B)53をベイヤー型に配列させたものを１単位とし、これらの単位が複数配列されて構成される。各赤色フィルター部(R)51、緑色フィルター部(G)52及び青色フィルター部(B)53には、それぞれ表示画素12が配置されている。なおカラーでの撮像及び表示の必要のない用途ではこれらの赤色、緑色及び青色のフィルターを設ける必要はない。 One light receiving unit 301 is a unit in which a red filter part (R) 51, two green filter parts (G) 52, and a blue filter part (B) 53 are arranged in a Bayer shape, and there are a plurality of these units. Arranged and configured. In each red filter part (R) 51, green filter part (G) 52, and blue filter part (B) 53, a light receiving pixel 11 is arranged. One display unit 302 has a red filter part (R) 51, two green filter parts (G) 52, and a blue filter part (B) 53 arranged in a Bayer shape as one unit, and there are a plurality of these units. Arranged and configured. Each red filter part (R) 51, green filter part (G) 52, and blue filter part (B) 53 is provided with a display pixel 12. It is not necessary to provide these red, green, and blue filters for applications that do not require color imaging and display.
第三の態様における立体画像の撮像・表示兼用装置300は、受光（撮像）部と表示部とが独立しているが、この装置を用いて立体画像を記録（撮像）する方法及び表示（観察）する方法は、第一の態様における方法と同様である。第三の態様では受光（撮像）部と表示部とが独立しているため、撮像と表示とを同時に行うことが可能である。また使用できる光学系も同様のものにすることができる。 In the stereoscopic image capturing / displaying apparatus 300 according to the third aspect, the light receiving (imaging) unit and the display unit are independent, and a method and a display (observation) for recording (imaging) a stereoscopic image using this device. ) Is the same as the method in the first embodiment. In the third aspect, since the light receiving (imaging) unit and the display unit are independent, it is possible to simultaneously perform imaging and display. Also, the same optical system can be used.
[2] ヘッドマウント装置
本発明の立体画像の撮像・表示兼用装置は、同一面で撮影と表示ができるので、撮影時には前記画素配置面が被写体方向を向き、表示時には前記画素配置面が観察者の目と対向するように前記立体画像の撮像・表示兼用装置の向きを変更できるようにすることで、撮像と表示（鑑賞）とを手軽に行うことのできるヘッドマウント装置が得られる。
[2] Head Mount Device The stereoscopic image pickup / display combined device of the present invention can shoot and display on the same plane, so that the pixel arrangement plane faces the subject direction at the time of shooting, and the pixel arrangement plane at the time of display is an observer. By making it possible to change the orientation of the stereoscopic image capturing / displaying device so as to face the eyes, a head mount device that can easily perform imaging and display (viewing) can be obtained.
例えば、図８に示すような、立体画像の撮像・表示兼用装置401を眼鏡の上側の縁に上下に180°反転できるようにした、すなわち跳ね上げ式サングラスのような形態のヘッドマウント装置400とすることができる。撮影時には、図8(a)に示すように、撮像・表示兼用装置401を額に跳ね上げて画素配置面401sが被写体の方向を向くようにすることで、目で見た光景と同等の立体画像の記録ができる。鑑賞時には、図8(b)に示すように、撮像・表示兼用装置401を180°回転させて目の前に下ろして画素配置面401sを目の方向に向けて観察することができる。このようなヘッドマウント装置400により、非常に手軽に、自分が目にした光景をリアルな距離感をもってそのまま記録し再現することができる。 For example, as shown in FIG. 8, a stereoscopic image capturing / displaying device 401 can be turned 180 ° up and down on the upper edge of the glasses, that is, a head mount device 400 in the form of flip-up sunglasses, can do. At the time of shooting, as shown in FIG. 8 (a), the imaging / display combined device 401 is flipped up to the forehead so that the pixel arrangement surface 401s faces the direction of the subject, so that the stereoscopic view is equivalent to the sight seen with the eyes. You can record images. At the time of viewing, as shown in FIG. 8 (b), the image pickup / display combined apparatus 401 can be rotated 180 degrees and lowered in front of the eyes so that the pixel arrangement surface 401s can be observed in the direction of the eyes. With such a head mount device 400, it is possible to record and reproduce the scene that he / she sees as it is with a realistic sense of distance.
他の構成のヘッドマウント装置500は、図9(a)に示すように、視界前方に配置された第1のハーフミラー501と、第1のハーフミラー501と人の眼との間にほぼ45°の角度で配置された第2のハーフミラー502と、第2のハーフミラー502からの反射光を入光する位置に配置された本発明の立体画像の撮像・表示兼用装置503とを備える。立体画像の撮像・表示兼用装置503には、必要に応じてその背面にバックライト504を設けてもよい。 As shown in FIG. 9 (a), the head mount device 500 having another configuration includes a first half mirror 501 disposed in front of the field of view, and a gap of approximately 45 between the first half mirror 501 and the human eye. A second half mirror 502 disposed at an angle of °, and a stereoscopic image capturing / displaying apparatus 503 according to the present invention disposed at a position where the reflected light from the second half mirror 502 is incident. In the stereoscopic image capturing / displaying apparatus 503, a backlight 504 may be provided on the back surface thereof as necessary.
撮影時には、図9(b)に示すように、第1のハーフミラー501を通して入射した被写体からの光を第2のハーフミラー502を通過させて人の眼に導くとともに、第2のハーフミラー502で反射させて立体画像の撮像・表示兼用装置503に導く。従って、第2のハーフミラー502によって反射して立体画像の撮像・表示兼用装置503に形成された像と同等の像が仮想的な撮像面505に観察される。 At the time of shooting, as shown in FIG. 9 (b), the light from the subject incident through the first half mirror 501 passes through the second half mirror 502 and is guided to the human eye, and the second half mirror 502 And is led to the stereoscopic image capturing / displaying device 503. Therefore, an image equivalent to the image formed on the stereoscopic image capturing / displaying device 503 reflected by the second half mirror 502 is observed on the virtual imaging surface 505.
表示時には、図9(c)に示すように、立体画像の撮像・表示兼用装置503により表示した立体画像を前記第2のハーフミラー502及び前記第1のハーフミラー501で反射させ、さらに第2のハーフミラー502を通過させて人の眼に導く。従って、観察者からは、立体画像の撮像・表示兼用装置503が仮想的な表示面506に見える。この仮想的な表示面506は、前記仮想的な撮像面505に対して、第1のハーフミラー501〜第2のハーフミラー502〜立体画像の撮像・表示兼用装置503の光路に沿った距離分だけ遠くに位置するので、被写体の虚像が見える位置も同じ距離だけ遠くなる。通常、この仮想的な撮像面505と仮想的な表示面506との間の距離は被写体と観察者との間の距離に比べてかなり短いので問題とならないが、仮想的な表示面506の位置が遠くなることによって視野角が狭くなってしまうという問題が生じる場合がある。 At the time of display, as shown in FIG. 9 (c), the stereoscopic image displayed by the stereoscopic image capturing / displaying device 503 is reflected by the second half mirror 502 and the first half mirror 501, and further the second The half mirror 502 is passed through and guided to the human eye. Therefore, the observer can see the stereoscopic image capturing / displaying device 503 on the virtual display surface 506. This virtual display surface 506 is the distance from the virtual imaging surface 505 along the optical path of the first half mirror 501 to the second half mirror 502 to the stereoscopic image capturing / displaying device 503. Therefore, the position where the virtual image of the subject can be seen is also distant by the same distance. Usually, the distance between the virtual imaging surface 505 and the virtual display surface 506 is considerably shorter than the distance between the subject and the observer, so this is not a problem. There may be a problem that the viewing angle becomes narrow due to the increase in the distance.
上記の問題を解決する一例として、例えば図10に示すようなヘッドマウント装置600が挙げられる。このヘッドマウント装置600は、第１のハーフミラー601を曲面とした以外図９に示すヘッドマウント装置500と同様の構成である。第１のハーフミラー601は、例えば、両面の曲率半径が等しいごく薄いメニスカスレンズで、観察者側に位置する反射面の曲率中心が、例えば、仮想的な撮像面605（第2のハーフミラー602によって反射して立体画像の撮像・表示兼用装置603に形成された像と同等の像が観察される面）の位置にあるように構成する。このような構成であれば、透過光に対してはレンズ効果を及ぼさず、仮想的な撮像面605の位置と仮想的な表示面606の位置が一致する。つまり、撮影と表示を同じ位置で行うこととなるとともに、視野角が狭くなるという問題が解消される。 As an example for solving the above problem, for example, a head mount device 600 as shown in FIG. 10 is cited. The head mount device 600 has the same configuration as the head mount device 500 shown in FIG. 9 except that the first half mirror 601 has a curved surface. The first half mirror 601 is, for example, a very thin meniscus lens having the same curvature radius on both sides, and the center of curvature of the reflecting surface located on the viewer side is, for example, a virtual imaging surface 605 (second half mirror 602). Therefore, the image is equivalent to the image formed on the stereoscopic image capturing / displaying device 603 and is located on the surface). With such a configuration, the lens effect is not exerted on the transmitted light, and the position of the virtual imaging surface 605 matches the position of the virtual display surface 606. That is, the problem that the photographing and the display are performed at the same position and the viewing angle is narrowed is solved.
この例では第1のハーフミラー601を両面の曲率半径が等しい薄いメニスカスレンズとしたが、収差補正のために曲面を非球面とする、接合レンズとして接合面を反射面として構成する、第2のハーフミラーも曲面とするなどしても良い。いずれの場合も、第1のハーフミラーと第2のハーフミラーからなる系が透過光に対してレンズ効果を有さないようにすることによって、裸眼で見たのと同じ光景を再現することができる。また、普段メガネを使っている観察者に対しては、第1のハーフミラーと第2のハーフミラーからなる系が、透過光に対して普段使っているメガネと同じレンズ効果を有するように構成することによって、メガネ装着状態で見るのと同じ光景を表現することができる。 In this example, the first half mirror 601 is a thin meniscus lens with equal curvature radii on both sides, but a curved surface is aspherical for aberration correction, and the cemented surface is configured as a reflecting surface as a cemented lens. The half mirror may also be curved. In either case, the same scene as seen with the naked eye can be reproduced by preventing the system consisting of the first half mirror and the second half mirror from having a lens effect on the transmitted light. it can. For observers who normally use eyeglasses, the system consisting of the first half mirror and the second half mirror is configured to have the same lens effect on the transmitted light as the eyeglasses normally used. By doing so, it is possible to express the same sight as that seen when wearing glasses.
[3] その他の応用例
本発明の立体画像の撮像・表示兼用装置は、同一又は同等の光学系を用いてライトフィールドを撮像及び表示できるので、撮像面（表示面）・画面サイズが大きなものでは両眼視差・運動視差・輻輳、小さなもの（メガネ型等）では両眼視差・輻輳・ピント感覚が再現でき、自然な距離感を表現できる。撮影と表示とを一体化することによって同一面で撮影と表示とができるので、撮像面（表示面）・画面サイズが大きなものでは撮影機能と表示機能とを同時に動作させることによりテレビ電話・テレビ会議システムとして好適に使用できる。撮影と表示の位置が一致しているので、自然なアイコンタクトができ、また複数人が参加している場合でも任意の相手とアイコンタクトできる。また同一面で撮影と表示とができるので、この装置で目立たせたくないものの周囲を覆い、裏側の面で受けたライトフィールドをそのまま又は加工して表示することにより光学的な「迷彩」が実現できる。
[3] Other application examples The stereoscopic image pickup / display combined apparatus of the present invention can pick up and display a light field using the same or equivalent optical system, and therefore has a large image pickup surface (display surface) and screen size. Can reproduce binocular parallax / motion parallax / convergence, and small ones (glasses type etc.) can reproduce binocular parallax / convergence / focus feeling, and can express a natural sense of distance. By integrating shooting and display, shooting and display can be performed on the same plane, so if the imaging surface (display surface) and screen size are large, the shooting function and display function can be operated simultaneously to make a videophone / TV It can be suitably used as a conference system. Since the shooting and display positions match, natural eye contact is possible, and even when multiple people are participating, eye contact can be made with any partner. In addition, because it is possible to shoot and display on the same surface, the optical camouflage is realized by covering the surroundings of things that you do not want to stand out with this device and displaying the light field received on the back side as it is or processing it it can.
ライトフィールドを再現するためには膨大な光線が必要であり、そのための情報量は膨大なものになる。しかし、ライトフィールド表示装置が表示する光線のうち、観察者の瞳に入って知覚されるのはごく一部である。本発明の立体画像の撮像・表示兼用装置は表示面と同じ面が撮影機能を持つので、撮影データから観察者の瞳あるいは顔を認識することで、表示時に観察者に知覚される光線を精度よく特定することができる。これを利用して、表示やそのためのデータ処理やデータ伝送の過程で、観察者の瞳あるいは顔の近傍に至る光線に関わるもののみを取り扱うことによって、計算量やデータ通信量を大幅に削減することができる。 In order to reproduce a light field, an enormous amount of light is required, and the amount of information for that purpose is enormous. However, only a small part of the light rays displayed by the light field display device are perceived by entering the pupil of the observer. Since the stereoscopic image capturing / displaying device of the present invention has a photographing function on the same surface as the display surface, the light perceived by the observer at the time of display can be accurately detected by recognizing the observer's pupil or face from the photographing data. Can be identified well. Using this, the amount of calculation and data communication are greatly reduced by handling only the light rays that reach the vicinity of the observer's pupil or face in the process of display and data processing and data transmission for that purpose. be able to.
100・・・撮像・表示兼用装置の第一の態様
1・・・受光・表示兼用素子
1a・・・受光・表示兼用素子ユニット
1s・・・画素配置面
11・・・受光画素
12・・・表示画素
13・・・受光・発光兼用画素
2・・・複数の光学系
2a・・・光学系
3・・・受光・表示ユニット
4・・・遮光壁
51・・・赤色フィルター部
52・・・緑色フィルター部
53・・・青色フィルター部
200・・・撮像・表示兼用装置の第二の態様
201・・・受光・発光兼用素子
201a・・・受光・発光兼用素子ユニット
201s・・・画素配置面
203・・・受光・発光ユニット
300・・・撮像・表示兼用装置の第三の態様
21・・・撮影光学系
22・・・表示光学系
301・・・受光ユニット
301s・・・画素配置面
302・・・表示ユニット
311・・・受光素子ユニット
312・・・表示素子ユニット
400・・・ヘッドマウント装置
401・・・撮像・表示兼用装置
401s・・・画素配置面
500・・・ヘッドマウント装置
501・・・第1のハーフミラー
502・・・第2のハーフミラー
503・・・撮像・表示兼用装置
504・・・バックライト
505・・・仮想的な撮像面
506・・・仮想的な表示面
600・・・ヘッドマウント装置
601・・・第1のハーフミラー
602・・・第2のハーフミラー
603・・・撮像・表示兼用装置
604・・・バックライト
605・・・仮想的な撮像面
606・・・仮想的な表示面
100 ... 1st aspect of imaging / display combined use apparatus
1 ... Light receiving / display combined element
1a ・ ・ ・ Light receiving / display combined element unit
1s ... Pixel arrangement surface
11 ... Light receiving pixel
12 ... Display pixel
13 ... Receiving and emitting pixels
2 ... Multiple optical systems
2a ... Optical system
3. Light receiving / display unit
4 ... Shading wall
51 ... Red filter section
52 ... Green filter
53 ・ ・ ・ Blue filter
200 ... Second aspect of the combined imaging and display device
201 ・ ・ ・ Light receiving / light emitting element
201a ・ ・ ・ Light receiving / light emitting element unit
201s ・ ・ ・ Pixel arrangement surface
203 ・ ・ ・ Light-receiving / light-emitting unit
300 ... Third aspect of the combined imaging and display device
21 ... Shooting optics
22 ... Display optical system
301 ・ ・ ・ Light receiving unit
301s ・ ・ ・ Pixel arrangement surface
302 ・ ・ ・ Display unit
311: Light receiving element unit
312: Display element unit
400 ・ ・ ・ Head mount device
401 ... Imaging / display combined device
401s ・ ・ ・ Pixel arrangement surface
500 ・ ・ ・ Head mount device
501 ... 1st half mirror
502 ・ ・ ・ Second half mirror
503 ... Imaging / display combined device
504 ・ ・ ・ Backlight
505 ... Virtual imaging surface
506 ... Virtual display surface
600 ・ ・ ・ Head mounting device
601 ... first half mirror
602 ... Second half mirror
603 ... Imaging / display device
604 ・ ・ ・ Backlight
605 ... Virtual imaging surface
606 ... Virtual display surface
Claims (18)
前記受光・表示兼用素子の画素配置面側に規則的に並べて配置され、被写体からの光を互いに視差の異なる視差画像群の光束に変換する複数の光学系とを有し、
前記各視差画像を対応する前記受光画素で撮像することによって立体画像を記録できるとともに、
前記表示画素からの前記視差画像群の光束を、前記各光学系により立体像の光束に変換することによって立体画像を表示することができることを特徴とする立体画像の撮像・表示兼用装置。 A light receiving / display combined element composed of a plurality of light receiving pixels and a plurality of display pixels arranged on a plane;
A plurality of optical systems that are regularly arranged on the pixel arrangement surface side of the light receiving / display combined element, and convert light from the subject into light beams of parallax image groups having different parallax from each other;
A stereoscopic image can be recorded by capturing each parallax image with the corresponding light receiving pixel,
A stereoscopic image pickup / display apparatus characterized in that a stereoscopic image can be displayed by converting the luminous flux of the parallax image group from the display pixel into a luminous flux of a stereoscopic image by the optical systems.
前記受光・発光兼用素子の画素配置面側に規則的に並べて配置され、被写体からの光を互いに視差の異なる視差画像群の光束に変換する複数の光学系とを有し、
前記各視差画像を対応する前記受光・発光兼用画素で撮像することにより立体画像を記録できるとともに、
前記受光・発光兼用画素からの前記視差画像群の光束を、前記各光学系により立体像の光束に変換することによって立体画像を表示することができることを特徴とする立体画像の撮像・表示兼用装置。 A light-receiving / light-emitting element composed of a plurality of light-receiving / light-emitting pixels arranged on a plane;
A plurality of optical systems that are regularly arranged on the pixel arrangement surface side of the light receiving / emitting element, and convert light from the subject into light beams of parallax image groups having different parallax from each other;
A stereoscopic image can be recorded by capturing each parallax image with the corresponding light-receiving / light-emitting pixels,
A stereoscopic image capturing / displaying device capable of displaying a stereoscopic image by converting a light beam of the parallax image group from the light receiving / emitting pixel into a stereoscopic image light beam by the optical systems. .
前記複数の光学系が、レンズアレイにより構成されていることを特徴とする立体画像の撮像・表示兼用装置。 In the stereoscopic image capturing / displaying device according to claim 1 or 2,
A stereoscopic image capturing / displaying apparatus characterized in that the plurality of optical systems are constituted by a lens array.
前記複数の光学系が、回折光学素子により構成されていることを特徴とする立体画像の撮像・表示兼用装置。 In the stereoscopic image capturing / displaying device according to claim 1 or 2,
A stereoscopic image capturing / displaying apparatus, wherein the plurality of optical systems are configured by diffractive optical elements.
前記複数の光学系が、ピンホールアレイにより構成されていることを特徴とする立体画像の撮像・表示兼用装置。 In the stereoscopic image capturing / displaying device according to claim 1 or 2,
A stereoscopic image capturing / displaying apparatus characterized in that the plurality of optical systems are constituted by a pinhole array.
前記受光ユニットの間に配置され、平面上に配置された特定数の表示画素と、前記特定数の表示画素の画素配置面側に配置された表示光学系とからなる複数の表示ユニットとを有し、
前記複数の受光ユニットにより、それぞれ被写体からの光を互いに視差の異なる視差画像群の光束に変換し撮像することによって立体画像を記録できるとともに、
前記複数の表示ユニットにより、前記視差画像群の光束を立体像の光束に変換することによって立体画像を表示することを特徴とする立体画像の撮像・表示兼用装置。 A plurality of light receiving units including a specific number of light receiving pixels arranged on a plane and a photographing optical system arranged on a pixel arrangement surface side of the specific number of light receiving pixels;
A plurality of display units each including a specific number of display pixels disposed between the light receiving units and disposed on a plane; and a display optical system disposed on a pixel arrangement surface side of the specific number of display pixels. And
The plurality of light receiving units can record a stereoscopic image by converting light from a subject into light beams of parallax image groups having different parallaxes, and capturing images.
A stereoscopic image capturing / displaying apparatus characterized in that a stereoscopic image is displayed by converting a light beam of the parallax image group into a light beam of a stereoscopic image by the plurality of display units.
前記撮影光学系及び表示光学系が、レンズアレイにより構成されていることを特徴とする立体画像の撮像・表示兼用装置。 The stereoscopic image capturing / displaying device according to claim 6 or 7,
A stereoscopic image capturing / displaying apparatus, wherein the photographing optical system and the display optical system are constituted by a lens array.
前記撮影光学系及び表示光学系が、回折光学素子により構成されていることを特徴とする立体画像の撮像・表示兼用装置。 The stereoscopic image capturing / displaying device according to claim 6 or 7,
A stereoscopic image capturing / displaying apparatus, wherein the photographing optical system and the display optical system are configured by a diffractive optical element.
前記撮影光学系及び表示光学系が、ピンホールアレイにより構成されていることを特徴とする立体画像の撮像・表示兼用装置。 The stereoscopic image capturing / displaying device according to claim 6 or 7,
A stereoscopic image capturing / displaying apparatus, wherein the photographing optical system and the display optical system are constituted by a pinhole array.
前記撮影光学系と前記表示光学系とが同一の光学特性を有することを特徴とする立体画像の撮像・表示兼用装置。 In the imaging / display combined use apparatus of the stereo image in any one of Claims 6-10,
A stereoscopic image capturing / displaying apparatus, wherein the photographing optical system and the display optical system have the same optical characteristics.
撮像と表示とを同時に行うことができることを特徴とする立体画像の撮像・表示兼用装置。 In the combined imaging and display device for a stereoscopic image according to any one of claims 1 to 11,
A stereoscopic image capturing / displaying apparatus characterized in that imaging and display can be performed simultaneously.
撮影時には前記画素配置面が被写体方向を向き、表示時には前記画素配置面が観察者の目と対向するように前記立体画像の撮像・表示兼用装置の向きを変更できるようにしたことを特徴とするヘッドマウント装置。 A head mount device using the stereoscopic image capturing / displaying device according to claim 1,
It is possible to change the orientation of the stereoscopic image capturing / display apparatus so that the pixel arrangement surface faces the subject direction during shooting and the pixel arrangement surface faces the observer's eyes during display. Head mount device.
視界前方に配置された第1のハーフミラーと、前記第1のハーフミラーと人の眼との間にほぼ45°の角度で配置された第2のハーフミラーと、前記第2のハーフミラーからの反射光を入光する位置に配置された前記立体画像の撮像・表示兼用装置とを有し、
前記第1のハーフミラーを通して入射した被写体からの光を前記第2のハーフミラーを通過させて人の眼に導くとともに、前記第2のハーフミラーで反射させて前記立体画像の撮像・表示兼用装置に導くことができ、さらに前記立体画像の撮像・表示兼用装置により表示した立体画像を前記第2のハーフミラー及び前記第1のハーフミラーで反射させ、さらに第2のハーフミラーを通過させて人の眼に導くようにしたことを特徴とするヘッドマウント装置。 A head mount device using the stereoscopic image capturing / displaying device according to claim 1,
From the first half mirror disposed in front of the field of view, the second half mirror disposed at an angle of approximately 45 ° between the first half mirror and the human eye, and the second half mirror A stereoscopic image capturing / displaying device disposed at a position where incident reflected light is incident,
Combined imaging and display device for stereoscopic images by directing light from the subject incident through the first half mirror to the human eye through the second half mirror and reflecting the light to the human eye A stereoscopic image displayed by the combined apparatus for capturing and displaying stereoscopic images is reflected by the second half mirror and the first half mirror, and further passed through the second half mirror. Head mount device characterized in that it is guided to the eyes.
前記第1のハーフミラー又は前記第2のハーフミラーが曲面のハーフミラーであることを特徴とするヘッドマウント装置。 In the head mount device according to claim 14,
The head mount device, wherein the first half mirror or the second half mirror is a curved half mirror.
前記第1のハーフミラー及び前記第2のハーフミラーからなる系が、透過光する光に対してレンズ効果を有さないことを特徴とするヘッドマウント装置。 In the head mount device according to claim 14 or 15,
A head mount device, wherein a system comprising the first half mirror and the second half mirror does not have a lens effect on transmitted light.
前記第1のハーフミラー及び前記第2のハーフミラーからなる系が、透過光する光に対して視力矯正効果を有することを特徴とするヘッドマウント装置。 In the head mount device according to claim 14 or 15,
The head mount device, wherein the system including the first half mirror and the second half mirror has a visual acuity correction effect on transmitted light.
前記立体画像の撮像・表示兼用装置の撮像機能によって取得した観察者の顔又は瞳の位置情報を利用して、表示並びに表示に関わるデータ処理並びにデータ伝送において、瞳又は顔の近傍に至る光線に関わるもののみを取り扱うようにしたことを特徴とするヘッドマウント装置。 In the head mount device according to any one of claims 14 to 17,
By using the position information of the face or pupil of the observer acquired by the imaging function of the stereoscopic image capturing / displaying apparatus, in the data processing and data transmission related to display and display, the light beam reaching the vicinity of the pupil or face A head mount device characterized by handling only related items.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017048159A JP6907616B2 (en) | 2017-03-14 | 2017-03-14 | Stereoscopic image imaging / display combined device and head mount device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017048159A JP6907616B2 (en) | 2017-03-14 | 2017-03-14 | Stereoscopic image imaging / display combined device and head mount device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2018152748A true JP2018152748A (en) | 2018-09-27 |
| JP6907616B2 JP6907616B2 (en) | 2021-07-21 |
Family
ID=63680664
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017048159A Active JP6907616B2 (en) | 2017-03-14 | 2017-03-14 | Stereoscopic image imaging / display combined device and head mount device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6907616B2 (en) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021049694A1 (en) * | 2019-09-10 | 2021-03-18 | 엘지전자 주식회사 | Electronic device |
| US20220045040A1 (en) * | 2018-12-18 | 2022-02-10 | Parc d'Entreprises Sud Galaxie | Optoelectronic device for acquiring multi-viewpoint images and/or displaying multi-viewpoint images |
| WO2024009882A1 (en) * | 2022-07-08 | 2024-01-11 | 学校法人常翔学園 | Video system, three-dimensional element video acquisition method, recording medium, second lens array, three-dimensional display device, and three-dimensional element video signal transmission method |
| JP7474317B2 (en) | 2019-03-18 | 2024-04-24 | ブレリョン インコーポレイテッド | Display systems providing concentric light fields and hybrid monocular to binocular |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07115574A (en) * | 1993-10-19 | 1995-05-02 | Sony Corp | Display device with image pickup function |
| JPH11122544A (en) * | 1997-10-16 | 1999-04-30 | Sony Corp | Image pickup device |
| JP2005303966A (en) * | 2004-03-19 | 2005-10-27 | Sony Corp | Information processing equipment, its method and recording medium, program and display unit |
| JP2010055507A (en) * | 2008-08-29 | 2010-03-11 | Sony Corp | Input-output device |
| JP2010277372A (en) * | 2009-05-28 | 2010-12-09 | National Institute Of Information & Communication Technology | System and method for displaying video |
| JP2013171224A (en) * | 2012-02-22 | 2013-09-02 | Sony Corp | Display device |
| US20140340390A1 (en) * | 2013-05-17 | 2014-11-20 | Nvidia Corporation | System, method, and computer program product to produce images for a near-eye light field display having a defect |
| WO2015079610A1 (en) * | 2013-11-26 | 2015-06-04 | ソニー株式会社 | Head-mounted display |
| JP2015521298A (en) * | 2012-04-25 | 2015-07-27 | マイクロソフト コーポレーション | Light field projector based on movable LED array and microlens array for use in head mounted display |
-
2017
- 2017-03-14 JP JP2017048159A patent/JP6907616B2/en active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07115574A (en) * | 1993-10-19 | 1995-05-02 | Sony Corp | Display device with image pickup function |
| JPH11122544A (en) * | 1997-10-16 | 1999-04-30 | Sony Corp | Image pickup device |
| JP2005303966A (en) * | 2004-03-19 | 2005-10-27 | Sony Corp | Information processing equipment, its method and recording medium, program and display unit |
| JP2010055507A (en) * | 2008-08-29 | 2010-03-11 | Sony Corp | Input-output device |
| JP2010277372A (en) * | 2009-05-28 | 2010-12-09 | National Institute Of Information & Communication Technology | System and method for displaying video |
| JP2013171224A (en) * | 2012-02-22 | 2013-09-02 | Sony Corp | Display device |
| JP2015521298A (en) * | 2012-04-25 | 2015-07-27 | マイクロソフト コーポレーション | Light field projector based on movable LED array and microlens array for use in head mounted display |
| US20140340390A1 (en) * | 2013-05-17 | 2014-11-20 | Nvidia Corporation | System, method, and computer program product to produce images for a near-eye light field display having a defect |
| WO2015079610A1 (en) * | 2013-11-26 | 2015-06-04 | ソニー株式会社 | Head-mounted display |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20220045040A1 (en) * | 2018-12-18 | 2022-02-10 | Parc d'Entreprises Sud Galaxie | Optoelectronic device for acquiring multi-viewpoint images and/or displaying multi-viewpoint images |
| JP7474317B2 (en) | 2019-03-18 | 2024-04-24 | ブレリョン インコーポレイテッド | Display systems providing concentric light fields and hybrid monocular to binocular |
| WO2021049694A1 (en) * | 2019-09-10 | 2021-03-18 | 엘지전자 주식회사 | Electronic device |
| US11668934B2 (en) | 2019-09-10 | 2023-06-06 | Lg Electronics Inc. | Electronic device |
| WO2024009882A1 (en) * | 2022-07-08 | 2024-01-11 | 学校法人常翔学園 | Video system, three-dimensional element video acquisition method, recording medium, second lens array, three-dimensional display device, and three-dimensional element video signal transmission method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6907616B2 (en) | 2021-07-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105492957B (en) | Using the image display of pairs of glasses form | |
| JP6184983B2 (en) | Image generation system and image generation method | |
| JPH07159723A (en) | Stereoscopic picture display device | |
| US20090059364A1 (en) | Systems and methods for electronic and virtual ocular devices | |
| JP6907616B2 (en) | Stereoscopic image imaging / display combined device and head mount device | |
| US10310369B2 (en) | Stereoscopic reproduction system using transparency | |
| CN107111147A (en) | Stereos copic viewing device | |
| CN106338819A (en) | Digital viewing full-view-field AR (augmented reality) multimedia telescope | |
| WO2011134215A1 (en) | Stereoscopic camera device | |
| KR101650706B1 (en) | Device for wearable display | |
| CN110187506A (en) | Optical presentation system and augmented reality equipment | |
| CN106291945B (en) | A kind of display panel and display device | |
| US8279269B2 (en) | Mobile information kiosk with a three-dimensional imaging effect | |
| RU2698919C2 (en) | Stereo display (embodiments), video camera for stereoscopic shooting and method for stereoscopic images computer formation for such stereo display | |
| JP3676916B2 (en) | Stereoscopic imaging device and stereoscopic display device | |
| JP3205552B2 (en) | 3D image pickup device | |
| CN101916035A (en) | Stereo pick-up device and method | |
| CN107329267B (en) | Near-eye display and near-eye display system | |
| CN105242406A (en) | 3D spectacles | |
| JP2004258594A (en) | Three-dimensional image display device realizing appreciation from wide angle | |
| JP2006129225A (en) | Stereoscopic video image display device and method | |
| JP2007088536A (en) | Three-dimensional video presenting/imaging apparatus | |
| JP3171933B2 (en) | Imaging display method and display device | |
| CN219225208U (en) | VR perspective system and VR equipment | |
| JP2016527827A (en) | Video imaging system including multiple cameras and multiple beam splitters |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191220 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200904 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200915 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201106 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210406 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210520 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210601 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210614 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6907616 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |