JP2015037282A - Image processing device, image processing method, and program - Google Patents
Image processing device, image processing method, and program Download PDFInfo
- Publication number
- JP2015037282A JP2015037282A JP2013168905A JP2013168905A JP2015037282A JP 2015037282 A JP2015037282 A JP 2015037282A JP 2013168905 A JP2013168905 A JP 2013168905A JP 2013168905 A JP2013168905 A JP 2013168905A JP 2015037282 A JP2015037282 A JP 2015037282A
- Authority
- JP
- Japan
- Prior art keywords
- viewpoint
- image
- dimensional
- display
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims description 5
- 238000000034 method Methods 0.000 claims description 18
- 238000010586 diagram Methods 0.000 description 9
- 230000003287 optical effect Effects 0.000 description 8
- 239000004973 liquid crystal related substance Substances 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
Images
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
Description
本発明は、３次元画像を表示する為の画像処理装置、画像処理方法及びプログラムに関する。 The present invention relates to an image processing apparatus, an image processing method, and a program for displaying a three-dimensional image.
多視点３次元表示器を用いて３次元画像を表示する手法が提案されている。この手法は、多視点３次元表示器を用いて両眼の視差分だけ異なる２次元画像（視差画像）を表示する。この視差画像を３次元表示器から所定の距離だけ離れた視点位置で見る場合に、ユーザーは視差画像を立体的な３次元画像として知覚することになる。以下では、視差画像を表示することを３次元画像を表示するとも称する。 A method of displaying a three-dimensional image using a multi-viewpoint three-dimensional display has been proposed. This method displays a two-dimensional image (parallax image) that differs by the amount of parallax between both eyes using a multi-viewpoint three-dimensional display. When viewing this parallax image at a viewpoint position separated from the three-dimensional display by a predetermined distance, the user perceives the parallax image as a three-dimensional three-dimensional image. Hereinafter, displaying a parallax image is also referred to as displaying a three-dimensional image.
３次元画像を表示するための様々な技術が提案されている。例えば、特許文献１にはユーザーの視差の個人差に応じて最適な３次元画像を表示する為の技術が開示されている。また、特許文献２には通常の視点より手前で立体視を可能とする技術が開示されている。
Various techniques for displaying a three-dimensional image have been proposed. For example,
多視点３次元表示器を用いて複数のユーザーに同じ３次元画像を表示したいというニーズが存在する。しかしながら、従来技術においては、複数のユーザーが、３次元表示器で表示されている３次元画像を互いに異なる位置で同じ３次元画像として知覚することが出来ない。これは、多視点３次元表示器から一定の距離と角度の視点位置にいるユーザーは、その視点位置に対応した３次元画像のみを知覚することできるからである。また、特許文献２の技術を用いると通常の視点位置より手前の視点位置で３次元画像を知覚することはできるものの、３次元画像を知覚できる視点の数が増加するわけではなく、複数のユーザーが同じ３次元画像を知覚するニーズに応えられない。
There is a need to display the same three-dimensional image to a plurality of users using a multi-viewpoint three-dimensional display. However, in the prior art, a plurality of users cannot perceive a three-dimensional image displayed on a three-dimensional display as the same three-dimensional image at different positions. This is because a user who is at a viewpoint position at a certain distance and angle from the multi-viewpoint three-dimensional display can perceive only a three-dimensional image corresponding to the viewpoint position. Moreover, although the technique of
本発明に係る画像処理装置は、少なくとも一対の視差画像を入力する入力手段と、前記視差画像を構成する右目用画像及び左目用画像を、多視点３次元表示手段の各視点方向に対応する視点画像として重複して表示させる表示制御手段とを有することを特徴とする。 An image processing apparatus according to the present invention includes an input unit that inputs at least a pair of parallax images, and a right eye image and a left eye image that form the parallax image, corresponding to each viewpoint direction of the multi-viewpoint three-dimensional display unit. And a display control means for displaying the image redundantly.
本発明によれば、異なる視点位置にいる複数のユーザーが同じ３次元画像を見る事が出来る。 According to the present invention, a plurality of users at different viewpoint positions can see the same three-dimensional image.
実施例の説明に先立って、本明細書で用いる用語について簡単に説明する。２次元画像とは、表示器で表示したりプリンターで記録したりする、例えば人や図形などを表す１画面の２次元の画像そのものを示している。 Prior to the description of the embodiments, terms used in this specification will be briefly described. The two-dimensional image indicates a one-screen two-dimensional image itself that is displayed on a display device or recorded by a printer, for example, representing a person or a figure.
３次元画像とは、３次元表示器で立体的に表示される、例えば人や図形など被写体を表す１画面の３次元の画像そのものを示している。例えば、３次元画像は、異なる位置から撮影した複数の２次元画像で構成される。例えば左目用と右目用の一対の２次元画像を既定の表示素子で表示し、その画像をユーザーが其々の目で独立に見る事で３次元画像として知覚される。このように左目用画像及び右目用画像で構成される画像を総称して視差画像と称する。また、左目用画像のことを左目用の視差画像、右目用画像のことを右目用の視差画像とも称する。各２次元画像を生成する際に、被写体と撮影装置とが成す角度を其々視角θと呼ぶ。 The three-dimensional image indicates a one-screen three-dimensional image itself that is three-dimensionally displayed on a three-dimensional display and represents a subject such as a person or a figure. For example, a three-dimensional image is composed of a plurality of two-dimensional images taken from different positions. For example, a pair of two-dimensional images for the left eye and right eye are displayed on a predetermined display element, and the image is perceived as a three-dimensional image by the user viewing the image independently with each eye. The images composed of the left-eye image and the right-eye image are collectively referred to as a parallax image. The left-eye image is also referred to as a left-eye parallax image, and the right-eye image is also referred to as a right-eye parallax image. The angle formed between the subject and the imaging device when generating each two-dimensional image is called a viewing angle θ.
多視点画像とは、略同一被写体を連続的な既定の視角から撮影して得られる複数の画像である。多視点画像には、其々の視角によって３次元画像として表示出来る多視点３次元画像や、所謂パノラマ画像が含まれる。ユーザー視点とは、３次元表示器や被写体をユーザーが見る際の位置である。３次元表示器に対するユーザー視点は、左目用と右目用の左右一対の２次元画像がユーザーの両目に投影される位置であり、両画像を撮影した際の視角の略中央に該ユーザー視点は位置する。左目用と右目用の左右一対の２次元画像がユーザーの両目に丁度投影される位置にユーザーがいる場合、ユーザーは表示されている画像を立体的な３次元画像として知覚することが出来る。なお、一般的に人の目の間隔は約６５ｍｍの為、３次元表示器から投影される左目用と右目用の左右一対の２次元画像はユーザー視点において互いに約６５ｍｍ離れて集光されている。 Multi-viewpoint images are a plurality of images obtained by photographing substantially the same subject from a continuous predetermined viewing angle. The multi-viewpoint image includes a multi-viewpoint three-dimensional image that can be displayed as a three-dimensional image according to each viewing angle, and a so-called panoramic image. The user viewpoint is a position when the user views a three-dimensional display or a subject. The user viewpoint for the three-dimensional display is a position where a pair of left and right two-dimensional images for left eye and right eye are projected on both eyes of the user, and the user viewpoint is positioned at approximately the center of the viewing angle when both images are taken. To do. When the user is at a position where a pair of left and right two-dimensional images for the left eye and right eye are just projected on both eyes of the user, the user can perceive the displayed image as a stereoscopic three-dimensional image. Since the distance between human eyes is generally about 65 mm, a pair of left and right two-dimensional images for left eye and right eye projected from a three-dimensional display are collected at a distance of about 65 mm from the user's viewpoint. .
２次元画像情報または３次元画像情報は、上記の２次元画像または３次元画像を表示するための輝度信号や濃度信号等の信号源を示している。３次元画像情報は、少なくとも左目用および右目用の一対の２次元画像情報から成る。この一対の２次元画像情報で示される画像を単視点視差画像と呼ぶ。なお、多視点画像情報は複数の視点におけるこれらの２次元画像情報または３次元画像情報の総称である。多視点画像情報はカメラで撮影することで得られたり、或いは、コンピュータグラフィックス等で人工的に制作されることで得られる。 The two-dimensional image information or the three-dimensional image information indicates a signal source such as a luminance signal or a density signal for displaying the two-dimensional image or the three-dimensional image. The three-dimensional image information includes at least a pair of two-dimensional image information for left eye and right eye. An image indicated by the pair of two-dimensional image information is referred to as a single viewpoint parallax image. The multi-viewpoint image information is a general term for these two-dimensional image information or three-dimensional image information at a plurality of viewpoints. Multi-viewpoint image information can be obtained by photographing with a camera, or can be obtained artificially by computer graphics or the like.
次に、多視点３次元画像を表示することが可能な３次元表示器について簡単に説明する。一般に、３次元表示器は、３次元画像情報に基づいて表示器の画面中に複数の２次元画像を同時に表示する。より具体的には、３次元表示器に表示される複数の２次元画像は、左目用の視差画像および右目用の視差画像の２枚の２次元画像を示す２次元画像情報に基づいている。そして３次元表示器においては、ユーザーの左右のそれぞれの目に独立して画像が投影されるように、対応する表示素子及びその周辺の光学部材に光学的な工夫が施されている。 Next, a 3D display capable of displaying a multi-viewpoint 3D image will be briefly described. In general, a three-dimensional display simultaneously displays a plurality of two-dimensional images on a display screen based on three-dimensional image information. More specifically, the plurality of two-dimensional images displayed on the three-dimensional display are based on two-dimensional image information indicating two two-dimensional images, a left-eye parallax image and a right-eye parallax image. In the three-dimensional display, an optical device is applied to the corresponding display element and its surrounding optical members so that an image is projected independently from the left and right eyes of the user.
以下、本発明を実施するための形態について図面を用いて説明する。本実施形態では、表示器の正面を中心に７つの視点から被写体を略連続的にかつ立体的にユーザーが見る事の出来る、８方向に独立に画像を表示可能な７視点３次元表示器を用いる画像処理装置を例に説明するがこれに限定されるものではない。なお、８方向に表示する各画像を視点画像と称し、其々の方向に向けて表示する画像として、画像１、画像２、画像３、画像４、画像５、画像６、画像７及び画像８と記述する。また、表示する１画面の画像を同じ視点方向に表示した場合、画像全体は表示器から所定の距離Ｌだけ離れた視点に集光する。
Hereinafter, embodiments for carrying out the present invention will be described with reference to the drawings. In the present embodiment, a seven-viewpoint three-dimensional display capable of displaying images in eight directions independently, allowing a user to view a subject from seven viewpoints centering on the front of the display, substantially continuously and three-dimensionally. The image processing apparatus to be used will be described as an example, but the present invention is not limited to this. Note that each image displayed in eight directions is referred to as a viewpoint image, and
＜実施例１＞
図１は、実施例１に係る画像処理装置の一例を示すブロック図である。画像処理装置は一般的なパーソナルコンピュータ（以後ＰＣと称する）１を有し、ネットワーク回線１１０等から画像情報等をネットワーク制御部９０を介して入力する。また画像処理装置は、少なくとも、３次元画像情報に基づいた３次元画像を立体表示することが可能な多視点３次元表示器３０を有する。
<Example 1>
FIG. 1 is a block diagram illustrating an example of an image processing apparatus according to the first embodiment. The image processing apparatus includes a general personal computer (hereinafter referred to as a PC) 1 and inputs image information and the like from a
ＰＣ１はＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）６０と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）７０と、記憶部８０と、操作入力部５０とを有する。ＰＣ１は、ＣＰＵ１０で制御される。記憶部８０は、３次元画像情報や本実施例に用いられるプログラム等を保持する。ＲＯＭ６０は、各種設定やプログラムを格納する。ＲＡＭ７０は、一時的な記憶部として機能する。３次元表示装置２は、撮像部２０と多視点３次元表示器３０とタッチパネル４０とを有する。３次元表示装置２は、３次元画像を表示する。タッチパネル４０は多視点３次元表示器３０の表示面に配置され、表示した３次元画像を直接タッチして画像や表示された入力キーを選択すると共に、キーやマウスで構成する操作入力部５０と同様にユーザーからのＰＣへの各種の入力操作を可能にする。撮像部２０は一般的な表示器に装備された物で、ユーザーの位置やユーザーの動作を認識する為に多視点３次元表示器３０の正面に設けられている。
The PC 1 includes a CPU (Central Processing Unit) 10, a ROM (Read Only Memory) 60, a RAM (Random Access Memory) 70, a
なお、上記の例では、画像処理装置が３次元表示装置２を含むものであるとして説明をしたが、画像処理装置はＰＣ１にのみ対応するものであってもよい。すなわち、画像処理装置は３次元表示装置２と接続される構成であってもよい。
In the above example, the image processing apparatus has been described as including the three-
図２は、図１で示した多視点３次元表示器３０をより詳細に説明する図である。図２（ａ）は、多視点３次元表示器３０の一例を示す図である。図２（ａ）で示す多視点３次元表示器３０は、液晶表示器２００とその全面にレンチキュラーレンズ２０１とを有する。
FIG. 2 is a diagram for explaining the multi-viewpoint three-
図２（ｂ）は、図２（ａ）で示す多視点３次元表示器の一部を拡大した模式図である。図２（ｂ）は、レンチキュラーレンズ２０１と相対位置が保証された液晶表示素子とを示す。図２（ｂ）の多視点３次元表示器３０は、ユーザーが７方向からこの多視点３次元表示器３０を見た場合、７視点から見た被写体を立体表示可能にする工夫がなされている。すなわち、液晶表示器２００は、各１つのレンチキュラーレンズ２０１内に素子２０２から素子２０３までの一続きの８つの表示素子を持つ構成とする。レンチキュラーレンズ２０１による光学特性と表示素子の配置によって特定の視点位置から３次元表示器３０を見たユーザーは、特定の表示素子の表示のみが見えることになる。尚、多視点３次元表示器３０は公知の技術で一般に実用化されている物を用いることができる。一般に多視点３次元表示器３０は、カラー表示可能であるが、説明を簡略化する為、本実施例での多視点３次元表示器３０は単色表示可能であるものとする。また、説明を簡便にする趣旨で、以後の図において表示素子や画素の並びを１次元的に表現するものとする。なお、１つの視点から見ているユーザーの目には８つの表示素子が表示する画像の内、其々左目用の画像と右目用の２つの画像が届けられることでユーザーは３次元画像を知覚することになる。
FIG. 2B is an enlarged schematic view of a part of the multi-viewpoint three-dimensional display shown in FIG. FIG. 2B shows a
図２（ｃ）と図２（ｄ）は、其々異なる視点である視点１２と視点４５とからユーザーが見た場合に見える表示画素を示す。ここで視点１２とは、片方の目が視点１の位置にあり、他方の目が視点２の位置にある視点位置のことを示す。同様に、視点４５とは、片方の目が視点４の位置にあり、他方の目が視点５の位置にある視点位置のことを示す。本実施例では、図２（ｃ）に示すように、レンチキュラーレンズ２０１の光学特性に依って、視点１２の位置にいるユーザーの右目では画素２のみが、視点１２の位置にいるユーザーの左目では画素１のみが見える。従って、画素２と画素１とで一対の視差画像を表示すれば、視点１２の位置にいるユーザーは、視差画像を３次元画像として知覚することができる。また、図２（ｄ）に示すように、視点４５の位置にいるユーザーの右目では画素５のみが、視点４５の位置にいるユーザーの左目では画素４のみが見える。従って、画素４と画素５で一対の視差画像を表示すれば、視点４５の位置にいるユーザーは、視差画像を３次元画像として知覚することができる。このようなレンチキュラーレンズによる３次元画像の表示は公知の原理であり、本明細書では更なる説明を省略する。以下、ユーザーの左目が表示素子Ｍで表示する画像を見ることができ、かつ、右目が表示素子Ｎで表示する画像を見ることができる視点位置のことを“視点ＭＮ”と称する。
FIG. 2C and FIG. 2D show display pixels that are visible when the user sees the viewpoints 12 and 45, which are different viewpoints. Here, the viewpoint 12 indicates a viewpoint position in which one eye is at the position of the
図３は、各視点と多視点画像または単視点画像との関係を示す図である。図３（ａ）は、視点１２から視点７８までの７つの視点と、その視点に対応する多視点３次元画像として被写体３００を撮影した画像１から画像８の８種類の撮影画像との関係を示す図である。其々の視点ではユーザーの左右のそれぞれの眼で見た画像に相当する２つの２次元画像が撮影される。多視点３次元表示器が有する光学特性に従って連続的に各視点における２次元画像を撮影するため、８種類の撮影画像の中で、隣り合う画像の視角は略一致する。
FIG. 3 is a diagram illustrating a relationship between each viewpoint and a multi-viewpoint image or a single-viewpoint image. FIG. 3A shows the relationship between seven viewpoints from viewpoint 12 to viewpoint 78 and eight types of captured images of
なお、同一被写体３００を視点１２から視点７８で連続的に３次元表示する場合には、各視点ＭＮにおいてユーザーの左目に届けられる画像Ｍは、隣接する視点におけるユーザーの右目に届けられる画像と同じである。これらの各２次元画像情報を横方向に分割して先のレンチキュラーレンズ２０１と相対位置を保った液晶表示素子（画素）で表示すれば、図３（ａ）で示す各視点から被写体３００を見た際と同じ３次元画像を各視点において見る事が出来る。即ち図２（ｃ）及び図２（ｄ）で示す画素１は視点１２の左側で撮影した２次元画像（画像１）の１部を表示し、画素２は視点１２の右側で撮影した２次元画像（画像２）の１部を表示している。また、画素４は視点４５の左側で撮影した２次元画像（画像４）の１部を表示し、画素５は視点４５の右側で撮影した２次元画像（画像５）の１部を表示している。
When the
図３（ｂ）は単視点３次元画像を表示する為の左目用画像と右目用画像と視点との関係を示す。図３（ａ）では７つの視点で見た画像を撮影することで得られる７視点の多視点３次元画像を示す３次元画像情報を生成する場合の例を説明した。図３（ｂ）では、１つの視点で見た画像を撮影することで得られる１視点の単視点３次元画像を示す３次元画像情報を生成する場合の例を示している。本実施例では、図３（ｂ））に示す単視点３次元画像を多視点３次元表示器３０を用いて表示する例を説明する。これにより、多視点３次元表示器３０から角度と距離が異なる複数の視点において複数のユーザーが同じ被写体３００を同じ３次元画像として知覚することができる。
FIG. 3B shows the relationship between the left-eye image, the right-eye image, and the viewpoint for displaying a single-viewpoint three-dimensional image. FIG. 3A illustrates an example in which 3D image information indicating a 7 viewpoint multi-view 3D image obtained by capturing images viewed from 7 viewpoints is generated. FIG. 3B shows an example of generating three-dimensional image information indicating a single viewpoint three-dimensional image obtained by photographing an image viewed from one viewpoint. In the present embodiment, an example in which a single-viewpoint three-dimensional image shown in FIG. 3B is displayed using a multi-viewpoint three-
＜画像処理装置の機能ブロック＞
図４は、本実施例の画像処理装置１の画像処理機能のブロックの一例を示す図である。画像処理装置１は、３次元画像情報入力部４００と、表示モード設定部４０１と、表示画像生成部４０２と、３次元画像表示部４０３とを有する。
<Functional block of image processing apparatus>
FIG. 4 is a diagram illustrating an example of a block of an image processing function of the
３次元画像情報入力部４００は、ネットワーク制御部９０等から３次元画像情報を入力する。入力される３次元画像情報は、例えば図３に示すように、複数の撮影装置によって各視点の画像を撮影することによって得られるものである。あるいは、コンピュータによって各視点の画像が生成されることで得られるものであってもよい。３次元画像情報には、１つの視点から見える３次元画像である単視点３次元画像を表示するための視差の異なる左右の目用の視差画像の単視点画像情報が含まれる。また、３次元画像情報には、７つの視点に対応する８種の２次元画像からなる多視点画像情報が含まれる。３次元画像情報入力部で入力された３次元画像情報は、必要に応じて記憶部８０で保持される。
The 3D image
表示モード設定部４０１は、多視点３次元表示器３０を用いて、単視点３次元画像表示モードである第１の表示モードで表示を行うか、または、多視点３次元表示モードである第２の表示モードで表示を行うかを設定する。単視点３次元画像表示モードは、単視点３次元画像を角度と距離が異なる複数の視点で見る為のモードである。多視点３次元表示モードは、図３（ａ）で示すように各視点位置に対応する位置で、各視点位置に対応する多視点３次元画像を見るためのモードである。表示モード設定部４０１は第１の表示モードか第２の表示モードかをユーザーの指示に従って設定する。
The display
表示画像生成部４０２は、表示モード設定部４０１で設定された表示モードに応じて、３次元画像情報入力部４００で入力された３次元画像情報から多視点３次元表示器３０の各視点画像として表示する表示画像を生成する。すなわち、表示画像生成部４０２は、各視点画像として表示する画像の表示制御を行う。本実施例の多視点３次元表示器３０は図２で説明したように、レンチキュラーレンズに対応して７つの視点の計８種類の画像を表示可能となっている。従って、表示画像生成部４０２は、３次元画像情報から８つの表示画像を生成する。表示画像は、多視点３次元表示器の各視点方向に対応する方向で表示される。なお、本実施例では、多視点３次元表示器の光学特性に対応して８つの表示画像を生成する例を説明するが、必ずしも８つの全ての視点画像について表示画像が生成されなくてもよい。
The display
本実施例では、次のように表示画像が生成されることができる。３次元画像情報入力部４００で多視点３次元画像情報が入力された場合、表示画像生成部４０２は、表示モード設定部４０１の設定に応じて表示画像を生成する。例えば、単視点３次元画像表示モードである第１の表示モードが設定されている場合、表示画像生成部４０２は、多視点３次元画像情報のうち、任意の視点の画像対（視差画像）を単視点画像情報として取得する。そして、取得した単視点画像情報を用いて表示画像を生成する。ここで、任意の視点の画像対の決定方法については、表示モード設定部４０１による設定に応じて決定してもよいし、予め設定されている視点（例えば中央の視点）を任意の視点の画像対として決定してもよい。一方、多視点３次元表示モードである第２の表示モードが設定されている場合、表示画像生成部４０２は、各視点に対応する表示画像を生成する。
In the present embodiment, a display image can be generated as follows. When multi-viewpoint three-dimensional image information is input from the three-dimensional image
なお、３次元画像情報入力部４００で３次元画像情報として単視点３次元画像情報が入力された場合には、表示モード設定部４０１の設定に関わらず、表示画像生成部４０２は単視点３次元画像情報を用いて表示画像を生成してもよい。
Note that, when single-viewpoint three-dimensional image information is input as three-dimensional image information in the three-dimensional image
３次元画像表示部４０３は多視点３次元表示器３０を制御するものであり、表示画像生成部４０２で生成された表示画像に基づいて各視点画像を表示する。
The three-dimensional
図５は本実施例の画像処理の一例を示すフローチャートである。また、図６は図４で示した画像処理装置の機能ブロックの詳細例を示す図である。図５及び図６を用いて本実施例による画像処理を詳説する。図５に示すフローチャートは、例えばＲＯＭ６０に記憶されたプログラムをＣＰＵ１０がＲＡＭ７０に一時的に読み出して実行することによって実現される。
FIG. 5 is a flowchart illustrating an example of image processing according to the present exemplary embodiment. FIG. 6 is a diagram showing a detailed example of functional blocks of the image processing apparatus shown in FIG. The image processing according to this embodiment will be described in detail with reference to FIGS. The flowchart shown in FIG. 5 is realized, for example, when the
ステップＳ５０１において、表示画像生成部４０２は、表示モード設定部４０１によって設定された表示モードを検知する。表示モード設定部４０１における表示モードの設定は、例えばＣＰＵ１０がＲＯＭ６０に記憶されたプログラムの実行に依って、図示しない画面からユーザーが指定した表示モードを操作入力部５０で検出することで設定される。表示モード設定部４０１による設定値は、表示モードレジスター６１０に反映される。ステップＳ５０１で、表示モードレジスター６１０が多視点３次元画像を表示する第２のモードであった場合、表示画像生成部４０２はステップＳ５０２に処理を進める。一方、ステップステップＳ５０１で表示モードレジスター６１０が単視点３次元画像を表示する第１のモードであった場合、表示画像生成部４０２はステップＳ５０３に処理を進める。
In step S <b> 501, the display
多視点３次元画像を表示する第２のモードであった場合、ステップＳ５０２において表示画像生成部４０２は、３次元画像情報入力部４００から３次元画像情報として８枚の２次元画像情報６０２を順次画像１から画像８まで読み込む。３次元画像情報入力部４００は、画像情報格納部６００に格納されている画像１から画像８までの画像情報を３次元画像情報として表示画像生成部４０２に出力する。
In the second mode for displaying a multi-viewpoint three-dimensional image, in step S502, the display
次に、ステップＳ５０４において表示画像生成部４０２は、画像１から画像８の８種の２次元画像情報の表示を担当するビデオＲＡＭ（以降ＶＲＡＭと記す）にそれぞれの２次元画像情報を書き込む。すなわち、表示画像生成部４０２は、画像１の画像情報を画像１用ＶＲＡＭ６０３に、画像２の画像情報を画像２用ＶＲＡＭに、画像３の画像情報を画像３用ＶＲＡＭに、画像４の画像情報を画像４用ＶＲＡＭに書き込む。また表示画像生成部４０２は、画像５の画像情報を画像５用ＶＲＡＭに、画像６の画像情報を画像６用ＶＲＡＭに、画像７の画像情報を画像７用ＶＲＡＭに、画像８の画像情報を画像８用ＶＲＡＭ６０４にを書き込む。各ＶＲＡＭに書き込まれた画像情報は一定の周期で読み出され、其々の画像情報に応じた表示素子をドライバーが駆動することで画像が表示される。
Next, in step S504, the display
即ちドライバー６０５は画像１の画像情報を画像１用ＶＲＡＭ６０３から読み出し、画像１用の表示素子６０７を駆動する。ドライバー６０６は画像８の画像情報を画像８用ＶＲＡＭ６０４から読み出し、画像８用の表示素子６０８を駆動する。画像２から７用のドライバー、ＶＲＡＭ、表示素子もまた、同様に動作する。
That is, the
次に、ステップＳ５０１で表示モードレジスター６１０が、単視点視差画像を表示する第１のモードを示す場合におけるステップＳ５０３の処理を説明する。ステップＳ５０３において、表示画像生成部４０２は、３次元画像情報入力部４００から３次元画像情報として一対の視差画像画像情報６０１を読み込む。すなわち、表示画像生成部４０２は、左目用画像を示す左目用画像情報と右目用画像を示す右目用画像情報とを含む単視点３次元画像情報を読み込む。
Next, the process of step S503 when the
次に、ステップＳ５０５において表示画像生成部４０２は、ステップＳ５０３で入力した左目用画像情報と右目用画像情報とを、重複して複数のＶＲＡＭに書き込む。本実施例では、表示画像生成部４０２は、左目用画像情報を画像１用ＶＲＡＭ６０３，画像２用ＶＲＡＭ，画像３用ＶＲＡＭ，及び画像４用ＶＲＡＭに書き込む。同様に、表示画像生成部４０２は、右目用画像情報を，画像５用ＶＲＡＭ，画像６用ＶＲＡＭ，画像７用ＶＲＡＭ，及び画像８用ＶＲＡＭ６０４に書き込む。先述したように、各ＶＲＡＭに書き込まれた画像情報は一定の周期で読み出され、其々の画像情報の位置に対応する表示素子をドライバーが駆動することで画像が表示される。
Next, in step S505, the display
即ちドライバー６０５は左目用画像情報を画像１用ＶＲＡＭ６０３から読み出し、画像１用の表示素子６０７を駆動する。画像２から４用のドライバー、ＶＲＡＭ，表示素子もまた、同様に動作する。ドライバー６０６は右目用画像情報を画像８用ＶＲＡＭ６０４から読み出し、画像８用の表示素子６０８を駆動する。画像５から７用のドライバー、ＶＲＡＭ、表示素子もまた、同様に動作する。
That is, the
以上の処理はステップＳ５０６またはステップＳ５０７において３次元画像の表示が終了するまで繰り返される。この結果、例えば、３次元画像情報入力部４００で入力される画像が動画の場合は、３次元の動画として表示される。
The above process is repeated until the display of the three-dimensional image is completed in step S506 or step S507. As a result, for example, when the image input by the three-dimensional image
図７は多視点３次元画像を表示する第２の表示モードの場合における各視点と各画像との関係を示す図である。先に説明したように、例えば視点１２とは、左目が画像１用のＶＲＡＭに格納されている画像１を見ることができ、右目が画像２用のＶＲＡＭに格納されている画像２を見ることができる位置のことである。図中各視点のユーザーは△方向で３次元表示装置２を見ているものとする。各視点におけるユーザーの右目の位置を黒い丸印で、左目の位置を白色の丸印で、それぞれ示している。図７に示すような第２の表示モードは、一般に多視点３次元表示器で行われる表示方法である。３次元表示装置２から距離Ｌだけ離れた位置にある視点１２では、ユーザーの左目には画像１が投影され、右目には画像２が投影される。すなわち、図３（ａ）に示す被写体３００を同じ視点である視点１２から見ているのと同じ３次元画像が見える。ここで、距離Ｌは３次元表示装置２の３次元画像を見ることができる好適な距離であり、３次元表示装置２のディスプレイサイズや視角などに応じて適宜変更され得るものである。図７の例では、３次元表示装置２から距離Ｌだけ離れた位置にある各視点のユーザーは３次元画像を知覚できるものであるとする。
FIG. 7 is a diagram illustrating a relationship between each viewpoint and each image in the second display mode in which a multi-viewpoint three-dimensional image is displayed. As described above, for example, the viewpoint 12 is that the left eye can see the
ここで、３次元表示装置２からの距離がＬ以上、或いはＬ以下の場合、人の左右の目に投影される画像Ｍと画像Ｎとが視差画像対ではなくなってしまう。例えば、距離がＬの半分のＬ／２の位置にある視点１３の位置で３次元表示装置２をユーザーが見ると仮定する。この場合、ユーザーの左目には画像１が投影され、ユーザーの右目には画像２ではなく、画像３が投影されることになる。図７の例においては、隣り合う画像同士が視差画像を構成しているので、画像１と画像３を見たユーザーは３次元画像を知覚することができない。つまり、多視点３次元画像を表示する場合には一定の距離である距離Ｌの位置でのみ、ユーザーは３次元画像を知覚することができる。このことを別の表現を用いて説明すると、人の左右の目に投影される画像Ｍと画像ＮとがＮ＝Ｍ＋１の関係にある場合にはユーザーが３次元画像を知覚することができる。図７の視点１３においては、画像Ｍと画像ＮとがＮ＝Ｍ＋１の関係に合致しないので、ユーザーが正規の３次元像として知覚できる視差画像対ではなく、従って、ユーザーは視点１３では３次元画像を見ることができない。
Here, when the distance from the three-
図７で説明した多視点３次元画像を表示する第２の表示モードに対して、単視点３次元画像を表示する第１の表示モードにおいては、距離Ｌ以外の距離においても３次元画像をユーザーが知覚することができる。図８は、単視点３次元画像を表示する第１の表示モードにおける各視点と画像との関係を示す図である。第１の表示モードの場合、ステップＳ５０５で説明したように、表示画像生成部４０２は左目用画像情報を画像１、画像２、画像３、画像４として多視点表示し、右目用画像情報を画像５、画像６、画像７、画像８として多視点表示する表示画像を生成する。すなわち、単視点３次元画像を表示する第１の表示モードの場合、視差画像の画像対は１組のみであり、同一の左目用画像を複数の視点画像として重複して表示し、同一の右目用画像を複数の視点画像として重複して表示する。図８の例では、左目用画像の投影線を破線で示し、右目用画像の投影線を実線で示す。図８の例では、３次元表装置２から距離Ｌの視点４５では図７と同様に立体視出来る。さらに、距離がＬ／２の位置にある視点４６においても、画像４として左目で左目用画像情報を、画像６として右目で右目用画像情報を見る事が出来る。図８の例では、投影している画像は単視点３次元画像であるので、ユーザーが左目で左目用画像情報を見て、右目で右目用画像を見ることができれば３次元画像を知覚することができる。従って、視点４６においても、ユーザーは３次元表示装置２に表示された画像を視点４５と同じ３次元画像として見ることができる。
In contrast to the second display mode that displays the multi-viewpoint three-dimensional image described in FIG. 7, in the first display mode that displays the single-viewpoint three-dimensional image, the user can display the three-dimensional image even at a distance other than the distance L. Can perceive. FIG. 8 is a diagram illustrating the relationship between each viewpoint and an image in the first display mode for displaying a single-viewpoint three-dimensional image. In the case of the first display mode, as described in step S505, the display
視点４６において多視点３次元表示器３０から両目に届く画像４と画像６の成す角度は通常の人の目の視差角の２倍である。従って、左右の目用の画像４及び画像６の画像が両目の間隔約６５ｍｍ離れて届く３次元表示装置２からの距離の目安は約Ｌ／２となる。
The angle formed by the
すなわち、視点ＭＮの３次元表示装置からの距離の目安は略Ｌ／｜Ｍ−Ｎ｜に等しい。ここで｜Ｍ−Ｎ｜は（Ｍ−Ｎ）の絶対値を意味する。つまり、Ｌ／｜Ｍ−Ｎ｜に等しい位置でそれぞれ左目用画像と右目用画像とを見ることができれば、その位置でユーザーは３次元画像を知覚することが可能となる。具体的には、図８の例では、距離Ｌ／２の位置に視点４６および視点３５が存在する。また、距離Ｌ／３の位置に視点２５、視点３６、視点４７が存在する。距離Ｌ／４の位置に視点１５、視点４８が存在する。距離Ｌ／５の位置に視点１６、視点２７、視点３８が存在する。これらのいずれの視点位置においてもユーザーは同じ３次元画像を知覚することが可能となる。すなわち、複数のユーザーが同じ３次元画像を、距離と角度が異なる位置で見ることが可能となる。図７で説明したような多視点３次元画像の場合と比較すると、距離Ｌの位置で３次元画像が見えるのは視点４５のみであるが、更に距離と角度が異なる上記した合計１０個の視点で３次元画像を見ることが可能となる。すなわち、図７の例と比較してより多くの視点位置でユーザーが３次元画像を見ることが可能となる。 That is, the standard of the distance of the viewpoint MN from the three-dimensional display device is substantially equal to L / | MN−. Here, | M−N | means the absolute value of (M−N). That is, if the left-eye image and the right-eye image can be viewed at a position equal to L / | MN |, respectively, the user can perceive a three-dimensional image at that position. Specifically, in the example of FIG. 8, the viewpoint 46 and the viewpoint 35 exist at the position of the distance L / 2. In addition, the viewpoint 25, the viewpoint 36, and the viewpoint 47 exist at the position of the distance L / 3. A viewpoint 15 and a viewpoint 48 exist at the position of the distance L / 4. The viewpoint 16, viewpoint 27, and viewpoint 38 exist at the position of the distance L / 5. At any of these viewpoint positions, the user can perceive the same three-dimensional image. That is, it becomes possible for a plurality of users to see the same three-dimensional image at positions having different distances and angles. Compared to the case of a multi-viewpoint three-dimensional image as described in FIG. 7, only the viewpoint 45 can see the three-dimensional image at the position of the distance L, but a total of ten viewpoints with different distances and angles. It becomes possible to see a three-dimensional image. That is, the user can view the three-dimensional image at more viewpoint positions as compared to the example of FIG.
３次元表示装置２が１００インチを超えるような大画面で、会議室等で使う場合に本実施例は極めて有効である。さらに、表示可能な視点画像の数が増えるほど本実施例は有効である。また、一般に単視点３次元画像を表示する第１の表示モード１は主に動画に適し、多視点３次元画像を表示する第２の表示モードは静止画に適する。また、単視点３次元画像として多視点３次元画像情報の中の例えば画像４を右目用画像情報として、画像５を左目用画像情報として用いても同様の効果が得られる事は述べるまでも無い。すなわち、ステップＳ５０５や図８に示す組み合わせに限定されるものではなく、入力する左目用画像情報と右目用画像情報とを適宜変更してもよい。また、３次元表示装置２から表示される左目用画像と右目用画像とは同じ数でなくてもよい。
This embodiment is extremely effective when the
なお、図７及び図８は３次元表示装置２の略中央の表示画素から対向するユーザーに投影されている画像１から画像８を図示している例を示している。一般の多視点３次元表示器３０は、全ての表示画素からの表示画像をレンチキュラーレンズなどの光学手段で其々距離Ｌのユーザー視点位置に向けて投影しているので、距離Ｌの全ての視点では多視点３次元表示器３０で表示される画像全体を立体視出来る。つまり、一般の多視点３次元表示器３０は距離Ｌのユーザー視点位置に向けて最適化されている。逆に言えば、距離Ｌ以下の各視点に対しては最適化がされていないため、距離Ｌ以下の各視点では多視点３次元表示器３０で表示する中央部以外の表示画素からの画像も目に入ることがある。また、多視点３次元表示器３０に近い視点程、多視点３次元表示器３０で表示している画像全体（特に両端に近い部分）を見る事が出来ない場合がある。また、其々他方の目用の視差画像も投影される為、安定に立体視する事が難しくなる場合もある。従って、先の説明の視点位置も実際の視点位置と厳密に一致しないことがある。この状態は多視点３次元表示器３０のサイズが大きい程、多視点３次元表示器３０の視点数が多い程、また視点の多視点３次元表示器３０からの距離が近い程、顕著である。一方、各視点の両目に投影される画像は１対の視差画像の内の一方の為、本来の視点位置で意図している視差画像で無くとも同じ右（または左）目画像であれば、問題無く立体視が可能である。例えば視点１５の位置において本来左目には画像１が投影されることを意図しているところ、画像２が左目に入ってくる場合も状況によってはあり得る。このような場合であっても同じ左目用画像が投影されれば３次元画像として知覚することがもちろん可能である。また、右（または左）目に逆の左（または右）目用画像が投影されたとしても、そもそも同じ被写体の視差画像の一部であり、奥行き感の少ない画像部分で有れば、その視点での立体視を必ずしも阻害するものでは無い。
7 and 8 show an example in which the
以上の説明ではレンチキュラーレンズを用いた多視点３次元表示器を用いる場合を例に挙げて説明した。しかしながら、本実施例は、表示器から異なる複数の視点方向に対して異なる２次元画像を表示する表示器で有れば、いずれの表示器においても適用することができる。例えば、５７台のプロジェクターを異なる５６個の視点方向に５７種の視差画像を投影する事が出来る画面サイズ２００インチの表示器を用いると、より大勢のユーザーが広い空間内で同じ３次元画像を見る事が出来る。また、多数の回折格子を使って２次元的多視点方向に多視点画像を表示出来る３次元表示器にも本実施例を適用することが可能である。 In the above description, the case where a multi-viewpoint three-dimensional display using a lenticular lens is used is described as an example. However, the present embodiment can be applied to any display as long as it is a display that displays different two-dimensional images for a plurality of different viewpoint directions from the display. For example, using a display with a screen size of 200 inches capable of projecting 57 types of parallax images in 56 different viewpoint directions from 57 projectors, a larger number of users can view the same 3D image in a wide space. I can see it. The present embodiment can also be applied to a three-dimensional display that can display a multi-viewpoint image in a two-dimensional multi-viewpoint direction using a large number of diffraction gratings.
＜実施例２＞
実施例２では、表示画像生成部４０２が実施例１と異なる表示画像を生成する例について説明する。
<Example 2>
In the second embodiment, an example in which the display
図９は実施例２に係る表示画像生成部４０２の処理の一例を示すフローチャートである。ステップＳ９０１、Ｓ９０２〜Ｓ９０４、Ｓ９０６〜Ｓ９０７は、図５のステップＳ５０１、Ｓ５０２〜Ｓ５０４、Ｓ５０６〜Ｓ５０７とそれぞれ同じ処理とすることができるので説明を省略する。
FIG. 9 is a flowchart illustrating an example of processing of the display
実施例２では、ステップＳ９０５の処理が実施例１と異なる。実施例２においては、第１の表示モードが設定されている場合、ステップＳ９０５において、表示画像生成部４０２は次のように画像情報をＶＲＡＭに書き込む。すなわち、表示画像生成部４０２は、左目用画像の画像情報を画像１用ＶＲＡＭ、画像３用ＶＲＡＭ、画像５用ＶＲＡＭ、及び画像７用ＶＲＡＭに書き込む。一方、表示画像生成部４０２は、右目用画像の画像情報を画像２用ＶＲＡＭ、画像４用ＶＲＡＭ、画像６用ＶＲＡＭ、及び画像８用ＶＲＡＭに書き込む。
In the second embodiment, the process in step S905 is different from that in the first embodiment. In the second embodiment, when the first display mode is set, in step S905, the display
図１０は図９で示す表示画像生成部４０２の処理によって表示される画像を３次元画像として知覚することができるユーザー視点を示す。実施例２においては、距離Ｌで３次元画像を知覚できる視点は、視点１２、視点３４、視点５６、及び視点７８である。また、距離Ｌ／３で３次元画像を知覚できる視点は、視点１４、視点３６、及び視点５８である。また、距離Ｌ／５で３次元画像を知覚できる視点は、視点１６、及び視点３８である。以上のように、実施例２の場合には、９個の視点位置でユーザーが同じ３次元画像を見る事が可能である。
FIG. 10 shows a user viewpoint capable of perceiving an image displayed by the processing of the display
実施例１では距離Ｌで３次元画像を知覚できる視点は１か所である例を説明した。実施例２の手法によれば、少なくとも２か所以上隣り合う２視点画像に視差画像対を表示させれば、距離Ｌで角度の異なる視点が実施例１よりも多く得られる、従って実施例２はより大勢が裸眼で見る事の出来る大画面表示器に適する。図１０に示す実施例２の各視点画像として表示する画像を左右逆の目用の画像を表示すれば、距離Ｌの視点として中央の視点４５を含んで視点２３及び視点６７が得られる。一般に多視点３次元表示器で隣り合う２視点画像として視差画像対をＸ組表示すれば、正規の視点距離Ｌでは視点がＸ個得られる。従ってＸを２以上とする事で本実施例の効果がより明確になる。 In the first embodiment, the example in which the viewpoint capable of perceiving the three-dimensional image at the distance L is one has been described. According to the method of the second embodiment, if the parallax image pairs are displayed on at least two adjacent two viewpoint images, more viewpoints having different angles at the distance L can be obtained than in the first embodiment. Is suitable for large screen displays that can be seen by the naked eye. If the images for the left and right eyes of the image displayed as each viewpoint image of the second embodiment shown in FIG. 10 are displayed, the viewpoint 23 and the viewpoint 67 including the central viewpoint 45 as the viewpoint of the distance L are obtained. In general, when X pairs of parallax image pairs are displayed as adjacent two viewpoint images on a multi-viewpoint three-dimensional display, X viewpoints can be obtained at a normal viewpoint distance L. Therefore, by setting X to 2 or more, the effect of the present embodiment becomes clearer.
＜実施例３＞
実施例３では、表示画像生成部４０２が実施例１及び２と異なる表示画像を生成する例について説明する。
<Example 3>
In the third embodiment, an example in which the display
図１１は実施例３に係る表示画像生成部４０２の処理の一例を示すフローチャートである。ステップＳ１１０１、Ｓ１１０２〜Ｓ１１０４、Ｓ１１０６〜Ｓ１１０７は、図５のステップＳ５０１、Ｓ５０２〜Ｓ５０４、Ｓ５０６〜Ｓ５０７とそれぞれ同じ処理とすることができるので説明を省略する。
FIG. 11 is a flowchart illustrating an example of processing of the display
実施例３では、ステップＳ１１０５の処理が実施例１と異なる。実施例３においては、第１の表示モードが設定されている場合、ステップＳ１１０５において、表示画像生成部４０２は次のように画像情報をＶＲＡＭに書き込む。すなわち、表示画像生成部４０２は、左目用画像の画像情報を画像１用ＶＲＡＭ、画像２用ＶＲＡＭ、画像５用ＶＲＡＭ、及び画像６用ＶＲＡＭに書き込む。一方、表示画像生成部４０２は、右目用画像の画像情報を画像３用ＶＲＡＭ、画像４用ＶＲＡＭ、画像７用ＶＲＡＭ、及び画像８用ＶＲＡＭに書き込む。
In the third embodiment, the processing in step S1105 is different from that in the first embodiment. In the third embodiment, when the first display mode is set, in step S1105, the display
図１２は１１で示す表示画像生成部４０２の処理によって表示される３次元画像を知覚することができるユーザー視点を示す。実施例３において距離Ｌで３次元画像を知覚できる視点は、視点２３、及び視点６７である。距離Ｌ／２で３次元画像を知覚できる視点は、視点１３、視点２４、視点５７、及び視点６８である。距離Ｌ／３で３次元画像を知覚できる視点は、視点１４、及び視点５８である。距離Ｌ／５で３次元画像を知覚できる視点は、視点２７である。距離Ｌ／６で３次元画像を知覚できる視点は、視点１７、及び視点２８である。以上のように、実施例３の手法によれば１１個の視点でユーザーが同じ３次元画像を見る事が可能である。
FIG. 12 shows a user viewpoint capable of perceiving a three-dimensional image displayed by the processing of the display
図１２に示すように、実施例３では距離Ｌ／２の位置で３次元画像を知覚できる視点が４個あり、この距離Ｌ／２の位置において最も多くの視点でユーザーが３次元画像を見る事が出来る。また、実施例３では、実施例１および２よりも多くの視点位置でユーザーが３次元画像を見ることができる。 As shown in FIG. 12, in the third embodiment, there are four viewpoints that can perceive a three-dimensional image at the position of the distance L / 2, and the user views the three-dimensional image from the most viewpoints at the position of the distance L / 2. I can do it. In the third embodiment, the user can view a three-dimensional image at more viewpoint positions than in the first and second embodiments.
なお、以上の実施例１から３で説明した表示画像は単なる例示に過ぎず、全視点画像中約半分を右（または左）目用画像用として生成して表示するいずれの表示画像生成手法を用いてもよいことはもちろんである。なお、必ずしも半分が右（または左）目用画像でなくてもよい。極端な例では、１つの視点画像を左目用画像とし、その他の視点画像を右目用画像として構成してもよい。 The display images described in the first to third embodiments are merely examples, and any display image generation method for generating and displaying about half of all the viewpoint images for the right (or left) eye image is displayed. Of course, it may be used. Note that half is not necessarily the right (or left) eye image. In an extreme example, one viewpoint image may be configured as the left eye image, and the other viewpoint images may be configured as the right eye image.
また、実施例１から３においては単視点３次元画像を表示する第１の表示モードについて説明を行った。しかしながら、必ずしも単視点である必要はなく、複数の視点の視差画像対を、複数の視点画像として重複して表示させることで、異なる距離や異なる角度で同じ３次元画像をユーザーが見ることが可能となる。 In the first to third embodiments, the first display mode for displaying a single-viewpoint three-dimensional image has been described. However, it is not always necessary to have a single viewpoint, and a parallax image pair of a plurality of viewpoints can be displayed as a plurality of viewpoint images so that the user can view the same three-dimensional image at different distances and at different angles. It becomes.
本発明の実施例では各視点画像は理想的に任意の方向に視差画像を表示出来る前提で説明したが、一般的な多視点３次元表示器３０を構成する光学部材の特性によれば、表示する各視点方向には其々所定の角度の幅の指向性を有する。従って先の図７、図８、図１０、図１２の各視点ＭＮは一点では無く、一定の二次元的な範囲を有している。従って、上述した各実施例において、ユーザーは先の図７、図８、図１０、図１２の各視点の周辺を含むより十分広い領域で同じ３次元画像を見る事が出来る。
In the embodiments of the present invention, each viewpoint image has been described on the premise that a parallax image can be displayed ideally in an arbitrary direction. However, according to the characteristics of the optical members constituting the general multi-viewpoint three-
＜その他の実施例＞
上記の各実施例で説明したように、表示画像生成部４０２の各視点画像の生成の方法や、多視点３次元表示器３０の多視点数により、ユーザが３次元画像を見る事が可能な視点の位置が大きく異なる。従って、表示モード設定部４０１が、第１の表示モードを細分化した設定を行うように構成してもよい。たとえば、第１の表示モードを複数設けて、第１の表示モード１を実施例１、第１の表示モード２を実施例２とし、３者の表示モードから任意の設定を設けるように構成してもよい。上述したように、各実施例においては、視点位置や視点数などが異なるため、表示する内容や、人数、視聴者の位置、表示器の大きさ等に応じて適したモードをユーザーが適宜選択して設定するとより効果的である。
<Other examples>
As described in the above embodiments, the user can view a three-dimensional image by the method of generating each viewpoint image of the display
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。 The present invention can also be realized by executing the following processing. That is, software (program) that realizes the functions of the above-described embodiments is supplied to a system or apparatus via a network or various storage media, and a computer (or CPU, MPU, or the like) of the system or apparatus reads the program. It is a process to be executed.
Claims (16)
前記視差画像を構成する右目用画像及び左目用画像を、多視点３次元表示手段の各視点方向に対応する視点画像として重複して表示させる表示制御手段と
を有することを特徴とする画像処理装置。 An input means for inputting at least a pair of parallax images;
An image processing apparatus comprising: a display control unit that displays the right-eye image and the left-eye image constituting the parallax image as viewpoint images corresponding to the respective viewpoint directions of the multi-viewpoint three-dimensional display unit. .
前記表示制御手段は設定された表示モードに応じて各視点方向に対応する視点画像を決定することを特徴とする請求項１から４のいずれか一項に記載の画像処理装置。 It further has a display mode setting means for setting the display mode,
The image processing apparatus according to claim 1, wherein the display control unit determines a viewpoint image corresponding to each viewpoint direction in accordance with a set display mode.
左目用画像を画像Ｍとし、右目用画像を画像Ｎとする場合、Ｌ／｜Ｍ−Ｎ｜の距離で３次元画像を知覚できるように少なくとも一対の視差画像を構成する前記左目用画像及び前記右目用画像を、前記多視点３次元表示手段の各視点方向に対応する視点画像として重複して表示させる表示制御手段を有することを特徴とする画像処理装置。 An image processing apparatus comprising the three-dimensional display unit capable of perceiving a three-dimensional image at a distance L from the multi-viewpoint three-dimensional display unit,
When the left-eye image is the image M and the right-eye image is the image N, the left-eye image and at least a pair of parallax images that can perceive a three-dimensional image at a distance of L / | MN | An image processing apparatus comprising: a display control unit that displays a right-eye image as a viewpoint image corresponding to each viewpoint direction of the multi-viewpoint three-dimensional display unit.
多視点３次元表示手段の各視点方向に対応する視点画像として、少なくとも１対の視差画像を構成する画像を重複して表示させるモードと、
を切り替える切り替え手段を有することを特徴とする画像処理装置。 A mode for displaying different images as viewpoint images corresponding to the respective viewpoints of the multi-viewpoint three-dimensional display means;
A mode in which images constituting at least one pair of parallax images are displayed as a viewpoint image corresponding to each viewpoint direction of the multi-viewpoint three-dimensional display unit;
An image processing apparatus comprising switching means for switching between the two.
複数の視点にそれぞれ対応する視点画像を表示する多視点３次元表示手段と、
前記視差画像を構成する右目用画像及び左目用画像を、多視点３次元表示手段の各視点方向に対応する視点画像として重複して表示させる表示制御手段と
を有することを特徴とする表示装置。 An input means for inputting at least a pair of parallax images;
Multi-viewpoint three-dimensional display means for displaying viewpoint images respectively corresponding to a plurality of viewpoints;
A display apparatus comprising: a display control unit configured to display the right-eye image and the left-eye image constituting the parallax image as viewpoint images corresponding to the respective viewpoint directions of the multi-viewpoint three-dimensional display unit.
前記視差画像を構成する右目用画像及び左目用画像を、多視点３次元表示手段の各視点方向に対応する視点画像として重複して表示させる表示制御ステップと
を有することを特徴とする画像処理方法。 An input step of inputting at least a pair of parallax images;
A display control step of displaying the right-eye image and the left-eye image constituting the parallax image as a viewpoint image corresponding to each viewpoint direction of the multi-viewpoint three-dimensional display unit. .
左目用画像を画像Ｍとし、右目用画像を画像Ｎとする場合、Ｌ／｜Ｍ−Ｎ｜の距離で３次元画像を知覚できるように少なくとも一対の視差画像を構成する前記左目用画像及び前記右目用画像を、前記多視点３次元表示手段の各視点方向に対応する視点画像として重複して表示させる表示制御ステップを有することを特徴とする画像処理方法。 An image processing method in an image processing apparatus having the three-dimensional display means capable of perceiving a three-dimensional image at a distance L from a multi-viewpoint three-dimensional display means,
When the left-eye image is the image M and the right-eye image is the image N, the left-eye image and at least a pair of parallax images that can perceive a three-dimensional image at a distance of L / | MN | An image processing method comprising: a display control step of displaying a right-eye image as a viewpoint image corresponding to each viewpoint direction of the multi-viewpoint three-dimensional display unit.
多視点３次元表示手段の各視点方向に対応する視点画像として、少なくとも１対の視差画像を構成する画像を重複して表示させるモードと、
を切り替える切り替えステップを有することを特徴とする画像処理方法。 A mode for displaying different images as viewpoint images corresponding to the respective viewpoints of the multi-viewpoint three-dimensional display means;
A mode in which images constituting at least one pair of parallax images are displayed as a viewpoint image corresponding to each viewpoint direction of the multi-viewpoint three-dimensional display unit;
An image processing method comprising a switching step of switching between the two.
少なくとも一対の視差画像を入力する入力ステップと、
前記視差画像を構成する右目用画像及び左目用画像を、多視点３次元表示手段の各視点方向に対応する視点画像として重複して表示させる表示制御ステップと
を有することを特徴とする制御方法。 A control method for a display device having multi-viewpoint three-dimensional display means for displaying viewpoint images respectively corresponding to a plurality of viewpoints,
An input step of inputting at least a pair of parallax images;
And a display control step of displaying the right-eye image and the left-eye image constituting the parallax image as a viewpoint image corresponding to each viewpoint direction of the multi-viewpoint three-dimensional display unit.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013168905A JP2015037282A (en) | 2013-08-15 | 2013-08-15 | Image processing device, image processing method, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013168905A JP2015037282A (en) | 2013-08-15 | 2013-08-15 | Image processing device, image processing method, and program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2015037282A true JP2015037282A (en) | 2015-02-23 |
Family
ID=52687577
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013168905A Pending JP2015037282A (en) | 2013-08-15 | 2013-08-15 | Image processing device, image processing method, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2015037282A (en) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015069210A (en) * | 2013-09-27 | 2015-04-13 | 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． | Display apparatus and method providing multi-view image |
| US20170041596A1 (en) * | 2015-08-07 | 2017-02-09 | Samsung Electronics Co., Ltd. | Method and apparatus of light field rendering for plurality of users |
| JP2018533248A (en) * | 2015-08-24 | 2018-11-08 | フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン | 3D multi-aperture imaging device |
| US11244434B2 (en) | 2015-08-24 | 2022-02-08 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Multi-aperture imaging device |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0340692A (en) * | 1989-07-07 | 1991-02-21 | Nippon Telegr & Teleph Corp <Ntt> | Stereoscopic picture display method |
| JPH07104212A (en) * | 1993-10-06 | 1995-04-21 | Sanyo Electric Co Ltd | Stereoscopic picture display device |
| JP2012222605A (en) * | 2011-04-08 | 2012-11-12 | Sony Corp | Image processing apparatus, image processing method, and program |
| JP2012249060A (en) * | 2011-05-27 | 2012-12-13 | Jvc Kenwood Corp | Autostereoscopic display device |
-
2013
- 2013-08-15 JP JP2013168905A patent/JP2015037282A/en active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0340692A (en) * | 1989-07-07 | 1991-02-21 | Nippon Telegr & Teleph Corp <Ntt> | Stereoscopic picture display method |
| JPH07104212A (en) * | 1993-10-06 | 1995-04-21 | Sanyo Electric Co Ltd | Stereoscopic picture display device |
| JP2012222605A (en) * | 2011-04-08 | 2012-11-12 | Sony Corp | Image processing apparatus, image processing method, and program |
| JP2012249060A (en) * | 2011-05-27 | 2012-12-13 | Jvc Kenwood Corp | Autostereoscopic display device |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015069210A (en) * | 2013-09-27 | 2015-04-13 | 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． | Display apparatus and method providing multi-view image |
| US10244221B2 (en) | 2013-09-27 | 2019-03-26 | Samsung Electronics Co., Ltd. | Display apparatus and method |
| US20170041596A1 (en) * | 2015-08-07 | 2017-02-09 | Samsung Electronics Co., Ltd. | Method and apparatus of light field rendering for plurality of users |
| US10397541B2 (en) * | 2015-08-07 | 2019-08-27 | Samsung Electronics Co., Ltd. | Method and apparatus of light field rendering for plurality of users |
| JP2018533248A (en) * | 2015-08-24 | 2018-11-08 | フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン | 3D multi-aperture imaging device |
| US10701340B2 (en) | 2015-08-24 | 2020-06-30 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | 3D multi-aperture imaging device |
| US11244434B2 (en) | 2015-08-24 | 2022-02-08 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Multi-aperture imaging device |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6443654B2 (en) | Stereoscopic image display device, terminal device, stereoscopic image display method, and program thereof | |
| JP4933846B2 (en) | Stereoscopic image display device and 3D video-stereoscopic converter | |
| JP4965184B2 (en) | 3D graphic data processing device, stereoscopic video display device, and driving method of stereoscopic video display device | |
| JP2008146221A (en) | Image display system | |
| CN108076208B (en) | Display processing method and device and terminal | |
| KR20070005092A (en) | 3D graphic processing device and 3D image display device using the same | |
| JPH09238369A (en) | Three-dimension image display device | |
| KR20120025261A (en) | Image processing apparatus and method using eye tracking of user | |
| JP2013005135A (en) | Image processing apparatus and method, and program | |
| JP2015037282A (en) | Image processing device, image processing method, and program | |
| TWI515457B (en) | Multi-view three dimensional display system and control method thereof | |
| JP2008541165A (en) | 3D image display device using flat panel display | |
| JP2006229725A (en) | Image generation system and image generating method | |
| JP2005157033A (en) | Stereoscopic display device | |
| JP4471979B2 (en) | Image composition apparatus and image composition method | |
| JP2006203668A (en) | Image creation system and image creation method | |
| JP2004282217A (en) | Multiple-lens stereoscopic video image display apparatus | |
| JP2012191391A (en) | Three-dimensional display method and three-dimensional display device | |
| Minami et al. | Portrait and landscape mode convertible stereoscopic display using parallax barrier | |
| US8994791B2 (en) | Apparatus and method for displaying three-dimensional images | |
| KR101192121B1 (en) | Method and apparatus for generating anaglyph image using binocular disparity and depth information | |
| JP2005175539A (en) | Stereoscopic video display apparatus and video display method | |
| JP2006254240A (en) | Stereoscopic image display apparatus, and method and program therefor | |
| JP2015046694A (en) | Image processing device, image processing method, and program | |
| JP2013250757A (en) | Image processing device, image processing method, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160728 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170214 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20171017 |