JP2013167791A - Image display device and method of controlling image display device - Google Patents
Image display device and method of controlling image display device Download PDFInfo
- Publication number
- JP2013167791A JP2013167791A JP2012031585A JP2012031585A JP2013167791A JP 2013167791 A JP2013167791 A JP 2013167791A JP 2012031585 A JP2012031585 A JP 2012031585A JP 2012031585 A JP2012031585 A JP 2012031585A JP 2013167791 A JP2013167791 A JP 2013167791A
- Authority
- JP
- Japan
- Prior art keywords
- content
- image
- unit
- image data
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Control Of Indicators Other Than Cathode Ray Tubes (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
Description
本発明は、画像表示装置および画像表示装置の制御方法に関する。 The present invention relates to an image display device and a control method for the image display device.
二次元コンテンツを用いた平面的な画像表示と、三次元コンテンツを用いた立体的な画像表示との両方が可能な画像表示装置が知られている。このような画像表示装置においては、二次元コンテンツ用の画像表示処理と、三次元コンテンツ用の画像表示処理とが異なることから、利用者は画像表示の際に、コンテンツの種類(三次元/二次元)を指定する必要があり、手間がかかるという問題があった。 There is known an image display device capable of both planar image display using two-dimensional content and stereoscopic image display using three-dimensional content. In such an image display device, since the image display processing for two-dimensional content and the image display processing for three-dimensional content are different, the user can select the type of content (three-dimensional / 2 There is a problem that it takes time and effort.
このような手間をなくすために、従来では、画像の左側半部と右側半部の、互いに同一の位置にある画素同士の類似度に基づいて、コンテンツの種類を識別する映像(画像)表示装置が知られている(例えば、特許文献1)。 In order to eliminate such trouble, conventionally, a video (image) display device for identifying the type of content based on the similarity between pixels at the same position in the left half and right half of the image. Is known (for example, Patent Document 1).
従来の技術では、画面を左右半分ずつに分けて右半分を右目用の映像、左半分を左目用の映像を映す方式であるサイドバイサイド方式のコンテンツについて、コンテンツの種類を識別することが可能であった。ところが、三次元コンテンツには、フレーム・シーケンシャル方式や、トップアンドボトム方式、レンチキュラ方式など、多くの三次元映像方式を用いたコンテンツが存在する。従って、従来の技術では、サイドバイサイド方式以外の三次元映像方式を用いたコンテンツについては、コンテンツの種類を識別することができないという問題があった。 With the conventional technology, it is possible to identify the type of content for side-by-side content that divides the screen into right and left halves and projects the right half of the video for the right eye and the left half of the video for the left eye. It was. However, there are many 3D contents using 3D video systems such as a frame sequential system, a top-and-bottom system, and a lenticular system. Therefore, the conventional technique has a problem that the type of content cannot be identified for content using a 3D video system other than the side-by-side system.
本発明は、三次元映像方式の如何に関わらず、コンテンツの種類を識別することが可能な画像表示装置を提供することを目的とする。 An object of the present invention is to provide an image display device capable of identifying the type of content regardless of the 3D video system.
本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態又は適用例として実現することが可能である。 SUMMARY An advantage of some aspects of the invention is to solve at least a part of the problems described above, and the invention can be implemented as the following forms or application examples.
[適用例1]
画像表示装置であって、
コンテンツから表示用画像データーを生成する制御部と、
前記表示用画像データーを用いて画像を表示する画像表示部と、
を備え、
前記制御部は、
前記コンテンツが、三次元画像表示用の三次元コンテンツであるか、二次元画像表示用の二次元コンテンツであるかを識別する識別部と、
前記コンテンツが三次元コンテンツである場合は三次元用画像データーを、前記コンテンツが二次元コンテンツである場合は二次元用画像データーを、それぞれ前記表示用画像データーとして生成する画像処理部と、
を含む、画像表示装置。
このような構成とすれば、識別部は、コンテンツが三次元コンテンツであるか二次元コンテンツであるかを識別し、画像処理部は、コンテンツが三次元コンテンツである場合は三次元用画像データーを、コンテンツが二次元コンテンツである場合は二次元用画像データーを、それぞれ生成する。このため、画像表示装置において、三次元映像方式の如何に関わらずコンテンツの種類を識別し、識別結果に応じた表示用画像データーを生成することが可能となる。
[Application Example 1]
An image display device,
A control unit that generates display image data from the content;
An image display unit for displaying an image using the display image data;
With
The controller is
An identification unit for identifying whether the content is 3D content for 3D image display or 2D content for 2D image display;
An image processing unit that generates 3D image data when the content is 3D content, and generates 2D image data as the display image data when the content is 2D content;
An image display device.
With this configuration, the identification unit identifies whether the content is 3D content or 2D content, and the image processing unit uses the 3D image data when the content is 3D content. When the content is two-dimensional content, two-dimensional image data is generated. Therefore, in the image display device, it is possible to identify the type of content regardless of the 3D video system, and to generate display image data according to the identification result.
[適用例2]
適用例1記載の画像表示装置であって、
前記制御部は、さらに、
前記画像処理部において、三次元用画像データーの生成がなされた前記コンテンツを識別する識別情報を記憶する履歴記憶部を備え、
前記識別部は、
前記履歴記憶部に前記三次元用画像データーの生成がなされたとして記憶されている識別情報と同じ識別情報を持つ前記コンテンツを前記三次元コンテンツと、前記履歴記憶部に前記三次元用画像データーの生成がなされたとして記憶されている識別情報と異なる識別情報を持つ前記コンテンツを前記二次元コンテンツと識別する、画像表示装置。
このような構成とすれば、識別部は、履歴記憶部に三次元用画像データーの生成がなされたとして記憶されている識別情報と同じ識別情報を持つコンテンツを三次元コンテンツと、履歴記憶部に三次元用画像データーの生成がなされたとして記憶されている識別情報と異なる識別情報を持つコンテンツを二次元コンテンツと識別する。履歴記憶部は、画像処理部において過去に三次元用画像データーの生成がなされたコンテンツを識別する識別情報を記憶しているため、このようにすれば、識別部は、三次元映像方式の如何に関わらず、コンテンツの種類を識別することができる。また、識別部は、過去の履歴を用いてコンテンツの種類を識別するため、処理負荷を少なくすることができる。
[Application Example 2]
An image display device according to application example 1,
The control unit further includes:
The image processing unit includes a history storage unit that stores identification information for identifying the content on which the three-dimensional image data is generated,
The identification unit is
The content having the same identification information as the identification information stored as the generation of the 3D image data in the history storage unit is stored in the 3D content, and the 3D image data is stored in the history storage unit. An image display device that identifies the content having identification information different from the identification information stored as generated, from the two-dimensional content.
With such a configuration, the identification unit stores the content having the same identification information as the identification information stored as the generation of the three-dimensional image data in the history storage unit into the three-dimensional content and the history storage unit. Content having identification information different from the identification information stored as the generation of the three-dimensional image data is identified as two-dimensional content. Since the history storage unit stores identification information for identifying the content for which 3D image data has been generated in the past by the image processing unit, the identification unit can determine whether the 3D video system is used. Regardless, the type of content can be identified. Further, since the identification unit identifies the type of content using the past history, the processing load can be reduced.
[適用例3]
適用例2記載の画像表示装置であって、
前記制御部は、さらに、
前記画像処理部において、三次元用画像データーの生成がなされた前記コンテンツの識別情報を前記履歴記憶部へ記憶させる履歴付与部を備える、画像表示装置。
このような構成とすれば、履歴付与部は、画像処理部において三次元用画像データーの生成がなされたコンテンツを識別する識別情報を履歴記憶部へ記憶させるため、画像処理部における過去の処理の履歴を記憶しておくことができる。
[Application Example 3]
An image display device according to Application Example 2,
The control unit further includes:
An image display device comprising: a history adding unit that stores, in the image processing unit, identification information of the content for which the three-dimensional image data is generated in the history storage unit.
With this configuration, the history adding unit stores identification information for identifying the content for which three-dimensional image data has been generated in the image processing unit in the history storage unit. History can be stored.
[適用例4]
適用例2または3記載の画像表示装置であって、
前記履歴記憶部は、さらに、
前記識別情報に対応付けて、前記識別情報で特定される前記コンテンツについて、前記三次元用画像データーの生成がなされた時間を再生時間として記憶し、
前記識別部は、
前記履歴記憶部に前記三次元用画像データーの生成がなされたとして記憶されている識別情報と同じ識別情報を持ち、かつ、前記再生時間が所定の時間以上である前記コンテンツを前記三次元コンテンツと、前記履歴記憶部に前記三次元用画像データーの生成がなされたとして記憶されている識別情報と異なる識別情報を持つ、もしくは、前記再生時間が所定の時間未満である前記コンテンツを前記二次元コンテンツと識別する、画像表示装置。
このような構成とすれば、スイッチの誤操作等により、使用者の意図に反して三次元用画像データーの生成がなされたコンテンツが、三次元コンテンツであると識別されることを抑制することができる。
[Application Example 4]
An image display device according to application example 2 or 3,
The history storage unit further includes:
In association with the identification information, for the content specified by the identification information, the time when the three-dimensional image data is generated is stored as a reproduction time,
The identification unit is
The content having the same identification information as the identification information stored as the generation of the three-dimensional image data in the history storage unit and the reproduction time is a predetermined time or more is referred to as the three-dimensional content. The content having identification information different from the identification information stored as the generation of the three-dimensional image data in the history storage unit or the reproduction time being less than a predetermined time is the two-dimensional content. An image display device that identifies
With such a configuration, it is possible to prevent the content in which the 3D image data is generated against the user's intention due to an erroneous operation of the switch or the like from being identified as the 3D content. .
[適用例5]
適用例1ないし4のいずれか一項記載の画像表示装置であって、
前記識別部は、
前記コンテンツに含まれる画像データーを、上下もしくは左右に分割することで得られた第1の画像データーと第2の画像データーについて、1つの走査線内の複数個所の画素の輝度を記憶し、記憶した前記第1の画像データーと前記第2の画像データーとの輝度の並びを比較し、同じもしくは極めて類似したパターンが含まれる場合は前記コンテンツを前記三次元コンテンツと識別し、その他の場合は前記コンテンツを前記二次元コンテンツと識別する、画像表示装置。
このような構成とすれば、識別部は、コンテンツに含まれる画像データーを分割することで得られた第1の画像データーと第2の画像データーの輝度の並びを比較し、同じもしくは極めて類似したパターンが含まれるコンテンツの場合は当該コンテンツを三次元コンテンツと、その他の場合は当該コンテンツを二次元コンテンツと識別する。このため、識別部は、サイドバイサイド方式の三次元コンテンツと、トップアンドボトム方式の三次元コンテンツとについて、コンテンツの種類を識別することができる。
[Application Example 5]
The image display device according to any one of Application Examples 1 to 4,
The identification unit is
For the first image data and the second image data obtained by dividing the image data included in the content vertically or horizontally, the luminance of pixels at a plurality of locations in one scanning line is stored and stored. Comparing the luminance sequence of the first image data and the second image data, and if the same or very similar pattern is included, the content is identified as the three-dimensional content; An image display device for identifying content from the two-dimensional content.
With such a configuration, the identification unit compares the arrangement of luminances of the first image data and the second image data obtained by dividing the image data included in the content, and is the same or very similar. In the case of content including a pattern, the content is identified as 3D content, and in other cases, the content is identified as 2D content. Therefore, the identification unit can identify the type of content for side-by-side 3D content and top-and-bottom 3D content.
[適用例6]
適用例1ないし5のいずれか一項記載の画像表示装置であって、
前記制御部は、さらに、
前記画像処理部において、三次元用画像データーの生成がなされた前記コンテンツに対して、当該コンテンツのヘッダーもしくは前記識別情報そのものを更新し、三次元コンテンツである旨を付与する履歴付与部を備え、
前記識別部は、
前記コンテンツの前記ヘッダーもしくは前記識別情報を参照し、三次元コンテンツである旨が含まれている場合は前記コンテンツを前記三次元コンテンツと識別し、その他の場合は前記コンテンツを前記二次元コンテンツと識別する、画像表示装置。
このような構成とすれば、識別部は、コンテンツのヘッダーもしくは識別情報そのものを参照し、三次元コンテンツである旨が含まれている場合は当該コンテンツを三次元コンテンツと、その他の場合は当該コンテンツを二次元コンテンツと識別する。コンテンツのヘッダーもしくは識別情報には、画像処理部において過去に三次元用画像データーの生成がなされたコンテンツについて、三次元コンテンツである旨が付与されているため、このようにすれば、識別部は、三次元映像方式の如何に関わらず、コンテンツの種類を識別することができる。また、識別部は、コンテンツのヘッダーもしくは識別情報に付与された情報を用いてコンテンツの種類を識別するため、処理負荷を少なくすることができる。
[Application Example 6]
The image display device according to any one of Application Examples 1 to 5,
The control unit further includes:
In the image processing unit, for the content for which the three-dimensional image data has been generated, a history adding unit is provided that updates the content header or the identification information itself to give the fact that the content is three-dimensional content,
The identification unit is
Referring to the header or the identification information of the content, if the content is a three-dimensional content, the content is identified as the three-dimensional content; otherwise, the content is identified as the two-dimensional content. An image display device.
With such a configuration, the identification unit refers to the header of the content or the identification information itself, and if the content is 3D content, the content is the 3D content, and in other cases, the content. Is identified as two-dimensional content. In the content header or identification information, since the content for which 3D image data has been generated in the past by the image processing unit is given as being 3D content, in this way, the identification unit The type of content can be identified regardless of the 3D video format. In addition, since the identification unit identifies the type of content using information attached to the content header or identification information, the processing load can be reduced.
[適用例7]
適用例1ないし6のいずれか一項記載の画像表示装置であって、
前記識別部は、さらに、
前記コンテンツの識別結果の正誤を確認するための確認メッセージを、前記画像表示部に表示させる、画像表示装置。
このような構成とすれば、識別部は、コンテンツの識別結果の正誤を確認するためのメッセージを画像表示部に表示させるため、画像表示装置の使用者に確認を求めることができる。
[Application Example 7]
The image display device according to any one of Application Examples 1 to 6,
The identification unit further includes:
An image display device that displays a confirmation message for confirming whether the content identification result is correct or not on the image display unit.
With such a configuration, the identification unit displays a message for confirming whether the content identification result is correct or incorrect on the image display unit, and thus can ask the user of the image display device for confirmation.
[適用例8]
適用例1ないし7のいずれか一項記載の画像表示装置であって、
前記画像表示装置は、使用者に虚像を視認させる頭部装着型表示装置であり、
前記画像表示部は、
表示用画像データーを用いて画像を表す画像光を生成し射出させる一対の画像光生成部と、
射出された前記画像光を使用者の眼に導く一対の導光部と、
を含み、
前記画像処理部は、
前記コンテンツが三次元コンテンツである場合は、一方の前記画像光生成部と、他方の前記画像光生成部とで用いられる異なる表示用画像データーの組である三次元用画像データーを生成し、前記コンテンツが二次元コンテンツである場合は、一方の前記画像光生成部と、他方の前記画像光生成部とでそれぞれ用いられる同じ表示用画像データーの組である二次元用画像データーを生成する、画像表示装置。
このような構成とすれば、画像処理部は、コンテンツが三次元コンテンツである場合は一方の画像光生成部と、他方の画像光生成部とでそれぞれ用いられる異なる表示用画像データーの組である三次元用画像データーを生成し、コンテンツが二次元コンテンツである場合は一方の画像光生成部と、他方の画像光生成部とで用いられる同じ表示用画像データーの組である二次元用画像データーを生成する。このため、頭部装着型表示装置において、識別部による識別結果に応じた表示用画像データーを生成することが可能となる。
[Application Example 8]
The image display device according to any one of Application Examples 1 to 7,
The image display device is a head-mounted display device that allows a user to visually recognize a virtual image,
The image display unit
A pair of image light generators that generate and emit image light representing an image using display image data;
A pair of light guides for guiding the emitted image light to the eyes of the user;
Including
The image processing unit
When the content is a three-dimensional content, generate three-dimensional image data that is a set of different display image data used in one of the image light generation unit and the other image light generation unit, When the content is two-dimensional content, an image that generates two-dimensional image data that is a set of the same display image data used in one of the image light generation unit and the other image light generation unit Display device.
With such a configuration, when the content is three-dimensional content, the image processing unit is a set of different display image data used by one image light generation unit and the other image light generation unit. When 3D image data is generated and the content is 2D content, 2D image data that is a set of the same display image data used in one image light generation unit and the other image light generation unit Is generated. For this reason, in the head-mounted display device, it is possible to generate display image data according to the identification result by the identification unit.
[適用例9]
適用例1ないし8のいずれか一項記載の画像表示装置であって、
前記画像処理部は、
前記コンテンツが三次元コンテンツである場合に、所定の時間、前記二次元用画像データーを生成し、その後、前記三次元用画像データーを生成する、画像表示装置。
このような構成とすれば、画像処理部は、コンテンツが三次元コンテンツである場合に、所定の時間二次元用画像データーを生成し、その後三次元用画像データーを生成する。すなわち画像処理部は、三次元用画像データー生成までの間に故意にタイムラグを設ける。この結果、画像表示装置は画像表示装置の使用者に対して、視認中の画像が三次元画像であることを気づきやすくすることができる。
[Application Example 9]
The image display device according to any one of Application Examples 1 to 8,
The image processing unit
An image display device that, when the content is a three-dimensional content, generates the two-dimensional image data for a predetermined time, and then generates the three-dimensional image data.
With such a configuration, when the content is three-dimensional content, the image processing unit generates two-dimensional image data for a predetermined time, and then generates three-dimensional image data. That is, the image processing unit intentionally provides a time lag before the generation of the three-dimensional image data. As a result, the image display device can make it easier for the user of the image display device to notice that the image being viewed is a three-dimensional image.
なお、本発明は、種々の態様で実現することが可能であり、例えば、画像表示装置および画像表示装置の制御方法、画像表示システム、これらの方法、装置またはシステムの機能を実現するためのコンピュータープログラム、そのコンピュータープログラムを記録した記録媒体等の形態で実現することができる。 The present invention can be realized in various modes. For example, an image display device, a control method for the image display device, an image display system, and a computer for realizing the functions of these methods, devices, or systems. It can be realized in the form of a program, a recording medium on which the computer program is recorded, or the like.
次に、本発明の実施の形態を実施例に基づいて説明する。 Next, embodiments of the present invention will be described based on examples.
A.第1実施例:
(A−1)画像表示装置の構成:
図1は、本発明の一実施例における画像表示装置の外観の構成を示す説明図である。画像表示装置HMは、頭部に装着する頭部装着型表示装置であり、ヘッドマウントディスプレイ(Head Mounted Display、HMD)とも呼ばれる。本実施例のヘッドマウントディスプレイHMは、使用者が、虚像を視認すると同時に外景も直接視認可能な光学透過型の画像表示装置である。
A. First embodiment:
(A-1) Configuration of image display device:
FIG. 1 is an explanatory diagram showing an external configuration of an image display apparatus according to an embodiment of the present invention. The image display device HM is a head-mounted display device worn on the head, and is also called a head mounted display (HMD). The head mounted display HM of the present embodiment is an optically transmissive image display device that allows a user to visually recognize a virtual image and at the same time directly view an outside scene.
ヘッドマウントディスプレイHMは、使用者の頭部に装着された状態において使用者に虚像を視認させる画像表示部20と、画像表示部20を制御する制御部(コントローラー)10とを備えている。
The head-mounted display HM includes an
画像表示部20は、使用者の頭部に装着される装着体であり、本実施例では眼鏡形状を有している。画像表示部20は、右保持部21と、右表示駆動部22と、左保持部23と、左表示駆動部24と、右光学像表示部26と、左光学像表示部28とを含んでいる。右光学像表示部26および左光学像表示部28は、ヘッドマウントディスプレイHMの装着時における使用者の右および左の眼前に対応する位置に配置されている。右光学像表示部26の一端と、左光学像表示部28の一端は、それぞれ、ヘッドマウントディスプレイHMの装着時における使用者の眉間に対応する位置で接続されている。右光学像表示部26の他端である端部ERからは、右保持部21が延伸している。同様に、左光学像表示部28の他端である端部ELからは、左保持部23が延伸している。
The
右保持部21は、右光学像表示部26の端部ERから、ヘッドマウントディスプレイHMの装着時における使用者の側頭部に対応する位置にかけて、右光学像表示部26とほぼ直角をなすように延伸して設けられた部材である。同様に、左保持部23は、左光学像表示部28の端部ELから、ヘッドマウントディスプレイHMの装着時における使用者の側頭部に対応する位置にかけて、左光学像表示部28とほぼ直角をなすように延伸して設けられた部材である。右保持部21と、左保持部23は、眼鏡のテンプル(つる)のようにして、使用者の頭部にヘッドマウントディスプレイHMを保持する。
The
右表示駆動部22は、右保持部21の内側(換言すれば、ヘッドマウントディスプレイHMの装着時における使用者の頭部に対向する側)であって、右光学像表示部26の端部ER側に配置されている。また、左表示駆動部24は、左保持部23の内側であって、左光学像表示部28の端部EL側に配置されている。なお、以降では、右保持部21および左保持部23を総称して単に「保持部」と、右表示駆動部22および左表示駆動部24を総称して単に「表示駆動部」と、右光学像表示部26および左光学像表示部28を総称して単に「光学像表示部」とも呼ぶ。
The right
表示駆動部は、図示しないLCD(Liquid Crystal Display:液晶ディスプレイ)や、投写光学系等を含む。詳細は後述する。光学部材としての光学像表示部は、図示しない導光板と、調光板とを含んでいる。導光板は、光透過性の樹脂材料等によって形成され、表示駆動部から取り込んだ画像光を使用者の眼に向けて射出させる。調光板は、薄板状の光学素子であり、ヘッドマウントディスプレイHMの表側(使用者の眼の側とは反対の側)を覆うように配置されている。調光板は、導光板を保護し、導光板の損傷や、汚れの付着等を抑制するとともに、調光板の光透過率を調整することにより、使用者の眼に入る外光量を調整し、虚像の視認のしやすさを調整することができる。なお、調光板は省略可能である。 The display driving unit includes an LCD (Liquid Crystal Display), a projection optical system, and the like (not shown). Details will be described later. The optical image display unit as an optical member includes a light guide plate (not shown) and a light control plate. The light guide plate is formed of a light transmissive resin material or the like, and emits image light taken from the display driving unit toward the user's eyes. The light control plate is a thin plate-like optical element, and is disposed so as to cover the front side of the head mounted display HM (the side opposite to the user's eye side). The light control plate protects the light guide plate, suppresses damage to the light guide plate, adhesion of dirt, etc., and adjusts the light transmittance of the light control plate to adjust the amount of external light entering the user's eyes. The ease of visual recognition of the virtual image can be adjusted. The light control plate can be omitted.
画像表示部20は、さらに、画像表示部20を制御部10に接続するための接続部40を有している。接続部40は、制御部10に接続される本体コード48と、本体コード48が2本に分岐した右コード42と、左コード44と、分岐点に設けられた連結部材46と、を含んでいる。右コード42は、右保持部21の延伸方向の先端部APから右保持部21の筐体内に挿入され、右表示駆動部22に接続されている。同様に、左コード44は、左保持部23の延伸方向の先端部APから左保持部23の筐体内に挿入され、左表示駆動部24に接続されている。
The
画像表示部20と制御部10とは、接続部40を介して各種信号の伝送を行う。本体コード48における連結部材46とは反対側の端部と、制御部10とのそれぞれには、互いに嵌合するコネクター(図示省略)が設けられており、本体コード48のコネクターと制御部10のコネクターとの嵌合/嵌合解除により、制御部10と画像表示部20とが接続されたり切り離されたりする。右コード42と、左コード44と、本体コード48には、例えば、金属ケーブルや、光ファイバーを採用することができる。
The
制御部10は、ヘッドマウントディスプレイHMを操作するための装置である。制御部10は、点灯部12と、タッチパッド14と、十字キー16と、電源スイッチ18と、表示モード切替スイッチ19とを含んでいる。点灯部12は、ヘッドマウントディスプレイHMの動作状態(例えば、電源のON/OFF等)を、その発光状態によって通知する。点灯部12としては、例えば、LED(Light Emitting Diode)を用いることができる。タッチパッド14は、タッチパッド14の操作面上での使用者の指の操作を検出して、検出内容に応じた信号を出力する。十字キー16は、上下左右方向に対応するキーへの押下操作を検出して、検出内容に応じた信号を出力する。電源スイッチ18は、スイッチのスライド操作を検出することで、ヘッドマウントディスプレイHMの電源投入状態を切り替える。表示モード切替スイッチ19は、二次元コンテンツを表示するための二次元表示モード(詳細は後述)と、三次元コンテンツを表示するための三次元表示モード(詳細は後述)とを、手動で切り替える。
The
本実施例においてコンテンツとは、画像(静止画像、動画像)や音声等からなる情報内容を意味する。コンテンツには、平面的な画像表示を可能とする二次元コンテンツと、立体的な画像表示を可能とする三次元コンテンツとが含まれる。また、三次元コンテンツには、様々な三次元映像方式を用いたコンテンツが存在する。三次元映像方式には、例えば、左右の目で見る映像を1コマごとに振り分けるフレーム・シーケンシャル式、画面の横方向の走査線を上から右目用の映像、左目用の映像と一本ずつ交互に分けて映すトップアンドボトム方式、画面を左右半分に分けて右半分を右目用の映像、左半分を左目用の映像を映すサイドバイサイド方式、画面の表面にレンチキュラ・スクリーンと呼ばれる透明板を貼るレンチキュラ方式、画面に赤色と青色2色の重なった映像を写して赤と青のフィルター付き眼鏡を用いるアナグリフ方式等がある。 In this embodiment, the content means information content including an image (still image, moving image), sound, and the like. The content includes two-dimensional content that enables two-dimensional image display and three-dimensional content that enables three-dimensional image display. In addition, there are contents using various 3D video systems in the 3D contents. In the 3D video format, for example, a frame-sequential method that distributes the images seen by the left and right eyes one frame at a time, the horizontal scanning lines of the screen alternate from the top to the right-eye video, and the left-eye video one by one A top-and-bottom method that projects the screen in half, a side-by-side method that divides the screen into left and right halves and projects the right half of the image for the right eye and the left half of the image for the left eye. There is an anaglyph method that uses a pair of red and blue filter glasses by displaying an image in which two colors of red and blue are superimposed on the screen.
図2は、ヘッドマウントディスプレイHMの構成を機能的に示すブロック図である。制御部10は、入力情報取得部110と、記憶部120と、電源130と、CPU140と、インターフェイス180と、送信部(Tx)51および52と、を備え、各部は図示しないバスにより相互に接続されている。
FIG. 2 is a block diagram functionally showing the configuration of the head mounted display HM. The
入力情報取得部110は、例えば、タッチパッド14や十字キー16、電源スイッチ18に対する操作入力等の使用者による操作入力に応じた信号を取得する機能を有する。記憶部120は、図示しないROM、RAM、DRAM、ハードディスク等を含む記憶部である。また、記憶部120には、履歴記憶部122が含まれている。詳細は後述する。電源130は、ヘッドマウントディスプレイHMの各部に電力を供給する。電源130としては、例えば二次電池を用いることができる。
The input
CPU140は、予めインストールされたプログラムを実行することで、オペレーティングシステム(ОS)150としての機能を提供する。また、CPU140は、ROMやハードディスクに格納されているファームウェアやコンピュータープログラムをRAMに展開して実行することにより、識別部142、履歴付与部144、画像処理部160、音声処理部170、表示制御部190としても機能する。
The
識別部142は、OS150からのコンテンツ再生開始要求をトリガーとして、再生開始処理(詳細は後述)を実行する。識別部142は、再生開始処理において、コンテンツの種類を識別し、識別したコンテンツの種類に応じて、二次元表示モードの表示用画像データー生成処理もしくは三次元表示モードの表示用画像データー生成処理を画像処理部160へ要求する。なお、本実施例において「コンテンツの種類」には、二次元コンテンツと三次元コンテンツとが含まれる。
The
履歴付与部144は、OS150からのコンテンツ再生終了要求またはコンテンツファイルの終端(EOF、End Of File)をトリガーとして、再生終了要処理(詳細は後述)を実行する。
The
図3は、画像処理部160による表示用画像データー生成処理の概要を示す説明図である。まず、二次元表示モードの表示用画像データー生成処理および三次元表示モードの表示用画像データー生成処理に共通の処理として、画像処理部160は、インターフェイス180を介して入力されるコンテンツに含まれる画像信号を取得する。取得した画像信号は、例えば動画像の場合、一般的に、1秒あたり30枚のフレーム画像から構成されているアナログ信号である。画像処理部160は、取得した画像信号から、垂直同期信号VSyncや水平同期信号HSync等の同期信号を分離する。また、画像処理部160は、分離した垂直同期信号VSyncや水平同期信号HSyncの周期に応じて、図示しないPLL(Phase Locked Loop)回路等を利用してクロック信号PCLKを生成する。
FIG. 3 is an explanatory diagram showing an overview of display image data generation processing by the
画像処理部160は、同期信号が分離されたアナログ画像信号を、図示しないA/D変換回路等を用いてディジタル画像信号に変換する。その後、画像処理部160は、変換後のディジタル画像信号を、対象画像の画像データー(RGBデーター)として、1フレームごとに記憶部120内のDRAMに格納する。なお、画像処理部160は、必要に応じて、画像データーに対して、解像度変換処理、輝度や彩度の調整といった種々の色調補正処理、キーストーン補正処理等の画像処理を実行してもよい。
The
図3(A)は、二次元表示モードの表示用画像データー生成処理の概要を示している。二次元表示モードの場合、画像処理部160は、生成したクロック信号PCLK、垂直同期信号VSync、水平同期信号HSyncと、記憶部120内のDRAMに格納された画像データーとを、送信部51および52を介して画像表示部20へそれぞれ送信する。二次元表示モードの場合、送信部51を介して送信される画像データー(以降、「右眼用画像データーData1」とも呼ぶ。)と、送信部52を介して送信される画像データー(以降、「左眼用画像データーData2」とも呼ぶ。)とは、同じ表示用画像データーである。
FIG. 3A shows an overview of the display image data generation process in the two-dimensional display mode. In the two-dimensional display mode, the
なお、二次元表示モードの場合に生成される右眼用画像データーData1と、左眼用画像データーData2との組を「二次元用画像データー」とも呼ぶ。また、図3(A)の例では、LCD画面上に明るさ、コントラスト、音量等を表示するためのOSD(On Screen Display)表示がされた画像データーを示している。画像処理部160は、二次元表示モードの表示用画像データー生成処理においては、非圧縮サイズの二次元表示モード用OSDを用いる。
Note that a set of right-eye image data Data1 and left-eye image data Data2 generated in the two-dimensional display mode is also referred to as “two-dimensional image data”. In the example of FIG. 3A, image data on which an OSD (On Screen Display) display for displaying brightness, contrast, volume, and the like is displayed on the LCD screen is shown. The
図3(B)は、三次元表示モードの表示用画像データー生成処理の概要を示している。以下では、三次元映像方式としてサイドバイサイド方式が採用された場合の処理の例を示す。三次元表示モードの場合、画像処理部160は、まず、記憶部120内のDRAMに格納された画像データーを、左右に分割する。そして、画像処理部160は、分割された画像データーの右側部分を横方向に2倍に拡大し、右眼用画像データーData1を生成する。同様に、画像処理部160は、分割された画像データーの左側部分を横方向に2倍に拡大し、左眼用画像データーData2を生成する。三次元表示モードの場合、右眼用画像データーData1と、左眼用画像データーData2とは、異なる表示用画像データーである。
FIG. 3B shows an overview of display image data generation processing in the three-dimensional display mode. Hereinafter, an example of processing when the side-by-side method is adopted as the three-dimensional video method will be described. In the three-dimensional display mode, the
画像処理部160は、生成したクロック信号PCLK、垂直同期信号VSync、水平同期信号HSyncと、右眼用画像データーData1とを、送信部51を介して画像表示部20へ送信する。同様に、画像処理部160は、生成したクロック信号PCLK、垂直同期信号VSync、水平同期信号HSyncと、左眼用画像データーData2とを、送信部52を介して画像表示部20へ送信する。
The
なお、三次元表示モードの場合に生成される右眼用画像データーData1と、左眼用画像データーData2との組を「三次元用画像データー」とも呼ぶ。また、上記では、三次元映像方式としてサイドバイサイド方式が採用された場合の処理の例を示した。しかし、画像処理部160は、サイドバイサイド方式に限らず、種々の三次元映像方式に対応した処理を行うことができる。また、図3(B)では、図3(A)と同様に、OSD表示がされた画像データーを示している。画像処理部160は、三次元表示モードの表示用画像データー生成処理においては、1/2幅に圧縮されたサイズの三次元表示モード用OSDを用いる。そうすれば、上記表示用画像データー生成処理において右眼用画像データーData1および左眼用画像データーData2が横方向に2倍に拡大された際でも、適正なOSD表示を行うことが可能となる。
Note that a set of right-eye image data Data1 and left-eye image data Data2 generated in the three-dimensional display mode is also referred to as “three-dimensional image data”. Moreover, in the above, the example of the process in case the side by side system is employ | adopted as a three-dimensional video system was shown. However, the
なお、二次元表示モードの表示用画像データー生成処理および三次元表示モードの表示用画像データー生成処理の両処理において、送信部51、52は、制御部10と、画像表示部20との間におけるシリアル伝送のためのトランシーバーとして機能する。
In both the display image data generation process in the 2D display mode and the display image data generation process in the 3D display mode, the
図2の表示制御部190は、右表示駆動部22および左表示駆動部24を制御する制御信号を生成する。具体的には、表示制御部190は、制御信号により、右LCD制御部211による右LCD241の駆動ON/OFFや、右バックライト制御部201による右バックライト221の駆動ON/OFF、左LCD制御部212による左LCD242の駆動ON/OFFや、左バックライト制御部202による左バックライト222の駆動ON/OFF、などを個別に制御することにより、右表示駆動部22および左表示駆動部24のそれぞれによる画像光の生成および射出を制御する。例えば、表示制御部190は、右表示駆動部22および左表示駆動部24の両方に画像光を生成させたり、一方のみに画像光を生成させたり、両方共に画像光を生成させなかったりする。
The
表示制御部190は、右LCD制御部211と左LCD制御部212とに対する制御信号を、送信部51および52を介してそれぞれ送信する。また、表示制御部190は、右バックライト制御部201と左バックライト制御部202とに対する制御信号を、それぞれ送信する。
The
音声処理部170は、コンテンツに含まれる音声信号を取得し、取得した音声信号を増幅して、画像表示部20の右イヤホン32内の図示しないスピーカーおよび左イヤホン34内の図示しないスピーカーに対し、接続部40を介して供給する。なお、例えば、Dolby(登録商標)システムを採用した場合、音声信号に対する処理がなされ、右イヤホン32および左イヤホン34からは、それぞれ、例えば周波数等が変えられた異なる音が出力される。
The
インターフェイス180は、制御部10に対して、コンテンツの供給元となる種々の外部機器OAを接続するためのインターフェイスである。外部機器ОAとしては、例えば、パーソナルコンピューターPCや携帯電話端末、ゲーム端末等がある。インターフェイス180としては、例えば、USBインターフェイスや、マイクロUSBインターフェイス、メモリーカード用インターフェイス、無線LANインターフェイス等を備えることができる。
The
画像表示部20は、右表示駆動部22と、左表示駆動部24と、右光学像表示部26としての右導光板261と、左光学像表示部28としての左導光板262と、右イヤホン32と、左イヤホン34とを備えている。
The
右表示駆動部22は、受信部(Rx)53と、光源として機能する右バックライト(BL)制御部201および右バックライト(BL)221と、表示素子として機能する右LCD制御部211および右LCD241と、右投写光学系251を含んでいる。なお、右バックライト制御部201と、右LCD制御部211と、右バックライト221と、右LCD241とを総称して「画像光生成部」とも呼ぶ。
The right
受信部53は、制御部10と、画像表示部20との間におけるシリアル伝送のためのレシーバーとして機能する。右バックライト制御部201は、入力された制御信号に基づいて、右バックライト221を駆動する機能を有する。右バックライト221は、例えば、LEDやエレクトロルミネセンス(EL)等の発光体である。右LCD制御部211は、受信部53を介して入力されたクロック信号PCLKと、垂直同期信号VSyncと、水平同期信号HSyncと、右眼用画像データーData1とに基づいて、右LCD241を駆動する機能を有する。右LCD241は、複数の画素をマトリクス状に配置した透過型液晶パネルである。
The receiving
図4は、画像光生成部によって画像光が射出される様子を示す説明図である。右LCD241はマトリクス状に配置された各画素位置に対応する液晶を駆動することによって、右LCD241を透過する光の透過率を変化させることにより、右バックライト221から照射される照明光ILを、画像を表す有効な画像光PLへと変調する機能を有する。なお、図4のように、本実施例ではバックライト方式を採用することとしたが、フロントライト方式や、反射方式を用いて画像光を射出する構成としてもよい。
FIG. 4 is an explanatory diagram illustrating a state in which image light is emitted by the image light generation unit. The
図2の右投写光学系251は、右LCD241から射出された画像光を並行状態の光束にするコリメートレンズによって構成される。右光学像表示部26としての右導光板261は、右投写光学系251から出力された画像光を、所定の光路に沿って反射させつつ使用者の右眼REに導く。なお、右投写光学系251と右導光板261とを総称して「導光部」とも呼ぶ。
The right projection
左表示駆動部24は、受信部(Rx)54と、光源として機能する左バックライト(BL)制御部202および左バックライト(BL)222と、表示素子として機能する左LCD制御部212および左LCD242と、左投写光学系252を含んでいる。なお、左バックライト制御部202と、左LCD制御部212と、左バックライト222と、左LCD242とを総称して「画像光生成部」と、左投写光学系252と、左導光板262とを総称して「導光部」とも呼ぶ。右表示駆動部22と左表示駆動部24とは対になっており、左表示駆動部24の各部は、右表示駆動部22で説明する各部と同様の構成および動作を有するため詳細な説明は省略する。
The left
図5は、使用者に認識される虚像の一例を示す説明図である。上述のようにして、ヘッドマウントディスプレイHMの使用者の両眼に導かれた画像光が使用者の網膜に結像することにより、使用者は虚像を視認することができる。図5に示すように、ヘッドマウントディスプレイHMの使用者の視野VR内には虚像VIが表示される。また、使用者の視野VRのうち、虚像VIが表示された部分以外については、使用者は、右光学像表示部26および左光学像表示部28を透過して、外景SCを見ることができる。なお、本実施例のヘッドマウントディスプレイHMでは、使用者の視野VRの内の虚像VIが表示された部分についても、虚像VIの背後に外景SCが透けて見えるようになっている。
FIG. 5 is an explanatory diagram illustrating an example of a virtual image recognized by the user. As described above, the image light guided to both eyes of the user of the head mounted display HM forms an image on the retina of the user, so that the user can visually recognize the virtual image. As shown in FIG. 5, a virtual image VI is displayed in the visual field VR of the user of the head mounted display HM. In addition, the user can see the outside scene SC through the right optical
(A−2)履歴記憶部の構成:
図6は、履歴記憶部122の一例を示す説明図である。本実施例における履歴記憶部122は、画像処理部160において、過去に三次元表示モードで三次元用画像データーの生成がなされたコンテンツを識別する識別情報を記憶するための記憶部である。履歴記憶部は、後述の再生終了処理において更新されるほか、ヘッドマウントディスプレイHMの使用者が、表示モード切替スイッチ19を手動で操作した結果として、画像処理部160において表示用画像データー生成処理が実行された場合にも更新される。また、ヘッドマウントディスプレイHMがステレオカメラを備える構成では、ステレオカメラで撮像・保存された画像について更新されてもよい。履歴記憶部122は、識別子と、表示モードと、再生日時と、再生時間と、合計再生回数とを含んでいる。
(A-2) Configuration of history storage unit:
FIG. 6 is an explanatory diagram illustrating an example of the
識別子フィールドには、コンテンツを識別するための識別情報が格納される。識別情報としては、例えば、ファイル名や、フォルダー名、ファイルパス等を採用することができる。表示モードフィールドには、識別情報で特定されるコンテンツについて、過去に画像処理部160で表示用画像データー生成処理が実行された表示モード(二次元表示モード/三次元表示モード)が格納される。再生日時フィールドには、識別情報で特定されるコンテンツについての、最新の再生日時が格納される。再生時間フィールドは、識別情報で特定されるコンテンツについての、最新の再生時間が格納される。合計再生回数フィールドには、識別情報で特定されるコンテンツが再生された総合計回数が格納される。
In the identifier field, identification information for identifying the content is stored. As the identification information, for example, a file name, a folder name, a file path, or the like can be adopted. The display mode field stores a display mode (two-dimensional display mode / three-dimensional display mode) in which display image data generation processing has been executed in the past by the
例えば、図6のエントリーE01の例では、ファイル名「XXXXXXX.avi」というコンテンツが、三次元表示モードで、2011年10月10日の12時23分に、2分03秒間再生されたことと、現在までに合計3回再生されていることを示している。 For example, in the example of entry E01 in FIG. 6, the content with the file name “XXXXXXX.avi” was played back at 12:23 on October 10, 2011 for 2 minutes 03 seconds in the 3D display mode. This indicates that a total of three playbacks have been performed so far.
(A−3)再生開始処理:
図7は、再生開始処理の手順を示すフローチャートである。再生開始処理は、識別部142により実行される処理であり、コンテンツの種類を識別し、コンテンツの種類の識別結果に応じた表示モードで画像処理部160に表示用画像データー生成処理を実行させるための処理である。識別部142は、OS150からコンテンツ再生要求を受けたコンテンツ(以降、「識別対象コンテンツ」とも呼ぶ。)の識別情報を取得する(ステップS100)。識別部142は、取得した識別情報をキーとして履歴記憶部122の識別子フィールドを検索する(ステップS102)。
(A-3) Playback start processing:
FIG. 7 is a flowchart showing the procedure of the reproduction start process. The reproduction start process is a process executed by the
識別部142は、ステップS102の検索結果を用いて、識別対象コンテンツが三次元コンテンツか否かを識別する(ステップS104)。具体的には、識別部142は、ステップS102の検索の結果、履歴記憶部122に一致するエントリーがあり、かつ、当該エントリーの表示モードフィールドに「三次元表示モード」と格納されている場合、識別対象コンテンツは三次元コンテンツであると識別する(ステップS104:YES)。一方、識別部142は、ステップS102の検索の結果、履歴記憶部122に一致するエントリーがない、または、一致するエントリーがあっても当該エントリーの表示モードフィールドに「二次元表示モード」と格納されている場合、識別対象コンテンツは二次元コンテンツであると識別する(ステップS104:NO)。
The
なお、ステップS104では、上記に加えて、履歴記憶部122の再生時間フィールドや、合計再生回数フィールドに格納されている値を用いて、識別対象コンテンツが三次元コンテンツか否かを識別してもよい。
In step S104, in addition to the above, it is also possible to identify whether the content to be identified is a three-dimensional content by using values stored in the playback time field of the
例えば、識別部142は、ステップS102の検索の結果、履歴記憶部122に一致するエントリーがあり、かつ、当該エントリーの表示モードフィールドに「三次元表示モード」と格納されており、かつ、当該エントリーの再生時間フィールドに所定時間(例えば1分)以上の再生時間が格納されている場合に限って、識別対象コンテンツは三次元コンテンツであると識別することができる。この場合、識別部142は、履歴記憶部122に一致するエントリーがあり、かつ、当該エントリーの表示モードフィールドに「三次元表示モード」と格納されている場合であっても、当該エントリーの再生時間フィールドの再生時間が所定時間未満である場合には、識別対象コンテンツは二次元コンテンツであると識別する。なお、所定時間とは任意に定めることができる。このように、コンテンツの種類の識別において、再生時間フィールドの値を考慮すれば、例えば、表示モード切替スイッチ19が誤って押下される等により、使用者の意図に反して三次元表示モードで三次元用画像データーの生成がなされたコンテンツが、三次元コンテンツであると識別されることを抑制することができる。
For example, as a result of the search in step S102, the
また、例えば、識別部142は、ステップS102の検索の結果、履歴記憶部122に一致するエントリーがあり、かつ、当該エントリーの表示モードフィールドに「三次元表示モード」と格納されており、かつ、当該エントリーの合計再生回数フィールドに所定回数(例えば2回)以上の再生回数が格納されている場合に、識別対象コンテンツは三次元コンテンツであると識別することができる。なお、所定回数とは任意に定めることができる。このように、合計再生回数フィールドの値を考慮すれば、識別結果の信頼性をより向上させることができる。
Further, for example, as a result of the search in step S102, the
ステップS104において、識別対象コンテンツが二次元コンテンツであると識別された場合(ステップS104:NO)、識別部142は、画像処理部160に対して、二次元表示モードの表示用画像データー生成処理(図2)を要求し(ステップS106)、その後、処理を終了させる。
When the identification target content is identified as two-dimensional content in step S104 (step S104: NO), the
ステップS104において、識別対象コンテンツが三次元コンテンツであると識別された場合(ステップS104:YES)、識別部142は、画像処理部160に対して、コンテンツの種類の識別結果の正誤を確認するための確認メッセージを表示するよう要求する(ステップS108)。要求を受信した画像処理部160は、予め記憶部120内に記憶されている確認メッセージを画像表示部20へ送信する。確認メッセージは、例えば、「これは3Dコンテンツですか?」等の文章が表示されたYES/NOダイアログボックスを採用することができる。
When the identification target content is identified as three-dimensional content in step S104 (step S104: YES), the
ステップS108において、コンテンツの種類が二次元コンテンツである旨が確認された場合(ステップS110:NO)、識別部142は、画像処理部160に対して、二次元表示モードの表示用画像データー生成処理(図2)を要求する(ステップS106)。一方、ステップS108において、コンテンツの種類が三次元コンテンツである旨が確認された場合(ステップS110:YES)、識別部142は、画像処理部160に対して、三次元表示モードの表示用画像データー生成処理(図2)を要求し(ステップS112)、その後、処理を終了させる。このようにすれば、識別部142は、ヘッドマウントディスプレイHMの使用者に対して、コンテンツの種類の識別結果の正誤の確認を求めることができる。
If it is confirmed in step S108 that the content type is two-dimensional content (step S110: NO), the
なお、ステップS108において、コンテンツの種類が三次元コンテンツである旨が確認された場合(ステップS110:YES)、識別部142は、画像処理部160に対して、所定の時間、二次元表示モードの表示用画像データー生成処理(図2)を要求した後、三次元表示モードの表示用画像データー生成処理(図2)を要求してもよい。なお、所定の時間とは任意に定めることができるが、使用者に「三次元モードに切り替わった」ことを視認させる程度の短時間とすることが好ましい。このようにすれば、画像処理部160は、三次元用画像データー生成までの間に故意にタイムラグを設けるため、ヘッドマウントディスプレイHMの使用者に対して、視認中の画像が三次元画像であることを気づきやすくすることができる。
If it is confirmed in step S108 that the content type is three-dimensional content (step S110: YES), the
(A−4)再生終了処理:
図8は、再生終了処理の手順を示すフローチャートである。再生終了処理は、履歴付与部144により実行される処理であり、画像処理部160において、三次元表示モードで三次元用画像データーの生成がなされたコンテンツの識別情報を履歴記憶部122へ記憶させるための処理である。
(A-4) Playback end processing:
FIG. 8 is a flowchart showing the procedure of the reproduction end process. The reproduction end process is a process executed by the
履歴付与部144は、OS150からコンテンツ再生終了要求を受けたコンテンツ、もしくは、ファイルの終端を検出したコンテンツの情報を用いて、履歴記憶部122を更新する(ステップS200)。具体的には、履歴付与部144は、当該コンテンツの識別情報をキーとして履歴記憶部122の識別子フィールドを検索する。一致するエントリーがあれば、履歴付与部144は、当該エントリーの表示モードフィールドを、画像処理部160で実行された表示モードを示す内容に更新する。同様に履歴付与部144は、再生日時、再生時間の各フィールドを、画像処理部160における処理日時、処理時間を用いて更新する。さらに、履歴付与部144は、合計再生回数フィールドをインクリメントする。一方、一致するエントリーがなければ、履歴付与部144は、新たなエントリーに、識別子、表示モード、再生日時、再生時間、合計再生回数の各フィールドを記憶させる。
The
その後、履歴付与部144は、画像処理部160に対して、二次元表示モードの表示用画像データー生成処理(図2)を要求し(ステップS202)、処理を終了させる。なお、ステップS202において、履歴付与部144が二次元表示モードの表示用画像データー生成処理を要求するのは、コンテンツの再生終了後はOS150の待ち受け画面に戻ることが想定されるためである。
Thereafter, the
以上のように、第1実施例によれば、識別部142は、再生開始処理において、コンテンツが三次元コンテンツであるか二次元コンテンツであるかを識別し、画像処理部160に対して、コンテンツが三次元コンテンツである場合は三次元用画像データーを、コンテンツが二次元コンテンツである場合は二次元用画像データーを、それぞれ生成させる。このため、ヘッドマウントディスプレイHM(画像表示装置)において、三次元映像方式の如何に関わらずコンテンツの種類を識別し、識別結果に応じた表示用画像データーを生成することが可能となる。
As described above, according to the first embodiment, the
具体的には、識別部142は、履歴記憶部122に三次元用画像データーの生成がなされたとして記憶されている識別情報(換言すれば、表示モードフィールドの値が「三次元表示モード」として記憶されている識別情報)と同じ識別情報を持つコンテンツを三次元コンテンツと、履歴記憶部122に三次元用画像データーの生成がなされたとして記憶されている識別情報と異なる識別情報を持つコンテンツを二次元コンテンツと識別する。履歴記憶部122は、画像処理部160において過去に三次元表示モードで三次元用画像データーの生成がなされたコンテンツを識別する識別情報を記憶しているため、このようにすれば、識別部142は、三次元映像方式の如何に関わらず、コンテンツの種類(二次元コンテンツ/三次元コンテンツ)を識別することができる。また、識別部142は、過去の履歴を用いてコンテンツの種類を識別するため、CPU140の処理負荷を少なくすることができる。
Specifically, the
さらに、履歴付与部144は、画像処理部160において三次元表示モードで三次元用画像データーの生成がなされたコンテンツを識別する識別情報を、履歴記憶部122へ記憶させる。このため、画像処理部160における過去の表示用画像データー生成処理の履歴を記憶しておくことができる。
Further, the
さらに、画像処理部160は、コンテンツが三次元コンテンツである場合は一方の画像光生成部(例えば、右バックライト制御部201、右LCD制御部211、右バックライト221、右LCD241)と、他方の画像光生成部(例えば、左バックライト制御部202、左LCD制御部212、左バックライト222、左LCD242)とでそれぞれ用いられる異なる表示用画像データーの組である三次元用画像データーを生成する。一方、画像処理部160は、コンテンツが二次元コンテンツである場合は一方の画像光生成部と、他方の画像光生成部とでそれぞれ用いられる同じ表示用画像データーの組である二次元用画像データーを生成する。このため、ヘッドマウントディスプレイHMにおいて、識別部142による識別結果に応じた表示用画像データーを生成することが可能となる。
Further, when the content is three-dimensional content, the
B.第2実施例:
本発明の第2実施例では、再生開始処理でのコンテンツの種類の識別方法が異なる構成について説明する。以下では、第1実施例と異なる構成および動作を有する部分についてのみ説明する。なお、図中において第1実施例と同様の構成部分については先に説明した第1実施例と同様の符号を付し、その詳細な説明を省略する。
B. Second embodiment:
In the second embodiment of the present invention, a description will be given of a configuration in which the content type identification method in the reproduction start process is different. Below, only the part which has a different structure and operation | movement from 1st Example is demonstrated. In the figure, the same components as those of the first embodiment are denoted by the same reference numerals as those of the first embodiment described above, and detailed description thereof is omitted.
(B−1)画像表示装置の構成:
第2実施例におけるヘッドマウントディスプレイHMの構成は、図1〜図5で説明した第1実施例とほぼ同様である。ただし、第2実施例における制御部10は、記憶部120に履歴記憶部122を含まない点と、CPU140に履歴付与部144を含まない点と、CPU140の識別部142の処理内容とが、第1実施例とは異なる。
(B-1) Configuration of image display device:
The configuration of the head mounted display HM in the second embodiment is substantially the same as that of the first embodiment described with reference to FIGS. However, the
(B―2)再生開始処理:
図9は、第2実施例における再生開始処理の手順を示すフローチャートである。図7に示した第1実施例との違いは、ステップS100〜S104に代えて、ステップS300〜S306を備える点のみであり、他のステップについては第1実施例と同様である。
(B-2) Playback start processing:
FIG. 9 is a flowchart showing the procedure of the reproduction start process in the second embodiment. The only difference from the first embodiment shown in FIG. 7 is that steps S300 to S306 are provided instead of steps S100 to S104, and the other steps are the same as in the first embodiment.
識別部142は、OS150からコンテンツ再生要求を受けたコンテンツ(識別対象コンテンツ)について、図2で説明した手順で記憶部120内のDRAMに格納された画像データーを取得する(ステップS300)。識別部142は、取得した画像データーを左右に分割する(ステップS302)。そして、識別部142は、分割された左右の画像データーを比較し、1つの画像データーに同一の2つの画像データーが含まれているか否かを判定する(ステップS304)。なお、本実施例における「同一の2つの画像データー」とは、ノイズ等に起因する微少な差異や、視差を利用した三次元表示のために意図的に設けられた差異は許容する(同一とみなす)意味である。
The
図10は、ステップS304の判定方法について説明するための概略図である。識別部142は、ステップS302において分割された画像データーの右側部分(右眼用画像データーData1)と、ステップS302において分割された画像データーの左側部分(左眼用画像データーData2)とについて、以下の手順a〜cを実行する。
手順a)右眼用画像データーData1に対して、1つの走査線(1H)内の全画素の輝度を記憶する。
手順b)左眼用画像データーData2に対して、1つの走査線(1H)内の全画素の輝度を記憶する。
手順c)手順aと手順bとで記憶した輝度の並びを比較し、同じもしくは極めて類似したパターンが含まれるかを判定する。
識別部142は、手順cにおいて、同じもしくは極めて類似したパターンが含まれると判定された場合に、1つの画像データーに同一の2つの画像データーが含まれると判定することができる。なお、右眼用画像データーData1を「第1の画像データー」、左眼用画像データーData2を「第2の画像データー」とも呼ぶ。
FIG. 10 is a schematic diagram for explaining the determination method in step S304. The
Procedure a) The luminance of all pixels in one scanning line (1H) is stored for the image data for right eye Data1.
Procedure b) The luminance of all pixels in one scanning line (1H) is stored for the image data for left eye Data2.
Procedure c) Compare the brightness sequences stored in Procedure a and Procedure b to determine whether the same or very similar patterns are included.
The
なお、識別部142は、上記比較を1フィールド期間繰り返した結果、1フィールド期間内において所定回数以上、手順cで「同じもしくは極めて類似したパターンが含まれる」との判定が得られた場合に、1つの画像データーに同一の2つの画像データーが含まれていると判定してもよい。このようにすれば、複数回手順cの判定を行うこととなるため、判定の信頼性を向上させることができる。
The
サイドバイサイド方式の画像データーでは、右眼用画像データーData1と、左眼用画像データーData2との内容は厳密には同一ではなく、水平方向(走査線方向)にずれた内容となるため、単純に同じ位置にある画素同士の輝度を比較しても結果は得られない。しかし、上記のような比較方法を用いれば、サイドバイサイド方式の画像データーについて、1つの画像データーに同一の2つの画像データーが含まれているか否かの判断を正しく行うことができる。 In the side-by-side image data, the contents of the right-eye image data Data1 and the left-eye image data Data2 are not exactly the same, but are shifted in the horizontal direction (scanning line direction). Even if the luminance of the pixels at the position is compared, no result is obtained. However, if the comparison method as described above is used, it is possible to correctly determine whether or not the same two image data are included in one image data for the side-by-side image data.
なお、上記方法はあくまで一例であり、種々の変形が可能である。例えば、識別部142は、手順aおよび手順bにおいて、1つの走査線内の代表画素の輝度を記憶することとしても良い。代表画素は任意に定めることができ、例えば、奇数番目に位置する画素とすることができる。また、例えば、識別部142は、上記手順a〜cに代えて、右眼用画像データーData1と、左眼用画像データーData2との水平方向のずれを考慮したうえで、対応する位置(同じ位置であると推定される位置)にある画素同士の輝度を比較してもよい。さらに、例えば、トップアンドボトム方式の画像データーの場合、識別部142は、ステップS302で取得した画像データーを奇数番号の走査線のデーターと、偶数番号の走査線のデーターとに分割した上で、手順aおよび手順bと同趣旨の処理を行えばよい。
The above method is merely an example, and various modifications are possible. For example, the
図9のステップS306において、識別部142は、ステップS304の判定結果を用いて、識別対象コンテンツが三次元コンテンツか否かを識別する。具体的には、識別部142は、ステップS304において1つの画像データーに同一の2つの画像データーが含まれていると判定された場合、識別対象コンテンツは三次元コンテンツであると識別する(ステップS306:YES)。一方、識別部142は、ステップS304において1つの画像データーに同一の2つの画像データーが含まれていないと判定された場合、識別対象コンテンツは二次元コンテンツであると識別する(ステップS306:NO)。なお、識別部142が識別対象コンテンツの種類を識別した後の処理については、図7に示した第1実施例と同様であるため、説明を省略する。
In step S306 in FIG. 9, the
なお、本実施例において、図9のステップS300〜S304に示したコンテンツに含まれる画像データーを解析する処理のことを「解析処理」と呼ぶ。 In the present embodiment, the process of analyzing the image data included in the content shown in steps S300 to S304 in FIG. 9 is referred to as “analysis process”.
(B―3)再生終了処理:
第2実施例における再生終了処理の手順は、ステップS200を備えない点を除いて、図8に示した第1実施例と同様である。
(B-3) Playback end processing:
The procedure of the reproduction end process in the second embodiment is the same as that of the first embodiment shown in FIG. 8 except that step S200 is not provided.
以上のように、第2実施例によれば、識別部142は、コンテンツに含まれる画像データーを分割することで得られた第1の画像データー(右眼用画像データーData1)と第2の画像データー(右眼用画像データーData1)の輝度の並びを比較し、同じもしくは極めて類似したパターンが含まれるコンテンツの場合は当該コンテンツを三次元コンテンツと、その他の場合は当該コンテンツを二次元コンテンツと識別する。このため、識別部142は、サイドバイサイド方式の三次元コンテンツと、トップアンドボトム方式の三次元コンテンツとについて、コンテンツの種類を識別することができる。
As described above, according to the second embodiment, the
C.第3実施例:
本発明の第3実施例では、再生開始処理でのコンテンツの種類の識別方法が異なる構成について説明する。以下では、第1実施例と異なる構成および動作を有する部分についてのみ説明する。なお、図中において第1実施例と同様の構成部分については先に説明した第1実施例と同様の符号を付し、その詳細な説明を省略する。
C. Third embodiment:
In the third embodiment of the present invention, a description will be given of a configuration in which the content type identification method in the reproduction start process is different. Below, only the part which has a different structure and operation | movement from 1st Example is demonstrated. In the figure, the same components as those of the first embodiment are denoted by the same reference numerals as those of the first embodiment described above, and detailed description thereof is omitted.
(C−1)画像表示装置の構成:
第3実施例におけるヘッドマウントディスプレイHMの構成は、図1〜図5で説明した第1実施例とほぼ同様である。ただし、第3実施例における制御部10は、記憶部120に履歴記憶部122を含まない点と、CPU140の識別部142および履歴付与部144の処理内容とが、第1実施例とは異なる。
(C-1) Configuration of image display device:
The configuration of the head mounted display HM in the third embodiment is substantially the same as that of the first embodiment described with reference to FIGS. However, the
(C―2)再生開始処理:
図11は、第3実施例における再生開始処理の手順を示すフローチャートである。図7に示した第1実施例との違いは、ステップS100〜S104に代えて、ステップS400〜S404を備える点のみであり、他のステップについては第1実施例と同様である。
(C-2) Playback start processing:
FIG. 11 is a flowchart showing the procedure of the reproduction start process in the third embodiment. The difference from the first embodiment shown in FIG. 7 is only that steps S400 to S404 are provided instead of steps S100 to S104, and the other steps are the same as those of the first embodiment.
識別部142は、OS150からコンテンツ再生要求を受けたコンテンツ(識別対象コンテンツ)の識別情報を照合する(ステップS400)。具体的には、識別部142は、識別対象コンテンツの識別情報を取得し、取得した識別情報そのものに三次元コンテンツである旨を示す情報が付与されているか否かを判定する。三次元コンテンツである旨を示す情報とは、予め任意に定めておくことができ、例えば「3D」という文字列や、任意の記号等を採用することができる。次に、識別部142は、識別対象コンテンツのヘッダー情報を照合する(ステップS402)。具体的には、識別部142は、識別対象コンテンツのヘッダーを参照し、参照したヘッダー内の情報に三次元コンテンツである旨を示す情報が付与されているか否かを判定する。
The
識別部142は、ステップS400およびS402の照合結果を用いて、識別対象コンテンツが三次元コンテンツか否かを識別する(ステップS404)。具体的には、識別部142は、ステップS400とS402との少なくともいずれか一方において、三次元コンテンツである旨を示す情報が付与されていると判定された場合に、識別対象コンテンツは三次元コンテンツであると識別する(ステップS404:YES)。一方、識別部142は、ステップS400とS402との両方において、三次元コンテンツである旨を示す情報が付与されていないと判定された場合に、識別対象コンテンツは二次元コンテンツであると識別する(ステップS404:NO)。なお、識別部142が識別対象コンテンツの種類を識別した後の処理については、図7に示した第1実施例と同様であるため、説明を省略する。
The
(C―3)再生終了処理:
図12は、第3実施例における再生終了処理の手順を示すフローチャートである。第3実施例における再生終了処理は、履歴付与部144により実行される処理であり、画像処理部160において、三次元表示モードで三次元用画像データーの生成がなされたコンテンツに対して、当該コンテンツのヘッダーもしくは識別情報を更新し、三次元コンテンツである旨を付与する処理である。図8に示した第1実施例との違いは、ステップS200に代えてステップS500を備える点のみであり、他のステップについては第1実施例と同様である。
(C-3) Playback end processing:
FIG. 12 is a flowchart showing the procedure of the reproduction end process in the third embodiment. The reproduction end process in the third embodiment is a process executed by the
履歴付与部144は、OS150からコンテンツ再生終了要求を受けたコンテンツ、もしくは、ファイルの終端を検出したコンテンツを更新する(ステップS500)。具体的には、履歴付与部144は、当該コンテンツが画像処理部160において三次元表示モードで三次元用画像データーの生成がなされたコンテンツである場合、コンテンツのヘッダーもしくは識別情報に三次元コンテンツである旨を示す情報を付加する。なお、ここで付加する情報は、図11のステップS400で説明した情報と同じである。なお、コンテンツのヘッダーもしくは識別情報は、少なくともいずれか一方を更新すれば足りるが、両方更新してもよい。一方、履歴付与部144は、当該コンテンツが画像処理部160において二次元表示モードで二次元用画像データーの生成がなされたコンテンツである場合、コンテンツの更新は行わない。
The
以上のように、第3実施例によれば、識別部142は、コンテンツのヘッダーもしくは識別情報そのものを参照し、三次元コンテンツである旨を示す情報が含まれている場合は当該コンテンツを三次元コンテンツと、その他の場合は当該コンテンツを二次元コンテンツと識別する。コンテンツのヘッダーもしくは識別情報には、画像処理部160において過去に三次元用画像データーの生成がなされたコンテンツについて、三次元コンテンツである旨を示す情報が付与されている。従って、このようにすれば識別部142は、三次元映像方式の如何に関わらず、コンテンツの種類を識別することができる。また、識別部142は、コンテンツのヘッダーもしくは識別情報に付与された情報を用いてコンテンツの種類を識別するため、CPU140の処理負荷を少なくすることができる。
As described above, according to the third embodiment, the
D.変形例:
なお、この発明は上記の実施例や実施形態に限られるものではなく、その要旨を逸脱しない範囲で種々の構成をとることができる。例えば、ソフトウェアによって実現した機能は、ハードウェアによって実現するものとしてもよい。そのほか、以下のような変形が可能である。
D. Variations:
In addition, this invention is not restricted to said Example and embodiment, A various structure can be taken in the range which does not deviate from the summary. For example, a function realized by software may be realized by hardware. In addition, the following modifications are possible.
D1.変形例1:
上記実施例では、画像表示装置としてヘッドマウントディスプレイを用いた構成について説明した。しかし、画像表示装置としては、ヘッドマウントディスプレイに限らず種々の装置を採用可能である。例えば、平面型ディスプレイ装置(液晶ディスプレイ装置、プラズマディスプレイ装置、有機ELディスプレイ装置等)、プロジェクター、カーナビゲーションシステム等を採用することができる。この場合、制御部と画像表示部との間の接続は、有線の信号伝送路を介した接続であってもよいし、無線の信号伝送路を介した接続であってもよい。このようにすれば、制御部を、通常の平面型ディスプレイ装置のリモコンとして利用することができる。
D1. Modification 1:
In the above embodiment, the configuration using the head mounted display as the image display device has been described. However, the image display device is not limited to the head mounted display, and various devices can be employed. For example, a flat display device (a liquid crystal display device, a plasma display device, an organic EL display device, etc.), a projector, a car navigation system, or the like can be employed. In this case, the connection between the control unit and the image display unit may be a connection via a wired signal transmission path or a connection via a wireless signal transmission path. In this way, the control unit can be used as a remote controller for a normal flat display device.
D2.変形例2:
上記実施例では、ヘッドマウントディスプレイの構成について例示した。しかし、ヘッドマウントディスプレイの構成は、本発明の要旨を逸脱しない範囲において任意に定めることが可能であり、例えば、各構成部の追加・削除・変換等を行うことができる。
D2. Modification 2:
In the said Example, it illustrated about the structure of the head mounted display. However, the configuration of the head-mounted display can be arbitrarily determined without departing from the gist of the present invention. For example, each component can be added, deleted, converted, and the like.
上記実施例では、説明の便宜上、制御部が送信部を備え、画像表示部が受信部を備えるものとした。しかし、上記実施例の送信部および受信部は、いずれも、双方向通信が可能な機能を備えており、送受信部として機能することができる。例えば、接続部を省略し、制御部と、画像表示部とが無線通信可能な構成としてもよい。具体的には、制御部にさらに、第1の無線通信部を備えると共に、画像表示部にさらに、第2の無線通信部と、電源とを備える構成とする。この場合、第1の無線通信部が上記実施例における送信部として機能し、第2の無線通信部が上記実施例における受信部として機能する。 In the above embodiment, for convenience of explanation, the control unit includes a transmission unit, and the image display unit includes a reception unit. However, each of the transmission unit and the reception unit in the above embodiment has a function capable of bidirectional communication, and can function as a transmission / reception unit. For example, the connection unit may be omitted, and the control unit and the image display unit may be configured to perform wireless communication. Specifically, the control unit further includes a first wireless communication unit, and the image display unit further includes a second wireless communication unit and a power source. In this case, the first wireless communication unit functions as a transmission unit in the above embodiment, and the second wireless communication unit functions as a reception unit in the above embodiment.
上記実施例では、制御部が2つの送信部を備えると共に画像表示部が2つの受信部を備え、一方の送信部は右表示駆動部の受信部に対して右眼用画像データーを送信し、他方の送信部は左表示駆動部の受信部に対して左眼用画像データーを送信する構成とした。しかし、上記実施例での構成はあくまで一例であり、種々の変更が可能である。例えば、制御部が備える送信部と画像表示部が備える受信部とをそれぞれ1つずつとすることもできる。この場合、表示用画像データー生成処理では、画像処理部は、クロック信号PCLK、垂直同期信号VSync、水平同期信号HSyncと、記憶部120内のDRAMに格納された画像データーと、を送信部経由で送信する。そして、これらのデーターを受信部経由で受信した画像表示部が、受信した画像データーから右眼用画像データーと左眼用画像データーとを生成する(換言すれば、画像表示部が、図3で画像処理部が実行すると述べた処理を代替して行う)ことができる。
In the above embodiment, the control unit includes two transmission units and the image display unit includes two reception units, and one transmission unit transmits right-eye image data to the reception unit of the right display drive unit, The other transmission unit is configured to transmit image data for the left eye to the reception unit of the left display driving unit. However, the configuration in the above embodiment is merely an example, and various modifications can be made. For example, one transmission unit included in the control unit and one reception unit included in the image display unit may be provided. In this case, in the display image data generation process, the image processing unit sends the clock signal PCLK, the vertical synchronization signal VSync, the horizontal synchronization signal HSync, and the image data stored in the DRAM in the
例えば、図1に示した制御部、画像表示部の構成は任意に変更することができる。具体的には、例えば、制御部からタッチパッドを省略し、十字キーのみで操作する構成としてもよい。また、制御部に操作用スティック等の他の操作用インターフェイスを備えても良い。また、制御部にはキーボードやマウス等のデバイスを接続可能な構成として、キーボードやマウスから入力を受け付けるものとしてもよい。また、制御部にWi−Fi(wireless fidelity)等を用いた通信部を設けてもよい。 For example, the configurations of the control unit and the image display unit illustrated in FIG. 1 can be arbitrarily changed. Specifically, for example, the touch pad may be omitted from the control unit, and the operation may be performed using only the cross key. Further, the control unit may be provided with another operation interface such as an operation stick. Moreover, it is good also as what receives an input from a keyboard or a mouse | mouth as a structure which can connect devices, such as a keyboard and a mouse | mouth, to a control part. In addition, a communication unit using Wi-Fi (wireless fidelity) or the like may be provided in the control unit.
例えば、図1に示した制御部は、有線の信号伝送路を介して画像表示部と接続されているものとした。しかし、制御部と、画像表示部とは、無線LANや赤外線通信やBluetooth(登録商標)等の無線の信号伝送路を介した接続により接続されていてもよい。 For example, the control unit illustrated in FIG. 1 is connected to the image display unit via a wired signal transmission path. However, the control unit and the image display unit may be connected by a connection via a wireless signal transmission path such as a wireless LAN, infrared communication, or Bluetooth (registered trademark).
例えば、ヘッドマウントディスプレイは、両眼タイプの透過型ヘッドマウントディスプレイであるものとしたが、使用者がヘッドマウントディスプレイを装着した状態において外景が遮断される非透過型ヘッドマウントディスプレイとして構成してもよい。また、単眼タイプのヘッドマウントディスプレイとしてもよい。 For example, although the head-mounted display is a binocular transmissive head-mounted display, the head-mounted display may be configured as a non-transmissive head-mounted display that blocks the outside scene when the user wears the head-mounted display. Good. A monocular head-mounted display may be used.
例えば、画像処理部、表示制御部、識別部、履歴付与部、音声処理部等の機能部は、CPUがROMやハードディスクに格納されているコンピュータープログラムをRAMに展開して実行することにより実現されるものとして記載した。しかし、これら機能部は、当該機能を実現するために設計されたASIC(Application Specific Integrated Circuit:特定用途向け集積回路)を用いて構成されてもよい。 For example, functional units such as an image processing unit, a display control unit, an identification unit, a history adding unit, and a voice processing unit are realized by a CPU developing and executing a computer program stored in a ROM or a hard disk on the RAM. It was described as a thing. However, these functional units may be configured using an ASIC (Application Specific Integrated Circuit) designed to realize the function.
また、画像表示部として、眼鏡のように装着する画像表示部に代えて、例えば帽子のように装着する画像表示部といった他の形状の画像表示部を採用してもよい。また、イヤホンは耳掛け型やヘッドバンド型を採用してもよく、省略しても良い。 Further, as the image display unit, instead of the image display unit worn like glasses, an image display unit of another shape such as an image display unit worn like a hat may be adopted. Further, the earphone may be an ear-hook type or a headband type, or may be omitted.
例えば、上記実施例では、電源として二次電池を用いることしたが、電源としては二次電池に限らず、種々の電池を使用することができる。例えば、一次電池や、燃料電池、太陽電池、熱電池等を使用してもよい。 For example, in the above embodiment, the secondary battery is used as the power source. However, the power source is not limited to the secondary battery, and various batteries can be used. For example, a primary battery, a fuel cell, a solar cell, a thermal cell, or the like may be used.
D3.変形例3:
上記実施例では、履歴記憶部の一例を示した。しかし、上記実施例における履歴記憶部はあくまで一例であり、種々の変更が可能である。
D3. Modification 3:
In the said Example, an example of the log | history memory | storage part was shown. However, the history storage unit in the above embodiment is merely an example, and various changes can be made.
例えば、再生日時には、識別情報で特定されるコンテンツについての最初の再生時間が格納されることとしてもよい。再生時間についても同様である。 For example, the first reproduction time of the content specified by the identification information may be stored in the reproduction date / time. The same applies to the reproduction time.
例えば、表示モード、再生日時、再生時間、合計再生回数の各フィールドは省略可能である。例えば、表示モードのフィールドを省略した場合、履歴記憶部には、画像処理部160において、過去に三次元用画像データーの生成がなされた(三次元表示モードの表示用画像データー生成処理がなされた)コンテンツを識別する識別情報のみを格納しておくことができる。この場合、再生開始処理(図7)のステップS104では、履歴記憶部に一致するエントリーがない場合に「NO」判定を行えばよい。 For example, the display mode, reproduction date / time, reproduction time, and total number of reproduction fields can be omitted. For example, when the display mode field is omitted, in the history storage unit, 3D image data has been generated in the past in the image processing unit 160 (3D display mode display image data generation processing has been performed. ) Only identification information for identifying content can be stored. In this case, in step S104 of the reproduction start process (FIG. 7), a “NO” determination may be made when there is no matching entry in the history storage unit.
上記実施例の履歴記憶部は、「コンテンツ単位で」三次元用画像データーの生成がなされたか否かを識別する識別情報を記憶することとした。しかし、上記実施例での態様はあくまで一例であり、種々の変更が可能である。例えば、「フレーム単位で」三次元用画像データーの生成がなされたか否かを識別する識別情報を記憶することとしてもよい。その場合、履歴記憶部には、コンテンツを識別する識別子に加えてさらに、フレームを識別する情報(例えば、コンテンツ中の対象フレームの開始時刻および終了時刻など)を含むことができる。さらに、再生開始処理(図7)において、コンテンツの識別情報に加えてさらに対象フレームの時間を考慮すればよい。このようにすれば、コンテンツ中のあるシーンのみを三次元表示モードとする、等といったきめ細かい制御を実現することができる。 The history storage unit of the above embodiment stores identification information for identifying whether or not the three-dimensional image data has been generated “in units of contents”. However, the aspect in the said Example is an example to the last, and various changes are possible. For example, identification information for identifying whether or not three-dimensional image data has been generated “by frame” may be stored. In that case, in addition to the identifier for identifying the content, the history storage unit can further include information for identifying the frame (for example, the start time and end time of the target frame in the content). Further, in the reproduction start process (FIG. 7), the time of the target frame may be further considered in addition to the content identification information. In this way, fine control such as setting only a certain scene in the content to the three-dimensional display mode can be realized.
D4.変形例4:
上記実施例では、再生開始処理の一例を示した。しかし、図7、図9、図11に示した処理の手順はあくまで一例であり、種々の変形が可能である。例えば、一部のステップを省略してもよいし、更なる他のステップを追加してもよい。また、実行されるステップの順序を変更してもよい。
D4. Modification 4:
In the above embodiment, an example of the reproduction start process is shown. However, the processing procedures shown in FIGS. 7, 9, and 11 are merely examples, and various modifications are possible. For example, some steps may be omitted, and other steps may be added. Further, the order of the steps to be executed may be changed.
例えば、コンテンツの種類の識別結果の正誤を確認するための確認メッセージの表示(ステップS108、S110)は省略可能である。このようにすれば、迅速な表示モードの切り替えが可能となる。 For example, the display of confirmation messages (steps S108 and S110) for confirming the correctness of the identification result of the content type can be omitted. In this way, it is possible to quickly switch the display mode.
例えば、第3実施例の再生開始処理(図11)において、ステップS400とS402との実行順序を逆にしてもよい。また、ステップS400と、S402とのいずれか一方を省略してもよい。 For example, in the reproduction start process (FIG. 11) of the third embodiment, the execution order of steps S400 and S402 may be reversed. Further, either one of steps S400 and S402 may be omitted.
D5.変形例5:
上記実施例では、再生終了処理の一例を示した。しかし、図8、図12に示した処理の手順はあくまで一例であり、種々の変形が可能である。例えば、一部のステップを省略してもよいし、更なる他のステップを追加してもよい。また、実行されるステップの順序を変更してもよい。
D5. Modification 5:
In the above embodiment, an example of the reproduction end process is shown. However, the processing procedures shown in FIGS. 8 and 12 are merely examples, and various modifications are possible. For example, some steps may be omitted, and other steps may be added. Further, the order of the steps to be executed may be changed.
例えば、画像処理部に二次元表示モードの表示用画像データー生成処理を要求する処理(ステップS202)は省略可能である。このようにすれば、選択された表示モードを継続して使用することができる。 For example, the process of requesting the image processing unit to generate display image data in the two-dimensional display mode (step S202) can be omitted. In this way, the selected display mode can be used continuously.
例えば、第1実施例の再生終了処理(図8)において、ステップS200とS202との実行順序を逆にしてもよい。同様に、第3実施例の再生終了処理(図12)において、ステップS500とS202との実行順序を逆にしてもよい。 For example, the execution order of steps S200 and S202 may be reversed in the reproduction end process (FIG. 8) of the first embodiment. Similarly, in the reproduction end process (FIG. 12) of the third embodiment, the execution order of steps S500 and S202 may be reversed.
D6.変形例6:
上記実施例では、画像光生成部は、バックライトと、バックライト制御部と、LCDと、LCD制御部とを用いて構成されるものとした。しかし、上記の態様はあくまで例示である。画像光生成部は、これらの構成部と共に、またはこれらの構成部に代えて、他の方式を実現するための構成部を備えていても良い。
D6. Modification 6:
In the above embodiment, the image light generation unit is configured using a backlight, a backlight control unit, an LCD, and an LCD control unit. However, the above aspect is merely an example. The image light generation unit may include a configuration unit for realizing another method together with or in place of these configuration units.
例えば、画像光生成部は、有機EL(有機エレクトロルミネッセンス、Organic Electro-Luminescence)のディスプレイと、有機EL制御部とを備える構成としても良い。また、例えば、レーザー網膜投影型の画像表示装置に対して本発明を適用することも可能である。 For example, the image light generation unit may include an organic EL (Organic Electro-Luminescence) display and an organic EL control unit. Further, for example, the present invention can be applied to a laser retinal projection type image display apparatus.
D7.変形例7:
上記実施例および各変形例における構成要素のうち、特許請求の範囲において独立請求項で記載された構成に対応する要素以外の要素は、付加的な要素であり、省略可能である。
D7. Modification 7:
Of the constituent elements in the above-described embodiments and modifications, elements other than the elements corresponding to the configurations described in the independent claims in the claims are additional elements and can be omitted.
上記第2実施例の各構成要素は、対応する第1実施例の構成要素を置換するものとして記載したが、対応する第1実施例の構成要素に対して第2実施例で説明した内容を付加するものとしても良い。例えば、第2実施例の再生開始処理において識別部は、コンテンツの種類を識別するために、図7で説明したステップS100〜S102と、図9で説明したステップS300〜S304との両方を実行してもよい。このようにすれば、識別部は、コンテンツの種類の識別精度をより向上させることができる。上記第3実施例についても同様である。 Each component of the second embodiment has been described as replacing the corresponding component of the first embodiment, but the contents described in the second embodiment with respect to the corresponding component of the first embodiment are described. It may be added. For example, in the reproduction start process of the second embodiment, the identification unit executes both steps S100 to S102 described with reference to FIG. 7 and steps S300 to S304 described with reference to FIG. 9 in order to identify the type of content. May be. In this way, the identification unit can further improve the identification accuracy of the content type. The same applies to the third embodiment.
10…制御部(コントローラー)
12…点灯部
14…タッチパッド
16…十字キー
18…電源スイッチ
20…画像表示部
21…耳掛部
22…右表示駆動部
24…左表示駆動部
26…右光学像表示部
28…左光学像表示部
32…右イヤホン
34…左イヤホン
40…接続部
42…右コード
44…左コード
46…連結部材
48…本体コード
51…送信部
52…送信部
53…受信部
54…受信部
110…入力情報取得部
120…記憶部
122…履歴記憶部
130…電源
140…CPU
142…識別部
144…履歴付与部
145…状態確認部
160…画像処理部
170…音声処理部
180…インターフェイス
190…表示制御部
201…右バックライト制御部(画像光生成部)
202…左バックライト制御部(画像光生成部)
211…右LCD制御部(画像光生成部)
212…左LCD制御部(画像光生成部)
221…右バックライト(画像光生成部)
222…左バックライト(画像光生成部)
241…右LCD(画像光生成部)
242…左LCD(画像光生成部)
251…右投写光学系(導光部)
252…左投写光学系(導光部)
261…右導光板(導光部)
262…左導光板(導光部)
280…電源
PCLK…クロック信号
VSync…垂直同期信号
HSync…水平同期信号
Data…画像データー
Data1…右眼用画像データー(第1の画像データー)
Data2…左眼用画像データー(第2の画像データー)
OA…外部機器
PC…パーソナルコンピューター
SC…外景
VI…虚像
IL…照明光
PL…画像光
HM…ヘッドマウントディスプレイ(画像表示装置)
VR…視野
10. Control unit (controller)
DESCRIPTION OF
DESCRIPTION OF
202 ... Left backlight control unit (image light generation unit)
211 ... Right LCD controller (image light generator)
212 ... Left LCD controller (image light generator)
221 ... Right backlight (image light generator)
222: Left backlight (image light generator)
241 ... Right LCD (image light generator)
242 ... Left LCD (image light generator)
251 ... Right projection optical system (light guide unit)
252 ... Left projection optical system (light guide)
261 ... Right light guide plate (light guide part)
262 ... Left light guide plate (light guide part)
280 ... Power supply PCLK ... Clock signal VSync ... Vertical synchronization signal HSync ... Horizontal synchronization signal Data ... Image data Data1 ... Right eye image data (first image data)
Data2 ... Left eye image data (second image data)
OA ... external device PC ... personal computer SC ... outside view VI ... virtual image IL ... illumination light PL ... image light HM ... head mounted display (image display device)
VR: Field of view
Claims (10)
コンテンツから表示用画像データーを生成する制御部と、
前記表示用画像データーを用いて画像を表示する画像表示部と、
を備え、
前記制御部は、
前記コンテンツが、三次元画像表示用の三次元コンテンツであるか、二次元画像表示用の二次元コンテンツであるかを識別する識別部と、
前記コンテンツが三次元コンテンツである場合は三次元用画像データーを、前記コンテンツが二次元コンテンツである場合は二次元用画像データーを、それぞれ前記表示用画像データーとして生成する画像処理部と、
を含む、画像表示装置。 An image display device,
A control unit that generates display image data from the content;
An image display unit for displaying an image using the display image data;
With
The controller is
An identification unit for identifying whether the content is 3D content for 3D image display or 2D content for 2D image display;
An image processing unit that generates 3D image data when the content is 3D content, and generates 2D image data as the display image data when the content is 2D content;
An image display device.
前記制御部は、さらに、
前記画像処理部において、三次元用画像データーの生成がなされた前記コンテンツを識別する識別情報を記憶する履歴記憶部を備え、
前記識別部は、
前記履歴記憶部に前記三次元用画像データーの生成がなされたとして記憶されている識別情報と同じ識別情報を持つ前記コンテンツを前記三次元コンテンツと、前記履歴記憶部に前記三次元用画像データーの生成がなされたとして記憶されている識別情報と異なる識別情報を持つ前記コンテンツを前記二次元コンテンツと識別する、画像表示装置。 The image display device according to claim 1,
The control unit further includes:
The image processing unit includes a history storage unit that stores identification information for identifying the content on which the three-dimensional image data is generated,
The identification unit is
The content having the same identification information as the identification information stored as the generation of the 3D image data in the history storage unit is stored in the 3D content, and the 3D image data is stored in the history storage unit. An image display device that identifies the content having identification information different from the identification information stored as generated, from the two-dimensional content.
前記制御部は、さらに、
前記画像処理部において、三次元用画像データーの生成がなされた前記コンテンツの識別情報を前記履歴記憶部へ記憶させる履歴付与部を備える、画像表示装置。 The image display device according to claim 2,
The control unit further includes:
An image display device comprising: a history adding unit that stores, in the image processing unit, identification information of the content for which the three-dimensional image data is generated in the history storage unit.
前記履歴記憶部は、さらに、
前記識別情報に対応付けて、前記識別情報で特定される前記コンテンツについて、前記三次元用画像データーの生成がなされた時間を再生時間として記憶し、
前記識別部は、
前記履歴記憶部に前記三次元用画像データーの生成がなされたとして記憶されている識別情報と同じ識別情報を持ち、かつ、前記再生時間が所定の時間以上である前記コンテンツを前記三次元コンテンツと、前記履歴記憶部に前記三次元用画像データーの生成がなされたとして記憶されている識別情報と異なる識別情報を持つ、もしくは、前記再生時間が所定の時間未満である前記コンテンツを前記二次元コンテンツと識別する、画像表示装置。 The image display device according to claim 2 or 3,
The history storage unit further includes:
In association with the identification information, for the content specified by the identification information, the time when the three-dimensional image data is generated is stored as a reproduction time,
The identification unit is
The content having the same identification information as the identification information stored as the generation of the three-dimensional image data in the history storage unit and the reproduction time is a predetermined time or more is referred to as the three-dimensional content. The content having identification information different from the identification information stored as the generation of the three-dimensional image data in the history storage unit or the reproduction time being less than a predetermined time is the two-dimensional content. An image display device that identifies
前記識別部は、
前記コンテンツに含まれる画像データーを、上下もしくは左右に分割することで得られた第1の画像データーと第2の画像データーについて、1つの走査線内の複数個所の画素の輝度を記憶し、記憶した前記第1の画像データーと前記第2の画像データーとの輝度の並びを比較し、同じもしくは極めて類似したパターンが含まれる場合は前記コンテンツを前記三次元コンテンツと識別し、その他の場合は前記コンテンツを前記二次元コンテンツと識別する、画像表示装置。 The image display device according to any one of claims 1 to 4,
The identification unit is
For the first image data and the second image data obtained by dividing the image data included in the content vertically or horizontally, the luminance of pixels at a plurality of locations in one scanning line is stored and stored. Comparing the luminance sequence of the first image data and the second image data, and if the same or very similar pattern is included, the content is identified as the three-dimensional content; An image display device for identifying content from the two-dimensional content.
前記制御部は、さらに、
前記画像処理部において、三次元用画像データーの生成がなされた前記コンテンツに対して、当該コンテンツのヘッダーもしくは前記識別情報そのものを更新し、三次元コンテンツである旨を付与する履歴付与部を備え、
前記識別部は、
前記コンテンツの前記ヘッダーもしくは前記識別情報を参照し、三次元コンテンツである旨が含まれている場合は前記コンテンツを前記三次元コンテンツと識別し、その他の場合は前記コンテンツを前記二次元コンテンツと識別する、画像表示装置。 The image display device according to any one of claims 1 to 5,
The control unit further includes:
In the image processing unit, for the content for which the three-dimensional image data has been generated, a history adding unit is provided that updates the content header or the identification information itself to give the fact that the content is three-dimensional content,
The identification unit is
Referring to the header or the identification information of the content, if the content is a three-dimensional content, the content is identified as the three-dimensional content; otherwise, the content is identified as the two-dimensional content. An image display device.
前記識別部は、さらに、
前記コンテンツの識別結果の正誤を確認するための確認メッセージを、前記画像表示部に表示させる、画像表示装置。 The image display device according to any one of claims 1 to 6,
The identification unit further includes:
An image display device that displays a confirmation message for confirming whether the content identification result is correct or not on the image display unit.
前記画像表示装置は、使用者に虚像を視認させる頭部装着型表示装置であり、
前記画像表示部は、
表示用画像データーを用いて画像を表す画像光を生成し射出させる一対の画像光生成部と、
射出された前記画像光を使用者の眼に導く一対の導光部と、
を含み、
前記画像処理部は、
前記コンテンツが三次元コンテンツである場合は、一方の前記画像光生成部と、他方の前記画像光生成部とでそれぞれ用いられる異なる表示用画像データーの組である三次元用画像データーを生成し、前記コンテンツが二次元コンテンツである場合は、一方の前記画像光生成部と、他方の前記画像光生成部とで用いられる同じ表示用画像データーの組である二次元用画像データーを生成する、画像表示装置。 The image display device according to any one of claims 1 to 7,
The image display device is a head-mounted display device that allows a user to visually recognize a virtual image,
The image display unit
A pair of image light generators that generate and emit image light representing an image using display image data;
A pair of light guides for guiding the emitted image light to the eyes of the user;
Including
The image processing unit
When the content is a three-dimensional content, generate three-dimensional image data that is a set of different display image data used in one of the image light generation unit and the other image light generation unit, When the content is a two-dimensional content, an image that generates two-dimensional image data that is a set of the same display image data used in one of the image light generation unit and the other image light generation unit Display device.
前記画像処理部は、
前記コンテンツが三次元コンテンツである場合に、所定の時間、前記二次元用画像データーを生成し、その後、前記三次元用画像データーを生成する、画像表示装置。 The image display device according to any one of claims 1 to 8,
The image processing unit
An image display device that, when the content is a three-dimensional content, generates the two-dimensional image data for a predetermined time, and then generates the three-dimensional image data.
(a)コンテンツから表示用画像データーを生成する工程と、
(b)前記表示用画像データーを用いて画像を表示する工程と、
を備え、
前記工程(a)は、
(a1)前記コンテンツが、三次元画像表示の三次元コンテンツであるか、二次元画像表示の二次元コンテンツであるかを識別する工程と、
(a2)前記コンテンツが三次元コンテンツである場合は三次元用画像データーを、前記コンテンツが二次元コンテンツである場合は二次元用画像データーを、それぞれ前記表示用画像データーとして生成する工程と、
を含む、画像表示方法。 An image display method,
(A) generating display image data from content;
(B) displaying an image using the display image data;
With
The step (a)
(A1) identifying whether the content is a three-dimensional content of a three-dimensional image display or a two-dimensional content of a two-dimensional image display;
(A2) generating three-dimensional image data when the content is three-dimensional content, and generating two-dimensional image data as the display image data when the content is two-dimensional content;
An image display method including:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012031585A JP5887983B2 (en) | 2012-02-16 | 2012-02-16 | Image display device and control method of image display device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012031585A JP5887983B2 (en) | 2012-02-16 | 2012-02-16 | Image display device and control method of image display device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013167791A true JP2013167791A (en) | 2013-08-29 |
JP5887983B2 JP5887983B2 (en) | 2016-03-16 |
Family
ID=49178217
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012031585A Active JP5887983B2 (en) | 2012-02-16 | 2012-02-16 | Image display device and control method of image display device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5887983B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104683787A (en) * | 2015-03-12 | 2015-06-03 | 青岛歌尔声学科技有限公司 | Method and device for identifying video types, display equipment and video projecting method thereof |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10320891A (en) * | 1997-05-21 | 1998-12-04 | Sony Corp | Disk reproducing device |
JPH11164328A (en) * | 1997-11-27 | 1999-06-18 | Toshiba Corp | Stereoscopic video image display device |
JP2000331422A (en) * | 1999-05-20 | 2000-11-30 | Sony Corp | Recording device, reproducing device and recording medium |
JP2007124275A (en) * | 2005-10-28 | 2007-05-17 | Canon Inc | Picture output device |
JP2011019163A (en) * | 2009-07-10 | 2011-01-27 | Victor Co Of Japan Ltd | Device for displaying 3d image, and method of displaying 3d image |
WO2011121916A1 (en) * | 2010-03-29 | 2011-10-06 | パナソニック株式会社 | Video processing device |
JP2011250322A (en) * | 2010-05-28 | 2011-12-08 | Sharp Corp | Display device, warning display method, program and recording medium |
-
2012
- 2012-02-16 JP JP2012031585A patent/JP5887983B2/en active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10320891A (en) * | 1997-05-21 | 1998-12-04 | Sony Corp | Disk reproducing device |
JPH11164328A (en) * | 1997-11-27 | 1999-06-18 | Toshiba Corp | Stereoscopic video image display device |
JP2000331422A (en) * | 1999-05-20 | 2000-11-30 | Sony Corp | Recording device, reproducing device and recording medium |
JP2007124275A (en) * | 2005-10-28 | 2007-05-17 | Canon Inc | Picture output device |
JP2011019163A (en) * | 2009-07-10 | 2011-01-27 | Victor Co Of Japan Ltd | Device for displaying 3d image, and method of displaying 3d image |
WO2011121916A1 (en) * | 2010-03-29 | 2011-10-06 | パナソニック株式会社 | Video processing device |
JP2011250322A (en) * | 2010-05-28 | 2011-12-08 | Sharp Corp | Display device, warning display method, program and recording medium |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104683787A (en) * | 2015-03-12 | 2015-06-03 | 青岛歌尔声学科技有限公司 | Method and device for identifying video types, display equipment and video projecting method thereof |
Also Published As
Publication number | Publication date |
---|---|
JP5887983B2 (en) | 2016-03-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9557566B2 (en) | Head-mounted display device and control method for the head-mounted display device | |
CN102629465B (en) | Control device and method, display device and control method, image display system | |
TWI615631B (en) | Head-mounted display device and control method of head-mounted display device | |
JP5948801B2 (en) | Head-mounted display device and method for controlling head-mounted display device | |
US20150168729A1 (en) | Head mounted display device | |
US10114604B2 (en) | Head-mounted display device, control method for head-mounted display device, and computer program | |
JP2012204998A (en) | Head-mounted type display device and control method for head-mounted type display device | |
JP2014192550A (en) | Head-mounted display device, and control method of head-mounted display device | |
JP6600945B2 (en) | Head-mounted display device, head-mounted display device control method, and computer program | |
CN107077363B (en) | Information processing apparatus, method of controlling information processing apparatus, and recording medium | |
JP6075083B2 (en) | Head-mounted display device and method for controlling head-mounted display device | |
JP2015188175A (en) | Head-mounted display device and head-mounted display device control method | |
US20150168728A1 (en) | Head mounted display device | |
JP6252002B2 (en) | Head-mounted display device and method for controlling head-mounted display device | |
JP5887983B2 (en) | Image display device and control method of image display device | |
JP6428071B2 (en) | Video display system, connection method according to video wireless transmission standard between video transmission device and head-mounted display device constituting video display system, computer program, head-mounted display device | |
JP5742355B2 (en) | Head-mounted display device | |
JP6451238B2 (en) | Device for transmitting or receiving video, method for controlling device, computer program | |
JP6273677B2 (en) | Head-mounted display device and method for controlling head-mounted display device | |
JP6402487B2 (en) | Speech processing apparatus and method for controlling speech processing apparatus | |
JP6004053B2 (en) | Head-mounted display device and method for controlling head-mounted display device | |
JP6287399B2 (en) | Head-mounted display device and method for controlling head-mounted display device | |
JP6394174B2 (en) | Head-mounted display device, image display system, method for controlling head-mounted display device, and computer program | |
JP6308249B2 (en) | Head-mounted display device and method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20141204 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20151013 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20151020 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20151214 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160119 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160201 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5887983 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |