JP6137113B2 - Display device, display method, and program - Google Patents
Display device, display method, and program Download PDFInfo
- Publication number
- JP6137113B2 JP6137113B2 JP2014217073A JP2014217073A JP6137113B2 JP 6137113 B2 JP6137113 B2 JP 6137113B2 JP 2014217073 A JP2014217073 A JP 2014217073A JP 2014217073 A JP2014217073 A JP 2014217073A JP 6137113 B2 JP6137113 B2 JP 6137113B2
- Authority
- JP
- Japan
- Prior art keywords
- unit
- image
- display
- imaging
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Control Of Indicators Other Than Cathode Ray Tubes (AREA)
- Controls And Circuits For Display Device (AREA)
- User Interface Of Digital Computer (AREA)
Description
本発明は、例えば眼鏡型もしくは頭部装着型の装着ユニットなどによりユーザに装着された状態で、ユーザが視認する方向を被写体方向として撮像し、ユーザの眼の前方で撮像画像の表示を行う表示装置と、その表示方法及びプログラムに関する。 The present invention is, for example, in a state of being attached to the user by the eyeglasses type or head-worn mounting unit to image the direction in which the user visually recognizes as a subject direction, the display for displaying the captured image in front of the user's eye The present invention relates to an apparatus, a display method thereof, and a program .
例えば上記各特許文献のように、眼鏡型もしくは頭部装着型の装着ユニットにより、ユーザの目の直前に表示部を配置して表示を行う装置が、各種提案されている。 For example, as in each of the above patent documents, various devices have been proposed in which a display unit is arranged in front of the user's eyes and displayed by a spectacle-type or head-mounted mounting unit.
しかしながら従来の装置では、特にユーザの視覚の補助や、視覚能力の拡大という観点で撮像や表示に関する制御を行うものは知られていない。
そこで本発明では、ユーザの視覚の補助や拡張を実現することを目的とする。さらには、視覚の補助や拡張を実現する表示動作や撮像動作の制御に関して、外界の状況（周囲の環境、被写体、日時、場所等）に応じて、的確な動作制御が行われるようにする。
However, there is no known device that performs control related to imaging and display particularly from the viewpoint of assisting the user's vision and expanding visual ability.
Therefore, an object of the present invention is to realize user assistance and expansion. Furthermore, regarding the control of the display operation and the imaging operation for realizing visual assistance and expansion, accurate operation control is performed according to the external environment (ambient environment, subject, date, place, etc.).
本発明の表示装置は、外景に重ねて視認される画像を表示する表示部と、外景を撮影する撮像部と、周囲環境センサ、画像解析部又は通信部の少なくとも１つ以上を有し、それぞれから周囲の明るさに関する情報を取得する外界情報取得部と、前記撮像部により撮影された撮影画像から対象物を検出する画像処理部と、前記撮像部による撮像方向に対して照明を行う照明部と、前記表示部により、前記外景に重なって前記外景の一部を強調する強調表示画像を周囲の明るさに応じて画質を調整して表示させると共に、前記外界情報取得部で取得された周囲の明るさの状況を判定できる情報に基づいて、ユーザの視認対象が視認し易い状態となるように前記照明部による照明動作の制御を行う制御部とを備える。
Display device of the present invention includes a display unit for displaying an image to be viewed superimposed on the outside scene, an imaging unit for photographing the outside scene, environment sensors, at least one or more images analysis unit or communication unit Illuminate the imaging direction by the imaging unit, an external information acquisition unit that acquires information on ambient brightness from each, an image processing unit that detects an object from a captured image captured by the imaging unit, and The highlight unit and the display unit display a highlight image that highlights a part of the outside scene so as to overlap the outside scene and adjust the image quality according to ambient brightness, and is acquired by the outside world information acquisition unit. And a control unit that controls the illumination operation by the illumination unit so that the user's visual recognition target can be easily viewed based on information that can determine the surrounding brightness condition .
また、前記表示装置を装着したユーザーにより視認可能な前記外景において強調対象物を選択する対象選択手段を備え、前記制御手段は、前記対象選択手段により選択された前記強調対象物を強調する前記強調表示画像を表示させる。 In addition, the image processing apparatus includes a target selection unit that selects an enhancement target in the outside scene that can be visually recognized by a user wearing the display device, and the control unit emphasizes the enhancement target selected by the target selection unit. Display the display image.
また、前記外景を撮影する撮影手段と、前記撮影手段により撮影された撮影画像から対象物を検出する画像処理手段と、を備え、前記対象選択手段は、予め設定された条件に従って、前記画像処理手段により検出された対象物から前記強調対象物を選択する。 And an image processing unit that detects an object from a photographed image photographed by the photographing unit, and the object selection unit performs the image processing according to a preset condition. The emphasized object is selected from the objects detected by the means.
また、前記対象選択手段は、前記表示装置の現在位置に基づいて、前記画像処理手段により検出された対象物から前記強調対象物を選択する。 Further, the object selection means selects the emphasized object from the objects detected by the image processing means based on the current position of the display device.
また、前記制御手段は、前記表示手段により前記外景の少なくとも一部を隠す画像を表示させる。 Further, the control means causes the display means to display an image that hides at least a part of the outside scene.
また、前記制御手段の制御により前記表示手段によって前記外景の少なくとも一部を隠すように表示される画像は、当該画像により隠される前記外景の一部を強調した画像である。 The image displayed so as to hide at least a part of the outside scene by the display unit under the control of the control unit is an image in which a part of the outside scene hidden by the image is emphasized.
また、前記制御手段の制御により前記表示手段によって前記外景の一部に重なって表示される画像は、当該画像に重なる前記外景の一部を装飾する画像である。 The image displayed on the display unit so as to overlap a part of the outside scene by the control of the control unit is an image decorating a part of the outside scene overlapping the image.
また、前記制御部は、前記強調表示画像以外の輝度を低下させることで、前記強調表示画像が強調して表示されるように前記表示部を制御する。
また、前記制御部は、前記強調表示画像を拡大表示することで、前記強調表示画像が強調して表示されるように前記表示部を制御する。
また、前記外景の光は前記表示部を透過して前記画像の光とともに前記表示装置を装着したユーザーの眼に入射する。
また、前記画像処理部は、明るさの状況を判定する情報の１つとして撮像された撮影画像からの対象物として雨を検出する。
また、前記制御部は、前記外景の少なくとも一部を前記撮像部により撮影された撮影画像で置換することにより前記強調対象物を強調する。
In addition, the control unit controls the display unit so that the highlighted image is displayed in an emphasized manner by reducing luminance other than the highlighted image.
Further, the control unit controls the display unit so that the highlighted image is displayed in an emphasized manner by enlarging the highlighted image.
The light of the outside scene passes through the display unit and enters the eyes of the user wearing the display device together with the light of the image.
Also, the image processing unit detects the rain as the object from photographed image taken as one of the information for determining the status of brightness.
The control unit emphasizes the enhancement target by replacing at least a part of the outside scene with a captured image captured by the imaging unit.
本発明の表示方法は、頭部装着型の表示装置の表示方法であって、表示部に外景に重ねて視認される画像を表示し、撮像部により外景を撮影し、周囲環境センサ、画像解析部又は通信部の少なくとも１つ以上を有し、外界情報取得部によりそれぞれから周囲の明るさに関する情報を取得し、前記撮像部により撮影された撮影画像から対象物を検出し、前記撮像部による撮像方向に対して照明を行い、前記表示部により、前記外景に重なって前記外景の一部を強調する強調表示画像を周囲の明るさに応じて画質を調整して表示させると共に、前記外界情報取得部で取得された周囲の明るさの状況を判定できる情報に基づいて、ユーザの視認対象が視認し易い状態となるように照明部による照明動作の制御を行う表示方法である。
本発明のプログラムは、表示部に外景に重ねて視認される画像を表示する処理と、撮像部により外景を撮影する処理と、周囲環境センサ、画像解析部又は通信部の少なくとも１つ以上を有し、外界情報取得部によりそれぞれから周囲の明るさに関する情報を取得する処理と、前記撮像部により撮影された撮影画像から対象物を検出する処理と、前記撮像部による撮像方向に対して照明を行う処理を、前記表示部により、前記外景に重なって前記外景の一部を強調する強調表示画像を周囲の明るさに応じて画質を調整して表示させると共に、前記外界情報取得部で取得された周囲の明るさの状況を判定できる情報に基づいて、ユーザの視認対象が視認し易い状態となるように照明部による照明動作の制御を行う処理とを頭部装着型の表示装置の制御部に実行させるプログラムである。
Display method of the present invention is a display method of the head-mounted display device, to display an image to be viewed superimposed on the outside scene on a display unit, photographed outside scene by the imaging unit, the surrounding environment sensor, images analyzer also has at least one or more of the communication unit, acquires the information about the brightness of the surroundings from each by external information acquisition unit detects the object from the images picked up by the imaging unit, said imaging Illuminating the imaging direction by the unit, the display unit displays a highlighted image that emphasizes a part of the outside scene so as to overlap the outside scene with an image quality adjusted according to ambient brightness , and This is a display method in which the illumination operation is controlled by the illumination unit so that the user's visual target is easily visible based on information obtained by the external information acquisition unit that can determine the ambient brightness status .
Program of the present invention, a process for displaying an image to be viewed superimposed on the outside scene on a display unit, a process of capturing an outside scene by the imaging unit, the surrounding environment sensor, at least one or more images analysis unit or communication unit A process of acquiring information about ambient brightness from each by an external information acquisition unit, a process of detecting an object from a captured image captured by the imaging unit, and an imaging direction by the imaging unit Illumination processing is performed by the display unit so that a highlight image that highlights a part of the outside scene overlaid on the outside scene is displayed with the image quality adjusted according to ambient brightness, and the outside world information acquisition unit. based on the information that can determine the status of the acquired ambient brightness, and a process for controlling the lighting operation of the lighting unit as visual target users a state easy to visually recognize the head-mounted display device Is a program to be executed by the control unit.
以上の本発明では、使用者（ユーザ）は、例えば眼鏡型もしくは頭部装着型の装着ユニットなどにより本発明の表示装置を装着することで、目の前方に位置する表示手段を視認する状態となる。そして撮像手段で撮像された画像を表示手段で表示させることで、ユーザが通常に視認する方向の光景の撮像画像を、表示手段で視認できることになる。
これはユーザにとっては、通常に視認する前方の光景を、本発明の表示装置を介して見ることになるが、するとこの場合、ユーザは表示手段に映し出された画像を通常の視覚風景として見ることになる。ここで、表示手段に映し出す画像の態様を、周囲環境状態や被写体の状況など、外界の状況に応じて変化させると、ユーザの視覚能力を補助したり拡張した状態とすることができる。
例えば望遠画像を表示させれば、ユーザが通常では見えない遠方の光景が見える。また本や新聞を見ているときに、表示手段でそれらの文字の拡大表示や輝度やコントラストの調整を行えば、例えば暗い状況でも、読みやすい状態とできる。
即ち、外界情報に応じて撮像手段や表示手段の動作を制御し、表示される撮像画像の態様を制御することで、ユーザにとって快適或いはおもしろみのある視覚状況を作り出すことができる。
In the above-described present invention, the user (user) can visually recognize the display means located in front of the eyes by wearing the display device of the present invention with, for example, a spectacle-type or head-mounted type mounting unit. Become. Then, by displaying the image picked up by the image pickup means on the display means, the picked-up image of the scene in the direction normally viewed by the user can be visually recognized by the display means.
This means that the user sees the scene that is normally viewed through the display device of the present invention. In this case, the user views the image displayed on the display means as a normal visual landscape. become. Here, if the mode of the image displayed on the display means is changed according to the external environment such as the ambient environment state or the subject state, the user's visual ability can be assisted or expanded.
For example, when a telephoto image is displayed, a distant view that the user cannot normally see can be seen. In addition, when a book or newspaper is being viewed, if the display means enlarges the display of the characters and adjusts the brightness and contrast, the display can be easily read even in a dark situation.
That is, it is possible to create a visual situation that is comfortable or interesting for the user by controlling the operation of the imaging means and the display means in accordance with external information and controlling the mode of the displayed captured image.
本発明によれば、撮像手段で撮像した画像、つまりユーザが視認する方向を被写体方向とした撮像画像を、使用者の目の前方の表示手段で表示させるが、この場合に、外界情報に基づいて撮像手段又は表示手段の動作を制御することで、擬似的にユーザの視覚能力を補助したり拡張させる状況を作り出すことができるという効果がある。 According to the present invention, an image picked up by the image pickup means, that is, a picked-up image with the direction viewed by the user as the subject direction is displayed on the display means in front of the user's eyes. by controlling the operation of the imaging means or display means Te, effect there Ru that artificially can create a situation for assisting the visual ability of the user or extension.
以下、本発明の表示装置、表示方法の実施の形態を、次の順序で説明する。
［１．撮像表示装置の外観例］
［２．撮像表示装置の構成例］
［３．表示例］
［４．外界情報の検出］
［５．各種動作例］
［６．実施の形態の効果、変形例及び拡張例］
Hereinafter, embodiments of the display device and the display method of the present invention will be described in the following order.
[1. Appearance example of imaging display device]
[2. Configuration example of imaging display device]
[3. Display example]
[4. Detection of external information]
[5. Examples of various operations]
[6. Effect, modification and extension of embodiment]
［１．撮像表示装置の外観例］
実施の形態として、図１に眼鏡型ディスプレイカメラとした撮像表示装置１の外観例を示す。撮像表示装置１は、例えば両側頭部から後頭部にかけて半周回するようなフレームの構造の装着ユニットを持ち、図のように両耳殻にかけられることでユーザに装着される。
そしてこの撮像表示装置１は、図１のような装着状態において、ユーザの両眼の直前、即ち通常の眼鏡におけるレンズが位置する場所に、左眼用と右眼用の一対の表示部２、２が配置される構成とされている。この表示部２には、例えば液晶パネルが用いられ、透過率を制御することで、図のようなスルー状態、即ち透明又は半透明の状態とできる。表示部２がスルー状態とされることで、眼鏡のようにユーザが常時装着していても、通常の生活には支障がない。
[1. Appearance example of imaging display device]
As an embodiment, FIG. 1 shows an appearance example of an
The
またユーザが装着した状態において、ユーザが視認する方向を被写体方向として撮像するように、前方に向けて撮像レンズ３ａが配置されている。
また撮像レンズ３ａによる撮像方向に対して照明を行う発光部４ａが設けられる。発光部４ａは例えばＬＥＤ（Light Emitting Diode）により形成される。
また、図では左耳側しか示されていないが、装着状態でユーザの右耳孔及び左耳孔に挿入できる一対のイヤホンスピーカ５ａが設けられる。
また右眼用の表示部２の右方と、左眼用の表示部２の左方に、外部音声を集音するマイクロホン６ａ，６ｂが配置される。
In addition, the
Moreover, the
Although only the left ear side is shown in the figure, a pair of
なお図１は一例であり、撮像表示装置１をユーザが装着するための構造は多様に考えられる。一般に眼鏡型、或いは頭部装着型とされる装着ユニットで形成されればよく、少なくとも本実施の形態としては、ユーザの眼の前方に近接して表示部２が設けられ、また撮像レンズ３ａによる撮像方向がユーザが視認する方向、つまりユーザの前方となるようにされていればよい。また表示部２は、両眼に対応して一対設けられる他、片側の眼に対応して１つ設けられる構成でもよい。
またイヤホンスピーカ５ａは、左右のステレオスピーカとせずに、一方の耳にのみ装着するために１つ設けられるのみでもよい。またマイクロホンも、マイクロホン６ａ，６ｂのうちの一方でもよい。さらには、撮像表示装置１としてマイクロホンやイヤホンスピーカを備えない構成も考えられる。
また発光部４ａを設けない構成も考えられる。
FIG. 1 is an example, and various structures for the user to wear the
Further, the
A configuration in which the
［２．撮像表示装置の構成例］
図２に撮像表示装置１の内部構成例を示す。
システムコントローラ１０は、例えばＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、不揮発性メモリ部、インターフェース部を備えたマイクロコンピュータにより構成され、撮像表示装置１の全体を制御する制御部とされる。
このシステムコントローラ１０は外界の状況に基づいて、撮像表示装置１内の各部の制御を行う。つまり外界の状況を検知判定し、それに応じて各部の動作制御を実行するようにされた動作プログラムに従って動作する。このため機能的に見れば、図示するように外界の状況を判定する外界状況判定機能１０ａと、外界状況判定機能１０ａの判定結果に従って各部に制御指示を行う動作制御機能１０ｂを有することになる。
[2. Configuration example of imaging display device]
FIG. 2 shows an internal configuration example of the
The
The
撮像表示装置１内では、ユーザの前方の光景の撮像のための構成として、撮像部３、撮像制御部１１、撮像信号処理部１５が設けられる。
撮像部３は、図１に示した撮像レンズ３ａや、絞り、ズームレンズ、フォーカスレンズなどを備えて構成されるレンズ系や、レンズ系に対してフォーカス動作やズーム動作を行わせるための駆動系、さらにレンズ系で得られる撮像光を検出し、光電変換を行うことで撮像信号を生成する固体撮像素子アレイなどが設けられる。固体撮像素子アレイは、例えばＣＣＤ（Charge Coupled Device）センサアレイや、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサアレイとされる。
In the
The
撮像信号処理部１５は、撮像部３の固体撮像素子によって得られる信号に対するゲイン調整や波形整形を行うサンプルホールド／ＡＧＣ(Automatic Gain Control)回路や、ビデオＡ／Ｄコンバータを備え、デジタルデータとしての撮像信号を得る。また撮像信号処理部１５は、撮像信号に対してホワイトバランス処理、輝度処理、色信号処理、ぶれ補正処理なども行う。
The imaging
撮像制御部１１は、システムコントローラ１０からの指示に基づいて、撮像部３及び撮像信号処理部１５の動作を制御する。例えば撮像制御部１１は、撮像部３，撮像信号処理部１５の動作のオン／オフを制御する。また撮像制御部１１は撮像部３に対して、オートフォーカス、自動露出調整、絞り調整、ズームなどの動作を実行させるための制御（モータ制御）を行うものとされる。
また撮像制御部１１はタイミングジェネレータを備え、固体撮像素子及び撮像信号処理部１１のサンプルホールド／ＡＧＣ回路、ビデオＡ／Ｄコンバータに対しては、タイミングジェネレータにて生成されるタイミング信号により信号処理動作を制御する。また、このタイミング制御により撮像フレームレートの可変制御も可能とされる。
さらに撮像制御部１１は、固体撮像素子及び撮像信号処理部１５における撮像感度や信号処理の制御を行う。例えば撮像感度制御として固体撮像素子から読み出される信号のゲイン制御を行ったり、黒レベル設定制御や、デジタルデータ段階の撮像信号処理の各種係数制御、ぶれ補正処理における補正量制御などを行うことができる。撮像感度に関しては、特に波長帯域を考慮しない全体的な感度調整や、例えば赤外線領域、紫外線領域など、特定の波長帯域の撮像感度を調整する感度調整（例えば特定波長帯域をカットするような撮像）なども可能である。波長に応じた感度調整は、撮像レンズ系における波長フィルタの挿入や、撮像信号に対する波長フィルタ演算処理により可能である。これらの場合、撮像制御部１１は、波長フィルタの挿入制御や、フィルタ演算係数の指定等により、感度制御を行うことができる。
The
In addition, the
Further, the
また撮像表示装置１においてユーザに対して表示を行う構成としては、表示部２、表示画像処理部１２、表示駆動部１３，表示制御部１４が設けられる。
撮像部３で撮像され、撮像信号処理部１５で処理された撮像信号は表示画像処理部１２に供給される。表示画像処理部１２は、例えばいわゆるビデオプロセッサとされ、供給された撮像信号に対して各種表示処理を実行できる部位とされる。例えば撮像信号の輝度レベル調整、色補正、コントラスト調整、シャープネス（輪郭強調）調整などを行うことができる。また表示画像処理部１２は、撮像信号の一部を拡大した拡大画像の生成、或いは縮小画像の生成、画像内の一部をハイライト表示（強調表示）させる画像処理、撮像画像の分割表示のための画像の分離や合成、キャラクタ画像やイメージ画像の生成及び生成した画像を撮像画像に合成する処理なども行うことができる。つまり撮像信号としてのデジタル映像信号に対しての各種処理を行うことができる。
The
The imaging signal imaged by the
表示駆動部１３は、表示画像処理部１２から供給される映像信号を、例えば液晶ディスプレイとされる表示部２において表示させるための画素駆動回路で構成されている。即ち表示部２においてマトリクス状に配置されている各画素について、それぞれ所定の水平／垂直駆動タイミングで映像信号に基づく駆動信号を印加し、表示を実行させる。また表示駆動部１３は、表示部２の各画素の透過率を制御して、スルー状態とすることもできる。
表示制御部１４は、システムコントローラ１０の指示に基づいて、表示画像処理部１２の処理動作や表示駆動部１３の動作を制御する。即ち表示画像処理部１２に対しては、上記の各種処理を実行させる。また表示駆動部１３に対してはスルー状態、画像表示状態の切り換えが行われるように制御する。
なお以下では、表示部２を透明もしくは半透明とする「スルー状態」に対して、表示部２で画像表示を行っている動作（及びその状態）を「モニタ表示」（「モニタ表示状態」）と言うこととする。
The
The display control unit 14 controls the processing operation of the display
In the following, for the “through state” in which the
また撮像表示装置１には、音声入力部６、音声信号処理部１６，音声出力部５が設けられる。
音声入力部６は、図１に示したマイクロホン６ａ，６ｂと、そのマイクロホン６ａ，６ｂで得られた音声信号を処理するマイクアンプ部を有して成る。
音声信号処理部１６は、例えばＡ／Ｄ変換器、デジタルシグナルプロセッサ、Ｄ／Ａ変換器などからなり、音声入力部６から供給される音声信号をデジタルデータに変換して、システムコントローラ１０の制御に応じて、音量調整、音質調整、音響エフェクト等の処理を行う。そして処理した音声信号をアナログ信号に変換して音声出力部５に供給する。なお、音声信号処理部１６は、デジタル信号処理を行う構成に限られず、アナログアンプやアナログフィルタによって信号処理を行うものでも良い。
音声出力部５は、図１に示した一対のイヤホンスピーカ５ａと、そのイヤホンスピーカ５ａに対するアンプ回路を有する。
この音声入力部６、音声信号処理部１６，音声出力部５により、ユーザは外部音声を当該撮像表示装置１を介して聞くことができる。
なお、音声出力部５は、いわゆる骨伝導スピーカとして構成されても良い。
The
The voice input unit 6 includes
The audio
The audio output unit 5 includes a pair of
With the audio input unit 6, the audio
Note that the audio output unit 5 may be configured as a so-called bone conduction speaker.
また撮像表示装置１には音声合成部２７が設けられる。この音声合成部２７はシステムコントローラ１０の指示に応じて音声合成を行い、音声信号を出力する。
音声合成部２７から出力された音声信号は、音声信号処理部１６で処理されて音声出力部５に供給され、ユーザに対して音声出力される。
この音声合成部２７は、例えば後述する読み上げ音声の音声信号を発生させることになる。
The
The audio signal output from the
For example, the
また照明部４と照明制御部１８が設けられる。照明部４は、図１に示した発光部４ａとその発光部４（例えばＬＥＤ）を発光させる発光回路から成る。照明制御部１８は、システムコントローラ１０の指示に基づいて、照明部４に発光動作を実行させる。
照明部４における発光部４ａが図１に示したように前方に対する照明を行うものとして取り付けられていることで、照明部４はユーザの視界方向に対する照明動作を行うことになる。
Moreover, the illumination part 4 and the
Since the
この撮像表示装置１は、外界情報を取得するための構成として、周囲環境センサ１９、撮像対象センサ２０、ＧＰＳ受信部２１、日時計数部２２、画像解析部１７、及び通信部２６を有する。
The
周囲環境センサ１９としては、具体的には例えば照度センサ、温度センサ、湿度センサ、気圧センサ等が想定され、撮像表示装置１の周囲環境として、周囲の明るさ、温度、湿度、或いは天候等を検出するための情報を得るセンサとされる。
撮像対象センサ２０は、撮像部３での撮像動作の被写体となっている撮像対象に関する情報を検出するセンサである。例えば当該撮像表示装置１から撮像対象までの距離の情報を検出する測距センサが想定される。
また、焦電センサなどの赤外線センサのように、撮像対象が発する赤外線の特定の波長などの情報やエネルギーを検出するセンサも想定される。この場合、例えば撮像対象が人や動物などの生体であるか否かの検出が可能となる。
さらに、各種ＵＶ（Ultra Violet）センサのように、撮像対象が発する紫外線の特定の波長などの情報やエネルギーを検出するセンサも想定される。この場合、例えば撮像対象が蛍光物質や蛍光体であるか否かの検出や、日焼け対策に必要な外界の紫外線量の検出が可能となる。
Specifically, as the
The
Also, a sensor that detects information and energy such as a specific wavelength of infrared rays emitted from an imaging target, such as an infrared sensor such as a pyroelectric sensor, is also assumed. In this case, for example, it is possible to detect whether the imaging target is a living body such as a person or an animal.
Further, sensors such as various UV (Ultra Violet) sensors that detect information and energy such as a specific wavelength of ultraviolet rays emitted from an imaging target are also assumed. In this case, for example, it is possible to detect whether or not the imaging target is a fluorescent material or a phosphor, and to detect the amount of external ultraviolet rays necessary for sunburn countermeasures.
ＧＰＳ受信部２１は、ＧＰＳ（Global Positioning System）の衛星からの電波を受信し、現在位置としての緯度・経度の情報を出力する。
日時計数部２２は、いわゆる時計部として、日時（年月日時分秒）を計数し、現在日時情報を出力する。
画像解析部１７は、撮像部３，撮像信号処理部１５により得られた撮像画像について画像解析を行う。即ち被写体としての画像を解析し、撮像画像に含まれる被写体の情報を得る。
The
As a so-called clock unit, the date /
The
通信部２６は、外部機器との間でのデータ通信を行う。外部機器としては、コンピュータ機器、ＰＤＡ（Personal Digital Assistant）、携帯電話機、ビデオ機器、オーディオ機器、チューナ機器など、情報処理及び通信機能を備えたあらゆる機器が想定される。
またインターネット等のネットワークに接続された端末装置、サーバ装置なども通信対象の外部機器として想定される。
さらには、ＩＣチップを内蔵した非接触通信ＩＣカード、ＱＲコード（登録商標）等の二次元バーコード、ホログラムメモリなどを外部機器とし、通信部２６はこれらの外部機器から情報を読み取る構成とすることも考えられる。
さらには他の撮像表示装置１も外部機器として想定される。
通信部２６は、無線ＬＡＮ、ブルートゥースなどの方式で、例えばネットワークアクセスポイントに対する近距離無線通信を介してネットワーク通信を行う構成としても良いし、対応する通信機能を備えた外部機器との間で直接無線通信を行うものでも良い。
The
Also, terminal devices and server devices connected to a network such as the Internet are assumed as external devices to be communicated.
Furthermore, a non-contact communication IC card incorporating an IC chip, a two-dimensional barcode such as QR code (registered trademark), a hologram memory, and the like are external devices, and the
Furthermore, the other
The
これら周囲環境センサ１９、撮像対象センサ２０、ＧＰＳ受信部２１、日時計数部２２、画像解析部１７、及び通信部２６により、撮像表示装置１からみての外界の情報が取得され、システムコントローラ１０に供給される。
システムコントローラ１０は外界状況判定機能１０ａの処理により、取得した外界情報に応じて、動作制御機能１０ｂの処理により、撮像動作や表示動作に関する制御を行う。即ちシステムコントローラ１０は撮像制御部１１に指示して撮像部３や撮像信号処理部１５の動作を制御し、また表示制御部１４に指示して表示画像処理部１２や表示駆動部１３の動作を制御する。
The
The
なお、外界情報を取得するための構成として周囲環境センサ１９、撮像対象センサ２０、ＧＰＳ受信部２１、日時計数部２２、画像解析部１７、及び通信部２６を示したが、これらは必ずしも全てを備える必要はない。また、周囲の音声を検知・解析する音声解析部など、他のセンサが設けられても良い。
In addition, although the surrounding
［３．表示例］
システムコントローラ１０が、取得した外界情報に応じて撮像動作や表示動作に関する制御を行うことは、結果として表示部２における多様な表示態様としてユーザに認識される。図３から図１１により、各種の表示態様を例示する。
図３（ａ）は表示部２がスルー状態となっている場合を示しているとする。つまり、表示部２は単なる透明の板状体となっており、ユーザが視界光景を透明の表示部２を介して見ている状態である。
図３（ｂ）は、モニタ表示状態として、撮像部３で撮像した画像が表示部２に表示された状態である。例えば図３（ａ）の状態で撮像部３，撮像信号処理部１５，表示画像処理部１２，表示駆動部１３が動作し、これらの部位が撮像画像を通常に表示部２に表示した状態である。この場合の表示部２に表示される撮像画像（通常撮像画像）は、スルー状態の場合とほぼ同様となる。つまりユーザにとっては、通常の視界を、撮像された画像として見ている状態である。
[3. Display example]
It is recognized by the user as various display modes in the
FIG. 3A shows a case where the
FIG. 3B shows a state where an image captured by the
図３（ｃ）は、システムコントローラ１０が撮像制御部１１を介して撮像部３に望遠撮像を実行させた場合であり、望遠画像が表示部２に表示されている。
図示しないが、逆にシステムコントローラ１０が撮像制御部１１を介して撮像部３に広角撮像を実行させれば、近距離の光景が広角に映し出された画像が表示部２に表示されることになる。なお、望遠−広角の制御は、撮像部３におけるズームレンズの駆動制御の他、撮像信号処理部１５での信号処理でも可能である。
FIG. 3C shows a case where the
Although not shown, conversely, if the
図４（ａ）は表示部２がスルー状態となっている場合を示しているとする。例えばユーザが新聞等を見ている状態である。
図４（ｂ）は、いわゆる広角ズームとした状態である。即ち近距離の焦点位置状態でズーム撮像を行い、例えば新聞等の文字がユーザに拡大されるように表示部２に表示されている状態である。
FIG. 4A shows a case where the
FIG. 4B shows a so-called wide-angle zoom state. That is, zoom imaging is performed at a focal position at a short distance, and characters such as newspapers are displayed on the
図５（ａ）は、表示部２に通常撮像画像が表示されている場合、もしくは表示部２がスルー状態とされている場合を示している。
このときにシステムコントローラ１０が、表示制御部１４を介して表示画像処理部１２に対して画像拡大処理を指示することで、図５（ｂ）のような拡大画像が表示部２に表示されることになる。
FIG. 5A shows a case where a normal captured image is displayed on the
At this time, the
図６（ａ）は、表示部２に通常撮像画像が表示されている場合、もしくは表示部２がスルー状態とされている場合を示している。特に、ユーザが新聞や書籍を読んでいる場合を示している。ここでは、周囲が薄暗く、通常撮像画像やスルー状態では、新聞等の文字が見えにくい状況となっているとする。
このような場合に、システムコントローラ１０は撮像制御部１１（撮像部３，撮像信号処理部１５）に対して撮像感度を上げることを指示したり、表示制御部１４（表示画像処理部１２、表示駆動部１３）に対して輝度アップ、コントラスト、シャープネス調整を指示することなどにより、図６（ｂ）のように、よりはっきりした画像を表示部２に表示させることができる。なお、照明部４に照明動作を実行させることも、このような表示を行う場合に好適となる。
FIG. 6A shows a case where a normal captured image is displayed on the
In such a case, the
図７（ａ）は、表示部２に通常撮像画像が表示されている場合、もしくは表示部２がスルー状態とされている場合を示している。ここでは、ユーザが、子供が寝ている暗い寝室に居る場合を示している。暗い部屋の中であるため、通常撮像画像やスルー状態では、子供の姿等がはっきり見えない状況である。
このときにシステムコントローラ１０が、撮像制御部１１（撮像部３，撮像信号処理部１５）に対して赤外線撮像感度の上昇を指示することで、図７（ｂ）のように赤外線撮像画像が表示部２に表示され、暗い部屋で子供の寝顔などを確認できる。
FIG. 7A shows a case where a normal captured image is displayed on the
At this time, when the
図８（ａ）は、表示部２に通常撮像画像が表示されている場合、もしくは表示部２がスルー状態とされている場合を示している。
システムコントローラ１０が、撮像制御部１１（撮像部３，撮像信号処理部１５）に対して紫外線撮像感度の上昇を指示することで、図８（ｂ）のように紫外光成分を表した撮像画像が表示部２に表示される。
FIG. 8A shows a case where a normal captured image is displayed on the
When the
図９（ａ）は、表示部２がスルー状態とされている場合を示している。
システムコントローラ１０が表示制御部１４（表示画像処理部１２、表示駆動部１３）に対して分割表示及び分割画面での拡大表示を指示することにより、図９（ｂ）のような画像を表示部２に表示させることができる。即ち表示部２の画面上を領域ＡＲ１、ＡＲ２に分割し、領域ＡＲ１はスルー状態又は通常画像表示とし、領域ＡＲ２には拡大画像とした例である。
また図９（ｃ）は他の分割表示の例を示しており、この場合は表示部２の画面上を領域ＡＲ１、ＡＲ２、ＡＲ３，ＡＲ４に分割するとともに、各領域には、所定時間間隔で撮像画像の１フレームを抽出して表示させている。例えば表示画像処理部１２に、撮像画像信号において０．５秒間隔で１フレームを抽出させ、抽出したフレームの画像を領域ＡＲ１→ＡＲ２→ＡＲ３→ＡＲ４→ＡＲ１→ＡＲ２・・・と順に表示させていく。これは、いわゆるストロボ表示と呼ばれるような画像を表示部２で分割表示により実行した例である。
FIG. 9A shows a case where the
When the
FIG. 9C shows another example of divided display. In this case, the screen of the
図１０（ａ）は、表示部２に通常撮像画像が表示されている場合、もしくは表示部２がスルー状態とされている場合を示している。この画像では、例えばサッカースタジアムにおいてピッチ上に日陰と日なたの境界が生じ、見にくい状況となっている。
システムコントローラ１０は、例えばＣＣＤセンサ又はＣＭＯＳセンサ上で日陰部分に相当する領域の画素について撮像感度を向上させたり表示輝度を向上させ、一方、日なた部分に相当する領域の画素について撮像感度を低下させたり表示輝度を低下させることで、図１０（ｂ）のように日なた／日陰の影響が低減された画像が表示される。
FIG. 10A shows a case where a normal captured image is displayed on the
For example, the
図１１（ａ）（ｂ）は特定の対象として、画像内に例えば鳥が含まれている場合に、その鳥を強調させるようにハイライト表示させた表示例である。
画像内で、鳥が検知される場合に、その鳥の部分をハイライト表示させることで、ユーザが対象を見失いにくいようにした表示を実現できる。
ハイライト画像処理としては、画像内で注目部分のみを輝度を上げたり、注目部分以外の輝度を下げたり、注目部分をカラー表示で注目部分以外をモノクロ表示とするなどの手法が考えられる。また注目部分に注目枠やカーソル、ポインタマーク等、何らかのキャラクタ画像を表示させることで画像内の特定部分を強調しても良い。
FIGS. 11A and 11B are display examples in which, for example, when a bird is included in an image as a specific target, highlighting is performed so that the bird is emphasized.
When a bird is detected in the image, the bird portion is highlighted so that a display that makes it difficult for the user to lose sight of the target can be realized.
As the highlight image processing, there are methods such as increasing the luminance of only the target portion in the image, decreasing the luminance other than the target portion, or displaying the target portion in color and displaying the portion other than the target portion in monochrome. Further, a specific portion in the image may be emphasized by displaying some character image such as a attention frame, a cursor, or a pointer mark on the attention portion.
ここまで各種の表示例を示したが、これらは一例にすぎない。本例においては、撮像部３，撮像信号処理部１５、表示画像処理部１２，表示駆動部１３の各処理や動作を制御することで、多様な表示形態が実現される。
例えば、望遠表示、広角表示、望遠から広角までの間のズームインもしくはズームアウト表示、拡大表示、縮小表示、フレームレートの可変表示（高フレームレートでの撮像画像や低フレームレートでの撮像画像の表示）、高輝度表示、低輝度表示、コントラスト可変表示、シャープネス可変表示、撮像感度上昇状態の表示、赤外線撮像感度上昇状態の表示、紫外線撮像感度上昇状態の表示、特定波長帯域をカットした画像の表示、モザイク画像／輝度反転画像／ソフトフォーカス／画像内の一部の強調表示／画像全体の色の雰囲気の可変などの画像エフェクト表示、スロー表示、コマ送り表示、これらの各種の撮像画像表示を組み合わせた分割表示、スルー状態と撮像画像を組み合わせた分割表示、ストロボ表示、撮像画像の１フレームの表示を継続させる静止画表示など、非常に多様な表示態様が想定される。
Various display examples have been shown so far, but these are only examples. In this example, various display modes are realized by controlling the processes and operations of the
For example, telephoto display, wide-angle display, zoom-in or zoom-out display from telephoto to wide-angle, enlarged display, reduced display, variable frame rate display (display of captured image at high frame rate or captured image at low frame rate) ), High brightness display, low brightness display, variable contrast display, sharpness variable display, imaging sensitivity increased state display, infrared imaging sensitivity increased state display, ultraviolet imaging sensitivity increased state display, image display with a specific wavelength band cut Image effect display such as mosaic image / inverted brightness image / soft focus / partial highlighting in the image / variable color atmosphere of the entire image, slow display, frame advance display, etc. Split display, through display combined with captured image and strobe display, 1 frame of captured image A still picture display to continue the view, very diverse display modes are contemplated.
［４．外界情報の検出］
上述したように本例の撮像表示装置１は、外界情報を取得するための構成として周囲環境センサ１９、撮像対象センサ２０、ＧＰＳ受信部２１、日時計数部２２、画像解析部１７、及び通信部２６を有する。
[4. Detection of external information]
As described above, the
周囲環境センサ１９としては、照度センサ、温度センサ、湿度センサ、気圧センサ等が想定される。
照度センサによっては、撮像表示装置１の周囲の明るさの情報を検出できる。
また温度センサ、湿度センサ、気圧センサによっては、温度、湿度、気圧或いは天候を判別する情報を得ることができる。
これらの周囲環境センサ１９により、撮像表示装置１は周囲の明るさや戸外の場合の気象状況などを判定できるため、システムコントローラ１０は、これらを外界情報として用いて、周囲の明るさや気象状況に適した撮像動作、表示動作を実行制御できる。
As the
Depending on the illuminance sensor, it is possible to detect the brightness information around the
Depending on the temperature sensor, the humidity sensor, and the atmospheric pressure sensor, information for determining the temperature, humidity, atmospheric pressure, or weather can be obtained.
These
撮像対象センサ２０は撮像対象についての情報を検知する。例えば測距センサや焦電センサなどが考えられるが、撮像対象との距離や、撮像対象自体を判定する情報を得ることができる。
撮像対象までの距離を検出することで、システムコントローラ１０は、距離に応じた撮像動作、表示動作を実行制御できる。また撮像対象が人などの生体であることを検知することで、撮像対象に応じた撮像動作、表示動作を実行制御できる。
The
By detecting the distance to the imaging target, the
ＧＰＳ受信部２１は、現在位置としての緯度・経度の情報を取得する。緯度・経度を検出した場合、地図データベース等を参照することで、現在位置における地点（地点近辺）の情報を得ることができる。図２の構成では特に述べていないが、例えばシステムコントローラ１０が参照できる記録媒体として、例えばＨＤＤ（Hard Disk Drive）やフラッシュメモリなどであって比較的大容量の記録媒体を搭載し、これらの記録媒体に地図データベースを記憶させることで、現在位置に関連する情報を取得できる。
また撮像表示装置１に地図データベースを内蔵していなくても、通信部２６を介して例えばネットワークサーバや地図データベース内蔵機器にアクセスし、緯度・経度を送信して現在位置に応じた情報を要求し、情報を受信するようにしてもよい。
現在位置に関連する情報としては、現在位置近辺の地名、建造物名、施設名、店名、駅名などの名称情報がある。
また現在位置に関連する情報としては、公園、テーマパーク、コンサートホール、劇場、映画館、スポーツ施設など、建造物の種別を示す情報もある。
また現在位置に関連する情報としては、海岸、海上、河川、山間部、山頂部、森林、湖、平野部など、自然物の種別や名称の情報もある。
また、より詳細な位置についての情報として、例えばテーマパーク内でのエリアや、野球場、サッカー場などでの観戦席のエリア、コンサートホールでの座席のエリアの情報なども現在位置についての情報として取得することができる。
これら、現在位置に関する情報を取得することで、システムコントローラ１０は、現在位置や現在地点の近辺の地理的条件や施設などに応じた撮像動作、表示動作を実行制御できる。
The
Even if the
Information related to the current position includes name information such as a place name, a building name, a facility name, a shop name, and a station name near the current position.
Information related to the current position includes information indicating the type of building such as a park, a theme park, a concert hall, a theater, a movie theater, and a sports facility.
Information relating to the current position includes information on the types and names of natural objects such as coasts, seas, rivers, mountains, mountain peaks, forests, lakes, and plains.
In addition, as information about the current position, for example, information on the location in the theme park, the area of the spectator seat in the baseball stadium, the soccer field, the information on the seat area in the concert hall, etc. Can be acquired.
By acquiring the information on the current position, the
日時計数部２２は例えば年月日時分秒を計数する。この日時計数部２２によってシステムコントローラ１０は、現在時刻、昼夜の別、月、季節などを認識できる。このため、例えば昼夜の別（時刻）に応じた撮像動作、表示動作や、現在の季節に適した撮像動作、表示動作などを実行制御できる。
The date /
画像解析部１７によれば、撮像画像から撮像対象についての以下のような各種の情報を検出できる。
まず撮像対象の種別として、撮像画像に含まれている人物、動物、自然物、建造物、機器などを判別できる。例えば動物としては、被写体として鳥が撮像されている状況や猫が撮像されている状況等を判別できる。また自然物としては、海、山、樹木、河川、湖、空、太陽、月などを判別できる。建造物としては、家屋、ビル、競技場などを判別できる。機器としては、パーソナルコンピュータ、ＡＶ（Audio-Visual）機器、携帯電話機、ＰＤＡ、ＩＣカード、二次元バーコードなどが撮像対象となっている状況を判別できる。
これら撮像対象の種別は、予め各種別の形状の特徴を設定しておき、撮像画像内に、形状が該当する被写体が含まれているか否かにより判別可能である。
According to the
First, a person, animal, natural object, building, device, or the like included in the captured image can be identified as the type of the imaging target. For example, as an animal, it is possible to determine a situation where a bird is imaged as a subject, a situation where a cat is imaged, and the like. As natural objects, the sea, mountains, trees, rivers, lakes, sky, sun, moon, etc. can be distinguished. As buildings, houses, buildings, and stadiums can be identified. As a device, it is possible to determine a situation in which a personal computer, an AV (Audio-Visual) device, a mobile phone, a PDA, an IC card, a two-dimensional barcode, or the like is an imaging target.
These types of imaging targets can be determined by setting characteristics of various shapes in advance and determining whether or not a subject corresponding to the shape is included in the captured image.
また画像解析部１７による画像解析によれば、画像の前後フレームの差分検出などの手法で、被写体の動きの検出、例えば素早い動きが画像内も可能である。例えばスポーツ観戦で選手を撮像している際や、走行している自動車等を撮像している場合などに、動きの素早い被写体を撮像しているという状況を検知することができる。
また画像解析部１７による画像解析によれば、周囲の状況を判定することも可能である。例えば昼夜や天候による明るさの状況を判定できるし、雨の強さなども認識可能である。
Further, according to the image analysis by the
Further, according to the image analysis by the
また、画像解析部１７による画像解析によれば、例えば書籍や新聞などを撮像している状況であることを判別できる。例えば画像内での文字認識を行うことや、書籍や新聞などの形状の認識を行えばよい。
なお画像解析部１７で文字認識を行った場合、システムコントローラ１０は、その認識した文字をテキストデータとして音声合成部２７に供給することができる。
Moreover, according to the image analysis by the
When character recognition is performed by the
また、画像解析部１７による画像解析によれば、人物が被写体となっている場合に、その人物の顔から人物個人を特定する判別も可能である。既に知られているように、人物の顔は、顔の構成要素の相対位置情報として個人特徴データ化することができる。例えば目の中心と鼻との距離ＥＮと目の間隔の距離Ｅｄの比（Ｅｄ／ＥＮ）や、目の中心と口との距離ＥＭと目の間隔の距離Ｅｄの比（Ｅｄ／ＥＭ）は、個人毎に特有となるとともに、髪型や眼鏡等の装着物などによる、外観上の変化の影響を受けない情報である。さらに加齢によっても変化しないことが知られている。
従って、画像解析部１７は、撮像画像内に或る人物の顔が含まれているときに、その画像を解析すれば上記のような個人特徴データを検出することができる。
撮像画像から個人特徴データを検出した場合、例えばシステムコントローラ１０が参照できる記録媒体として、例えばＨＤＤ（Hard Disk Drive）やフラッシュメモリなどを搭載し、これらの記録媒体に人物データベースを記憶させておけば、被写体となっている個人の情報を取得できる。或いは、撮像表示装置１に人物データベースを内蔵していなくても、通信部２６を介して例えばネットワークサーバや人物データベース内蔵機器にアクセスし、個人特徴データを送信して情報を要求し、特定の人物の情報を受信するようにしてもよい。
例えばユーザ自身が、過去に出会った人物の氏名や所属などの人物情報を個人特徴データとともに人物データベースに登録しておけば、或る人物に出会ったとき（撮像されたとき）に、システムコントローラ１０は、その人物の情報を検索できる。
また、有名人の情報を個人特徴データとともに登録した人物データベースが用意されていれば、ユーザが有名人に出会ったときに、その人物の情報を検索できる。
Further, according to the image analysis performed by the
Therefore, the
When personal feature data is detected from a captured image, for example, an HDD (Hard Disk Drive), a flash memory, or the like is installed as a recording medium that can be referred to by the
For example, if the user himself / herself registers personal information such as the name and affiliation of a person who has met in the past in the person database together with the personal characteristic data, the
Further, if a person database in which celebrity information is registered together with personal characteristic data is prepared, information on the person can be retrieved when the user meets the celebrity.
通信部２６によれば、外界情報として、多様な情報を取得できる。
例えば上述したように撮像表示装置１から送信した緯度・経度、或いは個人特徴データなどに応じて外部機器で検索された情報を取得できる。
また外部機器から天候情報、気温情報、湿度情報など気象に関する情報を取得することができる。
また外部機器から施設の利用情報、施設内での撮像禁止／許可情報、案内情報などを取得することができる。
また外部機器自体の識別情報を取得することができる。例えば所定の通信プロトコルにおいてネットワークデバイスとして識別される機器の種別や機器ＩＤ等である。
また外部機器に格納されている画像データ、外部機器で再生或いは表示している画像データ、外部機器で受信している画像データなどを取得することができる。
According to the
For example, as described above, information retrieved by an external device can be acquired according to latitude / longitude transmitted from the
In addition, weather information such as weather information, temperature information, and humidity information can be acquired from an external device.
In addition, facility usage information, in-facility imaging prohibition / permission information, guidance information, and the like can be acquired from an external device.
Further, identification information of the external device itself can be acquired. For example, the device type or device ID identified as a network device in a predetermined communication protocol.
Further, image data stored in the external device, image data reproduced or displayed on the external device, image data received on the external device, and the like can be acquired.
以上、周囲環境センサ１９、撮像対象センサ２０、ＧＰＳ受信部２１、日時計数部２２、画像解析部１７、通信部２６のそれぞれで取得できる情報の例を挙げたが、これらのうちの複数の系統で或る外界情報について検知判別してもよい。
例えば周囲環境センサ１９で得られた湿度等の情報と、通信部２６で受信された天候情報を組み合わせ、より正確に現在の天候を判別することもできる。
またＧＰＳ受信部２１と通信部２６の動作により取得した現在場所に関する情報と、画像解析部１７で得られる情報により、現在位置や撮像対象の状況をより正確に判別することもできる。
In the above, examples of information that can be acquired by the
For example, information such as humidity obtained by the
Further, the current position and the state of the imaging target can be more accurately determined based on the information on the current location acquired by the operations of the
［５．各種動作例］
本実施の形態の撮像表示装置１は、以上のように周囲環境センサ１９、撮像対象センサ２０、ＧＰＳ受信部２１、日時計数部２２、画像解析部１７、通信部２６で取得される外界情報により、システムコントローラ１０が周囲の状況や撮像対象の状況などを判別し、それに応じて撮像動作や表示動作を制御することで、ユーザの視覚の補助や拡張を実現するものである。
このためのシステムコントローラ１０の制御に基づく各種動作例を説明していく。
[5. Examples of various operations]
As described above, the
Various operation examples based on the control of the
図１２は、システムコントローラ１０の動作制御機能１０ｂとしての制御処理を示している。
ステップＦ１０１は、システムコントローラ１０が表示制御部１４に対して表示部２をスルー状態とする制御処理を示している。例えば撮像表示装置１が電源オンとされた初期段階では、システムコントローラ１０はステップＦ１０１で表示部２をスルー状態に制御する。
表示部２をスルー状態にしている期間は、システムコントローラ１０はステップＦ１０２でモニタ表示状態の開始のトリガが発生したか否かを確認している。図２では示していないが、例えばユーザが操作できる操作子を設け、ユーザが所定の操作子の操作を行うことでモニタ表示状態を開始させるトリガの発生と判断すればよい。但し、後に例を述べるが、外界情報に応じてモニタ表示状態を開始させるトリガの発生と判断することもできる。
FIG. 12 shows a control process as the
Step F101 indicates a control process in which the
During the period in which the
モニタ表示開始のトリガがあったと判別した場合は、システムコントローラ１０は処理をステップＦ１０３に進め、モニタ表示の開始制御を行う。即ち撮像制御部１１に撮像開始を指示して撮像部３及び撮像信号処理部１５の通常撮像動作を実行させ、また表示制御部１４に指示して、表示画像処理部１２及び表示駆動部１３に、撮像信号を通常撮像画像の態様で表示部２に表示させる動作を実行させる。
この処理により、例えば図３（ａ）のスルー状態から例えば図３（ｂ）の通常撮像画像のモニタ表示状態となる。
If it is determined that a monitor display start trigger has occurred, the
By this processing, for example, the through state of FIG. 3A changes to the monitor display state of the normal captured image of FIG. 3B, for example.
通常撮像画像、つまりスルー状態で見える光景と同様の撮像画像を表示部２に表示させている期間は、システムコントローラ１０は、ステップＦ１０４で画像制御のトリガが発生したか否かを監視し、またステップＦ１０５でモニタ表示の終了のトリガが発生したか否かを監視する。
ステップＦ１０４での画像制御のトリガの発生とは、外界状況判定機能１０ａによって判定された外界状況（周囲や被写体の状況、現在日時、現在位置の状況等）により、モニタ表示の表示画像態様の変更を行うとシステムコントローラ１０自身が判断することを意味している。
またステップＦ１０５でのモニタ表示の終了のトリガの発生とは、例えばユーザが所定の操作子によりモニタ表示状態を終了させる操作を行った場合とすればよいが、ステップＦ１０２のモニタ表示開始のトリガと同様、このモニタ表示の終了のトリガも、検知された外界情報に応じてトリガ発生と判断する場合もある。
During a period in which a normal captured image, that is, a captured image similar to a sight seen in the through state is displayed on the
The generation of the image control trigger in step F104 is a change in the display image mode of the monitor display according to the external environment conditions (the surroundings, the subject conditions, the current date and time, the current position conditions, etc.) determined by the external
The generation of the monitor display end trigger in step F105 may be, for example, a case where the user performs an operation of ending the monitor display state with a predetermined operation element. Similarly, the trigger for the end of the monitor display may be determined to be a trigger according to the detected outside world information.
画像制御のトリガ発生と判断した場合は、システムコントローラ１０は処理をステップＦ１０４からＦ１０６に進め、撮像画像の表示動作に関しての制御を行う。つまり撮像制御部１１、表示制御部１４に指示し、その時点の外界状況に応じた態様の表示を表示部２において実行させる。
ステップＦ１０６で表示態様に関しての制御を行った後も、ステップＦ１０４，Ｆ１０５のトリガ発生の監視を行う。
If it is determined that an image control trigger has occurred, the
Even after the display mode is controlled in step F106, the generation of triggers in steps F104 and F105 is monitored.
モニタ終了のトリガ発生と判断した場合は、システムコントローラ１０は処理をステップＦ１０５からＦ１０１に戻し、撮像制御部１１に対して撮像動作の終了を指示し、また表示制御部１４に対して表示部２をスルーとする指示を行う。
If it is determined that a monitor end trigger has occurred, the
ユーザが撮像表示装置１を装着して電源オンとしている期間は、システムコントローラ１０の動作制御機能１０ｂは、例えばこの図１２のような制御処理を行うことになる。
そしてこの処理においては、ステップＦ１０４での画像制御トリガの判断による表示態様制御を行うが、このトリガ発生判断と制御内容の具体例について、図１３以降で説明していく。
During a period when the user wears the
In this process, display mode control is performed by determining the image control trigger in step F104. Specific examples of the trigger generation determination and control contents will be described with reference to FIG.
図１３から図２０は、システムコントローラ１０の外界状況判定機能１０ａとしての処理例を示しており、これらは動作制御機能１０ｂによる上記図１２の処理と並列的に実行されているとする。なお並列的な処理とは、例えばシステムコントローラ１０が図１２の処理を実行している期間中に、図１３〜図２０のような検知処理が定期的に割込処理としてに行われればよいものである。これら図１３〜図２０のような処理のプログラムは、図１２の処理を実行するプログラムに組み込まれていても良いし、定期的に呼び出される別のプログラムとされても良い。つまりプログラムの形態が限定されるものではない。
FIG. 13 to FIG. 20 show processing examples as the external
図１３〜図２０は、図１２のステップＦ１０４としての画像制御のトリガ発生の判断に関する処理例であるが、まず図１３では、周囲環境センサ１９もしくは画像解析部１７からの情報に基づいて画像制御トリガ発生と判断する例を示す。
図１３のステップＦ２０１は、システムコントローラ１０が周囲環境センサ１９と画像解析部１７の一方又は両方の情報を監視する処理を示している。ここでは周囲環境センサ１９が照度センサであり、また画像解析部１７は画像から周囲の明るさを解析する処理を行っているものとする。
システムコントローラ１０は周囲環境センサ１９と画像解析部１７の一方又は両方からの情報に基づいて、現在、周囲が暗い状況であるか否か、或いは明るすぎる状況であるか否か判別する。例えば検出照度を数値化し、検出照度がｘルクス以下であれば暗い状況、検出照度がｙルクス以上であれば明るすぎる状況と判断する。
13 to 20 are processing examples relating to the determination of the occurrence of the image control trigger as step F104 in FIG. 12. First, in FIG. 13, based on the information from the
Step F201 in FIG. 13 shows processing in which the
Based on information from one or both of the
周囲が暗い状況であると判断した場合、システムコントローラ１０は処理をステップＦ２０２からＦ２０４に進め、画像制御トリガ発生と判別する。
そしてステップＦ２０５で、現在の周囲の照度（暗さ）に応じた調整値を算出する。例えば表示輝度、コントラスト、シャープネス、撮像感度等の調整値として、ユーザが撮像画像により快適に周囲を視認できる調整値を求める。
このステップＦ２０４，Ｆ２０５の処理により、システムコントローラ１０の図１２の処理はステップＦ１０４からＦ１０６に進むことになり、この場合は撮像部１３の撮像感度の調整、撮像信号処理部１５もしくは表示画像処理部１２に対して輝度調整、コントラスト調整、シャープネス調整などの処理を指示する。この処理により、表示部２での表示画像の画質が調整され、周囲が暗くとも、ユーザは表示部２での表示画像により周囲を視認しやすい状態となる。例えば周囲が暗くて表示部２の表示画像が図６（ａ）のようになっている状況から、図６（ｂ）のような見やすい状態に切り換えられる。
なお、このように周囲が暗い状況と判断した場合は、システムコントローラ１０は照明部４に照明を実行させる制御を行っても良い。
If it is determined that the environment is dark, the
In step F205, an adjustment value corresponding to the current ambient illuminance (darkness) is calculated. For example, as adjustment values for display brightness, contrast, sharpness, imaging sensitivity, and the like, an adjustment value that allows the user to visually recognize the surroundings comfortably from the captured image is obtained.
Due to the processing of steps F204 and F205, the processing of FIG. 12 of the
When it is determined that the surroundings are dark as described above, the
またシステムコントローラ１０は、周囲が明るすぎる状況であると判断した場合も、処理をステップＦ２０３からＦ２０６に進め、画像制御トリガ発生と判別する。
そしてステップＦ２０７で、現在の周囲の照度に応じた調整値を算出する。例えば表示輝度、コントラスト、シャープネス、撮像感度等の調整値として、ユーザが撮像画像により快適に周囲を視認できる調整値を求める。この場合、明るすぎる状況で、ユーザがまぶしい感じを受けている場合であるため、撮像感度を低下させたり、表示輝度を低下させる調整値を求めることになる。
このステップＦ２０６，Ｆ２０７の処理により、システムコントローラ１０の図１２の処理はステップＦ１０４からＦ１０６に進むことになり、この場合も撮像部１３の撮像感度の調整、撮像信号処理部１５もしくは表示画像処理部１２に対して輝度調整、コントラスト調整、シャープネス調整などの処理を指示する。この処理により、表示部２での表示画像の画質が調整され、周囲が明るすぎても、ユーザは表示部２での表示画像により周囲をまぶしさを感じずに視認できる状態となる。
Also, when the
In step F207, an adjustment value corresponding to the current ambient illuminance is calculated. For example, as adjustment values for display brightness, contrast, sharpness, imaging sensitivity, and the like, an adjustment value that allows the user to visually recognize the surroundings comfortably from the captured image is obtained. In this case, since the user feels dazzling in an excessively bright situation, an adjustment value that decreases the imaging sensitivity or decreases the display luminance is obtained.
Due to the processing in steps F206 and F207, the processing in FIG. 12 of the
図１４（ａ）は、周囲環境センサ１９もしくは通信部２６からの情報に基づいて画像制御トリガ発生と判断する例である。
図１４（ａ）のステップＦ３０１は、システムコントローラ１０が周囲環境センサ１９からの検出情報と通信部２６による受信情報の一方又は両方の情報を監視する処理を示している。周囲環境センサ１９としては温度センサ、湿度センサ、気圧センサ等が想定される。また通信部２６では、例えばネットワークサーバ等から逐次気象情報が受信されるものとする。
システムコントローラ１０は、例えば周囲環境センサ１９で得られる気圧、湿度、気温から周囲の天候状況を判別できる。また通信部２６で受信される気象情報でも天候状況を判別できる。なお、ネットワークサーバから天候状況を受信するためには、システムコントローラ１０は逐次ＧＰＳ受信部２１で得られる現在位置情報をネットワークサーバに対して送信するようにし、その現在位置に該当する地域の気象情報をネットワークサーバから受信するようにするとよい。
周囲環境センサ１９の検出情報、又は通信部２６の受信情報により、システムコントローラ１０は周囲の天候状況を判断できるが、この両方の情報を用いれば、より正確に天候状況を判断できることにもなる。
FIG. 14A shows an example of determining that an image control trigger has occurred based on information from the
Step F301 in FIG. 14A shows processing in which the
For example, the
The
システムコントローラ１０は例えば晴天、曇天、雨天、雷雨、台風、降雪などの状況や、雨が降り出す、雨が止む、曇天となるなど天候状況の変化に応じて、画像調整が必要か否かを判断する。そして調整が必要な状況と判断したら、システムコントローラ１０は処理をステップＦ３０２からＦ３０３に進め、画像制御トリガ発生と判別し、ステップＦ３０４で、現在の天候に応じた調整値を算出する。例えば表示輝度、コントラスト、シャープネス、撮像感度等の調整値として、ユーザが撮像画像により周囲を視認しやすくなる調整値を求める。
このステップＦ３０３，Ｆ３０４の処理により、システムコントローラ１０の図１２の処理はステップＦ１０４からＦ１０６に進むことになり、この場合は撮像部１３の撮像感度の調整、撮像信号処理部１５もしくは表示画像処理部１２に対して輝度調整、コントラスト調整、シャープネス調整などの処理を指示する。この処理により、表示部２での表示画像の画質が天候状況に応じた画質に調整され、ユーザは表示部２での表示画像により周囲を視認しやすい状態となる。
なお、天候によってはシステムコントローラ１０は照明部４に照明を実行させる制御を行っても良い。
また、ここでは周囲環境センサ１９又は通信部２６の受信情報により天候判断を行うとしたが、画像解析部１７で雨の画像を認識することで、雨が降り出したことや雨が止んだこと、雷が発生したことなども正確に検知できるようになる。
For example, the
Due to the processing of steps F303 and F304, the processing of FIG. 12 of the
Depending on the weather, the
In addition, although the weather judgment is performed based on the reception information of the
次に図１４（ｂ）により、周囲環境センサ１９からの情報に基づいて暗視機能を発揮させるための画像制御トリガ発生と判断する例を示す。
図１４（ｂ）のステップＦ３１０は、システムコントローラ１０が周囲環境センサ１９の情報を監視する処理を示している。ここでは周囲環境センサ１９が照度センサであるとする。
システムコントローラ１０は周囲環境センサ１９の検出情報に基づいて、現在、周囲が暗い状況であるか否か判別する。例えば検出照度を数値化し、検出照度がｘルクス以下であれば暗い状況と判断する。
Next, FIG. 14B shows an example in which it is determined that an image control trigger for causing the night vision function is generated based on information from the
Step F310 in FIG. 14B shows a process in which the
Based on the detection information of the
周囲が暗い状況であると判断した場合、システムコントローラ１０は処理をステップＦ３１１からＦ３１３に進め、暗視機能をオンとする画像制御トリガ発生と判別する。
このステップＦ３１３の処理により、システムコントローラ１０の図１２の処理はステップＦ１０４からＦ１０６に進むことになり、この場合は暗視機能をオンとする制御を行うことになる。即ちシステムコントローラ１０は撮像制御部１１に、撮像部１３の赤外線撮像感度を上昇させる指示を行う。
この処理により、暗視機能が発揮され、例えば図７（ａ）のように暗くて見えない状況において、図７（ｂ）のような赤外線感度上昇撮像の画像が表示部２に表示されることになり、ユーザは暗い場所で周囲を視認できる。
If it is determined that the environment is dark, the
With the processing in step F313, the processing in FIG. 12 of the
By this processing, the night vision function is exhibited. For example, in a situation where the image is dark and cannot be seen as shown in FIG. 7A, an image of infrared sensitivity increased imaging as shown in FIG. The user can visually recognize the surroundings in a dark place.
また、システムコントローラ１０は周囲が暗い状態でないと判断した場合は、ステップＦ３１１からＦ３１２に進む。この場合、その時点で暗視機能（赤外線感度上昇撮像）をオンとしていれば、ステップＦ３１４に進むことになり、このときは暗視機能をオフとする画像制御トリガ発生と判別する。このステップＦ３１４の処理により、システムコントローラ１０の図１２の処理はステップＦ１０４からＦ１０６に進むことになり、この場合は暗視機能をオフとする制御を行うことになる。即ちシステムコントローラ１０は撮像制御部１１に、撮像部１３の赤外線撮像感度を通常に戻し、通常の撮像を実行させる指示を行う。
If the
この図１４（ｂ）の処理により、ユーザにとっては暗い部屋などに入った場合に自動的に暗視機能がオンとされ、暗いままで周囲を見やすい状況となる。また例えば暗い部屋から出たら、自動的に暗視機能がオフとなる。つまり周囲状況に応じてユーザの視覚能力を拡大できるような処理が実現される。
なお、周囲が暗い状況であるか否かの検知は、また画像解析部１７での画像解析でも可能である。例えば撮像画像全体の輝度が非常に低くなったときに、周囲が暗状態になったとして暗視機能オンの画像制御トリガの発生と判断しても良い。
14B, the night vision function is automatically turned on when the user enters a dark room or the like, so that the user can easily see the surroundings in the dark. Further, for example, when the user leaves the dark room, the night vision function is automatically turned off. That is, processing that can expand the user's visual ability according to the surrounding situation is realized.
Note that whether or not the surroundings are dark can be detected by image analysis in the
図１５は、撮像対象センサ２０又は画像解析部１７からの情報に基づいて画像制御トリガ発生と判断する例である。
図１５のステップＦ４０１は、システムコントローラ１０が撮像対象センサ２０からの検出情報と画像解析部１７からの情報の一方又は両方を監視する処理を示している。撮像対象センサ２０としては例えば測距センサが想定される。また画像解析部１７は撮像画像の解析により、被写体までの距離を算出するものとする。
即ちシステムコントローラ１０は、これらの情報に基づいて、ユーザが見ている対象（撮像対象）が遠方であるか、手元などの近傍であるかを判別する。
FIG. 15 is an example in which it is determined that an image control trigger has occurred based on information from the
Step F401 in FIG. 15 illustrates processing in which the
That is, the
例えばユーザが遠くの風景を見ている場合や、スタジアムの遠い席で試合を観戦しているなどであって、撮像対象が遠方であると判断される場合は、システムコントローラ１０はステップＦ４０２からＦ４０４に進んで、望遠ズーム表示に切り換える画像制御トリガの発生と判別する。そしてステップＦ４０５で、その際の撮像対象までの距離に応じて適切なズーム倍率を算出する。
また例えばユーザが近くの風景を見ている場合や、手元の新聞等を見ている場合などであって、撮像対象が近傍であると判断される場合は、システムコントローラ１０はステップＦ４０３からＦ４０６に進んで、ズームアップ（広角ズーム）表示への切換の画像制御トリガの発生と判別する。そしてステップＦ４０７で撮像対象までの距離に応じて適切なズーム倍率を算出する。
For example, when the user is looking at a distant landscape or watching a game at a distant seat in the stadium, and when it is determined that the imaging target is far away, the
In addition, for example, when the user is looking at a nearby landscape or when looking at a newspaper at hand and the like, and when it is determined that the imaging target is near, the
このステップＦ４０４，Ｆ４０５の処理、又はステップＦ４０６，Ｆ４０７の処理が行われることで、システムコントローラ１０の図１２の処理はステップＦ１０４からＦ１０６に進むことになり、撮像制御部１１に計算した倍率でのズーム動作を指示する。
これにより表示部２では、ユーザが見ようとしている光景に応じて図３（ｃ）のような望遠画像や、図４（ｂ）のような広角ズーム画像が表示されることになる。
なお、ここでは望遠／広角のズーム動作制御を行う例としたが、撮像対象までの距離に応じて、焦点位置を変更させる制御を行ったり、画像の拡大／縮小動作を実行させるような制御動作も考えられる。
By performing the processing in steps F404 and F405 or the processing in steps F406 and F407, the processing in FIG. 12 of the
As a result, a telephoto image as shown in FIG. 3C or a wide-angle zoom image as shown in FIG. 4B is displayed on the
In this example, the telephoto / wide-angle zoom operation control is performed. However, the control operation is performed to change the focal position or execute the image enlargement / reduction operation according to the distance to the imaging target. Is also possible.
図１６は、撮像対象センサ２０と画像解析部１７からの情報に基づいて画像制御トリガ発生と判断する例であるが、これは特に撮像対象が新聞、書籍等の文字を含むものであるか否かを判別する例である。
図１６のステップＦ５０１は、システムコントローラ１０が撮像対象センサ２０からの検出情報と画像解析部１７からの情報を監視する処理を示している。撮像対象センサ２０は測距センサであるとする。また画像解析部１７は撮像画像の解析により、被写体に文字が含まれているか否かを検出するものとする。
システムコントローラ１０は、これらの情報に基づいて、ユーザが見ている対象（撮像対象）が近傍であって、それが新聞や書籍など文字を含むものであるか否かを判別する。つまり手元の新聞を読んでいるような状況であるか否かを判断する。
FIG. 16 is an example in which it is determined that an image control trigger is generated based on information from the
Step F501 in FIG. 16 shows processing in which the
Based on these pieces of information, the
撮像対象が近傍であって文字を含んでいると判断された場合、システムコントローラ１０は処理をステップＦ５０２からＦ５０３に進め、画像制御トリガ発生と判別する。
そしてステップＦ５０４で、現在の新聞、書籍を読む場合に適した調整値を算出する。例えば表示輝度、コントラスト、シャープネス、撮像感度等の調整値として、ユーザが新聞等を快適に読める調整値を求める。
このステップＦ５０３，Ｆ５０４の処理により、システムコントローラ１０の図１２の処理はステップＦ１０４からＦ１０６に進むことになり、この場合は撮像部１３の撮像感度の調整、撮像信号処理部１５もしくは表示画像処理部１２に対して輝度調整、コントラスト調整、シャープネス調整などの処理を指示する。この処理により、表示部２での表示画像の画質が調整され、例えば図６（ｂ）のような文字を読みやすい表示が実行される。
If it is determined that the imaging target is near and includes characters, the
In step F504, an adjustment value suitable for reading the current newspaper or book is calculated. For example, as adjustment values for display brightness, contrast, sharpness, imaging sensitivity, and the like, adjustment values that allow the user to read newspapers and the like comfortably are obtained.
Due to the processing in steps F503 and F504, the processing in FIG. 12 of the
なお、文字を含むことの検出に加え、周囲の明るさも検出し、周囲の明るさを上記調整値の算出に反映させてもよい。
また、画像解析の際に書籍や新聞の形状を認識することを、ステップＦ５０３に進む条件に加えても良い。
また、撮像対象が新聞等であると判断した場合は、システムコントローラ１０は照明部４に照明を実行させる制御を行っても良い。
また、画質調整ではなく、例えば表示画像処理部１２に拡大処理を実行させて、図４（ｂ）のような拡大画像を表示させ、ユーザに文字を読みやすい画像を提供することも考えられる。
In addition to detection of including characters, ambient brightness may also be detected, and ambient brightness may be reflected in the calculation of the adjustment value.
In addition, the recognition of the shape of a book or newspaper during image analysis may be added to the condition for proceeding to step F503.
Further, when it is determined that the imaging target is a newspaper or the like, the
In addition, instead of adjusting the image quality, for example, the display
また、文字を含む画像の場合に、画像解析部１７は文字を判別し、文字をテキストデータとしてシステムコントローラ１０に供給してもよい。この場合、システムコントローラ１０は画像から検出されたテキストデータに基づいて音声合成部２７に音声合成処理を実行させる。
すると音声合成部２７では、撮像画像に含まれる文字の読み上げ音声としての音声信号が生成される。システムコントローラ１０は、この読み上げ音声を音声出力部５から出力させる。
このようにすると、ユーザは新聞等を見るだけで、その読み上げ音声を聞くことができるようになる。
In the case of an image including a character, the
Then, the
If it does in this way, a user will be able to hear the reading sound only by looking at a newspaper etc. now.
図１７は、日時計数部２２による現在時刻の情報に基づいて画像制御トリガ発生と判断する例である。
図１７のステップＦ６０１は、システムコントローラ１０が日時計数部２２で計数されている現在日時時刻をチェックする処理を示している。システムコントローラ１０は、現在時刻に基づいて、時間帯を判断する。例えば早朝、朝方、日中、夕方、夜間という時間帯を判別する。例えば４時〜７時を早朝、７時〜９時を朝方、９時〜１７時を日中、１７時〜１９時を夕方、１９時〜４時を夜間などとする。
また、この時間帯毎の時刻の区切りの基準は、月日の判断により変更するとよい。例えば月日によって日の出時間、日没時間の違いを考慮して、上記各時間帯としての判断時刻を変化させる。例えば早朝とする時間帯を夏期は４時〜７時、冬期を６時〜８時とするなどである。
FIG. 17 is an example in which it is determined that the image control trigger is generated based on the current time information by the date /
Step F601 in FIG. 17 shows a process in which the
Moreover, it is preferable to change the reference for dividing the time for each time zone by judging the date. For example, considering the difference in sunrise time and sunset time depending on the month and day, the determination time as each time zone is changed. For example, the time zone for early morning is 4 to 7 in the summer, and 6 to 8 in the winter.
ステップＦ６０１での日時チェックにより判別される時間帯として、時間帯の変化があったと判断した場合は、システムコントローラ１０は処理をステップＦ６０２からＦ６０３以降に進む。
例えば早朝とされる時刻になった時点では、ステップＦ６０３からＦ６０７に進み、早朝用の撮像動作／表示動作の画像制御トリガの発生と判別する。
また朝方とされる時刻になったときは、ステップＦ６０４からＦ６０８に進み、朝方用の撮像動作／表示動作の画像制御トリガの発生と判別する。
また日中とされる時刻になったときは、ステップＦ６０５からＦ６０９に進み、日中用の撮像動作／表示動作の画像制御トリガの発生と判別する。
また夕方とされる時刻になったときは、ステップＦ６０６からＦ６１０に進み、夕方用の撮像動作／表示動作の画像制御トリガの発生と判別する。
また夜間とされる時刻になったときは、ステップＦ６１１に進み、夜間用の撮像動作／表示動作の画像制御トリガの発生と判別する。
If it is determined that the time zone has changed as the time zone determined by the date and time check in step F601, the
For example, when it is time for early morning, the process proceeds from step F603 to F607, where it is determined that an image control trigger for the imaging operation / display operation for early morning has occurred.
When it is time to be in the morning, the process proceeds from step F604 to F608, where it is determined that an image control trigger for the morning imaging / display operation has occurred.
When the daytime is reached, the process advances from step F605 to F609, where it is determined that the daytime image control trigger for the imaging / display operation is generated.
When it is the time for evening, the process proceeds from step F606 to F610, where it is determined that an image control trigger for the evening imaging / display operation has occurred.
When it is time to be nighttime, the process proceeds to step F611, where it is determined that an image control trigger for nighttime imaging operation / display operation has occurred.
ステップＦ６０７、Ｆ６０８，Ｆ６０９，Ｆ６１０，Ｆ６１１のいずれかで画像制御トリガの発生と判断された場合は、システムコントローラ１０の図１２の処理はステップＦ１０４からＦ１０６に進むことになり、撮像制御部１１や表示制御部１４に、時間帯に応じた撮像動作、表示動作の指示を行う。例えば撮像感度の調整、輝度調整、コントラスト調整、シャープネス調整などの処理を指示する。或いはソフトフォーカス表示などの画像エフェクトを指示しても良い。、
この処理により、時間帯に応じたイメージの画像がユーザに提供される。例えば早朝では柔らかい画質の画像、日中はコントラストの強いはっきりした画像、夕方はセピア色のような画質の画像、夜間はくすんだ画質の画像などである。このように時間帯毎のユーザの気分に合わせたようなおもしろみのある画像提供を実現できる。
もちろん、時間帯毎の明るさに応じて画質を調整し、視認性を向上させるという画質調整も考えられる。
なお、時間帯とともに、天候状況、屋内／屋外の別を判断して、状況に好適な画質調整を行うことも考えられる。
また、時間帯ではなく日時情報から季節を判断して、季節に応じた画質調整を行うことも考えられる。例えば表示画像において、夏は青色成分を強調させ、秋は赤色成分を強調させ、冬は白色成分を強調させ、春は緑／ピンク系統を強調させるなどとして、季節感のある画像提供を行うことなどである。
If it is determined in any of steps F607, F608, F609, F610, and F611 that an image control trigger has occurred, the processing in FIG. 12 of the
With this process, an image corresponding to the time zone is provided to the user. For example, an image with a soft image quality in the early morning, a clear image with a strong contrast during the day, an image with a sepia color in the evening, and a dull image at night. In this way, it is possible to provide an interesting image that matches the mood of the user for each time period.
Of course, image quality adjustment is also conceivable in which the image quality is adjusted according to the brightness of each time zone to improve the visibility.
Note that it is also conceivable that the image quality adjustment suitable for the situation is performed by judging whether the weather situation and indoor / outdoor as well as the time zone.
It is also conceivable to determine the season from the date and time information instead of the time zone and adjust the image quality according to the season. For example, in the displayed image, provide a seasonal image by emphasizing the blue component in summer, the red component in autumn, the white component in winter, and the green / pink system in spring. Etc.
図１８（ａ）はＧＰＳ受信部２１及び通信部２６の受信情報に基づいて画像制御トリガ発生と判断する例である。
図１８（ａ）のステップＦ７０１は、システムコントローラ１０がＧＰＳ受信部２１で得られる現在位置の緯度・経度の情報を通信部２６からネットワークサーバ或いは地図データベース搭載機器に送信し、送信先において現在地点の情報を検索してもらい、その現在地点の情報を受信する動作を示している。なお撮像表示装置１内に地図データベースが保持されていれば、システムコントローラ１０は、ＧＰＳ受信部２１からの緯度・経度に基づいて、地図データベースから現在地点の情報を検索することができる。
FIG. 18A is an example in which it is determined that an image control trigger has occurred based on the reception information of the
In step F701 of FIG. 18A, the
システムコントローラ１０は、取得した現在地点の情報に基づいて、現在、所定の画像制御を実行する場所にいるか否かを判別する。そして現在位置が所定の画像制御を実行する場所であると判断したら、ステップＦ７０２からＦ７０３に進み、当該所定の画像制御を実行すべき画像制御トリガ発生と判断する。
このステップＦ７０３で画像制御トリガの発生と判断されることで、システムコントローラ１０の図１２の処理はステップＦ１０４からＦ１０６に進むことになり、撮像制御部１１や表示制御部１４に対して所定の画像処理の指示を行う。
この場合の画像処理制御としては、次のような例が考えられる。
Based on the acquired information on the current location, the
When it is determined in step F703 that an image control trigger has occurred, the process of FIG. 12 of the
The following examples are conceivable as image processing control in this case.
例えば現在位置がスポーツ競技場、サーキットなどであると検出した場合は、ユーザが見る対象（撮像対象）は素早い動きの人物や車などであることから、システムコントローラ１０は撮像制御部１１に対して撮像フレームレートを高くして、速い動きを良好に表現できる表示を実行させる。
また現在位置がコンサート会場、寄席、演芸場、スポーツ競技場などであれば、撮像対象のステージまでの距離に応じて、システムコントローラ１０は撮像制御部１１に対して望遠撮像動作を指示することが考えられる。現在位置情報としてステージ等の撮像対象までの距離までもが判別できれば、それに応じて望遠倍率を設定すればよいし、撮像対象までの距離を撮像対象センサ２０（測距センサ）により検出して望遠倍率を設定すればよい。また、望遠動作ではなく、撮像信号処理部１５又は表示画像処理部１２に画像拡大処理を指示してもよい。
また現在位置が海岸、山などであれば、システムコントローラ１０は撮像制御部１１に対して紫外線感度向上撮像を指示し、例えば図８（ｂ）のような画像を表示させ、ユーザに紫外線の量を認識させるような表示を実行させることが考えられる。
また、取得された現在地点の情報に基づいて、地名、撮像している施設・店舗等の名称などをキャラクタ画像や文字で重畳表示させたり、宣伝情報、施設の案内情報、周辺の注意情報などを表示部２に表示させるように制御することも考えられる。
For example, when it is detected that the current position is a sports stadium, a circuit, or the like, the target (imaging target) that the user sees is a fast-moving person or car, so the
If the current position is a concert venue, a party, a theater, a sports stadium, etc., the
If the current position is a coast, a mountain or the like, the
In addition, based on the acquired information on the current location, the place name, the name of the facility / store being imaged, etc., can be superimposed with character images or characters, advertising information, facility guidance information, surrounding caution information, etc. It is also conceivable to perform control so that is displayed on the
図１８（ｂ）もＧＰＳ受信部２１及び通信部２６の受信情報に基づいて画像制御トリガ発生と判断する例であるが、特に赤外線感度向上撮像の実行中における処理例である。
図１８（ｂ）の処理は、現在、撮像部３において赤外線感度向上撮像を実行している場合にステップＦ７１０からＦ７１１に進む。
ステップＦ７１１では、システムコントローラ１０がＧＰＳ受信部２１で得られる現在位置の緯度・経度の情報を通信部２６からネットワークサーバ或いは地図データベース搭載機器に送信し、送信先において現在地点の情報を検索してもらい、その現在地点の情報を受信する。なお撮像表示装置１内に地図データベースが保持されていれば、システムコントローラ１０は、ＧＰＳ受信部２１からの緯度・経度に基づいて、地図データベースから現在地点の情報を検索する処理となる。
FIG. 18B is also an example in which it is determined that an image control trigger has occurred based on the reception information of the
The processing in FIG. 18B proceeds from step F710 to F711 when the
In step F711, the
システムコントローラ１０は、現在位置の情報を取得したら、現在位置が赤外線感度向上撮像を禁止すべき場所であるか否かを判断する。
そして禁止すべき場所であると判断したら、ステップＦ７１２からＦ７１３に進み、システムコントローラ１０は、赤外線感度向上撮像の終了の画像制御トリガの発生と判断する。
このステップＦ７１３で画像制御トリガの発生と判断されることで、システムコントローラ１０の図１２の処理はステップＦ１０４からＦ１０６に進むことになり、撮像制御部１１に対して赤外線感度向上撮像の終了の指示を行う。
このように、場所に応じて赤外線感度向上撮像が実行できなくすることで、赤外線感度上昇撮像などの特殊撮像機能の悪用防止に有効である。
After acquiring the current position information, the
If it is determined that the location is to be prohibited, the process proceeds from step F712 to F713, and the
When it is determined in step F713 that an image control trigger has occurred, the processing of FIG. 12 of the
In this way, by making it impossible to execute infrared sensitivity-enhanced imaging depending on the location, it is effective in preventing abuse of special imaging functions such as imaging with increased infrared sensitivity.
図１９（ａ）は、画像解析部１７からの情報に基づいて画像制御トリガ発生と判断する例である。
図１９（ａ）のステップＦ８０１は、システムコントローラ１０が画像解析部１７からの情報を監視する処理を示している。画像解析部１７は撮像画像の解析により、被写体に特定の対象が含まれているか否かを検出するものとする。
画像解析結果として、特定の対象が撮像されていると検出された場合は、システムコントローラ１０はステップＦ８０２からＦ８０３に進み画像制御トリガの発生と判断する。
このステップＦ８０３で画像制御トリガの発生と判断されることで、システムコントローラ１０の図１２の処理はステップＦ１０４からＦ１０６に進むことになり、撮像制御部１１や表示制御部１４に対して所定の画像処理の指示を行う。
この場合の画像処理制御としては、次のような例が考えられる。
FIG. 19A is an example in which it is determined that an image control trigger has occurred based on information from the
Step F801 in FIG. 19A shows processing in which the
If it is detected as a result of image analysis that a specific target is being imaged, the
When it is determined in step F803 that an image control trigger has occurred, the process of FIG. 12 of the
The following examples are conceivable as image processing control in this case.
例えば特定の対象を鳥とした場合、撮像画像内で鳥が検出されることで、図１１（ａ）（ｂ）のように画像内の鳥の部分のハイライト表示を実行させるように表示画像処理部１２の動作を指示することが考えられる。この場合、例えばバードウォッチングの際に、ユーザが鳥を見つけることや、鳥の動きを追うことが容易となる。
また猫を特定の対象とすれば、猫が好きなユーザが、通常に生活している中で、猫が視界に入ったときに、それが表示画像上で強調されることで、猫を認識し易くできる。
また特定の対象を人物した場合、撮像画像内で人物が検出されることで、画像内の人物の部分をハイライト表示等で強調させたり、拡大表示、ズーム表示等を実行させるように表示画像処理部１２や撮像信号処理部１５、或いは撮像部３の動作を指示することが考えられる。
また人物や動物、或いは建造物などの特定の対象において、その特定の対象のみが表示され、人物等の特定の対象の周囲の光景は全て塗りつぶされるような画像を表示させるようにしてもよい。
逆に、特定の対象として人物を検知したら、その人物のみが画像内で消されるような画像処理を実行させることも考えられる。例えば自然風景内で人物や車などの人工的なものを排除（マスキング）した画像を表示させるなどである。この場合、マスキングしようとする特定対象の周囲の画素からの補間処理で、特定対象の画素部分を埋めるような処理を行っても良い。
また人物等の特定対象についてはモザイク表示などの画像エフェクトを加えることも考えられる。
For example, when a specific target is a bird, a display image is displayed so that highlighting of a bird portion in the image is executed as shown in FIGS. 11A and 11B by detecting the bird in the captured image. It is conceivable to instruct the operation of the
In addition, if a cat is a specific target, a user who likes a cat can recognize the cat by highlighting it on the display image when the cat enters the field of view during normal life. Easy to do.
In addition, when a specific target is a person, a person is detected in the captured image, so that the person's portion in the image is highlighted by highlighting or the like, or a display image is displayed so that enlarged display, zoom display, or the like is executed. It is conceivable to instruct the operation of the
In addition, in a specific target such as a person, an animal, or a building, only the specific target may be displayed, and an image may be displayed so that the scene around the specific target such as a person is completely filled.
On the contrary, if a person is detected as a specific target, it may be possible to execute image processing in which only that person is erased in the image. For example, an image obtained by removing (masking) an artificial thing such as a person or a car in a natural scene is displayed. In this case, processing for filling the pixel portion of the specific target may be performed by interpolation processing from pixels around the specific target to be masked.
It is also conceivable to add an image effect such as mosaic display to a specific target such as a person.
なお、この図１９（ａ）では画像解析部１７からの情報に基づく例としたが、例えば特定の対象を人物や動物という生体とした場合、撮像対象センサ２０としての焦電センサにより、特定の対象を検知したときに画像制御トリガの発生と判断するようにしてもよい。
In FIG. 19A, the example is based on information from the
図１９（ｂ）も画像解析部１７からの情報に基づいて画像制御トリガ発生と判断する例である。
図１９（ｂ）のステップＦ８１０は、システムコントローラ１０が画像解析部１７からの情報を監視する処理を示している。画像解析部１７は撮像画像の解析により、被写体において素早い動きが発生しているか否かを検出する。例えば各撮像フレームでの差分から動きの素早さを判定する。
画像解析結果として、被写体の素早い動きが検出された場合は、システムコントローラ１０はステップＦ８１１からＦ８１２に進み、ストロボ表示の画像制御トリガの発生と判断する。
このステップＦ８１２で画像制御トリガの発生と判断されることで、システムコントローラ１０の図１２の処理はステップＦ１０４からＦ１０６に進むことになり、表示制御部１４に対して図９（ｃ）のような表示を実行させるように画像処理の指示を行う。
この処理によれば、例えばスポーツ観戦中に、選手の素早い動きがあったときに、ユーザはその動きをストロボ表示で確認できることになる。
FIG. 19B is also an example in which it is determined that an image control trigger has occurred based on information from the
Step F810 in FIG. 19B shows processing in which the
If a quick movement of the subject is detected as an image analysis result, the
When it is determined in step F812 that an image control trigger has occurred, the process of FIG. 12 of the
According to this processing, for example, when there is a quick movement of a player during sports watching, the user can check the movement with a strobe display.
なお、ここでは撮像対象の素早い動きの検出をストロボ表示のトリガとしたが、高フレームレートへの切換のトリガとしてもよいし、或いは素早い動きがあった撮像対象についてのズーム表示やハイライト表示へのトリガとしてもよい。 Here, the detection of the quick movement of the imaging target is used as a trigger for strobe display, but the trigger for switching to a high frame rate may be used, or the zoom display or highlight display for an imaging target that has performed a quick movement may be used. It is good also as a trigger of.
図２０（ａ）も画像解析部１７からの情報に基づいて画像制御トリガ発生と判断する例である。これは特に、人物が撮像された際に、その人物の個人判別を行う例である。
図２０（ａ）のステップＦ９０１は、システムコントローラ１０が画像解析部１７からの情報を監視する処理を示している。画像解析部１７は撮像画像の解析により、被写体において人物の顔が含まれているかを判別し、また人物が顔が含まれていた場合、その顔の画像から個人特徴データを生成する。個人特徴データとは、例えば上述したように目の中心と鼻との距離ＥＮと目の間隔の距離Ｅｄの比（Ｅｄ／ＥＮ）や、目の中心と口との距離ＥＭと目の間隔の距離Ｅｄの比（Ｅｄ／ＥＭ）である。
FIG. 20A is also an example in which it is determined that an image control trigger has occurred based on information from the
Step F901 in FIG. 20A shows processing in which the
個人特徴データが抽出された場合、システムコントローラ１０はステップＦ９０２からＦ９０３に進み、個人特徴データに基づいて人物情報を検索する。
例えばシスムコントローラ１０は個人特徴データを通信部２６からネットワークサーバ或いは人物データベース搭載機器に送信し、送信先において人物情報を検索してもらい、その検索結果を受信する。或いは撮像表示装置１内に人物データベースが保持されていれば、システムコントローラ１０は、個人特徴データに基づいて人物データベースを検索することができる。
外部装置もしくはシステムコントローラ１０自身による検索結果として、特定の人物の人物情報が検索できたら、処理をステップＦ９０４からＦ９０５に進め、人物情報表示の画像制御トリガの発生と判断する。
このステップＦ９０５で画像制御トリガの発生と判断されることで、システムコントローラ１０の図１２の処理はステップＦ１０４からＦ１０６に進むことになり、表示制御部１４に対して、例えば検索された人物情報を重畳表示させるように指示する。
この処理によれば、例えば道行く人の中で、ユーザが過去に会った人、或いは有名人などで、人物データベースに登録されている人がいた場合に、表示部２にはその人物の画像とともに情報（氏名や所属、過去に出会った場所など、人物データベースに登録されていた情報）が表示されることになり、ユーザは人物を正確に認識できる。
When the personal feature data is extracted, the
For example, the
If personal information of a specific person can be searched as a search result by the external device or the
When it is determined in step F905 that an image control trigger has occurred, the processing of FIG. 12 of the
According to this process, for example, when there is a person who has been registered in the person database, such as a person who has met in the past or a celebrity, among the people who go on the road, the
図２０（ｂ）も画像解析部１７からの情報に基づいて画像制御トリガ発生と判断する例である。これは図１０（ａ）のように日なた、日陰の影響で画像が見づらくなっている場合に対応する処理例である。
図２０（ｂ）のステップＦ９１０は、システムコントローラ１０が画像解析部１７からの情報を監視する処理を示している。画像解析部１７は撮像画像の解析により、撮像画像内で、日照状況によって明るい領域、暗い領域が発生しているか否かを検出する。
画像解析結果として、画像上に日なた／日陰による差が生じていると判別された場合は、システムコントローラ１０はステップＦ９１１からＦ９１２に進み、画像制御トリガの発生と判断する。
FIG. 20B is also an example in which it is determined that an image control trigger has occurred based on information from the
Step F910 in FIG. 20B shows processing in which the
If it is determined as a result of image analysis that a difference due to the sun / shade has occurred on the image, the
このステップＦ９１２で画像制御トリガの発生と判断されることで、システムコントローラ１０の図１２の処理はステップＦ１０４からＦ１０６に進むことになり、撮像制御部１１や表示制御部１４に対して日なた／日陰の差を解消するような画像処理或いは撮像感度の部分的な変更を指示する。これにより、例えば図１０（ｂ）のように日なた／日陰の影響の少ない、見やすい画像をユーザに提供できる。
なお、日照による影響ではなく、家屋や施設内での照明等の影響で部分的な明暗の差が大きく生じているような場合や、画像が部分的に不鮮明となるような場合に、画面内の部分的な輝度調整、撮像感度調整、コントラスト調整などを実行させることも想定される。
When it is determined in step F912 that an image control trigger has occurred, the process of FIG. 12 of the
In addition, when there is a large difference in brightness due to lighting, etc. in the house or facility, rather than the effect of sunshine, or when the image is partially blurred, It is also assumed that partial brightness adjustment, imaging sensitivity adjustment, contrast adjustment, and the like are executed.
以上、図１３〜図２０では、図１２のステップＦ１０４の画像制御トリガの発生判断の例として述べたが、これらの処理例を、図１２のステップＦ１０２のモニタ表示の開始トリガの判断や、ステップＦ１０５のモニタ表示終了のトリガの判断に適用することもできる。 13 to 20 have been described as examples of the image control trigger generation determination in step F104 in FIG. 12, but these processing examples include the determination of the monitor display start trigger in step F102 in FIG. The present invention can also be applied to determination of the trigger for the end of monitor display in F105.
例えば図１２のステップＦ１０１でスルー状態とされているときに、図１３の処理例のように周囲が暗いこと、或いは明るすぎることを検出したら、モニタ表示開始のトリガ発生と判別して、スルー状態からモニタ表示状態に切り換えても良い。
また図１４（ａ）のように天候による調整が必要と判断した場合にモニタ表示開始のトリガ発生と判別してもよい。すると特定の天候の場合にモニタ表示機能が発揮される。
図１４（ｂ）のように周囲が暗状態と判断した場合にモニタ表示開始のトリガ発生と判別すれば、暗状態において自動的にモニタ表示機能を発揮できる。
図１５のように、撮像対象が遠方或いは近傍となったときにモニタ表示開始のトリガ発生と判別してもよい。
図１６のように、近傍で文字を含む画像を検知したときにモニタ表示開始のトリガ発生と判別してもよい。
図１７のように時間帯に応じてモニタ表示開始のトリガ発生と判別してもよい。
図１８（ａ）のように現在位置が所定の場所となったときにモニタ表示開始のトリガ発生と判別しても良い。すると特定の場所や施設の種別においてモニタ表示機能を発揮させるようにすることができる。
図１９（ａ）のように特定の対象が存在したときにモニタ表示開始のトリガ発生と判別しても良い。
図１９（ｂ）のように撮像対象の素早い動きを検出したときにモニタ表示開始のトリガ発生と判別しても良い。
図２０（ａ）のように特定の人物を検出したときにモニタ表示開始のトリガ発生と判別してもよい。
図２０（ｂ）のように画像内での明暗の分布が生じている場合にモニタ表示開始のトリガ発生と判別してもよい。
これらのようにモニタ表示開始のトリガ発生と判別し、図１２のステップＦ１０３に進むようにすれば、ユーザはスルー状態で撮像表示装置１を装着していれば、特に操作をせずに、状況に応じてモニタ表示が実行され、かつその状況に応じた画像を見ることができる。
For example, when it is set to the through state in step F101 of FIG. 12, if it is detected that the surrounding is dark or too bright as in the processing example of FIG. May be switched to the monitor display state.
Further, as shown in FIG. 14A, when it is determined that the adjustment due to the weather is necessary, it may be determined that the trigger for starting the monitor display is generated. Then, the monitor display function is exhibited in the case of specific weather.
As shown in FIG. 14B, if it is determined that the monitor display start trigger is generated when the surrounding is determined to be in a dark state, the monitor display function can be automatically exhibited in the dark state.
As shown in FIG. 15, it may be determined that a monitor display start trigger has occurred when the imaging target is far away or near.
As shown in FIG. 16, it may be determined that a monitor display start trigger is generated when an image including characters is detected in the vicinity.
As shown in FIG. 17, it may be determined that the trigger for starting the monitor display is generated according to the time zone.
As shown in FIG. 18A, it may be determined that a monitor display start trigger has occurred when the current position is a predetermined location. Then, the monitor display function can be exhibited in a specific place or facility type.
As shown in FIG. 19A, when a specific target exists, it may be determined that a trigger for starting monitor display has occurred.
As shown in FIG. 19B, it may be determined that a monitor display start trigger is generated when a quick movement of the imaging target is detected.
When a specific person is detected as shown in FIG. 20A, it may be determined that a monitor display start trigger has occurred.
As shown in FIG. 20B, when a light and dark distribution occurs in the image, it may be determined that a monitor display start trigger has occurred.
If it is determined that the trigger for starting the monitor display is generated as described above and the process proceeds to step F103 in FIG. 12, if the user wears the
またモニタ終了トリガも同様に判別できる。
例えば図１３の処理例では、周囲が暗いこと、或いは明るすぎることを検出しているが、暗くもなく、また明るすぎることもないような状況のときに、モニタ表示終了のトリガ発生と判別して、スルー状態に戻すようにしてもよい。
また図１４（ａ）では天候による調整が必要か否かを判断しているが、特に調整が必要ないと判断されたときに、モニタ表示終了のトリガ発生と判別し、スルー状態に戻しても良い。
図１４（ｂ）のように周囲が暗状態か否かを判断し、暗状態でなければモニタ表示終了のトリガ発生と判別し、スルー状態に戻しても良い。
図１５のように、撮像対象が遠方或いは近傍となったかを判断した場合に、撮像対象が遠方でも近傍でもないと判断されたら、モニタ表示終了のトリガ発生と判別しスルー状態に戻してもよい。
図１６のように、近傍で文字を含む画像を検知する場合に、それが検知されなくなったらモニタ表示終了のトリガ発生と判別しスルー状態に戻してもよい。
図１７のように時間帯、月日、季節等に応じてモニタ表示終了のトリガ発生と判別してもよい。
図１８（ａ）のように現在位置が所定の場所となったときにモニタ表示終了のトリガ発生と判別しても良い。すると特定の場所や施設の種別において撮像及びモニタ表示機能を停止させるようにすることができる。
図１８（ｂ）のように赤外線感度向上撮像を停止させる場合においてステップＦ７１３でモニタ表示終了のトリガ発生と判別し、スルー状態に戻してもよい。
図１９（ａ）のように特定の対象が存在したときにモニタ表示終了のトリガ発生と判別してスルー状態に戻しても良い。例えば特定の対象について撮像／モニタ表示を禁止する場合である。
或いは、特定の対象が存在しないと判別されたときにモニタ表示終了のトリガ発生と判別してスルー状態に戻しても良い。
図１９（ｂ）のように撮像対象の素早い動きを検出している場合に、素早い動きが検出されなくなったらモニタ表示終了のトリガ発生と判別しスルー状態に戻しても良い。
図２０（ａ）のように特定の人物を検出したときにモニタ表示終了のトリガ発生と判別してスルー状態に戻しても良い。特定の人物に対して撮像／モニタ表示を禁止する例である。
或いは、特定の人物が画像内に存在しなくなったと判別されたときにモニタ表示終了のトリガ発生と判別してスルー状態に戻しても良い。
図２０（ｂ）のように画像内での明暗の分布を検出している場合に、撮像対象において明暗の差がなくなったらモニタ表示終了のトリガ発生と判別し、スルー状態に戻してもよい。
これらのようにモニタ表示終了のトリガ発生と判別し、図１２のステップＦ１０１に戻るようにすれば、ユーザにとってモニタ表示の必要性が低下した、或いは必要性が無くなった状況、さらにはモニタ表示機能を禁止させたい状況において、自動的にスルー状態とすることができる。
Similarly, the monitor end trigger can be determined.
For example, in the processing example of FIG. 13, it is detected that the surrounding is dark or too bright, but it is determined that the trigger for the end of the monitor display has occurred in a situation where it is neither dark nor too bright. Then, it may be returned to the through state.
In FIG. 14 (a), it is determined whether or not adjustment due to weather is necessary. However, when it is determined that adjustment is not particularly necessary, it is determined that a monitor display end trigger has occurred and the state is returned to the through state. good.
As shown in FIG. 14B, it is determined whether or not the surrounding is in a dark state, and if it is not in a dark state, it may be determined that a monitor display end trigger has occurred, and the through state may be restored.
As shown in FIG. 15, when it is determined whether the imaging target is far away or near, if it is determined that the imaging target is neither far away nor near, it may be determined that a monitor display end trigger has occurred and may be returned to the through state. .
As shown in FIG. 16, when an image including characters is detected in the vicinity, if it is no longer detected, it may be determined that a monitor display end trigger has occurred, and the through state may be restored.
As shown in FIG. 17, it may be determined that a monitor display end trigger has occurred according to the time zone, month, day, season, or the like.
As shown in FIG. 18A, it may be determined that a monitor display end trigger has occurred when the current position becomes a predetermined location. Then, the imaging and monitor display functions can be stopped at a specific location or facility type.
In the case of stopping infrared sensitivity improvement imaging as shown in FIG. 18B, it may be determined in step F713 that a monitor display end trigger has occurred, and the through state may be restored.
As shown in FIG. 19 (a), when a specific target exists, it may be determined that a monitor display end trigger has occurred, and the through state may be restored. For example, it is a case where imaging / monitor display is prohibited for a specific target.
Alternatively, when it is determined that a specific target does not exist, it may be determined that a monitor display end trigger has occurred, and the through state may be restored.
When a quick movement of the imaging target is detected as shown in FIG. 19B, it may be determined that a monitor display end trigger has occurred and the through display is returned to the through state if the quick movement is not detected.
As shown in FIG. 20 (a), when a specific person is detected, it may be determined that a monitor display end trigger has occurred, and the through state may be restored. This is an example of prohibiting imaging / monitor display for a specific person.
Alternatively, when it is determined that a specific person no longer exists in the image, it may be determined that a monitor display end trigger has occurred, and the through state may be restored.
In the case where the light / dark distribution in the image is detected as shown in FIG. 20B, it may be determined that a monitor display end trigger has occurred when there is no light / dark difference in the imaging target, and the through state may be restored.
If it is determined that the trigger for the end of the monitor display is generated and the process returns to step F101 in FIG. 12, the necessity of the monitor display for the user is reduced or no longer required, and the monitor display function It is possible to automatically enter the through state in a situation where it is desired to prohibit the operation.
［６．実施の形態の効果、変形例及び拡張例］
以上、実施の形態を説明してきたが、実施の形態によれば、眼鏡型もしくは頭部装着型の装着ユニットに配置された撮像部３で撮像した画像、つまりユーザが視認する方向を被写体方向とした撮像画像を、使用者の目の前方の表示部２で表示させるが、この場合に、外界状況として周囲の明るさ、天候、被写体の状況、被写体自体の認識、被写体の動き、場所、日時などの情報に基づいて撮像動作又は表示動作を制御することで、擬似的にユーザの視覚能力を補助したり拡張させる状況を作り出すことができる。
また撮像部３の撮像動作や撮像信号処理部１５、表示画像処理部１２の信号処理に対する制御による表示態様の変更は、外界状況に基づいて行われるため、ユーザに操作負担はなく、かつ的確な制御が実行されるため、使用性のよいものとなる。
また表示部２は、透過率制御により透明又は半透明のスルー状態とできることで、装着ユニットが装着されたままでも通常の生活に支障がないようにできる。このためユーザの通常の生活の中で、本例の撮像表示装置１の利点を有効に活用できる。
[6. Effect, modification and extension of embodiment]
Although the embodiment has been described above, according to the embodiment, an image captured by the
In addition, since the display mode is changed by controlling the imaging operation of the
Further, the
なお、実施の形態では撮像部３の撮像動作や撮像信号処理部１５、表示画像処理部１２の信号処理の制御によって実現される表示態様に関する制御を主に説明したが、例えば電源オン／オフ／スタンバイの切換や、音声出力部５から出力される音声の音量や音質の制御などを、外界の状況に基づいて行っても良い。例えば時刻や場所に応じて音量調整を行ったり、或いは周囲の音量を検知し、その音量に応じてスピーカ出力音量調整を行うことなども考えられる。
In the embodiment, the control mainly related to the display mode realized by the imaging operation of the
また、撮像表示装置１の外観や構成は図１，図２の例に限定されるものではなく、各種の変形例が考えられる。
例えば撮像部３で撮像した画像信号を記録するストレージ部や、他の機器に送信する送信部を設けてもよい。
さらには、表示部２で表示させる画像のソースとして、撮像部３に加えて、外部機器から映像を入力する入力部や受信部を設けても良い。
また、撮像表示装置１として眼鏡型或いは頭部装着型の装着ユニットを有する例を述べたが、本発明の表示装置は、ユーザの視界方向を撮像するとともに、ユーザの眼前で表示を行いことができるように構成されればよく、例えばヘッドホン型、ネックバンドタイプ、耳掛け式など、どのような装着ユニットでユーザに装着されるものであってもよい。さらには、例えば通常の眼鏡やバイザー、或いはヘッドホン等に、クリップなどの取付具で取り付けることでユーザに装着されるような形態であってもよい。
The appearance and configuration of the
For example, a storage unit that records an image signal captured by the
Furthermore, as a source of an image to be displayed on the
Moreover, although the example which has a spectacles-type or head-mounted type mounting unit was described as the
１ 撮像表示装置、２ 表示部、３ 撮像部、４ 照明部、５ 音声出力部、６ 音声入力部、１０ システムコントローラ、１１ 撮像制御部、１２ 表示画像処理部、１３ 表示駆動部、１４ 表示制御部、１５ 撮像信号処理部、１６ 音声信号処理部、１７ 画像解析部、１９ 周囲環境センサ、２０ 撮像対象センサ、２１ ＧＰＳ受信部、２２ 日時計数部、２６ 通信部、２７ 音声合成部
DESCRIPTION OF
Claims (14)
外景に重ねて視認される画像を表示する表示部と、
外景を撮影する撮像部と、
周囲環境センサ、画像解析部又は通信部の少なくとも１つ以上を有し、それぞれから周囲の明るさに関する情報を取得する外界情報取得部と、
前記撮像部により撮影された撮影画像から対象物を検出する画像処理部と、
前記撮像部による撮像方向に対して照明を行う照明部と、
前記表示部により、前記外景に重なって前記外景の一部を強調する強調表示画像を周囲の明るさに応じて画質を調整して表示させると共に、前記外界情報取得部で取得された周囲の明るさの状況を判定できる情報に基づいて、ユーザの視認対象が視認し易い状態となるように前記照明部による照明動作の制御を行う制御部と
を備えた表示装置。 A head-mounted display device,
A display unit that displays an image that is visually recognized over the outside scene;
An imaging unit for photographing an outside scene;
An external environment information acquisition unit that has at least one of an ambient environment sensor, an image analysis unit, or a communication unit, and acquires information about ambient brightness from each of them,
An image processing unit for detecting an object from a captured image captured by the imaging unit;
An illumination unit that illuminates the imaging direction of the imaging unit;
The display unit displays a highlighted image that highlights a part of the outside scene so as to overlap the outside scene with the image quality adjusted according to the surrounding brightness, and the ambient brightness acquired by the outside world information acquisition unit. And a control unit that controls the illumination operation by the illumination unit so that the user's visual target is easily visible based on information that can determine the situation.
前記制御部は、前記対象選択部により選択された前記強調対象物を強調する前記強調表示画像を表示させる
請求項１に記載の表示装置。 An object selection unit for selecting an object to be emphasized in the outside scene visible by a user wearing the display device;
The display device according to claim 1, wherein the control unit displays the highlighted display image that highlights the highlighted object selected by the target selecting unit.
請求項２に記載の表示装置。 The display device according to claim 2, wherein the target selection unit selects the emphasized target from the targets detected by the image processing unit according to a preset condition.
請求項２に記載の表示装置。 The display device according to claim 2, wherein the target selection unit selects the emphasized target object from the target objects detected by the image processing unit based on a current position of the display device.
請求項１乃至請求項４のいずれかに記載の表示装置。 The control unit causes the display unit to display an image that hides at least a part of the outside scene.
The display device according to claim 1.
請求項５に記載の表示装置。 The display device according to claim 5, wherein the image displayed so as to hide at least a part of the outside scene by the display unit under the control of the control unit is an image in which a part of the outside scene hidden by the image is emphasized. .
請求項１乃至請求項６のいずれかに記載の表示装置。 The image displayed on the display unit so as to overlap a part of the outside scene by the control unit is an image that decorates a part of the outside scene that overlaps the image. The display device described.
請求項１に記載の表示装置。 The display device according to claim 1, wherein the control unit controls the display unit so that the highlighted image is displayed in an emphasized manner by reducing luminance other than the highlighted image.
請求項１に記載の表示装置。 The display device according to claim 1, wherein the control unit controls the display unit so that the highlighted image is displayed in an emphasized manner by enlarging the highlighted image.
請求項１乃至請求項９のいずれかに記載の表示装置。 The display device according to any one of claims 1 to 9, wherein the light of the outside scene passes through the display unit and enters the eyes of a user wearing the display device together with the light of the image.
請求項１乃至請求項１０のいずれかに記載の表示装置。 The display device according to claim 1, wherein the image processing unit detects rain as an object from a captured image captured as one piece of information for determining a brightness situation.
請求項２乃至請求項４のいずれかに記載の表示装置。 The control unit emphasizes the enhancement object by replacing at least a part of the outside scene with a captured image captured by the imaging unit.
The display device according to claim 2 .
表示部に外景に重ねて視認される画像を表示し、
撮像部により外景を撮影し、
周囲環境センサ、画像解析部又は通信部の少なくとも１つ以上を有し、外界情報取得部によりそれぞれから周囲の明るさに関する情報を取得し、
前記撮像部により撮影された撮影画像から対象物を検出し、
前記撮像部による撮像方向に対して照明を行い、
前記表示部により、前記外景に重なって前記外景の一部を強調する強調表示画像を周囲の明るさに応じて画質を調整して表示させると共に、前記外界情報取得部で取得された周囲の明るさの状況を判定できる情報に基づいて、ユーザの視認対象が視認し易い状態となるように照明部による照明動作の制御を行う
表示方法。 A display method for a head-mounted display device,
Display the image that is visible on the outside, overlaid on the display,
Take an outside scene with the imaging unit,
It has at least one of an ambient environment sensor, an image analysis unit, or a communication unit, and acquires information about ambient brightness from each by an external information acquisition unit,
An object is detected from a captured image captured by the imaging unit,
Illuminate the imaging direction by the imaging unit,
The display unit displays a highlighted image that highlights a part of the outside scene so as to overlap the outside scene with the image quality adjusted according to the surrounding brightness, and the ambient brightness acquired by the outside world information acquisition unit. A display method for controlling the illumination operation by the illumination unit so that the user's visual target is easily visible based on information that can determine the situation.
撮像部により外景を撮影する処理と、
周囲環境センサ、画像解析部又は通信部の少なくとも１つ以上を有し、外界情報取得部によりそれぞれから周囲の明るさに関する情報を取得する処理と、
前記撮像部により撮影された撮影画像から対象物を検出する処理と、
前記撮像部による撮像方向に対して照明を行う処理を、
前記表示部により、前記外景に重なって前記外景の一部を強調する強調表示画像を周囲の明るさに応じて画質を調整して表示させると共に、前記外界情報取得部で取得された周囲の明るさの状況を判定できる情報に基づいて、ユーザの視認対象が視認し易い状態となるように照明部による照明動作の制御を行う処理とを
頭部装着型の表示装置の制御部に実行させるプログラム。 A process of displaying an image that is visually recognized overlaid on the outside scene on the display unit;
A process of photographing an outside scene by the imaging unit;
A process of having at least one of an ambient environment sensor, an image analysis unit, or a communication unit, and acquiring information on ambient brightness from each by an external information acquisition unit;
A process of detecting an object from a photographed image photographed by the imaging unit;
A process of illuminating the imaging direction by the imaging unit,
The display unit displays a highlighted image that highlights a part of the outside scene so as to overlap the outside scene with the image quality adjusted according to the surrounding brightness, and the ambient brightness acquired by the outside world information acquisition unit. A program that causes the control unit of the head-mounted display device to execute a process of controlling the illumination operation by the illumination unit so that the user's visual target is easily visible based on information that can determine the situation .
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014217073A JP6137113B2 (en) | 2014-10-24 | 2014-10-24 | Display device, display method, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014217073A JP6137113B2 (en) | 2014-10-24 | 2014-10-24 | Display device, display method, and program |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013081983A Division JP2013174898A (en) | 2013-04-10 | 2013-04-10 | Imaging display device, and imaging display method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2015057659A JP2015057659A (en) | 2015-03-26 |
| JP6137113B2 true JP6137113B2 (en) | 2017-05-31 |
Family
ID=52815740
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014217073A Active JP6137113B2 (en) | 2014-10-24 | 2014-10-24 | Display device, display method, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6137113B2 (en) |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017111724A (en) * | 2015-12-18 | 2017-06-22 | 株式会社ブリリアントサービス | Head-mounted display for piping |
| KR101810039B1 (en) * | 2015-12-31 | 2018-01-18 | 홍익대학교 산학협력단 | Visual Aid System |
| US10482668B2 (en) * | 2016-06-02 | 2019-11-19 | Thales Visionix, Inc. | Miniature vision-inertial navigation system with extended dynamic range |
| US11160688B2 (en) | 2016-11-10 | 2021-11-02 | Samsung Electronics Co., Ltd. | Visual aid display device and method of operating the same |
| CN106548765A (en) * | 2017-01-12 | 2017-03-29 | 广东欧珀移动通信有限公司 | Screen luminance adjustment method and device |
| WO2018220694A1 (en) * | 2017-05-30 | 2018-12-06 | ソフトバンク株式会社 | Video processing device, video processing method, and program |
| US11335044B2 (en) | 2017-06-28 | 2022-05-17 | Optim Corporation | Display system of a wearable terminal, display method of the wearable terminal, and program |
| KR102393299B1 (en) | 2017-08-09 | 2022-05-02 | 삼성전자주식회사 | Method of processing an image and apparatus thereof |
| JP6669342B2 (en) * | 2018-03-31 | 2020-03-18 | Ｎｌ技研株式会社 | Cognitive support system, cognitive support device, and cognitive support server |
| JP7543692B2 (en) * | 2020-04-24 | 2024-09-03 | セイコーエプソン株式会社 | Positioning system, mobile terminal and program |
| JP7508517B2 (en) | 2022-09-29 | 2024-07-01 | レノボ・シンガポール・プライベート・リミテッド | Information processing system, information processing device, program, and control method |
| JP7474363B1 (en) | 2023-04-21 | 2024-04-24 | レノボ・シンガポール・プライベート・リミテッド | Information Processing System |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3557246B2 (en) * | 1994-06-08 | 2004-08-25 | オリンパス株式会社 | Microscope image remote observation device and microscope image remote observation method |
| JP2001074493A (en) * | 1999-09-06 | 2001-03-23 | Nissan Motor Co Ltd | Wearable information terminal device |
| JP2002230698A (en) * | 2001-01-30 | 2002-08-16 | Clarion Co Ltd | Vehicle circumferential image display method and vehicle circumferential image display device |
| JP2005037181A (en) * | 2003-07-17 | 2005-02-10 | Pioneer Electronic Corp | Navigation device, server, navigation system, and navigation method |
| JP4801340B2 (en) * | 2003-10-28 | 2011-10-26 | 株式会社半導体エネルギー研究所 | Display device |
| JP2005346177A (en) * | 2004-05-31 | 2005-12-15 | Nissan Motor Co Ltd | Information presenting device for vehicle |
| JP4834977B2 (en) * | 2004-11-12 | 2011-12-14 | コニカミノルタホールディングス株式会社 | See-through type head mounted display |
| JP5040061B2 (en) * | 2004-12-15 | 2012-10-03 | コニカミノルタホールディングス株式会社 | Video display device and information providing system |
-
2014
- 2014-10-24 JP JP2014217073A patent/JP6137113B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2015057659A (en) | 2015-03-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6137113B2 (en) | Display device, display method, and program | |
| JP5017989B2 (en) | Imaging apparatus and imaging method | |
| JP5119636B2 (en) | Display device and display method | |
| JP2008083289A (en) | Imaging display apparatus, and imaging display method | |
| JP5228307B2 (en) | Display device and display method | |
| US9772686B2 (en) | Imaging display apparatus and method | |
| JP2013174898A (en) | Imaging display device, and imaging display method | |
| JP5664677B2 (en) | Imaging display device and imaging display method | |
| JP2013083994A (en) | Display unit and display method | |
| JP5971298B2 (en) | Display device and display method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150728 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150729 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150916 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160301 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160411 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160927 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20161116 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170404 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170417 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6137113 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |