JP2008099834A - 表示装置、表示方法 - Google Patents

Abstract

【課題】ユーザが身体状況を把握できるようにする。
【解決手段】ユーザは、例えば眼鏡型もしくは頭部装着型の装着ユニットなどにより表示装置１を装着することで、目の前方に位置する表示部２を視認する状態とする。この表示部２はスルー状態として外界を見えるようにしてもよいし、撮像画像、受信画像、再生画像等を表示できるようにしてもよい。そして表示部２においては、ユーザの生体情報に基づく画像を表示させる。例えば表示部２の一部をスルー状態にしながら、一部で生体情報画像を表示させたり、撮像画像等とともに生体情報画像を表示させる。つまりユーザが、通常の視覚光景（スルーの場合）や、画像ソースからの画像とともに、自分の身体の状況を確認できるようにする。
【選択図】図１

Description

本発明は、例えば眼鏡型もしくは頭部装着型の装着ユニットなどによりユーザに装着された状態で、ユーザの眼の前方で画像表示を行う表示装置と、表示方法に関し、特に生体情報についての表示を実行するようにしたものである。

特開２００６−８７８２９号公報 特開２００６−３４８０３号公報 特開２００３−７９５９１号公報 特開２００４−１９４９９６号公報

上記特許文献１〜４のように、各種の生体情報についてさまざまな工夫をして表示する装置が提案されている。

しかしながら、本人が自分の状態を常時モニタリングできるような装置は提案されていない。そこで本発明は、ユーザ本人がいつでも自分の生体情報を監視できることを可能にし、体調管理、体調認識、健康対策などに好適な表示装置及び表示方法を提供することを目的とする。

本発明の表示装置は、使用者の目の前方に位置するように配置されて画像表示を行う表示手段と、使用者の生体情報を検出する生体情報検出手段と、上記生体情報検出手段で検出された上記生体情報に基づく表示画像となる生体情報画像信号を生成する生体情報画像生成手段と、上記生体情報画像生成手段で生成された生体情報画像信号による表示を上記表示手段に実行させる制御を行う制御手段とを備える。

また上記表示手段は、画像表示を行う画面領域の全部又は一部を透明もしくは半透明であるスルー状態とすることができるようにする。
また上記制御手段は、上記表示手段に、上記画面領域の一部を上記スルー状態とした上で上記生体情報画像生成手段で生成された生体情報画像信号による表示を実行させる制御を行う。
また画像信号を生成して上記表示手段に供給する表示画像生成手段を更に備え、上記制御手段は、上記表示手段に、上記表示画像生成手段で生成された画像信号による表示と、上記生体情報画像生成手段で生成された生体情報画像信号による表示とを実行させる制御を行う。
また上記表示画像生成手段は、外界の撮像により得た撮像画像信号を、上記表示手段に供給する構成とする。
また上記表示画像生成手段は、外部機器から受信した受信画像信号を、上記表示手段に供給する構成とする。
また上記表示画像生成手段は、記録媒体から再生した再生画像信号を、上記表示手段に供給する構成とする。
また上記表示手段において、上記画面領域内で親画面領域と子画面領域が設定されて、親画面領域と子画面領域のうちの一方で、上記生体情報画像生成手段で生成された生体情報画像信号による表示が実行されるようにする。
また上記表示手段において、上記画面領域が分割され、分割された各領域の一方で、上記生体情報画像生成手段で生成された生体情報画像信号による表示が実行されるようにする。
また上記表示手段は、複数の表示部を有する。

上記生体情報は、脈拍、心拍、心電図信号、筋電、呼吸（例えば呼吸の速さ、深さ、換気量など）、発汗、ＧＳＲ（皮膚電気反応）、血圧、血中酸素飽和濃度（ＳｐＯ２）、皮膚表面温度、脳波（例えばα波、β波、θ波、δ波の情報）、血流変化（近赤外分光による脳血流、抹消血流などの血流変化）、体温、体の動き（揺れ）、頭の動き（揺れ）、重心、歩行／走行のリズム、眼の状態（瞳孔状態、眼の動き、まばたき等）のうちの少なくとも一つであるとする。
また上記生体情報検出手段は、使用者の身体に装着したセンサを用いて上記生体情報を検出する。
また上記生体情報検出手段は、使用者の身体を撮像する撮像部を用いて上記生体情報を検出する。

また上記生体情報画像生成手段が生成する上記生体情報画像信号は、生体情報のイメージ画像としての画像信号である。
或いは、上記生体情報画像生成手段が生成する上記生体情報画像信号は、生体情報をグラフで示す画像としての画像信号である。
或いは、上記生体情報画像生成手段が生成する上記生体情報画像信号は、生体情報に基づく文字表示画像としての画像信号である。
或いは、上記生体情報画像生成手段が生成する上記生体情報画像信号は、生体情報に基づく告知を行う画像としての画像信号である。上記告知を行う画像とは、例えば、点滅表示、又は色変化表示により、使用者に注意を与える画像である。
また、音声出力手段を更に備え、上記制御手段は、上記音声出力手段により、生体情報に基づく告知を実行させる制御を行う。

本発明の表示方法は、使用者の目の前方に位置するように配置されて画像表示を行う表示手段を備えた表示装置の表示方法として、使用者の生体情報を検出する生体情報検出ステップと、上記生体情報検出ステップで検出された上記生体情報に基づく表示画像となる生体情報画像信号を生成する生体情報画像生成ステップと、上記生体情報画像生成ステップで生成された生体情報画像信号による表示を上記表示手段で実行する表示ステップとを備える。

以上の本発明では、使用者（ユーザ）は、例えば眼鏡型もしくは頭部装着型の装着ユニットなどにより本発明の表示装置を装着することで、目の前方に位置する表示手段を視認する状態となる。この表示手段はスルー状態として外界を見えるようにしてもよいし、画像ソース（表示画像生成手段）からの撮像画像、受信画像、再生画像等を表示できるようにしてもよい。
そして表示手段においては、ユーザの生体情報に基づく画像を表示させる。例えば表示手段の一部をスルー状態にしながら、一部で生体情報画像を表示させたり、画像ソースからの画像とともに生体情報画像を表示させる。つまりユーザが、通常の視覚光景（スルーの場合）や、画像ソースからの画像とともに、自分の身体の状況を確認できるようにする。

本発明によれば、ユーザの眼前に配置される表示手段において、ユーザの生体情報に基づく画像を表示させる。これによりユーザは、スルー状態の表示手段を介して視界を通常に見たり、或いは表示手段に表示されている撮像画像、受信画像、再生画像等を見たりしているときに、自分の身体状況を監視をできる。
このことから、自分の身体状況の把握、健康管理、健康対策、運動中の身体状況チェック、ダイエット・フィットネスなどに非常に有用になるという効果がある。

以下、本発明の表示装置、表示方法の実施の形態を、次の順序で説明する。
［１．表示装置の外観例］
［２．表示装置の構成例］
［３．生体情報］
［４．画面上の表示例］
［５．生体情報表示処理例］
［６．実施の形態の効果、変形例及び拡張例］

［１．表示装置の外観例］

実施の形態として、図１に眼鏡型ディスプレイとした表示装置１の外観例を示す。表示装置１は、例えば両側頭部から後頭部にかけて半周回するようなフレームの構造の装着ユニットを持ち、図のように両耳殻にかけられることでユーザに装着される。
そしてこの表示装置１は、図１のような装着状態において、ユーザの両眼の直前、即ち通常の眼鏡におけるレンズが位置する場所に、左眼用と右眼用の一対の表示部２、２が配置される構成とされている。この表示部２には、例えば液晶パネルが用いられ、透過率を制御することで、図のようなスルー状態、即ち透明又は半透明の状態とできる。表示部２がスルー状態とされることで、眼鏡のようにユーザが常時装着していても、通常の生活には支障がない。

またユーザが装着した状態において、ユーザが視認する方向を被写体方向として撮像するように、前方に向けて撮像レンズ３ａが配置されている。
また、図では左耳側しか示されていないが、装着状態でユーザの右耳孔及び左耳孔に挿入できる一対のイヤホンスピーカ５ａが設けられる。
また右眼用の表示部２の右方と、左眼用の表示部２の左方に、外部音声を集音するマイクロホン６ａ，６ｂが配置される。

そしてこの表示装置１は、装着フレームの内面側など、ユーザの身体に接触する位置や、装着フレームの内部などに、ユーザの生体情報を検出するセンサ等が配置されている。なお、センサ等は、表示装置１とは別体構成とされてユーザの身体の所定部分に装着されるものであっても良い。またユーザの眼や皮膚を撮像する撮像部としてのセンサが設けられていても良い。
表示部２には、検出されたユーザの生体情報に基づいた画像が表示される。

なお図１は一例であり、表示装置１をユーザが装着するための構造は多様に考えられる。一般に眼鏡型、或いは頭部装着型とされる装着ユニットで形成されればよく、少なくとも本実施の形態としては、ユーザの眼の前方に近接して表示部２が設けられていればよい。
また表示部２は、両眼に対応して一対設けられる他、片側の眼に対応して１つ設けられる構成でもよい。

また図１の例では、撮像方向がユーザが視認する方向、つまりユーザの前方となるようにされた撮像レンズ３ａを搭載しているが、これは例えば後述する図３又は図４のような構成例を採る場合の例であり、撮像レンズ３ａを含む後述する撮像機能部位で撮像された画像信号は、所定の処理を経て表示用の画像信号とされて表示部２に表示される。つまり、ユーザの前方の光景が撮像されて表示部２に表示されることになる。
但し、撮像機能部位における撮像方向（撮像レンズ３ａの被写体方向）は、ユーザの前方ではなく、ユーザの後方、上方、左側方、右側方、足下などとなるように取り付けられていてもよい。
また、撮像レンズ３ａが固定的に取り付けられていれば撮像時の被写体方向は固定されるが、被写体方向を変化させることのできる可動機構を介して撮像レンズ３ａを取り付けるようにし、手動又は自動で撮像時の被写体方向を変化させることができるようにしてもよい。
また、複数の撮像レンズ３ａを取り付け、複数の撮像機能部位を備えるようにしてもよい。
なお、このように撮像レンズ３ａ（撮像機能部位）を設ける場合、撮像レンズ３ａによる撮像方向に対して照明を行う発光部を設けるようにしてもよい。発光部は例えばＬＥＤ（Light Emitting Diode）により形成することが考えられる。
一方、図２で述べるが、撮像機能部位を設けない構成も想定される。その場合、当然ながら図１に示した撮像レンズ３ａは設けられない。

また図１では両耳に装着されるイヤホンスピーカ５ａを示しているが、左右のステレオスピーカとせずに、一方の耳にのみ装着するために１つ設けられるのみでもよい。
またマイクロホンも、マイクロホン６ａ，６ｂのうちの一方でもよい。さらには、表示装置１としてマイクロホンやイヤホンスピーカを備えない構成も考えられる。

また内部構成例については後述するが、この表示装置１は、外部機器と通信を行う通信機能（図４で述べる通信部２６）を備えることも考えられる。その通信機能は、外部機器から送信されてきた画像信号を受信し、受信した画像信号を表示部２に供給して表示させることができる。
さらに表示装置１は、記録媒体から画像データを再生する再生機能（図４で述べるストレージ部２５）を備えることも考えられる。その再生機能は、記録媒体から再生した画像信号を表示部２に供給して表示させることができる。
本例の表示装置１では、ユーザの生体情報を検出し、生体情報に基づいた画像を表示部２に表示させることを特徴とするが、表示部２には、生体情報とは別に、上記の撮像機能による撮像画像、通信機能による受信画像、再生機能による再生画像を表示可能に構成することができる。

［２．表示装置の構成例］

表示装置１の内部構成例として、図２，図３，図４で３つの例を説明する。
まず図２は、表示部２で表示する画像としては生体情報画像のみとする構成例である。
システムコントローラ１０は、例えばＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、不揮発性メモリ部、インターフェース部を備えたマイクロコンピュータにより構成され、表示装置１の全体を制御する制御部とされる。
このシステムコントローラ１０は内部の動作プログラムに基づいて、表示装置１内の各部の制御を行い、表示部２において所要の画像表示を実行させる。

生体情報検出部２０は、ユーザの生体情報を検出する。生体情報とは、脈拍、心拍、心電図、筋電、呼吸、発汗、ＧＳＲ、血圧、血中酸素飽和濃度、皮膚表面温度、脳波、血流変化、体の動き、頭の動き、重心、歩行／走行のリズム、眼の状態などである。
例えばＧＳＲ（皮膚電気反応）、体温、皮膚表面温度、心電図反応、筋電心拍、脈拍、血流、血圧、脳波、発汗、体温などを検出するには、図１の装着フレームの内側でユーザの側頭部や後頭部に接触するセンサや、装着フレームとは別体とされて他の身体部分に接触するように取り付けられるセンサを用いることが考えられる。
またユーザの皮膚を撮像する撮像部を用いても良い。この撮像部は例えば皮膚の色の変化を検知できるセンサとなる。
また、ユーザの視覚を検出するセンサとしては、例えば表示部２の近辺に配置されてユーザの眼部を撮像するようにされた撮像部により形成できる。この場合、該撮像部が撮像したユーザの眼部の画像について画像解析を行うことで、視線方向、焦点距離、瞳孔の開き具合、眼底パターン、まぶたの開閉などを検出でき。または、表示部２の近辺に配置されてユーザの眼部に光を照射する発光部と、眼部からの反射光を受光する受光部により形成することもできる。例えば受光信号からユーザの水晶体の厚みを検知することも可能である。
さらに、体の動き、頭の動き、重心、歩行／走行のリズムなどは、加速度センサ、ジャイロ（角速度センサ）などを用いることで検出可能となる。即ち加速度センサやジャイロを表示装置１の内部に備えることで、ユーザの動きに応じた信号として、例えば頭部の動き、首の動き、全身の動き、腕部の動き、脚部の動きなどを検出することができる。もちろん腕部の動き、脚部の動きなどを検出する場合は、加速度センサやジャイロがユーザの腕部や脚部に装着されるようにすればよい。
生体情報検出部２０は、これら所要のセンサによる検出結果情報をシステムコントローラ１０に供給する。

画像生成部２１は、システムコントローラ１０の制御に基づいて、生体情報画像信号を生成する。システムコントローラ１０は、生体情報検出部２０で検出された生体情報の内容や数値に応じて、画像生成部２１に生体情報をユーザに提示するための画像となる画像信号を生成させる。
画像生成部２１は、生体情報を示すイメージ画像、グラフ画像、文字表示画像、或いはユーザに対する警告提示の為の画像としての画像信号を生成する。

表示装置１においてユーザに対して表示を行う構成としては、表示部２、表示画像処理部１２、表示駆動部１３，表示制御部１４が設けられる。
表示画像処理部１２は、例えばいわゆるビデオプロセッサとされ、供給された画像信号に対して各種表示のための処理を実行できる部位とされる。
例えば撮像信号の輝度レベル調整、色補正、コントラスト調整、シャープネス（輪郭強調）調整などを行うことができる。また画面上での表示位置の設定も行う。
また表示画像処理部１２は、撮像信号の一部を拡大した拡大画像の生成、或いは縮小画像の生成、ソフトフォーカス、モザイク、輝度反転、画像内の一部のハイライト表示（強調表示）、全体の色の雰囲気の変化などの画像エフェクト処理、撮像画像の分割表示のための画像の分離や合成、キャラクタ画像やイメージ画像の生成及び生成した画像を撮像画像に合成する処理なども行うことができるようにしてもよい。
この図２の構成の場合、表示画像処理部１２には画像生成部２１で生成された生体情報画像信号が供給されるが、表示画像処理部１２は、生体情報画像信号に対して表示のための所要の信号処理を行って表示駆動部１３に供給する。

表示駆動部１３は、表示画像処理部１２から供給される画像信号を、例えば液晶ディスプレイとされる表示部２において表示させるための画素駆動回路で構成されている。即ち表示部２においてマトリクス状に配置されている各画素について、それぞれ所定の水平／垂直駆動タイミングで映像信号に基づく駆動信号を印加し、表示を実行させる。また表示駆動部１３は、表示部２の各画素の透過率を制御して、画面全体及び一部をスルー状態とすることもできる。
表示制御部１４は、システムコントローラ１０の指示に基づいて、表示画像処理部１２の処理動作や表示駆動部１３の動作を制御する。即ち表示画像処理部１２に対する信号処理の指示を行う。また表示駆動部１３に対してはスルー状態、画像表示状態の切り換えが行われるように制御する。

また表示装置１には、音声出力系として音声生成部２２，音声出力部５が設けられる。
音声生成部２２は、システムコントローラ１０の指示に基づいて、音声合成処理を行ってメッセージ音声等の音声信号を生成したり、或いは電子音その他のユーザに提示する音声信号を生成する。
音声出力部５は、図１に示した一対のイヤホンスピーカ５ａと、そのイヤホンスピーカ５ａに対するアンプ回路を有する。
この音声生成部２２で生成された音声信号が音声出力部５に供給されることにより、ユーザはメッセージ音声や電子音等を聞くことができる。なお音声出力部５は、いわゆる骨伝導スピーカとして構成されてもよい。

なお、この図２の構成の場合、電源オン／オフ、生体情報画像の表示開始、終了、画像内容の変更、輝度レベルや色合い等の表示調整、表示画面上の表示領域の変更等のために、ユーザの操作が必要になる場合がある。
図示しないが、それらの操作（処理動作のトリガ検出）のためには、例えばユーザが操作する操作キーや操作ダイヤルとしての操作子と、その操作子の操作を検知する操作検知機構を設け、システムコントローラ１０がユーザの操作を検知できるようにすればよい。
或いは操作子を設けなくても、生体情報検出部２０で検出されるユーザの状況（例えば眼の動きや身体の挙動や状態等）に基づいて、システムコントローラ１０がユーザの操作意志や適切な動作処理を判別し、それに応じた処理を実行するようにしてもよい。
さらには、外界情報（表示装置の周囲の状況や、場所、日時、被写体の状況などの検知情報）を検知することができる構成とし、システムコントローラ１０が外界情報に基づいて適切な動作処理を判別し、処理を実行するようにしてもよい。

次に図３は表示装置１の他の構成例であり、生体情報画像を表示部２で表示することに加えて、撮像画像も表示部２で表示できるようにした構成例である。
なお、図２と同一機能のブロックには同一符号を付し、重複説明を避ける。この図３の構成は、図２の構成に撮像機能部位（撮像部３、撮像制御部１１、撮像信号処理部１５）と、音声入力部６、音声信号処理部１６を追加した構成である。

撮像部３は、図１に示した撮像レンズ３ａや、絞り、ズームレンズ、フォーカスレンズなどを備えて構成されるレンズ系や、レンズ系に対してフォーカス動作やズーム動作を行わせるための駆動系、さらにレンズ系で得られる撮像光を検出し、光電変換を行うことで撮像信号を生成する固体撮像素子アレイなどが設けられる。固体撮像素子アレイは、例えばＣＣＤ（Charge Coupled Device）センサアレイや、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサアレイとされる。
上記図１の例の場合は、この撮像部３によってユーザの前方の光景が撮像されることになる。もちろん撮像部３によってユーザの後方等、他の方向のの光景が撮像されるようにしてもよい。

撮像信号処理部１５は、撮像部３の固体撮像素子によって得られる信号に対するゲイン調整や波形整形を行うサンプルホールド／ＡＧＣ(Automatic Gain Control)回路や、ビデオＡ／Ｄコンバータを備え、デジタルデータとしての撮像信号を得る。また撮像信号処理部１５は、撮像信号に対してホワイトバランス処理、輝度処理、色信号処理、ぶれ補正処理なども行う。

撮像制御部１１は、システムコントローラ１０からの指示に基づいて、撮像部３及び撮像信号処理部１５の動作を制御する。例えば撮像制御部１１は、撮像部３，撮像信号処理部１５の動作のオン／オフを制御する。また撮像制御部１１は撮像部３に対して、オートフォーカス、自動露出調整、絞り調整、ズーム、焦点変更などの動作を実行させるための制御（モータ制御）を行うものとされる。
なお、撮像レンズ３ａによる被写体方向を可変できる可動機構が設けられている場合は、撮像制御部１１はシステムコントローラ１０の指示に基づいて、可動機構の動作を制御して撮像部３における撮像レンズ３ａの方向を変化させる。
また撮像制御部１１はタイミングジェネレータを備え、固体撮像素子及び撮像信号処理部１１のサンプルホールド／ＡＧＣ回路、ビデオＡ／Ｄコンバータに対しては、タイミングジェネレータにて生成されるタイミング信号により信号処理動作を制御する。また、このタイミング制御により撮像フレームレートの可変制御も可能とされる。
さらに撮像制御部１１は、固体撮像素子及び撮像信号処理部１５における撮像感度や信号処理の制御を行う。例えば撮像感度制御として固体撮像素子から読み出される信号のゲイン制御を行ったり、黒レベル設定制御や、デジタルデータ段階の撮像信号処理の各種係数制御、ぶれ補正処理における補正量制御などを行うことができる。撮像感度に関しては、特に波長帯域を考慮しない全体的な感度調整や、例えば赤外線領域、紫外線領域など、特定の波長帯域の撮像感度を調整する感度調整（例えば特定波長帯域をカットするような撮像）なども可能である。波長に応じた感度調整は、撮像レンズ系における波長フィルタの挿入や、撮像信号に対する波長フィルタ演算処理により可能である。これらの場合、撮像制御部１１は、波長フィルタの挿入制御や、フィルタ演算係数の指定等により、感度制御を行うことができる。

この図３の構成の場合、撮像部３及び撮像信号処理部１５によって得られる撮像画像信号が、画像生成部２１で生成される生体情報画像信号とともに表示画像処理部１２に供給される。
表示画像処理部１２は、各画像信号について上述した各種信号処理を実行し、また２つの画像信号について、同時に表示部２に表示させるための画面分割としての信号処理（画像合成処理）を行う。
表示画像処理部１２で合成処理された画像信号が、表示駆動部１３に供給されて表示部２で表示されることで、表示部２では、撮像画像と生体情報画像が、同時表示されることになる。言い換えれば、ユーザは、撮像画像を見ている状態においても、生体情報画像を見ることができる。

また表示装置１には、音声入力部６、音声信号処理部１６，音声出力部５が設けられる。
音声入力部６は、図１に示したマイクロホン６ａ，６ｂと、そのマイクロホン６ａ，６ｂで得られた音声信号を増幅処理するマイクアンプ部やＡ／Ｄ変換器を有し、音声データを出力する。
音声信号処理部１６は、例えばデジタルシグナルプロセッサ、Ｄ／Ａ変換器などからなる。この音声信号処理部１６には、音声入力部６で得られた音声データや、音声合成部２２で生成された音声データが供給される。音声信号処理部１６は、供給された音声データに対して、システムコントローラ１０の制御に応じて、音量調整、音質調整、音響エフェクト等の処理を行う。そして処理した音声データをアナログ信号に変換して音声出力部２に供給する。なお、音声信号処理部１６は、デジタル信号処理を行う構成に限られず、アナログアンプやアナログフィルタによって信号処理を行うものでも良い。
音声信号処理部１６から出力された音声信号は、音声出力部５のイヤホンスピーカ６ａから音声として出力される。このような構成により、ユーザは、音声入力部６で集音された外部音声を聞いたり、音声生成部２２で生成された音声を聞くことができる。

なお、この図３のように撮像機能部位を備える場合、撮像動作の開始、終了、ズーム動作、フォーカス動作、撮像画像調整などのためにユーザの操作が必要になる場合がある。もちろん、図２の場合と同様、電源オン／オフ、生体情報画像の表示開始、終了、画像内容の変更、輝度レベルや色合い等の表示調整、表示画面上の表示領域の変更等のために、ユーザの操作が必要になる場合もある。それらの操作（動作のトリガ）のためには、操作キー等の操作子を設けても良いが、生体情報検出部２０で検出されるユーザの状況（例えば眼の動きや身体の挙動や状態等）からシステムコントローラ１０がユーザの操作意志や適切な動作処理を判別し、それに応じた処理を実行するようにしてもよい。
さらには、外界情報（表示装置の周囲の状況や、場所、日時、被写体の状況などの検知情報）を検知することができる構成とし、システムコントローラ１０が外界情報に基づいて適切な動作処理を判別し、処理を実行するようにしてもよい。

図４は表示装置１のさらに他の構成例であり、生体情報画像を表示部２で表示することに加えて、撮像画像、受信画像、再生画像も表示部２で表示できるようにした構成例である。
なお、図２又は図３と同一機能のブロックには同一符号を付し、重複説明を避ける。この図４の構成は、図３の構成にストレージ部２５，通信部２６，画像入出力コントロール部２７、音声入出力コントロール部２８を追加した構成である。

この図４の構成の場合、画像入出力コントロール部２７は、システムコントローラ１０の制御に応じて、画像データの転送を制御する。即ち画像生成部２１、撮像信号処理部１５、表示画像処理部１２、ストレージ部２５、通信部２６の間の画像データの転送を制御する。
例えば画像入出力コントロール部２７は、画像生成部２１で生成された生体情報画像信号を表示画像処理部１２に供給したり、ストレージ部２５に供給したり、通信部２６に供給する動作を行う。
また画像入出力コントロール部２７は、撮像信号処理部１５で処理された撮像信号としての画像データを、表示画像処理部１２に供給したり、ストレージ部２５に供給したり、通信部２６に供給する動作を行う。
また画像入出力コントロール部２７は例えばストレージ部２５から再生された画像データを、表示画像処理部１２に供給したり、通信部２６に供給する動作を行う。
また画像入出力コントロール部２７は例えば通信部２６で受信された画像データを、表示画像処理部１２に供給したり、ストレージ部２５に供給する動作を行う。

音声入出力コントロール部２８は、システムコントローラ１０の制御に応じて、音声データの転送を制御する。即ち音声生成部２２、音声入力部６、音声信号処理部１６、ストレージ部２５、通信部２６の間の音声信号の転送を制御する。
例えば音声入出力コントロール部２８は、音声生成部２２で生成された音声データを、音声信号処理部１６に供給したり、ストレージ部２５に供給したり、通信部２６に供給する動作を行う。
また音声入出力コントロール部２８は、音声入力部６で得られた音声データを、音声信号処理部１６に供給したり、ストレージ部２５に供給したり、通信部２６に供給する動作を行う。
また音声入出力コントロール部２８は例えばストレージ部２５で再生された音声データを、音声信号処理部１６に供給したり、通信部２６に供給する動作を行う。
また音声入出力コントロール部２８は例えば通信部２６で受信された音声データを、音声信号処理部１６に供給したり、ストレージ部２５に供給する動作を行う。

ストレージ部２５は、所定の記録媒体に対してデータの記録再生を行う部位とされる。例えばＨＤＤ（Hard Disk Drive）として実現される。もちろん記録媒体としては、フラッシュメモリ等の固体メモリ、固定メモリを内蔵したメモリカード、光ディスク、光磁気ディスク、ホログラムメモリなど各種考えられ、ストレージ部２５としては採用する記録媒体に応じて記録再生を実行できる構成とされればよい。
撮像部３で撮像され、撮像信号処理部１５で処理された撮像信号としての画像データや、通信部２６で受信した画像データ、さらには画像生成部２１で生成された生体情報画像信号は、画像入出力コントロール部２７を介してストレージ部２５に供給することができる。また音声入力部６で得られた音声データや、通信部２６で受信した音声データ、さらには音声生成部２２で生成された音声データは、音声入出力コントロール部２８を介してストレージ部２５に供給することができる。
ストレージ部２５はシステムコントローラ１０の制御に従って、供給された画像データや音声データに対して、記録媒体への記録のためのエンコード処理を行い、記録媒体に記録する。
またストレージ部２５はシステムコントローラ１０の制御に従って、記録した画像データや音声データを再生する。再生した画像データは画像入出力コントロール部２７へ出力し、また再生した音声データは音声入出力コントロール部２８へ出力する。

ストレージ部２５で再生されるデータとしては、例えば映画やビデオクリップなどの動画コンテンツ、デジタルスチルカメラ等で撮像されて記録媒体に記録された静止画コンテンツ、電子書籍等のデータ、ユーザがパーソナルコンピュータ等で作成した画像データ、テキストデータ、表計算データ等のコンピュータユースのデータ、ゲーム画像など、表示対象となるあらゆるデータが想定される。

通信部２６は外部機器との間でのデータの送受信を行う。外部機器としては、例えば通信機能を備えたビデオカメラ、デジタルスチルカメラ等の撮像装置、コンピュータ装置、携帯電話機、ＰＤＡ（Personal Digital Assistant）、ビデオストレージ機器やテレビジョン受像器等のＡＶ機器、ネットワークサーバ装置などが想定される。
通信部２６は、無線ＬＡＮ、ブルートゥースなどの方式で、例えばネットワークアクセスポイントに対する近距離無線通信を介してネットワーク通信を行う構成としても良いし、対応する通信機能を備えた外部機器との間で直接無線通信を行うものでもよい。
外部機器から表示装置１に送信されるデータとしては、例えば外部機器が撮像装置である場合は、その撮像装置で撮像された画像データであったり、外部機器がコンテンツソース機器となる機器である場合は、映画やビデオクリップなどの動画コンテンツ、デジタルスチルカメラ等で撮像されて記録媒体に記録された静止画コンテンツ、電子書籍等のデータ、ユーザがパーソナルコンピュータ等で作成した画像データ、テキストデータ、表計算データ等のコンピュータユースのデータ、ゲーム画像など、表示対象となるあらゆるデータが想定される。

撮像部３で撮像され、撮像信号処理部１５で処理された撮像信号としての画像データや、ストレージ部２５で再生した画像データ、さらには画像生成部２１で生成された生体情報画像信号は、画像入出力コントロール部２７を介して通信部２６に供給することができる。また音声入力部６で得られた音声データや、ストレージ部２５で再生された音声データ、さらには音声生成部２２で生成された音声データは、音声入出力コントロール部２８を介して通信部２６に供給することができる。
通信部２６はシステムコントローラ１０の制御に従って、供給された画像データや音声データに対して、送信のためのエンコード処理、変調処理等を行い、外部機器に送信することができる。
また通信部２６は外部機器からのデータ受信動作を行う。受信復調した画像データは画像入出力コントロール部２７へ出力し、また受信復調した音声データは音声入出力コントロール部２８へ出力する。

この図４の構成例の場合、撮像部３で撮像され、撮像信号処理部１５で処理された撮像画像データは画像入出力コントロール部２７を介して表示画像処理部１２に供給できる。その場合、表示画像処理部１２、表示駆動部１３の上記動作により、表示部２において撮像画像が表示されることになる。
また、ストレージ部２５で再生された画像データや、通信部２６で受信された画像データも、画像入出力コントロール部２７を介して表示画像処理部１２に供給できる。その場合、表示画像処理部１２、表示駆動部１３の上記動作により、表示部２において再生画像や受信画像が出力されることになる。

また、音声入力部６で得られた音声データ、ストレージ部２５で再生された音声データ、通信部２６で受信された音声データは、音声入出力コントロール部２８により選択されて音声信号処理部１６に供給される。

従ってユーザは、表示装置１を装着した状態で、撮像画像と撮像時の外部音声を視聴したり、ストレージ部２５で再生された画像や音声を視聴したり、通信部２６で受信した画像や音声を視聴することができる。
そして特に、画像生成部２１での画像が、これらの撮像画像、又は再生画像、又は受信画像とともに表示画像処理部１２に供給されることで、撮像画像、又は再生画像、又は受信画像とともに生体情報画像が表示される。
また音声生成部２２で音声データが生成されたタイミングでは、音声入出力コントロール部２８が、その生成された音声データを音声信号処理部１６に供給することで、例えば外部音声、再生音声、受信音声を聞いている際に、音声生成部２２で生成されたメッセージ音声や警告音等を聞くことができる。

なお、この図４の構成の場合、上記図２，図３で述べた表示系の動作や撮像機能にかかる動作に加え、ストレージ部２５での再生、頭出し、早送り／早戻し、一時停止、記録などのための動作制御や、通信部２６での送受信に関する動作制御のトリガを、システムコントローラ１０が判断しなければならないが、この場合も、ユーザが操作する操作キー等の操作子を設け、操作に応じた処理を実行するか、或いは生体情報検出部２０で検出されるユーザの状況（例えば眼の動きや身体の挙動や状態等）からシステムコントローラ１０がユーザの操作意志や適切な動作処理を判別し、それに応じた処理を実行するようにしてもよい。
さらには、外界情報（表示装置の周囲の状況や、場所、日時、被写体の状況などの検知情報）を検知することができる構成とし、システムコントローラ１０が外界情報に基づいて適切な動作処理を判別し、処理を実行するようにしてもよい。

以上、図２，図３，図４に表示装置１の構成例を示したが、表示装置１としてはさらに多様な構成例が想定される。
図２は表示部２で表示する画像は生体情報画像のみとする構成例を示した。
図３は表示部２で表示する画像を生体情報画像と撮像画像とする構成例を示した。
図４は表示部２で表示する画像を生体情報画像と、撮像画像、再生画像、受信画像とする構成例を示した。
これ以外に、表示部２で表示する画像を生体情報画像と再生画像とする構成例や、表示部２で表示する画像を生体情報画像と受信画像とする構成例も考えられる。

また撮像機能部位を設ける場合に、複数の撮像機能部位が設ける構成も考えられる。
また、撮像機能部位において、撮像部３（撮像レンズ３ａ）は被写体方向が固定とされる例と被写体方向を変更できるように可動とされる例が考えられるが、複数の撮像機能部位を設ける場合、全てを固定とする構成例、全てを可動とする構成例、一部を固定で一部を可動とする構成例がそれぞれ想定される。

また図２，図３，図４では音声出力系を有する構成を示したが、音声出力系（音声生成部２２，音声信号処理部１６、音声出力部５、音声入出力コントロール部２８等）を設けない構成も考えられる。

［３．生体情報］

生体情報検出部２０で検出する生体情報の例について述べておく。
上記したように、生体情報は、脈拍、心拍、心電図信号、筋電、呼吸（例えば呼吸の速さ、深さ、換気量など）、発汗、ＧＳＲ（皮膚電気反応）、血圧、血中酸素飽和濃度（ＳｐＯ２）、皮膚表面温度、脳波（例えばα波、β波、θ波、δ波の情報）、血流変化（近赤外分光による脳血流、抹消血流などの血流変化）、体温、体の動き（揺れ）、頭の動き（揺れ）、重心、歩行／走行のリズム、眼の状態（瞳孔状態、眼の動き、まばたき等）などである。
これらはユーザの身体状況を示す指標となり、表示装置１についてのユーザの使用形態、使用目的、ユーザの年齢、性別、ユーザが知りたい情報などに応じて選択され、その情報が表示できるようにすればよい。

以下、生体情報の種類と要素技術について例示しておく。特に中枢神経系、自律神経系、視覚神経系、体性神経系の生体情報を挙げる。各例においては、検出情報の物理量・測定量と、その為の要素技術、さらにはそれらの生体情報の利用応用例を示しておく。

＜中枢神経系１：脳波・脳電位図（ＥＥＧ：Electro Encephalo Graphy）＞
＊物理量、測定量
・周波数（α波、β波、θ波、δ波など）
・振幅（Ｆｍθ波など）
・α波、β波、θ波、δ波の発生部位（分布）
・出現率（α波など）
・事象関連電位（ＥＲＰ：Event-related potential）
＊要素技術
・周波数解析
・時系列解析
・自己・相互相関解析
＊利用応用例
・覚醒水準の推定（緊張興奮、注意集中）
・心理状態の解析（例えばＥＳＡＭ（Emotion Spectrum Analysis Method：感性スペクトル解析法））
・刺激に対する生体活動の応答
・バイオフィードバック（α波の変動を利用）
・心理療法

＜中枢神経系２：脳磁図（ＭＥＧ：Magnet Encephalo Graphy）＞
＊物理量、測定量
・周波数（α波、β波、θ波、δ波など）
・α波、β波、θ波、δ波の発生部位
・事象関連電位（ＥＲＰ：Event-related potential）
＊要素技術
・周波数解析
・時系列解析
・逆問題（ダイポール推定法）
＊利用応用例
・脳内活動部位の特定
・・事象関連脳磁場
・・記憶・言語などの高次機能の解析
・・大脳皮質の機能マッピング

＜中枢神経系３：機能的核磁気共鳴画像（ｆＭＲＩ：functional Magnetic Resonance Imaging）＞
＊物理量、測定量
・周波数（α波、β波、θ波、δ波など）
・α波、β波、θ波、δ波の発生部位
・事象関連電位（ＥＲＰ：Event-related potential）
＊要素技術
・時系列解析
・相互相関分析
＊利用応用例
・脳機能の解析
・・視覚的、空間的注意、視覚イメージ
・・色の知覚
・・言語、運動など

＜自律神経系１：心臓循環系（心電図・脈拍）＞
＊物理量、測定量
・周波数（Ｒ−Ｒ間隔、心拍変動、脈拍）
・振幅（脈、心拍）
・波形（脈、心拍）
＊要素技術
・周波数解析、ＦＦＴ（Fast Fourier Transform），ＭＥＭ（Maximum Entropy Method）、Ｗａｖｅｌｅｔ解析
・時系列解析
＊利用応用例
・緊張・弛緩の推定
・情動状態の推定
・交感神経、迷走神経の働きの解析

＜自律神経系２：呼吸器系（呼吸活動）＞
＊物理量、測定量
・周波数（呼吸の速さ）
・振幅（呼吸の深さ）
・波形（呼吸曲線）
・換気量（呼吸率、ガス交換率）
＊要素技術
・周波数解析
・時系列解析
・サイクル分析法
＊利用応用例
・緊張・弛緩の推定
・虚偽の検出
・リラクゼーション（呼吸調整、調息）

＜自律神経系３：皮膚電気活動（精神性の発汗）＞
＊物理量、測定量
・反応振幅
・波形（反応の時間変数）
・出現頻度
＊要素技術
・周波数解析
・時系列解析
＊利用応用例
・恐怖・不安の検出
・覚醒水準の推定

＜自律神経系３：温熱系（皮膚温）＞
＊物理量、測定量
・皮膚温度
・温度分布
＊要素技術
・周波数解析
・時系列解析
＊利用応用例
・情動の推定
・・不安・困惑・怒り（手指の皮膚温の低下）
・・安堵・弛緩（手指の皮膚温の上昇）
・精神的負荷の推定
・・手指、鼻部の皮膚温の低下

＜体性神経系（筋電図）＞
＊物理量、測定量
・周波数
・振幅
・波形
＊要素技術
・周波数解析
・時系列解析
＊利用応用例
・覚醒水準の推定
・緊張・弛緩の推定
・表情・動作・運動の研究
・リハビリテーション（バイオフィードバック）

＜視覚神経系（眼球運動、瞳孔運動、まばたき）＞
＊物理量、測定量
・周波数
・振幅（反応振幅）
・波形（反応電位、持続時間、停留時間）
・頻度（サッカディック眼球運動、まばたき）
＊要素技術
・周波数解析
・時系列解析
＊利用応用例
・覚醒水準の推定
・興味の推定
・心的負荷の推定

［４．画面上の表示例］

続いて、表示部２に表示する生体情報画像の例と、表示部２での領域形態について説明する。
図５は、画像生成部２１が生成する生体情報画像信号による画像例である。
図５（ａ）は生体情報のイメージ画像を表示する例である。この例では脳波として、α波、β波、θ波、δ波のそれぞれについて発生部位と振幅を提示する画像としている。なおイメージ画像とは、表示する生体情報について、例えば頭部、身体などの図形上で生体情報を表現したり、身体活動を模式的な画像で示すものなどである。
図５（ｂ）（ｃ）は生体情報をグラフ画像で表示する例である。図５（ｂ）は、例えば心拍、脈拍等の波形を示す画像例である。また図５（ｃ）は、例えば血圧、心拍、体温、発汗、ストレスなどを数値化して、そのレベルを表示した画像例である。

例えばこれらのようなイメージ画像やグラフ画像は、図６，図７に示すように表示部２に表示させればよい。
即ち画面領域内で親画面領域と子画面領域を設定し、親画面領域と子画面領域の一方で生体情報画像を表示する。或いは、画面領域を分割し、分割した各領域の一方で生体情報画像を表示する。

図６、図７において領域ＡＲ１はスルー状態の領域、もしくは撮像画像、再生画像、受信画像が表示される領域とし、斜線部として示す領域ＡＲ２は、生体情報画像を表示する領域としている。
図６（ａ）は、表示部２の画面領域で、領域ＡＲ１内で右下に子画面としての領域ＡＲ２を設定し、領域ＡＲ２に生体情報画像の表示を行っている例である。
図６（ｂ）は、表示部２の画面領域で、領域ＡＲ１内で左下に子画面としての領域ＡＲ２を設定し、生体情報画像の表示を行っている例である。
図示しないが、このように子画面を設定する場合、領域ＡＲ１内の右上、左上、中央、中央右寄り、中央左寄りなど、各種の位置に子画面としての領域ＡＲ２を設定し、そこに生体情報画像を表示することもできる。
図６（ｃ）は、領域ＡＲ２としてのサイズを小さくした例である。
図６（ｄ）は、領域ＡＲ２としてのサイズを大きくした例である。
図６（ｅ）は、表示部２の画面領域で、領域ＡＲ１と領域ＡＲ２を等分割して左右に分けた例である。
図６（ｆ）は、表示部２の画面領域で、領域ＡＲ１と領域ＡＲ２を等分割して上下に分けた例である。

例えば図２の構成において、生体情報画像の表示を行う場合、この図６（ａ）〜（ｆ）のような形態で、領域ＡＲ１をスルー状態としながら領域ＡＲ２に生体情報画像表示を行うことが考えられる。
また、図３の構成の場合、領域ＡＲ１はスルー又は撮像画像表示の状態とし、領域ＡＲ２に生体情報画像表示を行う。
また、図４の構成の場合、領域ＡＲ１はスルー又は撮像画像表示、又は再生画像表示、又は受信画像表示の状態とし、領域ＡＲ２に生体情報画像表示を行う。

なおシステムコントローラ１０は、例えばユーザの操作情報や、生体情報検出部２０で検出したユーザの状況、或いは外界の状況等に基づいて、図６（ａ）〜（ｆ）どのような領域形態で生体情報画像表示を行うかを選択したり、或いはこれらを切り換えるようにしてもよい。例えばユーザの操作等に応じて図６（ａ）（ｂ）のように子画面とされる領域ＡＲ２の位置を変更したり、図６（ｃ）（ｄ）のように領域ＡＲ２のサイズを変更したり、図６（ｅ）（ｆ）のように等分割することで、ユーザの好みに合わせた表示を行うことができる。
また、いわゆる表示領域交代として、図６（ａ）〜（ｆ）における領域ＡＲ１に相当する部分を領域ＡＲ２として生体情報画像表示、図６（ａ）〜（ｆ）における領域ＡＲ２に相当する部分を領域ＡＲ１としてスルー状態等とするような切り換えを行うことも考えられる。

また生体情報としては、上述のように多様に考えられ、従って複数の生体情報画像を表示させる場合もある。
図７（ａ）（ｂ）（ｃ）は、生体情報画像を表示する領域として２つの領域ＡＲ２ａ、ＡＲ２ｂを設定する例としている。
図７（ａ）は、表示部２の画面領域で、領域ＡＲ１内で右下と左下に２つの子画面としての領域ＡＲ２ａ、ＡＲ２ｂを設定し、生体情報画像表示を行っている例である。
図７（ｂ）は、表示部２の画面領域で、領域ＡＲ１の左右に領域ＡＲ２ａ、ＡＲ２ｂを設定し、生体情報画像表示を行っている例である。
図７（ｃ）は、表示部２の画面領域で、領域ＡＲ１の上下に領域ＡＲ２ａ、ＡＲ２ｂを設定し、生体情報画像表示を行っている例である。
このような２つの領域ＡＲ２ａ、ＡＲ２ｂで、２つの生体情報画像を表示することができる。例えば領域ＡＲ２ａで図５（ａ）の脳波のイメージ画像を表示し、領域ＡＲ２ｂで図５（ｃ）のグラフ画像を表示するなどである。
もちろん、システムコントローラ１０の制御によって領域形態の切換や領域の交代が行われることも図６の場合と同様に想定される。
さらに、３以上の生体情報画像を表示することも想定される。

また、図６，図７では、表示画面上の一部の領域ＡＲ１をスルー状態（又は撮像画像等の表示）としながら、一部の領域ＡＲ２で生体情報画像を表示する例としたが、図８（ａ）に示すように、全画面を切り換えるような表示を行っても良い。
図８（ａ）左側は、画面全体がスルー状態（又は撮像画像、再生画像、受信画像の表示状態）であるが、例えばユーザの操作、或いはユーザの身体状況、或いは外界の状況、或いは定期的に、図８（ａ）右側のように画面全体が生体情報画像を表示する状態に切り換えられるようにする。

図５では生体情報画像をイメージ画像やグラフ画像とした例を挙げたが、生体情報画像
を文字表示画像としたり、生体情報に基づく告知を行う画像とすることも考えられる。告知を行う画像とは、例えば点滅表示や色変化表示により、使用者に注意を与える画像などである。
図８（ｂ）は文字表示画像の例である。表示部２の画面上の全体を領域ＡＲ１とし、この領域ＡＲ１をスルー状態（又は撮像画像、再生画像、受信画像の表示状態）としている。この場合に、画像生成部２１はメッセージ文字等の文字画像信号を生成し、表示部に文字画像ＴＤを領域ＡＲ１上に重畳表示させる。
例えば「血圧が上がっています」「心拍数は正常です」「休息してください」など、生体情報検出部２０から検出される情報に基づいてシステムコントローラ１０がメッセージ内容を選択し、画像生成部２１に文字キャラクタ画像を生成させ、表示させる。或いはメッセージ文字ではなく、検出されている生体情報の数値を常に表示させることもかんがえられる。例えばリアルタイムで検知される血圧の値、心拍数の値、呼吸回数の値などを、画面上に数値として表示させるなどである。
表示される文字については、システムコントローラ１０は表示画像処理部１２に指示して、状況に応じてスクロール表示、点滅表示、拡大表示、ボールド表示などを行わせても良い。

図８（ｃ）は、告知を行う画像の例であり、表示部２の画面上の全体を領域ＡＲ１とし、この領域ＡＲ１をスルー状態（又は撮像画像、再生画像、受信画像の表示状態）としている。この場合に、画像生成部２１は各種の生体情報のマーク表示ＭＤを行う。システムコントローラ１０は、例えば血圧、心拍、呼吸、発汗、疲労などを常時生体情報検出部２０からの検出情報に基づいて正常範囲か、正常範囲外となったかを判断する処理を行い、それに応じて各マークの色や表示状態を変化させるように画像生成部２１に指示する。
例えば血圧が正常の範囲であれば、血圧のマークを青色で表示し、血圧が高く（或いは低く）なるに従って黄色、赤色に変化させるなどである。或いは、異常な値となったマークについて点滅表示を行ったり、マークの形状を変化させるなどしてもよい。
このようなマーク表示を行うことでも、ユーザは、自分の身体の状況を監視できることになる。

なお、生体情報画像の表示に関しては、上記の例に限られず、表示内容、表示形態、表示領域等、非常に多様に考えられることは言うまでもない。
また、図５のようなイメージ画像やグラフ画像を表示させながら、随時メッセージ文字を表示させたり、警告表示を実行させることも考えられる。
さらに本例のように両眼に対応して表示部２，２を有する場合に、一方の表示部２をスルー状態（又は撮像画像、再生画像、受信画像の表示状態）とし、他方の表示部２に生体情報画像を表示させるようなことも考えられる。

［５．生体情報表示処理例］

以上の例のように生体情報画像を表示するためのシステムコントローラ１０の処理を図９で説明する。
ステップＦ１００は、システムコントローラ１０が表示部２の全体をスルー状態とするように指示している状態、或いは撮像画像、又は再生画像、又は受信画像を表示させている状態を示している。
例えば表示装置１が電源オンとされた際には、まずシステムコントローラ１０は、表示部２の全体をスルー状態とすることが一例として考えられる。

システムコントローラ１０はステップＦ１０１で生体情報画像の表示開始トリガが発生したか否かを確認する。
生体情報画像の表示開始トリガは多様に考えられる。例えばユーザが表示開始の操作を行うことを生体情報画像の表示開始トリガ発生としてもよい。
また、電源オンとされることを生体情報画像の表示開始トリガ発生としてもよい（その場合、電源オンの際にはステップＦ１００は経由しない）。
また、ユーザが表示装置１を装着したことを検出したら、生体情報画像の表示開始トリガ発生としてもよい。ユーザが表示装置１を装着したことは、当然ながら生体情報検出部２０により検知可能である。
また、生体情報検出部２０で検出されるユーザの挙動や状況を、ユーザの操作意志と判別して生体情報画像の表示開始トリガ発生としてもよい。例えばまばたきを３回連続して行うなどといった特定の挙動を表示開始操作として設定しておく。その場合ユーザは、生体情報画像を見たい場合は、まばたきを３回連続して行えばよい。するとその挙動が生体情報検出部２０によって検知され、システムコントローラ１０は、それをユーザの操作と認識して、生体情報画像の表示開始トリガ発生と判断する。
また、生体情報検出部２０において、検出している生体情報、例えば心拍数、脈拍数、呼吸活動などにおいて変動が大きくなった場合など、生体情報の検知状況に応じて生体情報画像の表示開始トリガが発生したと判断するようにしてもよい。
また、上記のメッセージ表示、告知表示として生体情報画像を表示する場合、つまり常時表示するのではなく、検出値が異常な値となってユーザに警告するような表示態様の場合は、検出している生体情報が正常な範囲の値でなくなったと判断したこと生体情報画像の表示開始トリガ発生とすることが考えられる。

生体情報画像の表示開始トリガがあったと判別した場合は、システムコントローラ１０は処理をステップＦ１０２に進め、生体情報画像の表示開始制御を行う。即ち画像生成部２１に生体情報画像信号の生成を実行させるとともに、表示制御部１４に生体情報画像の表示を実行させる。これによって、画像生成部２１で生成された生体情報画像信号が表示画像処理部１２に供給され、上述したような所定の領域形態において表示部２に生体情報画像が表示されることになる。

生体情報画像の表示を開始させた後は、システムコントローラ１０は、リアルタイムで生体情報検出部２０の検出情報を把握し、その検出情報に基づいて画像生成部２１に生体情報画像信号を生成させていく。従って、ユーザは表示部２での生体情報画像により自分の身体状況をリアルタイムに監視できることになる。
このように生体情報画像を表示させながら、システムコントローラ１０は、ステップＦ１０３で表示切換トリガが発生したか否かを監視し、またステップＦ１０４で警告トリガが発生したか否かを監視し、またステップＦ１０５で生体情報画像の表示終了トリガが発生したか否かを監視する。

ステップＦ１０３での表示切換トリガの発生とは、上記表示開始トリガの場合と同様、ユーザ操作、或いは生体情報検出部２０で検出されるユーザの挙動や身体状況、或いは外界状況によるシステムコントローラ１０の判断により、表示画像の切換を行うとシステムコントローラ１０が判断することを意味している。
表示画像の切換とは、生体情報画像としての表示画像内容の切換や、領域形態の切換や、表示タイミングの切換などがある。

そして表示画像内容の切換とは、例えば次のような切換である。
１つには、図５（ａ）のように脳波のイメージ画像を表示させていた状態から、図５（ｂ）の心拍のグラフ画像に切り換えるなど、表示する生体情報内容と画像形式の切換がある。
また生体情報内容のみの切換もある。例えば血圧をグラフ画像で表示していた状態から体温をグラフ画像で表示する状態に切り換えることや、脳波のイメージ画像を表示していた状態から呼吸活動のイメージ画像を表示する状態に切り換えるなどである。
また画像形式のみの切換もある。例えば皮膚電気反応をグラフ画像で表示していた状態から皮膚電気反応をイメージ画像で表示する状態に切り換えたり、血圧等についてグラフ画像表示からメッセージ文字表示に切り換えることなどである。
また、表示する生体情報画像数の切換もある。例えば１つの生体情報画像の表示状態から２つの生体情報画像の表示状態に切り換えるなどである。

領域形態の切換とは、親子画面の位置変更や親子画面交代、分割画面の位置変更や領域交代、全画面表示への切換などであり、例えば図６（ａ）の状態から図６（ｂ）の状態に切り換えたり、図６（ａ）の状態から図６（ｅ）の状態に切り換えるなどの制御である。
表示タイミングの切換とは、例えば常時表示、随時表示、定期的な表示、或いは警告時のみの表示などの切換である。

表示切換トリガ発生と判断した場合は、システムコントローラ１０は処理をステップＦ１０３からＦ１０６に進め、生体情報画像の表示動作に関しての切換制御を行う。これにより表示部２において表示されている画像の内容、もしくは領域形態、もしくは表示タイミングの切換が行われる。
システムコントローラ１０はステップＦ１０６で表示切換に関しての制御を行った後も、ステップＦ１０３，Ｆ１０４、Ｆ１０５のトリガ発生の監視を行う。

ステップＦ１０４での警告トリガの発生とは、或る生体情報について、異常な値が検出されたとシステムコントローラ１０が判断した場合である。
例えばシステムコントローラ１０は、心拍、脈拍、発汗、血圧、呼吸数、体温・・・等、検出する対象の生体情報について、標準的な数値範囲（正常な範囲）を記憶しておく。より好ましくは、或いは年齢、性別等に応じて標準的な数値範囲を記憶しておき、表示装置１のユーザは初期設定として自分の年齢・性別等を入力しておく。さらにはユーザ個人にとっての標準的な数値範囲を入力するなどして記憶させてもよい。
いずれにしてもシステムコントローラ１０は、標準的な数値範囲を記憶しており、生体情報検出部２０で検出される数値が標準範囲から外れたら、警告トリガ発生と判断する。

警告トリガ発生と判断した場合は、システムコントローラ１０は処理をステップＦ１０４からＦ１０７に進め、警告処理を行う。
警告処理としては、例えばシステムコントローラ１０は音声生成部２２に警告メッセージ音声の音声信号を生成させ、音声出力部５から警告内容を通知するメッセージ音声を出力させるという処理が考えられる。
或いは、音声生成部２２にユーザに注意を喚起させる電子音等の音声信号を生成させ、音声出力部５から電子音等を出力させるという処理が考えられる。例えば表示部２に生体情報画像を常時表示させていても、ユーザが常にその生体情報画像を注視しているとは限らないため、電子音等により、表示されている生体情報画像にユーザの注意を向けさせるような処理である。
また警告処理としては、表示される生体情報画像において変化をもける処理もある。例えば図８（ｃ）のようなマーク画像を点滅させたり、色を変えるような制御である。
さらに常時図５のような生体情報画像を表示している場合に、その生体情報画像に加えて図８（ｂ）のようにメッセージ文字画像、或いは警告ランプのマークのような画像を加えて表示させることも考えられる。
システムコントローラ１０はステップＦ１０７で警告処理の制御を行った後も、ステップＦ１０３，Ｆ１０４、Ｆ１０５のトリガ発生の監視を行う。

なお、常時生体情報画像を表示させずに、警告すべき状態となったときに生体情報画像を表示させるような表示タイミングの設定となっている場合は、上記したように警告すべき状態となったことを検知したら、それをステップＦ１０１の表示開始トリガ発生と判断して生体情報画像の表示を開始するものとすればよい。従って、ステップＦ１０４、Ｆ１０７の処理は、特に生体情報画像を表示している際において警告トリガが発生した場合の処理としている。

ステップＦ１０５での生体情報画像の表示終了トリガについては、例えばユーザが所定の操作子により表示を終了させる操作を行った場合に、システムコントローラ１０は生体情報画像の表示状態を終了させるトリガの発生と判断すればよいが、生体情報検出部２０により検出されるユーザの状況や、外界の状況に基づいて、生体情報画像の表示終了トリガの発生とシステムコントローラ１０が判断することもできる。

生体情報画像の表示終了トリガ発生と判断した場合は、システムコントローラ１０は処理をステップＦ１０５からＦ１０８に進め、画像生成部２１に生体情報画像信号を生成させる動作を終了させ、また表示制御部１４に生体情報画像の表示終了を指示し、表示部２で生体情報画像を表示させる動作を終了させる。そしてシステムコントローラ１０の処理はステップＦ１００に戻り、表示部２は全面スルー状態（もしくは撮像画像、再生画像、受信画像のみの表示状態）に戻る。
なお、ステップＦ１０８の生体情報画像の表示終了制御の際には、電源オフとすることな制御処理も考えられる。

システムコントローラ１０が、例えばこの図９のような制御処理を行うことで、表示部２において生体情報画像が表示される。
なお、生体情報画像の表示のための処理は図９に限られず、他にも多様な処理例が考えられる。

［６．実施の形態の効果、変形例及び拡張例］

以上、実施の形態を説明してきたが、実施の形態の表示装置１では、ユーザの眼前に配置される表示部２において、ユーザの生体情報に基づく画像を表示させる。これによりユーザは、スルー状態の表示手段を介して視界を通常に見たり、或いは表示手段に表示されている撮像画像、受信画像、再生画像等を見たりしているときに、生体情報画像によって自分の身体状況を監視をできる。
特に眼前で生体情報画像を視認できることは、ユーザに、ときおり生体情報のモニタ表示に注意を向けるということを要求しない。例えば別体の携帯用の表示装置や腕時計型の表示装置などに生体情報画像を表示させる場合、ユーザは、何らかの活動をしているときに、自分からそれらの表示装置を確認しなければならいが、本例の場合、常に眼前で生体情報画像を確認できるため、活動中の身体状況チェックに特に有効である。
例えばジョギング中やスポーツクラブでの運動中に、本例の表示装置１を装着していることで、身体状況を把握しながら運動できる。またそれは、身体に負担が大きくなったり、異常な状態になった場合も、即座に知ることができるため、休憩をとるなど、適切な対応がとれる。また音声や画像において警告を提示することも、このような場合に好適である。

つまり各個人が自分の生体情報をヘッドマウントディスプレイやめがね型ディスプレイとしての表示装置１を用いて、即時に（リアルタイムで）知ることができるため、いつでもどこでも自分の身体の状態やストレス度合いを知ることができ、それにすぐに行動として対処できる。
このため日常のセルフチェックに利用できるのはもちろんだが、スポーツやフィットネスに利用する場合、ユーザが運動の負荷が高ければカームダウン、低ければ運動強度を高めるなど、客観的に自己制御できる。
ペースメーカーをしている人や不整脈のある人にとっては、自分の健康状態をモニタできるので、各種兆候を事前に察知でき、病気予防としても非常に有用である。
以上のようなことから本例の表示装置１は、自分の身体状況の把握、健康管理、健康対策、運動中の身体状況チェック、ダイエット・フィットネスなどに非常に有用になる。

なお表示装置１の外観や構成は図１，図２、図３，図４の例に限定されるものではなく、各種の変形例が考えられる。
また図４のようにストレージ部２５を設ける場合、生体情報画像あるいは生体情報検出部２０の検出データを記録媒体に記録し、後に再生させて身体状況のチェックを行うということもできる。
また通信部２６を設ける場合、生体情報画像あるいは生体情報検出部２０の検出データを外部機器に送信し、常に外部機器において身体状況を記録したり、判定したりすることもできる。例えば病気療養中やリハビリテーション中の患者が表示装置１を装着し、その患者の生体情報の画像や検出データを、送信先の外部機器において医師がチェックできるようにすることなどの使用法が考えられる。

また、表示装置１として眼鏡型或いは頭部装着型の装着ユニットを有する例を述べたが、本発明の表示装置は、ユーザの眼前で表示を行うことができるように構成されればよく、例えばヘッドホン型、ネックバンドタイプ、耳掛け式など、どのような装着ユニットでユーザに装着されるものであってもよい。さらには、例えば通常の眼鏡やバイザー、或いはヘッドホン等に、クリップなどの取付具で取り付けることでユーザに装着されるような形態であってもよい。
また内側に表示部を配置したアイマスクとしての形態も想定される。例えばユーザの就寝中に生体情報を検出しており、異常な状態となったら、表示部において眠っているユーザに警告表示をおこなって刺激を与えたり、起床を促したり、或いは外部機器に生体情報を送信して、外部機器から周囲の人に注意を与えるなどの例も考えられる。

本発明の実施の形態の表示装置の外観例の説明図である。 実施の形態の表示装置のブロック図である。 実施の形態の表示装置の他のブロック図である。 実施の形態の表示装置の更に他のブロック図である。 実施の形態の生体情報画像の説明図である。 実施の形態の生体情報画像の表示の際の領域形態の説明図である。 実施の形態の生体情報画像の表示の際の領域形態の説明図である。 実施の形態の生体情報画像の説明図である。 実施の形態の制御処理のフローチャートである。

符号の説明

１ 表示装置、２ 表示部、３ 撮像部、５ 音声出力部、１０ システムコントローラ、１１ 撮像制御部、１２ 表示画像処理部、１３ 表示駆動部、１４ 表示制御部、１５ 撮像信号処理部、２０ 生体情報検出部、２１ 画像生成部、２２ 音声生成部、２５ ストレージ部、２６ 通信部

Claims (20)

1. 使用者の目の前方に位置するように配置されて画像表示を行う表示手段と、
   使用者の生体情報を検出する生体情報検出手段と、
   上記生体情報検出手段で検出された上記生体情報に基づく表示画像となる生体情報画像信号を生成する生体情報画像生成手段と、
   上記生体情報画像生成手段で生成された生体情報画像信号による表示を上記表示手段に実行させる制御を行う制御手段と、
   を備えたことを特徴とする表示装置。
2. 上記表示手段は、画像表示を行う画面領域の全部又は一部を透明もしくは半透明であるスルー状態とすることができることを特徴とする請求項１に記載の表示装置。
3. 上記制御手段は、上記表示手段に、上記画面領域の一部を上記スルー状態とした上で上記生体情報画像生成手段で生成された生体情報画像信号による表示を実行させる制御を行うことを特徴とする請求項２に記載の表示装置。
4. 画像信号を生成して上記表示手段に供給する表示画像生成手段を更に備え、
   上記制御手段は、上記表示手段に、上記表示画像生成手段で生成された画像信号による表示と、上記生体情報画像生成手段で生成された生体情報画像信号による表示とを実行させる制御を行うことを特徴とする請求項１に記載の表示装置。
5. 上記表示画像生成手段は、外界の撮像により得た撮像画像信号を、上記表示手段に供給する構成とされていることを特徴とする請求項４に記載の表示装置。
6. 上記表示画像生成手段は、外部機器から受信した受信画像信号を、上記表示手段に供給する構成とされていることを特徴とする請求項４に記載の表示装置。
7. 上記表示画像生成手段は、記録媒体から再生した再生画像信号を、上記表示手段に供給する構成とされていることを特徴とする請求項４に記載の表示装置。
8. 上記表示手段において、上記画面領域内で親画面領域と子画面領域が設定されて、親画面領域と子画面領域のうちの一方で、上記生体情報画像生成手段で生成された生体情報画像信号による表示が実行されることを特徴とする請求項１に記載の表示装置。
9. 上記表示手段において、上記画面領域が分割され、分割された各領域の一方で、上記生体情報画像生成手段で生成された生体情報画像信号による表示が実行されることを特徴とする請求項１に記載の表示装置。
10. 上記表示手段は、複数の表示部を有することを特徴とする請求項１に記載の表示装置。
11. 上記生体情報は、脈拍、心拍、心電図、筋電、呼吸、発汗、ＧＳＲ、血圧、血中酸素飽和濃度、皮膚表面温度、脳波、血流変化、体温、体の動き、頭の動き、重心、歩行／走行のリズム、眼の状態のうちの少なくとも一つであることを特徴とする請求項１に記載の表示装置。
12. 上記生体情報検出手段は、使用者の身体に装着したセンサを用いて上記生体情報を検出することを特徴とする請求項１に記載の表示装置。
13. 上記生体情報検出手段は、使用者の身体を撮像する撮像部を用いて上記生体情報を検出することを特徴とする請求項１に記載の表示装置。
14. 上記生体情報画像生成手段が生成する上記生体情報画像信号は、生体情報のイメージ画像としての画像信号であることを特徴とする請求項１に記載の表示装置。
15. 上記生体情報画像生成手段が生成する上記生体情報画像信号は、生体情報をグラフで示す画像としての画像信号であることを特徴とする請求項１に記載の表示装置。
16. 上記生体情報画像生成手段が生成する上記生体情報画像信号は、生体情報に基づく文字表示画像としての画像信号であることを特徴とする請求項１に記載の表示装置。
17. 上記生体情報画像生成手段が生成する上記生体情報画像信号は、生体情報に基づく告知を行う画像としての画像信号であることを特徴とする請求項１に記載の表示装置。
18. 上記告知を行う画像とは、点滅表示、又は色変化表示により、使用者に注意を与える画像であることを特徴とする請求項１７に記載の表示装置。
19. 音声出力手段を更に備え、
    上記制御手段は、上記音声出力手段により、生体情報に基づく告知を実行させる制御を行うことを特徴とする請求項１に記載の表示装置。
20. 使用者の目の前方に位置するように配置されて画像表示を行う表示手段を備えた表示装置の表示方法として、
    使用者の生体情報を検出する生体情報検出ステップと、
    上記生体情報検出ステップで検出された上記生体情報に基づく表示画像となる生体情報画像信号を生成する生体情報画像生成ステップと、
    上記生体情報画像生成ステップで生成された生体情報画像信号による表示を上記表示手段で実行する表示ステップと、
    を備えたことを特徴とする表示方法。

Images