図1から図75は本発明の実施例1を示したものであり、図1は頭部装着型カメラの使用形態を示す斜視図である。
なお、本実施例の頭部装着型カメラは、画像を撮像する機能に着目すれば撮像装置であり、画像を表示する機能に着目すれば表示装置(あるいは、画像を再生する機能に着目すれば画像再生装置)でもある。そして、後述するように、危険防止機能付き頭部装着型表示装置となっている。さらに、この頭部装着型カメラは、画像を編集することも可能であるために、画像編集装置を兼ねたものとなっている。
また、画像再生装置は、画像再生方法や画像再生プログラムとしても適用することができ、該画像再生プログラムを記録媒体に記録することにより、画像再生プログラムを記録する記録媒体となる。
同様に、画像編集装置は、画像編集方法や画像編集プログラムとしても適用することができ、該画像編集プログラムを記録媒体に記録することにより、画像編集プログラムを記録する記録媒体となる。
この頭部装着型カメラ(以下では適宜、「カメラ」と略称する。)1は、図1に示すように、略めがね型をなし画像を撮像する機能を備えた頭部装着部2と、この頭部装着部2に対して無線で通信を行うことにより該頭部装着部2に係る操作入力を遠隔で行うとともに該頭部装着部2において撮像された画像データを無線で受信して記憶するための操作/記録部4と、に大別される。
上記頭部装着部2は、シースルー表示時に観察対象である被写体を実質的に直接観察することが可能であるとともに、該被写体の撮像も行うことができるように構成されたものである。この頭部装着部2は、形状が略めがね型をなすことで分かるように、視度補正用の一般的な眼鏡とほぼ同様にして頭部に装着し用いるものとなっており、重量やサイズ等も通常の眼鏡に極力近似するように小型軽量化が図られている。
上記操作/記録部4は、撮像のための各種操作信号を上記頭部装着部2へ無線で送信するとともに、該頭部装着部2により撮像された画像を無線で受信して記録を行い、さらに記録後の画像を編集するための画像編集装置としても機能し得るように構成されたものである。この操作/記録部4には、後述するような第2操作スイッチ171(図5、図11参照)が設けられていて、この第2操作スイッチ171は、上記頭部装着部2のシースルー表示の制御や撮影動作の制御などの比較的頻繁に行われる操作を、撮影者が遠隔操作により手元で行うためのものである。従って、この操作/記録部4は、例えば片手の掌に収まる程度の小型な大きさとなるように、可能な範囲内での小型軽量化が図られたものとなっている。また、この操作/記録部4は、腰のベルト等に取り付けた状態、あるいは上着の内ポケット等に収納した状態、などの各種の状態でも使用することができるように構成されている。
これらの頭部装着部2と操作/記録部4とは、本実施例では互いに別体として構成されており、これにより、頭部装着部2を小型軽量化することによる装着感の向上、操作/記録部4の採用による操作性の向上、などを図るようにしている。
さらに、頭部装着部2と操作/記録部4とは、上述したように、無線で通信するようになっているために、例えば互いにケーブルで接続したときのような取り回しの不便さや拘束感がなく、自由で軽快に操作することができる。頭部装着型カメラは、高い機動性や操作性が要求されるために、このような構成を採用することが特に有効となっている。
次に、図2から図4を参照して、頭部装着部2の外観および概要について説明する。図2は頭部装着部を示す正面図、図3は頭部装着部を示す平面図、図4は頭部装着部を示す右側面図である。
この頭部装着部2は、一般的な眼鏡におけるレンズ、リム、ブリッジ、智などに相当する部分であるフロント部11と、このフロント部11の左右両側から後方(被写体と反対側)に向けて各延設されており該フロント部11に対して折り畳み可能となっているテンプル部12と、を有して構成されている。
上記フロント部11は、画像表示用の光学系の一部や視線方向検出用の光学系の一部や電気回路等を内蔵する保持手段たるフレーム部13を有して構成されている。
このフレーム部13は、略中央部に被写体までの距離を測定するために用いられる測距手段たる投光用発光部16が、左右両側部に被写体側からの音声をステレオで収録するための第1マイク17および第2マイク18が、それぞれ設けられている。
さらに、上記フレーム部13には、左右両眼に各対応するように導光部材たる透明光学部材14,15が取り付けられている。これらの透明光学部材14,15の内の、一方である透明光学部材14は後述するように視線方向を検出するために用いられ、他方である透明光学部材15は後述するように画像を表示するために用いられるようになっている。そして、これらの透明光学部材14,15は、それぞれの機能を果たすために必要な最小限の大きさとなるように形成されている。
上記透明光学部材14には、HOE(Holographic Optical Element:ホログラフィー光学素子)24とハーフミラー128とHOE129とがそれぞれ配設されており、上記透明光学部材15にはコンバイナとしてのHOE25が配設されている。各光学系の詳細については後述する。
加えて、上記フレーム部13には、上記透明光学部材14,15の被写体側に位置するように、視度調整のためのレンズ21,22がそれぞれ着脱可能に取り付けられるようになっている。
すなわち、フレーム部13には、上記レンズ21,22を取り付けるための取付手段たるリム20が、例えば中央側と、左眼の左横側と、右眼の右横側と、でそれぞれビス28により取り付けられるようになっている。
このリム20には、鼻梁を左右から支持することにより、鼻梁に対してこの頭部装着部2を載置するための一対の鼻パッド19が、一対のクリングス23を介して設けられている。
このような構成において、上記ビス28を外すことにより、リム20およびレンズ21,22を容易に取り外すことができるようになっており、また、レンズ21,22を他の視度に対応するものに交換して、再び取り付けることも容易となっている。
このとき、リム20を所定以上の弾力性のある素材により形成すれば、1つのビス28を外すかまたは緩めるだけで、左眼用のレンズ21または右眼用のレンズ22の一方のみを選択的に(独立して)着脱することができて利便性が高まる。
このように、この頭部装着型カメラは、視度調整用レンズ付頭部装着型カメラであって、画像を表示する機能に着目すれば、視度調整用レンズ付頭部装着型表示装置を兼ねたものとなっている。
なお、上記視度調整用のレンズ21,22は、一般的な眼鏡に用いられるレンズを利用することも可能であり、安価に構成することが可能となっている。
また、上述では、視度調整用のレンズ21,22を透明光学部材14,15の被写体側に配設したが、これに限らず、透明光学部材14,15の背面側(眼の側)に配設することも勿論可能である。
さらに、フレーム部13の左眼側(つまり、図2や図3における右側)の側面の継手29には、被写体像を撮像するための撮像手段であり測距手段も兼ねた撮像部30が、台座33を介して、撮影方向を調節可能に固定されるようになっている。
この台座33は、ビス34,35により上記継手29に対して取り付けられ、ビス36,37を介して自己の上に上記撮像部30を取り付けるように構成されている。該台座33を介して、撮像部30の上記フロント部11に対する相対的な角度を調整することにより、後述するように、該撮像部30に含まれる撮影光学系31(図10等も参照)の光軸と視軸とを調整することができるようになっている。このような構成における撮像部30の取付位置の調整については、後で図24、図25を参照して説明する。
そして、上記撮像部30の背面側からは、ケーブル38が一旦延出されて、左眼側のテンプル部12の下側を潜った後に、上記フレーム部13に接続されている。これにより、フレーム部13内の電気回路と、撮像部30内の電気回路とが互いに接続されている。
上記テンプル部12は、丁番78,79を用いて上記フロント部11と接続されていて、これにより該フロント部11に対して折り畳み可能となっている。すなわち、非使用時には、テンプル部12をフロント部11の中央部に向けて折り曲げ、該フロント部11に沿って折り畳まれた位置を取らせることができるために、小型化して収納や運搬を便利に行うことが可能となっている。また、左右の各テンプル部12の先端部には、耳にかけるための先セルモダン26がそれぞれ設けられている。
右眼側のテンプル部12には、後述する角速度センサ141,142(図11参照)などのこの頭部装着部2に係る各種の電子回路の一部と、この頭部装着部2内の各回路へ電源を供給するための電源回路174(図10参照)の構成要素である着脱可能な電池と、を収納するための収納部27が設けられている。この収納部27の例えば上面には、画像のシースルー表示を強制的に禁止するための危険防止操作手段たるスイッチ39が外部から所望に操作可能となるように配設されている。そして、該収納部27からは、ケーブル27aが延設されて、上記フレーム部13内の各回路に接続されており、さらには上記撮像部30内の回路を介して、上記操作/記録部4の回路と接続されるようになっている。
次に、図5から図9を参照して、操作/記録部4の外観および概要について説明する。図5は操作パネルを閉じた状態の操作/記録部を示す平面図、図6は操作パネルを閉じた状態の操作/記録部を示す右側面図、図7は操作パネルを閉じた状態の操作/記録部を示す左側面図、図8は操作パネルに配置された操作スイッチ類を示す平面図、図9は操作パネルを開いた状態の操作/記録部を示す斜視図である。
この操作/記録部4は、操作/記録本体部41と、この操作/記録本体部41に対してヒンジ43を介して開閉自在に設けられた操作パネル42と、を有して構成されている。
上記操作/記録本体部41は、後述するような各回路を内蔵するとともに、上記操作パネル42を開いたときに観察可能となる位置に液晶モニタとして構成された表示手段であるLCD表示素子(以下、「LCD」と省略する。)48が配設されたものとなっている。このLCD48は、再生時に画像を表示するのに用いられる他に、各種のモードを設定するためのメニュー画面等の表示にも用いられるようになっている。
この操作/記録本体部41の上面側には、図5に示すように、上記操作パネル42が閉じ状態であっても操作可能な辺縁角部に電源スイッチ44が配設され、さらに、該操作パネル42を開閉する際に指先等を掛け易いように、凹部45が形成されている。
また、この操作/記録本体部41の右側面には、図6に示すように、ヒンジ46により該操作/記録本体部41に対して開閉自在となる蓋52が設けられており、該蓋52の係止部52aを操作/記録本体部41側の被係止部52bに係止させることで、閉じ状態が保たれるようになっている。この蓋52を開くと、該図6に示すように、テレビと接続するための端子であるAV/S接続端子50と、パーソナルコンピュータ(PC)と接続するための端子であるPC接続端子51と、が露呈する。このように、コード類は、操作/記録本体部41の右側面において、まとめて接続されるようになっており、他の面からコード類が延出することがなく、コードを取り回すときの煩わしさを軽減することができるようになっている。
一方、操作/記録本体部41の左側面にも、図7に示すように、ヒンジ47により該操作/記録本体部41に対して開閉自在となる蓋53が設けられており、該蓋53の係止部53aを操作/記録本体部41側の被係止部53bに係止させることで、閉じ状態が保たれるようになっている。この蓋53を開くと、該図7に示すように、カードメモリ等でなる着脱式の記録手段たる記録用メモリ157(図11等参照)を挿入するための記録用メモリ挿入口54と、電源を供給するためのバッテリを着脱自在に挿入するためのバッテリ挿入口55と、が露呈するようになっている。
上記操作パネル42は、閉じた状態でも操作可能に露呈する外面側に図5に示すように比較的操作される頻度の高いスイッチ類が配設されていて、さらに、開いた状態でのみ操作可能に露呈する内面側に図8に示すように比較的操作される頻度の低い操作スイッチ類が配置されている。
すなわち、上記操作パネル42の外面側には、上記第2操作スイッチ171が配設されている。この第2操作スイッチ171は、図5に示すように、FA/A/Mスイッチ71と、F/Vスイッチ72と、レリーズスイッチ(REL)73と、録画スイッチ(REC)74と、ズームスイッチ75と、露出補正スイッチ76と、を有して構成されている。これらのスイッチ類は、上述したように、撮影動作の際に変更する頻度が比較的高い情報を設定するためのスイッチ類である。
上記FA/A/Mスイッチ71は、切換手段であって、所定の焦点距離以上の望遠撮影時に撮影範囲を示す撮影画枠に対応する撮影画像を拡大して電子ビューとしてシースルー表示する動作を、全自動(FA:フルオートモード)で行うか、自動(A:オートモード)で行うか、手動(M:マニュアルモード)で行うか、を切り替えるためものである。
上記F/Vスイッチ72は、切換手段であって、上記透明光学部材15におけるシースルー表示を、撮影範囲を示す撮影画枠(F)にするか、あるいは撮像部30からの撮影画像(V)(電子ビュー)にするか、を切り替えるためのものである。
上記レリーズスイッチ(REL)73は、動画に比して高精細な静止画の撮影を開始するためのものである。
上記録画スイッチ(REC)74は、動画の録画開始と録画停止とを押される毎に切り替えるためのものである。
上記ズームスイッチ75は、撮影画枠設定手段であって、上記撮影光学系31を含む撮像部30のズーム(光学ズームおよび/または電子ズーム)を、望遠(T:テレ)側に行うためのテレスイッチ75aと、広角(W:ワイド)側に行うためのワイドスイッチ75bと、を含んで構成されている。
上記露出補正スイッチ76は、撮影される画像の露出補正をマイナス側に行うためのマイナス露出補正スイッチ76aと、該露出補正をプラス側に行うためのプラス露出補正スイッチ76bと、を含んで構成されている。
なお、上記撮影光学系31のズーム動作と、観察者でもある撮影者から観察する撮影画枠の視角の変更と、は連動して行われるように構成されているために、上記ズームスイッチ75は、撮影者から観察する撮影画枠の視角を縮小するためのテレスイッチ75aと、該視角を拡大するためのワイドスイッチ75bと、を有するものであると言い換えることもできる。
また、「撮影画枠」とは、上記撮像部30により撮影される被写体の範囲を表す指標である(図26等参照)。
一方、上記操作パネル42の内面側には、音声を再生するためのスピーカ56と、このスピーカ56から発生される音声のボリュームを大きくするためのスイッチ57と、該ボリュームを小さくするためのスイッチ58と、上記記録用メモリ157に記録された画像情報を再生したり一時停止したりするための再生/停止スイッチ59と、画像を逆方向に早送りしてサーチするためのスイッチ61と、画像を順方向に早送りしてサーチするためのスイッチ62と、カメラ1に係る各種の機能や日付などを設定するためのメニュー画面を上記LCD48に表示するためのメニューボタン63と、該メニュー画面に表示されている各項目の内の着目項目を上、下、左、右の各方向へ移動したり表示情報をスクロールしたりするためのメニュー選択スイッチ66,67,68,69と、表示されている着目項目等を確定するための確定スイッチ65と、が配設されている。これらのスイッチ類は、上述したように、撮影動作の際に変更する頻度が比較的低い情報を設定するためのスイッチ類である。
なお、後述するような視線方向検出のキャリブレーションモードに関する設定などの、通常使用しない特殊なモードの設定は、上記メニューボタン63を操作して所定のメニューを選択することにより行うようになっている。
図10は頭部装着部2の主として電子回路に係る構成を示すブロック図、図11は操作/記録部4の主として電子回路に係る構成を示すブロック図である。
このカメラ1の構成は、上述したように、撮像機能を有する頭部装着部2と、この頭部装着部2および自己に係る各種操作入力を受けて制御を行うとともに該頭部装着部2により撮影された画像を記録する機能を備えた操作/記録部4と、に大別される。これらの内でも上記頭部装着部2は、さらに、撮像を行うための撮像手段たる撮像部30と、主としてシースルー表示を行うための表示手段であり危険防止手段も兼ねたシースルー画像表示部6と、撮影者の視線方向を検出したり撮影者の頭部の動きに伴う角速度を検出したりするための生体情報検出手段であり視線方向検出手段と角速度検出手段とを兼ねた視線方向/角速度検出部7と、操作/記録部4と無線により信号の授受を行うための受信手段であり送信手段たる通信部8と、当該頭部装着部2内の各回路に電源を供給するための電源回路174と、に分けられる。これら撮像部30とシースルー画像表示部6と視線方向/角速度検出部7とは、何れも、上記通信部8を介して、上記操作/記録部4と通信するようになっている。また、電源回路174は、電池を有して構成されており、この電池は、上述したように、上記収納部27(図2参照)に対して着脱可能に取り付けられるようになっている。
上記シースルー画像表示部6は、LEDドライバ112と、LED113と、集光レンズ114と、LCD115と、LCDドライバ117と、HOE116と、HOE25と、投光用LED16aと、LEDドライバ118と、集光レンズ16bと、上記スイッチ39と、第4CPU111と、を有して構成されている。このシースルー画像表示部6は、本実施例においては、観察者の片方の眼(ここでは、具体例として右眼)側にのみ配設されている。従って、観察者は、シースルー画像を、該片眼側のみで観察するようになっている。
上記LEDドライバ112は、上記第4CPU111の制御に基づき上記LED113を発光させるものである。
上記LED113は、発光源であって投影手段を構成するものであり、上記LEDドライバ112により駆動されて光を発光するようになっている。このLED113は、例えば、R(赤),G(緑),B(青)の3色の光をそれぞれ発光可能なダイオードを含んで構成されている。
上記集光レンズ114は、上記投影手段を構成するものであって、このLED113により発光された光を集光するものである。
上記LCD115は、上記投影手段を構成するものであって、上記撮影画枠や撮影された映像などを表示するためのものであり、上記集光レンズ114を介したLED113の光により背面側から照明される透過型の液晶表示手段となっている。
上記LCDドライバ117は、上記第4CPU111の制御に基づいて、LCD115を駆動して撮影画枠等を表示させるものであり、後述するようなパララックスを補正するための補正手段も兼ねている。
上記HOE116は、上記LCD115を介して射出される光を、後述するように収差を補正しながら鉛直下方(図13、図14参照)へ向けて反射する反射光学部材である。
上記HOE25は、反射型コンバイナとしての機能を果たすものであり、上記HOE116からの光を撮影者の眼へ向けて反射し回折させることにより、上記LCD115に表示された撮影画枠等を観察可能に投影するとともに、外界光を撮影者の眼へ向けて透過させ得るように構成されたコンバイナである。なお、この実施例1のHOE25は、最小限の大きさとなるように構成された上記透明光学部材15に合わせて、同様に、最小限の大きさとなるように構成されている。
上記投光用LED16aは、上記測距を行うための上記投光用発光部16に含まれていて、測距用の光を発光する発光源である。
上記集光レンズ16bは、上記投光用LED16aにより発光された測距用の光を、被写体に向けて投影するためのものである。
上記LEDドライバ118は、上記第4CPU111の制御に基づいて、上記投光用LED16aを駆動するためのものである。
上記スイッチ39は、上記第4CPU111に接続されていて、該スイッチ39が閉じたことが第4CPU111により検出されると、該第4CPU111がこのシースルー画像表示部6の表示を禁止するようになっている。このカメラ1は、撮影動作にとらわれることなく通常の行動をしながら撮影することが可能となるように構成されたものであるために、例えば、歩行時や車の運転時にも使用してしまいがちである。しかし、撮影者がこのような状態にあるときにシースルー表示がされると、その表示に気をとられることもあり得る。従って、これを未然に防止するために、スイッチ39を設けて、シースルー表示を禁止することができるようにしている。なお、このときには表示は禁止されるが、撮影自体は継続することが可能となっている。
上記第4CPU111は、制御手段であって、このシースルー画像表示部6内の各回路を制御するものであり、上記撮像部30の後述する第3CPU103と双方向に接続されて連携を取りながら、制御動作を行うようになっている。
このようなシースルー画像表示部6の作用は、ほぼ次のようになっている。
第4CPU111は、LEDドライバ112を介してLED113を発光させる。
LED113から発光された光は、集光レンズ114により集光されて、LCD115を背面から照明する。
LED113は、撮影画枠を表示する場合には、上記R(赤),G(緑),B(青)の3色の光を発光させるダイオードの内の、例えばG(緑)のダイオードのみを発光させる。
第4CPU111が撮影範囲を示す撮影画枠に対応する信号を生成してLCDドライバ117へ転送するとともに、発光を行わせる制御信号をLEDドライバ112へ転送すると、LCDドライバ117が、該信号に基づきLCD115を駆動して撮影画枠を表示面上に表示させるとともに、LED113が発光して該LCD115を背面側から照明する。
こうして照明されたLCD115から投影される上記撮影画枠の映像は、収差を補正されながらHOE116により鉛直下方に反射され、HOE25に投影される。
HOE25は、上記HOE116からの光線を、撮影者の眼へ向けて反射する。これにより、撮影者は、撮影範囲を示す撮影画枠を虚像として観察することができる。
一方、測距を行う場合には、第4CPU111が、測距用の発光を行わせる制御信号をLEDドライバ118へ転送する。
LEDドライバ118は、上記制御信号を受けると、投光用LED16aを発光させる。この投光用LED16aにより発光された測距用の光は、上記集光レンズ16bにより平行光に変換されて、被写体へ向けて投光される。
こうして投光された照明光は、被写体により反射され、該反射光が上記撮像部30により受光されて、後述するように測距演算が行われることになる。
次に、上記視線方向/角速度検出部7は、上記シースルー画像表示部6が配設されているのとは反対側の片眼(ここでは、具体例として左眼)側に配設されるようになっている。この視線方向/角速度検出部7は、視線方向検出装置として機能する視線方向検出部と、角速度検出装置として機能する角速度検出部と、に大別される。
上記視線方向検出部は、視線方向検出手段であって、LEDドライバ124と、LED125と、集光レンズ126と、反射ミラー127と、ハーフミラー128と、HOE24と、HOE129と、反射ミラー131と、結像レンズ132と、バンドパスフィルタ133と、CCD134と、CCDドライバ135と、CDS/AGC回路136と、A/D変換回路137と、TG138と、を有して構成されている。これらの内のLEDドライバ124、LED125、集光レンズ126、反射ミラー127、およびHOE24は、観察者の眼へ赤外平行光束を投光するための赤外光投影手段たる投光系を構成している。また、上述した内のHOE24、ハーフミラー128、HOE129、反射ミラー131、結像レンズ132、バンドパスフィルタ133、およびCCD134は、観察者の眼から反射された光束を受光するための受光系を構成している。
また、上記角速度検出部は、角速度検出手段であって、角速度センサ141,142と、増幅器143,144と、A/D変換回路145と、を有して構成されている。
そして、これら視線方向検出部と角速度検出部とを含む視線方向/角速度検出部7全体を制御するためのものとして、第2CPU121が設けられている。
上記LEDドライバ124は、上記第2CPU121の制御に基づいて、上記LED125を駆動するためのものである。
上記LED125は、LEDドライバ124により駆動されて、視線方向検出用の赤外光を発光する赤外発光ダイオードである。
上記集光レンズ126は、LED125により発光された赤外光を、平行光束に変換するものである。
上記反射ミラー127は、集光レンズ126により平行光束に変換された赤外光を、鉛直下方(図20、図21参照)へ向けて反射する反射光学部材である。
上記ハーフミラー128は、上記反射ミラー127からの赤外光を上記HOE24側へ透過させると共に、該HOE24からの光を水平方向へ反射するものである。
上記HOE24は、ハーフミラー128を透過してきた赤外光を観察者の眼へ向けて反射するとともに、該観察者の眼からの光を該ハーフミラー128へ向けて反射するものである。なお、この実施例1のHOE24は、最小限の大きさとなるように構成された上記透明光学部材14に合わせて、同様に、最小限の大きさとなるように構成されている。このHOE24は、赤外域における狭い所定の帯域についての波長選択性を有しており、選択された帯域の赤外光のみについては高い反射特性を示す一方で、それ以外の波長の光線に対しては高い透過特性を示すものとなっている。このようにHOE24は、上記シースルー画像表示部6のHOE25とは全く異なる帯域の波長選択機能を有するものであるが、全体的な視感透過特性(あるいは、平均的な視感透過特性)については該HOE25とほぼ同様となっている。このように、左右の眼に対して平均的に同様の視感透過特性を有する光学素子を配置することにより、違和感を感じることがなく、かつ長時間使用しても眼の疲れを少なくすることができる。
上記HOE129は、上記HOE24とハーフミラー128とにより導かれた観察者の眼からの光束を、鉛直上方へ向けて反射するものある。このHOE129は、上記HOE24と同じ波長選択性を有するものとなっている。従って、このHOE129を介することにより、観察者の眼側から入射する光束の内の、上記所定の帯域に含まれる赤外光以外の波長の光線をカットする(つまり、反射することなく透過してしまう。)ことができるようになっている。こうして、後述するようなプルキンエ像を、他の波長域の光線によるノイズの影響を軽減しながら、より高い精度で検出することが可能となっている。なお、光学素子としてHOE129を用いることにより、波長選択性が高まるという利点があるだけでなく、赤外光以外に対して透過性を有しているために、透明光学部材14内に配設しても目立ち難いという利点もある。
上記反射ミラー131は、上記HOE129からの光束を水平方向に反射するものである。
上記結像レンズ132は、上記反射ミラー131により反射された光束を、上記CCD134の撮像面上に結像するためのものである。
上記バンドパスフィルタ133は、上記結像レンズ132により結像される光束の内の、上記所定の帯域の赤外光のみを透過するものである。上述したように、上記HOE129により既に帯域の制限が行われているが、該HOE129を透明光学部材14内に配置した場合には、さらに他の可視光等が混入する可能性があるために、このバンドパスフィルタ133により再度帯域の制限を行うようにしている。こうして、CCD134の前面側にバンドパスフィルタ133を設けることにより、外光ノイズによる影響をさらに軽減することが可能となっている。
上記CCD134は、二次元の光電変換手段であって、撮像面が2次元となった撮像素子として構成されており、上述したように結像された観察者の眼の像を光電変換して、電気信号として出力するものである。このCCD134の出力に基づいて、プルキンエ像の位置と瞳孔中心の位置とが後述するように求められ、これらの相対的な位置関係に基づいて視線方向が算出されるようになっている。
上記CCDドライバ135は、上記第2CPU121の制御に基づいて、上記CCD134を駆動するためのものである。
上記CDS/AGC回路136は、上記CCD134から出力される映像信号に、ノイズ除去や増幅の処理を行うものである。
上記TG138は、上記第2CPU121の制御に基づいて、上記CCDドライバ135と、上記CDS/AGC回路136とへ、連係して動作を行わせるためのタイミング信号をそれぞれ供給するものである。
上記A/D変換回路137は、上記CDS/AGC回路136から出力されるアナログの映像信号をデジタルの映像信号に変換するものである。このA/D変換回路137により変換されたデジタルの映像信号は、上記撮像部30の後述する通信制御部173へ出力されるようになっている。
上記角速度センサ141,142は、上述したように収納部27内に格納されており、互いに独立した方向(例えばヨー方向とピッチ方向)の角速度を検出するためのものである。
上記増幅器143,144は、上記角速度センサ141,142の出力をそれぞれ増幅するためのものである。
上記A/D変換回路145は、上記増幅器143,144によりそれぞれ増幅された角速度センサ141,142からのアナログ信号を、デジタルデータへそれぞれ変換するものである。このA/D変換回路145により変換されたデジタルデータは、上記第2CPU121へ出力されるようになっている。
上記第2CPU121は、制御手段であって、この視線方向/角速度検出部7内の各回路を制御するものであり、上記撮像部30の後述する第3CPU103と双方向に接続されて連携を取りながら、制御動作を行うようになっている。この第2CPU121は、メモリとして機能するRAM122と、時間を計測するためのタイマ123と、を内部に有して構成されている。
このような視線方向/角速度検出部7の動作原理や作用等については、後で他の図面を参照して説明する。
上記撮像部30は、撮影光学系31と、ローパスフィルタ86と、CCD87と、CDS/AGC回路88と、A/D変換回路89と、TG(タイミングジェネレータ)90と、CCDドライバ91と、USMドライバ95と、絞りシャッタドライバ96と、AE処理回路97と、AF処理回路98と、上記第1マイク17と、上記第2マイク18と、増幅回路99と、増幅回路100と、A/D変換回路101と、EEPROM102と、メモリ104と、第3CPU103と、を有して構成されている。
上記撮影光学系31は、光学的な被写体像を結像するためのものであり、焦点距離可変なズーム光学系として構成されている。
上記ローパスフィルタ86は、この撮影光学系31を通過した光束から不要な高周波成分を取り除くためのものである。
CCD87は、撮像素子であって、このローパスフィルタ86を介して上記撮影光学系31により結像された光学的な被写体像を電気的な信号に変換して出力するものである。
上記CDS/AGC回路88は、信号処理手段であって、このCCD87から出力される信号に後述するようなノイズ除去や増幅の処理を行うものである。
上記A/D変換回路89は、信号処理手段であって、このCDS/AGC回路88から出力されるアナログの画像信号をデジタルの画像信号に変換するものである。
上記メモリ104は、このA/D変換回路89から出力されるデジタルの画像信号を一時的に記憶するためのものである。
上記CCDドライバ91は、上記CCD87を制御して駆動するためのものである。
上記TG(タイミングジェネレータ)90は、上記CDS/AGC回路88,A/D変換回路89,CCDドライバ91に、タイミングを制御するための信号をそれぞれ供給するものである。このTG90は、上記視線方向/角速度検出部7の第2CPU121と双方向に接続されて、制御されるようになっている。
上記USMドライバ95は、上記撮影光学系31に含まれる後述するUSM(Ultra Sonic Motor:超音波モータ)92,93,94を選択的に駆動するための駆動回路である。このUSMドライバ95も、上記視線方向/角速度検出部7の第2CPU121により制御されるようになっている。
上記絞りシャッタドライバ96は、上記撮影光学系31に含まれる後述する絞りシャッタ84を制御して駆動するための駆動回路である。この絞りシャッタドライバ96は、上記視線方向/角速度検出部7の第2CPU121により制御されるようになっている。
上記AE処理回路97は、上記A/D変換回路89の出力に基づいて、露出制御用の算出を行うオート露出処理回路であり、演算結果を上記第3CPU103へ出力するようになっている。
上記AF処理回路98は、上記A/D変換回路89の出力に基づいて、オートフォーカス(AF)制御用の算出を行うオートフォーカス処理回路であり、演算結果を上記第3CPU103へ出力するものである。
上記第1マイク17および第2マイク18は、上述したように、被写体側からの音声をステレオで収録するためのものである。
上記増幅回路99および増幅回路100は、上記第1マイク17および第2マイク18から入力された音声信号をそれぞれ増幅するためのものである。
上記A/D変換回路101は、上記増幅回路99および増幅回路100によりそれぞれ増幅されたアナログの音声信号をデジタルの音声信号に変換して上記第3CPU103へ出力するものである。
上記EEPROM102は、露出制御やオートフォーカス処理等のための各種補正データがカメラ製造時に記録されたものである。このEEPROM102に記録されたデータは、上記第3CPU103により読み出されるようになっている。
上記第3CPU103は、この撮像部30内の各回路を制御するための制御手段であり、上記シースルー画像表示部6の第4CPU111や、上記視角方向/角速度検出部7の第2CPU121と連携を取りながら制御動作を行うようになっている。さらに、この第3CPU103は、上記操作/記録部4の後述する第1CPU161と双方向に通信を行って制御されるようになっている。
上記撮影光学系31は、さらに詳しくは、フロントレンズ81と、バリエータレンズ82と、コンペンセータレンズ83と、絞りシャッタ84と、フォーカスレンズ85と、USM92,93,94と、を有して構成されている。
上記フロントレンズ81は、撮影光学系31に含まれる複数のレンズの中で最も被写体側に位置するものである。
上記バリエータレンズ82は、この撮影光学系31の焦点距離を変更するためのものである。
上記コンペンセータレンズ83は、上記バリエータレンズ82により撮影光学系31の焦点距離を変化させるのに伴うピント位置のずれを、補正するためのものである。
上記絞りシャッタ84は、撮影光学系31を通過する光束の通過範囲を規定するための絞りの機能と、該光束の通過時間を規定するためのシャッタの機能と、を兼用するものである。
上記フォーカスレンズ85は、この撮影光学系31のピントを調整するためのものであり、ピントが調整されたときには、上記CCD87に被写体像が合焦して結像される。
上記USM92,93,94は、上記バリエータレンズ82,コンペンセータレンズ83,フォーカスレンズ85をそれぞれ駆動するための駆動源である。
上記通信部8は、通信制御部173と、送受信部172と、を有して構成されている。
上記通信制御部173は、フレーム同期(時分割多重方式でフレーム単位に同期をとること。)と、フレームの構成要素であるスロット(このスロットは、属性と属性値のペアを含んで構成されている。)のデータフォーマット処理と、を行うものである。
上記送受信部172は、無線送受信用のアンテナや、送信するデジタル信号をアンテナ発信用のアナログ信号に変換したり該アンテナを介して受信した信号をデジタル信号に変換したりするモデムなどを有して構成されている。
このような通信部8の送受信時の動作は次のようになっている。
上記通信制御部173の受信側は、送受信部172のモデムから供給される受信データから、所定のタイミングで1スロット分のデータを取り出す。そして、該通信制御部173の受信側は、このデータの中から同期信号を抽出して、フレーム同期信号を生成し、スクランブル等を解除する。その後、通信制御部173の受信側は、操作/記録部4から送信された、各種の操作信号、あるいは、記録用メモリ157(図11参照)に記録された画像データ、を第3CPU103へ送出する。
また、上記通信制御部173の送信側は、上記A/D変換回路89からメモリ104を介して出力される映像信号と、上記視角方向/角速度検出部7のA/D変換回路137から出力される撮影者の眼に係る映像信号(生体情報の1つ)と、該視角方向/角速度検出部7の第2CPU121から出力される撮影者の頭部に係る角速度情報(生体情報の1つ)と、上記第3CPU103を介して出力される音声データとを、該第2CPU121から出力されるタイマ情報に基づいて、同一時刻に生成された映像信号と生体情報とが互いに関連性をもつように多重化する。そして、該通信制御部173の送信側は、スクランブル等を付与した後に同期信号を付加して、1スロット分の送信データを作成する。その後、通信制御部173の送信側は、作成した送信データを所定のタイミングでフレーム内の所定スロットに挿入して、送受信部172のモデムに送出する。これにより、送受信部172から、無線によってデータが送信される。
上記操作/記録部4は、送受信部163と、通信制御部151と、DSP回路152と、遅延回路153と、多重化回路154と、メモリ155と、圧縮/伸張回路156と、記録用メモリ157と、D/A変換回路158と、上記LCD48(図9参照)と、LCDドライバ160と、第1操作スイッチ162と、第2操作スイッチ171と、電源回路164と、第1CPU161と、を有して構成されている。
上記送受信部163は、上記頭部装着部2の送受信部172と同様に、無線送受信用のアンテナや、送信するデジタル信号をアンテナ発信用のアナログ信号に変換したり該アンテナを介して受信した信号をデジタル信号に変換したりするモデムなどを有して構成されていて、該送受信部172と信号の授受を行うためのものである。
上記通信制御部151は、上記頭部装着部2の通信制御部173と同様の機能を有するものであり、上記送受信部163を制御することにより、頭部装着部2の送受信部172と通信を行うようになっている。この通信制御部151の受信側は、送受信部163のモデムから供給される受信データから、所定のタイミングで1スロット分のデータを取り出す。そして、該通信制御部151の受信側は、このデータの中から同期信号を抽出して、フレーム同期信号を生成し、スクランブル等を解除する。その後、通信制御部151の受信側は、受信したデータを、再び、画像データとそれ以外のデータとに分離して、画像データを上記DSP回路152へ、それ以外のデータを上記遅延回路153へ、それぞれ出力するようになっている。一方、該通信制御部151の送信側は、第2操作スイッチ171を操作することにより入力された撮影のための各種操作信号、または記録用メモリ157に記憶された画像データを圧縮/伸張回路156内の伸張回路部により復元して得られた画像データ、にスクランブル等を付与した後に同期信号を付加して、1スロット分の送信データを作成する。そして、通信制御部151の送信側は、作成した送信データを所定のタイミングでフレーム内の所定スロットに挿入して、送受信部163のモデムに送出する。これにより、送受信部163から、無線によってデータが送信される。
上記DSP回路152は、上記通信制御部151からの画像データに対して、所定のデジタル信号処理を行うものである。
上記遅延回路153は、上記DSP回路152により処理される画像データとの時間的な同期をとるために、上記通信制御部151から入力されるデータを遅延させるためのものである。
上記多重化回路154は、上記DSP回路152により処理された画像データと、上記遅延回路153から送信されるデータと、を多重化するものである。
上記メモリ155は、上記この多重化回路154からの信号を一時的に記憶するものであり、例えばフレームバッファ等で構成されている。
上記圧縮/伸張回路156は、このメモリ155に記憶されているデジタル信号を圧縮するとともに、上記記録用メモリ157から読み出した圧縮されたデジタル信号の伸張も行うものである
上記記録用メモリ157は、画像データ記録手段と生体情報記録手段とを兼ねたものであって、上記圧縮/伸張回路156により圧縮されたデジタル信号を記録するものである。
上記D/A変換回路158は、上記メモリ155に記憶されているデジタル信号をアナログ信号に変換するものである。
上記LCD48は、上記D/A変換回路158により変換されたアナログの画像信号に基づき、画像を表示するものである。
上記LCDドライバ160は、上記LCD48を制御して駆動するためのものである。
上記第1操作スイッチ162は、当該カメラ1に係る各種の操作入力を行うためのものであり、上記図8に示したような各スイッチ類を含んで構成されている。
上記第2操作スイッチ171も、同様に、当該カメラ1に係る各種の操作入力を行うためのものであり、上記図5に示したようなスイッチ類を含んで構成されている。
上記電源回路164は、例えば着脱式となるように構成されたバッテリ等を含み、この操作/記録部4へ電源を供給するように構成されている。
上記第1CPU161は、このカメラ1に係る統合的な制御手段であって、この操作/記録部4内の各回路を制御するとともに、上記第3CPU103と無線を介して通信を行うことにより上記頭部装着部2の制御も行うように構成されたものである。
このようなカメラ1の作用は、ほぼ次のようになっている。
上記撮影光学系31を通過した光束は、ローパスフィルタ86を介して、CCD87の撮像面に結像する。
上記操作/記録部4の第1操作スイッチ162により動画記録の操作が行われるか、または、該操作/記録部4のレリーズスイッチ73により静止画撮影の操作が行われると、上記CCD87により被写体像が光電変換されて、アナログの画像信号が出力される。
このCCD87からの画像信号は、CDS/AGC回路88に入力されて、該CDS/AGC回路88内のCDS回路部により公知の相関二重サンプリングなどが行われてリセットノイズが除去されるとともに、該CDS/AGC回路88内のAGC回路部により所定の信号レベルへの増幅が行われて出力される。
このCDS/AGC回路88からのアナログの画像信号は、続くA/D変換回路89によって、デジタルの画像信号(画像データ)に変換された後に、上記メモリ104に一時的に記憶される。本実施例においては、このA/D変換回路89の出力信号をRAW画像データということにする。すなわち、本実施例におけるRAW画像データは、CCD87からのアナログ出力信号を最初にA/D変換した直後のデジタルデータとして定義され、他のデジタル信号処理等を施す前のデータとなっている。
これらCDS/AGC回路88、上記A/D変換回路89へは、上記TG90により生成されたタイミング制御信号が入力されるようになっており、該TG90からのタイミング制御信号は、さらに上記CCDドライバ91へも入力される。
一方、上記第1マイク17および第2マイク18からの出力信号は、増幅回路99,100によってそれぞれ増幅された後に、A/D変換回路101により所定のサンプリング周期で時分割的にデジタルデータに変換され、第3CPU103へ転送される。第3CPU103は、デジタルデータに変換された音声データを、所定のタイミングで通信制御部173に転送する。
上記A/D変換回路89からの出力信号である画像データと、上記第1マイク17および第2マイク18からの音声データと、上記視線方向/角速度検出部7からの視線方向データ(視線方向情報)および撮影者の頭部の角速度データと、上記第2CPUのタイマ123により計時されたタイマ情報と、が通信制御部173により多重化される。
この通信制御部173により多重化された信号は、図47に示すように、上記各データが検出された検出開始時刻が先頭に記録されて、次に上記画像データや音声データ等の各種データがそれぞれ所定の間隔で交互に出力される信号となっている。この図47は、通信制御部173から出力される信号の時系列的な構成を示す図である。例えば、画像データ、音声データ、角速度データの取り込み周期をそれぞれ1/30秒とし、視線方向データの取り込み周期を1秒とし、かつ、1秒間のデータを1つのユニットとすると、この単位ユニットには、該図47に示すように、開始時刻データを先頭にして、画像データ、音声データ、および角速度データの3つを一組とするデータが繰り返し30組記録され、最後に視線方向データが記録される。なお、この図47に示したデータの順序は単なる一例であるために、例えば視線方向データを時刻データの直後に記録するようにしてももちろん構わない。
このようなデジタル化されたデータを含むユニット単位のデータが、複数、上記送受信部172を介して操作/記録部4へ出力される。
このように、撮像部30は、CCD87で生成された画像信号のアナログ信号処理を行って、画像データをデジタル信号に変換した後に出力するようになっているために、アナログ信号が該撮像部30から外部に出力されることがない。従って、上記送受信部172などを介して画像信号を伝送する際に受ける可能性があると考えられる外来ノイズにも強い構成となっている。
また、撮像部30は、RAW画像データを出力するようになっているために、色分離やホワイトバランス調整等の信号処理回路を該撮像部30の内部に設ける必要がなく、該撮像部30が設けられている頭部装着部2の小型軽量化を図ることが可能となっている。
上記送受信部172から操作/記録部4へ伝送された信号は、該操作/記録部4内の通信制御部151により、画像データとそれ以外のデータとに再び分離される。
この通信制御部151により分離された画像データは、DSP回路152において所定の画像処理演算が行われるとともに、得られた演算結果に基づいて該画像データにオートホワイトバランス処理も行われる。
一方、通信制御部151により分離された画像データ以外のデータ(つまり、視線方向データ、角速度データ、音声データなどを含むデータ)は、遅延回路153により上記DSP回路152で処理される画像データと時間的な同期をとるために遅延される。
上記DSP回路152からの出力と、上記遅延回路153からの出力と、は多重化回路154に入力されて、該多重化回路154により多重化され、多重化後の信号がメモリ155に一時的に記録される。
上記メモリ155に記録された各種のデータの内の、画像データと音声データとは圧縮/伸張回路156に含まれる圧縮回路部により、それぞれ所定のフォーマットで圧縮された後に、記録用メモリ157に記録される。
一方、上記メモリ155に記録された各種のデータの内の、時刻データ、角速度データ、および視線方向データは、記録用メモリ157に直接記録される。なお、これらの内の角速度データおよび視線方向データは、公知の可逆圧縮処理を施した後に、記録用メモリ157に記録するようにしても良い。
なお、上記記録用メモリ157としては、カードメモリや、DVD等のディスクメモリなど、各種の記録媒体を広く適用することができる。また、上述したような各種のデータに係る記録フォーマットの概要については、後で説明する。
また、上記第1操作スイッチ162のメニューボタン63やメニュー選択スイッチ66,67,68,69、確定スイッチ65などの操作により記録済みの画像が選択されて、上記再生/停止スイッチ59の操作により再生の指示が行われた場合には、記録用メモリ157に記憶されている圧縮されたデータが、圧縮/伸張回路156内の伸張回路部により伸張されてメモリ155に一時的に記憶され、その画像データがD/A変換回路158によりアナログの画像信号に変換された後に、LCD48に表示される。このときのLCD48の動作は、LCDドライバ160から発生された信号により制御される。
一方、上記A/D変換回路89からのデジタル画像データは、該撮像部30内のAE処理回路97とAF処理回路98とへそれぞれ入力される。
上記AE処理回路97は、1フレーム(1画面)分の画像データの輝度値を算出して重み付け加算する等の処理を行うことにより、被写体の明るさに対応したAE評価値を算出し、算出結果を第3CPU103を介して第2CPU121へ出力する。第2CPU121は、上記AE評価値に基づいて、CCD87の露光時間の制御や、絞りシャッタ84の制御を行うようになっている。
また、AF処理回路98は、上記第3CPU103を介した第2CPU121の制御に基づいて、1フレーム(1画面)分の画像データの輝度成分にハイパスフィルタなどを用いて高周波成分を抽出し、抽出した高周波成分の累積加算値を算出する等により高周波域側の輪郭成分等に対応したAF評価値を算出し、算出結果を該第3CPU103を介して第2CPU121へ出力する。第2CPU121は、AF処理回路98により算出された上記AF評価値に基づいて、上記USMドライバ95を介して上記フォーカスレンズ85を駆動し、焦点検出を行って合焦状態を得るようになっている。
上記EEPROM102は、露出制御やオートフォーカス処理等に必要な各種補正データがカメラ製造時に記録されたものであり、第2CPU121は、必要に応じて、このEEPROM102から第3CPU103を介して補正データを読み出し、各種の演算を行うようになっている。
次に、図12〜図14を参照して、シースルー画像表示部6の主として光学的な構成について説明する。図12はシースルー画像表示部の光学系の原理を説明するための図、図13はシースルー画像表示部の光学系の構成を示す一部断面を含む正面図、図14はシースルー画像表示部の光学系の構成を示す左側面図である。
このシースルー画像表示部6は、撮影者が実質的に直接観察している被写体上に、撮影範囲を示す撮影画枠を虚像としてスーパーインポーズ表示することができるようになっており、このような表示を、以下では、シースルー表示と呼ぶことにする。なお、「実質的に直接観察している」とは、肉眼で観察している場合だけでなく、ガラスやプラスチックなどで形成された略平板な透明部材を介して観察している場合や、あるいは視度調整用のレンズを介して観察している場合などを含んでいる。
まず、図12を参照して、この実施例1におけるシースルー画像表示部6の光学系(以下、「シースルー画像表示光学系」という。)によりシースルー画像を表示する原理について説明する。
LED113により発光された光は、集光レンズ114により集光されて、LCD115を背面から照明する。LED113は、上述したように、撮影画枠を表示する場合には、例えばG(緑)のダイオードのみを発光させる。
第4CPU111は、撮影範囲を示す撮影画枠に対応する信号を生成して、LCDドライバ117へ出力する。LCDドライバ117は、この信号に基づいてLCD115を駆動することにより、該LCD115に撮影画枠を表示させる。
上記LED113の光を受けてLCD115から射出された撮影画枠の像は、HOE25によって反射された後に、撮影者の眼に導かれる。こうして、撮影者は、撮影範囲を示す撮影画枠を虚像VIとして観察することができる。なお、この図12では原理を説明しているために、HOE116の図示は省略している。
HOE25は、フォトポリマーや重クロム酸ゼラチン等の感光材料を使用した体積位相型のホログラフィー光学素子であり、上記LED113により発光されるR,G,Bの各波長において最大の反射率で光を反射する特性を備えるように設計されている。従って、撮影画枠を表示するときにGの光を発光させる場合には、グリーンの撮影画枠が虚像としてクリアに表示されることになる。HOEは、優れた波長選択性を備えており、上述したR,G,Bの各波長の光線に対しては極めて狭い波長幅において高い反射特性を示す一方で、それ以外の波長の光線に対しては高い透過特性を示す。従って、表示光と同じ波長域の外界光は回折反射されて撮影者の瞳に届かないが、それ以外の波長域の外界光は撮影者の瞳に到達する。一般に、可視光は、波長の帯域幅が広いために、R,G,Bの各波長を含む極めて狭い波長幅の光が到達しなくても、何等支障なく外界像を観察することが可能である。
また、このシースルー画像表示部6は、上記撮像部30により撮像された画像をカラー画像としてシースルー表示することも可能となっており、この場合には、LCD115に撮像された映像を表示させるとともに、上記LED113によりR,G,B3色の光を発光させれば良い。これにより、撮像された映像が、HOE25から、撮影者の瞳に虚像として到達することになる。
上記HOE116は、LCD115からの光をHOE25に導くように反射するだけでなく、像面歪曲も補正する機能を備えたものとなっている。なお、ここではHOE116を用いたが、これに代えて、自由曲面の光学素子を用いることも可能である。自由曲面の光学素子は、小型軽量でありながら複雑な収差を補正することができるために、重量をあまり増加させることなく収差の少ないクリアな像を表示することが可能となる。
続いて、図13および図14を参照して、上記シースルー画像表示光学系の具体的な配置例を説明する。
上記フレーム部13の内部における上記透明光学部材15の上部となる位置に、上記LED113,集光レンズ114,LCD115,HOE116が図13に示すように順に配置されている。これらの各部材は、フレーム部13内に設けられた保持枠により挟み込まれるようにして固定されている。このとき、上記LED113は、電気回路基板181に実装された状態で、上記保持枠により固定されるようになっている。また、これらの内のHOE116は、上述したように、LED113からの光を鉛直下方へ向けて反射するように、傾けて配置されている。
上記透明光学部材15は、図14に示すように、透明なガラスやプラスチック等により所定の厚みを有するように形成された導光部材182,183と、これらの導光部材182,183の間に挟み込まれながら後方へ向けて光を反射するように傾けて配設された上記HOE25と、を有して構成されている。このような構成において、上記HOE116から反射された光は、HOE25の上側に配置された導光部材182の内部を透過して、該HOE25に到達するようになっている。なお、この導光部材182の内部における光の伝播は、図14に示すように透過のみであっても良いが、透過と内面における全反射とを組み合わせたものであっても構わない。透過と全反射とを組み合わせるような光学設計を行った場合には、透明光学部材15を肉薄にすることが可能となるために、頭部装着部2の軽量化をより一層図ることができる。
なお、シースルー画像表示光学系は、上述したような各部材の内の、LED113と、集光レンズ114と、LCD115と、HOE116と、HOE25と、導光部材182,183と、を含むものとなっている。
次に、図15から図19を参照して、被写体と虚像とを同時に眼のピントを合わせて観察し得るようにする構成について説明する。
眼から撮影画枠の虚像までの距離と、眼から被写体までの距離と、の差が大きいと、これらの両方に同時に眼のピントを合わせることができないために、撮影画枠と被写体とを同時に鮮明に観察することができない。
そこで、眼から撮影画枠の虚像までの距離が、眼から被写体までの距離に一致するように設定して、撮影画枠と被写体とを同時に鮮明に観察することができるようにする構成について説明する。
まず、図15は眼から虚像までの位置を変更する原理を説明するための図である。なお、この図15においては、他の部材等に煩わされることなく原理のみを簡潔に説明するために、上記HOE116等の図示や該HOE116等に係る説明などを省略している。
HOE25の焦点距離をf、LCD115に表示された撮影画枠201の位置からHOE25までの距離をLl、HOE25から虚像VIまでの距離をLi、撮影者が撮影画枠201の対角線の虚像を見込む角度(視角)を2δ、LCD115に表示される撮影画枠の対角線の長さをXlとすると、次の数式1および数式2に示すような関係が成り立つ。
[数1]
[数2]
これらの数式に現れる各変数や定数の内、fはHOE25を設計するときに定まるものであるが、δは撮影者が所望に設定するものであり、虚像までの距離Liが被写体までの距離に一致するようにしたい距離(すなわち、例えば測距により求められる被写体距離)である。従って、これらの値を数式1へ代入することにより、被写体距離と同じ距離の位置に虚像を表示させるためのLCD115の表示位置Llが求まり、さらに、上記各値を数式2へ代入することにより、撮影画枠の視角を撮影画角と一致させるための、LCD115に表示する撮影画枠の大きさXlが求まることになる。
図16は、LCD115を虚像距離調整手段たるアクチュエータ252により光軸方向に駆動する構成例を示す図である。この例では、アクチュエータ252として、例えば、電磁モータ、超音波モータ(USM)、静電アクチュエータなど公知のアクチュエータを用いて、上記Llを変更するようにしている。すなわち、LCD115は集光レンズ114の光軸方向に移動可能となるように設けられており、該LCD115を支持する枠部材等に該LCD115を光軸方向に変位させるための虚像距離調整手段たる例えばラック251などが設けられている。このラック251には、アクチュエータ252の回転軸に固定されたピニオンギヤ252a等が噛合して駆動力が伝達されるようになっている。これによって、該アクチュエータ252を所望の量だけ回転させることにより、LCD115を所望の量だけ光軸方向に移動させることができるようになっている。このような構成により、虚像VIまでの距離Liが被写体までの距離に一致するように、上記Llを変更することになる。また、この構成を用いてLlを変更したときには、上記数式2に示すようなXlになるように、視角調整手段たるLCDドライバ117により該LCD115に表示する撮影画枠の大きさを変更することも勿論である。
なお、上記図16、または次に説明する図17に示す例では、虚像位置を変更すると倍率(被写体を見込む角度2δ)が変化するために、視角調整手段たるLCDドライバ117を用いてLCD115に表示する像の大きさを補正することにより、上記倍率が一定になるように補正を行う。具体的には、LCD115に表示された撮影画枠201の位置からHOE25までの距離Llと、LCD115に表示される撮影画枠201の対角線の長さXlと、の比が一定になるように、LCD115に表示する像の大きさを補正することになる。
次に、図17は、LCD115の像を一次結像させるようにし、この一次結像の位置を光軸方向に変化させるようにした構成の一例を示す図である。この例では、LCD115を通過した光束の光路上に結像光学系たる結像レンズ253が配設されており、この結像レンズ253によって、該結像レンズ253とHOE25との間の光路上の位置254において、該LCD115の像が一次結像されるようになっている。上記結像レンズ253は、光軸方向に移動可能となるように設けられており、該結像レンズ253を支持する鏡枠等の部材に該結像レンズ253を光軸方向に変位させるための虚像距離調整手段たる例えばラック255などが設けられている。このラック255には、上述と同様に、虚像距離調整手段たるアクチュエータ256の回転軸に固定されたピニオンギヤ256a等が噛合して駆動力が伝達されるようになっている。これによって、該アクチュエータ256を所望の量だけ回転させることにより、結像レンズ253を光軸方向に移動させて、一次結像面の位置254を所望の量だけ光軸方向に移動させることができる。このような構成を用いて、虚像VIまでの距離Liが被写体までの距離に一致するように、上記Llを変更することになる。なお、上記図15で説明した原理におけるLlは、この図17に示す例では、一次結像面の位置254からHOE25までの距離を指すことになる。また、このときにも、LCD115に表示する撮影画枠の大きさを変更するのはいうまでもない。
なお、ここでは、被写体距離に追従して眼から撮影画枠の虚像VIまでの距離を調整するようにしているが、この場合には、撮影者の視線が変化する毎に被写体距離が変化し、撮影画枠の位置を時々刻々と変更することになるために、撮影画枠を高い精度で連続的に調整しないと、視覚的に違和感を生じてしまう可能性がある。また、撮影画枠の位置を時々刻々と調整すると電力消費も大きくなる。そこで、撮影画枠の位置を至近から無限大の距離で数段階(例えば3段階)に分けて調整するようにしてもよい。
上記図16や図17に示したような構成例は、LCD115や結像レンズ253をアクチュエータにより機械的に移動させるものであったために、構成がやや複雑であるとともに、アクチュエータ等を配置するスペースが必要になったり、重量が増したりする。さらに、アクチュエータを用いているために、駆動時に雑音が少し発生する可能性があり、このときに発生する雑音が撮影者に不快感を与えることもあり得る。こうした点は、頭部に装着して用いるカメラにおいてはできるだけ解消することが望ましい。次に、図18を参照して説明する構成例は、このような点に鑑みてなされたものである。
図18は、LCDの像を一次結像させるようにし、この一次結像の位置を光軸方向に変化させるようにした構成の他の例を示す図、図19は、上記図18における液体レンズの詳細な構成を示す図である。
これら図18および図19に示す構成例は、上記図17に示した結像レンズ253に代えて、液体レンズ(FluidFocusレンズ)257を用いるようにしたものである。以下に説明する液体レンズ257は、2004年3月3日にロイヤルフィリップスエレクトロニクス社により発表されたものを用いる例となっている。
まず、図19を参照して、液体レンズ257の構成について説明する。
液体レンズ257は、図19(A),図19(B)に示すように、透明な伝導性液体(Conducting Fluid)265と、この伝導性液体265とは異なる屈折率(異なる光学特性)をもち該伝導性液体265とは混じり合わない(不混和性の )非伝導液体(Insulating Fluid)266とを、透明な短い円筒状部材の内部に封止して構成されている。上記伝導性液体265は例えば水性の液体であり、上記非伝導液体266は例えば油性の液体となっている。そして、これら伝導性液体265と非伝導液体266との境界面が、レンズ面を構成するようになっている。
上記円筒状部材は、ガラス等で構成された円筒261aと、この円筒261aの底面側を封止するガラス等で構成された円板261bと、該円筒261aの上面側を封止するガラス等で構成された円板261cと、を有して構成されている。
上記円板261bの上面側外周部から周面にかけて、断面略L字状の電極262bが設けられるとともに、上記円筒261aの内周面、外周面、および上面にかけて、断面略コの字状の電極262aが設けられており、これらは互いに非接触となるように配設されている。
上記円筒261aおよび電極262aの内周側には、円筒状の絶縁体263が配設されていて、この絶縁体263の下端側が電極262bに接触して、電極262aと電極262bとが絶縁されるようになっている。
この絶縁体263の内周側から上記円板261cの下面側にかけて、疎水性(撥水性)コーティング(Hydrophobic coating)264が設けられている。
そして、この疎水性コーティング264の内部に、上記伝導性液体265および非伝導液体266が封止されている。なお、上記電極262bは、伝導性液体265に電気的に接続されるように、疎水性コーティング264よりも内周側に延出されている。
このような構成において、上記電極262a,262bに特に電圧を印加しないときには、伝導性液体265が疎水性コーティング264により退けられて、図19(A)に示すように、底面側に集まる略半球状をなし、それ以外の、疎水性コーティング264に接触する部分に非伝導液体266が配分される。
一方、上記電極262aがマイナス、電極262bがプラスとなるように電圧Vを印加すると、図19(B)に示すように、プラスの電荷が上記電極262bから伝導性液体265に伝達される。そして、電極262aの表面にマイナスの電荷が分布するとともに、上記絶縁体263および疎水性コーティング264を介して該電極262aに対向する伝導性液体265の表面にプラスの電荷が分布する。このような電気的誘導によって、伝導性液体265の表面張力(より正確には、伝導性液体265が疎水性コーティング264と接触する界面の張力)が変化する。表面張力が変化すると、伝導性液体265は、疎水性コーティング264の内周面をぬらし始める。このような、電場による疎水性コーティング264の疎水性が弱まるプロセスを、「電子ウェッティング(electrowetting)」という。
こうして、電圧Vを印加することにより、伝導性液体265と非伝導液体266との間のレンズ面の曲率半径が変化するために、レンズの焦点距離が変化する。
このような焦点距離の変化は、電極262aと電極262bとの間に印加する電圧を調整することにより、制御することができる。例えば、印加する電圧Vをより高くしてやることにより、分布する電荷量が増えて、図19(A)に示すように凸状(略半球状)をなす伝導性液体265の表面が、完全に平らになったり(レンズ効果なし)、あるいは、図19(B)に示すような凹状になったりする。この図19(B)に示す例では、接触角φが90度よりも小さくなっている。このようにして、収束レンズから発散レンズへスムーズに移行し、またスムーズに元に戻るレンズを実現することができる。
図18は、上記図19に示したような液体レンズを用いて、LCD115の像の一次結像の位置を変化させるようにした構成例を示している。
すなわち、LCD115とHOE25との間の光路上には、結像光学系であり虚像距離調整手段たる液体レンズ257が配設されていて、この液体レンズ257によるLCD115の像の一次結像面の位置254は、該液体レンズ257に印加する電圧Vを変化させることにより、変更することができるようになっている。
すなわち、該液体レンズ257に印加される電圧Vは、虚像距離調整手段たる電圧制御回路258により制御されるように構成されている。
この電圧制御回路258は、例えば上記第4CPU111に接続されていて、撮影画枠の虚像VIまでの距離Liが、被写体までの距離に一致されるように制御される。
なお、このときにも、液体レンズ257の焦点距離を変化させると虚像VIの倍率が変化するために、該液体レンズ257の焦点距離に応じて、LCD115に表示する撮影画枠の大きさを変更することはいうまでもない。
このような、液体レンズ257の焦点距離を変化させて虚像VIまでの距離Liを被写体までの距離に一致させる構成を採用することにより、構成が簡単になって装置をより一層小型軽量化することができる。さらに、アクチュエータが用いられていないために、騒音が発生することはなく、撮影者に不快感を与えることもない。従って、このような構成は、頭部に装着して用いるタイプの頭部装着型カメラや頭部装着型表示装置などに、特に有効となる。
なお、上記図18では、虚像VIとして撮影画枠が表示されるときに、該虚像VIの位置を調整する例を示したが、これに限らず、虚像として画像や文字等が表示される場合にも(すなわち、画像や文字を虚像として表示するような表示装置においても)、同様に適用可能であるのはもちろんである。
次に、図20、図21を参照して、視線方向/角速度検出部7における視線方向検出部の光学系の構成の一例について説明する。図20は視線方向検出部の光学系の一構成例を示す一部断面を含む正面図、図21は視線方向検出部の光学系の一構成例を示す左側面図である。
上記フレーム部13の内部における上記透明光学部材14の上部となる位置に、上記
LED125,集光レンズ126,反射ミラー127,反射ミラー131,結像レンズ132,バンドパスフィルタ133,CCD134が、図20に示すように、順に配置されている。
上記反射ミラー127の下方となる透明光学部材14内には、ハーフミラー128とHOE24とが配設されている。さらに、該ハーフミラー128の側方となる透明光学部材14内には、HOE129が配設されている。
このような構成において、上記LED125から赤外光が発光されると、集光レンズ126により平行光束に変換された後に、反射ミラー127により鉛直下方へ反射される。
この反射ミラー127により反射された赤外光は、透明光学部材14の内部に入って、該透明光学部材14内に配置されているハーフミラー128を透過し、HOE24により観察者の眼へ向けて反射される。
一方、観察者の眼から反射された赤外光は、上記HOE24により上方へ向けて反射され、さらに、ハーフミラー128により側方へ向けて反射される。この反射光は、さらにHOE129により上方へ向けて反射され、フレーム部13内に配設された反射ミラー131に到達する。
この反射ミラー131により側方へ向けて反射された光は、結像レンズ132とバンドパスフィルタ133とを介して、上記HOE24により反射された赤外光の波長域に係る観察者の眼の像として、CCD134上に結像される。
このCCD134によって変換された画像信号は、上記CDS/AGC回路136、A/D変換回路137、通信制御部173等を介して、上記操作/記録部4へ転送され、該操作/記録部4内の第1CPU161において、後述するように、プルキンエ像の位置と、瞳孔の中心位置と、が求められ、さらにこれらの相対的な関係から視線方向が求められる。
なお、上記ハーフミラー128およびHOE129は、このように例えば透明光学部材14内に配置されるが、このときの位置としては、この頭部装着部2を装着して被写体を観察する観察者の視界に通常入り難いような上部であることが望ましい。
これら図20、図21に示したような構成によれば、高い波長選択性と、選択された波長域の光に対する高い反射率と、を有するHOE24を用いるとともに、同様の波長選択性を有するバンドパスフィルタ133をCCD134の前に配置しているために、高いS/N比の信号を得ることが可能になる。
そして、このような構成により、被写体を観察している観察者の視線方向を、正確に求めることが可能となる。
続いて、図22、図23を参照して、視線方向/角速度検出部7における視線方向検出部の光学系の構成の他の例について説明する。図22は視線方向検出部の光学系の他の構成例を示す一部断面を含む正面図、図23は視線方向検出部の光学系の他の構成例を示す左側面図である。
上記図20、図21に示したような構成は、ハーフミラー128およびHOE129が外光に直接さらされることになるために、外光ノイズがCCD134に到達するのを完全に遮断するのは困難である。これに対して、この図22、図23に示すような構成は、観察者の眼へ赤外光を投光する光路と、観察者の眼により反射された赤外光をCCD134により受光する光路と、を完全に分離するようにしたものとなっている。
すなわち、この視線方向検出部の光学系においては、上記ハーフミラー128およびHOE129が省略されると共に、HOE24が、上記図20に示したものよりも左右方向にやや長くなるように構成されている。
そして、上記反射ミラー127により反射された赤外光は、このHOE24の例えば左側部分へ向けて、斜めに入射されるようになっている。HOE24は、この反射ミラー127からの赤外光を、観察者の眼へ向けて、水平方向に少し斜めとなるように投射する。
一方、観察者の眼からの反射光は、該HOE24の例えば右側部分により受光されて、上記反射ミラー131へ向けてほぼ鉛直真上に反射される。この反射ミラー131以降の構成等は、上記図20、図21に示したものと同様である。
これら図22、図23に示したような構成によれば、高い波長選択性と、選択された波長域の光に対する高い反射率と、を有するHOE24を用いるとともに、同様の波長選択性を有するバンドパスフィルタ133をCCD134の前に配置しているために、高いS/N比の信号を得ることが可能になる。そして、外光が照射される透明光学部材14に配置されるのをHOE24のみとしたために、透明光学部材14にハーフミラー128やHOE129が配置されている上記図20、図21の構成に比して、さらに外光ノイズの影響を低減することが可能となる。
なお、透明光学部材14内部における光の伝播は、図21や図23に示したように透過のみであっても良いが、上記透明光学部材15内部における光の伝播と同様に、透過と内面における全反射とを組み合わせたものであっても構わない。この透過と全反射とを組み合わせる光学設計を行う場合には、透明光学部材14を肉薄にすることが可能となって、頭部装着部2の軽量化をより一層図ることができる。
次に、撮像部30を、フレーム部13の側面に対して、ピッチ方向およびヨー方向に相対的に角度調整可能となるように取り付ける構成について、図24および図25を参照して説明する。図24は撮像部30をフレーム部13に取り付ける構成を示す平面図および右側面図、図25は撮像部30を取り付けるためにフレーム部13に設けられた孔の構成を示す右側面図である。
本実施例の頭部装着型カメラ1は、撮影者が撮影範囲を示す撮影画枠を指定し、指定された撮影画枠の視角に対応する画角で撮影を行うものであるために、パララックスを補正する必要がある。このパララックスの発生原因として、撮影者の視軸と撮影光軸との水平方向の位置的なずれと、視軸と撮影光軸との角度のずれと、があるが、後者の角度のずれの影響が非常に大きいために、この角度のずれを精密に補正することができるような調整機構(調整手段)を設けたものとなっている。
フレーム部13とテンプル部12とは、図24(A)に示すように、丁番78を介して、折り畳み可能に接続されている。この丁番78は、上記フレーム部13から延設されるやや長めの継手29を介して、右眼側の丁番79よりもややフロント部11側から離れた位置に配設されている。
上記継手29の側面には、該側面に沿った形状部33aと、該側面から略垂直に立設される形状部33bと、を備えた、正面から見たときに略L形状をなす調整機構(調整手段)たる台座33が接続されるようになっている。この調整機構は、頭部装着型カメラの調整方法が適用される頭部装着型カメラの調整装置における、フロント部11と撮像部30との相対的な角度を調整するための機構であり、該調整機構を用いることにより、撮像部30に含まれる撮影光学系31の光軸と視軸とを調整することが可能となっている。
すなわち、上記継手29には、図25に示すように、前方側にピッチ方向調整手段たる孔191が、後方側に該孔191を中心とした円弧状をなすピッチ方向調整手段たる長孔192が、それぞれ穿設されている。これらの孔191,192を介して、ピッチ方向調整手段たるビス34,35をそれぞれ台座33の上記形状部33aに螺合することにより、該台座33が継手29に対して取り付けられている。
また、上記台座33の形状部33bには、図24(A)に示すように、前方側にヨー方向調整手段たる孔193が、後方側に該孔193を中心とした円弧状をなすヨー方向調整手段たる長孔194が、それぞれ穿設されている。これらの孔193,194を介して、図24(B)に示すように、ヨー方向調整手段たるビス36,37をそれぞれ撮像部30の底面側に螺合することにより、該撮像部30が台座33に対して取り付けられている。なお、上記撮像部30の背面側からはケーブル38が延出されていて、被写体側に曲折された後に、上記フレーム部13内の電気回路等に接続されている。
このような構成において、ビス34およびビス35をやや緩めた状態で、ビス35が挿通される長孔192内の位置を変更することにより、台座33がビス34を中心として回動し、台座33、ひいてはこの台座33に取り付けられている撮像部30のピッチ方向の角度調整を行うことができる。こうして、所望の位置に調整された後には、上記ビス34およびビス35を固締めすれば良い。
同様に、ビス36およびビス37をやや緩めた状態で、ビス37が挿通される長孔194内の位置を変更することにより、撮像部30がビス36を中心として台座33に対して回動し、該撮像部30のヨー方向の角度調整を行うことができる。こうして、所望の位置に調整された後には、同様に、上記ビス36およびビス37を固締めすることになる。
このような構成によれば、シースルー画像表示部6と撮像部30との相対的なピッチ方向およびヨー方向の角度調整を行うことが可能となる。さらに、撮像部30が台座を介してフロント部11に固定されているために、テンプル部12を折り畳んでも撮像部30が折り畳まれることはなく、撮像部30とシースルー画像表示部6との相対的な角度ずれが発生する可能性が小さくなる。また、調整機構が簡単であるために、安価に構成することが可能となる。
なお、上述においては、撮像部30と台座33との相対的なヨー方向の角度を調整し、フレーム部13の側面の継手29と台座33との相対的なピッチ方向の角度を調整するようにしたが、これとは逆に、台座33に対する撮像部30の取り付け位置を変更することにより、撮像部30と台座33との相対的なピッチ方向の角度を調整し、台座33に対するフレーム部13の取り付け位置を変更することにより、フレーム部13の側面の継手29と台座33との相対的なヨー方向の角度を調整するように構成することも可能である。
続いて、図26から図36を参照して、シースルー画像表示部6による画像の表示例について説明する。
まず、図26は、シースルー表示における初期状態の表示例を示す図である。カメラ1の電源を投入するか、またはシステムをリセットしたときに、この図26に示すような表示が行われるようになっている。このときには、図示のように、標準レンズ(例えば、画角が50度であるものとする)に相当する撮影範囲を示す撮影画枠201がシースルー表示される(つまり、撮影者から見たときの視角が50度となるような撮影画枠201がシースルー表示される)ようになっている。
次に、図27は、テレへのズームが行われたときの表示例を示す図である。表示される撮影画枠201が、上記図26に示したよりもテレに対応する撮影範囲を示すものになっている。この撮影画枠201の変更は、上述したように、例えば上記ズームスイッチ75の操作により行われ、このときには撮像部30の撮影画角も該撮影画枠201の視角に一致するように、上記撮影光学系31の焦点距離が変更される。具体的には、上記図26に示したような標準レンズの焦点距離に対応する撮影範囲において、該ズームスイッチ75のテレスイッチ75aを操作することにより、この図27に示すような望遠側への変更が行われる。
続いて、図28は、ワイドへのズームおよび露出補正が行われたときの表示例を示す図である。表示される撮影画枠201が、上記図26に示したよりもワイドに対応する撮影範囲を示すものになっているとともに、この撮影画枠201の例えば右下に、露出補正量が情報表示202として表示されている。この図に示す例では、例えば上記露出補正スイッチ76により、+1.0の露出補正が行われたことが示されている。なお、露出補正は、数字で示すに限るものではなく、棒グラフや指標などの各種の表示を用いても構わないことは勿論である。また、この図28に示すような撮影画枠201は、例えば上記図26に示したような標準レンズの焦点距離に対応する撮影範囲において、上記ズームスイッチ75のワイドスイッチ75bを操作することにより、設定される。
また、図29は、電子ビュー表示を行うときの表示例を示す図である。例えば上記F/Vスイッチ72によりビューモード(V)が選択されると、この図に示すように、撮像部30で撮像された電子画像203が虚像として撮影者の目に投影されるようになっている。なお、この電子ビューとして表示する画像の大きさは、該画像の解像度により設定することができ、例えば解像度が低い場合は画像を小さく表示すれば良い。
図30は、動画を録画中の表示例を示す図である。例えば上記録画スイッチ74が操作されて録画中となったときには、この図30に示すように、撮影範囲を示す撮影画枠201が表示されるとともに、録画中であることを示す情報表示204が「REC」の文字として、撮影画枠201の例えば右下に表示されるようになっている。この録画中であることを示す表示も、上述と同様に、文字に限るものではない。
図31は、マニュアルモード時の表示例を示す図である。例えば上記FA/A/Mスイッチ71が操作されることによりマニュアルモード(M)に設定されているときには、該マニュアルモード(M)を示す情報表示205が「MANU」の文字として、撮影画枠201の例えば右下に表示されるようになっている。一方、「MANU」の情報表示205が行われていないときには、オートモード(A)であることになる。
図32は、フルオートモードで動画を録画中の表示例を示す図である。例えば上記FA/A/Mスイッチ71が操作されることによりフルオートモード(FA)に設定されていて、かつ録画スイッチ74が操作されて録画中となったときには、この図32に示すように、撮影範囲を示す撮影画枠201が表示されるとともに、フルオートモードであることを示す情報表示206が「FA」の文字として、また、録画中であることを示す情報表示207が「REC」の文字として、撮影画枠201の例えば右下に表示されるようになっている。これらのフルオードモードであることや録画中であることを示す表示も、上述と同様に、文字に限るものではない。
図33は、撮影光学系31の焦点距離fが焦点調節可能な下限値k1に達しているにもかかわらず、さらに小さい方へ操作されようとしている場合にシースルー表示される警告表示208の例を示す図である。すなわち、ワイド側へのズーム操作を行ってズームのワイド端に達したときに、依然としてワイド側へのズーム操作が行われている場合に、この警告表示208が撮影範囲を示す撮影画枠201の表示とともに行われる。
図34は、撮影光学系31の焦点距離fが焦点調節可能な上限値k2に達しているにもかかわらず、さらに大きい方へ操作されようとしている場合にシースルー表示される警告表示209の例を示す図である。すなわち、テレ側へのズーム操作を行ってズームのテレ端に達したときに、依然としてテレ側へのズーム操作が行われている場合に、この警告表示209が撮影範囲を示す撮影画枠201の表示とともに行われる。
図35は、静止画を撮影する操作が行われたときの表示例を示す図である。このときには、撮影範囲を示す撮影画枠201が表示されるとともに、静止画を記録したことを示す情報表示210が「REL」の文字として、撮影画枠201の例えば右下に表示されるようになっている。この静止画を記録したことを示す表示も、上述と同様に、文字に限るものではない。
図36は、キャリブレーションモードにおける表示例を示す図である。例えば、上記第1操作スイッチ162のメニューボタン63やメニュー選択スイッチ66,67,68,69、確定スイッチ65などを操作することによりキャリブレーションモードが選択されると、この図36に示すような表示を行うようになっている。すなわち、ここでは、キャリブレーションモードであることを示す情報表示211が、「CAL」の文字として、視野の例えば右下に表示されるとともに、さらに、キャリブレーション用の指標P1〜P5が、後述するように、順次点滅して表示されるようになっている。これらの内の、指標P1は視野の中央部に、指標P2は視野の上部に、指標P3は視野の右側部に、指標P4は視野の下部に、指標P5は視野の左側部に、それぞれ表示される。
なお、上述したような各表示において、通常の情報表示は上記LED113の中の例えばG(緑)のダイオードを発光させることにより行い、警告表示は上記LED113の中の例えばR(赤)のダイオードを発光させることにより行うようにすると良い。
次に、図37〜図39を参照して、上述したような被写体までの距離に基づくパララックスの補正の原理について説明する。図37は被写体と撮影光学系とCCDとの光学的な関係を説明するための図、図38はHOEとこのHOEにより形成される虚像と眼との光学的な関係を説明するための図、図39はパララックスを補正するのに必要な虚像のシフト量を説明するための図である。
図37に示すように、CCD87の撮像領域の水平方向のサイズをh2、撮影光学系31の焦点距離をf、撮影光学系31の主点からCCD87までの距離をf+x、撮影光学系31の主点から被写体Oまでの距離をL2、CCD87で撮影される被写体Oの水平方向の長さをH2、水平方向の撮影画角をθ2、とすると、次の数式3に示すような関係式が成り立つ。
[数3]
一方、図38に示すように、撮影者の瞳Pの位置から撮影範囲を示す水平方向の撮影画枠の位置(虚像VI)までの距離をL1、該撮影画枠の水平方向の長さをH1、瞳Pの位置から水平方向の長さH1でなる該撮影画枠を見込む角度(視角)をθ1とすると、次の数式4に示すような関係式が成り立つ。
[数4]
撮影者が設定した撮影範囲で撮影するためには、撮影画角と視角が等しくなること、すなわち、θ2=θ1であることが必要である。このθ2=θ1が成り立つ条件の下では、数式3の右辺と数式4の右辺とが等しくなるために、撮影光学系31の焦点距離fは、次の数式5に示すように求められる。
[数5]
一方、レンズの結像原理から、次の数式6が成り立つ。
[数6]
これら数式5と数式6とから、xを消去することにより、次の数式7が導かれる。
[数7]
この数式7から、被写体距離L2を求めることができれば焦点距離fを求めることができることがわかる。
ここで、通常の被写体においてはh2/L2≪H1/L1の関係が成立するために、計算を簡略化したいときや、被写体距離を求める手段を備えていないときは、次の数式8により近似値を求めることができる。
[数8]
次に、パララックスの補正原理について、図39を参照して説明する。
まず、パララックスの補正の原理を説明する際の前提条件として、撮影光学系31の光軸方向と撮影者の視軸の方向とは、ともに顔面に対して垂直であるものとし、これらの光軸と視軸とは距離Xだけ隔てて配置されているものとする。ここに、パララックスは、光軸と視軸とが距離Xだけ離れていることに起因して発生するものである。なお、光軸と視軸とが相対的に傾いている場合には、大きなパララックスを生ずる要因となり得るために、これらは平行となるように調整する必要がある。このために、上記図24、図25に示したような調整機構を用いて、光軸と視軸との調整を行うようになっている。
図39の実線および点線に示すように、もし、撮影範囲を示す撮影画枠の虚像VI0までの距離と、被写体Oまでの距離と、が同じであれば、撮影者が観察している範囲と撮像部30が撮像している範囲とのずれ量(パララックス)は、Xとなって不変である。しかし、実際には、撮影者の瞳Pから虚像VI1までの距離L1は、撮影光学系の主点から被写体Oまでの距離L2と異なるために、虚像としての撮影画枠が示す範囲を実際の撮像範囲に合致させるためのパララックス補正量X’は、次の数式9に示すようになる。
[数9]
撮影画枠の虚像VI1の倍率(つまり、LCD115上に表示される像に対する虚像の大きさの比)の逆数をβとすると、パララックスを補正するために、LCD115上に表示する像のシフト量SPは、次の数式10に示すようになる。
[数10]
従って、第4CPU111は、この数式10で表わされる量SPだけ、LCD115に表示する像の位置をシフトさせるように、上記LCDドライバ117を制御することになる。これにより、虚像VI1の位置が距離X’だけシフトされて虚像VI2となり、図39の2点鎖線に示すように、虚像の撮影画枠が示す範囲が、実際の撮像範囲に一致する。
このように、パララックス補正を行うためのシフト量SPは、被写体距離L2に依存しているために、被写体距離が異なる毎に、随時行うことが基本となる。
しかしながら、例えば、β=1/100、L1=2m、L2=2m、X=4cmの場合を例に取ると、シフト量SPは0.4mmとなるが、このパララックス補正量を次のような数式11、
[数11]
を用いて視角Sθに換算すると、約1度となって、さほど大きなパララックスが生じているとはいえない。このように、通常の撮影を行う場合には、パララックス補正はほとんど必要がないということができる。その一方で、数式11の右辺括弧内は被写体距離L2の逆数に比例しているために、視角Sθが大きくなって上述した数式10によるパララックス補正が必要となってくるのは、L2が小さいとき、つまり近接撮影のとき、であることが分かる。
なお、以上の説明においては、被写体距離L2を三角測距の原理に基づいて求めるようになっている。すなわち、投光用LED16aの光を被写体へ投光して、該被写体から反射した光を上記CCD87で撮像し、該CCD87上の像の位置から、三角測距の原理に基づいて求めるようになっている。
また、L2は視線方向の被写体距離であるために、投光用LED16aを、視線検出を行う眼になるべく近い位置に配置して、公知の投光方向を制御する手段により、視線方向(θ)に投光するようにすれば良い。
さらに、上述したような三角測距の原理に基づいて被写体距離を求める代わりに、オートフォーカスを行ったときのフォーカスレンズ85の位置から被写体距離L2を求めるようにしても構わない。すなわち、被写体の位置が無限大であると仮定して、上記図11に示したようなAF処理回路98により、視線方向(θ)と同じ画角の所定範囲にある被写体の画像信号の高周波成分が最大になる位置に、フォーカスレンズ85を駆動し(いわゆるコントラスト方式による焦点検出を行い)、このフォーカスレンズ85の位置から逆に被写体距離L2を求めるようにすれば良い。この場合には、視線方向(θ)の被写体と、上記AF処理の対象となる視線方向(θ)と同じ画角の被写体と、は厳密には一致しないが、被写体はある大きさを有するために実用上の問題が生じることはない。
続いて、図40を参照して、撮像部30と視線方向/角速度検出部7の視線方向検出部とが所定距離だけ隔てて配置されていることに起因して生じるパララックスを考慮する技術について説明する。図40は、視線方向にある被写体を撮像部から見るときの角度の関係を示す図である。
例えば、視線方向/角速度検出部7により検出された視線方向にある被写体に、撮像部30の撮影光学系31のピントを合わせようとする場合を考える。被写体までの距離が遠い場合には、撮像部30から見た撮影者の視線方向にある被写体は、撮影者が実際に注視している被写体にほぼ一致するが、被写体までの距離が近くなると、これらにずれが生じてくる。従って、ずれた位置にある被写体にピントを合わせたとしても、撮影者が注視している被写体にピントが合うとは限らない。図40は、このようなパララックスが生じているときの位置関係の例を示している。
今、撮影者が、撮影光学系31の光軸と平行な視軸に対して角度θをなす方向の、距離Lにある被写体Oを注視しているものとする。このときに、撮影光学系31の光軸と撮影者の瞳との間の距離をXe とする。また、撮影光学系31の光軸と、撮影光学系31の主点Hと被写体Oを結ぶ直線と、のなす角度をθ’とする。すると、次の数式12が成り立つ。
[数12]
被写体距離Lが大きい場合には、数式12の右辺の第2項を無視することができるために、θ’≒θとなり、つまりパララックスの影響をほぼ考えなくて良いことが分かる。
なお、上記被写体距離Lは、上述したように、三角測距により求めたものでも良いし、あるいはコントラスト方式により焦点検出を行った結果に基づいて求めたものであっても構わない。
次に、このようなカメラ1の動作について、図59および図60を参照して説明する。図59はカメラの動作の一部を示すフローチャート、図60はカメラの動作の他の一部を示すフローチャートである。これら図59および図60は、カメラの動作の流れを、図面の都合上、2図に分割して示したものである。
このカメラ1の電源を投入するか、またはシステムをリセットすると、標準レンズ(上述したように、例えば、画角が50度となる。)に相当する撮影範囲を示す撮影画枠を、上記シースルー画像表示部6により上記図26に示したようにシースルー表示する(ステップS1)。
次に、上記第2CPU121に内蔵されているタイマ123をチェックすることにより、所定時間が経過したか否かを判断する(ステップS2)。
ここで、所定時間が経過していると判断された場合には、図8に示したような第1操作スイッチ162や、図10に示したような第2操作スイッチ171などの各種スイッチの入力状況をモニタする(ステップS3)。
なお、上記ステップS2におけるタイマは、所定時間が経過して上記ステップS3に移行した時点で、再度、計時を開始するものとなっている。そして、タイマによる計時が所定時間に達していないときには、上記ステップS3におけるスイッチのモニタは行わないようになっている。このように、タイマをチェックしながら所定の時間間隔でスイッチの入力状況を確認することにより、各CPUの負荷を軽減することができるとともに、スイッチのチャタリングによる誤動作を防止することも可能となっている。なお、後述するステップS14,S20,S25のタイマは、上記ステップS2におけるタイマと同様の機能を果たすものとなっている。
上記ステップS3の処理が終了したら、次に、後述するような危険防止のサブルーチンを実行する(ステップS4)。
このステップS4の処理が終了するか、または上記ステップS2において所定時間が経過していないと判断された場合には、カメラ1が、オートモード(A)もしくはマニュアルモード(M)の何れかに設定されているか、または、これらのモード以外(つまりフルオートモード(FA))に設定されているか、を判断する(ステップS5)。このモード設定は、上述したように、FA/A/Mスイッチ71の操作により行われるものである。
ここで、オートモード(A)でもマニュアルモード(M)でもなく、つまりフルオートモード(FA)であると判断されたときは、録画スイッチ74により録画モードに設定されているか否かを判断する(ステップS6)。
ここで、もし録画モードに設定されていないときには、上記ステップS2へ戻って、上述したような処理を繰り返して行う。
また、上記ステップS6において、録画モードに設定されていると判断された場合には、標準撮影画枠に設定するとともに、フルオートモードであることを示す情報表示206(文字「FA」)と、録画中であることを示す情報表示207(文字「REC」)と、を上記図32に示したようにシースルー表示する(ステップS7)。
そして、動画データ、角速度データ、視線方向データ、音声データを、上記記録用メモリ157に後述する図48に示すように記録してから(ステップS8)、上記ステップS2へ戻って、上述したような処理を繰り返して行う。
一方、上記ステップS5において、オートモード(A)またはマニュアルモード(M)の何れかが設定されていると判断された場合には、露出補正が設定されているか否かを判断する(ステップS9)。
ここで、露出補正が設定されていると判断された場合には、例えば図28に示したように、設定されている露出補正量(補正値)を情報表示202としてシースルー表示する(ステップS10)。
このステップS10の処理が終了するか、または上記ステップS9において露出補正が設定されていないと判断された場合には、カメラ1が、撮像部30で撮像された画像をシースルー表示するビューモード(V)に設定されているか、または、撮影範囲である撮影画枠のみを表示するフレームモード(F)に設定されているかを判断する(ステップS11)。このモード設定は、上述したように、F/Vスイッチ72の操作により行われるものである。
ここで、モードがフレームモード(F)に設定されていると判断されたときには、次に、カメラ1が、オートモード(A)に設定されているか、または、マニュアルモード(M)に設定されているか、を判断する(ステップS12)。このモード設定は、上述したように、FA/A/Mスイッチ71の操作により行われるものである。
ここに、オートモード(A)は、撮影光学系31の焦点距離が所定値以上であるときは、フレームモード(F)に設定されていても、撮像部30により撮像された画像を自動的に拡大してシースルー表示するモードとなっている。このような表示を行うことにより、望遠撮影においても面倒な操作を行うことなく被写体の詳細を容易に確認することができるとともに、通常の焦点距離(上記所定値未満の焦点距離)においては撮影範囲を示す撮影画枠が表示されるのみであるために、長時間の撮影においても違和感なく撮影を行うことが可能となる。
一方、マニュアルモードは、上述したように、上記シースルー表示を行うか否かをマニュアルで設定するものであり、通常は撮影画枠の表示のみを行うモードである。
上記ステップS12において、マニュアルモード(M)が選択されていると判断された場合には、上記図31に示したように「MANU」の情報表示205を行う(ステップS13)。
そして、タイマをチェックすることにより、所定時間が経過したか否かを判断する(ステップS14)。
ここで、所定時間が経過している場合には、上記ステップS4の危険防止の処理において、後述する図61のステップS41で求めた被写体までの距離に基づき、撮影者の観察している範囲と撮像部30による撮影範囲とのずれであるパララックスを補正するために必要な補正値を上述したような原理に基づき算出する(ステップS15)。
そして、このステップS15で算出された補正値に基づいて、正しい位置に撮影画枠を表示するように、撮影画枠の表示を更新する(ステップS16)。このような処理を行うことにより、被写体距離が変化した場合にも、正確に撮影範囲を表示することができるようになっている。なお、このステップS16においては、HOE25から上記撮影範囲を表わす撮影画枠の虚像までの距離も、上記図15〜図18に示したような手段の何れかにより調整するようになっている。
一方、上記ステップS12において、オートモード(A)に設定されていると判断されたときは、次に、撮影光学系31の焦点距離が所定値αよりも大きい望遠側に設定されているか否かを判断する(ステップS17)。
ここで、撮影光学系31の焦点距離が所定値α以下であると判断された場合には、上記ステップS14の処理に移行する。また、撮影光学系31の焦点距離が所定値αよりも大きいと判断された場合、あるいは上記ステップS11において、ビューモード(V)が設定されていると判断された場合には、撮像部30により撮像した電子画像をシースルー画像表示部6により被写体に重畳してシースルー表示する(ステップS18)。
このステップS18の処理が終了した場合、上記ステップS16の処理が終了した場合、または上記ステップS14において所定時間が経過していないと判断された場合には、撮影者が上記操作/記録部4のワイドスイッチ75bを操作することにより、撮影画枠の大きさを広く(W)したか否かを判断する(ステップS19)。
ここで、撮影画枠の大きさを広く(W)する操作が行われていると判断された場合には、タイマをチェックすることにより、所定時間が経過しているか否かを判断する(ステップS20)。
そして、所定時間が経過していると判断された場合には、撮影光学系31の焦点距離fが、焦点調節可能な下限値k1に達しているにもかかわらず、さらにこの下限値k1よりも小さい方へ操作されようとしているか否かを判断する(ステップS21)。
ここで、焦点調節可能な下限値k1よりも小さい方へ操作されようとしている場合には上記図33に示したように、シースルーにより警告表示208を行う(ステップS22)。また、焦点距離fが焦点調節可能な下限値k1にまだ達していない場合には、撮影光学系31のバリエータレンズ82を駆動することにより焦点距離fを小さくして、撮影者が設定した撮影範囲になるように撮影光学系31の焦点距離を設定する(ステップS23)。
一方、上記ステップS19において、撮影画枠の大きさを広く(W)する操作が行われていないと判断された場合には、上記操作/記録部4のテレスイッチ75aを介して、撮影画枠の大きさを狭く(T)する操作が行われているか否かを判断する(ステップS24)。
ここで、撮影画枠の大きさを狭く(T)する操作が行われていると判断された場合には、タイマをチェックすることにより、所定時間が経過しているか否かを判断する(ステップS25)。
そして、所定時間が経過していると判断された場合には、撮影光学系31の焦点距離fが、焦点調節可能な上限値k2に達しているにもかかわらず、さらにこの上限値k2よりも大きい方へ操作されようとしているか否かを判断する(ステップS26)。
ここで、焦点調節可能な上限値k2よりも大きい方へ操作されようとしている場合には上記図34に示したように、シースルーにより警告表示209を行う(ステップS27)。また、焦点距離fが焦点調節可能な上限値k2にまだ達していない場合には、撮影光学系31のバリエータレンズ82を駆動することにより焦点距離fを大きくして、撮影者が設定した撮影範囲になるように撮影光学系31の焦点距離を設定する(ステップS28)。
上記ステップS24において撮影画枠の大きさを狭く(T)する操作が行われていないと判断された場合、上記ステップS20あるいはステップS25において所定時間が経過していないと判断された場合、または、上記ステップS22,S23,S27、あるいはステップS28の処理が終了した場合、には、操作/記録部4の第2操作スイッチ171に含まれる録画スイッチ74による動画記録の操作(あるいは、第1操作スイッチ162による動画記録の操作)が行われて録画モードが設定された否かを判断する(ステップS29)。
ここで、録画モードが設定されている場合には、図30に示したように、「REC」の文字による情報表示204をシースルーにより行ってから(ステップS30)、録画を開始する(ステップS31)。
このステップS31の処理が終了するか、または、上記ステップS29において録画モードが設定されていないと判断された場合には、操作/記録部4の第2操作スイッチ171に含まれるレリーズスイッチ73による静止画撮影の操作(あるいは、第1操作スイッチ162による静止画撮影の操作)が行われたか否かを判断する(ステップS32)。
ここで、静止画撮影の操作が行われたと判断される場合には、まず、静止画像の記録を行ってから(ステップS33)、図35に示したように、静止画の記録が行われたことを示す「REL」の文字による情報表示210をシースルーにより行う(ステップS34)。
このステップS34が終了するか、または、上記ステップS32においてレリーズスイッチ73による静止画撮影の操作が行われていないと判断される場合には、上記ステップS2の処理に戻って、上述したような動作を繰り返して行う。
図61は、上記図59のステップS4に示した危険防止のサブルーチンの詳細を示すフローチャートである。
上述したように、スイッチ39を操作することにより、シースルー画像の表示を所望に禁止することができるようにして安全を図るようにしているが、これに代えて、またはこれと共に、撮影者の状態を検出して、検出された状態に応じて撮影動作中のシースルー表示を自動的に禁止するようにしたものである。
この危険防止の処理を開始すると、まず、被写体までの距離を測定する(ステップS41)。このときの測距原理は、次のようになっている。
フレーム部13の中央部に配置された投光用発光部16の投光用LED16aから発光された光束は、集光レンズ16bによりほぼ平行光束となって射出され、被写体に照射される。この光は、該被写体によって反射され、撮影光学系31を介してCCD87の撮像面に入射する。
このときに、集光レンズ16bと撮影光学系31との間の距離をL、撮影光学系31の主点からCCD87の撮像面までの距離をf1、被写体からの反射光のCCD87の撮像面上における結像位置と撮影光学系31の光軸が該撮像面に交差する位置との距離を△L、とすると、被写体までの距離Rは、公知の三角測距の原理に基づいて、次の数式13により求めることができる。
[数13]
このようにして求めた距離Rを、第2CPU121の内部に設けられたRAM122に一時的に記憶する。
続いて、上記角速度センサ141,142により、独立な2軸周りの角速度を検出して、上記RAM122に一時的に記憶する(ステップS42)。
次に、今回取得した測距結果と、以前に取得した測距結果と、を比較して、撮影者の前方にある物体が相対的に近づいているか否かを判断する(ステップS43)。
ここで、前方の物体が近づいていると判断された場合には、さらに、今回取得した被写体までの距離Lが、所定の距離k3よりも近い距離となっているか否かを判断する(ステップS44)。
ここで、上記距離Lが所定の距離k3よりも近いと判断されたときには、所定の警告マークを上記シースルー画像表示部6によりシースルー表示する(ステップS45)。なお、ここでは、前方の物体までの距離のみを考慮して、該前方の物体の移動速度は考慮していないが、上記ステップS43において、前方物体までの距離を求めるとともにさらに移動速度(近接してくるスピード)も求めて、該移動速度に応じて上記所定の距離k3を適応的に設定するようにしても良い。この場合には、前方物体が近接してくるスピードが速いほど、上記所定の距離k3を大きくするように設定する。そして、前方物体の移動速度は、上記距離Lを所定時間間隔で検出することにより、測定することが可能である。
一方、上記ステップS43において、前方の物体は近づいていないと判断された場合には、さらに、上記角速度データに基づいて撮影者が歩行中であるか否かを判断する(ステップS46)。
すなわち、人が歩行しているとき、または人が走行しているときの、頭部に装着した角速度センサ141,142からの出力の特徴パターンを、予めEEPROM102に記憶しておく。そして、該角速度センサ141,142からの出力パターンが、該歩行時または走行時の特徴パターンと一致するときに、撮影者が歩行(または走行)していると判断するようになっている。
このステップS46において、撮影者が歩行(または走行)していると判断されたときは、上記ステップS45へ行って、上述したように警告表示を行う。
また、上記ステップS44において、前方物体までの距離Lが所定の距離k3以上であると判断された場合、あるいは、上記ステップS46において、撮影者が歩行(または走行)していないと判断された場合には、危険はないとして、上記ステップS45の警告表示は行わない。
こうして、ステップS45の処理が終了するか、または上記ステップS44あるいはステップS46において危険がないと判断された場合には、この危険防止の処理を終了して、上記図59に示した処理に復帰する。
なお、上述では警告表示を行っているが、この警告表示に代えて、強制的に(自動的に)シースルー画像表示部6によるシースルー表示をオフにするようにしても構わない。
また、上述では、角速度センサ141,142の出力値のパターンを所定の特徴パターンと比較して撮影者の状態を検出したが、より簡易的な手段としては、角速度センサ141,142の出力値が所定時間継続して所定値以上であるときに、警告表示を行ったり、シースルー表示を禁止したりすることも考えられる。
さらに、上述では、撮影者の状態として、撮影者が歩行もしくは走行している状態を例に挙げたが、これらに限らず、危険を防止することが望ましい状態に対応することができるようにすると良い。例えば、前方物体との相対的な速度に基づいて、自動車等を運転中であるか否かを判断し、運転中であると判断された場合にも、所定の警告を行ったり、シースルー表示を禁止したりするようにすると良い。このときには、運転中であって危険を防止することが望ましい状態であるか、または、列車やバス等に乗車中であって特に警告等を行う必要はない状態であるか、をより精度良く判別するために、上記角速度センサ141,142の出力を用いたり、その他のセンサ等を設けてさらに検出精度を高めるようにすると良い。
そして、上記撮影中における前方物体との衝突等の危険を防止する技術は、頭部装着型カメラに適用するに限るものではなく、シースルー表示機能を有する頭部装着型の表示装置に対しても適用可能であり、さらには、その他の一般的なカメラや表示装置に対しても広く適用することが可能である。
このような危険防止機能を設けることにより、頭部装着型カメラを、安全に使用することが可能となる。このような機能は、通常の行動をしながら簡単に撮影を行うことができる本実施例の頭部装着型カメラにおいて、特に有効となっている。
次に、図41〜図44を参照して、視線方向検出の原理について説明する。
図41は、照明光束の光軸Lmと眼の視線方向の視軸Lm’とが一致しているときの、該光軸Lmおよび視軸Lm’を含む面による眼の断面図である。この図41において、点Oを中心とする大きな円弧は眼球221を、点O’を中心とする円弧は角膜222を、角膜222を示す円弧が眼球221を示す円弧と交差する点から伸びる線分は虹彩223を、それぞれ示している。
このような眼に対して、光軸をLmとする平行光束を照射すると、角膜222の曲率中心O’と角膜222の頂点Kとのほぼ中点の位置に、光点Pi(以下、「プルキンエ像」という。)を生ずる。
角膜222を照明する光束の光軸Lmと、眼の視線方向を示す視軸Lm’と、が一致している場合には、図41に示すように、虹彩223中の円形孔でなる瞳孔の中心と、プルキンエ像Piと、角膜222の曲率中心O’と、眼球221の回旋中心Oと、は上記光軸Lm上にある。そして、プルキンエ像Piは、上記瞳孔の中心位置に生じている。このときに、眼を正面から観察すると、プルキンエ像Piの反射率は大きいために明るい光像として観察され、これに対して、瞳孔や虹彩の反射率は大幅に小さいために暗く観察される。
図42は、光軸Lmに垂直に交差する線を横軸として、眼の像を上記視線方向/角速度検出部7により撮像したときのCCD134の出力信号を縦軸方向にプロットした図である。
図示のように、虹彩223の像IRはその周囲の眼球221の像部分よりも暗く、瞳孔の像PLは虹彩223の像IRよりもさらに暗い。これらに対して、プルキンエ像Piは突出して明るい。従って、このような明るさの分布を検出することにより、プルキンエ像の虹彩(または瞳孔)の中心からの位置を求めることが可能となっている。
一方、図43は、照明光束の光軸Lmと眼の視線方向の視軸Lm’とが交差しているときの、該光軸Lmおよび視軸Lm’を含む面による眼の断面図である。
眼球221が、回旋中心O周りに光軸Lmに対して角度θだけ回旋すると、瞳孔の中心位置とプルキンエ像Piの位置との間に相対的なずれが生じる。今、角膜の曲率中心O’から瞳孔の中心iまでの距離をLxとすると、光軸Lmの方向から見たときの瞳孔中心iとプルキンエ像PiとのCCD134の撮像面上における距離d(図43においては実距離であるように図示しているが、より正確には距離dは撮像面上の距離であるものとする。)は、次の数式14により表わされる。
[数14]
ここにβ1 は、結像レンズ132の結像倍率である。
図44は、光軸Lmおよび視軸Lm’に交差し該光軸Lmに垂直な線を横軸として、眼の像を上記視線方向/角速度検出部7により撮像したときのCCD134の出力信号を縦軸方向にプロットした図である。
図示のように、プルキンエ像Piは、虹彩(または瞳孔)の中心に対して、上記距離dだけずれた位置に検出される。
従って、上記眼の像を視線方向検出部の受光系により結像して撮像し、撮像された画像データに画像処理を行って、プルキンエ像Piの位置と虹彩(または瞳孔)の中心位置との距離dを求めることにより、視線方向θを求めることが可能となる。なお、上記図20または図22に示したような受光系を介してCCD134に結像される像は、上下左右に非対称な、歪んだ画像となるが、このような幾何特性をEEPROM102等に予め補正情報として記憶しておき、この補正情報に基づいて上記歪みを補正した後に、上記数式14に基づいて視線方向を示す角度θを演算することになる。
次に、上記距離dを求めるための画像処理について詳細に説明する。
上述した原理においては、一次元の視線方向検出について述べたが、実際には二次元の視線方向を検出する必要がある。図45は、2次元の撮像素子から得られる眼の像を示す図である。この図45に示すように、瞳孔の中心をOp、プルキンエ像をPi、瞳孔中心Opを通る所定の中心線をLp、この中心線Lpと、該瞳孔中心Opとプルキンエ像Piとを結ぶ直線と、のなす角をγ、とそれぞれすると、瞳孔中心Opとプルキンエ像Piとの距離が上記数式14における距離dに対応する。従って、この距離dに基づき観察者の眼への赤外光の投光方向(以下「基準視軸」と呼ぶ)を基準とする視線方向(傾き角)θを求めることができ、また、上記γが眼球の回転方向を表わしている。こうして、CCD134に結像される2次元像における、瞳孔中心Opの位置と、プルキンエ像Piの位置と、を検出することができれば、上記θとγとで表される二次元の視線方向を求めることが可能となる。
次に、図62は、このような瞳孔中心Opの位置とプルキンエ像Piの位置とを求める処理を示すフローチャートである。
この処理を開始すると、まず、視線方向/角速度検出部7のCCD134により光電変換して得られた観察者の眼の画像データを、操作/記録部4内のメモリ155に記憶する(ステップS51)。そして、この画像データに基づいて、例えば第1CPU161により、以下に示すような処理を行う。
なお、外光によるノイズ成分を除去するために、観察者の眼に赤外光を投光する前にまずCCD134の画像データを取り込んでおき、その後に、観察者の眼に赤外光を投光したときのCCD134の画像データを取り込んで、後者の画像データから前者の画像データを減算することにより、S/Nを改善した画像データを生成し、この画像データに基づいて、以下に示すような処理を行うようにしても良い。
また、上述では、CCD134から得られた画像データを操作/記録部4内のメモリ155へ転送するようにしているが、例えば、視線方向/角速度検出部7におけるA/D変換回路137の後段にバッファメモリ等を設けて、該画像データをこのバッファメモリに記憶し、例えば第2CPU121により以下のような処理を行うようにしても構わない。このように構成すれば、視線検出に係る画像データを上記操作/記録部4へ転送することなく直ちに処理することができるために、より短い時間で視線方向を検出することが可能となり、視線方向が変化したときの追従性が高まる。
次に、取得した画像データから、プルキンエ像を検出し、該プルキンエ像の位置(例えば、図46に示すようなX座標およびY座標。ここに、図46に示す例では、上記中心線Lpの方向にX軸を、該中心線Lpに垂直な方向にY軸を、それぞれとっている。)を求める(ステップS52)。上述したようにプルキンエ像は、他の画像部分に比べて極めて明るいために、例えば所定の閾値THPiを設定して、この閾値THPiよりも明るい領域をプルキンエ像として判定する処理を採用することができる。もちろん、プルキンエ像を判定する処理はこれに限らず、その他の画像処理も採用することが可能である。また、プルキンエ像の位置は、上記閾値THPiよりも明るい領域の重心を採用しても良いし、あるいは、出力データのピーク位置を採用することも可能である。
続いて、プルキンエ像であると判定された画素の画素データを、該プルキンエ像の近傍の画素の画素データに基づいて、該プルキンエ像が発生しなかった場合の画素データに置き換える(ステップS53)。具体的には、画素データの値を、プルキンエ像の位置を中心にして二次元方向に追跡し、画素データの変曲点を検出する。そして、この変曲点を結んでできる閉じた境界線の内部の像をプルキンエ像であるとして、このプルキンエ像の画像データの値を、その境界線の外側の近隣画像データと置き換える処理を行う。このときに、プルキンエ像に係る複数の近傍同士の間に画素データのレベルの傾きが存在する場合には、線形補間等を行うことによりレベルを補正して、プルキンエ像と置き換える画像データが、その近傍の画像データと滑らかなレベル変化で接続されるようにすると良い。
さらに、図46に示すように、プルキンエ像Piを中心として所定の領域Sdを設定する(ステップS54)。図46はプルキンエ像を中心として眼の像に設定される所定の領域を示す図である。なお、この図46に示す例では、上記所定の領域Sdを、一辺が上記X座標に平行となり他辺が上記Y座標に平行となるような正方形としているが、これに限るものではなく、例えば円形の領域であっても構わない。なお、この所定の領域Sdの大きさは、プルキンエ像Piが瞳孔中心Opから最大に変位した場合にも瞳孔全体の像が含まれるように、設定される。この設定は、領域Sdが例えば図46に示したような正方形をなすときには、図示のような一辺の半分の長さLdを指定することにより行われる。また、領域Sdが円形であるときには、その半径を指定することにより行われる。
そして、正方形をなす上記領域Sdに含まれる画素データの内の最小値Vmin を検出する(ステップS55)。
次に、上記最小値Vmin に所定値αを加えた値Vmin +αを設定する。ただし、この値Vmin +αは、虹彩領域の画像データのレベルよりも低い値となるような範囲内で設定される。そして、この値Vmin +α以下の画素データを有する画素のX座標およびY座標を検出する(ステップS56)。なお、ここで検出された画素の集合でなる領域をS’とする。
そして、このステップS56により求めた領域S’の重心の位置を求めて、これを瞳孔中心の位置とする(ステップS57)。ここでは、具体的には、領域S’に含まれる全ての画素について、X座標の平均値と、Y座標の平均値と、を求めて、これを瞳孔中心の位置とすることになる。
なお、上述では、瞳孔中心の位置を求めるのに、瞳孔に該当する画素の重心を採用したが、これに限らず、瞳孔に該当する画素領域の、X座標の最大位置と最小位置との中点、およびY座標の最大位置と最小位置との中点、を求めて、これを瞳孔中心としても良い。瞳孔はほぼ円形をなしているために、眼球が回旋したときの画像は楕円形となる。従って、このような処理を行うことも可能となっている。
上述したような処理を行うことにより、プルキンエ像のX座標およびY座標と、瞳孔中心のX座標およびY座標と、を求めることができる。
なお、上記処理の説明における画素は、CCD134の撮像面に構成されている実際の画素であっても良いし、隣接する複数の画素をひとまとめとして考えた仮想的な画素であっても構わない。例えば、複数の画素をひとまとめの画素とする場合には、処理時間を短縮することができる利点がある。
ところで、眼の各器官の大きさは、年齢毎に、性別毎に、あるいは人種毎に異なり、ひいては個人毎に異なるといえる。また、視線方向検出部を製作する際の個体差(機器毎の個体差)や、頭部装着部2の装着の仕方、などによっても、視線方向検出部の眼との相対的な位置関係が微妙に変化する。従って、上記数式14に基づいた一律的なパラメータにより求めた視線方向は、全ての撮影者に対して正確であるとはいえない。
このような理由から、本実施例のカメラ1では、視線方向検出に係るキャリブレーションを、必要に応じて所望に行うことができるようになっている。これにより、使用者毎の最適化を行うことが可能である。
図63は、視線方向検出に係るキャリブレーションの処理を示すフローチャートである。
例えば、上記第1操作スイッチ162のメニューボタン63やメニュー選択スイッチ66,67,68,69、確定スイッチ65などを操作することによりキャリブレーションモードを選択すると、このキャリブレーション処理が開始される。
処理を開始すると、まず、上記図36に示したようなキャリブレーション用の指標P1〜P5の内の何れを表示させるかを設定する(ステップS61)。
そして、設定した指標を例えば点滅してシースルー表示する(ステップS62)。この表示は、上述したように、視線方向検出部を含む視線方向/角速度検出部7が配設されている側の眼とは異なる側の眼により観察可能となっている。
例えば、まず指標P1を点滅させて、この指標P1を注視するように、観察者を促す。観察者は、指標P1を注視した状態となったら、所定のキー操作を行う。このキー操作入力を検出すると、上記CCD134により画像データを取り込んで、上記数式14に基づき、瞳孔中心iとプルキンエ像Piとの間の距離dを演算する(ステップS63)。このときに、指標P1を注視することにより得られた距離dの値をd1とする。
そして、上記指標P1〜P5の全てについて上記ステップS61〜S63の処理が終了したか否かを判断する(ステップS64)。
ここで、まだ、全ての指標P1〜P5について処理が終了していない場合には、上記ステップS61へ行って、次の指標について、上述したような処理を行うことにより、全ての指標P1〜P5に各係る距離d1〜d5を算出する。
ここで、上記数式14は理想的な場合にのみ成立する式であり、実際には、上述したような種々の誤差を考慮する必要がある。そこで、上記数式14を修正して、
[数15]
として、補正情報Δdを加えることにする。
この数式15において、角度θは、指標P1〜P5の表示位置により予め設定される値(指標P1〜P5に各対応して、それぞれ角度θ1〜θ5とする。)である。また、距離dは、視線方向検出部により実際に検出される値(上述した距離d1〜d5)である。さらに、Lxは、個人毎に異なる値であるものとする。
この数式15に、既知である上記角度θ1〜θ5と、上記ステップS63において各求めた距離d1〜d5と、上述したような結像レンズ132の結像倍率β1 と、を代入することにより、ΔdとLxとを未知数とする5つの数式(一次式)が求められる。2つの未知数Δd,Lxを求めるためには、これらの未知数を含む2つの一次式を連立すれば良いために、可能な解の組として、5C2=10(組)の解が求められることになる。そして、これらの解の組に所定の統計演算を行うことにより、各個人毎のパラメータとして最も確からしいと考えられるΔdおよびLxを求める(ステップS65)。
その後、このようにして求めたΔdおよびLxを、上記EEPROM102に記憶してから(ステップS66)、このキャリブレーションの処理を終了する。
なお、実際に視線方向を検出するに当たっては、上述したようなキャリブレーションによって求めたΔdおよびLxと、実際に検出した瞳孔中心iとプルキンエ像Piとの距離dと、を上記数式15に代入し、視線方向θを算出して求めることになる。
このようにして求めた視線方向のデータは、撮影時にリアルタイムで利用することができると共に、撮影後に例えば後述するような画像編集を行う際に利用することもできる。従って、動画データを記録するときには、後述するように、求めた視線方向を、検出されたタイム情報に関連付けて、動画データとともに記録するようになっている。
撮影時にリアルタイムで視線方向データを利用する例としては、撮像部30の撮影光学系31のピントを、視線方向の被写体に自動的に合わせることが挙げられる。この場合には、CCD87に結像される被写体像の中の、上記視線方向に対応する部分を中心とした所定範囲について焦点検出を行うようにすればよい。このときには、上記図40を参照して説明したように、パララックスを考慮すると良い。
図48は、図59のステップS8の処理において記録される各種データの構造を示す図である。
上記記録用メモリ157に記録されるデータは、例えば、この図48に示すようなデータ構造となっている。
すなわち、該データは、静止画データ管理エリアと、動画データ管理エリアと、編集済動画データ管理エリアと、静止画データエリアと、動画データエリアと、音声データエリアと、角速度データエリアと、視線方向データエリアと、編集済動画データエリアと、を有して構成されている。
上記静止画データ管理エリアは、上記オートモード(A)、またはマニュアルモード(M)において上記静止画データエリアに記録される静止画データの管理を行うための領域であり、撮影された各静止画データの先頭番地等が記録されている。
上記動画データ管理エリアは、上記動画データエリアにユニット単位で記録される動画データの管理を行うための領域であるが、その詳細については後述する。
上記編集済動画データ管理エリアは、後述するように編集が行われた動画データが記録される編集済動画データエリアの管理を行うための領域であり、この詳細についても後述する。
上記静止画データエリアは、上述したように、静止画データが記録される領域である。
上記動画データエリアは、上述したように、動画データがユニット単位で記録される領域である。
上記音声データエリアは、上記第1マイク17や第2マイク18により収録された音声データがユニット単位で記録される領域である。
上記角速度データエリアは、上記角速度センサ141,142により検出された角速度データがユニット単位で記録される領域である。
上記視線方向データエリアは、上記視線方向/角速度検出部7からの画像データに基づき上記第1CPU161等により算出された視線方向データが、ユニット単位で記録される領域である。なお、この視線方向データエリアに記録する視線方向データとしては、上記視線方向/角速度検出部7の視線方向検出部からの画像データに基づき求めた視軸方向を示す角度θそのものであっても良いが、これに代えて、上記数式12に示したように、視軸方向の被写体を撮像部30から見た角度となるパララックス補正された角度θ’を記録するようにしても構わないし、あるいはこれらの両方を記録するようにしても良い。こうして、視線方向データ(視線方向情報)には、視線方向が所定時間間隔で記録されることになるために、視線方向の連続的な移動量を算出することが可能であり、また、視線方向の移動速度を算出することも可能である。従って、視線方向データは、視線方向の連続的な移動量と、視線方向の移動速度と、の少なくとも一方を含むということができる。
上記編集済動画データエリアは、上述したように、編集済みの動画データがユニット単位で記録される領域である。
次に、動画データの構造の基本概念について説明する。
動画データは、該動画データの撮像と同時的に収録された音声データ、そして、該動画データの撮像と同時的に検出された角速度データおよび視線方向データと、その時間的な関係に応じて相互に関連付けられて記録されている必要がある。そこで、本実施例においては、これらの各データを所定時間毎にまとめてユニットという単位とし、ユニット内に含まれる各データが実際に記録されているメモリ領域の先頭アドレスを、上記動画データ管理エリアにまとめて記録している。従って、動画データ管理エリアに記録されている管理データを参照することにより、所望のユニットに含まれる動画データ、音声データ、角速度データ、および視線方向データにアクセスすることが可能となっている。
例えば、動画データ、音声データ、角速度データの取り込み周期を1/30秒とし、視線方向データの取り込み周期を1秒とし、1秒間分の各データを1つのユニットにまとめるものとする。このときには、1つのユニット内に、画像データ、音声データ、および角速度データがそれぞれ30個ずつ、また、視線方向データが1個、記録されていることになる。従って、上記動画データ管理エリアには、30個分の画像データを管理するためのデータ、30個分の音声データを管理するためのデータ、30個分の角速度データを管理するためのデータ、1個分の視線方向データを管理するためのデータ、が1つのユニットに対して記録されていることになる。従って、該動画データ管理エリアには、このような管理データが、ユニットの数だけ繰り返し記録されている。
図49は、動画データ管理エリアの詳細な構成を示す図である。
動画データ管理エリアには、ファイルに関する管理データが、ファイル名を先頭にして、ファイルの数だけ記録されている。
1つのファイルに関する管理データは、該図49に示すように、ファイル(File)名と、フラグ(FLG)と、開始時刻と、終了時刻と、ユニットサイズと、ユニットに関するデータと、を含んでいる。
上記ファイル名は、動画データに付されたファイルの名前である。
上記フラグ(FLG)は、編集処理が実施済みであるか否かを示すものである。
上記開始時刻は、動画データの撮影が開始された時刻を示すものである。
上記終了時刻は、動画データの撮影が終了した時刻を示すものである。
上記ユニットサイズは、動画データ、音声データ、角速度データ、および視線方向データを1組のユニット単位で記録するときのサイズを示すものである。
上記ユニットに関するデータは、このファイルに含まれるユニットの数だけ設けられており、1つのユニットに対しては、動画データの先頭番地を示すADR(A)、音声データの先頭番地を示すADR(B)、角速度データの先頭番地を示すADR(C)、視線方向データの先頭番地を示すADR(D)がそれぞれ記録されるようになっている。
従って、この動画データ管理エリアを参照することにより、記録用メモリ157にどのようなデータが記録されているかを、例えば図50に示すように把握することができるようになっている。図50は、動画データ管理エリアを参照して得られる情報表示の一例を示す図である。
この図50に示す例では、記録用メモリ157内に記録されているファイル名の一覧が表示され、各ファイルに対応する撮影日や撮影時刻、そして後述するような編集処理が行われているか否かが表示される。
次に、図51は、編集済動画データ管理エリアの詳細な構成を示す図である。
この編集済動画データ管理エリアには、編集済みの動画データに係るファイルに関する管理データが、ファイル名を先頭にして、ファイルの数だけ記録されている。
1つのファイルに関する管理データは、該図51に示すように、ファイル(File)名と、開始時刻と、終了時刻と、撮影時間と、記録領域と、を含んでいる。
上記ファイル名、開始時刻、終了時刻は、上記動画データ管理エリアに記録されているものと同様である。
また、上記撮影時間は、撮影された動画像のトータル時間を示す情報である。
さらに、上記記録領域は、所定のユニットサイズでなるユニット毎に、記録領域の先頭アドレスを表わす先頭番地が、上記動画データ管理エリアに記録されているものと同様に記録されている。
次に、図64は、編集処理を示すフローチャートである。
例えば、上記第1操作スイッチ162のメニューボタン63やメニュー選択スイッチ66,67,68,69、確定スイッチ65などを操作することにより編集モードが選択されると、この編集処理が開始されるようになっている。
この処理を開始すると、まず、連続して撮影された画像ファイル(つまり動画像ファイル)を1つの単位として、上記図50に示したように、撮影日、撮影時刻、既に編集済みであるか否かを示す情報、を一覧として表示する。そして、このように表示された画像の中から、操作者により1つ以上の画像ファイルが選択されるのを待機する(ステップS71)。
こうして、画像ファイルの選択が行われた場合には、上記図49に示したような動画データ管理エリアに記録されている管理情報を参照して、選択された画像ファイルに対応する視線方向データを読み出す(ステップS72)。
そして、読み出した視線方向データに基づいて、注視時間が所定時間t1以上であるか否かを判断する(ステップS73)。ここで注視しているか否かは、視線方向を表わすベクトルの大きさの変化が所定量以内であれば、一定の方向を注視しているものとする。
ここで注視時間が所定以上であると判断された場合には、ズームアップ処理を行う(ステップS74)。
ここで、図52〜図54を参照して、上記ズームアップ処理について説明する。図52はX方向の視線位置の時間変化を示す図、図53はY方向の視線位置の時間変化を示す図、図54はズーミングの時間変化を示す図である。なお、これら図52〜図54は、横軸にプロットした時間が、同一位置において同一時間を示すように図示している。
なお、X軸とY軸は、視線方向を示すベクトル空間を記述する互いに直交する2軸である。
ΔX,ΔYをX方向,Y方向のそれぞれに対する所定の視線位置変化量であるとする。このとき、X方向,Y方向の視線位置変化が各々ΔX,ΔY以下で、かつ注視時間が上記所定時間t1以上であるときは、図54に示すように、注視点に向けて画像をゆっくりと拡大して行く。つまり、注視点が徐々に画像の中央にくるように、拡大とトリミング(拡大領域の変更)とを同時に実行して行く。一定の拡大量に達したところでその状態をしばらく維持し、再び、注視時間の終了t0に向けてゆっくりと元の倍率(標準の画角)へ戻して行く。
なお、注視をしている途中で、瞬間的に視線方向が他に移動して再び元の注視方向へ戻ることがあるが、このような視線の動きについてはノイズであるとして、注視時間の考慮に入れないような画像処理を行うようにしている。このような画像処理は、公知の移動平均とノイズ処理とにより簡単に実行することができるために、その処理の詳細については省略する。
図64の説明に再び戻って、このステップS74のズームアップ処理が終了するか、または、上記ステップS73において注視時間がt1よりも大きいと判断されたときには、上記2方向(ヨー方向とピッチ方向)の角速度データを読み出す(ステップS75)。
その後、読み出した角速度データに基づいて、所定の編集処理を実行することになるが、図64のフローチャートに沿って説明を進める前に、この編集処理の基本的な考え方について、図55〜図57を参照して説明する。図55は角速度の時間変化を示す線図、図56は角速度の絶対値の時間変化を示す線図、図57は角速度の時間積分値の変化の様子を示す線図である。なお、これら図55〜図57は、横軸にプロットした時間が、同一位置において同一時間を示すように図示している。また、図57に示す角速度の時間積分(ΣωΔt)は、振幅に該当している。
編集処理の基本的な考え方は、次のようになっている。まず、ごく短い時間t2以下の角速度ωの変化は、ノイズであるとして無視する。次に、所定時間t3(ここにt3は、上記t2よりも長い時間である。)を閾値として、持続時間tがこのt3に満たないときは短い周期の振動(つまり、ぶれ)であると判断し、t3以上のときはぶれでない方向の変化であると判断する。そして、ぶれであると判断されたときは、可能であればぶれ補正を行い、不可能であればカッティング処理を行う。同様に、ぶれでない方向の変化であると判断されたときは、可能であればスムージング処理(急激に画像が流れるのを補正して、滑らかな変化にする編集処理であり、記録時間の引き延ばしとなっている。)を行い、不可能であればカッティング処理を行う。
このような考え方に基づいて、図55〜図57に示したような区間A,B,Cの3つのケースについて、具体的に説明する。
区間Aは、図56に示すように、持続時間tが所定時間t3以上であって、ぶれでない方向の変化と考えられ、かつ、角速度の絶対値|ω|が、スムージング処理を行うことが可能な程度の大きさであるために、該スムージング処理を行う。このスムージング処理の具体的な方法としては、動画像を構成するコマ(フレーム画像)の間に、スムージングの程度に応じた数のコマを挿入する方法が挙げられる。ただし、この方法では、スムージングの程度が大きくなる(画像の時間変化を引き伸ばす)ほどぎこちない動きになるために、隣接するコマの画像データに基づいて動きを補間するようなコマを作成し、作成したコマを挿入するようにすると良い。
区間Bは、持続時間tが所定時間t3よりも小さく、ぶれであると考えられ、かつ、角速度の絶対値|ω|が、ぶれ補正を行うことが可能な程度の大きさであるために、ぶれ補正を行う。
区間Cは、持続時間tが所定時間t3よりも小さく、ぶれであると考えられるが、角速度の絶対値|ω|が、ぶれ補正を行うのに適さない程大きいために、この区間の画像をカッティングする。
また、図示はしないが、持続時間tが所定時間t3以上であって、ぶれでない方向の変化と考えられるが、角速度の絶対値|ω|が、スムージング処理を行うのに適さない程大きい場合にも、該区間の画像をカッティングするようになっている。
さらに、区間Aの前の時間区間や、区間Aと区間Bとの間の区間などは、角速度の絶対値|ω|が、ぶれ補正を不要とする程小さく、かつスムージング処理を不要とする程小さいために、特に編集処理の対象とはならない。
なお、上述したような考え方に基づいてカッティングを行うと、例えば、図58に示すような孤立した画像が残る可能性がある。図58は、カッティングを行った後に孤立した画像が残っている様子を示す図であり、時間軸に沿って画像が存在するか否かを2値で示している。この図58に示す例では、区間C1、区間C2、区間C3の3つの区間がカッティングされているが、区間C2における画像SL1、区間C3における画像SL2,SL3が、それぞれ孤立した画像として残っている。このような画像は、後述するように、除去する処理が行われる。
再び図64の説明に戻って、上述したような基本的な考え方に基づくステップS76以降の処理について説明する。
2軸方向の角速度の内の、少なくとも一方の角速度ωの変化の持続時間tが、t2<t<t3を満たすか否かを判断し、この条件を満たすときは、さらに角速度の絶対値|ω|が、ω1<|ω|<ω2(ω1はぶれ補正が必要な角速度の下限値、ω2はぶれ補正が可能な角速度の上限値)を満たすか否かを判断する(ステップS76)。
ここで、ステップS76の条件が満たされている場合には、公知の画像処理により、ぶれ補正処理を行う(ステップS77)。
また、上記ステップS76の条件が満たされない場合には、上記角速度ωの変化の持続時間tが、t3≦tを満たすか否かを判断し、この条件を満たすときは、さらに角速度の絶対値|ω|が、ω3<|ω|<ω4(ω3はスムージングが必要な角速度の下限値、ω4はスムージングが可能な角速度の上限値)を満たすか否かを判断する(ステップS78)。
ここで、ステップS78の条件が満たされている場合には、上述したようなスムージング処理を行う(ステップS79)。
一方、上記ステップS78の条件が満たされない場合には、角速度ωの変化の持続時間tがt2<t<t3を満たしかつ角速度の絶対値|ω|がω2≦|ω|を満たすケースと、角速度ωの変化の持続時間tがt3≦tを満たしかつ角速度の絶対値|ω|がω4≦|ω|を満たすケースと、の何れか一方に該当するか否かを判断する(ステップS80)。
ここで、ステップS80の条件が満たされている場合には、該区間をカッティング処理する(ステップS81)。
また、上記ステップS80の条件が満たされていない場合は、次のような3つのケースが考えられる。
第1のケースは、持続時間tがぶれ(t2<t<t3)に相当するが、角速度の絶対値|ω|が下限値ω1以下のときである。このときには、補正が必要なぶれであるとは見なされず、そのまま無編集となる。
第2のケースは、持続時間tがぶれでない方向の変化(t3≦t)に相当するが、角速度の絶対値|ω|が下限値ω3以下の時である。このときには、方向の変化が十分に緩やかであってスムージングが不要であると見なされ、そのまま無編集となる。
第3のケースは、角速度ωの変化の持続時間tがt2以下(つまり、t≦t2)であって、ノイズに相当する場合である。このノイズは、通常の区間に存在する場合と、カッティング処理された区間に存在する場合(つまり、上記図58に示したような孤立点として残る場合)と、があり得るが、これらの内の孤立点については、次に説明するような処理が行われる。
すなわち、上記ステップS77、ステップS79、ステップS81の何れかの処理が終了するか、または上記ステップS80の条件が満たされない場合には、次に、孤立点の除去を行う(ステップS82)。
その後、編集済の動画データを上記記録用メモリ157に記録してから(ステップS83)、この編集処理を終了する。
こうして、画質が劣化すると考えられるケースにおいて、可能な範囲内で画質を向上する補正を行い、補正が不可能である場合にはカッティングするようにしているために、品質が良く見易い画像を得ることができる。そして、この編集処理を自動的に行うようにしているために、使用者が面倒な操作を行う必要がなく、簡便となる。
なお、この図64に示したような編集処理の例においては、生体情報としての視線情報や角速度情報に基づいて、ズーミング、カッティング、スムージング、ぶれ補正を行うようにしているが、編集処理は、これらに限られるものではない。例えば、角速度データの時間的な変動パターンに基づいて、撮影者が歩行中であるか否かを判断し、歩行中であると判断されたときには、通常よりも広角側にズーミング処理を行うようにすることが考えられる。また、これとは逆に、歩行中であると判断されたときには、画像の変動を抑制するように画像の一部を切り出して、切り出した画像を望遠側にズーミング(拡大)するようにしても良い。このような処理を行うことにより、画像の変動を少なくして、視覚的に違和感のない動画像を再生することが可能となる。
また、上述した編集処理においては、撮影後に、視線情報や頭部の角速度情報等の生体情報に基づいて画像を編集し、編集済みの画像データを記録媒体に記録するものであったが、再生時にリアルタイムで編集処理するようにすることも可能である。すなわち、所定の編集処理の内容(以下「編集情報」と呼ぶ。)と該編集処理の開始時刻に関するタイム情報とを、原画像と上記生体情報とが取得されたタイム情報に関連付けてメモリに記憶しておく。そして、画像データを再生するときに、原画像データを残したまま、上記原画像データと上記編集情報とを同時に読み出して、原画像データを編集情報に基づいてリアルタイムに編集しながら再生する(以下では、これを「動的編集処理」と呼ぶ。)ようにしても良い。
図65は、動的編集処理装置の構成の要部を示すブロック図である。
この動的編集処理装置は、原画像メモリ231と、操作部232と、プログラム修正部233と、編集情報メモリ234と、読出部235と、編集処理部236と、編集処理プログラムメモリ237と、表示部238と、を有して構成されていて、画像編集装置と画像再生装置とを兼ねたものとなっている。
上記原画像メモリ231は、画像データ記録手段であり、原画像データが、それぞれ撮像(取得)された時刻に関するタイム情報に関連付けられて記憶されているものである。
上記操作部232は、この動的編集処理装置に対する操作入力を、外部から手動で行うための操作手段である。
上記プログラム修正部233は、操作部232からの操作に応じて、上記編集情報メモリ234に記憶されている編集情報を修正するための編集情報修正手段である。
上記編集情報メモリ234は、生体情報記録手段であり、上記図64を参照しながら説明したような編集処理プログラムに関連する後述するようなコード情報(図66〜図75参照)と、上記原画像メモリ231に記憶されている原画像データに関連する編集情報(生体情報に基づき生成された編集情報)と、が上記タイム情報に関連付けて記憶されたものである。なお、編集情報として使用されていない生体情報がある場合には、該生体情報もこの編集情報メモリ234に記録しておくようにすると良い。
上記読出部235は、処理手段を構成するものであり、上記原画像メモリ231から原画像データを、また、上記編集情報メモリ234から上記編集情報を、関連付けられたタイム情報に応じて読み出し、上記編集処理部236へ転送するものである。
上記編集処理部236は、処理手段を構成するものであり、上記読出部235により読み出された原画像データを、該読出部235により読み出された編集情報(つまり、上記タイム情報に応じて、該原画像データに関連付けられている編集情報)を用いて、編集処理するためのものである。
上記編集処理プログラムメモリ237は、処理手段を構成するものであり、後述するような編集パターンに応じた具体的な編集処理プログラムが記憶されているものである。
上記表示部238は、表示手段であって、上記編集処理部236により処理された画像データを観察可能に表示するためのものである。
次に、上記編集情報メモリ234に記憶されている情報の詳細について、図66〜図75を参照しながら説明する。
図66は第1のズーミングのパターンを示す図、図67は第1のズーミングパターンに応じて編集情報メモリに記憶されているズーミングに関する編集情報を示す図、図68は第2のズーミングのパターンを示す図、図69は第2のズーミングパターンに応じて編集情報メモリに記憶されているズーミングに関する編集情報を示す図、図70は第3のズーミングのパターンを示す図、図71は第3のズーミングパターンに応じて編集情報メモリに記憶されているズーミングに関する編集情報を示す図、図72は第4のズーミングのパターンを示す図、図73は第4のズーミングパターンに応じて編集情報メモリに記憶されているズーミングに関する編集情報を示す図である。
図66に示すような第1のズーミングのパターンは、時間T1の間に、縮小から拡大へズーミングを行って、その後はそのままズーミングを停止するパターンとなっている。
また、上記編集情報メモリ234には、図67に示すようなズーミングに関する編集情報が記憶されている。この編集情報は、下位の4ビットがズーミングのパターン、次の4ビットが最初のズーミングの時間(T1)、その次の4ビットが停止時間(T2)、さらに次の4ビットが最初の状態に戻すズーミングの時間(T3)、最上位の16ビットが編集の開始時刻を表わすタイム情報となっている。
なお、この例では、各時間T1,T2,T3を記憶するメモリ容量を4ビットとしているが、これに限るものではなく、必要に応じた容量を定めるようにすれば良い。
そして、上記下位の4ビットには、第1のズーミングのパターンを示すズーミングパターンコード(ここでは、「0000」)が記憶されている。
また、次の4ビット(T1)には、上記図66に示すようなズーム時間に対応する情報が記憶されている。一方、この第1のズーミングのパターンでは、T2,T3を定義しないために、何れにもコード「0000」が記憶されている。
次に、図68に示すような第2のズーミングパターンは、時間T1だけ縮小から拡大へズーミングを行い、時間T2だけズーミングを停止し、時間T3だけ拡大から縮小へズーミングを行うパターンとなっている。
この第2のズーミングパターンにおいては、図69に示すように、ズーミングパターンコードとして「0001」が記憶されている。また、各時間T1,T2,T3もそれぞれ定義されて記憶されている。
続いて、図70に示すような第3のズーミングパターンは、時間T1だけ拡大から縮小へズーミングを行い、その後はそのままズーミングを停止するパターンとなっている。
この第3のズーミングパターンにおいては、図71に示すように、ズーミングパターンコードとして「0010」が記憶されている。また、時間T1のみが定義されて記憶され、時間T2,T3には上述したように未定義であることを示すコード「0000」が記憶されている。
そして、図72に示すような第4のズーミングパターンは、時間T1だけ拡大から縮小へズーミングを行い、時間T2だけズーミングを停止し、時間T3だけ縮小から拡大へズーミングを行うパターンとなっている。
この第4のズーミングパターンにおいては、図73に示すように、ズーミングパターンコードとして「0011」が記憶されている。また、各時間T1,T2,T3もそれぞれ定義されて記憶されている。
図74は、スムージングの編集情報を表すコードの例を示す図である。
下位の4ビットには、編集処理がスムージングであることを示すコード「0100」が、次の8ビットにはスムージングの開始から終了までの時間間隔(スムージング時間)が、最上位の16ビットには編集の開始時刻を表わすタイム情報が、それぞれ記憶されている。
図75は、カッティングの編集情報を表すコードの例を示す図である。
下位の4ビットには、編集処理がカッティングであることを示すコード「0101」が、次の8ビットにはカッティングの開始から終了までの時間間隔が、最上位の16ビットには編集の開始時刻を表わすタイム情報が、それぞれ記憶されている。
従って、上記読出部235は、編集情報メモリ234に記憶されたこのような編集情報を、タイム情報に関連付けて、上記原画像メモリ231に記憶された画像データと同期して読み出すようになっている。
また、上記編集処理プログラムメモリ237に記憶されている編集処理プログラムは、上記編集情報メモリ234に記憶された編集情報の最下位4ビットに応じた編集パターンを実行するためのプログラムとなっている。
そして、上記編集処理部236は、読出部235により読み出された編集情報から上記編集パターンを読み取って、この編集パターンに対応した編集処理プログラムを編集処理プログラムメモリ237から読み出し、所定の編集処理を実行する。
こうして編集処理された画像が、上記表示部238により表示される。
なお、上述したような動的編集処理は、自動的に行われるものとなっている。しかし、使用者が個々人の好みに応じて編集処理を行うことができると便利であるために、本実施例では、上記図65に示したように、操作部232とプログラム修正部233とを設けて、上記編集情報メモリ234に記憶されている編集情報を、手動により外部から修正することができるようにしている。
すなわち、編集情報を修正する際には、再生に関する公知の機能、つまり、再生の一次停止、戻し、スロー再生などを用いることにより、画像を表示部238により観察しながら、図67、図69、図71、図73、図74、図75に示したような編集情報を変更することになる。このときには、編集結果を該表示部238により確認することができ、さらに原画像が上述したように保存されているために、何度でも編集作業を行うことができて、最終的に、使用者の好みに最適な編集画像を得ることが可能となる。
また、上述したような視線方向の検出は、高度の技術と高いコストとを要するために、単に上述した編集処理のみに利用するために視線方向検出装置を設けるのは、コストパフォーマンスが良いとはいえない。従って、単に上述したような編集処理に利用するのみであれば、視線情報の代わりに角速度情報を用いて制御を行っても、ほぼ同等の効果を得ながら、かつコストパフォーマンスを改善することができる。この場合には、角速度情報に基づいて、頭部の角度変化が所定時間以上一定範囲内であるときには、観察者が被写体のほぼ一方向を観察しているものとして扱い、図64に示したような視線情報に基づく処理(例えば、ステップS74のズームアップ処理)と同様の処理を行うことが考えられる。
上記図65〜図75に示したような動的編集処理装置を用いれば、編集処理後の画像データを記憶するための記録媒体が不要になるために、特に動画データの記録を行う場合に、メモリ容量の節約効果を大きく得ることができる。また、自動編集処理を行うための編集情報を、使用者が好みに応じて変更することができるために、個々人の意思を忠実に反映した編集処理を行うことができる。
なお、上記図59〜図64に示した処理の内、撮像に関する処理と視線方向検出に関する処理は、主に上記第2CPU121が行うようになっている。また、シースルー画像表示に関する処理と測距のための投光処理は、主に上記第4CPU111が行うようになっている。さらに、AF処理とAE処理は、主に第3CPU103が行うようになっている。そして、画像データの記録処理と編集処理と再生処理と操作スイッチの検出処理は、主に第1CPU161が行うようになっている。このように、各関連する機能を有する周辺装置が接続されているCPUが、主にその機能に関連する処理を実行するように構成されている。ただし、各CPUはそれぞれ相互に接続されているために、処理能力に応じて、適宜処理を分散させるようにしても構わない。
また、上述した説明においては、シースルー画像表示部6のコンバイナとしてHOE25を用いたが、これに代えて、ガラスやプラスチック等を素材とする凸レンズ光学系や凹レンズ光学系、ハーフミラー、自由曲面光学系、またはこれらの組み合わせを用いることも可能である。
さらに、上述ではシースルー画像表示部6において画像を投影する手段として、LED113や集光レンズ114やLCD115を用いたが、これらの代わりに、EL(Electro Luminescence)パネルや自己発光型のプラズマディスプレイなどの他の表示素子を用いても良い。
このような実施例1によれば、撮影者自身の動きに関連する生体情報を記録しておき、記録された生体情報に基づいて、記録された画像データに対し事後的に所定の編集処理を行うことが可能となるようにしたために、カメラの構成を簡単にすることが可能になると共に、撮影者は、撮影動作に専念する必要なく撮影を行うことができる。従って、撮影者は撮影の負担を感じることなく、撮影者以外の者と同様の自然な行動をとることができる。そして、画像編集を撮影者の生体情報に基づいて行うようにしたために、撮影者の意図に添った画像編集を自動的に行うことが可能となる。記録後の画像データに対して編集処理を行う場合には、撮影中にリアルタイムで編集処理を行う場合に必要となる例えば予測処理等の複雑な処理が不要となるために、比較的簡単に編集処理を行うことが可能となる。加えて、編集後の画像を表示することができるために、見易い状態となった画像を楽しむことが可能となる。
また、撮像部と視線方向/角速度検出部とを撮影者の頭部に装着し得るようにしたために、撮影者の観察している被写体を高い精度で検出することが可能となる。
さらに、撮影者の頭部自体の回転を角速度により検出するようにしたために、頭部のぶれに起因する画像ぶれの補正や、カッティングや、記録時間の引き延ばしなどの編集処理を自動的に行うことが可能となる。
そして、撮影者の注視点の方向である視線方向を検出するようにしたために、電子ズーミング(拡大/縮小)やトリミングなどの編集処理を自動的に行うことが可能となる。このとき、視線方向情報として、視線方向の移動速度と、視線方向の連続的な移動量と、の少なくとも一方を含むようにしたために、撮影者の意志をより忠実に反映することができる。
また、視線方向/角速度検出部と、撮像部と、のパララックスを考慮して、視線方向/角速度検出部により検出された視線方向θに対応する撮像部からみた角度θ’を求めるようにしているために、被写体が近距離にある場合でも、撮影者の視線方向に対応する撮像部による撮影範囲(撮像される画像における撮影者の注視点)を正確に把握することが可能となり、視線情報に基づく編集処理等を正確に行うことができる。
さらに、自然な行動をしながら観察が可能な頭部装着型表示装置は、例えば歩行中や車の運転中などにも使用してしまいがちである。このような状態で使用すると、表示手段に表示される撮影情報等の表示に気をとられて、前方物体と衝突したりする可能性があるが、本実施例のカメラは、このような使用状態を検出して、検出時には警告を行ったり表示を禁止したりするようにしたために、未然に防止することができる。
また、視線検出を行う際に、他の領域に比べて極めて明るい角膜反射光を利用しているために、瞳孔の存在するおよその位置を、簡単に求めることができる。このとき、角膜反射光を得るための照明として、赤外線を照射するLEDを用いているために、観察者による被写体の観察を妨げることはない。
さらに、角膜反射光の位置を含む所定範囲の領域の中から、最小値を有する画素を検出し、この最小値に所定の値を加えた値(これは、該最小の画素値よりも大きく、虹彩の画素値よりも小さい所定値である。)を閾値として、該閾値よりも画素値が小さい画素群を瞳孔の像に属する画素群として判別しているために、瞳孔の領域を簡単にかつ精度良く求めることができる。
そして、瞳孔の領域の重心を瞳孔中心としているために、画素データの中に幾らかのノイズが含まれていたとしても、瞳孔中心の位置を確実に精度良く求めることが可能となる。
加えて、上述したようにして求めた瞳孔中心の位置と、角膜反射光の位置と、に基づいて、視線方向を簡単にかつ精度良く求めることができる。
一方、編集処理前の原画像データを記録媒体から読み出して、生体情報に基づく編集情報によって編集処理を実行しながら、編集処理後の画像を表示するようにする場合には、編集処理後の画像データを記憶するための記録媒体が不要になり、特に動画データを記録するための記録媒体のメモリ容量を大幅に節約することができる。
このとき、自動編集処理を行うための編集情報を、使用者が好みに応じて変更することができるようにしたために、個々人の意思を忠実に反映した編集処理を行うことができる。
また、視度調整用のレンズを透明光学部材の前面にそれぞれ配置するようにしたために、視力が異なる観察者でも、実質的に直接観察する(すなわち、この場合には、視度調整用のレンズを介して観察する)被写体に所定の画像を重ねて観察することができる。
さらに、簡単な構成で、デザイン的に美しく自然な感じの略めがね型のカメラを構成することが可能となる。
そして、視度調整用のレンズを透明光学部材とは別々に簡単に取り外すことができるように構成したために、表示装置毎にユーザーに応じた視度調整を容易に行うことが可能となる。加えて、このときには、左眼と右眼の視力が異なっていたとしても、各眼に合わせたレンズを装着することが可能となる。
加えて、透明光学部材と撮像部とはフレーム部に一体的に保持されているために、視度調整用のレンズを交換しても、これら透明光学部材と撮像部との角度調整等をその度に行う必要がなく、使い勝手の良い視度調整用レンズ付頭部装着型カメラとなる。
また、頭部装着部と操作/記録部とを無線で接続して、画像データや操作信号を授受するようにしたために、コード等に煩わされることなく、軽快に使用することが可能となる。こうして、携帯に便利で機動性に優れた頭部装着型カメラとなる。
さらに、シースルー画像表示部において、LCDの画像を液体レンズを用いて一次結像させるようにしたために、該画像を、所望の距離の位置に虚像として表示することが可能となる。そして、液体レンズを採用したことにより、構成が簡単となって装置の小型軽量化を図ることができ、アクチュエータ等を用いていないために、動作中の騒音が発生する心配もない。従って、頭部に装着して用いる装置に、特に有効に用いることができる。
なお、本発明は上述した実施例に限定されるものではなく、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。