JP4655564B2 - プロジェクタ装置、携帯電話、カメラ - Google Patents

Description

本発明は、液晶表示パネルを用いた投射型液晶プロジェクタのように、画像を投射面に投射してその投射像を生成するプロジェクタ装置であって、携帯電話やカメラに内蔵されるハンディタイプのプロジェクタ装置などに関する。

投射型液晶プロジェクタとして、ハロゲンランプやキセノンランプなどの光源を用いたものが従来から知られている。これは、光源から出力された光を赤（Ｒ）、緑（Ｇ）および青（Ｂ）の３原色光に分離し、それぞれを異なる液晶表示パネルに導いて透過させた後に再び合成して、その合成光を投影レンズを介してスクリーンなどの投射面へ投射するものである。しかし、こうしたランプ光源を用いた投射型液晶プロジェクタでは、光学系の分離・合成が必要であるために装置が大型化してしまうという欠点があった。そこで、こうした欠点を解決するために、たとえばＲ、ＧおよびＢの３種類のレーザ光を光源として用いたもの（特許文献１）や、Ｒ、ＧおよびＢの３種類のＬＥＤ光を光源として用いたもの（特許文献２）などが知られている。

特開平９−３２６９８１号公報 特開２０００−１９４２７５号公報

特許文献１や２に開示されるような光源を用いて装置を小型化することで、従来のような据え置き型ではなく、手に持って使用できるハンディタイプの投射型液晶プロジェクタを構築することができる。

従来の据え置き型の投射型液晶プロジェクタでは、投射中にプロジェクタと投射面との距離が変化しないため、投射像の明るさが変化することはなく、投射像の明るさの調節を一度だけ行えばよい。しかし、ハンディタイプの投射型液晶プロジェクタにおいては、持っている手が動いたりすることでプロジェクタと投射面との距離が変化するため、一度投射像の明るさが適切に調節されていても、明るさが変化してしまう場合がある。したがって、投射像の明るさを投射中に調節する必要があるが、従来のような方法では投射中における調節ができないという問題がある。
また、従来の投射型液晶プロジェクタでは通常、投射像の明るさの調節を行うときに、元の画像データから色情報値を変更して画像の色合いを変えることによって実現しているため、処理が複雑であるという問題もある。

請求項１の発明によるハンディタイプのプロジェクタ装置は、光源と、投射対象として選択された画像と、該画像の一部に所定の形状パターンを重畳したパターン重畳画像とを、前記光源からの光を用いて投射面に投射して投射像を生成する投射像生成手段と、前記パターン重畳画像の投射像を撮影する撮像手段と、前記撮像手段により撮影した前記パターン重畳画像の投射像の撮影画像中に含まれる前記所定の形状のパターンに基づいて、前記投射像の明るさを調整する明るさ調節手段と、を備え、前記投射像生成手段は、前記投射対象として選択された画像を投射している合間に、前記パターン重畳画像を所定の短時間だけ投射し、前記撮像手段は、前記パターン重畳画像の投射タイミングに同期して、前記パターン重畳画像の投射像を撮影することを特徴とする。
請求項２の発明は、請求項１のプロジェクタ装置において、前記明るさ調節手段は、前記光源からの発光量を変化させることにより前記投射像の明るさを調節することを特徴とする。
請求項３の発明は、請求項２のプロジェクタ装置において、前記明るさ調節手段は、前記投射像の明るさを所定の基準値よりも暗くする場合には、前記光源からの発光量を低下させて前記投射像の明るさを調節し、前記投射像の明るさを前記基準値よりも明るくする場合には、前記画像自体の明るさを変えることにより、前記投射像の明るさを調節することを特徴とする。
請求項４の発明は、請求項１〜３のいずれか一項に記載のプロジェクタ装置において、前記明るさ調節手段は、前記投射像の明るさの調節を一定周期ごとに繰り返し行うことを特徴とする。
請求項５の発明は、請求項１〜３のいずれか一項に記載のプロジェクタ装置において、ユーザからの操作入力を受け付けるための複数の操作キーを有する操作入力手段をさらに備え、前記明るさ調節手段は、前記投射像の明るさの調節を前記操作キーのいずれかに操作入力が行われるごとに、繰り返し行うことを特徴とする。
請求項６の発明による携帯電話は、請求項１〜５のいずれか一項に記載のプロジェクタ装置を備えたものである。
請求項７の発明によるカメラは、請求項１〜５のいずれか一項に記載のプロジェクタ装置を備えたものである。

本発明によれば、所定の形状パターンを含む画像を投射面に投射し、その投射像の撮像画像中に含まれている所定の形状パターンに基づいて、投射像の明るさの調節を行うこととした。このようにしたので、投射像の明るさを投射中において調節することができる。
また、光源からの発光量を変化させることにより投射像の明るさを調節することとしているので、簡単な処理で投射像の明るさを調節できる。

−第１の実施の形態−
以下、図面を参照して本発明を実施するための第１の形態について説明する。図１は、本発明の一実施の形態による携帯可能なハンディタイプのプロジェクタ付き携帯電話機１０の外観図である。（ａ）は正面図、（ｂ）は側面図、（ｃ）は背面図をそれぞれ表している。図１において、プロジェクタ付き携帯電話機１０の筺体は操作部１と表示部２によって構成されており、操作部１と表示部２は回動可能な折りたたみヒンジ部３を介して連結されている。すなわち、プロジェクタ付き携帯電話機１０は折りたたみヒンジ部３を回動中心に折りたたみ可能な構造を有している。

操作部１には、ユーザからの操作入力を受け付けるための各種の操作キーが配設されている。この操作キーには、カメラ機能やメール送受信機能、インターネットへの接続機能などを備えた一般的な携帯電話機と同様のキーが含まれている。たとえば、通話を開始または終了するための操作キー、電話番号や文字等を入力するための操作キー、画面操作用のカーソルキー、カメラ撮影モードやメール送受信モード、インターネットへの接続モードなど各種の動作モードへ移行するための操作キーなどが含まれている。操作部１にはさらにこうした一般的な携帯電話機と同様の操作キーに加えて、後述するプロジェクタモジュール６を用いて画像を投射するモード（プロジェクタモード）へ移行するための操作キーが配設されている。たとえば、符号２１に示す操作キーが押されるとプロジェクタモードへ移行し、プロジェクタモジュール６によって後で説明するようにして画像がスクリーンや壁面などの投射面に投射されて、その画像の投射像が生成される。

表示部２には、正面側にメイン液晶表示器４が配設され、背面側にサブ液晶表示器５が配設されている。表示部２の背面側にはさらに、プロジェクタモジュール６とカメラモジュール７が配設されている。

図２は、図１のプロジェクタ付き携帯電話機１０の構成を説明するブロック図である。図２において、操作部１側にはＣＰＵ１０１と、メモリ１０２と、近距離通信部１０３と、マイク１０５と、外部インターフェイス（Ｉ／Ｆ）１０６と、電源１０７と、通信制御部１０８と、アンテナ１０９と、操作キー群１１０と、スピーカー１１１と、開閉角度センサ１１２とが備えられ、着脱可能なメモリカード１０４が実装されている。

表示部２側にはメイン液晶表示器４と、サブ液晶表示器５と、プロジェクタモジュール（プロジェクタ部）６と、カメラモジュール（カメラ部）７と、スピーカー２０１とが備えられている。

ＣＰＵ１０１は、制御プログラムに基づいて、プロジェクタ付き携帯電話機１０を構成する各部から入力される信号を用いて所定の演算を行うなどして、プロジェクタ付き携帯電話機１０の各部に対する制御信号を送出することにより、電話機動作、カメラ動作、プロジェクタ動作をそれぞれ制御する。なお、制御プログラムはＣＰＵ１０１内の不図示の不揮発性メモリに格納されている。

メモリ１０２はＣＰＵ１０１の作業用エリアとして使用される。近距離通信部１０３は、たとえば、赤外線通信回路によって構成され、ＣＰＵ１０１の指令により外部機器との間でデータを送受信する。また外部インターフェイス１０６は、ＣＰＵ１０１の指令により不図示のケーブルまたはクレードルを介して外部機器との間でデータを送受信する。近距離通信部１０３または外部インターフェイス１０６を用いることにより、各種の映像・音声データを外部機器から入力することが可能である。

メモリカード１０４は不揮発性メモリによって構成され、ＣＰＵ１０１の指令により、たとえば、カメラモジュール７より出力される画像データや、近距離通信部１０３または外部インターフェイス１０６を介して外部機器から入力される映像・音声データなどのデータの保存および読み出しが可能である。

マイク１０５は、集音した音声を電気信号に変換してＣＰＵ１０１へ送出する。音声信号は、録音時にはメモリカード１０４に記録され、通話時には通信制御部１０８へ送られる。スピーカー１１１は、ＣＰＵ１０１から出力された音声信号による音声を再生する。操作キー群１１０は、前述した各種の操作キーを１つのブロックにまとめて表したものであり、押下された操作キーに対応する操作信号をＣＰＵ１０１へ送出する。通信制御部１０８は無線送受信回路を含み、ＣＰＵ１０１の指令により不図示の基地局を介して他の電話機との間で通信を行う。通信制御部１０８は、電話音声の他にもカメラモジュール７で撮影された画像データや、プロジェクタモジュール６で投射するための画像データなどを送受信可能に構成されている。アンテナ１０９は通信制御部１１０の送受信アンテナである。

電源１０７は、たとえば、着脱可能な電池パックおよびＤＣ／ＤＣ変換回路などで構成され、携帯電話機１０内の各部に必要な電力を供給する。開閉角度センサ１１２は、折り畳みヒンジ部３の回動角、すなわちプロジェクタ付き携帯電話機１０の折りたたみ角度θを検出して、ＣＰＵ１０１へ送出する。

メイン液晶表示器４とサブ液晶表示器５は、ＣＰＵ１０１の指令により画像やテキストなどの情報をそれぞれ表示する。スピーカー２０１は、通話時にＣＰＵ１０１から出力された音声信号による音声を再生する。

プロジェクタモジュール６は、投影レンズ６１と、液晶パネル６２と、ＬＥＤ光源６３と、ＬＥＤ駆動部６４と、液晶駆動部６５と、レンズ駆動部６６とを含む。ＬＥＤ駆動部６４は、ＣＰＵ１０１から出力されるＬＥＤ駆動信号に応じてＬＥＤ光源６３に電流を供給する。ＬＥＤ光源６３は、供給電流に応じた出力でＲ（赤）、Ｇ（緑）およびＢ（青）の３原色光をそれぞれ照射して液晶パネル６２を照明する。これら各色の光が合成されることにより、ＬＥＤ光源６３から白色光が照射される。なお、ＲＧＢ各色の光の強度は、ＬＥＤ駆動部６４からの電流強度によってそれぞれ個別に調節することができる。

液晶駆動部６５は、画像データに応じて液晶パネル駆動信号を生成し、生成した駆動信号で液晶パネル６２を駆動することにより、液晶パネル６２上に画像を表示する。具体的には、液晶層に対して画像信号に応じた電圧を画素ごとに印加する。電圧が印加された液晶層は液晶分子の配列が変わり、当該液晶層の光の透過率が変化する。この透過率の変化によって画像が表される。なお、液晶パネル６２はカラーフィルタを有しており、各画素がＲＧＢいずれかの色に対応している。これにより、液晶パネル６２にはＲＧＢ各色の画素を組み合わせたカラー画像が表示される。

液晶パネル６２に表示する画像は、メモリカード１０４に保存されている画像や、外部機器から入力された画像、後述するようにしてカメラモジュール７によって撮像された画像など、様々な画像の中から選択することができる。メイン液晶表示器４やサブ液晶表示器５に表示されている画像と同じものであってもよいし、動画像であってもよい。また、メール文章などを選択して表示するようにしてもよい。

以上説明したように選択された画像を液晶パネル６２に表示した後、ＬＥＤ光源６３から照射されたＲＧＢ各色の光を合成した白色光を通過させることにより、液晶パネル６２に表示された画像の光像が生成される。レンズ駆動部６６は、ＣＰＵ１０１から出力される制御信号に基づいて、投影レンズ６１を光軸方向に進退駆動する。こうして投影レンズ６１の焦点位置を変化させることにより、後述する投射像のフォーカス状態の調節が行われる。投影レンズ６１は、液晶パネル６２から射出される光像をスクリーンなどの投射面へ向けて投射する。このようにして、ＲＧＢ各色の光を合成した白色光を用いて、選択された画像を投射面に投射して、その画像の投射像を生成する。

カメラモジュール７は、撮影レンズ７１と、イメージセンサ７２と、レンズ駆動部７３と、カメラ制御ＣＰＵ７４とを含む。イメージセンサ７２としてはＣＣＤやＣＭＯＳ撮像素子などが用いられる。カメラ制御ＣＰＵ７４は、ＣＰＵ１０１の指令によりイメージセンサ７２およびレンズ駆動部７３を駆動制御する。レンズ駆動部７３は、カメラ制御ＣＰＵ７４からの制御信号に応じて、撮影レンズ７１を構成する焦点調節レンズ（不図示）を光軸に沿って前後方向へ駆動することにより、撮影レンズ７１の焦点位置を変化させる。これにより、被写体像のピント調節が行われる。

撮影レンズ７１は、イメージセンサ７２の撮像面上に被写体像を結像させる。カメラ制御ＣＰＵ７４はイメージセンサ７２に撮像を開始させ、撮像終了後にイメージセンサ７２から蓄積電荷信号を読み出し、所定の信号処理を施した上で画像データとしてＣＰＵ１０１へ送出する。なお、カメラモジュール７で撮影した画像データを送信する場合にはＣＰＵ１０１から通信制御部１０８へ画像データが送出される。また、撮影画像を投射する場合にはカメラ制御ＣＰＵ７４からＣＰＵ１０１を経由してプロジェクタモジュール６へ画像データが送出される。このようにして、カメラモジュール７において撮影した被写体の撮像画像を取得する。

図３はプロジェクタモジュール６の断面図である。（ａ）は携帯電話機１０の側面図中にプロジェクタモジュール６の断面図を示したものであり、（ｂ）はその拡大図である。図２のレンズ駆動部７３は、レンズ支持部７３１と駆動モータ７３２を有している。レンズ支持部７３１は、投影レンズ６１の上下に配設されて投影レンズ６１を支持している。駆動モータ７３２は、その駆動動作によってレンズ支持部７３１の位置を図の左右方向に移動することにより、液晶パネル６２およびＬＥＤ光源６３と投影レンズ６１との間隔を調節することができる。これにより、投射像のフォーカス状態を調節することができる。なお、図２のＬＥＤ駆動部６４と液晶駆動部６５については、図３において図示を省略している。

次に、プロジェクタ付き携帯電話機１０において画像を投射するときの動作内容について説明する。プロジェクタ付き携帯電話機１０は、プロジェクタモジュール６によって生成される投射像の投射面における映り具合を調整するための動作（以下、キャリブレーション動作という）を、その投射像の投射中に繰り返し実行する。このキャリブレーション動作は、（１）フォーカス状態の調節、（２）明るさの調節、（３）ホワイトバランスの調節、および（４）台形歪みの補正 の各動作に分類される。以下、これらの各動作について順に説明する。

（１）フォーカス状態の調節
プロジェクタモジュール６において投射像のフォーカス状態が適切でない場合、すなわち投射面までの距離に対して投射像の焦点が正しく合っていない場合には、ピントがずれてボケた投射像が映し出されてしまう。ピントが合った投射像を映すためには、適切なフォーカス状態に調節する必要がある。この投射像のフォーカス状態の調節は、カメラモジュール７により撮影して取得された投射像の撮像画像に基づいて、次のようにして行われる。

プロジェクタ付き携帯電話機１０は、プロジェクタモジュール６によって画像を投射している間、カメラモジュール７を用いてその投射像を撮像する。カメラモジュール７において取得された投射像の撮像画像は、ＣＰＵ１０１に出力される。ＣＰＵ１０１は、カメラモジュール７から出力された撮像画像のボケ具合を検出することにより、投射像のフォーカス状態が適切であるか否かを判断する。撮像画像がボケている場合はフォーカス状態が適切でないと判断し、レンズ駆動部６６を用いて投影レンズ６１を駆動させる。このようにして、撮像画像がボケなくなるまで投影レンズ６１を駆動させることにより、投射像のフォーカス状態を調節して適切なフォーカス状態となるようにする。

上記のフォーカス状態の調節は、デジタルカメラにおいて焦点位置を調節する際に広く用いられているコントラスト検出方式と同様の方法によって行うことができる。すなわち、投影レンズ６１の焦点位置を様々に変化させて撮像画像を取得し、その撮像画像のそれぞれについてコントラスト量を算出する。そして、各撮像画像のコントラスト量を比較し、投影レンズ６１の焦点位置をコントラスト量が最大である撮像画像が取得されたときの位置に合わせる。これにより、投射像のフォーカス状態を適切に調節することができる。なお、このときカメラモジュール７において撮影画像のピント調節やホワイトバランス調節を行う必要があるが、この点については後で説明する。

しかし、投射像のフォーカス状態の調節中にその投射像自体が変化すると、それによって撮像画像のコントラスト量が変化してしまうため、適切な調節結果が得られなくなる。特に動画を投射している場合は投射像が常に変化しているため、投射像のフォーカス状態を調節することができない。そこでプロジェクタ付き携帯電話機１０においては、投射対象として選択された画像に、コントラスト量を算出するための所定の画像（以下、コントラスト算出用画像という）を重畳した後、それをプロジェクタモジュール６により投射して投射像をカメラモジュール７により撮像する。このようにすると、元の投射対象画像が変化しても、重畳されたコントラスト算出用画像の部分は変化しない。したがって、コントラスト算出用画像についてコントラスト量を算出し、そのコントラスト量に基づいて投射像のフォーカス状態を調節することで、動画を投射中であっても投射像のフォーカス状態を適切に調節することができる。

図４は、投射対象画像にコントラスト算出用画像を重畳した様子を示す図である。（ａ）は元の投射対象画像を示し、（ｂ）は（ａ）の投射対象画像にコントラスト算出用画像を重畳した画像を示している。（ｂ）の画像では、下端部にファイル名と日付情報に加えて、符号２１に示すコントラスト算出用画像が重畳されている。このコントラスト算出用画像２１は、コントラスト量が算出しやすいように縦ラインを複数連ねた所定の形状パターンを有している。このような所定の形状パターンによって形成されるコントラスト算出用画像２１を含む画像が、プロジェクタモジュール６によって投射面に投射され、その投射像がカメラモジュール７によって撮像される。こうして取得された撮像画像を用いて、コントラスト算出用画像２１に基づいてコントラスト量が算出され、投射像のフォーカス状態の調節が行われる。なお、ここで示したコントラスト算出用画像２１の形状パターンは一例であって、コントラスト量が算出できるものであればどのような形状パターンでもよいことは言うまでもない。

なお、上記のようなコントラスト量の演算には、カメラモジュール７のイメージセンサ７２より画素単位で出力される撮像信号（蓄積電荷信号）のうち、コントラスト算出用画像２１と対応する領域の画素より出力される撮像信号のみが用いられる。

ここで、以上説明したようなコントラスト算出用画像の重畳は必ずしも常時行う必要はなく、所定の短時間だけ行うようにしてもよい。このようにすると、投射像を見ている者に対してコントラスト算出用画像を重畳していることを気づかれにくくすることができる。図５は、その様子を説明するためのタイミングチャートである。液晶パネル６２に表示する画像は、符号３１に示すタイミングで１／３０秒ごとに更新する。すなわち、１秒間に３０フレームの画像表示を行う。

コントラスト算出用画像の重畳は、符号３２に示すタイミングで一定のフレーム間隔ごとに行う。このタイミングでコントラスト算出用画像を含む画像が投射され、その他のタイミングではコントラスト算出用画像を含まない画像が投射される。さらにこのとき、カメラモジュール７による撮像画像の取得を符号３３に示すタイミングで行う。すなわち、コントラスト算出用画像を含む画像が投射されるタイミングに同期して、カメラモジュール７において投射像を撮像する。こうして撮像された撮像画像におけるコントラスト算出用画像の部分の形状パターンに基づいて、符号３４に示すタイミングでコントラスト量の計算および投射像のフォーカス状態の調節が行われる。

さらに、投射像のフォーカス状態の調節は、以上説明したように一定周期ごとに繰り返し行うようにしてもよい。または、プロジェクタ付き携帯電話機１０に対して操作キーへの入力操作が行われるごとに繰り返し行うようにしてもよい。操作キーへの入力操作が行われると、それによってプロジェクタ付き携帯電話機１０の位置や向きが変化して投射像がぶれる場合がある。したがって、操作キーへの入力操作が行われるごとに投射像のフォーカス状態の調節を行うようにすると、投射像がぶれてしまった場合でもそれを補正して見やすい投射像とすることができる。

あるいは、フォーカス状態の調節頻度を設定できるようにしてもよい。たとえば、３種類の調節頻度を設定できるようにして、最も高い調節頻度が設定された場合は、上記のように投射像の投射中にフォーカス状態の調節を繰り返し行う。一方、中間の調節頻度が設定された場合は、最初の１回だけ投射像の投射中にフォーカス状態の調節を行い、最も低い調節頻度が設定された場合は、投射像のフォーカス状態の調節を行わないようにする。このようにすると、投射像のフォーカス状態の調節が不要である場合において電力消費を抑えることができる。なお、調節頻度の設定は操作キーの入力操作などによって行うようにすることができる。

上記の説明では、コントラスト算出用画像を重畳することにより、動画を投射中であっても投射像のフォーカス状態を調節することとしていた。しかし、投射されている画像が静止画であれば、その静止画に基づいてコントラスト量を算出し、投射像のフォーカス状態を適切に調節することができる。したがって、コントラスト算出用画像の重畳は行わず、静止画を投射しているときのみ投射像のフォーカス状態を調節するようにしてもよい。さらに、動画を投射中の場合にはコントラスト算出用画像を重畳し、静止画を投射中の場合にはコントラスト算出用画像を重畳しないようにして、コントラスト算出用画像または静止画のいずれかに基づいてコントラスト量を算出し、投射像のフォーカス状態を調節するようにしてもよい。

（２）明るさの調節
次に、明るさの調節について説明する。プロジェクタモジュール６において適切な明るさで投射が行われないと、投射像が暗すぎたり明るすぎたりして見えづらくなってしまうため、投射像の明るさを適切に調節する必要がある。この投射像の明るさの調節は、前述したフォーカス状態の調節と同様に、カメラモジュール７によって撮影して取得された投射像の撮像画像に基づいて行われる。

プロジェクタ付き携帯電話機１０は、カメラモジュール７から出力された撮像画像の明るさをＣＰＵ１０１において検出することにより、投射像の明るさが適切であるか否かを判断する。撮像画像が全体的に暗すぎたり明るすぎる場合は、投射像の明るさが適切でないと判断し、ＬＥＤ駆動部６４からＬＥＤ光源６３への供給電流を増加または減少させる。ＬＥＤ駆動部６４からの供給電流量に応じてＬＥＤ光源６３の発光強度が変化し、投射像の明るさが変わる。このようにして、投射像の明るさが適切となるように調節する。

なお、ＬＥＤ光源６３がＰＷＭ点灯を行っている場合には、そのデューティ比を変えることで投射像の明るさを調節するようにしてもよい。すなわち、ＬＥＤ光源がパルス状に発光する光源である場合は、そのパルス幅を広げることにより投射像を明るくし、逆にパルス幅を狭めることにより投射像を暗くすることができる。さらに、ＬＥＤ光源６３がＲＧＢ各色の光を複数組発光し、各組ごとに点灯のオンオフを個別に制御できるような場合には、その点灯組数を変えることで投射像の明るさを調節することもできる。以上説明したような方法により、ＬＥＤ光源６３の発光量を変化させて投射像の明るさを調節することができる。

プロジェクタ付き携帯電話機１０は、上記のようにして撮像画像に基づいて投射像の明るさを調節する場合、投射対象として選択された画像に、明るさを検出するための所定の画像（以下、明るさ検出用画像という）を重畳した後、それをプロジェクタモジュール６により投射してその投射像をカメラモジュール７により撮像する。このようにすると、元の投射対象画像が変化しても、重畳された明るさ検出用画像の部分の明るさに基づいて、投射像の明るさを適切に調節することができる。

図６は、投射対象画像に明るさ検出用画像を重畳した様子を示す図である。（ａ）は元の投射対象画像を示し、（ｂ）は（ａ）の投射対象画像に明るさ検出用画像を重畳した画像を示している。（ｂ）の画像では、図４（ｂ）のコントラスト算出用画像が重畳された画像と同様に、下端部にファイル名と日付情報に加えて、符号２２に示す明るさ検出用画像が重畳されている。この明るさ検出用画像２２は、明るさを検出しやすいように全体が無色（白色）である所定の形状パターンを有している。このような所定の形状パターンによって形成される明るさ検出用画像２２を含む画像が、プロジェクタモジュール６によって投射面に投射され、その投射像がカメラモジュール７によって撮像される。こうして取得された撮像画像を用いて、明るさ検出用画像２２に基づいて明るさが検出され、投射像の明るさの調節が行われる。なお、ここで示した明るさ検出用画像２２の形状パターンは一例であって、明るさが検出できるものであればどのような形状パターンでもよいことは言うまでもない。

なお、上記のような明るさの検出には、カメラモジュール７のイメージセンサ７２より画素単位で出力される撮像信号（蓄積電荷信号）のうち、明るさ検出用画像２２と対応する領域の画素より出力される撮像信号のみが用いられる。

以上説明したような明るさ検出用画像の重畳を、前述したコントラスト算出用画像と同様に所定の短時間だけ行うようにしてもよい。その場合には、明るさ検出用画像を含む画像が投射されるタイミングに同期して、カメラモジュール７において投射像を撮像する。

また、前述したフォーカス状態の調節と同様に、この投射像の明るさの調節についても、一定周期ごとに繰り返し行うようにしてもよいし、またはプロジェクタ付き携帯電話機１０に対して操作キーへの入力操作が行われるごとに繰り返し行うようにしてもよい。操作キーへの入力操作が行われと、それによってプロジェクタ付き携帯電話機１０の位置や向きが変化して投射面との距離が変化し、投射像の明るさが変化してしまう場合がある。したがって、操作キーへの入力操作が行われるごとに投射像の明るさの調節を行うようにすると、その入力操作によって投射像の明るさが変化してしまった場合でも、明るさを補正して見やすい投射像とすることができる。

あるいは、フォーカス状態の調節と同様に、操作キーの入力操作によって明るさの調節頻度を３種類の中から設定できるようにしてもよい。すなわち、最も高い調節頻度が設定された場合は、投射像の投射中に明るさの調節を繰り返し行い、中間の調節頻度が設定された場合は、最初の１回だけ投射像の投射中に明るさの調節を行い、最も低い調節頻度が設定された場合は、投射像の明るさの調節を行わないようにする。このようにすると、投射像の明るさの調節が不要である場合において電力消費を抑えることができる。

上記の説明では、ＬＥＤ光源６３の発光量を変化させて投射像の明るさを調節することとしていた。しかし、発光量を上げることは電力消費量や発熱量の増加につながるため、できるだけ発光量を抑えることが望ましい。したがって、投射像の明るさに対して所定の基準値を予め設定しておき、その基準値よりも暗くするときにだけ発光量を低下させて投射像の明るさを調節するようにしてもよい。その場合、基準値よりも明るくする際には、液晶パネル６２に表示する投射対象画像自体の明るさを変えることによって投射像の明るさを調節する。このときの色合いの変化には、ＬＵＴ（Ｌｏｏｋ Ｕｐ Ｔａｂｌｅ）処理やガンマ補正処理と呼ばれる方法などを用いることができる。ＬＵＴ処理では、テーブル化された対応関係に従って、画像データにおける各画素の色情報値を補正する。ガンマ補正処理では、ガンマカーブと呼ばれる変換曲線に従って、画像データにおける各画素の色情報値を補正する。なお、これ以外の方法を用いて投射対象画像の明るさを変化させるようにしてもよい。

（３）ホワイトバランスの調節
次に、ホワイトバランスの調節について説明する。プロジェクタモジュール６において投射像の色合いを調節していないと、周囲の配光状況や投射面の色合いによっては、投射像の見た目が本来の色合いとは異なるものとなってしまう場合がある。したがって、投射像が本来の色合いで見えるようにホワイトバランス調節を行う必要がある。この投射像のホワイトバランスの調節は、前述したフォーカス状態の調節や明るさの調節と同様に、カメラモジュール７によって撮影して取得された投射像の撮像画像に基づいて行われる。

プロジェクタ付き携帯電話機１０は、カメラモジュール７から出力された撮像画像の色合いをＣＰＵ１０１において検出することにより、投射像のホワイトバランスが適切であるか否かを判断する。検出した色合いが本来の色合いと異なる場合は、ＬＥＤ駆動部６４からＬＥＤ光源６３への供給電流をＲＧＢ各色ごとに増加または減少させる。ＬＥＤ駆動部６４からの供給電流量に応じて、ＬＥＤ光源６３においてＲＧＢ各色の発光強度がそれぞれ変化し、投射像の色合いが変わる。このようにして色合いを調節することにより、投射像のホワイトバランスが適切となるように調節する。

なお、前述した明るさ調節の場合と同様に、ＬＥＤ光源６３がＰＷＭ点灯を行っている場合には、ＲＧＢ各色ごとにデューティ比を変えることで投射像の色合いを調節するようにしてもよい。すなわち、ＬＥＤ光源がＲＧＢ各色ごとにパルス状に発光する光源である場合は、パルス幅を広げることによってその発光色の色合いを強くし、逆にパルス幅を狭めることによってその発光色の色合いを弱くすることができる。さらに、ＬＥＤ光源６３がＲＧＢ各色の光を複数組発光するような場合には、その点灯数を色によって変えることで投射像の色合いを調節することもできる。以上説明したような方法により、ＬＥＤ光源６３の発光量をその発光色ごとに変化させて投射像の色合いを調節し、投射像のホワイトバランスの調節を行うことができる。

プロジェクタ付き携帯電話機１０は、上記のようにして撮像画像に基づいて投射像のホワイトバランスを調節する場合、投射対象として選択された画像に、色合いを検出するための所定の画像（以下、色合い検出用画像という）を重畳した後、それをプロジェクタモジュール６により投射して投射像をカメラモジュール７により撮像する。このようにすると、元の投射対象画像が変化しても、重畳された色合い検出用画像の部分の色合いに基づいて、投射像のホワイトバランスを適切に調節することができる。

上記の色合い検出用画像は、図６（ｂ）に示す明るさ検出用画像２２と兼用することができる。色合い検出用画像（明るさ検出用画像）２２は、全体が白色である所定の形状パターンを有している。したがって、カメラモジュール７によって取得された撮像画像において、色合い検出用画像（明るさ検出用画像）２２に基づいて色合いを検出し、その色合いを本来の白色と比較することで、ホワイトバランス調節を行うことができる。なお、これ以外にもホワイトバランス調節を行うことができるようなものであればどのような形状パターンでもよいことは言うまでもない。投射像のフォーカス状態の調節に用いたコントラスト算出用画像のうち白色の部分を、色合い検出用画像や明るさ検出用画像として用いるようにしてもよい。

なお、上記のような色合いの検出には、カメラモジュール７のイメージセンサ７２より画素単位で出力される撮像信号（蓄積電荷信号）のうち、色合い検出用画像２２と対応する領域の画素より出力される撮像信号のみが用いられる。

以上説明したような色合い検出用画像の重畳を、前述したコントラスト算出用画像や明るさ検出用画像と同様に、所定の短時間だけ行うようにしてもよい。その場合には、色合い検出用画像を含む画像が投射されるタイミングに同期して、カメラモジュール７において投射像を撮像する。

また、前述したフォーカス状態の調節や明るさの調節と同様に、このホワイトバランスの調節についても、一定周期ごとに繰り返し行うようにしてもよいし、またはプロジェクタ付き携帯電話機１０に対して操作キーへの入力操作が行われるごとに繰り返し行うようにしてもよい。操作キーへの入力操作が行われと、それによってプロジェクタ付き携帯電話機１０の位置や向きが変化して、投射像の位置が変わる場合がある。このとき、投射像の位置が変わったことで周囲の配光状況や投射面の色合いが変化し、その結果、投射像の見た目の色あいが変化してしまう場合がある。したがって、操作キーへの入力操作が行われるごとに投射像のホワイトバランスの調節を行うようにすると、その入力操作によって投射像の見た目の色合いが変化してしまった場合でも、色合いを補正して見やすい投射像とすることができる。

あるいは、フォーカス状態の調節や明るさの調節と同様に、操作キーの入力操作によってホワイトバランスの調節頻度を３種類の中から設定できるようにしてもよい。すなわち、最も高い調節頻度が設定された場合は、投射像の投射中にホワイトバランスの調節を繰り返し行い、中間の調節頻度が設定された場合は、最初の１回だけ投射像の投射中にホワイトバランスの調節を行い、最も低い調節頻度が設定された場合は、投射像のホワイトバランスの調節を行わないようにする。このようにすると、投射像のホワイトバランスの調節が不要である場合において電力消費を抑えることができる。

上記の説明では、投射像の色合いを調節する例としてホワイトバランスの調節について説明していたが、白以外の色を基準として色合いを調節する場合に適用してもよい。

（４）台形歪みの補正
最後に、台形歪みの補正について説明する。台形歪みとは、プロジェクタモジュール６による投射方向と投射面との角度に応じて生じる投射像の台形状の歪みのことをいう。投射方向が投射面に正対していない場合には、こうした台形歪みが生じることが知られている。この台形歪みの補正は、前述した各種の調節と同様に、カメラモジュール７によって撮影して取得された投射像の撮像画像に基づいて行われる。

プロジェクタ付き携帯電話機１０は、カメラモジュール７から出力された撮像画像の形状をＣＰＵ１０１において検出することにより、投射像に台形歪みが生じているか否かを判断する。台形歪みが生じている場合は、液晶駆動部６５を制御して、その台形歪みとは逆の方向に液晶パネル６２上に表示する画像を歪ませ、台形歪みを打ち消すようにする。この画像を投射することにより、台形歪みを補正する。

プロジェクタ付き携帯電話機１０は、上記のようにして撮像画像に基づいて台形歪みを補正する場合、投射対象として選択された画像に、投射像の形状を特定するための所定の図形（以下、形状特定用図形という）を重畳した後、それをプロジェクタモジュール６により投射して投射像をカメラモジュール７により撮像する。このようにすると、どのような内容の投射対象画像であっても、重畳された形状特定用図形に基づいて台形歪みを補正することができる。

図７は、投射対象画像に形状特定用図形を重畳した様子を示す図である。（ａ）は元の投射対象画像を示し、（ｂ）は（ａ）の投射対象画像に形状特定用図形を重畳した画像を示している。（ｂ）の画像では、投射対象画像の周囲に太枠状の形状特定用図形２３が重畳されている。このような形状特定用図形２３を含む画像が、プロジェクタモジュール６によって投射面に投射され、その投射像がカメラモジュール７によって撮像される。こうして取得された撮像画像を用いて、形状特定用図形２３に基づいて投射像の形状が特定され、台形歪みの補正が行われる。なお、ここで示した形状特定用図形２３は一例であって、投射像の形状を特定できるものであればどのような図形でもよいことは言うまでもない。あるいは、図形ではなく記号や文字などを用いてもよい。

以上説明したような形状特定用図形の重畳を、前述したコントラスト算出用画像や明るさ検出用画像、色合い検出用画像と同様に、所定の短時間だけ行うようにしてもよい。その場合には、形状特定用図形を含む画像が投射されるタイミングに同期して、カメラモジュール７において投射像を撮像する。

また、前述した各種の調節と同様に、この台形歪みの補正についても、一定周期ごとに繰り返し行うようにしてもよいし、またはプロジェクタ付き携帯電話機１０に対して操作キーへの入力操作が行われるごとに繰り返し行うようにしてもよい。操作キーへの入力操作が行われと、それによってプロジェクタ付き携帯電話機１０の位置や向きが変化して、投射像の投射方向と投射面との角度が変わり、その結果、台形歪みの形状が変化してしまう場合がある。したがって、操作キーへの入力操作が行われるごとに台形歪みの補正を行うようにすると、その入力操作によって台形歪みの形状が変化してしまった場合でも、台形歪みを補正して見やすい投射像とすることができる。

あるいは、前述の各種の調節と同様に、操作キーの入力操作によって台形歪みの補正頻度を３種類の中から設定できるようにしてもよい。すなわち、最も高い補正頻度が設定された場合は、投射像の投射中に台形歪みの補正を繰り返し行い、中間の補正頻度が設定された場合は、最初の１回だけ投射像の投射中に台形歪みの補正を行い、最も低い補正頻度が設定された場合は、台形歪みの補正を行わないようにする。このようにすると、台形歪みの補正が不要である場合において電力消費を抑えることができる。

上記の説明では、形状特定用図形を重畳した画像を撮像し、その形状特定用図形に基づいて投射像の形状を特定することにより、台形歪みの補正を行うこととしていた。しかし、開閉角度センサ１１２によって検出された折りたたみ角度θに基づいて、台形歪みの補正を行うようにしてもよい。このとき、プロジェクタモジュール６による投射像の投射方向が表示部２に対して固定されているものとする。このようにすると、操作部１の底面部分を机上などに設置して投射する場合に、撮像を行わなくても簡単に台形歪みを補正することができる。

図８は、水平面上に操作部１を設置して垂直な投射面に投射したときの、折りたたみ角度θと台形歪みとの関係を示した図である。（ａ）は、折りたたみ角度θが９０°よりも小さい場合の投射の様子を側面図によって示した図であり、（ｂ）は、（ａ）のときの台形歪みの様子を正面図によって示した図である。（ｃ）は、θ＝９０°である場合の投射の様子を側面図によって示した図であり、（ｄ）は、（ｂ）のときの台形歪みの様子を正面図によって示した図である。

図８（ａ）、（ｂ）に示すように、折りたたみ角度θが９０°よりも小さい場合には台形歪みが発生する。また、これとは逆に折りたたみ角度θが９０°よりも大きい場合にも、台形歪みが発生する。この台形歪みの程度（歪み具合）は、折りたたみ角度θによって変化し、その変化の割合は決まっている。したがって、折りたたみ角度θの値に応じて、台形歪みを打ち消すために液晶パネル６２上に表示する画像を歪ませるときの歪ませ具合を予め設定しておくことで、台形歪みを補正することができる。なお、図８（ｃ）、（ｄ）に示すように、θ＝９０°である場合には台形歪みが発生しないため、台形歪みの補正は必要ない。

または、プロジェクタ付き携帯電話機１０において、表示部２の左右の中心軸を回転軸とし、その回転軸を中心として表示部２を回転可能な構造として、所定の基準位置に対するその回転角度を検出し、検出された回転角度φに基づいて台形歪みの補正を行うこととしてもよい。なお、この場合にもプロジェクタモジュール６による投射像の投射方向は表示部２に対して固定されているものとする。

図９は、水平面上に操作部１を設置して垂直な投射面に投射したときの、表示部２の回転角度φと台形歪みとの関係を示した図である。（ａ）は、回転角度φが９０°よりも小さい場合の投射の様子を平面図によって示した図であり、（ｂ）は、（ａ）のときの台形歪みの様子を正面図によって示した図である。（ｃ）は、φ＝９０°である場合の投射の様子を平面図によって示した図であり、（ｄ）は、（ｂ）のときの台形歪みの様子を正面図によって示した図である。なお、図９において回転角度φの基準位置は操作部１の左右の中心軸とし、折りたたみ角度θは９０°であるものとする。回転角度φが９０°のとき、表示部２の背面は投射面に正対している。

図９（ａ）、（ｂ）に示すように、回転角度φが９０°よりも小さい場合には台形歪みが発生する。また、これとは逆に回転角度φが９０°よりも大きい場合にも、台形歪みが発生する。この台形歪みの程度（歪み具合）は、回転角度φによって変化し、その変化の割合は決まっている。したがって、折りたたみ角度θの場合と同様に、回転角度φの値に応じて、台形歪みを打ち消すために液晶パネル６２上に表示する画像を歪ませるときの歪ませ具合を予め設定しておくことで、台形歪みを補正することができる。なお、図９（ｃ）、（ｄ）に示すように、φ＝９０°である場合には台形歪みが発生しないため、台形歪みの補正は必要ない。

さらに、以上説明した折りたたみ角度θに基づく台形歪みの補正と、回転角度φに基づく台形歪みの補正とを、組み合わせて用いるようにしてもよい。

以上説明したようにして、フォーカス状態の調節、明るさの調節、ホワイトバランスの調節および台形歪みの補正の各動作を行うことにより、キャリブレーション動作を実行する。なお、これらの各動作は必ずしも全て行う必要はなく、選択した動作のみを実行するようにしてもよい。

次に、カメラモジュール７において撮像画像のピントを調節する方法について説明する。撮像画像のピント調節には、コントラスト検出方式と呼ばれる方法が用いられる。具体的には、撮影レンズ７１の焦点位置を様々に変化させて撮像画像を取得し、その撮像画像のそれぞれについてコントラスト量を算出する。そして、ＣＰＵ１０１において各撮像画像のコントラスト量を比較し、撮影レンズ７１の焦点位置をコントラスト量が最大である撮像画像が取得されたときの位置に合わせて駆動するように、カメラ制御ＣＰＵ７４に対して制御信号を出力する。投射像の撮像画像を適切に撮影してキャリブレーション動作を行うためには、このような撮影画像のピント調節を行う必要がある。

撮像画像のピント調節は、プロジェクタモジュール６において実行する投射像のフォーカス状態の調節と同時に行ってもよいし、別々に行ってもよい。同時に行う場合には同焦点移動方式と呼ばれる制御方法が用いられ、別々に行う場合にはカメラ固定方式と呼ばれる制御方法が用いられる。以下、これらの制御方法の内容について順に説明する。

−同焦点移動方式−
この制御方法では、カメラモジュール７の撮像焦点位置、すなわち撮像画像に対する撮影レンズ７１の焦点位置と、プロジェクタモジュール６の投射焦点位置、すなわち投射像に対する投影レンズ６１の焦点位置とを、同じ位置関係に保ちつつ変化させる。ここで撮像焦点位置と投射焦点位置が同じ位置関係であるとは、プロジェクタ付き携帯電話機１０に対する距離が両焦点位置でほぼ等しいことをいう。そして、プロジェクタモジュール６により異なる複数の投射焦点位置において投射像をそれぞれ生成し、その複数の投射像の撮像画像をカメラモジュール７により、その複数の投射焦点位置とそれぞれ同じ位置関係に保たれている複数の撮像焦点位置においてそれぞれ取得する。こうして取得された複数の投射像の撮像画像についてコントラスト量をそれぞれ算出し、コントラスト量が最大となったときの位置に合わせるように撮像焦点位置と投射焦点位置を調節する。このようにして、撮像画像のピント調節と投射像のフォーカス状態の調節とを同時に行う。さらにこの際に、取得された複数の撮像画像に基づいて、投射像のフォーカス状態の調節以外のキャリブレーション動作も合わせて実行してもよい。

図１０は、以上説明した同焦点移動方式を用いて、撮像画像のピント調節と投射像のフォーカス状態の調節を同時に行う様子を示した図である。図１０（ａ）〜（ｅ）では、投射面から約５０ｃｍの位置にプロジェクタ付き携帯電話機１０が設置されている。なお、プロジェクタモジュール６における最適な投射距離は５０ｃｍ程度であるものとする。

初めに（ａ）のように、カメラモジュール７の撮像焦点位置とプロジェクタモジュール６の投射焦点位置を、共にプロジェクタ付き携帯電話機１０から６０ｃｍ離れた位置に合わせる。この状態で、プロジェクタモジュール６によって生成される投射像をカメラモジュール７において撮影し、その撮像画像についてコントラスト量を算出する。次に（ｂ）のように、カメラモジュール７の撮像焦点位置とプロジェクタモジュール６の投射焦点位置を共にプロジェクタ付き携帯電話機１０から５５ｃｍ離れた位置に合わせて、その投射像の撮像画像についてコントラスト量を算出する。

その後（ｃ）〜（ｅ）のように、カメラモジュール７の撮像焦点位置とプロジェクタモジュール６の投射焦点位置をプロジェクタ付き携帯電話機１０から５０ｃｍ、４５ｃｍ、４０ｃｍ離れた位置に順に合わせ、その位置における投射像の撮像画像についてコントラスト量を算出する。そして、最大のコントラスト量が得られたときの位置に合わせて、カメラモジュール７の撮像焦点位置とプロジェクタモジュール６の投射焦点位置を調節する。このようにして、撮像画像のピント調節を行うと共に、投射像のフォーカス状態の調節を行う。

以上説明したような同焦点移動方式を用いると、カメラモジュール７の撮像焦点位置とプロジェクタモジュール６の投射焦点位置がプロジェクタ付き携帯電話機１０に対してほぼ同じ距離に保たれる。ここで、投射焦点位置が投射面に近いほど高いコントラストの投射像が生成され、撮像焦点位置が投射面に近いほど投射像の撮像画像を高いコントラストで取得できる。したがって、同焦点移動方式を用いることにより、合焦状態とそうでない状態において算出されるコントラスト量の差を大きく取ることができ、撮像焦点位置と投射焦点位置をともに正確に調節することができる。そのため、カメラモジュール７において投射像を適切に撮影できるようにすることができる。なお、より一層の高精度を必要とする場合には、上記のような方法で求められた撮像焦点位置と投射焦点位置に一旦合わせた後、そこを中心としてさらに細かく刻んだ焦点位置の範囲において撮像焦点位置および投射焦点位置を変化させ、同様の処理を繰り返せばよい。

−カメラ固定方式−
この制御方法では、カメラモジュール７の撮像焦点位置を固定させた状態で、プロジェクタモジュール６の投射焦点位置のみを変化させる。そして、異なる複数の投射焦点位置において投射像の撮像画像を生成し、その複数の投射像の撮像画像を固定された１つの撮像焦点位置において取得する。こうして取得された複数の投射像の撮像画像についてコントラスト量をそれぞれ算出し、コントラスト量が最大となったときの位置に合わせてプロジェクタモジュール６の投射焦点位置を調節する。

このようにして投射焦点位置を調節した後さらに、カメラモジュール７により１つの撮像焦点位置において取得された上記の複数の投射像の撮像画像が所定の条件を満たす場合、具体的には、その複数の投射像の撮像画像によって算出された最大コントラスト量が所定のしきい値よりも小さかった場合には、その複数の投射像の撮像画像に基づいて、算出された最大コントラスト量を用いて、撮像焦点位置を投射焦点位置と同じ位置に合わせるように調節する。その後、再びその調節後の撮像焦点位置において投射焦点位置のみを変化させ、上記と同様にして、プロジェクタモジュール６による複数の投射像の生成と、カメラモジュール７による複数の投射像の撮像画像の取得とを再び行う。こうして取得された各撮像画像についてコントラスト量を算出して、その最大コントラスト量の位置に合わせて投射焦点位置を調節する。このような処理を繰り返すことにより、撮像画像のピント調節と投射像のフォーカス状態の調節とを別々に行う。さらにこの際に、取得された複数の撮像画像に基づいて、投射像のフォーカス状態の調節以外のキャリブレーション動作も合わせて実行してもよい。

図１１は、以上説明したカメラ固定方式を用いて、撮像画像のピント調節と投射像のフォーカス状態の調節を別々に行う様子を示した図である。図１１（ａ）〜（ｅ）では図１０と同様に、投射面から約５０ｃｍの位置にプロジェクタ付き携帯電話機１０が設置されており、プロジェクタモジュール６における最適な投射距離は５０ｃｍ程度であるものとする。

初めに（ａ）のように、カメラモジュール７の撮像焦点位置をプロジェクタ付き携帯電話機１０から５０ｃｍ離れた位置に固定した状態で、プロジェクタモジュール６の投射焦点位置をプロジェクタ付き携帯電話機１０から６０ｃｍ離れた位置に合わせる。この状態で、プロジェクタモジュール６によって生成される投射像をカメラモジュール７において撮像し、その撮像画像についてコントラスト量を算出する。次に（ｂ）のように、撮像焦点位置は（ａ）と同じ位置に固定したままで、投射焦点位置をプロジェクタ付き携帯電話機１０から５５ｃｍ離れた位置に合わせ、その投射像の撮像画像についてコントラスト量を算出する。

その後（ｃ）〜（ｅ）のように、カメラモジュール７の撮像焦点位置をプロジェクタ付き携帯電話機１０から５０ｃｍの位置に固定したままで、プロジェクタモジュール６の投射焦点位置のみをプロジェクタ付き携帯電話機１０から５０ｃｍ、４５ｃｍ、４０ｃｍ離れた位置に順に合わせ、その位置における投射像の撮像画像についてコントラスト量を算出する。そして、最大のコントラスト量が得られたときの位置に合わせて、プロジェクタモジュール６の投射焦点位置を調節し、その最大コントラスト量の値が予め定められた所定のしきい値以上であるか否かを判定する。しきい値以上であれば、投射像のフォーカス状態の調節を完了する。なお、この後さらにカメラモジュール７において撮像画像のピント調節を行うようにしてもよい。

最大コントラスト量がしきい値よりも小さい場合は、その最大コントラスト量が得られた位置に合わせて撮像焦点位置を調節した後、再び（ａ）〜（ｅ）のようにして投射焦点位置を順に変化させ、その投射像の撮像画像をカメラモジュール７において取得する。取得された撮像画像についてコントラスト量を算出し、最大コントラスト量が得られた位置に合わせて投射焦点位置を調節してから、その最大コントラスト量としきい値との比較を再度行う。このような処理を繰り返すことにより、撮像画像のピント調節と投射像のフォーカス状態の調節を別々に行う。

以上説明したようなカメラ固定方式を用いると、カメラモジュール７における撮像画像のピント調節と、プロジェクタモジュール６における投射像のフォーカス状態の調節とを別々に実行するため、同焦点移動方式よりも簡単な処理でこれらの調節を行うことができる。したがって、処理能力の低いＣＰＵなどを用いた場合にも、カメラモジュール７において投射像を適切に撮影できるようにすることができる。

なお、以上説明したカメラ固定方式において、投射像のフォーカス状態の調節を１回だけ行うようにしてもよい。すなわち、最初に固定した撮像焦点位置において取得された複数の撮像画像に基づいて、投射焦点位置を最終的に決定し、再び処理を繰りかえさないようにしてもよい。投射像のボケ具合や撮像画像の被写界深度によっては、このようにしても投射像のフォーカス状態を適切に調節できる。さらにこの場合、取得される撮像画像のピントが近くから無限遠まで合っているパンフォーカス状態となるように、カメラモジュール７において撮像焦点位置を固定することが好ましい。このようにすれば、投射焦点位置の調節処理を複数回繰り返す必要がなく、短時間で投射像のフォーカス状態を調節して投射像を適切に撮影できるようにすることができる。なお、このような投射像のフォーカス状態の調節方法は、カメラモジュール７が焦点調節機能を有しない単焦点カメラのようなものである場合にも適用することができる。

次に、カメラモジュール７における撮像画像のホワイトバランス調節方法について説明する。被写体を撮影してその撮像画像を取得する電子式カメラでは通常、様々なシーンの撮影において取得された撮像画像の色合いを人間の見た目に合わせるために、ホワイトバランス調節が行われる。すなわち、撮影時に周囲の配光状況によって生じる被写体像の色合い変化を抑えて、その被写体像から得られる撮像画像が自然な色合いで表現されるように、予め定められた色変換法則などに基づいて撮像画像の色情報値を異なる値へと変換する。この変換後の色情報値によって、撮像画像における色合いが表される。

本実施形態のプロジェクタ付き携帯電話機１０では、カメラモジュール７によって取得された撮像画像が前述のように画像データとしてＣＰＵ１０１に出力され、この画像データに基づいてＣＰＵ１０１において上記のような色情報値の変換処理を実行することにより、撮像画像の色合いを調節する。このようにして、撮像画像のホワイトバランス調節が行われる。なお、このときに用いられる色変換法則の内容は、ユーザが撮影シーンの種類を設定することで切り替えられる。

さらに、プロジェクタモジュール６によって生成された投射像をカメラモジュール７により撮影する際には、以上説明したような撮像画像のホワイトバランス調節が自動的に実行される。すなわち、プロジェクタモジュール６を使用して投射像を生成する際には、自動的にカメラモジュール７において撮像画像を取得し、その撮像画像に対してホワイトバランス調節を行う。この投射時における撮像画像のホワイトバランス調節では、撮影シーンの種類がどの状態に設定されているかに関わらず、投射像の撮影用に予め定められた所定の色変換法則に基づいて、カメラモジュール７において取得された撮像画像の色合いを調節する。なお、ここで述べた所定の色変換法則については後で説明する。

上記のようにして投射時における撮像画像のホワイトバランス調節を行う場合、プロジェクタモジュール６のＬＥＤ光源６３は初めに、予め設定された所定の色合いに調節した光を出力する。このときの投射像をカメラモジュール７において撮影し、投射時における撮像画像のホワイトバランス調節を行った後に、そのホワイトバランス調節後の撮像画像に基づいて、前述したようなキャリブレーション動作を実行する。キャリブレーション動作において既に説明した投射像のホワイトバランス調節が行われることにより、ＬＥＤ光源６３の発光色が上記の所定の色合いから変化して、投射像の色合いが調節される。

ここでプロジェクタモジュール６のＬＥＤ光源６３は、発光時の色合い特性に個体差があり、上記のように予め設定された所定の色合いに調節した光を出力しても、その出力光の実際の色合いは個体ごとに微妙に異なる。また、プロジェクタ付き携帯電話機１０として仕様の異なる複数の機種が存在する場合は、機種ごとに異なる仕様の光源がＬＥＤ光源６３として用いられる場合がある。このような場合にも発光時の色合い特性が異なるため、出力光の色合いに差が生じる。

そのため、本実施形態のプロジェクタ付き携帯電話機１０では、投射時における撮像画像のホワイトバランス調節を、ＬＥＤ光源６３の色合い特性に応じて予め定められた所定の色変換法則に基づいて実行する。この所定の色変換法則には、上記で説明したようなＬＥＤ光源６３における色合い特性の差が補正されるようなものが設定される。すなわち、個体や機種ごとにＬＥＤ光源６３の色合い特性を予め測定しておき、その測定結果に基づいて、出力される光の色合いの差を打ち消すような色変換法則をプロジェクタ付き携帯電話機１０の製造時にＣＰＵ１０１に記憶させておく。このような色変換法則を用いることにより、ＬＥＤ光源６３における色合い特性の差を補正し、カメラモジュール７において投射像を適切に撮影できるようにすることができる。

なお、上記のような色変換法則をプロジェクタ付き携帯電話機１０の製造後に設定できるようにしてもよい。たとえば、プロジェクタモジュール６を使用して画像を投射する前に、白色の投射面に対してＬＥＤ光源６３からの出力光自体、すなわち無色透明の画像を前述した所定の色合いで投射し、その投射像をカメラモジュール７において撮影する。こうして取得された撮像画像に基づいて、基準特性に対するＬＥＤ光源６３の色合い特性の差を検出し、その検出結果に応じて、投射時における撮像画像のホワイトバランス調節に使用する色変換法則を設定することができる。

以上説明した第１の実施の形態によれば、次の作用効果を奏する。
（１）カメラモジュール７により撮影して取得された投射像の撮像画像に基づいて、プロジェクタモジュール６におけるキャリブレーション動作を投射像の投射中に繰り返し実行することとした。具体的には、投射像のフォーカス状態の調節や、投射像の明るさの調節や、投射像の色合いの調節や、投射像の台形歪みの補正を、投射像の投射中に繰り返し実行することとした。このようにしたので、プロジェクタ付き携帯電話機１０を持っている手の向きが変化したりすることで投射中に投射像がぶれた場合にも、投射像の映り具合を適切に調節することができる。

（２）キャリブレーション動作、すなわち投射像のフォーカス状態の調節や、投射像の明るさの調節や、投射像の色合いの調節や、投射像の台形歪みの補正を、一定周期ごとに繰り返し実行することとすれば、投射中において投射像の映り具合を常時調節することができる。

（３）キャリブレーション動作、すなわち投射像のフォーカス状態の調節や、投射像の明るさの調節や、投射像の色合いの調節や、投射像の台形歪みの補正を、操作キーへの操作入力が行われるごとに繰り返し実行することもできる。このようにすれば、操作キーへの操作入力によってプロジェクタ付き携帯電話機１０の位置や向きが変化し、投射像がぶれてしまった場合でも、それを補正して見やすい投射像とすることができる。

（４）投射像の撮像画像中に含まれている所定の形状パターンに基づいて、キャリブレーション動作のうち投射像のフォーカス状態の調節と、投射像の明るさの調節と、投射像の色合いの調節とを行うこととした。具体的には、所定の形状パターンを有するコントラスト算出用画像に基づいて投射像のフォーカス状態を調節し、所定の形状パターンを有する明るさ検出用画像に基づいて投射像の明るさを調節し、所定の形状パターンを有する色合い検出用画像に基づいて投射像の色合いを調節することとした。このようにしたので、投射像のフォーカス状態、明るさおよび色合いを投射中において調節することができる。

（５）また、投射像の撮像画像中に含まれている投射像の形状を特定するための所定の図形または記号に基づいて、キャリブレーション動作のうち投射像の台形歪みの補正を行うこととした。このようにしたので、投射中においても投射像の台形歪みを補正することができる。

（６）所定の形状パターンを含む画像や、所定の図形または記号を含む画像を所定の短時間だけ投射するようにし、その画像の投射タイミングに同期して投射像を被写体として撮影することとすれば、投射像を見ている者に対してその形状パターンや図形または記号を気づかれにくくすることができる。

（７）キャリブレーション動作、すなわち投射像のフォーカス状態の調節や、投射像の明るさの調節や、投射像の色合いの調節や、投射像の台形歪みの補正について、その頻度を設定することもできる。そして、３種類の頻度を設定可能とし、最も高い頻度が設定された場合はこれらのキャリブレーション動作を投射像の投射中に繰り返し実行し、中間の頻度が設定された場合はこれらのキャリブレーション動作を投射像の投射中に１回だけ実行し、最も低い頻度が設定された場合はこれらのキャリブレーション動作を行わないようにすることができる。このようにすれば、上記のようなキャリブレーション動作が不要である場合に電力消費を抑えることができる。

（８）静止画像が投射されているときには、その投射像を撮影して取得された撮像画像に基づいて、投射像のフォーカス状態を調節することもできる。このようにしても、投射像のフォーカス状態を投射中において調節することができる。

（９）さらに上記の場合において、動画像が投射されているときには、所定の形状パターンを有するコントラスト算出用画像を含む画像を投射することもできる。このようにすれば、動画像を投射中のときにも投射像のフォーカス状態を投射中において調節することができる。

（１０）ＬＥＤ光源６３からの発光量を変化させることにより投射像の明るさを調節することとしているので、簡単な処理で投射像の明るさを調節できる。さらにこのとき、所定の基準値よりも暗くする場合にはＬＥＤ光源６３からの発光量を低下させて投射像の明るさを調節し、所定の基準値よりも明るくする場合には液晶パネル６２に表示する画像自体の明るさを変えることによって投射像の明るさを調節することもできる。このようにすれば、発光量を抑えて電力消費量や発熱量を低減することができる。

（１１）ＬＥＤ光源６３からの発光量をＲＧＢ各発光色ごとに変化させることにより投射像の色合いを調節することとしているので、簡単な処理で投射像の色合いを調節できる。

（１２）操作部１と表示部２の折りたたみ角度θを検出し、その折りたたみ角度θに基づいて台形歪みを補正することとした。または、表示部２の回転角度φを検出し、その回転角度φに基づいて台形歪みを補正することとした。このようにしたので、カメラモジュール６を用いた投射像の撮像を行わなくても、簡単な制御で台形歪みを補正することができる。

（１３）撮像画像のピント調節において同焦点移動方式を用いた場合には、プロジェクタモジュール６によって異なる複数の投射焦点位置において投射像をそれぞれ生成し、その複数の投射像の撮像画像をカメラモジュール７によって取得する。このとき、その複数の投射像の撮像画像を、プロジェクタ付き携帯電話１０に対する距離が投射像を生成した複数の投射焦点位置とそれぞれほぼ等しい複数の撮像焦点位置においてそれぞれ取得することとした。このようにしたので、カメラモジュール７において投射像を適切に撮影できるようにすることができる。

（１４）撮像画像のピント調節においてカメラ固定方式を用いた場合には、プロジェクタモジュール６によって異なる複数の投射焦点位置において投射像をそれぞれ生成し、その複数の投射像の撮像画像をカメラモジュール７によって取得する。このとき、その複数の投射像の撮像画像を、固定された１つの撮像焦点位置においてそれぞれ取得することとした。このようにしても、カメラモジュール７において投射像を適切に撮影できるようにすることができる。

（１５）カメラ固定方式を用いた場合はさらに、１つの撮像焦点位置において取得された複数の投射像の撮像画像が所定の条件を満たす場合には、その複数の投射像の撮像画像に基づいて撮像焦点位置を調節した後、その調節後の撮像焦点位置において、プロジェクタモジュール６による複数の投射像の生成と、カメラモジュール７による複数の投射像の撮像画像の取得とを再び行うこととした。このようにしたので、最初に固定された撮像焦点位置が適切ではなかった場合でも、調節後の撮像焦点位置において投射像を適切に撮影できるようにすることができる。

（１６）また、カメラ固定方式を用いる場合において、取得される撮像画像のピントが近くから無限遠まで合っているパンフォーカス状態となるように、カメラモジュール７において撮像焦点位置を固定し、その撮像焦点位置において複数の投射像の撮像画像を取得することとすれば、投射焦点位置の調節処理を複数回繰り返す必要がなく、短時間で投射像を適切に撮影できるようにすることができる。

（１７）投射時における撮像画像のホワイトバランス調節において、投射像をカメラモジュール７により撮影する際、ＬＥＤ光源６３の色合い特性に応じて予め定められた所定の色変換法則に基づいて、取得された撮像画像の色合いを調節することとした。このようにしたので、撮像画像のホワイトバランス調節、すなわち撮像画像の色合い調節を行う場合にも、カメラモジュール７において投射像を適切に撮影できるようにすることができる。

−第２の実施の形態−
本発明の第２の実施の形態について説明する。この実施形態ではカメラモジュール７にズーム機能が付いており、撮影時にユーザの操作によって任意のズーム位置へと動かすことができる。これにより、ユーザは被写体を拡大または縮小して撮影することができる。なお、本実施形態の外観および構成は第１の実施の形態と同じであるため、ここでは説明を省略する。

本実施形態において、カメラモジュール７の撮影レンズ７１はズーミング可能なズームレンズであり、カメラ制御ＣＰＵ７４の制御に基づいてレンズ駆動部７３によって駆動されることでそのズーム位置が制御される。カメラ制御ＣＰＵ７４は、投射像をカメラモジュール７により撮影する際には、予め設定された所定のズーム位置となるように撮影レンズ７１のズーム位置を制御する。すなわち、プロジェクタモジュール６を使用して投射像を生成する際には、自動的にカメラモジュール７において撮影レンズ７１を所定のズーム位置へと制御して撮像画像を取得する。このときの所定のズーム位置は、カメラモジュール７における撮影範囲がプロジェクタモジュール６による投射像の投射範囲を少なくとも含むように設定される。なお、投射像の投射範囲は、プロジェクタ付き携帯電話機１０と投射面の距離によって変動する。したがって、その変動量を考慮して撮影範囲の方が大きくなるように所定のズーム位置を設定しておくことが好ましい。

カメラモジュール７は、上記の所定のズーム位置としたときの撮影範囲により、プロジェクタモジュール６によって生成される投射像を撮像する。この撮像画像に基づいて、ＣＰＵ１０１とプロジェクタモジュール６において前述したようなキャリブレーション動作を行い、投射像の映り具合を調節する。

図１２は、撮影範囲が投射範囲を含むようにカメラモジュール７のズーム位置を制御するときの様子を示した図である。（ａ）の平面図と（ｂ）の正面図は、ズーム位置を制御する前の撮影範囲と投射範囲の関係を示した図である。このときのカメラモジュール７による撮影範囲は、プロジェクタモジュール６による投射範囲よりも狭くなっている。このままでは投射像の全体を撮影することができないため、投射時にはズーム位置を制御して撮影範囲を拡大する。

（ｃ）の平面図と（ｄ）の正面図は、所定のズーム位置へと制御した後の撮影範囲と投射範囲の関係を示した図である。このとき、（ａ）および（ｂ）の状態よりもズーム位置を後退させることによりカメラモジュール７の撮影範囲を拡大して、その撮影範囲がプロジェクタモジュール６による投射範囲を含むように拡大する。このようにしてズーム位置を制御する。なお、ズーム位置が前述の所定のズーム位置よりも撮影範囲が拡大する側にあった場合には、上記と同様に所定のズーム位置となるように制御してもよいし、そのままズーム位置を変えないこととしてもよい。

以上説明した第２の実施の形態によれば、投射像をカメラモジュール７により撮影する際、カメラ制御ＣＰＵ７４によって、カメラモジュール７における撮影範囲が投射像の投射範囲を少なくとも含むように予め設定された所定のズーム位置に、カメラモジュール７のズーム位置を制御することとした。このようにしたので、カメラモジュール７にズーム機構が付いている場合でも投射像を適切に撮影できるようにすることができる。

なお、上記の第１および第２の実施の形態において、投射像をカメラモジュール７によって撮影する前のカメラモジュール７における各種の設定状態をＣＰＵ１０１において記憶し、プロジェクタモジュール６による投射像の生成を止めた後、またはキャリブレーション動作の実行を止めた後に、その記憶された状態へと各種の設定状態を戻すこととしてもよい。ここでいう各種の設定状態には、第１の実施の形態では撮像焦点位置の状態や、撮像画像のホワイトバランス調節時に用いられる色変換法則の状態が該当し、第２の実施形態ではズーム位置の状態が該当する。なおこの場合において、投射像をカメラモジュール７により撮影する場合とそうでない場合とで、撮像画像のホワイトバランス調節時に用いられる色変換法則が異なることは言うまでもない。

−第３の実施の形態−
本発明の第３の実施の形態について説明する。図１３は、本実施形態によるプロジェクタ付き携帯電話機１０Ａの外観図である。（ａ）と（ｂ）は側面図、（ｃ）は背面図を表している。このプロジェクタ付き携帯電話機１０Ａは、第１の実施の形態と同じ操作部１と、表示部２Ａによって構成されている。表示部２Ａは、図に示す位置にプロジェクタモジュール６とカメラモジュール７が配設されており、図１のサブ液晶表示器５は有していない。これ以外の点については、第１の実施の形態における表示部２と同一である。

カメラモジュール７は、表示部２Ａのカメラ取付機構部２Ｂに配設されている。このカメラ取付機構部２Ｂは、カメラモジュール６の撮像方向を変化させるために回転可能な機構を有している。そのため、カメラモジュール７の撮像方向とプロジェクタモジュール６の投射方向は、（ｂ）に示すよう同一方向である場合と、（ａ）に示すように同一方向でない場合とがある。（ａ）のように一致しない場合にプロジェクタモジュール６によって画像を投射すると、その投射像をカメラモジュール７において撮像することができないため、前述したようなキャリブレーション動作を実行できない。

そのため本実施形態では、カメラ取付機構部２Ｂの回転角度を検出するための回転角度検出部（不図示）を表示部２Ａに備えるようにし、その回転角度によってカメラモジュール７の撮像方向を判断する。そして、カメラモジュール７の撮像方向とプロジェクタモジュール６の投射方向が同一方向であるか否かをＣＰＵ１０１において判定し、同一方向であると判定された場合にのみ、ＣＰＵ１０１においてプロジェクタモジュール６の動作を許可する。

上記の判定の結果、撮像方向と投射方向が同一方向でないと判定された場合には、ＣＰＵ１０１においてプロジェクタモジュール６の動作を禁止するとともに、カメラモジュール７の撮像方向を変更するようユーザに促すための警告を発する。この警告は、警告メッセージとしてメイン液晶表示器４に表示したり、あるいはスピーカー１１１から警告音として出力したりすることができる。なお、上記のようなプロジェクタモジュール６の動作の許可または禁止の制御と、警告音の出力とは、どちらか一方のみを実行するようにしてもよい。

以上説明した第３の実施の形態によれば、次の作用効果を奏する。
（１）プロジェクタモジュール６の投射方向とカメラモジュール７の撮像方向が同一方向であるか否かを判定し、同一方向ではないと判定された場合には警告を発することとしたので、カメラモジュール７の撮像方向が可変な場合でも投射像を適切に撮影できるようにすることができる。

（２）また、プロジェクタモジュール６の投射方向とカメラモジュール７の撮像方向が同一方向であると判定された場合にのみ、プロジェクタモジュール６の動作を許可することとした。このようにしても、カメラモジュール７の撮像方向が可変な場合に投射像を適切に撮影できるようにすることができる。

なお、上記の各実施の形態では、プロジェクタ機能が携帯電話機に組み込まれたプロジェクタ付き携帯電話機を例に説明した。しかし、上記に説明したような動作を行うプロジェクタ装置であれば、携帯電話機に組み込まれたものに限らず、プロジェクタ機能とカメラ機能を有する小型の携帯型電子機器であればどのようなものでもよい。あるいは、デジタルスチルカメラなどの電子式カメラにプロジェクタ機能を組み込み、上記のような動作を実行させるようにしてもよい。

上記の各実施の形態において説明した内容はあくまで一例であって、本発明はこの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も、本発明の範囲内に含まれる。

本発明の一実施形態によるプロジェクタ付き携帯電話機の外観図である。 プロジェクタ付き携帯電話機のブロック図である。 プロジェクタモジュールの断面図である。 投射対象画像にコントラスト算出用画像を重畳した様子を示す図である。 コントラスト算出用画像の重畳タイミングを示すタイミングチャートである。 投射対象画像に明るさ検出用画像を重畳した様子を示す図である。 投射対象画像に形状特定用図形を重畳した様子を示す図である。 折りたたみ角度θと台形歪みとの関係を示した図である。 回転角度φと台形歪みとの関係を示した図である。 同焦点移動方式を用いて撮像画像のピント調節と投射像のフォーカス状態の調節を同時に行う様子を示した図である。 カメラ固定方式を用いて撮像画像のピント調節と投射像のフォーカス状態の調節を別々に行う様子を示した図である。 撮影範囲が投射範囲を含むようにズーム位置を制御するときの様子を示した図である。 本発明の他の実施形態によるプロジェクタ付き携帯電話機の外観図である。

符号の説明

１：操作部 ２：表示部
３：折りたたみヒンジ部 ４：メイン液晶表示器
５：サブ液晶表示器 ６：プロジェクタモジュール
７：カメラモジュール １０：プロジェクタ付き携帯電話機
６１：投影レンズ ６２：液晶パネル
６３：ＬＥＤ光源 ６４：ＬＥＤ駆動部
６５：液晶駆動部 ６６：レンズ駆動部
７１：撮影レンズ ７２：イメージセンサ
７３：レンズ駆動部 ７４：カメラ制御ＣＰＵ
１０１：ＣＰＵ １０２：メモリ
１０３：近距離通信部 １０４：メモリカード
１０５：マイク １０６：外部インターフェイス
１０７：電源 １０８：通信制御部
１０９：アンテナ １１０：操作キー群
１１１：スピーカー １１２：開閉角度センサ

Claims (7)

1. 光源と、
   投射対象として選択された画像と、該画像の一部に所定の形状パターンを重畳したパターン重畳画像とを、前記光源からの光を用いて投射面に投射して投射像を生成する投射像生成手段と、
   前記パターン重畳画像の投射像を撮影する撮像手段と、
   前記撮像手段により撮影した前記パターン重畳画像の投射像の撮影画像中に含まれる前記所定の形状のパターンに基づいて、前記投射像の明るさを調整する明るさ調節手段と、を備え、
   前記投射像生成手段は、前記投射対象として選択された画像を投射している合間に、前記パターン重畳画像を所定の短時間だけ投射し、
   前記撮像手段は、前記パターン重畳画像の投射タイミングに同期して、前記パターン重畳画像の投射像を撮影することを特徴とするハンディタイプのプロジェクタ装置。
2. 請求項１のプロジェクタ装置において、
   前記明るさ調節手段は、前記光源からの発光量を変化させることにより前記投射像の明るさを調節することを特徴とするハンディタイプのプロジェクタ装置。
3. 請求項２のプロジェクタ装置において、
   前記明るさ調節手段は、前記投射像の明るさを所定の基準値よりも暗くする場合には、前記光源からの発光量を低下させて前記投射像の明るさを調節し、前記投射像の明るさを前記基準値よりも明るくする場合には、前記画像自体の明るさを変えることにより、前記投射像の明るさを調節することを特徴とするハンディタイプのプロジェクタ装置。
4. 請求項１〜３のいずれか一項に記載のプロジェクタ装置において、
   前記明るさ調節手段は、前記投射像の明るさの調節を一定周期ごとに繰り返し行うことを特徴とするハンディタイプのプロジェクタ装置。
5. 請求項１〜３のいずれか一項に記載のプロジェクタ装置において、
   ユーザからの操作入力を受け付けるための複数の操作キーを有する操作入力手段をさらに備え、
   前記明るさ調節手段は、前記投射像の明るさの調節を前記操作キーのいずれかに操作入力が行われるごとに、繰り返し行うことを特徴とするハンディタイプのプロジェクタ装置。
6. 請求項１〜５のいずれか一項に記載のプロジェクタ装置を備えた携帯電話。
7. 請求項１〜５のいずれか一項に記載のプロジェクタ装置を備えたカメラ。

Images