JP2014127744A

JP2014127744A - 撮像装置、撮像制御方法、及びプログラム

Info

Publication number: JP2014127744A
Application number: JP2012281116A
Authority: JP
Inventors: Kenzo Sashida; 健三佐志田
Original assignee: Casio Computer Co Ltd
Current assignee: Casio Computer Co Ltd
Priority date: 2012-12-25
Filing date: 2012-12-25
Publication date: 2014-07-07
Also published as: KR20140082921A; US20140176722A1; CN103905721A

Abstract

【課題】撮影者の視線方向が不適切であったとしても、所望する構図の撮像画像を得ることを可能にする。
【解決手段】撮像装置１は、レンズブロック１２と撮像素子１３とを備える撮像部１１と、撮像部１１によって撮像されている撮像画像が所定の構図条件を満足しているか否かを判別するとともに、該判別結果に基づいて、撮像部１１によって撮像されている撮像画像が所定の構図条件（輝度分布；空：地面＝７：３）を満足するよう撮像部１１をモータ１５によって駆動し、撮像部１１によって撮像された撮像画像の構図を調整するＣＰＵ２１とを備えている。
【選択図】図１

Description

本発明は、撮像装置、撮像制御方法、及びプログラムに関する。

従来より、撮影者の頭部に装着する頭部装着型の撮像装置が提案されている。頭部装着型の撮像装置では、撮影者が撮像装置を手で把持して構えることなく、視線方向にある画角を撮り込むため、シャッターチャンスを逃すことなく撮影することができる。また、このような頭部装着型の撮像装置は、体を動かす状況でも両手を自由にすることができるので、スポーツや、トレッキング、登山、ランニングなどで非常に有効的に利用できる。

例えば、頭部装着型の撮像装置としては、撮影者の視線と被写体との方向を一致させるための技術が提案されている（例えば特許文献１参照）。該特許文献１には、イニシャライズ処理として頭部装着型の撮像装置から直進性の高い光を被写体に投光し、これにより撮影者の視線と被写体との方向が一致しているかを確認・調整する技術が開示されている。

特開２００３−４６８３８号公報

ところで、登山や、ハイキングなどで、上述した頭部装着型の撮像装置をヘッドバンドなどで撮影者の頭部に装着して、その行程を記録することがある。しかしながら、上記頭部装着型の撮像装置は、撮影者の頭部の動きに連動してしまう。例えば比較的平坦な場所では、撮影者は正面を向いているのでほぼ水平の画像が記録される一方、平坦でない場所（特に上り坂等）では、撮影画角における地面や空の割合が多いケースがある。

つまり、上述した従来技術においては、撮影者の視線と被写体との方向を一致させることができるものの、それがゆえに上述したような平坦でない場所では撮影者の視線方向が不適切でも記録され、しかも、その後撮像構図を調整することができないという問題があった。

そこで本発明は、所望する構図の撮像画像を得ることができる撮像装置、撮像制御方法、及びプログラムを提供することを目的とする。

この発明は、撮像手段と、前記撮像手段によって撮像されている撮像画像が所定の構図条件を満足しているか否かを判別する判別手段と、前記判別手段による判別結果に基づいて、前記撮像画像が所定の構図条件を満足するよう前記撮像手段の撮像構図を制御する制御手段とを備えることを特徴とする撮像装置である。

この発明は、撮像部によって撮像されている撮像画像が所定の構図条件を満足しているか否かを判別するステップと、前記判別結果に基づいて、前記撮像画像が所定の構図条件を満足するよう前記撮像部の撮像構図を変更するステップとを含むことを特徴とする撮像制御方法である。

この発明は、コンピュータに、撮像部によって撮像されている撮像画像が所定の構図条件を満足しているか否かを判別する判別機能、前記判別結果に基づいて、前記撮像画像が所定の構図条件を満足するよう前記撮像部の撮像構図を変更する制御機能を実行させることを特徴とするプログラムである。

この発明によれば、撮影者の視線方向が不適切であったとしても、所望する構図の撮像画像を得ることができるという利点が得られる。

本発明の実施形態による頭部装着型の撮像装置１の構成を示すブロック図である。本実施形態による頭部装着型の撮像装置１の外観を示す斜視図である。本実施形態による頭部装着型の撮像装置１の動作（補正処理）を説明するためのフローチャートである。本実施形態による頭部装着型の撮像装置１の平坦時における動作と撮影画像と示す模式図である。本実施形態による頭部装着型の撮像装置１の上り坂時における動作（補正なし）と撮影画像と示す模式図である。本実施形態による頭部装着型の撮像装置１の上り坂時における動作（補正あり）と撮影画像と示す模式図である。本実施形態による頭部装着型の撮像装置１の上り坂時における動作（補正あり）と撮影画像と示す模式図である。本実施形態の頭部装着型の撮像装置１による空と地面との割合判定を説明するための概念図である。

以下、本発明の実施の形態を、図面を参照して説明する。

Ａ．実施形態の構成
図１は、本発明の実施形態による頭部装着型の撮像装置１の構成を示すブロック図である。図１において、頭部装着型の撮像装置１は、通信制御部１０、撮像部１１、画像処理部１４、モータ１５、モータドライバ１６、加速度センサ１７、外部メモリ１８、フラッシュメモリ１９、ＳＤＲＡＭ２０、ＣＰＵ２１、キー操作部２２、音声制御部２３、スピーカ２４、マイク２５、電源（バッテリ）２６、及び電源制御部２７を備えている。

通信制御部１０は、撮像された画像データを、インターネット上のサーバや、インターネットを介して個人のパーソナルコンピュータなどの情報処理装置などに転送する。またピア・トゥ・ピアで撮影者が携帯する情報機器にも転送できる。撮像部１１は、光学レンズ群からなるレンズブロック１２と、ＣＣＤや、ＣＭＯＳなどの撮像素子１３とを備えている。撮像素子１３は、レンズブロック１２から入った画像をデジタル信号に変換する。画像処理回路１４は、画像データに対して、画像処理（画素補間処理、γ補正、輝度色差信号の生成、ホワイトバランス処理、露出補正処理等）、画像データの圧縮・伸張（例えば、ＪＰＥＧ形式やＭｏｔｉｏｎ−ＪＰＥＧ形式又はＭＰＥＧ形式の圧縮・伸張）を実行する。

モータ１５は、ＣＰＵ２１の制御に従って、上記撮像部１１を光軸の垂直方向（上下方向）に駆動することで、撮像部１１の撮影方向を変える。モータドライバ１６は、ＣＰＵ２１の制御に従って、上記モータ１５を駆動する。加速度センサ１７は、ユーザの頭部の動きに連動する当該頭部装着型の撮像装置１の動き（仰俯角方向：水平軸を回転軸とした上下方向）を検出する。外部メモリ１８は、着脱可能な記録媒体であり、撮像部１１によって撮像された画像データなどを保存する。フラッシュメモリ１９は、撮像部１１によって撮像された画像データなどを保存しておく記録媒体である。ＳＤＲＡＭ２０は、撮像部１１によって撮像された後、ＣＰＵ２１に送られてきた画像データを一時記憶するバッファメモリとして使用されるとともに、ＣＰＵ２１のワーキングメモリとして使用される。

ＣＰＵ２１は、頭部装着型の撮像装置１の各部を制御するワンチップマイコンであり、撮像部１１による静止画撮影、動画の録画開始／停止、静止画撮影と動画撮影の切り替えなどを行う。特に、本実施形態では、ＣＰＵ２１は、加速度センサ１７の検出結果から、撮影者の頭部の仰俯角方向の動きに連動する当該頭部装着型の撮像装置１の仰俯角方向の移動量（角度）を算出する。前述したように、頭部装着型の撮像装置１を撮影者の頭部に装着して、登山や、ハイキングなどの行程を記録する場合、平坦でない場所（坂道等）では、撮影者が上若しくは下を向いてしまうため、空（地面）だけ、または空（地面）の割合が多い画像が撮影される。ＣＰＵ２１は、加速度センサ１７から得られる当該頭部装着型の撮像装置１の仰俯角方向の移動量（角度）に基づいて、撮像部１１が水平方向を向くように、さらには、所望する輝度分布を有する構図の撮像画像が得られるように、モータ１５によって撮像部１１を駆動する。このように、本実施形態では、撮影者の頭部の仰俯角方向の動きに連動させて、撮像部１１が、水平方向を向くように、さらには、所望する輝度分布を有する構図の撮像画像が得られるように、駆動制御することで、撮影者が下を向いてしまうことにより、空（地面）だけ、または空（地面）の割合が多い画像が撮影されることを防ぐことができる。

音声制御部２３は、ＣＰＵ１３の制御に従って、撮像動画再生時の音声（報知音等）をアナログ信号に変換し、スピーカ２４から出力する一方、動画撮像時にマイク２５によって集音した環境音をデジタル化して取り込む。キー操作部２２は、ユーザのタッチ操作に応じて、動作モードや、撮影開始、一時停止、停止などの動作指示などを入力する。電源（バッテリ）２６は、充電式の二次電池である。電源制御部２７は、電源（バッテリ）２６の出力電圧を安定化し、各部に駆動用電力を供給する。

図２は、本実施形態による頭部装着型の撮像装置１の外観を示す斜視図である。図２において、頭部装着型の撮像装置１は、ヘッドバンド３０、筐体３１、筐体３２、及び撮像部１１で構成される。ユーザは、ヘッドホンを装着するように筐体３１と筐体３２が耳を覆うように、頭部を挟むように装着する。撮像部１１と筐体３１とは、水平方向の１軸で接続され、撮像部１１の向き（撮影方向）を、筐体３１に対して上記回転軸４０を中心に仰俯角方向に回転できるように構成されている。撮像部１１は、筐体３１に内蔵されたモータ１５により回転する。

Ｂ．実施形態の動作
次に、上述した実施形態の動作について説明する。
図３は、本実施形態による頭部装着型の撮像装置１の動作（補正処理）を説明するためのフローチャートである。また、図４（ａ）、（ｂ）から図７（ａ）、（ｂ）は、本実施形態による頭頭部装着型の撮像装置１の動作と撮影画像とを示す模式図である。なお、以下では、撮像部１１による動画撮影動作については周知であるので説明を省略し、撮像部１１の撮影方向を補正する補正処理についてのみ説明する。

まず、ユーザは、撮影方向の補正を有効に設定した後、当該頭部装着型の撮像装置１を自身の頭部に装着し、キー操作部２２を操作して撮影を開始する。撮影が開始されると、図３に示す補正処理のルーチンが所定の時間間隔で繰り返し実行される。補正処理では、まず、ＣＰＵ２１は、補正処理の停止要求があるか否かを判断する（ステップＳ１０）。そして、ユーザ操作により補正処理の停止要求がある場合には（ステップＳ１０でＹＥＳ）、当該処理を終了する。

一方、補正処理の停止要求がない場合には（ステップＳ１０でＮＯ）、ＣＰＵ２１は、加速度センサ１７の検出結果を取得する（ステップＳ１２）。次に、ＣＰＵ２１は、加速度センサ１７の検出結果から当該頭部装着型の撮像装置１が水平であるか否かを判断する（ステップＳ１４）。例えば、図４（ａ）に示すように、撮影者が平坦な場所を歩いている場合には、該頭部装着型の撮像装置１は、撮影者の頭部の向き（視線の向き）に連動して水平となる。このとき、撮影画像は、図４（ｂ）に示すように、空と地面との画角割合が適正な値（例えば、空：地面＝７：３）となっている。

一方、図５（ａ）に示すように、登山や、ハイキングなどで、撮影者が平坦でない場所（坂道で特に上り坂）歩いている場合には、坂道（地面）が視線の正面にくる可能性が高く、また、撮影者が足の踏み場を意識し、その視線も下を向くことが多くなるため、当該頭部装着型の撮像装置１は、撮影者の頭部の向き（視線の向き）に連動して水平でなくなる。このとき、撮影画像は、図５（ｂ）に示すように、空と地面との画角割合が不適正な値（例えば、空：地面＝１：７）となっている。

このように、図５（ａ）に示すように、当該頭部装着型の撮像装置１が水平でない場合には（ステップＳ１４でＮＯ）、ＣＰＵ２１は、モータドライバ１６を介して、モータ１５を駆動し、撮像部１１による撮影方向が水平になるように水平復帰動作を実行する（ステップＳ１６）。一方、図４（ａ）に示すように、当該頭部装着型の撮像装置１が水平である場合（ステップＳ１４でＹＥＳ）、あるいは、上記水平復帰動作の実行後、ＣＰＵ２１は、スルー画像を取得し（ステップＳ１８）、空と地面との割合を判定する（ステップＳ２０）。空と地面との識別は、種々考えられるが、本実施形態では、スルー画像の輝度分布に基づいて行っており、詳細については後述する。

次に、ＣＰＵ２１は、スルー画像における空と地面との割合が適切であるか否かを判断する（ステップＳ２２）。本実施形態では、一例として、空と地面との割合を７：３としているが、適宜、設定可能としてもよい。そして、スルー画像における空と地面との割合が適正である場合には（ステップＳ２２でＹＥＳ）、ステップＳ１０に戻り、上述した処理を繰り返す。

一方、例えば、上述したように、撮影者が坂道（特に上り坂）歩いている場合には、当該頭部装着型の撮像装置１が下向きとなる。この場合、図６（ａ）に示すように、モータ１５を駆動し、撮像部１１による撮影方向が水平になるように水平復帰動作を実行するが、水平に復帰させただけでは、図６（ｂ）に示すように、空と地面との画角割合が不適正な値となる場合がある。このように、スルー画像における空と地面との割合が適正でない場合には（ステップＳ２２でＮＯ）、ＣＰＵ２１は、空の割合が多いか否かを判断する（ステップＳ２４）。そして、空の割合が多い場合には（ステップＳ２４でＹＥＳ）、撮像部１１が上を向きすぎているということなので、ＣＰＵ２１は、モータドライバ１６を介して、モータ１５を駆動し、撮像部１１による撮影方向を所定量（所定角度）Ｄだけ下向きにする（ステップＳ２６）。その後、ステップＳ１０に戻り、上述した処理を繰り返す。

一方、図６（ｂ）に示すように、撮像部１１を水平に復帰させたものの、地面の割合が多い場合には（ステップＳ２４でＮＯ）、撮像部１１が下を向きすぎているということなので、ＣＰＵ２１は、モータドライバ１６を介して、モータ１５を駆動し、図７（ａ）に示すように、撮像部１１による撮影方向を所定量（所定角度）Ｄだけ上向きにする（ステップＳ２８）。この結果、図７（ｂ）に示すように、空と地面との割合が適切（７：３）となる。その後、ステップＳ１０に戻り、上述した処理を繰り返す。

なお、上記所定量（所定角度）Ｄは、詳細は後述するが、空と地面との現在の割合と、適正割合（７：３）との差分である。したがって、その差分である所定量（所定角度）Ｄだけ撮像部１１を仰俯角方向に駆動することで、撮影画像における空と地面との割合が適正割合（７：３）となる。

図８は、本実施形態の頭部装着型の撮像装置１による空と地面との割合判定を説明するための概念図である。図８において、右側が撮影画像を示し、左側が撮影画像のスキャン位置Ａ、Ｂ、Ｃにおける輝度分布を示している。本実施形態では、上述したように、スルー画像の輝度分布に基づいて空と地面との割合を判定する。ＣＰＵ２１は、スルー画像の輝度データを取得し、スルー画像のスキャン位置Ａ、Ｂ、Ｃの輝度を縦方向にスキャンし、図８の右側に示す輝度分布を取得する。

一般に、空は相対的に明るく、地面は相対的に暗いという傾向があるので、多くの事例から統計的に得られる、空と地面との境界を識別するための輝度値を閾値ＴＨとして設定しておく。ＣＰＵ２１は、スキャン位置Ａ、Ｂ、Ｃの輝度が閾値ＴＨを下回った位置の平均から、空と地面の境界位置Ｒを算出する。該境界位置Ｒと適正値Ｒｐとの差分が所定量（所定角度）Ｄである。そして、ＣＰＵ２１は、空と地面の境界位置Ｒが、空と地面の割合が適正値Ｒｐ（例えば、７：３）であれば適正であると判定し、適正値Ｒｐ以外であれば不適正であると判定する。そして、ＣＰＵ２１は、境界位置Ｒと適正値Ｒｐとの差分Ｄ（すなわち、所定量（所定角度）に従って、モータ１５を駆動し、撮像部１１による撮影方向を補正する。

なお、上述した実施形態においては、撮像部１１をモータ１５で駆動することで撮像画角を調整するようにしたが、これに限らず、予め広角で撮影し、その撮影画像のトリミング位置や大きさを変更することで、所望する構図の画像を取得するようにしてもよい。
更に、モータ１５の駆動による撮像画角の調整（大雑把な調整）と、撮影画像のトリミング位置や大きさを変更（微調整）とを併用しても良い。

上述した実施形態によれば、頭部装着型の撮像装置１で、撮影者の視線方向が上下に変化することで撮像構図が変化し、所定の構図条件（輝度分布）を満足しなくなる場合であっても、随時、撮像部１１の撮影構図を調整するようにしたので、撮影者の視線方向が不適切であったとしても、所望する構図の撮像画像を取得することができる。

また、上述した実施形態によれば、頭部装着型の撮像装置１で、撮影者の視線方向が上下に変化することで撮像構図が変化し、所定の構図条件（輝度分布）を満足しなくなる場合であっても、随時、撮像装置１の動きを検出し、該動きに応じて撮像部１１の仰俯角を補正するようにしたので、撮影者の視線方向が不適切であったとしても、所望する構図の撮像画像を取得することができる。ゆえに、例えば、坂道（登山）を上下するときなどであっても、空（地面）だけ、または空（地面）の割合が多い画像が撮影されることを防ぐことができる。

また、上述した実施形態によれば、頭部装着型の撮像装置１で、撮影者の視線方向が上下に変化することで撮像構図が変化し、所定の構図条件（輝度分布）を満足しなくなる場合であっても、随時、広角で撮影した撮影画像のトリミング位置や大きさを変更するようにしたので、撮影者の視線方向が不適切であったとしても、所望する構図の撮像画像を取得することができる。

また、上述した実施形態によれば、撮像画像の輝度分布に基づいて、撮像画像が所定の構図条件を満足しているか否かを判別するようにしたので、簡易な画像処理で、容易に判別することができる。

以上、この発明のいくつかの実施形態について説明したが、この発明は、これらに限定されるものではなく、特許請求の範囲に記載された発明とその均等の範囲を含むものである。
以下に、本願出願の特許請求の範囲に記載された発明を付記する。

（付記１）
付記１に記載の発明は、撮像手段と、前記撮像手段によって撮像されている撮像画像が所定の構図条件を満足しているか否かを判別する判別手段と、前記判別手段による判別結果に基づいて、前記撮像画像が所定の構図条件を満足するよう前記撮像手段の撮像構図を制御する制御手段とを備えることを特徴とする撮像装置である。

（付記２）
付記２に記載の発明は、前記所定の構図条件とは、撮像画像において一定の割合で空の画像と地面の画像が存在する構図条件であることを特徴とする付記１に記載の撮像装置である。

（付記３）
付記３に記載の発明は、前記撮像手段の撮影方向を変更する駆動手段を更に備え、前記制御手段は、前記駆動手段を制御して前記撮像手段の撮影方向を変更することによって、前記撮像手段の撮像構図を変更することを特徴とする付記１又は２に記載の撮像装置である。

（付記４）
付記４に記載の発明は、前記撮像手段は、撮像されている撮像画像をトリミングするトリミング手段を含み、前記制御手段は、前記トリミング手段によるトリミング範囲を変更することによって、前記撮像手段の撮像構図を変更することを特徴とする付記１乃至３のいずれかに記載の撮像装置である。

（付記５）
付記５に記載の発明は、前記判別手段は、撮像画像の輝度分布に基づいて、前記撮像画像が所定の構図条件を満足しているか否かを判別することを特徴とする付記１乃至４のいずれかに記載の撮像装置である。

（付記６）
付記６に記載の発明は、前記撮像手段は、ユーザの頭部に装着されることを特徴とする付記１乃至５のいずれかに記載の撮像装置である。

（付記７）
付記７に記載の発明は、撮像部によって撮像されている撮像画像が所定の構図条件を満足しているか否かを判別するステップと、前記判別結果に基づいて、前記撮像画像が所定の構図条件を満足するよう前記撮像部の撮像構図を変更するステップとを含むことを特徴とする撮像制御方法である。

（付記８）
付記８に記載の発明は、コンピュータに、撮像部によって撮像されている撮像画像が所定の構図条件を満足しているか否かを判別する判別機能、前記判別結果に基づいて、前記撮像画像が所定の構図条件を満足するよう前記撮像部の撮像構図を変更する制御機能を実行させることを特徴とするプログラムである。

１頭部装着型の撮像装置
１０通信制御部
１１撮像部
１２レンズブロック
１３撮像素子
１４画像処理部
１５モータ
１６モータドライバ
１７加速度センサ
１８外部メモリ
１９フラッシュメモリ
２０ＳＤＲＡＭ
２１ＣＰＵ
２２キー操作部
２３音声制御部
２４スピーカ
２５マイク
２６電源（バッテリ）
２７電源制御部

Claims

撮像手段と、
前記撮像手段によって撮像されている撮像画像が所定の構図条件を満足しているか否かを判別する判別手段と、
前記判別手段による判別結果に基づいて、前記撮像画像が所定の構図条件を満足するよう前記撮像手段の撮像構図を制御する制御手段と
を備えることを特徴とする撮像装置。
前記所定の構図条件とは、撮像画像において一定の割合で空の画像と地面の画像が存在する構図条件であることを特徴とする請求項１に記載の撮像装置。
前記撮像手段の撮影方向を変更する駆動手段を更に備え、
前記制御手段は、前記駆動手段を制御して前記撮像手段の撮影方向を変更することによって、前記撮像手段の撮像構図を変更する
ことを特徴とする請求項１又は２に記載の撮像装置。
前記撮像手段は、撮像されている撮像画像をトリミングするトリミング手段を含み、
前記制御手段は、前記トリミング手段によるトリミング範囲を変更することによって、前記撮像手段の撮像構図を変更する
ことを特徴とする請求項１乃至３のいずれかに記載の撮像装置。
前記判別手段は、撮像画像の輝度分布に基づいて、前記撮像画像が所定の構図条件を満足しているか否かを判別する
ことを特徴とする請求項１乃至４のいずれかに記載の撮像装置。
前記撮像手段は、ユーザの頭部に装着される
ことを特徴とする請求項１乃至５のいずれかに記載の撮像装置。
撮像部によって撮像されている撮像画像が所定の構図条件を満足しているか否かを判別するステップと、
前記判別結果に基づいて、前記撮像画像が所定の構図条件を満足するよう前記撮像部の撮像構図を変更するステップと
を含むことを特徴とする撮像制御方法。
コンピュータに、
撮像部によって撮像されている撮像画像が所定の構図条件を満足しているか否かを判別する判別機能、
前記判別結果に基づいて、前記撮像画像が所定の構図条件を満足するよう前記撮像部の撮像構図を変更する制御機能
を実行させることを特徴とするプログラム。