JP7201021B2 - 情報処理装置、情報処理方法、プログラム - Google Patents

Description

本技術は情報処理装置、情報処理方法、プログラムに関し、例えば、画像の特徴を利用して解像度を設定するようにした情報処理装置、情報処理方法、プログラムに関する。

従来のカメラは、ユーザ自ら撮像したい被写体に焦点を合わせたり、ズーム倍率を変更したりして被写体を撮像する。また、被写体が移動しても、追尾してピントを合わせ続けるカメラも存在する。関連する技術として、移動する被写体を撮像するための以下のような技術が提案されている。

位置情報を取得可能な端末装置と通信可能な撮像装置において、撮像装置は、撮像装置の位置情報と端末装置の位置情報に基づいて、端末装置が撮像範囲に存在するか否かを判断し、端末装置が撮像範囲に存在するとき、撮像画像から抽出される特徴量と、端末装置が取り付けられた被写体を検出するための特徴量とに基づいて、被写体を検出することが提案されている。また、被写体が検出されると、検出された被写体に焦点を合わせるように焦点距離を調整することも提案されている（特許文献１参照）。

特開２０１３－２５１７９６号公報

近年、撮像画像の高解像化が進み、処理すべきデータ量が増大しつつある。また例えば、撮像素子から、データを処理する処理部へのデータ転送量も増大しつつある。このようなデータ量の増大にともない、例えば、高速に移動する被写体を検出し続けるような処理を行うときに、処理負担が増大し、処理が追いつかなくなる可能性がある。

本技術は、このような状況に鑑みてなされたものであり、適切にデータ量を削減することができるようにするものである。

本技術の一側面の第１の情報処理装置は、画像に含まれる被写体の移動量の情報に基づいて、前記画像の解像度を変更する制御部を備え、前記制御部は、前記被写体の移動量が小さい場合、前記被写体の解像度を高く設定し、前記被写体の移動量が大きい場合、前記被写体の解像度を低く設定する。
本技術の一側面の第２の情報処理装置は、画像に含まれる被写体の移動方向の情報に基づいて、前記画像の解像度を変更する制御部を備え、前記制御部は、前記被写体の移動方向が他の被写体と異なる場合、前記被写体の解像度を高く設定する。

本技術の一側面の第１の情報処理方法は、情報処理装置が、画像に含まれる被写体の移動量の情報に基づいて、前記被写体の移動量が小さい場合、前記被写体の解像度を高く設定し、前記被写体の移動量が大きい場合、前記被写体の解像度を低く設定する。
本技術の一側面の第２の情報処理方法は、情報処理装置が、画像に含まれる被写体の移動方向の情報に基づいて、前記被写体の移動方向が他の被写体と異なる場合、前記被写体の解像度を高く設定する。

本技術の一側面の第１のプログラムは、情報処理装置を制御するコンピュータに、画像に含まれる被写体の移動量の情報に基づいて、前記被写体の移動量が小さい場合、前記被写体の解像度を高く設定し、前記被写体の移動量が大きい場合、前記被写体の解像度を低く設定するステップを含む処理を実行させる。
本技術の一側面の第２のプログラムは、情報処理装置を制御するコンピュータに、画像に含まれる被写体の移動方向の情報に基づいて、前記被写体の移動方向が他の被写体と異なる場合、前記被写体の解像度を高く設定するステップを含む処理を実行させる。

本技術の一側面の第１の情報処理装置、情報処理方法、およびプログラムにおいては、画像に含まれる被写体の移動量の情報に基づいて、被写体の移動量が小さい場合、被写体の解像度が高く設定され、被写体の移動量が大きい場合、被写体の解像度が低く設定される。
本技術の一側面の第２の情報処理装置、情報処理方法、およびプログラムにおいては、画像に含まれる被写体の移動方向の情報に基づいて、被写体の移動方向が他の被写体と異なる場合、被写体の解像度が高く設定される。

なお、情報処理装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。

また、プログラムは、伝送媒体を介して伝送することにより、または、記録媒体に記録して、提供することができる。

本技術の一側面によれば、適切にデータ量を削減することができる。

なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

本技術を適用した撮像装置の一実施の形態の構成を示す図である。 撮像素子と画像処理部の構成例を示す図である。 撮像素子と画像処理部の他の構成例を示す図である。 撮像素子と画像処理部の他の構成例を示す図である。 積層構造について説明するための図である。 撮像素子と画像処理部の処理について説明するためのフローチャートである。 距離に応じた解像度の設定について説明するための図である。 間引き処理について説明するための図である。 撮像素子と画像処理部の他の構成例を示す図である。 動体検出に応じた解像度の設定について説明するための図である。 撮像素子と画像処理部の他の構成例を示す図である。 人検出に応じた解像度の設定について説明するための図である。 撮像素子と画像処理部の他の構成例を示す図である。 撮像素子と画像処理部の他の構成例を示す図である。 撮像素子と画像処理部の他の構成例を示す図である。 撮像素子と画像処理部の他の構成例を示す図である。 撮像素子と画像処理部の他の構成例を示す図である。 撮像素子と画像処理部の他の構成例を示す図である。 撮像素子と画像処理部の他の構成例を示す図である。 撮像素子と画像処理部の他の構成例を示す図である。 撮像素子の使用例について説明するための図である。 記録媒体について説明するための図である。

以下に、本技術を実施するための形態（以下、実施の形態という）について説明する。

図１は、本技術を適用した電子機器の一例である撮像装置１０の構成例を示すブロック図である。

＜撮像装置の構成＞
図１に示すように、撮像装置１０は、レンズ群２１などを含む光学部、撮像素子２２、カメラ信号処理部である画像処理部２３、フレームメモリ２４、表示部２５、記録部２６、操作部２７、および、電源部２８等を有している。そして、画像処理部２３、フレームメモリ２４、表示部２５、記録部２６、操作部２７、電源部２８、駆動部２９、および通信部３０が、バスライン３１を介して相互に接続された構成となっている。

レンズ群２１は、被写体からの入射光（像光）を取り込んで撮像素子２２の撮像面上に結像する。撮像素子２２は、レンズ群２１によって撮像面上に結像された入射光の光量を画素単位で電気信号に変換して画素信号として出力する。

表示部２５は、液晶表示部や有機ＥＬ（electro luminescence）表示部等のパネル型表示部から成り、撮像素子２２で撮像された動画または静止画を表示する。記録部２６は、撮像素子２２で撮像された動画または静止画を、メモリカードやビデオテープやＤＶＤ（Digital Versatile Disk）等の記録媒体に記録する。

操作部２７は、ユーザによる操作の下に、本撮像装置１０が持つ様々な機能について操作指令を発する。電源部２８は、画像処理部２３、フレームメモリ２４、表示部２５、記録部２６、および、操作部２７、駆動部２９の動作電源となる各種の電源を、これら供給対象に対して適宜供給する。

駆動部２９は、レンズ群２１を構成するレンズの駆動を制御することで、焦点を合わせる制御（所謂オートフォーカス）を行う。通信部３０は、ネットワークを介して他の装置とデータの授受を行う。

このような撮像装置１０は、ビデオカメラやデジタルスチルカメラ、さらには、スマートフォン、携帯電話機等のモバイル機器向けカメラモジュールに適用される。

このような構成を有する撮像装置１０は、以下に説明するように、撮像される画像の特徴に応じて、解像度を変更する機能を有する。撮像される画像の特徴とは、順次明らかにするように、例えば、被写体の距離や大きさである。また解像度は、例えば、距離が遠い被写体の解像度は高くし、近い被写体の解像度は低くするといった変更が行われる。

なお解像度とは、画像サイズに対応するもので、例えば１画面を形成する水平画素数及び垂直画素数により表すことができる。また、解像度とは、映像データを構成するフレーム単位の画像データに含まれる画素につき、単位面積当たりの画素数として表すこともできる。

例えば、撮像素子２２の画素アレイ部１０１（図２）に配置されている画素数を解像度を表す値として用いることができる。撮像素子２２の画素数を解像度とした場合、撮像された画像の解像度は、画像内で同一となるが、本技術によれば後述するように、異なる解像度を有する画像とすることができる。

例えば、１画像内において、一部の領域の解像度は、他の領域の解像度よりも高く、または低く設定される。詳細は後述するが、撮像時の解像度は、撮像素子２２の画素数とし、撮像された画像内の所定の領域の画素数を少なくする（画素を間引く）ことで、その領域の解像度が下げられる。

また、撮像時の解像度は、撮像素子２２の画素数とし、撮像された画像内の所定の領域の解像度を挙げるための処理（アップコンバートなどと称される処理）を行うことで、撮影時の画素数よりも画素数を増やすことで、その領域の解像度が上げられる。

このように、本明細書における解像度は、１画像内で複数の異なる解像度を有する場合があり、解像度を変更するとは、撮像素子２２の画素数で撮像された時の解像度を変更することを含む処理とする。また本明細書における解像度の変更は、画像内の所定の領域内の画素数を変更する、例えば、画素数を減らすまたは増やす変更を行うことである。

さらに換言すれば、画素数が変更されることで、例えば、画素数が減らされることで、データ量が少なくなるため、解像度を下げることでデータ量を下げることができる。よって、解像度の変更とは、データ量を変更することにもなる。

このように、撮像される画像の特徴に応じて、解像度を変更する機能を有する撮像装置１０における撮像素子２２と画像処理部２３の構成について説明を加える。まず撮像される画像の特徴として、被写体の距離である場合を例に挙げて説明する。

＜撮像素子、画像処理部の構成＞
図２は、撮像される画像の特徴として、被写体の距離を用いる場合の撮像素子２２と画像処理部２３の構成例を示す図である。

図２に示した撮像素子２２Ａは、画素アレイ部１０１、読み出し制御部１０２、メモリインターフェース１０３、メモリ１０４、信号処理部１０５、出力制御部１０６、解像度制御部１０７、解像度マップ作成部１０８、および距離情報生成部１０９を含む構成とされている。画像処理部２３Ａは、撮像画像に対してデモザイクなどの処理を行う撮像画像処理部１２１を含む構成とされている。

撮像素子２２Ａは、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal-Oxide Semiconductor）素子などを２次元状に複数配列した画素アレイ部１０１を含む。

読み出し制御部１０２は、画素アレイ部１０１の各画素からの信号の読み出しを制御する。読み出し制御部１０２は、画素アレイ部１０１を構成する全画素から信号を順次読み出す制御や、所定の画素からの信号を読み出す（所定の画素からの信号は読み出さない）制御を行うことが可能な構成とされている。

メモリインターフェース１０３は、読み出し制御部１０２により読み出された画素からの信号をメモリ１０４に供給したり、メモリ１０４で保持された信号を、信号処理部１０５に供給したりする制御を行う。

信号処理部１０５は、ノイズ除去など、信号に対する各種の処理を実行する。出力制御部１０６は、ノイズ除去などの処理が施された信号を、画像処理部２３Ａに出力するための制御を行う。出力制御部１０６は、１個のストリームを出力する構成とされていても良いし、Ｎ個のストリームを並列的に出力することが可能な構成とされていても良い。

解像度制御部１０７は、設定されている解像度を実現するための制御を行う。上記したように、撮像される画像の特徴に応じて解像度が変更されるが、その変更された解像度になるように、解像度制御部１０７は、読み出し制御部１０２、メモリインターフェース１０３、信号処理部１０５、および出力制御部１０６をそれぞれ制御する。

設定された解像度をどのように実現するかにより、解像度制御部１０７による制御は異なるが、例えば解像度を下げる場合、画素アレイ部１０１から信号を読み出す画素の個数を通常時よりも少なくすることで、解像度を下げることができ、解像度制御部１０７は、そのような読み出しが行われるように、読み出し制御部１０２を制御する。

例えば、画素アレイ部１０１の画素数の１／２の画素数を読み出すことで、解像度を半分に下げることができる。このような制御が行われることで、読み出し制御部１０２からメモリインターフェース１０３以降に供給される信号数（データ量）が少なくなり、各部の処理負荷を低減させることが可能となる。

また、後述するように、画素アレイ部１０１からは全画素分の信号を読み出し、読み出された信号を加算や除算などすることで新たな画素値を生成することで、解像度を下げるようにしても良い。この場合、例えば、メモリ１０４に一旦全画素分の信号を保持し、加算や除算などの処理を行い、新たな画素値を生成し、信号処理部１０５に出力する。このような処理により、例えば、画素数が１／２の画像が生成される。

このように制御した場合、メモリインターフェース１０３から信号処理部１０５に供給される信号数が少なくなり、信号処理部１０５以降の各部の処理負担を低減させることが可能となる。

生成される画像の全体を対象として解像度を下げるようにすることも可能であるし、画像の所定の領域（画素）毎に解像度を下げるようにすること可能である。画像の所定の領域毎に解像度を下げるとは、１画像内に、例えば、解像度Ａの領域、解像度Ｂの領域、解像度Ｃの領域といった異なる解像度の領域が存在していても良いことを意味し、領域毎に異なる解像度を設定できることを意味する。

ここでは、領域毎との記述を行うが、画素毎に行うことも可能である。画素毎に解像度を変えるとは、所定の画素から信号を読み出す、または読み出さないことを意味する。また１画像毎に解像度を変更することも可能である。例えば、映像を撮像していときに、フレーム毎に異なる解像度とすることも可能である。

またここでは、解像度を下げる場合を例に挙げて説明する。このような場合、通常時は、高解像度で処理し、撮像される画像の特徴により、解像度が、通常時の解像度よりも下げられる。換言すれば、高解像度で撮影し、その高解像度の画像内の所定の領域内の解像度は下げられる。このように、１画像内に高解像度の領域と解像度が下げられた領域とが存在する画像が生成される。

このような場合を例に挙げて説明するが、逆のパターンであっても本技術を適用できる。すなわち、通常時は、低解像度で処理し、撮像される画像の特徴により、解像度が、通常時の解像度よりも上げられるようにすることも可能である。

また、通常時は、中程度の解像度で処理し、撮像される画像の特徴により、解像度が、通常時の解像度よりも上げられる、または下げられるようにすることも可能である。

図２の説明に戻る。解像度マップ作成部１０８は、距離情報生成部１０９からの距離情報に応じて、１画像内における解像度を設定する。すなわち、１画像内の解像度を下げる領域を設定する。その設定は、被写体の距離に応じて行われるため、距離情報生成部１０９は、被写体までの距離情報を生成し、解像度マップ作成部１０８に供給する。

距離情報生成部１０９は、距離情報取得部１３１からの情報を用いて、距離情報を生成する。距離情報取得部１３１と距離情報生成部１０９において、被写体までの距離が測距されるが、この測距は、例えば、アクティブ光（赤外線など）を利用した測距センサにより行われるようにすることができる。アクティブ光を利用した測距センサとしては、ＴＯＦ（Time-of-Flight）方式や、Structured Light方式などを適用することができる。

また、距離情報取得部１３１を、ステレオカメラとし、距離情報生成部１０９は、ステレオカメラにより撮像された画像を用いて距離情報を生成するようにしても良い。また、距離情報取得部１３１を、マルチカメラとし、マルチカメラによる三次元再構成に基づいた方法で、距離情報が生成されるようにしても良い。

また、距離情報取得部１３１は、超音波センサにより距離情報を取得する構成としても良い。また、距離情報取得部１３１は、ミリ波レーダーを用いた方式で距離情報を取得する構成としても良い。また、ライトフィールドカメラによる方法を適用することも可能である。

また、距離情報取得部１３１を、位相差検出用の画素とし、その位相差検出用の画素からの信号を用いて、距離情報生成部１０９は距離情報を生成するようにしても良い。位相差検出用の画素からの信号を用いて距離情報を生成するようにした場合、位相差検出用の画素は、画素アレイ部１０１に設けることが可能である。また、位相差検出用の画素からの信号を用いて、焦点検出の処理が行われるようにすることも可能である。

このように、距離情報取得部１３１と距離情報生成部１０９により、距離情報が取得され、生成される。どのような構成（どのような方法で測距するか）により、距離情報取得部１３１は、撮像素子２２Ａ内に備えられる構成としても良いし、撮像素子２２Ａとは別に設けられるようにしても良い。

図３に、撮像素子２２と画像処理部２３の他の構成例を示す。図３に示した構成において、図２に示した構成と同様の部分には、同様の符号を付し、その説明は適宜省略する。

図３に示した撮像素子２２Ｂと画像処理部２３Ｂの構成と、図２に示した撮像素子２２Ａと画像処理部２３Ａの構成とを比較した場合、その内部構成が異なる。図３に示した撮像素子２２Ｂは、画素アレイ部１０１、読み出し制御部１０２、メモリインターフェース１０３、メモリ１０４、信号処理部１０５、出力制御部１０６、および解像度制御部１０７を含む構成とされている。

図３に示した画像処理部２３Ｂは、解像度マップ作成部１０８、距離情報生成部１０９、および撮像画像処理部１２１を含む構成とされている。図３に示した構成においては図２に示した構成において、撮像素子２２Ａに含まれていた解像度マップ作成部１０８、距離情報生成部１０９が、画像処理部２３Ｂに含まれている点が異なる。

このように、撮像素子２２、画像処理部２３を構成する機能は、撮像素子２２または画像処理部２３に、振り分けることが可能である。

図２に示した撮像素子２２Ａと画像処理部２３Ａの構成、または図３に示した撮像素子２２Ｂと画像処理部２３Ｂの構成は、撮像素子２２Ａ側で解像度の変更を行う構成である。このような構成とした場合、解像度が低く設定されたときには、撮像素子２２Ａから画像処理部２３Ａに供給されるデータ量は、解像度が低く設定された分だけ低減される。

次に、画像処理部２３側で解像度の変更を行う構成とした場合について説明する。このような構成とした場合、解像度が低く設定されたときには、画像処理部２３から出力されるデータ量は、解像度が低く設定された分だけ少なくなるため、例えば、ネットワークを介して他の装置に供給するときなどに、そのネットワークで流すデータ量を少なくすることができる。

図４は、画像処理部２３側で解像度の変更を行う場合の撮像素子２２と画像処理部２３の構成例を示す図である。図４に示した構成において、図２に示した構成と同様の部分には、同様の符号を付し、その説明は適宜省略する。

図４に示した撮像素子２２Ｃは、画素アレイ部１０１、読み出し制御部１０２、信号処理部１０５、出力制御部１０６を含む構成とされている。図４に示した撮像素子２２Ｃは、解像度を変更する機能を有さないため、例えば、図２に示した撮像素子２２Ａから、メモリインターフェース１０３、メモリ１０４、および解像度制御部１０７を削除した構成とされている。

なお、ここでは、メモリ１４は、解像度を変更する処理を行うために一旦信号を保持するために設けられるとして説明を続けるが、解像度を変更する処理以外の処理にも一旦信号を保持する機構を設けたい場合などには、メモリインターフェース１０３とメモリ１４を備える構成としても勿論良い。

図４に示した画像処理部２３Ｃは、解像度制御部１０７、距離情報生成部１０９、および撮像画像処理部１２１を含む構成とされている。距離情報生成部１０９により生成された距離情報は、解像度制御部１０７に供給される。

解像度制御部１０７は、撮像画像処理部１２１で処理される画像内の画素を解像度に合わせて間引いて後段の処理部、例えば、ネットワークを介して他の装置と通信する通信部（不図示）などに出力する。

このような構成の場合、例えば、画像処理部２３Ｃで処理された画像データを、通信部３０を介してネットワークに出力し、ネットワークを介して他の装置に出力するときのデータ量を低減させることができる。

図２乃至図４に示した撮像素子２２と画像処理部２３を、複数の基板（ダイ）を積層した積層イメージセンサで構成することができる。ここでは、図２または図３に示した撮像素子２２と画像処理部２３を例に挙げて、撮像素子２２と画像処理部２３を積層イメージセンサで構成した場合について説明する。

図５は、図３の撮像素子２２と画像処理部２３の全体を内蔵させた積層イメージセンサの構成例を示す図である。図５の積層イメージセンサは、画素基板２０１と信号処理基板２０２とが積層された２層構造になっている。

画素基板２０１には、撮像素子２２に含まれる画素アレイ部１０１、読み出し制御部１０２、メモリインターフェース１０３、メモリ１０４、信号処理部１０５、および出力制御部１０６が形成されている。また画素基板２０１には、距離情報取得部１３１も形成されている。

距離情報取得部１３１を、例えばＴＯＦ方式で距離情報を得る場合、所定の光を被写体に照射する照射部と、その照射された光を受光する撮像素子とが含まれる構成とされる。この距離情報取得部１３１を構成する撮像素子の部分、または照射部などの部分も含めて、画素基板２０１に形成することができる。また、距離情報取得部１３１を、位相差検出用画素で形成する場合なども、距離情報取得部１３１は、画素基板２０１上に形成される。

信号処理基板２０２には、解像度制御部１０７、解像度マップ作成部１０８、距離情報生成部１０９、および撮像画像処理部１２１が形成されている。

このように、積層イメージセンサとして、撮像素子２２と画像処理部２３を形成しても良い。なお、撮像素子２２のみを、積層イメージセンサとして構成するなど、適宜変更は可能である。

また、積層イメージセンサは、２層や３層の基板の他、４層以上の基板を積層して構成することができる。例えば、メモリ１０４を、画素基板２０１と信号処理基板２０２以外の層（メモり層）に設け、そのメモリ層を、画素基板２０１と信号処理基板２０２の間や、信号処理基板２０２の下側に設ける構成としても良い。

＜距離に基づく解像度の変更＞
図６のフローチャートを参照し、図２乃至図４に示した撮像素子２２と画像処理部２３の構成において、距離に基づき、解像度の変更を行う場合について説明する。

ステップＳ１０１において、距離情報が生成される。距離情報生成部１０９（例えば、図３）は、距離情報取得部１３１（図３）で取得される情報に基づき、距離情報を生成する。距離情報の生成は、上記したようにＴＯＦ方式などを適用して生成することができる。

ステップＳ１０２において、解像度マップが作成される。解像度マップ作成部１０８は、距離情報生成部１０９により生成された距離情報に基づき、解像度マップを作成する。解像度マップは、画像内で、情報として有用であり、解像度を落としたくない領域（画素）と、情報として有用ではなく、解像度を落としても良い領域（画素）が記載されたマップである。

またフレーム単位で解像度を設定する場合、解像度マップは、情報として有用であるフレームであり、解像度を落としたくないフレームである場合、そのフレーム（画像）内の解像度を一律高めに設定したマップとなり、情報として有用ではないフレームであり、解像度を落とせるフレームである場合、そのフレーム（画像）内の解像度を一律低め設定したマップとなる。

距離情報生成部１０９は、距離情報として、例えばデプスマップ（depth map）を生成し、解像度マップ作成部１０８は、生成されたデプスマップのうち所定の閾値以下の領域と、所定の閾値以上の領域を検出することで、解像度マップを生成するようにしても良い。閾値を複数設けることで、複数の解像度を設定するように構成しても良い。

ステップＳ１０３において、解像度マップに基づき、間引き率を調整し、撮像画像（出力データ）が生成される。間引き率は、設定された解像度にするために設定される率であり、図７を参照して説明するような値を有する。

このような処理について、図７を参照してさらに説明を加える。図７のＡは、撮像された画像（入力画像３０１とする）の一例を示す。入力画像３０１には、人が左上に４人、手前に１人撮像されている。また入力画像３０１には、右上に木、中央部分に車が撮像されている。

このような入力画像３０１が取得されるときの距離情報から、例えばデプスマップを生成した場合、図７のＢに示すような距離画像３０２が得られる。図７のＢ中、色が濃い（黒に近い）程、距離が遠いことを意味し、色が薄い（白に近い）程、距離が近いことを意味する。

なお、距離とは、撮像装置１０からの距離であり、例えば、距離が近いとは、撮像装置１０から被写体までの距離が近いことを意味する。または距離とは、画像内の被写体同士の相対的な位置関係における距離であっても良く、所定の被写体を基準とし、その基準となる被写体から離れている場合、距離が遠いとして判定され、その基準となる被写体に近い場合、距離が近いと判定されるようにしても良い。所定の被写体を基準とすることで、相対的に遠近を判定することができる。

また、距離とは、距離情報取得部１３１と距離情報生成部１０９の処理による検出に応じて得られた絶対的な距離情報であっても良い。距離情報は、例えば、撮影距離であってもよく、例えば、撮影距離が１０メートルを基準とし、１０メートルよりも遠い被写体については距離が遠いと判定され、近い被写体については距離が近いと判定されるようにすることができる。

基準となる撮影距離は、１０メートルに限らず、任意の値が設定されていても良いし、撮影シーンに応じて変更されても良い。例えば、ズーム処理などにより遠景が近景のように撮像された場合には、その画像全体を、距離が近いと判定し、距離が近いときの解像度で処理がなされるようにしても良い。

距離情報として、図７のＢに示したような距離画像３０２が得られた場合、距離画像３０２の画素（所定の大きさの領域）毎に、解像度が設定される。図７のＣは、所定の大きさの領域毎に解像度が設定された例を示し、解像度マップの一例を示す図である。

図７のＣ中、数値が小さい程、間引き率が低く、数値が高い程、間引き率が高いことを示す。換言すれば、図７のＣ中、数値が小さい程、解像度が高く、数値が高い程、解像度が低いことを示す。

図７のＣに示した解像度マップ３０３を参照するに、距離が近い（近景）の領域の間引き率は高く（数値としては大きく、解像度は低く）設定され、距離が遠い（遠景）の領域の間引き率は低く（数値としては小さく、解像度は高く）設定されている。

遠景の被写体は、小さくサイズで撮像されている可能性が高く、仮に遠景の被写体の領域を間引く（解像度を落とす）と、視認できなくなる可能性がある。よって、遠景の被写体の解像度は維持または高くする（間引き率を低く設定する）。

また、遠景の被写体は、小さいサイズで撮像されている可能性が高く、小さいサイズであるため、視認するために大きなサイズに変更される可能性がある。そのような撮像された後に拡大表示される可能性がある領域は、高い解像度で撮像しておき、後の時点で、拡大表示して見られるようにしておく。よって、遠景の被写体の解像度は維持または高くする（間引き率を低く設定する）。

一方で、近景の被写体は、大きいサイズで撮像されている可能性が高く、仮に近景の被写体の領域を間引いても（解像度を落としても）、視認できなくなる可能性は低い。よって、近景の被写体の解像度は下げる（間引き率を高く設定する）。

または、逆に、近景の被写体の解像度は高くし、遠景の解像度は低くしても良い。例えば、近景の被写体のみを処理対象とする場合には、近景の被写体の解像度は高くし、遠景の解像度は低くするといった変更が行われるようにすることが可能である。

このように、解像度を変更する目的に応じて、どのように解像度を設定するかは適宜変更可能である。

図７のＣに示した解像度マップ３０３を参照するに、解像度マップ３０３には複数の数値が設定されている。すなわち、１画像に対して、複数の領域毎に解像度（間引き率）が設定されている。この場合、被写体までの距離に応じて、解像度（間引き率）が設定されている。

図７のＣに示した解像度マップ３０３では、１乃至８の数値が設定されている。この場合、８段階で解像度が設定される場合を示している。この段階は、何段階でも良く、複数の解像度（複数の間引き率）を設定しておくことができる。

例えば、１０×１０の１００画素が処理対象とされている場合、例えば、図７のＣに示した解像度マップ３０３内で、数値が“１”に設定された領域内の１００画素の全てが読み出され、解像度が保たれる。また、例えば、図７のＣに示した解像度マップ３０３内で、数値が“８”に設定された領域からは、８割の画素（８０画素）が間引かれ、１００画素から所定の位置にある２０画素が読み出され、解像度が下げられる。

このように、距離情報から解像度マップが作成され、解像度マップに基づいて、解像度が制御される。

図２または図３に示した撮像素子２２と画像処理部２３において、解像度制御部１０７が、解像度マップに基づいて解像度を制御する場合、解像度制御部１０７は、例えば、読み出し制御部１０２に指示を出し、画素アレイ部１０１から読み出す画素数を制御することで、解像度の制御を行う。

例えば、上記した例のように、図７のＣに示した解像度マップ３０３内で、数値が“８”に設定された領域内の１００画素から、所定の位置にある２０画素を読み出し対象の画素とし、その設定された画素から画素値が読み出される。この場合、読み出し制御部１０２による読み出しを制御することで、解像度が制御される。

または、解像度制御部１０７が、メモリインターフェース１０３に指示を出し、メモリインターフェース１０３から信号処理部１０５に出力されるデータを制御することで、解像度の制御が行われる。

例えば、上記した例のように、図７のＣに示した解像度マップ３０３内で、数値が“８”に設定された領域内の１００画素から、所定の位置にある２０画素が信号処理部１０５への出力対象の画素とされ、その設定された画素から読み出された画素値が、メモリ１０４から読み出され、信号処理部１０５へと出力される。この場合、メモリインターフェース１０３による出力を制御することで、解像度が制御される。

または、解像度制御部１０７が、メモリインターフェース１０３とメモリ１０４に指示を出し、メモリインターフェース１０３から信号処理部１０５に出力されるデータを制御することで、解像度の制御が行われるようにしても良い。

例えば、上記した例のように、図７のＣに示した解像度マップ３０３内で、数値が“８”に設定された領域内の１００画素から、所定の位置にある２０画素が信号処理部１０５への出力対象の画素とされた場合、メモリ１０４に保持されている１００画素分の画素値から、２０画素分の画素値が生成される（この生成に関しては、図８を参照して後述する）。

生成された２０画素分の画素値が、メモリ１０４から読み出され、信号処理部１０５へと出力される。この場合、メモリインターフェース１０３とメモリ１０４を制御することで、解像度が制御される。

このような、例えば、１００画素の画素値から２０画素の画素値を生成するといった間引き処理は、信号処理部１０５で行うことも可能である。信号処理部１０５で間引き処理を行うようにした場合、解像度制御部１０７は、信号処理部１０５に指示を出し、信号処理部１０５で間引き処理（画素値の加算や除算などを含む処理）を行い、出力されるデータを制御することで、解像度の制御が行われる。

または、解像度制御部１０７が、出力制御部１０６に指示を出し、出力制御部１０６から画像処理部２３に出力されるデータを制御することで、解像度の制御が行われるようにしても良い。

例えば、上記した例のように、図７のＣに示した解像度マップ３０３内で、数値が“８”に設定された領域内の１００画素から、所定の位置にある２０画素が画像処理部２３への出力対象の画素とされた場合、信号処理部１０５からは、１００画素の画素値が出力制御部１０６に供給され、出力制御部１０６は、供給された１００画素の画素値から、２０画素分の画素値を画像処理部２３に出力する。この場合、出力制御部１０６を制御することで、解像度が制御される。

図４に示した撮像素子２２Ｃと画像処理部２３Ｃにおいて、解像度制御部１０７が、解像度マップに基づいて解像度を制御する場合、撮像画像処理部１２１に指示を出し、撮像画像処理部１２１からバスライン３１に出力される画素数を制御することで、解像度の制御が行われるようにすることができる。

例えば、上記した例のように、図７のＣに示した解像度マップ３０３内で、数値が“８”に設定された領域内の１００画素から、２０画素分の画素値を出力する場合、撮像素子２２Ｃからは、１００画素分の画素値が、画像処理部２３（内の撮像画像処理部１２１）に供給される。撮像画像処理部１２１は、解像度制御部１０７の指示に基づき、供給された１００画素から、８０画素を間引き、２０画素分の画素値を出力する。このように、撮像画像処理部１２１が制御されることで、解像度の制御が行われるようにしても良い。

図８を参照し、メモリ１０４に画素値を一旦保持し、画素を間引く場合について説明する。

図８のＡに示したように、横８画素、縦２画素を処理する場合を例に挙げて説明する。また、ここでは、色配置（カラーフィルタ）がＲＧＢ（Red、Green、Blue）のベイヤ-配列である場合を例に挙げて説明を続けるが、本技術は、このような色配置に適用範囲が限定されることを示す記載ではない。

例えば、上下左右２×２個の画素を繰り返し単位として、繰り返し単位において、Ｒ（赤色）／Ｇ（緑色）／Ｂ（青色）／Ｃ（透明）のカラーフィルタが配列されている場合や、Ｒ（赤色）／Ｃ（透明）／Ｃ（透明）／Ｃ（透明）のカラーフィルタが配列されている場合にも本技術を適用することはできる。

解像度が維持され、間引きが行われない領域の場合、換言すれば、全画素読み出しが行われる領域の場合、図８のＡに示したように、全画素が読み出される。すなわち、この場合、画素４０１－１乃至画素４０１－８、画素４０２-１乃至４０２－８から、それぞれ画素値が読み出される。

全画素読み出しの場合、画素アレイ部１０１から、画素４０１－１乃至画素４０１－８、画素４０２-１乃至４０２－８の画素値がそれぞれ読み出され、メモリ１０４に一旦保持され、その後、メモリインターフェース１０３の制御により、メモリ１０４から画素４０１－１乃至画素４０１－８、画素４０２-１乃至４０２－８の画素値がそれぞれ読み出され、信号処理部１０５に供給される。

解像度が落とされる領域、例えば、１／２に間引きされる領域の場合、例えば、図８のＢに示すように、加算と除算が行われることで、２画素分の画素値が１画素分の画素値に変換される。図８のＢに示した例では、例えば、Ｒ画素４０１－１とＲ画素４０１－３の画素値が加算され、２で除算されることで、１画素分のＲ画素の画素値に変換される。

すなわち、隣接する同色の画素値の平均値を算出することで画素値が算出される。Ｒ画素以外のＧ画素やＢ画素も、同様に、平均値が求められることで画素値が算出される。

なおここでは、水平方向の間引きについて説明しているが、垂直方向の間引きも、水平方向の間引きと同様に行うことで間引くことができる。ここでは、水平方向の間引きについて説明し、垂直方向については、水平方向と同様に行われるとし、説明を省略する。

解像度が落とされる領域、例えば、１／２に間引きされる領域の場合、例えば、図８のＣに示すように、加算と除算が行われることで、２画素分の画素値が１画素分の画素値に変換されるようにしても良い。図８のＣに示した例では、例えば、Ｒ画素４０１－１とＲ画素４０１－３の画素値が３：１の割合で加算され、４で除算されることで、１画素分のＲ画素の画素値に変換される。

すなわちこの場合、重み付けが行われた加算が行われ、その重み付けされた加算値を除算することで１画素分の画素値が生成される。Ｒ画素の場合、隣接するＲ画素のうち、左側に位置するＲ画素（例えば、Ｒ画素４０１－１）の割合が３とされ、右側に位置するＲ画素（例えば、Ｒ画素４０１－３）の割合が１とされ、加算が行われる。

Ｇ画素であり、上下左右２×２個の画素を繰り返し単位として、繰り返し単位において右上に位置するＧｒ画素の場合、隣接するＧｒ画素のうち、左側に位置するＧｒ画素（例えば、Ｇｒ画素４０１－２）の割合が１とされ、右側に位置するＧｒ画素（例えば、Ｇｒ画素４０１－４）の割合が１とされ、加算が行われる。

Ｇ画素であり、上下左右２×２個の画素を繰り返し単位として、繰り返し単位において左下に位置するＧｂ画素の場合、隣接するＧｂ画素のうち、左側に位置するＧｂ画素（例えば、Ｇｂ画素４０２－１）の割合が３とされ、右側に位置するＧｂ画素（例えば、Ｇｂ画素４０２－３）の割合が１とされ、加算が行われる。

Ｂ画素の場合、隣接するＢ画素のうち、左側に位置するＢ画素（例えば、Ｂ画素４０２－２）の割合が１とされ、右側に位置するＢ画素（例えば、Ｂ画素４０２－４）の割合が１とされ、加算が行われる。

このように、加算時に重み付け、この場合３：１または１：３の重み付けが行われるようにしても良い。他の重み付けが行われるようにしても、勿論良い。

解像度が落とされる領域、例えば、１／３に間引きされる領域の場合、例えば、図８のＤに示すように、加算と除算が行われることで、３画素分の画素値が１画素分の画素値に変換される。図８のＤに示した例では、例えば、Ｒ画素４０１－１、Ｒ画素４０１－３、Ｒ画素４０１－５の３画素の画素値が加算され、３で除算されることで、１画素分のＲ画素の画素値に変換される。

すなわち、隣接する同色の３画素の画素値の平均値を算出することで１画素分の画素値が算出される。Ｒ画素以外のＧ画素やＢ画素も、同様に、平均値が求められることで、画素値が算出される。

ここでは、画素数を１／２にする場合と１／３にする間引き率の場合を例に挙げて説明したが、他の間引き率も、同様に平均値を求めることで算出されたり、重み付けが行われた加算と除算が行われたりすることで算出される。

なお平均値は一例であり、また、上記したように重み付けが行われるようにしても良く、ここに記載した方法に、間引きの処理が限定されるわけではない。他の方法により、間引きの処理が行われても良い。

＜動体検出に基づく解像度の変更＞
上記した実施の形態においては、距離に基づき、解像度が変更される場合について説明した。距離以外の情報に基づき、解像度が変更されるように構成することも可能である。以下に、距離以外の情報に基づき、解像度が変更される場合について説明する。まず、動体を検出し、検出された動体に基づき、解像度が変更される場合について説明する。

図９は、動体検出に基づき解像度が変更される構成としたときの撮像素子２２と画像処理部２３の構成例を示す図である。図９に示した撮像素子２２Ｄと画像処理部２３Ｄのそれぞれの構成と、図３に示した撮像素子２２Ｂと画像処理部２３Ｂのそれぞれの構成において、同一の部分には同一の符号を付し、その説明は省略する。

なお、以下に説明する距離以外の情報に基づき、解像度が変更される場合の撮像素子２２と画像処理部２３の構成は、図３に示した撮像素子２２Ｂと画像処理部２３Ｂの構成を基とした構成を例に挙げて説明するが、図２に示した撮像素子２２Ａと画像処理部２３Ａの構成を基とした構成としても良いし、図４に示した撮像素子２２Ｃと画像処理部２３Ｃの構成を基とした構成としても良い。

図９に示した撮像素子２２Ｄは、図３に示した撮像素子２２Ｂと同様の構成を有する。図９に示した画像処理部２３Ｄは、図３に示した画像処理部２３Ｂの距離情報生成部１０９を動体検出部４３１に置き換えた構成とされている点が異なる。

図９に示した画像処理部２３Ｄの動体検出部４３１は、撮像画像処理部１２１で処理された撮像画像を用いて動体を検出する。解像度マップ作成部１０８Ｄは、動体検出部４３１により検出された動体（動体の領域）に基づき、解像度マップを作成する。

なおここでは、動体検出部４３１は、撮像画像処理部１２１で処理された撮像画像を用いて動体を検出するとして説明を続けるが、動体検出部４３１は、撮像素子２２Ｄから直接的に供給される撮像画像を用いて動体を検出する構成とすることも可能である。すなわち、動体検出部４３１は、撮像画像処理部１２１以外から撮像画像の供給を受ける構成とすることも可能である。

以下の説明においても、動体検出部４３１に該当する部分は、撮像画像処理部１２１で処理された撮像画像を用いて処理を行うとして説明を行うが、撮像画像処理部１２１以外から撮像画像の供給を受ける構成とすることも可能である。

このような構成を有する撮像素子２２Ｄと画像処理部２３Ｄで行われる処理は、基本的に図６に示したフローチャートに基づき行われるため、その説明は省略する。ただし、ステップＳ１０１において、距離情報が生成されるが、この処理は、動体を検出するという処理に置き換えられる点が異なる。

図１０を参照し、動体検出により解像度を変更する場合について説明を加える。図１０のＡは、撮像された画像（処理対象とされた画像）の一例を示す図である。図１０のＡに示した入力画像３０１は、図７のＡに示した入力画像３０１と同じである。

このような入力画像３０１が取得され、この入力画像３０１を用いて動体が検出された場合、図１０のＢに示すような動体検出結果の画像３３２が得られる。図１０のＢ中、四角形で囲んだ領域内が、動体として検出された領域である。

動体を検出する方法は、どのような方法が用いられても良い。例えば、２フレーム分の入力画像３０１を用いて、画素値を比較することで、動体を検出しても良い。また、入力画像３０１内の被写体と、予め動体として登録してある画像、例えば車の画像とのマッチングを取り、マッチングの度合いが高い場合に、その被写体の領域を動体の領域として検出するようにしても良い。

動体検出情報として、図１０のＢに示したような動体検出結果画像３３２が得られた場合、動体検出結果画像３３２の領域毎に、解像度が設定される。図１０のＣは、領域毎に解像度が設定された例を示し、解像度マップの一例を示す図である。

図１０のＣに示した解像度マップ３３３は、図７のＣに示した解像度マップ３０３と同じく、解像度マップ３３３内の数値が小さい程、間引き率が低く、数値が高い程、間引き率が高いことを示す。換言すれば、図１０のＣ中、数値が小さい程、解像度が高く、数値が高い程、解像度が低いことを示す。

動体が検出された領域は、解像度が高く（維持）設定され、その他の領域は、解像度が低く設定される。基本的には、このような設定が行われるが、さらに、被写体の距離と組み合わせて、解像度が設定されるようにすることも可能であり、図１０のＣでは、そのような距離も考慮して解像度が設定された場合の解像度マップ３３３の一例を示している。

例えば、遠景にある動体の解像度は高く設定され、近景にある動体の解像度は低く設定される。図１０のＣに示した例では、動体として、左上の領域で検出された人は、動体であり、かつ遠くにいるため、間引き率が１または２といった低い値に設定されている。同じく人であるが、右下の領域で検出された人は、近くにいるため、間引き率が４と、遠くにいる人よりも高い値に設定されている。

また、動体が検出されていない領域は、間引き率として１０といった高い率が設定されている。例えば、間引き率が１乃至１０の１０段階で設定される場合、間引き率が１０のときには、その領域内からは画素値を読み出さないようにすることができる。

動体を検出し、動体に対して何らかの処理を行うことを目的とした場合、動体以外の部分は、間引き率を１０とし、読み出さないようにしても良い。このようにすることで、大幅に処理すべきデータ量を削減することができる。

このように、動体を検出し、その検出された動体に応じて解像度が設定されるようにすることもできる。また動体検出の結果と、その動体までの距離に応じて、解像度が設定されるようにすることもできる。

なお、動体検出の結果だけでなく、距離も用いて解像度を設定する場合、図９に示した構成に、距離情報取得部１３１と距離情報生成部１０９を追加することで、上記したような処理を実行する構成とすることができる。

＜人検出に基づく解像度の変更＞
次に距離以外の情報に基づき、解像度が変更される場合の一例として、人を検出し、検出された人（の領域）に基づき、解像度が変更される場合について説明する。

図１１は、人検出に基づき解像度が変更される構成としたときの撮像素子２２Ｅと画像処理部２３Ｅの構成例を示す図である。図１１に示した撮像素子２２Ｅと画像処理部２３Ｅのそれぞれの構成と、図３に示した撮像素子２２Ｂと画像処理部２３Ｂのそれぞれの構成において、同一の部分には同一の符号を付し、その説明は省略する。

図１１に示した撮像素子２２Ｅは、図３に示した撮像素子２２Ｂと同様の構成を有する。図１１に示した画像処理部２３Ｅは、図３に示した画像処理部２３Ｂの距離情報生成部１０９を人検出部４５１に置き換えた構成とされている点が異なる。

図１１に示した画像処理部２３Ｅの人検出部４５１は、撮像画像処理部１２１で処理された撮像画像を用いて人を検出する。解像度マップ作成部１０８Ｅは、人検出部４５１により検出された人（人の領域）に基づき、解像度マップを作成する。

このような構成を有する撮像素子２２Ｅと画像処理部２３Ｅで行われる処理は、基本的に図６に示したフローチャートに基づき行われるため、その説明は省略する。ただし、ステップＳ１０１において、距離情報が生成されるが、この処理は、人を検出するという処理に置き換えられる点が異なる。

図１２を参照し、人検出により解像度を変更する場合について説明を加える。図１２のＡは、撮像された画像（処理対象とされた画像）の一例を示す図である。図１２のＡに示した入力画像３０１は、図７のＡに示した入力画像３０１と同じである。

このような入力画像３０１が取得され、この入力画像３０１を用いて人が検出された場合、図１２のＢに示すような人検出結果の画像３５２が得られる。図１２のＢ中、四角形で囲んだ領域内が、人として検出された領域である。

人を検出する方法は、どのような方法が用いられても良い。入力画像３０１内の被写体と、予め人として登録してある画像とのマッチングを取り、マッチングの度合いが高い場合に、その被写体の領域を人の領域として検出するようにしても良い。

人検出情報として、図１２のＢに示したような人検出結果画像３５２が得られた場合、人検出結果画像３５２の領域毎に、解像度が設定される。図１２のＣは、領域毎に解像度が設定された例を示し、解像度マップの一例を示す図である。

図１２のＣに示した解像度マップ３５３は、図７のＣに示した解像度マップ３０３と同じく、解像度マップ３５３内の数値が小さい程、間引き率が低く、数値が高い程、間引き率が高いことを示す。換言すれば、図１２のＣ中、数値が小さい程、解像度が高く、数値が高い程、解像度が低いことを示す。

人が検出された領域は、解像度が高く（維持）設定され、その他の領域は、解像度が低く設定される。基本的には、このような設定が行われるが、さらに、被写体の距離と組み合わせて、解像度が設定されるようにすることも可能であり、図１２のＣでは、そのような距離も考慮して解像度が設定された場合、解像度マップ３５３を示している。

例えば、遠景にある人の解像度は高く設定され、近景にある人の解像度は低く設定される。図１２のＣに示した例では、人として、左上の領域で検出された人は、人であり、かつ遠くにいるため、間引き率が１または２という低い値に設定されている。同じく人であるが、右下の領域で検出された人は、近くにいるため、間引き率が４という、遠景にいる人よりは高い値に設定されている。

また、人が検出されていない領域は、間引き率として１０といった高い率が設定されている。例えば、間引き率が１乃至１０の１０段階で設定される場合、間引き率が１０のときには、その領域内からは画素値を読み出さないようにすることができる。

人を検出し、人に対して何らかの処理を行うことを目的とした場合、人以外の部分は、間引き率を１０とし、読み出さないようにしても良い。このようにすることで、大幅に処理すべきデータ量を削減することができる。

このように、人を検出し、その検出された人に応じて解像度が設定されるようにすることもできる。また人検出の結果と、その人までの距離に応じて、解像度が設定されるようにすることもできる。

なお、人検出の結果だけでなく、距離も用いて解像度を設定する場合、図１１に示した構成に、距離情報取得部１３１と距離情報生成部１０９を追加することで、上記したような処理を実行する構成とすることができる。

なおここでは、人の検出の場合を例に挙げて説明したが、人の顔、手、足など、人の一部分を検出し、その部分の解像度を変更するようにすることもできる。また、人の一部分を検出し、その部分の距離に応じて、解像度を変更するようにすることもできる。

また例えば、人の顔を検出するようにし、所定の条件を満たす顔、例えば、予め登録されている顔とマッチング度が高い場合に、その顔の領域の解像度を高く設定したり、逆に、予め登録されている顔ではない可能性が高い顔が検出されたときには、その顔の領域の解像度を高く設定したりする構成としても良い。

＜大きさ検出に基づく解像度の変更＞
次に距離以外の情報に基づき、解像度が変更される場合の一例として、被写体の大きさを検出し、検出された大きさに基づき、解像度が変更される場合について説明する。

図１３は、大きさ検出に基づき解像度が変更される構成としたときの撮像素子２２Ｆと画像処理部２３Ｆの構成例を示す図である。図１３に示した撮像素子２２Ｆと画像処理部２３Ｆのそれぞれの構成と、図３に示した撮像素子２２Ｂと画像処理部２３Ｂのそれぞれの構成において、同一の部分には同一の符号を付し、その説明は省略する。

図１３に示した撮像素子２２Ｆは、図３に示した撮像素子２２Ｂと同様の構成を有する。図１３に示した画像処理部２３Ｆは、図３に示した画像処理部２３Ｂの距離情報生成部１０９を大きさ検出部４７１に置き換えた構成とされている点が異なる。

図１３に示した画像処理部２３Ｆの大きさ検出部４７１は、撮像画像処理部１２１で処理された撮像画像を用いて、撮像画像内に撮像されている被写体を検出し、その被写体の大きさを検出する。解像度マップ作成部１０８Ｆは、大きさ検出部４７１により検出された被写体の大きさに基づき、解像度マップを作成する。

このような構成を有する撮像素子２２Ｆと画像処理部２３Ｆで行われる処理は、基本的に図６に示したフローチャートに基づき行われるため、その説明は省略する。ただし、ステップＳ１０１において、距離情報が生成されるが、この処理は、被写体の大きさを検出するという処理に置き換えられる点が異なる。

図１０を再度参照し、大きさ検出により解像度を変更する場合について説明を加える。図１０のＡは、撮像された画像（処理対象とされた画像）の一例を示す図である。図１０のＡに示した入力画像３０１は、図７のＡに示した入力画像３０１と同じである。

このような入力画像３０１が取得され、この入力画像３０１を用いて被写体が検出され、その被写体の大きさが検出された場合、図１０のＢに示すような大きさ検出結果の画像３５２が得られる。図１０のＢ中、四角形で囲んだ領域は、被写体（物体）が検出され領域であり、その大きさとして設定された領域である。

大きさを検出する方法は、どのような方法が用いられても良い。入力画像３０１内の被写体を検出し、その被写体の領域を大きさとして検出することで、大きさを検出することができ、このようにした場合の被写体の検出には、どのような方法が用いられても良い。

大きさ検出情報として、図１０のＢに示したような大きさ検出結果画像３５２が得られた場合、大きさ検出結果画像３５２の領域毎に、解像度が設定される。図１０のＣは、領域毎に解像度が設定された例を示し、解像度マップの一例を示す図である。

図１０のＣに示した解像度マップ３５３は、図７のＣに示した解像度マップ３０３と同じく、解像度マップ３５３内の数値が小さい程、間引き率が低く、数値が高い程、間引き率が高いことを示す。換言すれば、図１０のＣ中、数値が小さい程、解像度が高く、数値が高い程、解像度が低いことを示す。

大きさが検出された領域のうち検出された大きさが大きい程、間引き率が高く（解像度が低く）設定されるようにすることができる。大きい場合、解像度を落としても所望とされる情報量を得られる可能性が高いと考えられるからである。

基本的には、このような設定が行われるが、さらに、被写体の距離と組み合わせて、解像度が設定されるようにすることも可能であり、図１０のＣでは、そのような距離も考慮して解像度が設定された場合、解像度マップ３５３を示している。

例えば、遠景にある小さな被写体の解像度は高く（維持）設定され、近景にある大きな被写体の解像度は低く設定される。図１０のＣに示した例では、大きさとして、左上の領域で検出された人の大きさは小さく、かつ遠くにいるため、間引き率が１または２という低い値に設定されている。また右下の領域で検出された人の大きさは、大きく、かつ近くにいるため、間引き率が、４に設定されている。

このように、遠景にある小さな被写体の解像度は高く設定され、近景にある大きな被写体の解像度は低く設定されるようにした場合、近景の部分におけるデータ量を削減することができるとともに、遠景の小さな被写体を見失うことなく検出し続けることが可能となる。

また、遠景にある大きな被写体の解像度は低く設定されるようにしても良い。遠景であっても、大きな被写体は、解像度を低くしても検出できる可能性が高いため、解像度を落とし、データ量を削減するようにすることも可能である。

また、近景にある小さな被写体の解像度は高く設定されるようにしても良い。近景であっても、小さな被写体は、解像度を低くすると検出できない可能性があるため、解像度を高めに設定し、そのような小さな被写体を見失うことなく検出できるようにすることも可能である。

このように解像度を被写体の物体と距離に応じて設定することで、遠方に大きな物体、近景に小さな物体があっても、効率的な撮像データの取得を実現できる。

このような設定もできるが、同一の距離（所定の範囲内の距離）に位置する被写体同士の大きさにより解像度が設定されるようにすることもできる。例えば、同じ距離にある複数の被写体のうち、大きな被写体の解像度は低く設定し、小さな被写体の解像度は高く設定する。

同一の距離であっても、大きな被写体は、仮に解像度を落としたとしても、所望の情報を得られる可能性は高いため、解像度を落とす。一方で、同一の距離であっても、小さな被写体は、仮に解像度を落としまうと、所望の情報を得られない可能性が高いため、解像度を落とさず、維持、または解像度を高くする。

このように解像度を被写体の大きさと距離に応じて設定する場合も、遠方に大きな物体、近景に小さな物体があるときや、同一距離上に大きな物体や小さな物体が混在しているようなときであっても、効率的な撮像データの取得を実現できる。

大きさ（被写体）が検出されていない領域は、間引き率として１０といった高い率が設定され琉ようにしても良い。例えば、間引き率が１乃至１０の１０段階で設定される場合、間引き率が１０のときには、その領域内からは画素値を読み出さないようにすることができる。このようにすることで、大幅に処理すべきデータ量を削減することができる。

このように、大きさを検出し、その検出された大きさに応じて解像度が設定されるようにすることもできる。また大きさ検出の結果と、その大きさを検出した被写体までの距離に応じて、解像度が設定されるようにすることもできる。

なお、大きさ検出の結果だけでなく、距離も用いて解像度を設定する場合、図１３に示した構成に、距離情報取得部１３１と距離情報生成部１０９を追加することで、上記したような処理を実行する構成とすることができる。

＜テクスチャ検出に基づく解像度の変更＞
次に距離以外の情報に基づき、解像度が変更される場合の一例として、テクスチャまたはエッジ量（以下、テクスチャを例に挙げて説明する）を検出し、検出されたテクスチャに基づき、解像度が変更される場合について説明する。

図１４は、テクスチャ検出に基づき解像度が変更される構成としたときの撮像素子２２Ｇと画像処理部２３Ｇの構成例を示す図である。図１４に示した撮像素子２２Ｇと画像処理部２３Ｇのそれぞれの構成と、図３に示した撮像素子２２Ｂと画像処理部２３Ｂのそれぞれの構成において、同一の部分には同一の符号を付し、その説明は省略する。

図１４に示した撮像素子２２Ｇは、図３に示した撮像素子２２Ｂと同様の構成を有する。図１４に示した画像処理部２３Ｇは、図３に示した画像処理部２３Ｂの距離情報生成部１０９をテクスチャ検出部４９１に置き換えた構成とされている点が異なる。

図１４に示した画像処理部２３Ｇのテクスチャ検出部４９１は、撮像画像処理部１２１で処理された撮像画像を用いてテクスチャを検出する。解像度マップ作成部１０８Ｇは、テクスチャ検出部４９１により検出されたテクスチャに基づき、解像度マップを作成する。

このような構成を有する撮像素子２２Ｇと画像処理部２３Ｇで行われる処理は、基本的に図６に示したフローチャートに基づき行われるため、その説明は省略する。ただし、ステップＳ１０１において、距離情報が生成されるが、この処理は、テクスチャを検出するという処理に置き換えられる点が異なる。

テクスチャを検出する方法は、どのような方法が用いられても良い。入力画像３０１内のエッジ（例えば、物体と背景との境界）を検出し、そのエッジ量からテクスチャを検出することができる。テクスチャが検出されることで、例えば、物体以外の領域を検出することができる。

テクスチャとして、例えば、のっぺりとしたテクスチャ（色があまり変化しないテクスチャなど）は、解像度を高くした場合と解像度を低くした場合とであまり情報量に変化はないと考えられる。よって、のっぺりとしたテクスチャ（エッジ量が少ない）が検出された領域には、低い解像度（高い間引き率）が設定される。

また、テクスチャとして、例えば、のっぺりとしたテクスチャではないテクスチャ（エッジ量が多い）が検出された領域には、高い解像度（低い間引き率）が設定され、できる限り忠実にテクスチャが再現できる解像度に設定される。

このように、エッジ量に応じて、間引き率を設定することができる。

また、テクスチャが検出された領域と検出されていない領域とで、異なる解像度が設定されるようにすることも可能である。例えば、テクスチャが検出された領域は、低い解像度に設定され、テクスチャが検出されていない領域は、高い解像度に設定される。

基本的には、このような設定が行われるが、さらに、被写体の距離と組み合わせて、解像度が設定されるようにすることも可能である。例えば、被写体の距離に応じて解像度が設定され、さらにテクスチャの検出に応じて解像度が設定されるようにすることもできる。

例えば、上記した距離に基づく解像度の変更のように、遠景の被写体の解像度は高く設定し、近景の被写体の解像度は低く設定する。このように解像度を設定することで、遠景の被写体の検出を見失うことなく行うことができるようになるとともに、近景におけるデータ量を削減することができる。

さらに、遠方であっても、テクスチャやエッジ量が少ないと判定される領域、例えば、空、路面、平らな壁などの領域は、解像度を高くして画像を取得する必要がないため、解像度を低く設定する。

このように、テクスチャやエッジ量に応じて、遠方であっても解像度を下げることで、さらにデータ量を削減することが可能となる。

なお、テクスチャの領域を検出し、その検出されたテクスチャに対して何らかの処理を行う場合には、テクスチャが検出された領域の解像度は、テクスチャが検出されていない他の領域の解像度よりも高く設定されるようにすることも可能である。

このように、テクスチャを検出し、その検出されたテクスチャに応じて解像度が設定されるようにすることもできる。またテクスチャ検出の結果と、そのテクスチャまでの距離に応じて、解像度が設定されるようにすることもできる。

なお、テクスチャ検出の結果だけでなく、距離も用いて解像度を設定する場合、図１４に示した構成に、距離情報取得部１３１と距離情報生成部１０９を追加することで、上記したような処理を実行する構成とすることができる。

＜種別検出に基づく解像度の変更＞
次に距離以外の情報に基づき、解像度が変更される場合の一例として、被写体の種別を検出し、検出された種別に基づき、解像度が変更される場合について説明する。被写体の種別とは、例えば、布、金属といった物体の材質などである。また被写体の種別とは、人、車といった種別も含まれる。

図１５は、種別検出に基づき解像度が変更される構成としたときの撮像素子２２Ｈと画像処理部２３Ｈの構成例を示す図である。図１５に示した撮像素子２２Ｈと画像処理部２３Ｈのそれぞれの構成と、図３に示した撮像素子２２Ｂと画像処理部２３Ｂのそれぞれの構成において、同一の部分には同一の符号を付し、その説明は省略する。

図１５に示した撮像素子２２Ｈは、図３に示した撮像素子２２Ｂと同様の構成を有する。図１５に示した画像処理部２３Ｈは、図３に示した画像処理部２３Ｂの距離情報生成部１０９を種別検出部５１１に置き換えた構成とされている点が異なる。

図１５に示した画像処理部２３Ｈの種別検出部５１１は、撮像画像処理部１２１で処理された撮像画像を用いて被写体を検出し、その被写体の種別を検出する。解像度マップ作成部１０８Ｈは、種別検出部５１１により検出された種別に基づき、解像度マップを作成する。

このような構成を有する撮像素子２２Ｈと画像処理部２３Ｈで行われる処理は、基本的に図６に示したフローチャートに基づき行われるため、その説明は省略する。ただし、ステップＳ１０１において、距離情報が生成されるが、この処理は、被写体の種別を検出するという処理に置き換えられる点が異なる。

種別を検出する方法は、どのような方法が用いられても良く、一般的な認識技術等を用いることができる。例えば、人検出技術、車検出技術等を用いることができ、また機械学習やDeep Learningなどの技術によるものとすることができる。また材質により光沢、模様などが異なり、そのような特徴を抽出することで、種別が検出されるようにしても良い。

種別として、例えば、金属や木材といった材質、顔、ナンバープレートなどを検出するようにした場合、そのような種別が検出された場合、その検出された種別に応じて解像度を設定するようにすることができる。例えば、ナンバープレートなどが検出された場合、鮮明に文字が読み取れるように解像度は高めに設定される。

基本的には、このような種別に応じた設定が行われるが、さらに、被写体の距離と組み合わせて、解像度が設定されるようにすることも可能である。例えば、被写体の距離に応じて解像度が設定され、さらに種別の検出に応じて解像度が設定されるようにすることもできる。

例えば、上記した距離に基づく解像度の変更のように、遠景の被写体の解像度は高く設定し、近景の被写体の解像度は低く設定する。このように解像度を設定することで、遠景の被写体の検出を見失うことなく行うことができるようになるとともに、近景におけるデータ量を削減することができる。

さらに、近景であっても、種別に応じて、例えば、ナンバープレートや顔といった種別に分類される領域に対しては、解像度が高く設定される。

このように、種別に応じて、近景であっても解像度を上げることで、さらに所定の物体の検出精度を向上させることが可能となる。

このように、通常は、遠方の小さな物体の検出もロバスト、かつ、近景を間引いてデータ量を削減しつつ、注目したい種別の物体がある領域は、さらに詳細なデータが得られるように解像度を高めに設定することができ、効率的な撮像データの取得を実現することができる。

なお、種別検出の結果だけでなく、距離も用いて解像度を設定する場合、図１５に示した構成に、距離情報取得部１３１と距離情報生成部１０９を追加することで、上記したような処理を実行する構成とすることができる。

＜移動量検出に基づく解像度の変更＞
次に距離以外の情報に基づき、解像度が変更される場合の一例として、被写体の移動量を検出し、検出された移動量に基づき、解像度が変更される場合について説明する。

図１６は、移動量検出に基づき解像度が変更される構成としたときの撮像素子２２Ｉと画像処理部２３Ｉの構成例を示す図である。図１６に示した撮像素子２２Ｉと画像処理部２３Ｉのそれぞれの構成と、図３に示した撮像素子２２Ｂと画像処理部２３Ｂのそれぞれの構成において、同一の部分には同一の符号を付し、その説明は省略する。

図１６に示した撮像素子２２Ｉは、図３に示した撮像素子２２Ｂと同様の構成を有する。図１６に示した画像処理部２３Ｉは、図３に示した画像処理部２３Ｂの距離情報生成部１０９を移動量検出部５３１に置き換えた構成とされている点が異なる。

図１６に示した画像処理部２３Ｉの移動量検出部５３１は、撮像画像処理部１２１で処理された撮像画像を用いて被写体を検出し、その被写体の移動量を検出する。解像度マップ作成部１０８Ｉは、移動量検出部５３１により検出された移動量に基づき、解像度マップを作成する。

このような構成を有する撮像素子２２Ｉと画像処理部２３Ｉで行われる処理は、基本的に図６に示したフローチャートに基づき行われるため、その説明は省略する。ただし、ステップＳ１０１において、距離情報が生成されるが、この処理は、被写体の移動量を検出するという処理に置き換えられる点が異なる。

移動量を検出する方法は、どのような方法が用いられても良い。例えば、２フレーム分の入力画像を用いて、画素値を比較することで、動体を検出し、その動体の移動量をさらに検出するようにしても良い。

被写体の移動量が大きい場合、その被写体（動体）がある領域の解像度は低く設定され、移動量が小さい場合、その被写体（動体）がある領域の解像度は高く設定される。例えば、移動量が小さく、画素単位で数画素しか移動しない動体の領域を間引いた場合、精度良く物体を検出できない（物体の移動量を精度良く検出できない）可能性があるため、移動量が小さい物体に対しては解像度を高めに設定する。

基本的には、このような移動量に応じた設定が行われるが、さらに、被写体の距離と組み合わせて、解像度が設定されるようにすることも可能である。例えば、被写体の距離に応じて解像度が設定され、さらに移動量の検出に応じて解像度が設定されるようにすることもできる。

例えば、上記した距離に基づく解像度の変更のように、遠景の被写体の解像度は高く設定し、近景の被写体の解像度は低く設定する。このように解像度を設定することで、遠景の被写体の検出を見失うことなく行うことができるようになるとともに、近景におけるデータ量を削減することができる。

さらに、近景であっても、移動量に応じて、例えば、周囲の物体とは異なる移動量で移動している物体がある領域に対しては、解像度が高く設定される。例えば、スピード違反の車は、周りのスピード違反ではない速度で走行している車と比較して、異なる速度で走行している。このような周囲の車と異なる速度で走行している車を検出し、その車が撮像されている領域の解像度を高めに設定し、追従するようにすることができる。

また、例えば人混みで、他の人とは異なる速度で移動しているような人がいた場合、換言すれば、逃走しているような人がいた場合、このような周囲の人と異なる速度で移動している人を検出し、その人が撮像されている領域の解像度を高めに設定し、追従するようにすることができる。

このように、移動量に応じて、近景であっても解像度を上げることで、さらに所定の物体の検出精度を向上させることが可能となる。

このように、通常は、遠方の小さな物体の検出もロバスト、かつ、近景を間引いてデータ量を削減しつつ、異常があった場合に、その領域は、さらに詳細なデータが得られるように解像度を高めに設定することができ、効率的な撮像データの取得を実現することができる。

なお、移動量検出の結果だけでなく、距離も用いて解像度を設定する場合、図１６に示した構成に、距離情報取得部１３１と距離情報生成部１０９を追加することで、上記したような処理を実行する構成とすることができる。

＜移動方向検出に基づく解像度の変更＞
次に距離以外の情報に基づき、解像度が変更される場合の一例として、被写体の移動方向を検出し、検出された移動方向に基づき、解像度が変更される場合について説明する。

図１７は、移動方向検出に基づき解像度が変更される構成としたときの撮像素子２２Ｊと画像処理部２３Ｊの構成例を示す図である。図１７に示した撮像素子２２Ｊと画像処理部２３Ｊのそれぞれの構成と、図３に示した撮像素子２２Ｂと画像処理部２３Ｂのそれぞれの構成において、同一の部分には同一の符号を付し、その説明は省略する。

図１７に示した撮像素子２２Ｊは、図３に示した撮像素子２２Ｂと同様の構成を有する。図１７に示した画像処理部２３Ｊは、図３に示した画像処理部２３Ｂの距離情報生成部１０９を移動方向検出部５５１に置き換えた構成とされている点が異なる。

図１７に示した画像処理部２３Ｊの移動方向検出部５５１は、撮像画像処理部１２１で処理された撮像画像を用いて被写体を検出し、その被写体の移動方向を検出する。解像度マップ作成部１０８Ｊは、移動方向検出部５５１により検出された移動方向に基づき、解像度マップを作成する。

このような構成を有する撮像素子２２Ｊと画像処理部２３Ｊで行われる処理は、基本的に図６に示したフローチャートに基づき行われるため、その説明は省略する。ただし、ステップＳ１０１において、距離情報が生成されるが、この処理は、被写体の移動方向を検出するという処理に置き換えられる点が異なる。

移動方向を検出する方法は、どのような方法が用いられても良い。例えば、２フレーム分の入力画像を用いて、画素値を比較することで、動体を検出し、その動体の移動方向をさらに検出するようにしても良い。

他の被写体の移動方向と異なる被写体があった場合、その被写体（動体）がある領域の解像度は高く設定される。例えば撮像装置１０（図１）が監視カメラの用途で用いられ、所定の場所、例えば改札口や一方通行の道路を撮像しているような場合、そのような場所では基本的に、人や車は同一方向に移動する。

そのような場所において、異なる方向に進む人や車は、不審物である可能性が高い。よって、そのような他の物体とは異なる方向に移動している物体が検出された場合には、その物体の領域の解像度は高く設定される。

基本的には、このような移動方向に応じた設定が行われるが、さらに、被写体の距離と組み合わせて、解像度が設定されるようにすることも可能である。例えば、被写体の距離に応じて解像度が設定され、さらに移動方向の検出に応じて解像度が設定されるようにすることもできる。

例えば、上記した距離に基づく解像度の変更のように、遠景の被写体の解像度は高く設定し、近景の被写体の解像度は低く設定する。このように解像度を設定することで、遠景の被写体の検出を見失うことなく行うことができるようになるとともに、近景におけるデータ量を削減することができる。

さらに、近景であっても、移動方向に応じて、例えば、周囲の物体とは異なる移動方向に移動している物体がある領域に対しては、解像度が高く設定される。

このように、移動方向に応じて、近景であっても解像度を上げることで、さらに所定の物体の検出精度を向上させることが可能となる。

このように、通常は、遠方の小さな物体の検出もロバスト、かつ、近景を間引いてデータ量を削減しつつ、異常があった場合に、その領域は、さらに詳細なデータが得られるように解像度を高めに設定することができ、効率的な撮像データの取得を実現することができる。

なお、移動方向検出の結果だけでなく、距離も用いて解像度を設定する場合、図１７に示した構成に、距離情報取得部１３１と距離情報生成部１０９を追加することで、上記したような処理を実行する構成とすることができる。

＜負荷検出に基づく解像度の変更＞
次に距離以外の情報に基づき、解像度が変更される場合の一例として、ネットワークや処理部の負荷を検出し、検出された負荷に基づき、解像度が変更される場合について説明する。

図１８は、負荷検出に基づき解像度が変更される構成としたときの撮像素子２２Ｋと画像処理部２３Ｋの構成例を示す図である。図１８に示した撮像素子２２Ｋと画像処理部２３Ｋのそれぞれの構成と、図３に示した撮像素子２２Ｂと画像処理部２３Ｂのそれぞれの構成において、同一の部分には同一の符号を付し、その説明は省略する。

図１８に示した撮像素子２２Ｋは、図３に示した撮像素子２２Ｂと同様の構成を有する。図１８に示した画像処理部２３Ｋは、図３に示した画像処理部２３Ｂの距離情報生成部１０９を負荷検出部５７１に置き換えた構成とされている点が異なる。

図１８に示した画像処理部２３Ｋの負荷検出部５７１は、画像処理部２３Ｋ外から供給される負荷情報から、所定の時点における負荷を検出する。解像度マップ作成部１０８Ｋは、負荷検出部５７１により検出された負荷に基づき、解像度マップを作成する。

このような構成を有する撮像素子２２Ｋと画像処理部２３Ｋで行われる処理は、基本的に図６に示したフローチャートに基づき行われるため、その説明は省略する。ただし、ステップＳ１０１において、距離情報が生成されるが、この処理は、負荷を検出するという処理に置き換えられる点が異なる。

例えば、負荷検出部５７１は、通信部３０（図１）を介してネットワークの混雑状況を、負荷情報として取得し、ネットワークが混雑していると判定される場合、ネットワークを介して出力される撮像データのデータ量を低減させるために、撮像画像の解像度を低く設定する。

また、例えば、負荷検出部５７１は、撮像画像処理部１２１の処理負荷を、負荷情報として取得し、撮像画像処理部１２１の処理負荷が増大している判定される場合、撮像画像処理部１２１に入力される撮像データ、換言すれば、撮像素子２２Ｋから供給される撮像データのデータ量を低減させるために、撮像素子２２Ｋで撮像され、処理される撮像画像の解像度を低く設定する。

撮像装置１０内での処理負荷を測定し、その測定された情報を負荷情報として取得するようにしても良い。

なおここでは、処理負荷が増大したときに、解像度を下げるとして説明したが、処理負荷に余裕があるときには、解像度を上げるという処理でも良い。

基本的には、このような負荷に応じた設定が行われるが、さらに、被写体の距離と組み合わせて、解像度が設定されるようにすることも可能である。例えば、被写体の距離に応じて解像度が設定され、さらに負荷の検出に応じて解像度が設定されるようにすることもできる。

撮像装置１０内の処理負荷が低い場合やネットワークが混雑していない場合などで、余裕があるときには、解像度を落とす必要がないため、高解像度に設定し（間引き率を低く、または間引かないとの設定にし）、画像内の全ての領域において、高画質な画像を出力するようにする。

撮像装置１０内やネットワークの負荷が高く、解像度を落とす必要があるときには、例えば、上記した距離に基づく解像度の変更のように、遠景の被写体の解像度は高く設定し、近景の被写体の解像度は低く設定することで、画像のデータ量を低減させる。

このようにすることで、リソースに余裕があるのに、不必要に解像度を落とし、画質を劣化させるようなことを防ぐことができる。

このように、負荷が高いときに、画像内を一律で解像度を落とすのではなく、距離に応じて解像度を変更することで、検出をロバストに保つことが可能となる。

なお、負荷検出の結果だけでなく、距離も用いて解像度を設定する場合、図１８に示した構成に、距離情報取得部１３１と距離情報生成部１０９を追加することで、上記したような処理を実行する構成とすることができる。

＜解像度決定に基づく解像度の変更＞
次に距離以外の情報に基づき、解像度が変更される場合の一例として、後段に適用されるアルゴリズムにより解像度を決定し、決定された解像度に基づき、解像度が変更される場合について説明する。

図１９は、後段に適用されるアルゴリズムにより解像度が変更される構成としたときの撮像素子２２Ｌと画像処理部２３Ｌの構成例を示す図である。図１９に示した撮像素子２２Ｌと画像処理部２３Ｌのそれぞれの構成と、図３に示した撮像素子２２Ｂと画像処理部２３Ｂのそれぞれの構成において、同一の部分には同一の符号を付し、その説明は省略する。

図１９に示した撮像素子２２Ｌは、図３に示した撮像素子２２Ｂと同様の構成を有する。図１９に示した画像処理部２３Ｌは、図３に示した画像処理部２３Ｂの距離情報生成部１０９を解像度決定部５９１に置き換えた構成とされている点が異なる。

図１９に示した画像処理部２３Ｌの解像度決定部５９１は、画像処理部２３Ｌ外から供給される解像度決定情報から、解像度を決定する。解像度マップ作成部１０８Ｌは、解像度決定部５９１により決定された解像度に基づき、解像度マップを作成する。

このような構成を有する撮像素子２２Ｌと画像処理部２３Ｌで行われる処理は、基本的に図６に示したフローチャートに基づき行われるため、その説明は省略する。ただし、ステップＳ１０１において、距離情報が生成されるが、この処理は、解像度を決定するという処理に置き換えられる点が異なる。

例えば、解像度決定部５９１は、後段のアルゴリズムが必要とする解像度を満たす解像度を決定する。後段のアルゴリズムとしては、例えば、顔認識、動体検出などである。

後段のアルゴリズムが顔認識である場合、顔として検出された領域の解像度は高めに設定し、その他の領域は解像度を低めに設定するという解像度の決定がなされる。また例えば、後段のアルゴリズムが動体検出である場合、動体として検出された領域の解像度は高めに設定し、その他の領域は解像度を低めに設定するという解像度の決定がなされる。

解像度決定部５９１は、外部から、後段のアルゴリズムがどの程度の解像度を必要としているかを表す解像度決定情報を取得し、解像度を決定する。また、解像度決定部５９１は、アルゴリズムと解像度が関連付けられたテーブルを記憶し、そのテーブルを参照して解像度を決定するようにしても良い。

基本的には、このような解像度決定に応じた設定が行われるが、さらに、被写体の距離と組み合わせて、解像度が設定されるようにすることも可能である。例えば、被写体の距離に応じて解像度が設定され、さらに解像度決定の検出に応じて解像度が設定されるようにすることもできる。

例えば、上記した距離に基づく解像度の変更のように、遠景の被写体の解像度は高く設定し、近景の被写体の解像度は低く設定する。このように解像度を設定することで、遠景の被写体の検出を見失うことなく行うことができるようになるとともに、近景におけるデータ量を削減することができる。

さらに、後段のアルゴリズムが、セグメンテーション（領域分割）など、エッジを重要な情報として用いるアルゴリズムである場合など、近景であっても、エッジ周辺の領域の解像度は、高めに設定されるようにしても良い。

また、後段のアルゴリズムが、被写体の質感を重要な情報として用いるアルゴリズムである場合など、近景であっても、該当する被写体の領域の解像度は、高めに設定されるようにしても良い。また、後段のアルゴリズムが、ノイズによる影響が低減された撮像データを必要とするアルゴリズムである場合など、必要に応じて解像度が落とされるようにすることもできる。

なお、ここに挙げたのは一例である。本技術は、アルゴリズム（アプリケーション）が必要とする解像度が保たれる範囲内で、解像度が変更されるようにする場合に適用できる。

このように解像度を変更することで、遠方の小さな物体の検出もロバスト、かつ近景を間引いてデータ量を削減しつつ、後段のアルゴリズム（アプリケーション）に適切なデータを生成し、供給することができ、効率的な撮像データの取得を実現できる。

なお、解像度決定の結果だけでなく、距離も用いて解像度を設定する場合、図１９に示した構成に、距離情報取得部１３１と距離情報生成部１０９を追加することで、上記したような処理を実行する構成とすることができる。

＜レンズに基づく解像度の変更＞
次に距離以外の情報に基づき、解像度が変更される場合の一例として、撮像装置１０のレンズ群２１（図１）の種類により解像度が変更される場合について説明する。

例えば、被写界深度が浅いレンズが装着されている場合の読み出しとして、主要な被写体付近の距離の領域は、解像度を高く設定し、それ以外の距離の領域（レンズのぼけが出る領域）は、解像度を低く設定する。

このように解像度を設定することで、主要な被写体の解像度は出しつつ、それ以外の元々のレンズでぼけてしまう領域は低い解像度で効率良く読み出すことが可能となる。

＜２以上の画像を出力する構成＞
ところで、例えば、図９に示した画像処理部２３Ｄの構成によると、撮像素子２２Ｄから解像度が調整された画像の画像データが画像処理部２３Ｄに供給される。そして動体検出部４３１は、撮像画像処理部１２１から供給される画像、換言すれば、画像処理部２３Ｄに供給された画像を用いて動体を検出する。

このような構成によると、動体検出部４３１は、解像度が調整された画像を用いて動体を検出するため、動体検出部４３１は、解像度の高い画像を用いて動体を検出するときや、解像度の低い画像を用いて動体を検出するときなど、解像度が一定ではない画像を処理することになる。このようなことから、動体検出部４３１により動体の検出精度が安定しない可能性がある。

そこで、図２０に示すような構成に、撮像素子２２Ｍと画像処理部２３Ｍの構成をしても良い。図２０に示した撮像素子２２Ｍは、図３に示した撮像素子２２Ｂと基本的に同様の構成を有するが、出力制御部１０６Ｍが、Ｎ個のストリームを出力する構成とされている点が異なる。出力制御部１０６Ｍは、例えば、解像度の異なる画像データのストリームを、並列的に出力できる構成とされている。

出力制御部１０６Ｍは、解像度の異なる画像データのストリームとして、画像処理部２３Ｍの動体検出部４３１Ｍに、所定の解像度、例えば、ＶＧＡなどの解像度の画像を出力する。動体検出部４３１Ｍに供給される画像は、解像度制御部１０７による制御を受けていない、常に一定の解像度の画像とされる。

また出力制御部１０６Ｍは、解像度の異なる画像データのストリームとして、画像処理部２３Ｍの撮像画像処理部１２１に、解像度制御部１０７による指示を受け、解像度が変更されている画像を出力する。

このような構成に撮像素子２２Ｍをした場合、動体検出部４３１Ｍは、撮像素子２２Ｍの出力制御部１０６Ｍから、解像度が一定の画像が供給され、その画像を用いて動体を検出する。よって、安定して動体を検出することができる。

また、撮像画像処理部１２１には、解像度制御部１０７による指示を受け、解像度が変更されている画像が供給されるため、適切にデータ量が落とされた画像データを受け取ることができる。

このように、撮像素子２２Ｍから複数のストリームが出力され、そのうちの１つのストリームは、解像度が変更されない画像のストリームとし、そのうちの１つのストリームは、解像度が変更された画像のストリームとすることができる。

また、解像度が変更されない画像が提供されることで、安定した処理、例えば、動体の検出を行うことができる。

なおここで、図９に示した動体検出を行う撮像装置１０を例に挙げて説明したが、図１０乃至１９に示した撮像装置１０に対しても、複数のストリームを出力し、処理する構造を適用することができる。また、例えば、図３に示した撮像装置１０（内の画像処理部２３Ｂ）において、距離情報を撮像素子２２Ｂから得られる画像を用いて生成するようにした場合にも、複数のストリームを出力し、処理する構造を適用することができる。

＜使用例＞
図２１は、上述の撮像装置の使用例を示す図である。

上述した撮像装置は、例えば、以下のように、可視光や、赤外光、紫外光、X線等の光をセンシングする様々なケースに使用することができる。

・デジタルカメラや、カメラ機能付きの携帯機器等の、鑑賞の用に供される画像を撮像する装置
・自動停止等の安全運転や、運転者の状態の認識等のために、自動車の前方や後方、周囲、車内等を撮像する車載用センサ、走行車両や道路を監視する監視カメラ、車両間等の測距を行う測距センサ等の、交通の用に供される装置
・ユーザのジェスチャを撮像して、そのジェスチャに従った機器操作を行うために、TVや、冷蔵庫、エアーコンディショナ等の家電に供される装置
・内視鏡や、赤外光の受光による血管撮像を行う装置等の、医療やヘルスケアの用に供される装置
・防犯用途の監視カメラや、人物認証用途のカメラ等の、セキュリティの用に供される装置
・肌を撮像する肌測定器や、頭皮を撮像するマイクロスコープ等の、美容の用に供され装置
・スポーツ用途等向けのアクションカメラやウェアラブルカメラ等の、スポーツの用に供される装置
・畑や作物の状態を監視するためのカメラ等の、農業の用に供される装置
＜記録媒体について＞
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。

図２２は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。コンピュータにおいて、ＣＰＵ（Central Processing Unit）１００１、ＲＯＭ（Read Only Memory）１００２、ＲＡＭ（Random Access Memory）１００３は、バス１００４により相互に接続されている。バス１００４には、さらに、入出力インタフェース１００５が接続されている。入出力インタフェース１００５には、入力部１００６、出力部１００７、記憶部１００８、通信部１００９、およびドライブ１０１０が接続されている。

入力部１００６は、キーボード、マウス、マイクロフォンなどよりなる。出力部１００７は、ディスプレイ、スピーカなどよりなる。記憶部１００８は、ハードディスクや不揮発性のメモリなどよりなる。通信部１００９は、ネットワークインタフェースなどよりなる。ドライブ１０１０は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア１０１１を駆動する。

以上のように構成されるコンピュータでは、ＣＰＵ１００１が、例えば、記憶部１００８に記憶されているプログラムを、入出力インタフェース１００５およびバス１００４を介して、ＲＡＭ１００３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ（ＣＰＵ１００１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア１０１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

コンピュータでは、プログラムは、リムーバブルメディア１０１１をドライブ１０１０に装着することにより、入出力インタフェース１００５を介して、記憶部１００８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１００９で受信し、記憶部１００８にインストールすることができる。その他、プログラムは、ＲＯＭ１００２や記憶部１００８に、予めインストールしておくことができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。

なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また他の効果があってもよい。

なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

なお、本技術は以下のような構成も取ることができる。
（１）
撮像された画像に対応する、前記画像に含まれる被写体までの検出距離に関する距離情報に基づいて、前記撮像された画像の解像度を変更する制御部
を備える撮像装置。
（２）
前記制御部は、前記距離情報に基づき、撮像された画像の一部の領域の解像度を変更する
前記（１）に記載の撮像装置。
（３）
前記一部の領域は、他の領域に対して距離の遠い領域であり、
前記制御部は、前記一部の領域の解像度が、前記他の領域に対して高くなるように変更する
前記（２）に記載の撮像装置。
（４）
前記制御部は、前記被写体の距離が所定の基準よりも遠い場合、前記被写体の解像度を高く設定し、前記被写体の距離が前記所定の基準よりも近い場合、前記被写体の解像度を低く設定する
前記（１）乃至（３）のいずれかに記載の撮像装置。
（５）
前記制御部は、前記撮像された画像から検出された動体の前記距離情報に基づき、前記解像度を制御する
前記（１）乃至（４）のいずれかに記載の撮像装置。
（６）
前記制御部は、前記撮像された画像から検出された人の前記距離情報に基づき、前記解像度を制御する
前記（１）乃至（４）のいずれかに記載の撮像装置。
（７）
前記制御部は、前記撮像された画像から検出された前記被写体の大きさと前記距離情報に基づき、前記解像度を制御する
前記（１）乃至（４）のいずれかに記載の撮像装置。
（８）
前記制御部は、前記撮像された画像から検出されたテクスチャと前記距離情報に基づき、前記解像度を制御する
前記（１）乃至（４）のいずれかに記載の撮像装置。
（９）
前記制御部は、前記撮像された画像から検出された前記被写体の種別と前記距離情報に基づき、前記解像度を制御する
前記（１）乃至（４）のいずれかに記載の撮像装置。
（１０）
前記制御部は、前記撮像された画像から検出された前記被写体の移動量と前記距離情報に基づき、前記解像度を制御する
前記（１）乃至（４）のいずれかに記載の撮像装置。
（１１）
前記制御部は、前記撮像された画像から検出された前記被写体の移動方向と前記距離情報に基づき、前記解像度を制御する
前記（１）乃至（４）のいずれかに記載の撮像装置。
（１２）
前記制御部は、前記距離情報と、処理負荷に応じて、解像度を制御する
前記（１）乃至（４）のいずれかに記載の撮像装置。
（１３）
前記制御部は、前記距離情報と、前記画像を用いた処理を行うアルゴリズに応じて、解像度を制御する
前記（１）乃至（４）のいずれかに記載の撮像装置。
（１４）
前記制御部は、前記距離情報と、装着されているレンズに応じて、解像度を制御する
前記（１）乃至（４）のいずれかに記載の撮像装置。
（１５）
前記制御部により前記解像度が制御された画像と、解像度が一定の画像が出力される
前記（１）乃至（１４）のいずれかに記載の撮像装置。
（１６）
前記制御部は、画素読み出しの間引率を変更することで解像度を変更する
前記（１）乃至（１５）のいずれかに記載の撮像装置。
（１７）
所定の領域内の画素を間引くことで解像度を下げる処理は、同色の画素の画素値を加算し、その値を、加算した画素数で除算することで行われる
前記（１６）に記載の撮像装置。
（１８）
前記画像を撮像する撮像部をさらに備える
前記（１）乃至（１７）のいずれかに記載の撮像装置。
（１９）
撮像された画像に対応する、前記画像に含まれる被写体までの検出距離に関する距離情報に基づいて、前記撮像された画像の解像度を変更する
ステップを含む撮像方法。
（２０）
撮像された画像に対応する、前記画像に含まれる被写体までの検出距離に関する距離情報に基づいて、前記撮像された画像の解像度を変更する
ステップを含む処理をコンピュータに実行させるためのプログラム。

１０ 撮像装置， ２１ レンズ群， ２２ 撮像素子， ２３ 画像処理部， ２４ フレームメモリ， ２５ 表示部， ２６ 記録部， ２７ 操作部， ２８ 電源部， ２９ 駆動部， ３０ 通信部， ３１ バスライン， １０１ 画素アレイ部， １０２ 読み出し制御部， １０３ メモリインターフェース， １０４ メモリ， １０５ 信号処理部， １０６ 出力制御部， １０７ 解像度制御部， １０８ 解像度マップ作成部， １０９ 距離情報生成部， １２１ 撮像画像処理部， １３１ 距離情報取得部， ４３１ 動体検出部， ４５１ 人検出部， ４７１ 大きさ検出部， ４９１ テクスチャ検出部， ５１１ 種別検出部， ５３１ 移動量検出部， ５５１ 移動方向決定部， ５７１ 負荷検出部， ５９１ 解像度決定部

Claims (11)

1. 画像に含まれる被写体の移動量の情報に基づいて、前記画像の解像度を変更する制御部を備え、
   前記制御部は、前記被写体の移動量が小さい場合、前記被写体の解像度を高く設定し、前記被写体の移動量が大きい場合、前記被写体の解像度を低く設定する
   情報処理装置。
2. 画像に含まれる被写体の移動方向の情報に基づいて、前記画像の解像度を変更する制御部を備え、
   前記制御部は、前記被写体の移動方向が他の被写体と異なる場合、前記被写体の解像度を高く設定する
   情報処理装置。
3. 前記制御部は、前記情報に基づき、前記画像の一部の領域の解像度を変更する
   請求項１または２に記載の情報処理装置。
4. 前記画像を撮像する撮像部をさらに備える
   請求項１または２に記載の情報処理装置。
5. 前記制御部により前記解像度が制御された画像と、解像度が一定の画像が出力される
   請求項１または２に記載の情報処理装置。
6. 前記制御部は、画素読み出しの間引率を変更することで解像度を変更する
   請求項１または２に記載の情報処理装置。
7. 所定の領域内の画素を間引くことで解像度を下げる処理は、同色の画素の画素値を加算し、その値を、加算した画素数で除算することで行われる
   請求項６に記載の情報処理装置。
8. 情報処理装置が、
   画像に含まれる被写体の移動量の情報に基づいて、前記被写体の移動量が小さい場合、前記被写体の解像度を高く設定し、前記被写体の移動量が大きい場合、前記被写体の解像度を低く設定する
   情報処理方法。
9. 情報処理装置が、
   画像に含まれる被写体の移動方向の情報に基づいて、前記被写体の移動方向が他の被写体と異なる場合、前記被写体の解像度を高く設定する
   情報処理方法。
10. 情報処理装置を制御するコンピュータに、
    画像に含まれる被写体の移動量の情報に基づいて、前記被写体の移動量が小さい場合、前記被写体の解像度を高く設定し、前記被写体の移動量が大きい場合、前記被写体の解像度を低く設定する
    ステップを含む処理を実行させるためのプログラム。
11. 情報処理装置を制御するコンピュータに、
    画像に含まれる被写体の移動方向の情報に基づいて、前記被写体の移動方向が他の被写体と異なる場合、前記被写体の解像度を高く設定する
    ステップを含む処理を実行させるためのプログラム。

Images