JP7265642B2 - 撮像支援装置、撮像支援システム、撮像システム、撮像支援方法、及びプログラム - Google Patents

Description

本開示の技術は、撮像支援装置、撮像支援システム、撮像システム、撮像支援方法、及びプログラムに関する。

特開２０１６－９０９７３号公報には、レンズを移動して手振れを補正する第１防振部を制御する第１防振制御部と、撮像素子を移動して手振れを補正する第２防振部を制御する第２防振制御部と、少なくとも前記第１防振制御部または第２防振制御部のいずれかによって広角撮影用に撮影範囲の移動が行われ、移動された撮影範囲で順次撮影された複数の画像に基づき、広角画像を生成する広角画像生成部と、前記第１防振部及び第２防振部を、前記手振れ補正に使用するかあるいは前記撮影範囲の移動に使用するかの設定を行う設定部とを備える撮像装置が開示されている。

本開示の技術に係る一つの実施形態は、焦点距離にかかわらず位置合わせ制御をレンズ移動機構及び画像領域移動部のみに依拠して行う場合に比べ、被写体画像位置を撮像画像内の特定位置に高精度に合わせることができる撮像支援装置、撮像支援システム、撮像システム、撮像支援方法、及びプログラムを提供する。

本開示の技術に係る第１の態様は、レンズ及び撮像素子を有する撮像装置であって、レンズの光軸と交差する方向にレンズを移動させるレンズ移動機構と、撮像素子における撮像画像の領域を光軸と交差する方向に移動させる画像領域移動部と、を有する撮像装置の焦点距離を取得する取得部と、撮像装置によって対象被写体を含む撮像領域が撮像されることで得られる撮像画像内の対象被写体を示す対象被写体画像の被写体画像位置を検出する検出部と、取得部によって取得された焦点距離が閾値以上の場合にレンズ移動機構に比べ画像領域移動部を適用する割合を高め、焦点距離が閾値未満の場合に画像領域移動部に比べレンズ移動機構を適用する割合を高めることで、検出部によって検出された被写体画像位置を撮像画像内の特定位置に合わせる位置合わせ制御を行う制御部と、を含む撮像支援装置である。

本開示の技術に係る第２の態様は、レンズ移動機構が、撮像装置に与えられた振動に起因して生じる振れをレンズの移動により補正するレンズ側振れ補正機構であり、画像領域移動部は、振れを撮像素子の移動又は撮像素子によって撮像されることで得られる撮像画像に対する画像処理により補正する撮像素子側振れ補正部であり、制御部が、位置合わせ制御を、焦点距離が閾値以上の場合にレンズ側振れ補正機構に比べ撮像素子側振れ補正部を適用する割合を高め、焦点距離が閾値未満の場合に撮像素子側振れ補正部に比べレンズ側振れ補正機構を適用する割合を高めることで行う第１の態様に係る撮像支援装置である。

本開示の技術に係る第３の態様は、制御部が、取得部によって取得された焦点距離が閾値以上の場合に、レンズ側振れ補正機構に対して振れを補正させる第２の態様に係る撮像支援装置である。

本開示の技術に係る第４の態様は、制御部が、取得部によって取得された焦点距離が閾値未満の場合に、撮像素子側振れ補正部に対して振れを補正させる第２の態様又は第３の態様に係る撮像支援装置である。

本開示の技術に係る第５の態様は、撮像装置が、焦点距離を可変とする変倍機構を有し、制御部が、取得部で取得した焦点距離が変化している場合に撮像素子側振れ補正部及びレンズ側振れ補正機構を併用することで位置合わせ制御を行う第１の態様から第４の態様の何れか１つの態様に係る撮像支援装置である。

本開示の技術に係る第６の態様は、制御部が、取得部で取得した焦点距離が変化していない場合に撮像素子側振れ補正部及びレンズ側振れ補正機構のうちの少なくとも一方に対して振れを補正させる第１の態様から第５の態様の何れか１つの態様に係る撮像支援装置である。

本開示の技術に係る第７の態様は、制御部が、取得部によって取得された焦点距離が、閾値を含む既定範囲内の場合に、レンズ側振れ補正機構及び撮像素子側振れ補正部を併用して位置合わせ制御を行う第１の態様から第６の態様の何れか１つの態様に係る撮像支援装置である。

本開示の技術に係る第８の態様は、位置合わせ制御が、取得部によって取得された焦点距離が既定範囲内の場合に、焦点距離が長くなるに伴って、レンズ側振れ補正機構に比べ撮像素子側振れ補正部を適用する割合を漸次的に増加させる制御を含む制御である第７の態様に係る撮像支援装置である。

本開示の技術に係る第９の態様は、制御部が、取得部によって取得された焦点距離が既定範囲の下限値未満の場合に、レンズ側振れ補正機構及び撮像素子側振れ補正部のうちのレンズ側振れ補正機構を用いて位置合わせ制御を行う第７の態様又は第８の態様に係る撮像支援装置である。

本開示の技術に係る第１０の態様は、制御部が、取得部によって取得された焦点距離が既定範囲の上限値を超える場合に、レンズ側振れ補正機構及び撮像素子側振れ補正部のうちの撮像素子側振れ補正部を用いて位置合わせ制御を行う第７の態様から第９の態様の何れか１つの態様に係る撮像支援装置である。

本開示の技術に係る第１１の態様は、制御部が、撮像装置を旋回可能な旋回機構、撮像素子側振れ補正部、及びレンズ側振れ補正機構を含む位置合わせ部を用いることで位置合わせ制御を行い、撮像画像内で被写体画像位置を調整する位置合わせ精度が、旋回機構よりも撮像素子側振れ補正部及びレンズ側振れ補正機構の方が高い第１の態様から第１０の態様の何れか１つの態様に係る撮像支援装置である。

本開示の技術に係る第１２の態様は、第１１の態様に係る撮像支援装置と、旋回機構と、を含み、撮像支援装置が、旋回機構が撮像装置を旋回させる場合に撮像装置による撮像を支援する撮像支援システムである。

本開示の技術に係る第１３の態様は、第１の態様から第１１の態様の何れか１つの態様に係る撮像支援装置と、撮像装置と、を含み、撮像装置が、撮像支援装置によって撮像の支援が行われる撮像システムである。

本開示の技術に係る第１４の態様は、撮像装置を旋回させる旋回機構を更に含む第１３の態様に係る撮像システムである。

本開示の技術に係る第１５の態様は、レンズ及び撮像素子を有する撮像装置であって、レンズの光軸と交差する方向にレンズを移動させるレンズ移動機構と、撮像素子における撮像画像の領域を光軸と交差する方向に移動させる画像領域移動部と、を有する撮像装置の焦点距離を取得すること、撮像装置によって対象被写体を含む撮像領域が撮像されることで得られる撮像画像内の対象被写体を示す対象被写体画像の被写体画像位置を検出すること、及び、取得された焦点距離が閾値以上の場合にレンズ移動機構に比べ画像領域移動部を適用する割合を高め、焦点距離が閾値未満の場合に画像領域移動部に比べレンズ移動機構を適用する割合を高めることで、検出された被写体画像位置を撮像画像内の特定位置に合わせる位置合わせ制御を行うことを含む撮像支援方法である。

本開示の技術に係る第１６の態様は、コンピュータに、レンズ及び撮像素子を有する撮像装置であって、レンズの光軸と交差する方向にレンズを移動させるレンズ移動機構と、撮像素子における撮像画像の領域を光軸と交差する方向に移動させる画像領域移動部と、を有する撮像装置の焦点距離を取得すること、撮像装置によって対象被写体を含む撮像領域が撮像されることで得られる撮像画像内の対象被写体を示す対象被写体画像の被写体画像位置を検出すること、及び、取得された焦点距離が閾値以上の場合にレンズ移動機構に比べ画像領域移動部を適用する割合を高め 、焦点距離が閾値未満の場合に画像領域移動部に比べレンズ移動機構を適用する割合を高めることで、検出された被写体画像位置を撮像画像内の特定位置に合わせる位置合わせ制御を行うことを含む処理を実行させるためのプログラムである。

第一実施形態に係る監視システムの構成の一例を示す概略構成図である。 第一実施形態に係る監視カメラがピッチ方向に旋回した状態の監視カメラの外観の一例を示す斜視図である。 第一実施形態に係る監視カメラがヨー方向に旋回した状態の監視カメラの外観の一例を示す斜視図である。 第一実施形態に係る監視カメラの光学系及び電気系の構成の一例を示すブロック図である。 第一実施形態に係る管理装置及び旋回機構の電気系の構成の一例を示すブロック図である。 第一実施形態に係る監視カメラに含まれるＣＰＵの機能の一例を示す機能ブロック図である。 第一実施形態に係る管理装置に含まれるＣＰＵの機能の一例を示す機能ブロック図である。 第一実施形態に係る管理装置に含まれるＣＰＵの機能の一例を示す機能ブロック図である。 第一実施形態に係る管理装置が割合導出テーブルを用いる場合の管理装置の機能の一例を示す機能ブロック図である。 第一実施形態に係る位置合わせ制御処理の流れの一例を示すフローチャートである。 図１０Ａに示すフローチャートの続きである。 第一実施形態に係る撮像領域の中央部に対象被写体が存在している態様の一例を示す概念図である。 図１１Ａに示す撮像領域が監視カメラによって撮像されることで得られた撮像画像の一例を示す概略画像図である。 第一実施形態に係る撮像領域の端部に対象被写体が存在している態様の一例を示す概念図である。 図１２Ａに示す撮像領域が監視カメラによって撮像されることで得られた撮像画像の一例を示す概略画像図である。 第一実施形態に係る監視カメラの焦点距離を長くすることに伴って対象被写体が撮像領域から外れている態様の一例を示す概念図である。 図１３Ａに示す撮像領域が監視カメラによって撮像されることで得られた撮像画像の一例を示す概略画像図である。 第一実施形態に係る振れ補正部を作動させることによって対象被写体画像を撮像画像の中央領域内に収めた撮像画像の一例を示す概略画像図である。 第二実施形態に係る管理装置に含まれるＣＰＵの機能の一例を示す機能ブロック図である。 第二実施形態に係る位置合わせ制御処理の流れの一例を示すフローチャートである。 図１６Ａに示すフローチャートの続きである。 位置合わせ制御処理において粗調整を行って得られた撮像画像と粗調整の後に微調整を行って得られた撮像画像の一例を示す概略画像図である。 撮像支援装置におけるレンズ側振れ補正機構及び撮像素子側振れ補正機構の適用割合の割合導出テーブルの図９とは異なる一例を示すグラフである。 実施形態に係る位置合わせ制御処理プログラム、表示制御処理プログラム及び変倍機構制御処理プログラムが記憶された記憶媒体から、表示制御処理プログラム及び変倍機構制御処理プログラムが監視カメラ内のコンピュータにインストールされる態様の一例を示す概念図である。

添付図面に従って本開示の技術に係る実施形態の一例について説明する。

先ず、以下の説明で使用される文言について説明する。

ＣＰＵは、“Central Processing Unit”の略称である。ＲＡＭは、“Random Access Memory”の略称である。ＲＯＭは、“Read Only Memory”の略称である。ＡＳＩＣは、“Application Specific Integrated Circuit”の略称である。ＰＬＤは、“Programmable Logic Device”の略称である。ＦＰＧＡは、“Field-Programmable Gate Array”の略称である。ＡＦＥは、“Analog Front End”の略称である。ＤＳＰは、“Digital Signal Processor”の略称である。ＩＳＰは、“Image Signal Processor”の略称である。ＳｏＣは、“System-on-a-chip”の略称である。ＣＭＯＳは、“Complementary Metal Oxide Semiconductor”の略称である。ＣＣＤは、“Charge Coupled Device”の略称である。ＳＷＩＲは、“Short-wavelength infrared”の略称である。

ＳＳＤは、“Solid State Drive”の略称である。ＵＳＢは、“Universal Serial Bus”の略称である。ＨＤＤは、“Hard Disk Drive”の略称である。ＥＥＰＲＯＭは、“Electrically Erasable and Programmable Read Only Memory”の略称である。ＥＬは、“Electro-Luminescence”の略称である。Ａ／Ｄは、“Analog/Digital”の略称である。Ｉ／Ｆは、“Interface”の略称である。ＵＩは、“User Interface”の略称である。ＷＡＮは、“Wide Area Network”の略称である。ＣＲＴは、“Cathode Ray Tube”の略称である。ＯＩＳは、“Optical Image Stabilizer”の略称である。ＢＩＳは、“Body Image Stabilizer”の略称である。

本明細書の説明において、「水平」とは、完全な水平の他に、本開示の技術が属する技術分野で一般的に許容される誤差を含めた意味合いでの水平を指す。本明細書の説明において、「平行」とは、完全な平行の他に、本開示の技術が属する技術分野で一般的に許容される誤差を含めた意味合いでの平行を指す。本明細書の説明において、「垂直」とは、完全な垂直の他に、本開示の技術が属する技術分野で一般的に許容される誤差を含めた意味合いでの垂直を指す。本明細書の説明において、「同一」とは、完全な同一の他に、本開示の技術が属する技術分野で一般的に許容される誤差を含めた意味合いでの同一を指す。

［第一実施形態］
一例として図１に示すように、監視システム２は、監視カメラ１０、旋回機構１６及び管理装置１１を備えている。監視システム２は、本開示の技術に係る「撮像システム」又は「撮像支援システム」の一例であり、監視カメラ１０は、本開示の技術に係る「撮像装置」の一例である。

監視カメラ１０は、屋内外の柱、壁又は建物の一部（例えば屋上）等に、後述する旋回機構１６を介して設置され、被写体である監視対象（以下、「撮像領域」とも称する）を撮像し、撮像することで動画像を生成する。動画像には、撮像することで得られた複数フレームの画像が含まれている。監視カメラ１０は、撮像することで得た動画像を、通信ライン１２を介して管理装置１１に送信する。

管理装置１１は、ディスプレイ１３及び二次記憶装置１４を備えている。ディスプレイ１３としては、例えば、液晶ディスプレイ、プラズマディスプレイ、有機ＥＬディスプレイ、及びＣＲＴディスプレイ等が挙げられる。

二次記憶装置１４の一例としては、ＨＤＤが挙げられる。二次記憶装置１４は、ＨＤＤではなく、フラッシュメモリ、ＳＳＤ、又はＥＥＰＲＯＭなどの不揮発性のメモリであればよい。

管理装置１１では、監視カメラ１０によって送信された動画像が受信され、受信された動画像がディスプレイ１３に表示されたり、二次記憶装置１４に記憶されたりする。

旋回機構１６には、監視カメラ１０が取り付けられる。旋回機構１６は、監視カメラ１０を旋回可能とする。具体的には、一例として図２に示すように、旋回機構１６は、ヨー方向と交差しピッチ軸ＰＡを中心軸とした旋回方向（以下、「ピッチ方向」という）と、一例として図３に示すように、ヨー軸ＹＡを中心軸とした旋回方向（以下、「ヨー方向」という）と、に監視カメラ１０を旋回可能な２軸旋回機構である。旋回機構１６は、本開示の技術に係る「旋回機構」の一例である。なお、本実施形態に係る旋回機構１６では、２軸旋回機構である例を示したが、本開示の技術はこれに限定されず、３軸旋回機構であってもよい。

一例として図４に示すように、監視カメラ１０は、光学系１５及び撮像素子２５を備えている。撮像素子２５は、光学系１５の後段に位置している。撮像素子２５は、受光面２５Ａを備えている。撮像領域を示す光は、光学系１５によって受光面２５Ａに結像され、撮像素子２５によって撮像領域が撮像される。

監視カメラ１０は、コンピュータ１９、変位用ドライバ２２、変位用ドライバ２３、ズーム用ドライバ２８、ＤＳＰ３１、画像メモリ３２、電子式振れ補正部３３、通信Ｉ／Ｆ３４、位置検出センサ３９及び４７、振れ量検出センサ４０、並びにＵＩ系デバイス４３を備えている。コンピュータ１９は、メモリ３５、ストレージ３６、及びＣＰＵ３７を備えている。コンピュータ１９は、本開示の技術に係る「コンピュータ」の一例である。また、電子式振れ補正部３３及びＣＰＵ３７は、本開示の技術に係る「電子式振れ補正部（電子式振れ補正コンポーネント）」の一例である。

変位用ドライバ２２、変位用ドライバ２３、撮像素子２５、ズーム用ドライバ２８、ＤＳＰ３１、画像メモリ３２、電子式振れ補正部３３、通信Ｉ／Ｆ３４、メモリ３５、ストレージ３６、ＣＰＵ３７、位置検出センサ３９及び４７、振れ量検出センサ４０、並びにＵＩ系デバイス４３は、バス３８に接続されている。なお、図４に示す例では、図示の都合上、バス３８として１本のバスが図示されているが、複数本のバスであってもよい。バス３８は、シリアルバスであってもよいし、データバス、アドレスバス、及びコントロールバス等を含むパラレルバスであってもよい。

メモリ３５は、各種情報を一時的に記憶し、ワークメモリとして用いられる。メモリ３５の一例としては、ＲＡＭが挙げられるが、これに限らず、他の種類の記憶装置であってもよい。ストレージ３６には、監視カメラ１０用の各種プログラムが記憶されている。ＣＰＵ３７は、ストレージ３６から各種プログラムを読み出し、読み出した各種プログラムをメモリ３５上で実行することで、監視カメラ１０の全体を制御する。ストレージ３６としては、例えば、フラッシュメモリ、ＳＳＤ、ＥＥＰＲＯＭ、又はＨＤＤ等が挙げられる。また、例えば、フラッシュメモリに代えて、あるいはフラッシュメモリと併用して、磁気抵抗メモリ、強誘電体メモリ等の各種の不揮発性メモリを用いてもよい。

撮像素子２５は、ＣＭＯＳイメージセンサである。撮像素子２５は、ＣＰＵ３７の指示の下、既定のフレームレートで対象被写体を撮像する。ここで言う「既定のフレームレート」とは、例えば、数十フレーム／秒から数百フレーム／秒を指す。なお、撮像素子２５そのものにも制御装置（撮像素子制御装置）が内蔵されていても良く、その場合はＣＰＵ３７が出力する撮像指示に応じて撮像素子２５内部の詳細な制御を撮像素子制御装置が行う。また、撮像素子２５が、ＤＳＰ３１の指示の下に既定のフレームレートで対象被写体を撮像しても良く、この場合は、ＤＳＰ３１が出力する撮像指示に応じて撮像素子２５内部の詳細な制御を撮像素子制御装置が行う。なお、ＤＳＰ３１はＩＳＰと呼ばれることもある。

撮像素子２５の受光面２５Ａは、マトリクス状に配置された複数の感光画素（図示省略）によって形成されている。撮像素子２５では、各感光画素が露光され、感光画素毎に光電変換が行われる。感光画素毎に光電変換が行われることで得られた電荷は、対象被写体を示すアナログの撮像信号である。ここでは、複数の感光画素として、可視光に感度を有する複数の光電変換素子（一例として、カラーフィルタが配置された光電変換素子）が採用されている。撮像素子２５において、複数の光電変換素子としては、Ｒ（赤）の光に感度を有する光電変換素子（例えば、Ｒに対応するＲフィルタが配置された光電変換素子）、Ｇ（緑）の光に感度を有する光電変換素子（例えば、Ｇに対応するＧフィルタが配置された光電変換素子）、及びＢ（青）の光に感度を有する光電変換素子（例えば、Ｂに対応するＢフィルタが配置された光電変換素子）が採用されている。監視カメラ１０では、これらの感光画素を用いることによって、可視光（例えば、約７００ナノメートル以下の短波長側の光）に基づく撮像が行われている。但し、本実施形態はこれに限定されず、赤外光（例えば、約７００ナノメートルよりも長波長側の光）に基づく撮像が行われるようにしてもよい。この場合、複数の感光画素として、赤外光に感度を有する複数の光電変換素子を用いればよい。特に、ＳＷＩＲについての撮像に対しては、例えば、ＩｎＧａＡｓセンサ及び／又はタイプ２型量子井戸（Ｔ２ＳＬ；Ｓｉｍｕｌａｔｉｏｎ ｏｆ Ｔｙｐｅ－ＩＩ Ｑｕａｎｔｕｍ Ｗｅｌｌ）センサ等を用いればよい。

撮像素子２５は、アナログの撮像信号に対してＡ／Ｄ変換等の信号処理を行い、デジタルの撮像信号であるデジタル画像を生成する。撮像素子２５は、バス３８を介してＤＳＰ３１に接続されており、生成したデジタル画像を、バス３８を介してフレーム単位でＤＳＰ３１に出力する。ここで、デジタル画像は、本開示の技術に係る「撮像画像」の一例である。

なお、ここでは、撮像素子２５の一例としてＣＭＯＳイメージセンサを挙げて説明しているが、本開示の技術はこれに限定されず、撮像素子２５としてＣＣＤイメージセンサを適用してもよい。この場合、撮像素子２５はＣＣＤドライバ内蔵のＡＦＥ（図示省略）を介してバス３８に接続され、ＡＦＥは、撮像素子２５によって得られたアナログの撮像信号に対してＡ／Ｄ変換等の信号処理を施すことでデジタル画像を生成し、生成したデジタル画像をＤＳＰ３１に出力する。ＣＣＤイメージセンサはＡＦＥに内蔵されたＣＣＤドライバによって駆動される。もちろんＣＣＤドライバは単独に設けられても良い。

ＤＳＰ３１は、デジタル画像に対して、各種デジタル信号処理を施す。各種デジタル信号処理とは、例えば、デモザイク処理、ノイズ除去処理、階調補正処理、及び色補正処理等を指す。

ＤＳＰ３１は、１フレーム毎に、デジタル信号処理後のデジタル画像を画像メモリ３２に出力する。画像メモリ３２は、ＤＳＰ３１からのデジタル画像を記憶する。なお、以下では、説明の便宜上、画像メモリ３２に記憶されたデジタル画像を「撮像画像」とも称する。

振れ量検出センサ４０は、例えば、ジャイロセンサを含むデバイスであり、監視カメラ１０の振れ量を検出する。換言すると、振れ量検出センサ４０は、一対の軸方向の各々について振れ量を検出する。ジャイロセンサは、ピッチ軸ＰＡ、ヨー軸ＹＡ、及びロール軸ＲＡ（光軸ＯＡに平行な軸）の各軸（図１参照）周りの回転振れの量を検出する。振れ量検出センサ４０は、ジャイロセンサによって検出されたピッチ軸ＰＡ周りの回転振れの量及びヨー軸ＹＡ周りの回転振れの量をピッチ軸ＰＡ及びヨー軸ＹＡに平行な２次元状の面内での振れ量に変換することで、監視カメラ１０の振れ量を検出する。

ここでは、振れ量検出センサ４０の一例としてジャイロセンサを挙げているが、これはあくまでも一例であり、振れ量検出センサ４０は、加速度センサであってもよい。加速度センサは、ピッチ軸ＰＡとヨー軸ＹＡに平行な２次元状の面内での振れ量を検出する。振れ量検出センサ４０は、検出した振れ量をＣＰＵ３７に出力する。

また、ここでは、振れ量検出センサ４０という物理的なセンサによって振れ量が検出される形態例を挙げているが、本開示の技術はこれに限定されない。例えば、画像メモリ３２に記憶された時系列的に前後する撮像画像を比較することで得た動きベクトルを振れ量として用いてもよい。また、物理的なセンサによって検出された振れ量と、画像処理によって得られた動きベクトルとに基づいて最終的に使用される振れ量が導出されるようにしてもよい。

ＣＰＵ３７は、振れ量検出センサ４０によって検出された振れ量を取得し、取得した振れ量に基づいてレンズ側振れ補正機構２９、撮像素子側振れ補正機構４５及び電子式振れ補正部３３を制御する。振れ量検出センサ４０によって検出された振れ量は、レンズ側振れ補正機構２９及び電子式振れ補正部３３の各々による振れの補正に用いられる。

電子式振れ補正部３３は、ＡＳＩＣを含むデバイスである。電子式振れ補正部３３は、振れ量検出センサ４０によって検出された振れ量に基づいて、撮像素子２５によって撮像されることで得られる画像メモリ３２内の撮像画像に対して画像処理を施すことで振れを補正する。なお、ここでは、振れ量検出センサ４０によって検出された振れ量に基づいて電子式振れ補正部３３によって振れが補正される形態例を挙げているが、本開示の技術はこれに限定されない。例えば、撮像画像のフレーム間の差分に基づいて算出される動きベクトルに従って電子式振れ補正部３３によって振れが補正されるようにしてもよい。

また、ここでは、電子式振れ補正部３３として、ＡＳＩＣを含むデバイスを例示しているが、本開示の技術はこれに限定されるものではなく、例えば、ＦＰＧＡ又はＰＬＤを含むデバイスであってもよい。また、例えば、電子式振れ補正部３３は、ＡＳＩＣ、ＦＰＧＡ、及びＰＬＤのうちの複数を含むデバイスであってもよい。また、電子式振れ補正部３３として、ＣＰＵ、ストレージ、及びメモリを含むコンピュータが採用されてもよい。ＣＰＵは、単数であってもよいし、複数であってもよい。また、電子式振れ補正部３３は、ハードウェア構成及びソフトウェア構成の組み合わせによって実現されてもよい。

通信Ｉ／Ｆ３４は、例えば、ネットワークインターフェースであり、ネットワークを介して、管理装置１１との間で各種情報の伝送制御を行う。ネットワークの一例としては、インターネット又は公衆通信網等のＷＡＮが挙げられる。監視カメラ１０と管理装置１１との間の通信を司る。

ＵＩ系デバイス４３は、受付デバイス４３Ａ及びディスプレイ４３Ｂを備えている。受付デバイス４３Ａは、例えば、ハードキー及びタッチパネル等であり、ユーザからの各種指示を受け付ける。ＣＰＵ３７は、受付デバイス４３Ａによって受け付けられた各種指示を取得し、取得した指示に従って動作する。

ディスプレイ４３Ｂは、ＣＰＵ３７の制御下で、各種情報を表示する。ディスプレイ４３Ｂに表示される各種情報としては、例えば、受付デバイス４３Ａによって受け付けられた各種指示の内容、及び撮像画像等が挙げられる。

光学系１５は、対物レンズ１５Ａ及びレンズ群１５Ｂを備えている。対物レンズ１５Ａ及びレンズ群１５Ｂは、対象被写体側から撮像素子２５の受光面２５Ａ側にかけて、光学系１５の光軸ＯＡに沿って、対物レンズ１５Ａ及びレンズ群１５Ｂの順に配置されている。レンズ群１５Ｂには、防振レンズ１５Ｂ１、フォーカスレンズ（図示省略）、及びズームレンズ１５Ｂ２等が含まれている。なお、光学系１５としては、対物レンズ１５Ａ及びレンズ群１５Ｂ以外にも各種レンズ（図示省略）を備えていてもよい。更に、光学系１５は、絞りを備えていてもよい。光学系１５に含まれるレンズ、レンズ群及び絞りの位置は限定されず、例えば、図４に示す位置と異なる位置であっても、本開示の技術は成立する。

監視カメラ１０は、アクチュエータ１７及び２１、並びにアクチュエータ２７を備えている。ズームレンズ１５Ｂ２は、後述するアクチュエータ２１によって、光軸ＯＡに沿って移動可能に支持されている。防振レンズ１５Ｂ１は、アクチュエータ１７によって、光軸ＯＡと垂直な方向に移動可能に支持されている。撮像素子２５は、アクチュエータ２７によって、光軸ＯＡと垂直な方向に移動可能に支持されている。

アクチュエータ１７は、防振レンズ１５Ｂ１に対し、防振レンズ１５Ｂ１の光軸に対して垂直な方向に変動させる動力を付与する。アクチュエータ１７は、ＣＰＵ３７によって変位用ドライバ２３を介して制御される。変位用ドライバ２３は、ＣＰＵ３７からの指示に従ってアクチュエータ１７を作動させることで、防振レンズ１５Ｂ１の位置を光軸ＯＡに対して垂直な方向に変動させる。

アクチュエータ２１は、ズームレンズ１５Ｂ２に対して、光学系１５の光軸ＯＡに沿って移動させる動力を付与する。アクチュエータ２１は、ＣＰＵ３７によってズーム用ドライバ２８を介して制御される。ズーム用ドライバ２８は、ＣＰＵ３７からの指示に従ってアクチュエータ２１を作動させることで、ズームレンズ１５Ｂ２の位置を光軸ＯＡに沿って移動させる。

アクチュエータ２７は、撮像素子２５に対し、防振レンズ１５Ｂ１の光軸に対して垂直な方向に撮像素子２５を変動させる動力を付与する。アクチュエータ２７は、ＣＰＵ３７によって変位用ドライバ２２を介して制御される。変位用ドライバ２２は、ＣＰＵ３７からの指示に従ってアクチュエータ２７を作動させることで、撮像素子２５の位置を光軸ＯＡに対して垂直な方向に変動させる。

監視カメラ１０は、変倍機構１８を有する。変倍機構１８は、ズームレンズ１５Ｂ２、アクチュエータ２１、及びズーム用ドライバ２８を備えており、焦点距離を変更可能な機構である。ＣＰＵ３７は、ズーム用ドライバ２８を介してアクチュエータ２１を作動させることにより焦点距離を変更する。監視カメラ１０は、現時点よりも焦点距離を長くすることで、ズームレンズ１５Ｂ２は、現時点よりも望遠側に位置することになるので、画角は狭くなる。画角が狭くなるということは、撮像範囲は狭くなるということを意味する。また、監視カメラ１０は、現時点よりも焦点距離を短くすることで、ズームレンズ１５Ｂ２は、現時点よりも広角側に位置することになるので、画角は広くなる。画角が広くなるということは、撮像範囲は広くなるということを意味する。なお、本開示の技術において図示した変倍機構１８の図はあくまで概念図に過ぎず、変倍機構１８は種々の構成を採り得る。

ところで、監視カメラ１０に与えられる振動には、屋外であれば、自動車の通行による振動、風による振動、及び道路工事による振動等があり、屋内であれば、エアコンディショナーの動作による振動、及び人の出入りによる振動等がある。そのため、監視カメラ１０では、監視カメラ１０に与えられた振動（以下、単に「振動」とも称する）に起因して振れが生じる。以下では、振動に起因して生じる振れを、単に「振れ」とも称する。

なお、本実施形態において、「振れ」とは、監視カメラ１０において、撮像素子２５の受光面２５Ａでの被写体像が、光軸ＯＡと受光面２５Ａとの位置関係が変化することで変動する現象を指す。換言すると、「振れ」とは、監視カメラ１０に与えられた振動に起因して光軸ＯＡが傾くことによって、受光面２５Ａに結像されることで得られた光学像が変動する現象とも言える。光軸ＯＡの変動とは、例えば、基準軸（例えば、振れが発生する前の光軸ＯＡ）に対して光軸ＯＡが傾くことを意味する。

振れは、撮像画像にノイズ成分として含まれ、撮像画像の画質に影響を与える。そこで、振れに起因して撮像画像内に含まれるノイズ成分を除去するために、監視カメラ１０は、振れ補正部２４を備えている。振れ補正部２４は、本開示の技術に係る「位置合わせ部（位置合わせコンポーネント）」の一例である。振れ補正部２４は、レンズ側振れ補正機構２９、撮像素子側振れ補正機構４５及び電子式振れ補正部３３を有する。レンズ側振れ補正機構２９、撮像素子側振れ補正機構４５及び電子式振れ補正部３３はいずれも、振れの補正に供される。レンズ側振れ補正機構２９は、モータ（例えば、ボイスコイルモータ）等の駆動源によって生成された動力を防振レンズに付与することで防振レンズを撮像光学系の光軸に対して垂直な方向に移動させ、これによって振れを補正する機構である。撮像素子側振れ補正機構４５は、モータ（例えば、ボイスコイルモータ）等の駆動源によって生成された動力を撮像素子に付与することで撮像素子を撮像光学系の光軸に対して垂直な方向に移動させ、これによって振れを補正する機構である。電子式振れ補正部３３は、振れ量に基づいて撮像画像に対して画像処理を施すことで振れを補正する。つまり、振れ補正部２４は、ハードウェア構成及び／又はソフトウェア構成で機械的又は電子的に振れの補正を行う。ここで、機械的な振れの補正とは、モータ（例えば、ボイスコイルモータ）等の駆動源によって生成された動力を用いて防振レンズ及び／又は撮像素子等の振れ補正素子を機械的に動かすことにより実現される振れの補正を指し、電子的な振れの補正とは、例えば、プロセッサによって画像処理が行われることで実現される振れの補正を指す。また、本実施形態において、「振れの補正」には、振れを無くすという意味の他に、振れを低減するという意味も含まれる。レンズ側振れ補正機構２９は、光軸ＯＡと垂直な方向に防振レンズ１５Ｂ１を移動させる機構であり、本開示の技術に係る「レンズ移動機構」の一例である。撮像素子側振れ補正機構４５及び電子式振れ補正部３３は、撮像素子２５における撮像画像の領域を光軸ＯＡと垂直な方向に移動させる機構である。撮像素子側振れ補正機構４５、及び電子式振れ補正部３３は、本開示の技術に係る「画像領域移動部（画像領域移動コンポーネント）」及び「撮像素子側振れ補正部（撮像素子側振れ補正コンポーネント）」の一例である。

一例として図４に示すように、レンズ側振れ補正機構２９は、防振レンズ１５Ｂ１、アクチュエータ１７、変位用ドライバ２３、及び位置検出センサ３９を備えている。

レンズ側振れ補正機構２９による振れの補正方法としては、周知の種々の方法を採用することができる。本実施形態では、振れの補正方法として、振れ量検出センサ４０によって検出された振れ量に基づいて防振レンズ１５Ｂ１を移動させることで振れを補正する方法が採用されている。具体的には、振れを打ち消す方向に、振れを打ち消す量だけ防振レンズ１５Ｂ１を移動させることで振れの補正が行われるようにしている。

防振レンズ１５Ｂ１にはアクチュエータ１７が取り付けられている。アクチュエータ１７は、ボイスコイルモータが搭載されたシフト機構であり、ボイスコイルモータを駆動させることで防振レンズ１５Ｂ１を、防振レンズ１５Ｂ１の光軸に対して垂直な方向に変動させる。なお、ここでは、アクチュエータ１７としては、ボイスコイルモータが搭載されたシフト機構が採用されているが、本開示の技術はこれに限定されず、ボイスコイルモータに代えて、ステッピングモータ又はピエゾ素子等の他の動力源を適用してもよい。

アクチュエータ１７は、変位用ドライバ２３により制御される。アクチュエータ１７が変位用ドライバ２３の制御下で駆動することで、防振レンズ１５Ｂ１の位置が光軸ＯＡに対して垂直な二次元平面内で機械的に変動する。

位置検出センサ３９は、防振レンズ１５Ｂ１の現在位置を検出し、検出した現在位置を示す位置信号を出力する。ここでは、位置検出センサ３９の一例として、ホール素子を含むデバイスが採用されている。ここで、防振レンズ１５Ｂ１の現在位置とは、防振レンズ二次元平面内の現在位置を指す。防振レンズ二次元平面とは、防振レンズ１５Ｂ１の光軸に対して垂直な二次元平面を指す。なお、本実施形態では、位置検出センサ３９の一例として、ホール素子を含むデバイスが採用されているが、本開示の技術はこれに限定されず、ホール素子に代えて、磁気センサ又はフォトセンサなどを採用してもよい。

レンズ側振れ補正機構２９は、ピッチ軸ＰＡ方向及びヨー軸ＹＡ方向のうちの少なくとも一方に沿って防振レンズ１５Ｂ１を移動させることで振れを補正する。つまり、レンズ側振れ補正機構２９は、防振レンズ二次元平面内において防振レンズ１５Ｂ１を、振れ量検出センサ４０によって検出された振れ量に応じた移動量で移動させることで振れを補正する。

撮像素子側振れ補正機構４５は、撮像素子２５、変位用ドライバ２２、アクチュエータ２７、及び位置検出センサ４７を備えている。

レンズ側振れ補正機構２９による振れの補正方法と同様に、撮像素子側振れ補正機構４５による振れの補正方法も、周知の種々の方法を採用することができる。本実施形態では、振れの補正方法として、振れ量検出センサ４０によって検出された振れ量に基づいて、変位用ドライバ２２がＣＰＵ３７からの指示に従ってアクチュエータ２７を介して撮像素子２５を移動させることで振れを補正する方法が採用されている。具体的には、振れを打ち消す方向に、振れを打ち消す量だけ撮像素子２５を移動させることで振れの補正が行われるようにしている。

アクチュエータ２７は、ボイスコイルモータが搭載されたシフト機構であり、ボイスコイルモータを駆動させることで撮像素子２５を、防振レンズ１５Ｂ１の光軸に対して垂直な方向に変動させる。なお、ここでは、アクチュエータ２７としては、ボイスコイルモータが搭載されたシフト機構が採用されているが、本開示の技術はこれに限定されず、ボイスコイルモータに代えて、ステッピングモータ又はピエゾ素子等の他の動力源を適用してもよい。

位置検出センサ４７は、撮像素子２５の現在位置を検出し、検出した現在位置を示す位置信号を出力する。ここでは、位置検出センサ４７の一例として、ホール素子を含むデバイスが採用されている。ここで、撮像素子２５の現在位置とは、撮像素子二次元平面内の現在位置を指す。撮像素子二次元平面とは、防振レンズ１５Ｂ１の光軸に対して垂直な二次元平面を指す。なお、本実施形態では、位置検出センサ４７の一例として、ホール素子を含むデバイスが採用されているが、本開示の技術はこれに限定されず、ホール素子に代えて、磁気センサ又はフォトセンサなどを採用してもよい。

一例として図５に示すように、管理装置１１は、ディスプレイ１３、制御装置６０、受付デバイス６２、及び通信Ｉ／Ｆ６６を備えている。また、旋回機構１６は、ヨー軸旋回機構７１、ピッチ軸旋回機構７２、モータ７３、モータ７４、ドライバ７５、及びドライバ７６を備えている。

制御装置６０は、ＣＰＵ６０Ａ、ストレージ６０Ｂ、及びメモリ６０Ｃを備えている。受付デバイス６２、ディスプレイ１３、二次記憶装置１４、ＣＰＵ６０Ａ、ストレージ６０Ｂ、メモリ６０Ｃ、及び通信Ｉ／Ｆ６６の各々は、バス７０に接続されている。なお、図５に示す例では、図示の都合上、バス７０として１本のバスが図示されているが、複数本のバスであってもよい。バス７０は、シリアルバスであってもよいし、データバス、アドレスバス、及びコントロールバス等を含むパラレルバスであってもよい。

メモリ６０Ｃは、各種情報を一時的に記憶し、ワークメモリとして用いられる。メモリ６０Ｃの一例としては、ＲＡＭが挙げられるが、これに限らず、他の種類の記憶装置であってもよい。ストレージ６０Ｂには、管理装置１１用の各種プログラム（以下、単に「管理装置用プログラム」と称する）が記憶されている。ＣＰＵ６０Ａは、ストレージ６０Ｂから管理装置用プログラムを読み出し、読み出した管理装置用プログラムをメモリ６０Ｃ上で実行することで、管理装置１１の全体を制御する。

通信Ｉ／Ｆ６６は、例えば、ネットワークインターフェースである。通信Ｉ／Ｆ６６は、ネットワークを介して、監視カメラ１０の通信Ｉ／Ｆ３４に対して通信可能に接続されており、監視カメラ１０との間で各種情報の伝送制御を行う。例えば、通信Ｉ／Ｆ６６は、監視カメラ１０に対して撮像画像の送信を要求し、撮像画像の送信の要求に応じて監視カメラ１０の通信Ｉ／Ｆ３４から送信された撮像画像を受信する。

通信Ｉ／Ｆ６７及び６８は、例えば、ネットワークインターフェースである。通信Ｉ／Ｆ６７は、ネットワークを介して、旋回機構１６のドライバ７５に対して通信可能に接続されている。ＣＰＵ６０Ａは、通信Ｉ／Ｆ６７及びドライバ７５を介して、モータ７３を制御することで、ヨー軸旋回機構７１の旋回動作を制御する。通信Ｉ／Ｆ６８は、ネットワークを介して、旋回機構１６のドライバ７６に対して通信可能に接続されている。ＣＰＵ６０Ａは、通信Ｉ／Ｆ６８及びドライバ７６を介して、モータ７４を制御することで、ピッチ軸旋回機構７２の旋回動作を制御する。

受付デバイス６２は、例えば、キーボード、マウス、及びタッチパネル等であり、ユーザからの各種指示を受け付ける。ＣＰＵ６０Ａは、受付デバイス６２によって受け付けられた各種指示を取得し、取得した指示に従って動作する。例えば、監視カメラ１０及び／又は旋回機構１６に対する処理内容を受付デバイス６２で受け付けた場合は、ＣＰＵ６０Ａは、受付デバイス６２で受け付けた指示内容に従って、監視カメラ１０及び／又は旋回機構１６を作動させる。

ディスプレイ１３は、ＣＰＵ６０Ａの制御下で、各種情報を表示する。ディスプレイ１３に表示される各種情報としては、例えば、受付デバイス６２によって受け付けられた各種指示の内容、及び通信Ｉ／Ｆ６６によって受信された撮像画像等が挙げられる。

管理装置１１は、二次記憶装置１４を備えている。二次記憶装置１４は、例えば不揮発性のメモリであり、ＣＰＵ６０Ａの制御下で、各種情報を記憶する。二次記憶装置１４に記憶される各種情報としては、例えば、通信Ｉ／Ｆ６６によって受信された撮像画像等が挙げられる。

このように、制御装置６０は、通信Ｉ／Ｆ６６によって受信された撮像画像をディスプレイ１３に対して表示させる制御、及び通信Ｉ／Ｆ６６によって受信された撮像画像を二次記憶装置１４に対して記憶させる制御を行う。

なお、ここでは、制御装置６０が、撮像画像をディスプレイ１３に対して表示させ、かつ、通信Ｉ／Ｆ６６によって受信された撮像画像を二次記憶装置１４に対して記憶させるようにしているが、本開示の技術はこれに限定されない。例えば、撮像画像のディスプレイ１３に対する表示と撮像画像の二次記憶装置１４に対する記憶との何れかが行われるようにしてもよい。

モータ７３は、ドライバ７５の制御下で駆動することで動力を生成する。ヨー軸旋回機構７１は、モータ７３によって生成された動力を受けることで、監視カメラ１０をヨー方向に旋回させる。モータ７４は、ドライバ７６の制御下で駆動することで動力を生成する。ピッチ軸旋回機構７２は、モータ７４によって生成された動力を受けることで監視カメラ１０をピッチ方向に旋回させる。

一例として図６に示すように、管理装置１１のストレージ６０Ｂには、位置合わせ制御処理プログラム３６Ａ、表示制御処理プログラム３６Ｂ及び変倍機構制御処理プログラム３６Ｃが記憶されている。

ＣＰＵ６０Ａは、ストレージ６０Ｂから変倍機構制御処理プログラム３６Ｃを読み出し、読み出した変倍機構制御処理プログラム３６Ｃをメモリ６０Ｃ（図５参照）上で実行することで変倍機構制御部３７Ｓとして動作する。

受付デバイス６２は、変倍機構１８に対して変倍を行わせる指示（以下、「変倍指示」とも称する）を受け付け、変倍機構制御部３７Ｓは、受付デバイス６２によって受け付けられた変倍指示に従って変倍機構１８を制御する。更に、監視カメラ１０のメモリ３５は、焦点距離記憶領域３５Ａを有する。焦点距離記憶領域３５Ａには、最新の焦点距離が上書き保存される。

ＣＰＵ６０Ａは、ストレージ６０Ｂから表示制御処理プログラム３６Ｂを読み出し、読み出した表示制御処理プログラム３６Ｂをメモリ６０Ｃ上で実行することで表示制御部３７Ｔとして動作する。

表示制御部３７Ｔは、監視カメラ１０の画像メモリ３２から撮像画像を読み出し、読み出した撮像画像を、ディスプレイ１３に対してライブビュー画像として表示させる。なお、ここでは、ディスプレイ１３に表示される画像としてライブビュー画像を例示しているが、本開示の技術はこれに限らず、ディスプレイ１３に表示される画像は、記録用の動画像又は記録用の静止画像であってもよい。

ＣＰＵ６０Ａは、本開示の技術に係る「プロセッサ」の一例であり、メモリ６０Ｃは、本開示の技術に係る「メモリ」の一例である。ＣＰＵ６０Ａは、ストレージ６０Ｂから位置合わせ制御処理プログラム３６Ａを読み出し、読み出した位置合わせ制御処理プログラム３６Ａをメモリ６０Ｃ上で実行する。具体的には、ＣＰＵ６０Ａは、取得部３７Ｐ、焦点距離変化判定部３７Ｑ、被写体画像検出部３７Ａ、画像位置判定部３７Ｂ、ずれ量算出部３７Ｄ、ずれ判定部３７Ｅ、振れ補正実行部３７Ｆ、及び位置合わせ制御部３７Ｇとして動作する。被写体画像検出部３７Ａ及び画像位置判定部３７Ｂは、本開示の技術における「検出部」の一例である。

一例として図７に示すように、取得部３７Ｐは、焦点距離記憶領域３５Ａから、焦点距離を取得する。ここで、取得部３７Ｐによって取得された焦点距離が長くなった場合には、長くなる前と比較して、監視カメラ１０によって撮像できる画角が狭くなっている。

焦点距離変化判定部３７Ｑは、取得部３７Ｐで取得された焦点距離が変化したか否かを判定する。具体的には、管理装置１１内のＣＰＵ６０Ａの内部メモリ３７Ｍに、取得部３７Ｐによって前回の取得タイミングで取得された焦点距離（以下、「前回焦点距離」ともいう）が記憶されている。焦点距離変化判定部３７Ｑは、内部メモリ３７Ｍに記憶された前回焦点距離と、取得部３７Ｐで取得された最新の焦点距離（以下、「最新焦点距離」という）とを比較する。そして、前回焦点距離と最新焦点距離とが相違していれば、焦点距離が変化したと判定し、相違していなければ、焦点距離は変化していないと判定する。

焦点距離変化判定部３７Ｑは、判定後に、最新焦点距離の値を内部メモリ３７Ｍに上書き保存することで、内部メモリ３７Ｍ内の前回焦点距離の値を更新する。更新された前回焦点距離は、次に焦点距離変化判定部３７Ｑによって判定が行われる場合に、最新焦点距離との比較対象として、焦点距離変化判定部３７Ｑによって用いられる。

被写体画像検出部３７Ａは、画像メモリ３２から、１フレーム分の撮像画像を取得する。そして、被写体画像検出部３７Ａは、画像メモリ３２から取得した撮像画像内で対象被写体画像を検出する。また、被写体画像検出部３７Ａは、対象被写体画像を検出した場合に、対象被写体画像の位置（以下、「被写体画像位置」とも称する）を検出する。

画像位置判定部３７Ｂは、被写体画像検出部３７Ａによって検出された被写体画像位置が、撮像画像内において、中央領域内にあるか否かを判定する。一例として図１１Ａ及び図１１Ｂに示すように、被写体画像位置が撮像画像において中央領域内にある場合がある。これに対し、一例として図１２Ａ及び図１２Ｂに示すように、旋回機構１６によって監視カメラ１０が旋回されたり、対象被写体自体が移動したりすることで、対象被写体が撮像領域には存在するが中央領域には無い場合もある。

対象被写体画像が中央領域に存在していれば、画像位置判定部３７Ｂでの判定は肯定される。ここで、「存在」とは、対象被写体画像の少なくとも一部が中央領域に被っている態様を意味する。すなわち、対象被写体画像の少なくとも一部が中央領域に被っていれば、画像位置判定部３７Ｂによって「存在」していると判定される。対象被写体画像の少なくとも一部としては、例えば、被写体画像における特定部位（例えば、対象被写体が人物である場合は、人物の顔）が挙げられる。監視カメラ１０には、画像認識機能（例えば、顔認識機能）が搭載されており、特定部位が画像認識機能によって中央領域で認識された場合に、対象被写体画像が中央領域に存在していると画像位置判定部３７Ｂによって判定されてもよい。なお、中央領域は、本開示の技術に係る「特定位置」の一例である。

ずれ量算出部３７Ｄは、画像位置判定部３７Ｂによって被写体画像位置が中央領域ＣＥ内にないと判定された場合に、ずれ量を算出する。ずれ量は、中央領域ＣＥに対する被写体画像位置のずれ、すなわち相対位置の差を示す量であり、ピッチ方向及びヨー方向の２つの値を持つベクトルである。ずれ量としては、例えば、対象被写体画像の中心と、中央領域ＣＥの中心とのずれ量が挙げられる。対象被写体画像の中心は、一例として、対象被写体画像のピッチ方向での中心座標及びヨー方向での中心座標の２つの値として求めることができる。

ずれ判定部３７Ｅは、ずれ量算出部３７Ｄで算出されたずれ量に基づいて、中央領域からの被写体画像位置のずれがあるか否かを判定する。ずれの有無は、例えば、ずれ量算出部３７Ｄで算出されたずれ量が、あらかじめ決められた閾値を超えているか否かによって判定することができる。すなわち、ずれ量が閾値を超えていない場合は、ずれが無いと判定する。これに対し、ずれ量が閾値以上である場合は、ずれがあると判定する。

なお、閾値は、実機による官能試験及び／又はコンピュータ・シミュレーション等によって、ずれ量として許容可能な上限値として予め導き出された固定値であってもよい。また、閾値は、受付デバイス６２等によって受け付けられた指示に応じて変更可能な可変値であってもよいし、撮像シーン等に応じて変更可能な可変値であってもよい。

振れ補正実行部３７Ｆは、ずれ判定部３７Ｅにおいてずれが無いと判定された場合に、振れ量検出センサ４０によって検出された振れ量に基づいて、振れ補正部２４を作動させる。

一例として図８に示すように、ストレージ６０Ｂには、割合導出テーブル６０Ｌが記憶されている。一例として図９に示すように、割合導出テーブル６０Ｌは、位置合わせ制御において、位置合わせ制御部３７Ｇによって用いられる。割合導出テーブル６０Ｌは、取得部３７Ｐによって取得された焦点距離に応じて、レンズ側振れ補正機構２９に比べ撮像素子側振れ補正機構４５を適用する割合を高めるか、又は、撮像素子側振れ補正機構４５に比べレンズ側振れ補正機構２９を適用する割合を高めるか、を示すテーブルである。

なお、以下では、説明の便宜上、レンズ側振れ補正機構２９に比べ撮像素子側振れ補正機構４５を適用する割合を「第１適用割合」とも称し、撮像素子側振れ補正機構４５に比べレンズ側振れ補正機構２９を適用する割合を「第２適用割合」とも称する。また、第１適用割合と第２適用割合とを区別して説明する必要がない場合、「適用割合」と称する。また、ここでは、適用割合を規定する要素として撮像素子側振れ補正機構４５を例示しているが、本開示の技術はこれに限定されず、撮像素子側振れ補正機構４５に代えて、又は、撮像素子側振れ補正機構４５と共に電子式振れ補正部３３を適用してもよい。

図８及び図９に示す例では、焦点距離が閾値ｔｈ未満の場合は、撮像素子側振れ補正機構４５よりも、レンズ側振れ補正機構２９を使用する割合が高く、閾値ｔｈ以上大きい場合は、レンズ側振れ補正機構２９よりも、撮像素子側振れ補正機構４５を使用する割合が高い。

特に、焦点距離が閾値ｔｈを含む既定範囲内の場合に、焦点距離が長くなるに伴って、第１適用割合が漸次的に減少しており、かつ、第２適用割合が漸次的に増加している。既定範囲としては、例えば、図８及び図９に示すように、閾値ｔｈからマイナス側及びプラス側にｘの範囲、すなわち“閾値ｔｈ－ｘ”以上“閾値ｔｈ＋ｘ”以下の範囲（以下、「既定範囲」とも称する）が挙げられる。”閾値ｔｈ－ｘ”は、本開示の技術における「規定範囲の下限値」の一例であり、”閾値ｔｈ＋ｘ”は、本開示の技術における「規定範囲の上限値」の一例である。既定範囲では、第１適用割合が線形で減少し、第２適用割合が線形で増加している。なお、ここでは、第１適用割合が線形で減少し、第２適用割合が線形で増加している形態例を挙げて説明しているが、本開示の技術はこれに限定されず、上記の既定範囲内において、第１適用割合が非線形で（例えば、指数関数的に）減少し、第２適用割合も非線形で（例えば、指数関数的に）増加していてもよい。また、上記の既定範囲内において、第１適用割合及び第２適用割合のうちの一方が非線形で変化し、他方が線形で変化してもよい。この場合も、第１適用割合が減少し、かつ、第２適用割合が増加するようにすればよい。

焦点距離が既定範囲内では、位置合わせ制御においてレンズ側振れ補正機構２９のみが使用され、“閾値ｔｈ－ｘ”超の範囲では、位置合わせ制御において撮像素子側振れ補正機構４５のみが使用される。

レンズ側振れ補正機構２９及び撮像素子側振れ補正機構４５のうち、適用割合の小さい方は、振れ補正実行部３７Ｆによって振れ補正に用いられ、振れを補正する効果を発揮させることが可能である。例えば、焦点距離が“閾値ｔｈ＋ｘ”を上回る場合には、レンズ側振れ補正機構２９が、振れ補正実行部３７Ｆによって振れの補正に用いられ、焦点距離が“閾値ｔｈ－ｘ”未満の場合には、撮像素子側振れ補正機構４５が、振れ補正実行部３７Ｆによって振れの補正に用いられる。

なお、ここでは、割合導出テーブル６０Ｌを例示しているが、本開示の技術はこれに限定されず、割合導出テーブル６０Ｌに代えて、焦点距離を独立変数とし、適用割合を従属変数とする割合算出用演算式を用いてもよい。

位置合わせ制御部３７Ｇは、位置合わせ制御を行う。位置合わせ制御は、取得部３７Ｐによって取得された焦点距離が閾値以上の場合に第１適用割合を高め、焦点距離が閾値未満の場合に第２適用割合を高めることで、被写体画像検出部３７Ａによって検出された被写体画像位置を撮像画像内の特定位置に合わせる位置合わせ制御を含む制御である。具体的には、位置合わせ制御では、ストレージ６０Ｂに記憶されている割合導出テーブル６０Ｌから、ずれ量算出部３７Ｄにおいて算出されたずれ量に対応する適用割合が位置合わせ制御部３７Ｇによって導出される。そして、位置合わせ制御では、導出された適用割合に従って、レンズ側振れ補正機構２９及び／又は撮像素子側振れ補正機構４５が位置合わせ制御部３７Ｇによって駆動されることで、被写体画像位置の撮像画像内の特定位置への合わせ込みが行われる。

次に、監視システム２の本開示の技術に係る部分の作用について、図１０Ａ及び図１０Ｂを参照しながら説明する。なお、図１０Ａ及び図１０Ｂには、ＣＰＵ６０Ａによって位置合わせ制御処理プログラム３６Ａに従って実行される位置合わせ制御処理の流れの一例が示されている。図１０Ａ及び図１０Ｂに示す位置合わせ制御処理の流れは、本開示の技術における「撮像支援方法」の一例である。

図１０Ａ及び図１０Ｂに示す位置合わせ制御処理では、先ず、ステップＳＴ１０で、取得部３７Ｐは、焦点距離を取得するタイミング（以下、「焦点距離取得タイミング」とも称する）が到来したか否かを判定する。焦点距離取得タイミングとしては、例えば、撮像素子２５において既定のフレームレートで対象被写体を撮像するタイミングが挙げられる。より具体的には、フレームレートが６０フレーム／秒の場合であって、取得部３７Ｐがフレームごとに焦点距離を取得するとした場合、１秒あたり６０回の頻度で焦点距離を取得する。取得部３７Ｐは、複数フレームごとに焦点距離を取得してもよく、例えば、２フレームにつき１回の頻度で焦点距離を取得するようにしてもよい。ステップＳＴ１０において、焦点距離取得タイミングが到来していない場合は、判定が否定されて、位置合わせ制御処理は、ステップＳＴ３０に移行する。ステップＳＴ１０において、焦点距離取得タイミングが到来した場合は、判定が肯定されて、位置合わせ制御処理はステップＳＴ１２に移行する。

ステップＳＴ１２で、取得部３７Ｐは、監視カメラ１０の最新焦点距離を取得する。そして、位置合わせ制御処理は、ステップＳＴ１４へ移行する。

ステップＳＴ１４で、焦点距離変化判定部３７Ｑは、ステップＳＴ１２によって取得された最新焦点距離と内部メモリ３７Ｍ内の前回焦点距離とに基づいて、焦点距離が変化したか否かを判定する。ステップＳＴ１４において、焦点距離が変化していない場合は、判定が否定されて、位置合わせ制御処理は、図１０Ｂに示すステップＳＴ３２に移行する。ステップＳＴ１４において焦点距離が変化している場合は、判定が肯定されて、位置合わせ制御処理は、ステップＳＴ１６に移行する。

ステップＳＴ１６で、焦点距離変化判定部３７Ｑは、内部メモリ３７Ｍに記憶されている前回焦点距離の値を最新焦点距離の値に更新する。

次のステップＳＴ１８で、被写体画像検出部３７Ａは、撮像画像から対象被写体画像を検出したか否かを判定する。ステップＳＴ１８において、撮像画像から対象被写体画像を検出していない場合は、判定が否定されて、位置合わせ制御処理は、ステップＳＴ３０に移行する。ステップＳＴ１８において、撮像画像から対象被写体画像を検出した場合は、判定が肯定されて、位置合わせ制御処理は、ステップＳＴ２０に移行する。

ステップＳＴ２０で、画像位置判定部３７Ｂは、撮像画像内の被写体画像位置を検出する。そして、位置合わせ制御処理は、ステップＳＴ２１へ移行する。

次のステップＳＴ２１で、ずれ量算出部３７Ｄは、ずれ量を算出する。そして、位置合わせ制御処理は、ステップＳＴ２２へ移行する。

ステップＳＴ２２で、ずれ判定部３７Ｅは、ステップＳＴ２１で算出されたずれ量に基づいて、被写体画像位置と中央領域との間にずれがあるか否かを判定する。ステップＳＴ２２において、ずれがない場合は、判定が否定されて、位置合わせ制御処理は、ステップＳＴ３２へ移行する。ステップＳＴ２２において、ずれがある場合は、判定が肯定されて、位置合わせ制御処理は、ステップＳＴ２４へ移行する。

ステップＳＴ２４で、振れ補正実行部３７Ｆは、ステップＳＴ１２で取得された最新焦点距離に応じた適用割合を割合導出テーブル６０Ｌから導出する。

次のステップＳＴ２５で、振れ補正実行部３７Ｆは、振れ補正中であるか否かを判定する。すなわち、振れ補正部２４による振れの補正が行われている最中（以下、「振れ補正中」とも称する）か否かを判定する。ステップＳＴ２５において、振れ補正中でない場合は、判定が否定されて、位置合わせ制御処理は、ステップＳＴ２８へ移行する。ステップＳＴ２５において、振れ補正中である場合は、判定が肯定されて、位置合わせ制御処理はステップＳＴ２６へ移行する。

ステップＳＴ２６で、振れ補正実行部３７Ｆは、振れ補正部２４に対して、振れの補正を終了させる。そして、位置合わせ制御処理は、ステップＳＴ２８へ移行する。

ステップＳＴ２８で、位置合わせ制御部３７Ｇは、ステップＳＴ２１で算出されたずれ量と、ステップＳＴ１２で取得された適用割合とに応じて位置合わせ制御を実行する。

次のステップＳＴ３０で位置合わせ制御部３７Ｇは、位置合わせ制御処理を終了する条件（以下、「終了条件」と称する）を満足したか否かを判定する。終了条件としては、例えば、位置合わせ制御処理を終了させる指示が受付デバイス６２によって受け付けられたとの条件が挙げられる。ステップＳＴ３０において、終了条件を満足していない場合は、判定が否定されて、位置合わせ制御処理はステップＳＴ１０へ移行する。ステップＳＴ３０において、終了条件を満足した場合は、判定が肯定されて、位置合わせ制御処理が終了する。

ステップＳＴ３２で、振れ補正実行部３７Ｆは、振れ補正中であるか否かを判定する。ステップＳＴ３２において、振れ補正中である場合は、判定が肯定されて、位置合わせ制御処理はステップＳＴ３０へ移行する。ステップＳＴ３２において、振れ補正中でない場合は、判定が否定されて、位置合わせ制御処理はステップＳＴ３４へ移行する。

ステップＳＴ３４で、振れ補正実行部３７Ｆは、振れ補正を開始する。そして、ステップＳＴ３０へ移行する。

監視システム２では、撮像画像内の中央領域に被写体画像位置を合わせる位置合わせ制御が行われる。被写体画像位置が撮像画像内の中央領域に存在していることで、被写体画像を視認しやすい状態を実現できる。

本実施形態では、位置合わせ制御を行う場合に、監視カメラ１０の焦点距離に応じて、レンズ側振れ補正機構２９及び撮像素子側振れ補正機構４５の適用割合を導出している。具体的には、焦点距離が閾値ｔｈ未満の場合は、撮像素子側振れ補正機構４５よりも、レンズ側振れ補正機構２９を使用する割合を高め、閾値ｔｈ以上の場合は、レンズ側振れ補正機構２９よりも、撮像素子側振れ補正機構４５を使用する割合を高めることで、位置合わせ制御を行っている。

ここで、図１１Ａ及び図１１Ｂには、監視カメラ１０の焦点距離が望遠側及び広角側のうちの広角側である場合に対象被写体を撮像する撮像範囲と、撮像画像における対象被写体画像の位置との関係の一例が示されている。図１１Ａ及び図１１Ｂに示す例では、対象被写体画像は、撮像画像の中央領域にある。

この状態で、対象被写体が移動すると、一例として図１２Ａ及び図１２Ｂに示すように、被写体画像位置が撮像画像の中央領域からずれる。ただし、図１２Ａ及び図１２Ｂに示した例では、被写体画像位置は、撮像画像の範囲内にある。

図１２Ａ及び図１２Ｂに示す状態から、監視カメラ１０の焦点距離が望遠側及び広角側のうちの望遠側に変倍されると、画角が狭くなる。一例として図１３Ａ及び図１３Ｂに示すように、被写体画像位置が、撮像画像の範囲外に位置してしまうことがある。

このように被写体画像位置が、撮像画像の範囲外、又は、中央領域の外部に位置してしまった場合に、本実施形態では、位置合わせ制御処理が行われ、レンズ側振れ補正機構２９及び撮像素子側振れ補正機構４５は、焦点距離に応じた適用割合で作動する。これにより、一例として図１４に示すように、被写体画像位置を、撮像画像において中央領域に位置させることが可能である。

本実施形態では、位置合わせ制御処理を行う場合に、一例として図８及び図９に示すように、焦点距離が閾値ｔｈ以上の場合は、撮像素子側振れ補正機構４５の適用割合が、レンズ側振れ補正機構２９の適用割合よりも高められる。撮像素子側振れ補正機構４５は、被写体からの光が結像される受光面２５Ａを移動させるので、焦点距離に依存せずに被写体画像位置を中央領域に合わせることができる。

これに対し、焦点距離が閾値ｔｈ未満の場合は、レンズ側振れ補正機構２９を適用する割合を、撮像素子側振れ補正機構４５を適用する割合よりも高める。レンズ側振れ補正機構２９は、作動前と比較して光軸ＯＡを傾けることで、被写体画像位置の位置を中央領域に合わせる。従って、防振レンズ１５Ｂ１を光軸ＯＡと垂直な方向に移動させることで、被写体画像位置の位置を中央領域に合わせることができる。

以上説明したように、監視カメラ１０は、撮像支援装置４４を備えている。撮像支援装置４４では、監視カメラ１０の焦点距離が閾値ｔｈ以上の場合には、撮像素子側振れ補正機構４５を適用する割合を高め、閾値ｔｈ未満の場合にはレンズ側振れ補正機構２９を適用する割合を高めて、位置合わせ制御を行っている。従って、本構成によれば、焦点距離にかかわらず位置合わせ制御を撮像素子側振れ補正機構４５又はレンズ側振れ補正機構２９のみに依拠して行う場合に比べ、被写体画像位置を撮像画像内の中央領域（特定位置の一例）に合わせることができる。

本実施形態では、焦点距離が閾値ｔｈ以上の場合は、位置合わせ制御において、レンズ側振れ補正機構２９の適用割合は、撮像素子側振れ補正機構４５の適用割合よりも低い。この場合には、レンズ側振れ補正機構２９に対して振れ補正制御を実行させる。これにより、位置合わせ制御が行われている間でも、振れを補正することができる。

特に、焦点距離が“閾値ｔｈ＋ｘ”超の場合は、レンズ側振れ補正機構２９を位置合わせ制御に用いないので、レンズ側振れ補正機構２９を振れ補正にのみ用いて、振れを補正することが可能である。

これに対し、焦点距離が閾値ｔｈ未満の場合は、位置合わせ制御において、撮像素子側振れ補正機構４５の適用割合は、レンズ側振れ補正機構２９の適用割合よりも低い。この場合には、撮像素子側振れ補正機構４５に対し振れ補正制御を実行させることで、位置合わせ制御が行われている間でも、振れを補正することができる。

特に、焦点距離が“閾値ｔｈ－ｘ”未満の場合は、撮像素子側振れ補正機構４５を位置合わせ制御に用いないので、撮像素子側振れ補正機構４５を振れ補正にのみ用いて、振れを補正することが可能である。

本実施形態の監視カメラ１０は変倍機構を有する。焦点距離が変化している場合において、レンズ側振れ補正機構２９及び撮像素子側振れ補正機構４５を併用して位置合わせ制御を行っている。焦点距離が変化している場合に、レンズ側振れ補正機構２９又は撮像素子側振れ補正機構４５のみを用いて位置合わせ制御処理を行う場合と比較して、被写体画像位置を撮像画像の中央領域に高精度に合わせることができる。

特に、本実施形態では、このように変倍機構を有する監視カメラ１０において、焦点距離が“閾値ｔｈ－ｘ”以上“閾値ｔｈ＋ｘ”以下の範囲では、レンズ側振れ補正機構２９及び撮像素子側振れ補正機構４５を併用して位置合わせ制御処理を行うので、例えば、焦点距離が“閾値ｔｈ－ｘ”以上“閾値ｔｈ＋ｘ”以下の範囲であるか否かに関わらず常に撮像素子側振れ補正機構４５又はレンズ側振れ補正機構２９のみを用いて位置合わせ制御を行う場合に比べ、被写体画像位置を撮像画像内の特定位置に高精度に合わせることができる。

しかも、焦点距離が“閾値ｔｈ－ｘ”以上“閾値ｔｈ＋ｘ”以下の範囲では、レンズ側振れ補正機構２９の適用割合が線形で減少し、撮像素子側振れ補正機構４５の適用割合が線形で増加している。監視カメラ１０の焦点距離が、変倍機構１８によって連続的に変化する場合において、レンズ側振れ補正機構２９から撮像素子側振れ補正機構４５に急激に切り替わらない。従って、レンズ側振れ補正機構２９のみを用いた位置合わせ制御処理及び撮像素子側振れ補正機構４５のみを用いた位置合わせ制御のうち一方から他方へ切り替わるタイミングが撮像画像から視覚的に認識されることを抑制できる。

本実施形態では、監視カメラ１０の焦点距離が変化していない場合には、振れ補正部２４が、レンズ側振れ補正機構２９及び撮像素子側振れ補正機構４５のいずれか一方に対し、振れ補正制御を実行させる。従って、焦点距離が変化していない場合に振れが補正されない構成と比較して、振れの影響が低減された撮像画像を得ることが可能である。

振れ補正部２４は、監視カメラ１０の焦点距離が“閾値ｔｈ－ｘ”未満の場合に、レンズ側振れ補正機構２９を適用して位置合わせ制御を行う。焦点距離が“閾値ｔｈ－ｘ”未満の場合において、位置合わせ制御に撮像素子側振れ補正機構４５を適用しないので、撮像素子側振れ補正機構４５を用いて振れ補正制御を行うこと、すなわち、振れを補正する余地を確保することができる。

振れ補正部は、焦点距離が“閾値ｔｈ＋ｘ”超の場合に、撮像素子側振れ補正機構４５を適用して位置合わせ制御を行う。焦点距離が“閾値ｔｈ＋ｘ”超の場合において、位置合わせ制御にレンズ側振れ補正機構２９を適用しないので、レンズ側振れ補正機構２９を用いて振れ補正制御を行うこと、すなわち、振れを補正する余地を確保することができる。

［第二実施形態］
次に、第二実施形態について説明する。第二実施形態において、第一実施形態と同様の要素、部材等については第一実施形態と同一の符号を付して、詳細な説明を省略する。また第二実施形態の撮像装置の一例である監視カメラの全体的構成も、第一実施形態の監視カメラ１０と同様であるので、図示を省略する。

第二実施形態では、位置合わせ制御処理を行うにあたって、撮像支援装置が、レンズ側振れ補正機構２９及び／又は撮像素子側振れ補正機構４５に加えて、旋回機構１６を作動させることで監視カメラ１０を旋回させることも行う。

例えば、焦点距離が望遠側及び広角側のうちの広角側にある場合で、被写体画像位置が中央領域内にない場合に、旋回機構１６を作動させて監視カメラ１０を旋回させることにより、被写体画像位置を中央領域内とすることが可能な場合がある。更には、被写体画像位置が撮像画像内にない場合であっても、旋回機構１６を作動させて監視カメラ１０を旋回させることにより、被写体画像位置を撮像画像内することが可能な場合がある。

一例として図１５に示すように、ストレージ６０Ｂには、割合導出テーブル６０Ｌの他に、旋回量導出テーブル６０Ｍが記憶されている。旋回量導出テーブル６０Ｍには、ずれ量と監視カメラ１０の旋回量とが対応付けられている。ここで、旋回量とは、被写体画像位置と中央領域とのずれ量に基づいて、撮像画像内において被写体画像位置を中央領域に近づける場合に用いられる情報である。

旋回量は、一対の軸方向の各々に応じて定められている。すなわち、旋回量は、ピッチ軸ＰＡ方向及びヨー軸ＹＡ方向の各々に応じて定められている。従って、撮像画像内において、被写体画像位置を、ピッチ軸ＰＡ方向及びヨー軸ＹＡ方向の両方向について、中央領域ＣＥに近づけることができる。なお、ここでは、旋回量導出テーブル６０Ｍを例示しているが、本開示の技術はこれに限定されない。例えば、旋回量導出テーブル６０Ｍに代えて、ずれ量を独立変数とし、旋回量を従属変数とする旋回量導出用演算式を適用してもよい。

位置合わせ制御部３７Ｇは、旋回量導出テーブル６０Ｍから旋回量を取得する。そして、位置合わせ制御部３７Ｇは、導出した旋回量で旋回機構１６を作動させることで、監視カメラ１０をピッチ方向及び／又はヨー方向に旋回させる。

図１６Ａ及び図１６Ｂには、第二実施形態において、ＣＰＵ６０Ａ（図５参照）によって実行される位置合わせ制御処理の流れの一例が示されている。図１６Ａ及び図１６Ｂは、図１０Ａ及び図１０Ｂに示した位置合わせ制御処理の流れと比較して、ステップＳＴ２２とステップＳＴ２４の間に、ステップＳＴ１００からステップＳＴ１０６を有する点が異なっている。図１６Ａ及び図１６Ｂに示す位置合わせ制御処理の流れは、本開示の技術における「撮像支援方法」の一例である。

ステップＳＴ１００で、位置合わせ制御部３７Ｇは、ストレージ６０Ｂに記憶された旋回量導出テーブル６０Ｍから、ずれ量に応じた旋回量を導出する。

ステップＳＴ１０２で、位置合わせ制御部３７Ｇは、旋回機構１６を作動させることで、監視カメラ１０を旋回させる。

ステップＳＴ１０４で、位置合わせ制御部３７Ｇは、ずれ量を算出する。

ステップＳＴ１０６で、位置合わせ制御部３７Ｇは、ずれがあるか否かを判定する。ステップＳＴ１０６において、ずれがない場合は判定が否定されて、位置合わせ制御処理は、ステップＳＴ３２（図１０Ｂ参照）へ移行する。ステップＳＴ１０６において、ずれがある場合は、判定が肯定されて、位置合わせ制御処理は、ステップＳＴ２４へ移行する。

従って、第二実施形態では、被写体画像位置と中央領域とにずれがある場合に、旋回機構１６が作動されて、ずれ量に応じた旋回量で監視カメラ１０が旋回される。監視カメラ１０が旋回されることで、撮像画像の外部に対象被写体画像が位置している場合に、撮像画像内に対象被写体画像が位置する状態を実現できる。

レンズ側振れ補正機構２９及び撮像素子側振れ補正機構４５による位置合わせの精度は、監視カメラ１０の旋回による位置合わせの精度と比較して高い。これに対し、監視カメラ１０の旋回による位置合わせは、レンズ側振れ補正機構２９及び撮像素子側振れ補正機構４５による位置合わせと比較して広範囲を短時間で位置合わせできる。従って、一例として図１７に示すように、先ず監視カメラ１０の旋回によって位置合わせの粗調整を行い、その後にレンズ側振れ補正機構２９及び撮像素子側振れ補正機構４５によって、監視カメラ１０の旋回による位置合わせよりも高い位置合わせの精度で、位置合わせの微調整を行うことが可能である。

特に、旋回機構１６を用いた位置合わせ制御において、旋回機構１６の作動による旋回角にバラつきがある場合には、旋回機構１６による位置合わせ制御では、被写体画像位置を中央領域に位置させることが難しい。本実施形態では、位置合わせ制御において、旋回機構１６の作動によって、被写体画像位置に対する粗調整を行い、その後に、レンズ側振れ補正機構２９及び／又は撮像素子側振れ補正機構４５の作動によって、被写体画像位置に対する微調整を行うので、位置合わせ制高精度化を実現することができる。

上記各実施形態では、監視カメラ１０が画像領域移動部として撮像素子側振れ補正機構４５と電子式振れ補正部３３とを有する構成において、位置合わせ制御では撮像素子側振れ補正機構４５を適用する例を挙げた。しかし、位置合わせ制御において適用する画像領域移動部は、電子式振れ補正部３３であってもよいし、撮像素子側振れ補正機構４５と電子式振れ補正部３３とを併用してもよい。

上記各実施形態では、位置合わせ制御処理において、被写体画像位置のずれ量を算出し、ずれがある場合には位置合わせ制御を行う場合を例示した。これに対し、被写体画像位置のずれ量に閾値（以下、「ずれ閾値」と称する）を設定し、ずれ量がずれ閾値以上の場合に、振れ補正部２４を作動させることにより、位置合わせ制御を行うようにしてもよい。

この場合、例えば、監視カメラ１０の焦点距離が変化したか否かに関わらず、一定のタイミングでずれ量を算出してもよい。例えば、監視カメラ１０の焦点距離が変化しておらず広角側に維持されている状態であっても、対象被写体自体が移動する等により、対象被写体位置が、撮像画像の内部ではあっても中央領域の外部となることがある。この状態でのずれ量が大きいと、変倍機構１８によって望遠側に変倍されると、被写体画像が拡大されつつ撮像画像の外部に移動してしまうおそれがある。従って、ずれ閾値として、中央領域の外部にある被写体画像位置が、広角側から望遠側への変倍によって撮像画像の外部に移動してしまうか否か、を基準として設定することが可能である。

特に、振れ補正部を作動させると、撮像画像の中心と光軸とがずれた状態となるため、被写体画像位置が中央領域にあっても、この状態で焦点距離を望遠側へ変倍すると、被写体画像位置が撮像画像の外側に移動するおそれがある。この場合に、位置合わせ制御を行うことで、位置合わせ制御を行わない構成と比較して、被写体画像位置を中央領域に高精度で合わせることが可能である。

本実施形態では、本開示の技術に係る「レンズ移動機構」の一例としてレンズ側振れ補正機構２９が挙げられており、本開示の技術に係る「画像領域移動部（画像領域移動コンポーネント）」の一例として、撮像素子側振れ補正機構４５及び電子式振れ補正部３３が挙げられている。レンズ側振れ補正機構２９、撮像素子側振れ補正機構４５及び電子式振れ補正部３３はいずれも、振れ補正部の一例でもあり、被写体画像位置のずれを補正するために適用される。しかしながら、本開示の技術に係るレンズ移動機構は、被写体画像位置のずれを補正するための機構に限定されず、レンズを光軸ＯＡと交差する方向に移動させることが可能な機構であればよい。本開示の技術に係る画像領域移動部も、撮像素子２５における撮像画像の領域を、光軸ＯＡと交差する方向に移動させることができれば、被写体画像位置のずれを補正するための構成に限定されない。

上記実施形態で説明した中央領域は、本開示の技術に係る「特定位置」の一例である。「特定位置」は、撮像画像における中央領域に限定されず、撮像画像の中央からピッチ方向及びヨー方向にずれた位置であってもよい。特定位置を、撮像画像内の中央領域とすることで、被写体画像位置を撮像画像内の中央に合わせることが可能である。

また、監視カメラ１０では、防振レンズ１５Ｂ１を移動させることで振れが補正される。従って、防振レンズ１５Ｂ１の可動域の範囲内で振れを補正すること、及び被写体画像位置を中央領域に合わせることができる。

上記実施形態では、一例として図９に示したように、焦点距離が既定範囲では、位置合わせ制御において、レンズ側振れ補正機構２９を適用する割合が線形で減少し、撮像素子側振れ補正機構４５を適用する割合が線形で増加している例を挙げた。これに対し、例えば、図１８に示すように、焦点距離が閾値ｔｈ未満ではレンズ側振れ補正機構２９の適用割合を１００％とし、焦点距離が閾値ｔｈ以上では撮像素子側振れ補正機構４５の適用割合を１００％とする制御でもよい。一例として図１８に示す制御では、焦点距離が閾値ｔｈ以上であるか否かに応じて、レンズ側振れ補正機構２９及び撮像素子側振れ補正機構４５の一方のみを適用するので、位置合わせ制御が容易である。

上記各実施形態では、管理装置１１のストレージ６０Ｂに、位置合わせ制御処理プログラム３６Ａ、表示制御処理プログラム３６Ｂ及び変倍機構制御処理プログラム３６Ｃが記憶されている。そして、管理装置１１のメモリ６０Ｃでこれらのプログラムを実行する形態例を挙げた。本開示の技術はこれに限定されない。例えば、監視カメラ１０のストレージ３６にこれらのプログラムが記憶され、監視カメラ１０のＣＰＵ３７がメモリ３５でこれらのプログラムを実行する例でもよい。更には、一例として図１９に示すように、位置合わせ制御処理プログラム３６Ａ、表示制御処理プログラム３６Ｂ及び変倍機構制御処理プログラム３６Ｃを、非一時的記憶媒体である記憶媒体１００に記憶させておいてもよい。図１９に示す例の場合、記憶媒体１００に記憶されている位置合わせ制御処理プログラム３６Ａ、表示制御処理プログラム３６Ｂ及び変倍機構制御処理プログラム３６Ｃは、制御装置６０にインストールされ、ＣＰＵ６０Ａは、位置合わせ制御処理プログラム３６Ａ、表示制御処理プログラム３６Ｂ及び変倍機構制御処理プログラム３６Ｃに従って、上述した各処理を実行する。

図５に示す例では、ＣＰＵ６０Ａは、単数のＣＰＵであるが、本開示の技術はこれに限定されず、複数のＣＰＵを採用してもよい。なお、記憶媒体１００の一例としては、ＳＳＤ又はＵＳＢメモリなどの任意の可搬型の記憶媒体が挙げられる。

また、通信網（図示省略）を介してコンピュータ１９に接続される他のコンピュータ又はサーバ装置等の記憶部に位置合わせ制御処理プログラム３６Ａを記憶させておき、上述の監視カメラ１０の要求に応じて位置合わせ制御処理プログラム３６Ａがコンピュータ１９にダウンロードされるようにしてもよい。この場合、ダウンロードされた位置合わせ制御処理プログラム３６Ａがコンピュータ１９のＣＰＵ３７によって実行される。

また、図１６に示す例では、管理装置１１の制御装置６０に位置合わせ制御処理プログラム３６Ａ、表示制御処理プログラム３６Ｂ及び変倍機構制御処理プログラム３６Ｃがインストールされる態様が示されているが、本開示の技術はこれに限定されず、監視カメラ１０のコンピュータ１９に位置合わせ制御処理プログラム３６Ａ、表示制御処理プログラム３６Ｂ及び変倍機構制御処理プログラム３６Ｃがインストールされるようにしてもよい。この場合、ＣＰＵ３７は、位置合わせ制御処理プログラム３６Ａに従って、上述した位置合わせ制御処理を実行し、表示制御処理プログラム３６Ｂに従って、上述した表示制御処理を実行し、変倍機構制御処理プログラム３６Ｃに従って、上述した変倍機構制御処理を実行する。また、位置合わせ制御処理、表示制御処理及び変倍機構制御処理は、監視カメラ１０と管理装置１１とで分散して行われるようにしてもよい。例えば、位置合わせ制御が管理装置１１のＣＰＵ６０Ａによって実行され、表示制御及び変倍機構制御が監視カメラ１０のＣＰＵ３７によって実行されるようにしてもよい。

また、上記実施形態では、変倍機構制御部３７Ｓ、表示制御部３７Ｔ、取得部３７Ｐ、焦点距離変化判定部３７Ｑ、被写体画像検出部３７Ａ、画像位置判定部３７Ｂ、ずれ量算出部３７Ｄ、ずれ判定部３７Ｅ、及び位置合わせ制御部３７Ｇとして、制御装置６０によるソフトウェア構成により実現される形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、変倍機構制御部３７Ｓ、表示制御部３７Ｔ、取得部３７Ｐ、焦点距離変化判定部３７Ｑ、被写体画像検出部３７Ａ、画像位置判定部３７Ｂ、ずれ量算出部３７Ｄ、ずれ判定部３７Ｅ、及び／又は位置合わせ制御部３７Ｇは、例えば、ＡＳＩＣ、ＦＰＧＡ、及び／又はＰＬＤを含むデバイスによって実現されるようにしてもよい。また、変倍機構制御部３７Ｓ、表示制御部３７Ｔ、取得部３７Ｐ、焦点距離変化判定部３７Ｑ、被写体画像検出部３７Ａ、画像位置判定部３７Ｂ、ずれ量算出部３７Ｄ、ずれ判定部３７Ｅ、及び／又は位置合わせ制御部３７Ｇは、ハードウェア構成及びソフトウェア構成の組み合わせによって実現されてもよい。

上記の位置合わせ制御処理、表示制御処理、及び変倍機構制御処理（以下、これらの処理を「制御処理」と総称する）を実行するハードウェア資源としては、次に示す各種のプロセッサを用いることができる。プロセッサとしては、例えば、上述したように、ソフトウェア、すなわち、プログラムを実行することで、制御処理を実行するハードウェア資源として機能する汎用的なプロセッサであるＣＰＵが挙げられる。また、プロセッサとしては、例えば、ＦＰＧＡ、ＰＬＤ、又はＡＳＩＣなどの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路が挙げられる。何れのプロセッサにもメモリが内蔵又は接続されており、何れのプロセッサもメモリを使用することで制御処理を実行する。

制御処理を実行するハードウェア資源は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせ、又はＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、制御処理を実行するハードウェア資源は１つのプロセッサであってもよい。

１つのプロセッサで構成する例としては、第１に、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが、変倍機構制御部３７Ｓ、表示制御部３７Ｔ、取得部３７Ｐ、焦点距離変化判定部３７Ｑ、被写体画像検出部３７Ａ、画像位置判定部３７Ｂ、ずれ量算出部３７Ｄ、ずれ判定部３７Ｅ、及び位置合わせ制御部３７Ｇの各々の処理を実行するハードウェア資源として機能する形態がある。第２に、ＳｏＣなどに代表されるように、位置合わせ制御処理を実行する複数のハードウェア資源を含むシステム全体の機能を１つのＩＣチップで実現するプロセッサを使用する形態がある。このように、変倍機構制御部３７Ｓ、表示制御部３７Ｔ、取得部３７Ｐ、焦点距離変化判定部３７Ｑ、被写体画像検出部３７Ａ、画像位置判定部３７Ｂ、ずれ量算出部３７Ｄ、ずれ判定部３７Ｅ、及び位置合わせ制御部３７Ｇの各々の処理は、ハードウェア資源として、上記各種のプロセッサの１つ以上を用いて実現される。

更に、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子などの回路素子を組み合わせた電気回路を用いることができる。

また、上記の位置合わせ制御処理はあくまでも一例である。従って、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよいことは言うまでもない。

また、上記実施形態では、本開示の技術に係る撮像装置の一例として監視カメラ１０を挙げたが、本開示の技術はこれに限定されない。例えば、監視カメラ１０に代えて、携帯型のレンズ交換式カメラ、携帯型のレンズ固定式カメラ、パーソナル・コンピュータ、スマートデバイス、又はウェアラブル端末装置等の各種の電子機器に対しても本開示の技術は適用可能である。これらの電子機器であっても、上記各実施形態で説明した監視カメラ１０と同様の作用及び効果が得られる。

また、上記の制御処理はあくまでも一例である。従って、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよいことは言うまでもない。

以上に示した記載内容及び図示内容は、本開示の技術に係る部分についての詳細な説明であり、本開示の技術の一例に過ぎない。例えば、上記の構成、機能、作用、及び効果に関する説明は、本開示の技術に係る部分の構成、機能、作用、及び効果の一例に関する説明である。よって、本開示の技術の主旨を逸脱しない範囲内において、以上に示した記載内容及び図示内容に対して、不要な部分を削除したり、新たな要素を追加したり、置き換えたりしてもよいことは言うまでもない。また、錯綜を回避し、本開示の技術に係る部分の理解を容易にするために、以上に示した記載内容及び図示内容では、本開示の技術の実施を可能にする上で特に説明を要しない技術常識等に関する説明は省略されている。

本明細書において、「Ａ及び／又はＢ」は、「Ａ及びＢのうちの少なくとも１つ」と同義である。つまり、「Ａ及び／又はＢ」は、Ａだけであってもよいし、Ｂだけであってもよいし、Ａ及びＢの組み合わせであってもよい、という意味である。また、本明細書において、３つ以上の事柄を「及び／又は」で結び付けて表現する場合も、「Ａ及び／又はＢ」と同様の考え方が適用される。

本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。

以上の実施形態に関し、更に以下の付記を開示する。

（付記）
プロセッサと、
上記プロセッサに内蔵又は接続されたメモリと、を含み、
上記プロセッサは、
レンズ及び撮像素子を有する撮像装置であって、レンズの光軸と交差する方向にレンズを移動させるレンズ移動機構と、撮像素子における撮像画像の領域を光軸と交差する方向に移動させる画像領域移動部と、を有する撮像装置の焦点距離を取得し、
撮像装置によって対象被写体を含む撮像領域が撮像されることで得られる撮像画像内の対象被写体を示す対象被写体画像の被写体画像位置を検出し、
取得した焦点距離が閾値以上の場合にレンズ移動機構に比べ画像領域移動部を適用する割合を高め、焦点距離が閾値未満の場合に画像領域移動部に比べレンズ移動機構を適用する割合を高めることで、検出した被写体画像位置を撮像画像内の特定位置に合わせる位置合わせ制御を行う
情報処理装置。

Claims (16)

1. プロセッサと、
   前記プロセッサに内蔵又は接続されたメモリと、を含み、
   前記プロセッサは、
   レンズ及び撮像素子を有する撮像装置であって、前記レンズの光軸と交差する方向に前記レンズを移動させるレンズ移動機構と、前記撮像素子における撮像画像の領域を前記光軸と交差する方向に移動させる画像領域移動コンポーネントと、を有する撮像装置の焦点距離を取得し、
   前記撮像装置によって対象被写体を含む撮像領域が撮像されることで得られる撮像画像内の前記対象被写体を示す対象被写体画像の被写体画像位置を検出し、
   取得した前記焦点距離が閾値以上の場合に前記レンズ移動機構に比べ前記画像領域移動コンポーネントを適用する割合を高め、前記焦点距離が前記閾値未満の場合に前記画像領域移動コンポーネントに比べ前記レンズ移動機構を適用する割合を高めることで、検出した前記被写体画像位置を前記撮像画像内の特定位置に合わせる位置合わせ制御を行う
   撮像支援装置。
2. 前記レンズ移動機構は、前記撮像装置に与えられた振動に起因して生じる振れを前記レンズの移動により補正するレンズ側振れ補正機構であり、
   前記画像領域移動コンポーネントは、前記振れを撮像素子の移動又は前記撮像素子によって撮像されることで得られる撮像画像に対する画像処理により補正する撮像素子側振れ補正コンポーネントであり、
   前記プロセッサは、前記位置合わせ制御を、前記焦点距離が閾値以上の場合に前記レンズ側振れ補正機構に比べ前記撮像素子側振れ補正コンポーネントを適用する割合を高め、前記焦点距離が前記閾値未満の場合に前記撮像素子側振れ補正コンポーネントに比べ前記レンズ側振れ補正機構を適用する割合を高めることで行う請求項１に記載の撮像支援装置。
3. 前記プロセッサは、取得した前記焦点距離が前記閾値以上の場合に、前記レンズ側振れ補正機構に比べ前記撮像素子側振れ補正コンポーネントを適用する割合を高めることで前記位置合わせ制御を行い、かつ、前記レンズ側振れ補正機構に対して前記振れを補正させる請求項２に記載の撮像支援装置。
4. 前記プロセッサは、取得した前記焦点距離が前記閾値未満の場合に、前記撮像素子側振れ補正コンポーネントに比べ前記レンズ側振れ補正機構を適用する割合を高めることで前記位置合わせ制御を行い、かつ、前記撮像素子側振れ補正コンポーネントに対して前記振れを補正させる請求項２又は請求項３に記載の撮像支援装置。
5. 前記撮像装置は、前記焦点距離を可変とする変倍機構を有し、
   前記プロセッサは、取得した前記焦点距離が変化している場合に前記撮像素子側振れ補正コンポーネント及び前記レンズ側振れ補正機構を併用することで前記位置合わせ制御を行う請求項２から請求項４のいずれか一項に記載の撮像支援装置。
6. 前記プロセッサは、取得した前記焦点距離が変化していない場合に前記撮像素子側振れ補正コンポーネント及び前記レンズ側振れ補正機構のうちの少なくとも一方に対して前記振れを補正させる請求項２から請求項５のいずれか一項に記載の撮像支援装置。
7. 前記プロセッサは、取得した前記焦点距離が、前記閾値を含む既定範囲内の場合に、前記レンズ側振れ補正機構及び前記撮像素子側振れ補正コンポーネントを併用して前記位置合わせ制御を行う請求項２から請求項６のいずれか一項に記載の撮像支援装置。
8. 前記位置合わせ制御は、前記プロセッサによって取得された前記焦点距離が前記既定範囲内の場合に、前記焦点距離が長くなるに伴って、前記レンズ側振れ補正機構に比べ前記撮像素子側振れ補正コンポーネントを適用する割合を漸次的に増加させる制御を含む制御である請求項７に記載の撮像支援装置。
9. 前記プロセッサは、取得した前記焦点距離が前記既定範囲の下限値未満の場合に、前記レンズ側振れ補正機構及び前記撮像素子側振れ補正コンポーネントのうちの前記レンズ側振れ補正機構を用いて前記位置合わせ制御を行う請求項７又は請求項８に記載の撮像支援装置。
10. 前記プロセッサは、取得した前記焦点距離が前記既定範囲の上限値を超える場合に、前記レンズ側振れ補正機構及び前記撮像素子側振れ補正コンポーネントのうちの前記撮像素子側振れ補正コンポーネントを用いて前記位置合わせ制御を行う請求項７から請求項９のいずれか一項に記載の撮像支援装置。
11. 前記プロセッサは、前記撮像装置を旋回可能な旋回機構、前記撮像素子側振れ補正コンポーネント、及び前記レンズ側振れ補正機構を含む位置合わせコンポーネントを用いることで前記位置合わせ制御を行い、
    前記撮像画像内で前記被写体画像位置を調整する位置合わせ精度は、前記旋回機構よりも前記撮像素子側振れ補正コンポーネント及び前記レンズ側振れ補正機構の方が高い請求項２から請求項１０のいずれか一項に記載の撮像支援装置。
12. 請求項１１に記載の撮像支援装置と、
    前記旋回機構と、を含み、
    前記撮像支援装置は、前記旋回機構が前記撮像装置を旋回させる場合に前記撮像装置による撮像を支援する撮像支援システム。
13. 請求項１から請求項１１のいずれか一項に記載の撮像支援装置と、
    前記撮像装置と、を含み、
    前記撮像支援装置は、前記撮像装置に対する撮像の支援を行う撮像システム。
14. 前記撮像装置を旋回させる旋回機構を更に含む請求項１３に記載の撮像システム。
15. レンズ及び撮像素子を有する撮像装置であって、前記レンズの光軸と交差する方向に前記レンズを移動させるレンズ移動機構と、前記撮像素子における撮像画像の領域を前記光軸と交差する方向に移動させる画像領域移動コンポーネントと、を有する撮像装置の焦点距離を取得すること、
    前記撮像装置によって対象被写体を含む撮像領域が撮像されることで得られる撮像画像内の前記対象被写体を示す対象被写体画像の被写体画像位置を検出すること、及び、
    取得された前記焦点距離が閾値以上の場合に前記レンズ移動機構に比べ前記画像領域移動コンポーネントを適用する割合を高め、前記焦点距離が前記閾値未満の場合に前記画像領域移動コンポーネントに比べ前記レンズ移動機構を適用する割合を高めることで、検出された前記被写体画像位置を前記撮像画像内の特定位置に合わせる位置合わせ制御を行うこと
    を含む撮像支援方法。
16. コンピュータに、
    レンズ及び撮像素子を有する撮像装置であって、前記レンズの光軸と交差する方向に前記レンズを移動させるレンズ移動機構と、前記撮像素子における撮像画像の領域を前記光軸と交差する方向に移動させる画像領域移動コンポーネントと、を有する撮像装置の焦点距離を取得すること、
    前記撮像装置によって対象被写体を含む撮像領域が撮像されることで得られる撮像画像内の前記対象被写体を示す対象被写体画像の被写体画像位置を検出すること、及び、
    取得した前記焦点距離が閾値以上の場合に前記レンズ移動機構に比べ前記画像領域移動コンポーネントを適用する割合を高め、前記焦点距離が前記閾値未満の場合に前記画像領域移動コンポーネントに比べ前記レンズ移動機構を適用する割合を高めることで、検出した前記被写体画像位置を前記撮像画像内の特定位置に合わせる位置合わせ制御を行うこと
    を含む処理を実行させるためのプログラム。

Images