JP2009206920A - カメラ - Google Patents

Abstract

【課題】撮影画面から追尾対象の被写体を見失ったときに自動的に再捕捉する。
【解決手段】撮影光学系１により結像された像を撮像する撮像手段２と、追尾対象の画像を記憶する記憶手段６と、撮像手段２により撮像された画像の中から、記憶手段６に記憶されている画像を用いて追尾対象の被写体を認識する画像認識手段７と、撮影光学系１のズーミングを行うズーミング手段７，８と、画像認識手段７で追尾対象の被写体を認識できなくなった場合は、ズーミング手段７，８により撮影光学系１のズーミングを行った後、画像認識手段７により追尾対象被写体の認識を行う制御手段７とを備える。
【選択図】図１

Description

本発明はカメラに関する。

被写体の特徴を抽出して被写体位置を検出し、被写体が画面の中央に位置するようにパニングとチルティングを行うカメラにおいて、被写体の移動速度を検出し、被写体速度が所定速度より速い場合には、ワイド側にズームして被写体が画面から外れないようにしたカメラが知られている（例えば、特許文献１参照）。

この出願の発明に関連する先行技術文献としては次のものがある。
特開平０８−１１６４８５号公報

しかしながら、上述した従来のカメラでは、動きの速い被写体が画面から外れないように予防しているだけで、被写体が画面から外れてしまったときには何の効果もない。

（１） 請求項１の発明は、撮影光学系により結像された像を撮像する撮像手段と、追尾対象の画像を記憶する記憶手段と、撮像手段により撮像された画像の中から、記憶手段に記憶されている画像を用いて追尾対象の被写体を認識する画像認識手段と、撮影光学系のズーミングを行うズーミング手段と、画像認識手段で追尾対象の被写体を認識できなくなった場合は、ズーミング手段により撮影光学系のズーミングを行った後、画像認識手段により追尾対象被写体の認識を行う制御手段とを備える。
（２） 請求項２の発明は、請求項１に記載のカメラにおいて、制御手段は、撮像手段により繰り返し撮像を行って画像認識手段により追尾対象被写体の認識を行っているときに、追尾対象被写体が撮影光学系の撮影画面から外れた場合には、ズーミング手段により撮影光学系をワイド側にズーミングしながら画像認識手段により追尾対象被写体の認識を行い、追尾対象被写体が認識されたら撮影光学系のズーミングを停止する。
（３） 請求項３の発明は、請求項２に記載のカメラにおいて、制御手段は、撮影光学系が画像認識手段による追尾対象被写体の認識が可能なワイド側位置に達したら撮影光学系のズーミングを停止する。
（４） 請求項４の発明は、請求項２または請求項３に記載のカメラにおいて、制御手段は、撮影光学系をワイド側にズーミングして追尾対象被写体が認識された後、追尾対象被写体が撮影画面の中央で検出された場合は、ズーミング手段により撮影光学系をテレ側にズーミングしてワイド側にズーミングを開始した位置まで戻す。
（５） 請求項５の発明は、請求項１に記載のカメラにおいて、制御手段は、撮像手段により繰り返し撮像を行って画像認識手段により追尾対象被写体の認識を行っているときに、追尾対象被写体がカメラから遠ざかって画像認識手段で追尾対象被写体を認識できなくなった場合には、ズーミング手段により撮影光学系をテレ側にズーミングしながら画像認識手段により追尾対象被写体の認識を行い、追尾対象被写体が認識されたら撮影光学系のズーミングを停止する。
（６） 請求項６の発明は、請求項１に記載のカメラにおいて、制御手段は、撮像手段により繰り返し撮像を行って画像認識手段により追尾対象被写体の認識を行っているときに、追尾対象被写体の移動が検出されずに追尾対象被写体の認識ができなくなった場合には、撮影光学系のズーミングを禁止する。

本発明によれば、撮影画面から追尾対象の被写体を見失っても、撮影者に代わってカメラが自動的に追尾対象を再捕捉することができる。

図１は一実施の形態のデジタルカメラの構成を示す。なお、本願発明と直接的に関係のないカメラの機器および装置については図示と説明を省略する。撮影レンズ１はズーミングレンズ１ａ、フォーカシングレンズ１ｂおよび絞り１ｃを備え、撮像素子２の受光面に被写体像を結像する。撮像素子２はＣＣＤやＣＭＯＳなどから構成され、被写体像を撮像して画像信号を出力する。画像処理装置３は撮像素子２から画像信号を入力し、Ａ／Ｄ変換、輪郭強調、ガンマ補正などの種々の処理を施す。表示装置４はＬＣＤに撮影画像や種々の撮影に関する情報を表示する。記録媒体５はメモリカードなどの各種のメモリからなり、撮影した画像を記録する。画像メモリ６は撮影した画像を一時的に記憶するメモリである。なお、詳細を後述する追尾対象被写体の画像は画像メモリ６に記憶されている。

制御装置７はマイクロコンピューター７ａやメモリ７ｂを備え、カメラの各種演算やシーケンス制御を行う。制御装置７はドライバー８を制御してズーミングレンズ１ａを駆動し、撮影レンズ１の焦点距離を調節する。制御装置７はドライバー９を制御してフォーカシングレンズ１ｂを駆動し、撮影レンズ１の焦点調節を行う。また、制御装置７はドライバー１０を制御して絞り１ｃを駆動し、絞り開口を調節する。さらに、制御装置７はドライバー１１を制御して撮像素子２を駆動し、電荷蓄積制御、画像信号読み出し制御などを行う。そのほか、制御装置７は、表示装置４の表示制御、記録媒体５への画像記録制御、画像メモリ６への画像記憶制御なども行う。

操作部材１２には、シャッターボタンが半押しされるとオンするレリーズ半押しスイッチ、シャッターボタンが全押しされるとオンするレリーズ全押しスイッチ、撮影画面内の複数の焦点検出エリアから任意のエリアを選択するための焦点検出エリア選択スイッチ、追尾対象の被写体画像を選択するための追尾対象選択スイッチなど、カメラの操作を行うための各種スイッチが含まれる。

図２および図３は、一実施の形態の被写体追尾動作を示す示すフローチャートである。制御装置７のマイクロコンピューター７ａは、カメラの電源オン、もしくは所定の追尾開始操作があるとこの被写体追尾動作を開始する。なお、メモリ７ｂには追尾対象の被写体画像が複数枚記憶されており、それらの中から追尾対象選択スイッチにより任意の追尾対象画像を選択して追尾動作を行うことができる。また、表示装置４に表示されている被写体画像の中から焦点検出エリアスイッチにより任意の被写体を追尾対象に指定し、その被写体画像をメモリ７ｂに記憶して追尾動作を行うこともできる。

被写体追尾動作では、撮像素子２により撮像された画像とメモリ７ｂに記憶されている追尾対象の画像とを照合し、撮像画像の中に追尾対象が存在するか否かを判定する、いわゆるテンプレートマッチングを行い、追尾対象の被写体を追尾する。

図２のステップ１において被写体追尾動作中に撮像画像の中に追尾対象が存在しなくなったか、つまり追尾対象を見失ったか否かを判別し、追尾対象の見失いがあるとステップ２へ進む。ステップ２では追尾対象が撮影画面から外れたか否かを判別する。

図４は撮影画面２１内の追尾対象の被写体２２を示す。この例では、最初は(ａ)に示すように撮影画面２１内に追尾対象の被写体２２を捕捉していたが、そのうち(ｂ)に示すように被写体２２が移動して撮影画面２１の右端へ移動し、ついには(ｃ)に示すように被写体２２が撮影画面２１から外れてしまった状態を示す。なお、追尾対象被写体が撮影画面から外れる原因には、追尾対象の被写体自体が移動して撮影画面から外れる場合の他に、撮影者がカメラの向きを変えたために追尾対象が撮影画面から外れる場合がある。また、追尾対象被写体は撮影画面の上下左右の何れの方向へも外れることがある。

追尾対象の被写体が撮影画面から外れたか否かは、撮像素子２により時系列的に撮像される画像のテンプレートマッチング結果において、追尾対象被写体の撮影画面内の位置の変化に基づいて判断することができる。

図５は、追尾対象被写体が撮影画面から外れた場合の追尾動作を示す図である。(ａ)に示すように追尾対象の被写体２２を撮影画面内に捕捉している場合には、(ｂ)に示すようにカメラ背面の表示装置４（図１参照）のＬＣＤ４ａに追尾対象被写体２２が映し出され、その顔位置には顔認識マーク２３が表示されている。なお、ここでは追尾対象被写体を顔認識により検出する例を示す。次に、(ｃ)に示すように追尾対象被写体２２が移動して撮影画面内で捕捉できなくなると、(ｄ)に示すように追尾対象被写体２２がＬＣＤ４ａから外れてしまう。

追尾対象の被写体が撮影画面から外れたために追尾対象を見失った場合はステップ３へ進み、ズーミングレンズ１ａをワイド側へズーミングしながらテンプレートマッチングを行う。ステップ４でテンプレートマッチングの結果、追尾対象被写体を検出できたか否かを確認し、検出できなかった場合はステップ５へ進む。

ステップ５ではズーミングレンズ１ａがワイド端に達したか、またはテンプレートマッチングが可能な所定のワイド側限界位置に達したかを判別し、どちらかのワイド側限界位置へ到達した場合はステップ６へ進み、ズーミングを停止する。なお、後者の限界位置は、メモリ７ｂに記憶されている追尾対象の被写体画像、すなわちテンプレート画像を用いて撮像画像とマッチングを行うときに、撮影画像の被写体が小さくなりすぎてテンプレートマッチング不能になる限界の焦点距離である。追尾対象被写体の画像、例えば顔画像の大きさに基づいてワイド側限界位置を決定する。ステップ５でワイド側限界位置に達していないと判別された場合はステップ３へ戻り、ワイド側へズーミングしながらテンプレートマッチングを続ける。

一方、ステップ４で追尾対象被写体が検出された場合はステップ６へ進み、ズーミングを停止する。

追尾対象被写体２２がＬＣＤ４ａから外れると、ワイド側へズーミングしながらテンプレートマッチングが行われる。その結果、再び追尾対象被写体２２を撮影画面内に捕捉できると、図５(ｅ)に示すようにＬＣＤ４ａ内に追尾対象被写体２２が現れ、その顔位置には顔認識マーク２３が表示される。そして、この状態においてズーミングが停止される。

ワイド側へのズーミング停止後のステップ７において、追尾対象被写体が撮影画面の中央に存在するか否かを判別する。通常、撮影者は追尾対象の被写体を撮影画面中央に捕捉する傾向が強く、追尾対象被写体を再捕捉後に撮影者がカメラの向きを変えて追尾対象が撮影画面の中央に配置されるまで待つ。撮像素子２の撮像画像とテンプレート画像とのマッチングの結果、追尾対象が撮影画面の中央に位置していないと判別された場合はステップ８へ進み、ズーミング停止から所定時間経過したか否かを確認する。所定時間の経過がなければステップ７へ戻り追尾対象が撮影画面中央に配置されたか否かを判別する。

一方、ズーミング停止から所定時間が経過したときは、撮影者がカメラの向きを変える意志がないと判断してステップ１へ戻り、上述した処理を繰り返す。

追尾対象を再捕捉してズーミングが停止され、追尾対象が画面中央に戻された場合はステップ９へ進み、テレ側へのズーミングを開始する。続くステップ１０で、追尾対象を見失い後にワイド側へズーミングを開始する前の追尾対象の大きさ、つまりワイド側へのズーミング開始前の焦点距離まで戻ったか否かを判別し、元の大きさの追尾対象になるまで拡大されたらステップ１１へ進み、テレ側へのズーミングを停止する。

なお、上述した一実施の形態では追尾対象が画面から外れて見失った後、ワイド側へズーミングをしながらテンプレートマッチングを行い、追尾対象を検出したらワイド側へのズーミングを停止する例を示したが、いきなり上述したワイド側限界位置までズーミングを行い、そこでテンプレートマッチングを実行するようにしてもよい。あるいは、いきなりズーミングレンズ１ａの機械的なワイド端までズーミングを行うようにしてもよい。

追尾対象を見失ったが、追尾対象が撮影画面から外れたことが確認できなかった場合は図３のステップ２１へ進み、追尾対象が撮影画面内でカメラから遠ざかったためにテンプレートマッチングで追尾対象を認識できなくなったか否かを判別する。

図６は、追尾対象被写体がカメラから遠ざかった場合の追尾動作を示す図である。(ａ)に示すように追尾対象被写体２２を撮影画面内に捕捉している場合には、(ｂ)に示すようにカメラ背面の表示装置４（図１参照）のＬＣＤ４ａに追尾対象被写体２２が映し出され、その顔位置には顔認識マーク２３が表示されている。次に、(ｃ)に示すように追尾対象の被写体２２がカメラから遠ざかると、撮像素子２による撮像画像中の追尾対象被写体２２が小さくなるため、撮像画像とテンプレート画像とのマッチングがとれなくなり、(ｄ)に示すように追尾対象被写体２２の顔認識マーク２３が消失して追尾対象を見失ったと同様な結果になる。

追尾対象被写体がカメラから遠ざかって追尾不能になった場合はステップ２２へ進み、ズーミングレンズ１ａをテレ側へズーミングしながらテンプレートマッチングを行う。ステップ２３でテンプレートマッチングの結果、追尾対象被写体を検出できたか否かを確認し、検出できなかった場合はステップ２４へ進む。

ステップ２４ではズーミングレンズ１ａがテレ端に達したか、または被写体が遠ざかる前の焦点距離、つまり被写体が遠ざかる前の元の大きさに達したか否かを判別する。テレ端または元の大きさに達したときはステップ２５へ進み、テレ側へのズーミングを停止し、図２のステップ１へ戻って上述した動作を繰り返す。一方、テレ端または元の大きさに達していないときはステップ２２へ戻り、テレ側へズーミングしながらテンプレートマッチングを行う。

追尾対象見失いの原因が、撮影画面からの逸脱、遠ざかりによる追尾不能のいずれでもない場合はステップ２６へ進み、追尾対象が移動していないのに追尾対象を認識できなくなったか否かを判別する。

図７は時系列的に撮像した追尾対象被写体の画像を示す。今、(ａ)、(ｂ)に示すように追尾対象被写体２２を撮影画面２１内に捕捉しており、テンプレートマッチングの結果、追尾対象被写体の顔を認識して顔認識マーク２３を表示している。この状態で、(ｃ)に示すように追尾対象被写体２２が後ろ向きになると、テンプレートマッチングの結果、追尾対象被写体２２の顔を認識できなくなり、顔認識マーク２３が消去される。このような追尾対象被写体２２の見失いは、追尾対象被写体の前を別の人や物が横切る場合にも発生する。

追尾対象が移動していないのに追尾対象を認識できなくなった場合はステップ２７へ進み、ズーミングを禁止する。その後、図２のステップ１へ戻り、上述した動作を繰り返す。

このように、一実施の形態によれば、テンプレートマッチングにより追尾対象の被写体を追尾中に、追尾対象の被写体を認識できなくなった場合は、撮影レンズのズーミングを行った後、改めてテンプレートマッチングにより追尾対象被写体の認識を行うようにしたので、撮影画面から追尾対象の被写体を見失っても、撮影者に代わってカメラが自動的に追尾対象を再捕捉することができる。

また、一実施の形態によれば、撮像素子により繰り返し撮像を行ってテンプレートマッチングにより追尾対象被写体の認識を行っているときに、追尾対象被写体が撮影レンズの撮影画面から外れた場合には、撮影レンズをワイド側にズーミングしながら追尾対象被写体の認識を行い、追尾対象被写体が認識されたら撮影レンズのズーミングを停止するようにしたので、追尾対象の被写体が撮影画面から外れても、撮影者に代わってカメラが自動的に追尾対象を再捕捉することができる。

さらに、一実施の形態によれば、撮影レンズがテンプレートマッチングによる追尾対象被写体の認識が可能なワイド側位置に達したら撮影レンズのズーミングを停止するようにしたので、撮影レンズの無用なズーミングを避けることができる。

一実施の形態によれば、撮影レンズをワイド側にズーミングして追尾対象被写体が認識された後、追尾対象被写体が撮影画面の中央で検出された場合は、撮影レンズをテレ側にズーミングして先にワイド側にズーミングを開始した位置まで戻すようにしたので、追尾対象を見失ったときの追尾対象被写体の大きさまで自動的に戻すことができる。

一実施の形態によれば、撮像素子により繰り返し撮像を行ってテンプレートマッチングにより追尾対象被写体の認識を行っているときに、追尾対象被写体がカメラから遠ざかって追尾対象被写体を認識できなくなった場合には、撮影レンズをテレ側にズーミングしながらテンプレートマッチングにより追尾対象被写体の認識を行い、追尾対象被写体が認識されたら撮影レンズのズーミングを停止するようにしたので、追尾対象被写体がカメラから遠ざかって撮影画面内で小さくなり認識できなくなっても、撮影者に代わってカメラが自動的に追尾対象を再捕捉することができる。

一実施の形態によれば、撮像素子により繰り返し撮像を行ってテンプレートマッチングにより追尾対象被写体の認識を行っているときに、追尾対象被写体の移動が検出されずに追尾対象被写体の認識ができなくなった場合には、撮影レンズのズーミングを禁止するようにしたので、追尾対象の被写体が後ろ向きになったり、追尾対象被写体の前を人や物が横切ったような場合に、無用なズーミングを避けることができる。

なお、本発明はスチルカメラのみならず、ビデオカメラにも適用することができる。

一実施の形態のデジタルカメラの構成を示す図 一実施の形態の被写体追尾動作を示す示すフローチャート 図２に続く、一実施の形態の被写体追尾動作を示す示すフローチャート 撮影画面内の追尾対象の被写体２２を示す図 追尾対象被写体が撮影画面から外れた場合の追尾動作を示す図 追尾対象被写体がカメラから遠ざかった場合の追尾動作を示す図 時系列的に撮像した追尾対象被写体の画像を示す図

符号の説明

１；撮影レンズ、１ａ；ズーミングレンズ、２；撮像素子、３；画像処理装置、６；画像メモリ、７；制御装置

Claims (6)

1. 撮影光学系により結像された像を撮像する撮像手段と、
   追尾対象の画像を記憶する記憶手段と、
   前記撮像手段により撮像された画像の中から、前記記憶手段に記憶されている画像を用いて前記追尾対象の被写体を認識する画像認識手段と、
   前記撮影光学系のズーミングを行うズーミング手段と、
   前記画像認識手段で前記追尾対象の被写体を認識できなくなった場合は、前記ズーミング手段により前記撮影光学系のズーミングを行った後、前記画像認識手段により前記追尾対象被写体の認識を行う制御手段とを備えることを特徴とするカメラ。
2. 請求項１に記載のカメラにおいて、
   前記制御手段は、前記撮像手段により繰り返し撮像を行って前記画像認識手段により前記追尾対象被写体の認識を行っているときに、前記追尾対象被写体が前記撮影光学系の撮影画面から外れた場合には、前記ズーミング手段により前記撮影光学系をワイド側にズーミングしながら前記画像認識手段により前記追尾対象被写体の認識を行い、前記追尾対象被写体が認識されたら前記撮影光学系のズーミングを停止することを特徴とするカメラ。
3. 請求項２に記載のカメラにおいて、
   前記制御手段は、前記撮影光学系が前記画像認識手段による前記追尾対象被写体の認識が可能なワイド側位置に達したら前記撮影光学系のズーミングを停止することを特徴とするカメラ。
4. 請求項２または請求項３に記載のカメラにおいて、
   前記制御手段は、前記撮影光学系をワイド側にズーミングして前記追尾対象被写体が認識された後、前記追尾対象被写体が前記撮影画面の中央で検出された場合は、前記ズーミング手段により前記撮影光学系をテレ側にズーミングして前記ワイド側にズーミングを開始した位置まで戻すことを特徴とするカメラ。
5. 請求項１に記載のカメラにおいて、
   前記制御手段は、前記撮像手段により繰り返し撮像を行って前記画像認識手段により前記追尾対象被写体の認識を行っているときに、前記追尾対象被写体がカメラから遠ざかって前記画像認識手段で前記追尾対象被写体を認識できなくなった場合には、前記ズーミング手段により前記撮影光学系をテレ側にズーミングしながら前記画像認識手段により前記追尾対象被写体の認識を行い、前記追尾対象被写体が認識されたら前記撮影光学系のズーミングを停止することを特徴とするカメラ。
6. 請求項１に記載のカメラにおいて、
   前記制御手段は、前記撮像手段により繰り返し撮像を行って前記画像認識手段により前記追尾対象被写体の認識を行っているときに、前記追尾対象被写体の移動が検出されずに前記追尾対象被写体の認識ができなくなった場合には、前記撮影光学系のズーミングを禁止することを特徴とするカメラ。

Images