[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP2011030163A - 撮像装置、撮像方法、プログラム - Google Patents

撮像装置、撮像方法、プログラム Download PDF

Info

Publication number
JP2011030163A
JP2011030163A JP2009176625A JP2009176625A JP2011030163A JP 2011030163 A JP2011030163 A JP 2011030163A JP 2009176625 A JP2009176625 A JP 2009176625A JP 2009176625 A JP2009176625 A JP 2009176625A JP 2011030163 A JP2011030163 A JP 2011030163A
Authority
JP
Japan
Prior art keywords
imaging
recording
subject
composition
determination
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009176625A
Other languages
English (en)
Other versions
JP2011030163A5 (ja
JP5434338B2 (ja
Inventor
Shingo Yoshizumi
真吾 善積
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2009176625A priority Critical patent/JP5434338B2/ja
Priority to TW099123652A priority patent/TW201121308A/zh
Priority to BR112012001331A priority patent/BR112012001331A2/pt
Priority to EP10804308.4A priority patent/EP2461569A4/en
Priority to CN2010800421833A priority patent/CN102550016A/zh
Priority to KR1020127001590A priority patent/KR20120035191A/ko
Priority to US13/384,898 priority patent/US8908916B2/en
Priority to PCT/JP2010/062299 priority patent/WO2011013562A1/ja
Publication of JP2011030163A publication Critical patent/JP2011030163A/ja
Publication of JP2011030163A5 publication Critical patent/JP2011030163A5/ja
Application granted granted Critical
Publication of JP5434338B2 publication Critical patent/JP5434338B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

【課題】自動撮像記録に際して、撮像記録が行われる頻度を変更できるようにして、例えばユーザの意図や、撮像装置の状態などに応じて、適切に記録頻度が変更されるようにする。これにより、自動撮像記録機能の充実を図る。
【解決手段】撮像装置において、ユーザ操作などに応じて記録頻度を変更設定できるようにする。これに応じて、内部では、自動撮像記録に関連した所定のパラメータを変更設定することで、実際の自動撮像記録としてその記録頻度による動作が得られるようにする。
【選択図】図14

Description

本発明は、例えば被写体を探索して、撮像記録などを自動実行するようにされた撮像装置と、その方法に関する。また、このような撮像装置が必要な手順を実行させるためのプログラムに関する。
先に本出願人は、特許文献1に示す自動撮像記録のための構成を提案している。つまり、撮像装置により得られる撮像画像データの画像中に存在する被写体を検出し、この検出された被写体を撮像記録しようというものである。
特開2009−100300号公報
本願発明としては、上記のような自動撮像記録動作について、例えばユーザにとって有益な機能を提供してさらに充実を図ることを、その課題とする。
そこで本発明は上記した課題を考慮して、撮像装置として次のように構成する。
つまり、撮像部により撮像して得られる画像データを入力して、この画像データに基づく画像において存在する被写体を検出する被写体検出手段と、上記被写体検出手段により検出された被写体を画像内に含む上記画像データを自動で記録媒体に記録する自動撮像記録を継続して繰り返し実行させる撮像記録制御手段と、上記撮像記録制御手段により実行される自動撮像記録の頻度である記録頻度を変更設定する記録頻度設定手段と、上記記録頻度設定手段により設定された記録頻度に応じて、自動撮像記録に関連した所定のパラメータを変更設定する、パラメータ変更設定手段とを備えることとした。
上記構成によっては、記録頻度を変更設定したことに応じて自動撮像記録に関連した所定のパラメータを変更設定する。これにより、実際の自動撮像記録としてその記録頻度による動作が得られる。
即ち、本願発明によっては、自動撮像記録として、撮像記録が行われる頻度を変更することが可能になる。これにより、例えばユーザの意図や、撮像装置の状態などに応じて、適切に記録頻度が変更されることになり、自動撮像記録機能としてはより充実が図られる。
実施形態の撮像システムを成す撮像装置であるデジタルスチルカメラの外観を簡単に示す正面図及び背面図である。 実施形態の撮像システムを成す雲台の外観例を示す斜視図である。 実施形態の撮像システムとして、雲台にデジタルスチルカメラが取り付けられた形態例を示す正面図である。 実施形態の撮像システムとして、雲台にデジタルスチルカメラが取り付けられた形態例を、パン方向における動きの態様例とともに示す平面図である。 実施形態の撮像システムとして、雲台にデジタルスチルカメラが取り付けられた形態例を示す側面図である。 デジタルスチルカメラの構成例を示すブロック図である。 雲台の構成例を示すブロック図である。 実施の形態のデジタルスチルカメラが構図制御に対応して備えるものとされる機能をブロック単位の構成により示す図である。 本実施形態の基本となる自動撮像記録のためのアルゴリズムの一例を示すフローチャートである。 操作に応じた記録頻度と頻度対応パラメータの変更設定処理例を示すフローチャートである。 記録頻度変更操作のための操作画面例を示す図である。 第1実施形態としての頻度対応パラメータを用いた自動撮像記録のアルゴリズム例を示すフローチャートである。 第2実施形態としての頻度対応パラメータを用いた自動撮像記録のアルゴリズム例を示すフローチャートである。 第3実施形態としての頻度対応パラメータを用いた自動撮像記録のアルゴリズム例を示すフローチャートである。 撮像視野範囲変更制御により得られる動作例を示す図である。 他の撮像視野範囲変更制御により得られる動作例を示す図である。 構図判定アルゴリズムを変更するためのアルゴリズム例を示すフローチャートである。 第4実施形態として、構図形成要素を頻度対応パラメータとした場合の変更設定例を示す図である。 第5実施形態としての頻度対応パラメータを用いた自動撮像記録のアルゴリズム例を示すフローチャートである。 第6実施形態としての頻度対応パラメータを用いた自動撮像記録のアルゴリズム例を示すフローチャートである。 第7実施形態としての頻度対応パラメータを用いた自動撮像記録のアルゴリズム例を示すフローチャートである。 メモリカード残容量に応じた記録頻度と頻度対応パラメータの変更設定処理例を示すフローチャートである。 電源駆動に応じた記録頻度と頻度対応パラメータの変更設定処理例を示すフローチャートである。 実施の形態の撮像システムの変形例としての構成例を示す図である。 実施の形態の撮像システムの他の変形例としての構成例を示す図である。
以下、本願発明を実施するための形態(以下、実施形態という)について、下記の順により説明する。
<1.撮像システムの構成>
[1−1.全体構成]
[1−2.デジタルスチルカメラ]
[1−3.雲台]
<2.実施形態の構図制御に対応する機能構成例>
<3.自動撮像記録の基本アルゴリズム例>
<4.頻度変更設定処理例>
<5.頻度対応パラメータ例(第1実施形態)>
<6.頻度対応パラメータ例(第2実施形態)>
<7.頻度対応パラメータ例(第3実施形態)>
<8.頻度対応パラメータ例(第4実施形態)>
<9.頻度対応パラメータ例(第5実施形態)>
<10.頻度対応パラメータ例(第6実施形態)>
<11.頻度対応パラメータ例(第7実施形態)>
<12.自動頻度変更設定処理(第1例)>
<13.自動頻度変更設定処理(第2例)>
<14.本実施形態の撮像システムの変形例>

また、本明細書においては、以降の説明にあたり、画枠、画角、撮像視野範囲、構図なる語を用いることとする。
画枠は、例えば画像が嵌め込まれるようにしてみえる一画面相当の領域範囲をいい、一般には縦長若しくは横長の長方形としての外枠形状を有する。
画角は、ズーム角などともいわれるもので、撮像装置の光学系におけるズームレンズの位置によって決まる画枠に収まる範囲を角度により表したものである。一般的には、撮像光学系の焦点距離と、像面(イメージセンサ、フィルム)のサイズによって決まるものとされているが、ここでは、焦点距離に対応して変化し得る要素を画角といっている。
撮像視野範囲は、定位置に置かれた撮像装置により撮像して得られる画像の画枠に収まる範囲について、上記の画角に加え、パン(水平)方向における振り角度と、チルト(垂直)方向における角度(仰角、俯角)により決まるものをいう。
構図は、ここでは、フレーミングともいわれるもので、例えば撮像視野範囲によって決まる画枠内における被写体についてのサイズ設定も含めたうえでの配置状態をいう。
また、本実施形態としては、本願発明に基づく構成を、デジタルスチルカメラと、このデジタルスチルカメラが取り付けられる雲台とからなる撮像システムに適用した場合を例に挙げることとする。
<1.撮像システムの構成>
[1−1.全体構成]
本実施形態の撮像システムは、デジタルスチルカメラ1と、このデジタルスチルカメラ1が載置される雲台10から成る。
先ず、図1にデジタルスチルカメラ1の外観例を示す。図1(a)、(b)は、それぞれデジタルスチルカメラ1の正面図、背面図となる。
この図に示されるデジタルスチルカメラ1は、先ず、図1(a)に示すように、本体部2の前面側においてレンズ部21aを備える。このレンズ部21aは、撮像のための光学系として本体部2の外側に表出している部位である。
また、本体部2の上面部には、レリーズボタン31aが設けられている。撮像モードにおいてはレンズ部21aにより撮像された画像(撮像画像)が画像信号として生成される。そして、この撮像モードにおいてレリーズボタン31aに対する操作が行われると、この操作タイミングのときに得られていたとする撮像画像が、静止画の画像データとして記憶媒体に記録される。つまり、写真撮影が行われる。
また、デジタルスチルカメラ1は、図1(b)に示すようにして、その背面側に表示画面部33aを有する。
この表示画面部33aには、撮像モード時においては、スルー画などといわれ、そのときにレンズ部21aにより撮像している画像が表示される。また、再生モード時においては、記憶媒体に記録されている画像データが再生表示される。さらに、ユーザがデジタルスチルカメラ1に対して行った操作に応じて、GUI(Graphical User Interface)としての操作画像が表示される。
なお、本実施形態のデジタルスチルカメラ1は、表示画面部33aに対してタッチパネルが組み合わされているものとする。これにより、ユーザは、表示画面部33aに対して指を当てることによって、しかるべき操作を行うことができる。
また、本実施形態の撮像システム(撮像装置)は、このデジタルスチルカメラ1としての撮像部と、次に説明する雲台10としての可動機構部(可動装置部)から成るものとしているが、ユーザは、デジタルスチルカメラ1単体のみを使用しても、通常のデジタルスチルカメラと同じように、写真撮影を行うことができる。
図2は、雲台10の外観を示す斜視図である。また、図3〜図5は、本実施形態の撮像システムの外観として、雲台10に対してデジタルスチルカメラ1が適切な状態で載置された状態を示している。図3は正面図、図4は平面図、図5(a)は側面図であり、図5(b)は側面図によりチルト機構の可動範囲を示したものである。
図2、及び図3,図4,図5(a)に示すように、雲台10は、大きくは接地台部13の上に本体部11が組み合わされたうえで、さらに本体部11に対してカメラ台座部12が取り付けられた構造を有する。
雲台10にデジタルスチルカメラ1を載置しようとするときには、デジタルスチルカメラ1の底面側を、カメラ台座部12の上面側に対して置くようにようにする。
この場合のカメラ台座部12の上面部には、図2に示すようにして、突起部13とコネクタ14が設けられている。
その図示は省略するが、デジタルスチルカメラ1の本体部2の下面部には、突起部13と係合する孔部が形成されている。デジタルスチルカメラ1がカメラ台座部12に対して適正に置かれた状態では、この孔部と突起部13とが係合した状態となる。この状態であれば、通常の雲台10のパンニング・チルティングの動作であれば、デジタルスチルカメラ1が雲台10からずれたり、外れてしまったりすることがないようにされている。
また、デジタルスチルカメラ1においては、その下面部の所定位置にもコネクタが設けられている。上記のようにして、カメラ台座部12にデジタルスチルカメラ1が適正に載置される状態では、デジタルスチルカメラ1のコネクタと雲台10のコネクタ14とが接続され、少なくとも、相互間の通信が可能な状態となる。
なお、例えばコネクタ14と突起部13は、実際においては、カメラ台座部12において可動できるようになっている。そのうえで、例えばデジタルスチルカメラ1の底面部の形状に合わせたアダプタなどを併用することで、異なる機種のデジタルスチルカメラを、雲台10と通信可能な状態で、カメラ台座部12に載置できるようになっている。
また、デジタルスチルカメラ1とカメラ台座部12との通信は無線により行われるようにしてもよい。
また、例えば雲台10に対してデジタルスチルカメラ1が載置された状態では、雲台10からデジタルスチルカメラ1に対して充電が行えるように構成しても良い。さらには、デジタルスチルカメラ1にて再生している画像などの映像信号を雲台10側にも伝送し、雲台10からさらにケーブルや無線通信などを介して、外部モニタ装置に出力させるような構成とすることも考えられる。つまり、雲台10について、単に、デジタルスチルカメラ1の撮像視野範囲を変更させるためだけに用いるのではなく、いわゆるクレードルとしての機能を与えることが可能である。
次に、雲台10によるデジタルスチルカメラ1のパン・チルト方向の基本的な動きについて説明する。
まず、パン方向の基本的な動きは次のようになる。
この雲台10を床面などに置いた状態では、接地台部13の底面が接地する。この状態において、図4に示すように、回転軸11aを回転中心として、本体部11は時計回り方向、及び反時計回り方向に回転できるようになっている。これにより、雲台10に載置されているデジタルスチルカメラ1の撮像視野範囲は、左右方向(水平方向)に沿って変化することになる。つまり、パンニングの動きが与えられる。
そのうえで、この場合の雲台10のパン機構は、時計回り方向及び反時計回り方向の何れについても、360°以上の回転が無制限で自在に行える構造を有しているものとする。
また、この雲台のパン機構においては、パン方向における基準位置が決められている。
ここでは、図4に示すようにして、パン基準位置を0°(360°)としたうえで、パン方向に沿った本体部11の回転位置、即ちパン位置を0°〜360°により表すものとする。
また、雲台10のチルト方向の基本的な動きについては次のようになる。
チルト方向の動きは、図5(a)及び図5(b)に示すようにして、カメラ台座部12が回転軸12aを回転中心として、仰角、俯角の両方向に可動することにより得られる。
ここで、図5(a)は、カメラ台座部12がチルト基準位置Y0(0°)にある状態が示されている。この状態では、レンズ部21a(光学系部)の撮像光軸と一致する撮像方向F1と、接地台部13が接地する接地面部GRとが平行となる。
そのうえで、図5(b)に示すように、先ず、仰角方向においては、カメラ台座部12は、回転軸12aを回転中心として、チルト基準位置Y0(0°)から所定の最大回転角度+f°の範囲で動くことができる。また、俯角方向においても、回転軸12aを回転中心として、チルト基準位置Y0(0°)から所定の最大回転角度−g°の範囲で動くことができるようになっている。このようにして、カメラ台座部12がチルト基準位置Y0(0°)を基点として、最大回転角度+f°〜最大回転角度−g°の範囲で動くことで、雲台10(カメラ台座部12)に載置されたデジタルスチルカメラ1の撮像視野範囲は、上下方向(垂直方向)沿って変化することになる。つまりチルティングの動作が得られる。
なお、図2〜図5に示した雲台10の外観構成はあくまでも一例であり、載置されたデジタルスチルカメラ1をパン方向及チルト方向に動かすことができるようにされていれば、他の物理的構成、構造が採られてもかまわない。
[1−2.デジタルスチルカメラ]
先ず、図6のブロック図は、デジタルスチルカメラ1の実際的な内部構成例を示している。
この図において、先ず、光学系部21は、例えばズームレンズ、フォーカスレンズなども含む所定枚数の撮像用のレンズ群、絞りなどを備えて成り、入射された光を撮像光としてイメージセンサ22の受光面に結像させる。
また、光学系部21においては、上記のズームレンズ、フォーカスレンズ、絞りなどを駆動させるための駆動機構部も備えられているものとされる。これらの駆動機構部は、例えば制御部27が実行するとされるズーム(画角)制御、自動焦点調整制御、自動露出制御などのいわゆるカメラ制御によりその動作が制御される。
イメージセンサ22は、上記光学系部21にて得られる撮像光を電気信号に変換する、いわゆる光電変換を行う。このために、イメージセンサ22は、光学系部21からの撮像光を光電変換素子の受光面にて受光し、受光された光の強さに応じて蓄積される信号電荷を、所定タイミングにより順次出力する。これにより、撮像光に対応した電気信号(撮像信号)が出力される。なお、イメージセンサ22として採用される光電変換素子(撮像素子)としては、特に限定されるものではないが、現状であれば、例えばCMOSセンサやCCD(Charge Coupled Device)などを挙げることができる。また、CMOSセンサを採用する場合には、イメージセンサ22に相当するデバイス(部品)として、次に述べるA/Dコンバータ23に相当するアナログ−デジタル変換器も含めた構造とすることができる。
上記イメージセンサ22から出力される撮像信号は、A/Dコンバータ23に入力されることで、デジタル信号に変換され、信号処理部24に入力される。
信号処理部24では、A/Dコンバータ23から出力されるデジタルの撮像信号について、例えば1つの静止画 (フレーム画像)に相当する単位で取り込みを行い、このようにして取り込んだ静止画単位の撮像信号について所要の信号処理を施すことで、1枚の静止画に相当する画像信号データである撮像画像データ(撮像静止画像データ)を生成することができる。
上記のようにして信号処理部24にて生成した撮像画像データを画像情報として記憶媒体(記憶媒体装置)であるメモリカード40に記録させる場合には、例えば1つの静止画に対応する撮像画像データを信号処理部24からエンコード/デコード部25に対して出力する。
エンコード/デコード部25は、信号処理部24から出力されてくる静止画単位の撮像画像データについて、所定の静止画像圧縮符号化方式により圧縮符号化を実行したうえで、例えば制御部27の制御に応じてヘッダなどを付加して、所定形式に圧縮された画像データの形式に変換する。そして、このようにして生成した画像データをメディアコントローラ26に転送する。メディアコントローラ26は、制御部27の制御に従って、メモリカード40に対して、転送されてくる画像データを書き込んで記録させる。この場合のメモリカード40は、例えば所定規格に従ったカード形式の外形形状を有し、内部には、フラッシュメモリなどの不揮発性の半導体記憶素子を備えた構成を採る記憶媒体である。なお、画像データを記憶させる記憶媒体については、上記メモリカード以外の種別、形式などとされてもよい。
また、本実施の形態としての信号処理部24は、先の説明のようにして取得される撮像画像データを利用して、後述するように、被写体検出としての画像処理を実行させるように構成される。
また、デジタルスチルカメラ1は信号処理部24にて得られる撮像画像データを利用して表示部33により画像表示を実行させることで、現在撮像中の画像であるいわゆるスルー画を表示させることが可能とされる。例えば信号処理部24においては、先の説明のようにしてA/Dコンバータ23から出力される撮像信号を取り込んで1枚の静止画相当の撮像画像データを生成するのであるが、この動作を継続することで、動画におけるフレーム画像に相当する撮像画像データを順次生成していく。そして、このようにして順次生成される撮像画像データを、制御部27の制御に従って表示ドライバ32に対して転送する。これにより、スルー画の表示が行われる。
表示ドライバ32では、上記のようにして信号処理部24から入力されてくる撮像画像データに基づいて表示部33を駆動するための駆動信号を生成し、表示部33に対して出力していくようにされる。これにより、表示部33においては、静止画単位の撮像画像データに基づく画像が順次的に表示されていくことになる。これをユーザが見れば、そのときに撮像しているとされる画像が表示部33において動画的に表示されることになる。つまり、スルー画が表示される。
また、デジタルスチルカメラ1は、メモリカード40に記録されている画像データを再生して、その画像を表示部33に対して表示させることも可能とされる。
このためには、制御部27が画像データを指定して、メディアコントローラ26に対してメモリカード40からのデータ読み出しを命令する。この命令に応答して、メディアコントローラ26は、指定された画像データが記録されているメモリカード40上のアドレスにアクセスしてデータ読み出しを実行し、読み出したデータを、エンコード/デコード部25に対して転送する。
エンコード/デコード部25は、例えば制御部27の制御に従って、メディアコントローラ26から転送されてきた撮像画像データから圧縮静止画データとしての実体データを取り出し、この圧縮静止画データについて、圧縮符号化に対する復号処理を実行して、1つの静止画に対応する撮像画像データを得る。そして、この撮像画像データを表示ドライバ32に対して転送する。これにより、表示部33においては、メモリカード40に記録されている撮像画像データの画像が再生表示されることになる。
また表示部33に対しては、上記のスルー画や画像データの再生画像などとともに、ユーザインターフェース画像(操作画像)も表示させることができる。この場合には、例えばそのときの動作状態などに応じて制御部27が必要なユーザインターフェース画像としての表示用画像データを生成し、これを表示ドライバ32に対して出力するようにされる。これにより、表示部33においてユーザインターフェース画像が表示されることになる。なお、このユーザインターフェース画像は、例えば特定のメニュー画面などのようにモニタ画像や撮像画像データの再生画像とは個別に表示部33の表示画面に表示させることも可能であるし、モニタ画像や撮像画像データの再生画像上の一部において重畳・合成されるようにして表示させることも可能である。
制御部27は、例えば実際においてはCPU(Central Processing Unit)を備えて成るもので、ROM28、RAM29などとともにマイクロコンピュータを構成する。ROM28には、例えば制御部27としてのCPUが実行すべきプログラムの他、デジタルスチルカメラ1の動作に関連した各種の設定情報などが記憶される。RAM29は、CPUのための主記憶装置とされる。
また、この場合のフラッシュメモリ30は、例えばユーザ操作や動作履歴などに応じて変更(書き換え)の必要性のある各種の設定情報などを記憶させておくために使用する不揮発性の記憶領域として設けられるものである。なおROM28について、例えばフラッシュメモリなどをはじめとする不揮発性メモリを採用することとした場合には、フラッシュメモリ30に代えて、このROM28における一部記憶領域を使用することとしてもよい。
操作部31は、デジタルスチルカメラ1に備えられる各種操作子と、これらの操作子に対して行われた操作に応じた操作情報信号を生成してCPUに出力する操作情報信号出力部位とを一括して示している。制御部27は、操作部31から入力される操作情報信号に応じて所定の処理を実行する。これによりユーザ操作に応じたデジタルスチルカメラ1の動作が実行されることになる。
音声出力部35は、制御部27の制御により、例えば所定内容の通知のために、所定の音色と発音パターンによる電子音を出力する部位である。
LED部36は、例えばデジタルスチルカメラ1の筐体前面部に表出して設けられるLED(Light Emitting Diode)と、このLEDを点灯駆動する回路部などから成り、制御部27の制御に応じて、LEDを点灯、消灯する。このLEDを点灯、消灯パターンにより、所定内容の通知が行われる。
雲台対応通信部34は、雲台10側とデジタルスチルカメラ1側との間での所定の通信方式に従った通信を実行する部位であり、例えばデジタルスチルカメラ1が雲台10に対して取り付けられた状態において、雲台10側の通信部との間での有線若しくは無線による通信信号の送受信を可能とするための物理層構成と、これより上位となる所定層に対応する通信処理を実現するための構成とを有して成る。上記物理層構成として、図2との対応では、コネクタ14と接続されるコネクタの部位が含まれる。
[1−3.雲台]
図7のブロック図は、雲台10の内部構成例を示している。
先に述べたように、雲台10は、パン・チルト機構を備えるものであり、これに対応する部位として、パン機構部53、パン用モータ54、チルト機構部56、チルト用モータ57を備える。
パン機構部53は、雲台10に取り付けられたデジタルスチルカメラ1について、図4に示したパン(横・左右)方向の動きを与えるための機構を有して構成され、この機構の動きは、パン用モータ54が正逆方向に回転することによって得られる。同様にして、チルト機構部56は、雲台10に取り付けられたデジタルスチルカメラ1について、図5(b)に示したチルト(縦・上下)方向の動きを与えるための機構を有して構成され、この機構の動きは、チルト用モータ57が正逆方向に回転することによって得られる。
制御部51は、例えばCPU、ROM、RAMなどが組み合わされて形成されるマイクロコンピュータを有して成り、上記パン機構部53、チルト機構部56の動きをコントロールする。例えば制御部51がパン機構部53の動きを制御するときには、移動させるべき方向と移動速度を指示する信号をパン用駆動部55に対して出力する。パン用駆動部55は、入力される信号に対応したモータ駆動信号を生成してパン用モータ54に出力する。このモータ駆動信号は、例えばモータがステッピングモータであれば、PWM制御に対応したパルス信号となる。
このモータ駆動信号によりパン用モータ54が、例えば所要の回転方向、回転速度により回転し、この結果、パン機構部53も、これに対応した移動方向と移動速度により動くようにして駆動される。
同様にして、チルト機構部56の動きを制御するときには、制御部51は、チルト機構部56に必要な移動方向、移動速度を指示する信号をチルト用駆動部58に対して出力する。チルト用駆動部58は、入力される信号に対応したモータ駆動信号を生成してチルト用モータ57に出力する。このモータ駆動信号によりチルト用モータ57が、例えば所要の回転方向及び回転速度で回転し、この結果、チルト機構部56も、これに対応した移動方向,速度により動くようにして駆動される。
また、パン機構部53は、ロータリーエンコーダ(回転検出器)53aを備えている。ロータリーエンコーダ53aは、パン機構部53の回転の動きに応じて、その回転角度量を示す検出信号を制御部51に出力する。同様に、チルト機構部56はロータリーエンコーダ56aを備える。このロータリーエンコーダ56aも、チルト機構部56の回転の動きに応じて、その回転角度量を示す信号を制御部51に出力する。
通信部52は、雲台10に取り付けられたデジタルスチルカメラ1内の雲台対応通信部34との間で所定の通信方式に従った通信を実行する部位であり、雲台対応通信部34と同様にして、相手側通信部と有線若しくは無線による通信信号の送受信を可能とするための物理層構成と、これより上位となる所定層に対応する通信処理を実現するための構成とを有して成る。上記物理層構成として、図2との対応では、カメラ台座部12のコネクタ14が含まれる。
<2.実施形態の構図制御に対応する機能構成例>
次に、図8のブロック図により、本実施形態に対応する撮像システムを成すデジタルスチルカメラ1及び雲台10についての、ハードウェア及びソフトウェア(プログラム)により実現される機能構成例を示す。
この図において、デジタルスチルカメラ1は、撮像記録ブロック61、構図判定ブロック62、パン・チルト・ズーム制御ブロック63、及び通信制御処理ブロック64を備えて成るものとされている。
撮像記録ブロック61は、撮像により得られた画像を画像信号のデータ(撮像画像データ)として得て、この撮像画像データを記憶媒体に記憶するための制御処理を実行する部位である。この部位は、例えば撮像のための光学系、撮像素子(イメージセンサ)、及び撮像素子から出力される信号から撮像画像データを生成する信号処理回路、また、撮像画像データを記憶媒体に書き込んで記録(記憶)させるための記録制御・処理系などを有して成る部位である。
この場合の撮像記録ブロック61における撮像画像データの記録(撮像記録)は、構図判定ブロックの指示、制御により実行される。
構図判定ブロック62は、撮像記録ブロック61から出力される撮像画像データを取り込んで入力し、この撮像画像データを基にして、先ず被写体検出を行い、最終的には構図判定のための処理を実行する。
本実施形態においては、この構図判定に際して、被写体検出により検出された被写体ごとに、後述する属性についての検出も行う。そして、構図判定処理に際しては、この検出された属性を利用して最適とされる構図を判定する。さらに、判定した構図による画内容の撮像画像データが得られるようにするための構図合わせ制御も実行する。
ここで、構図判定ブロック62が実行する被写体検出処理(初期顔枠の設定を含む)は、図6との対応では信号処理部24が実行するようにして構成できる。また、この信号処理部24による被写体検出処理は、DSP(Digital signal Processor)による画像信号処理として実現できる。つまり、DSPに与えるプログラム、インストラクションにより実現できる。
また、構図判定ブロック62が実行する顔枠の修正、及び構図判定、構図合わせ制御は、制御部27としてのCPUがプログラムに従って実行する処理として実現できる。
パン・チルト・ズーム制御ブロック63は、構図判定ブロック62の指示に応じて、判定された最適構図に応じた構図、撮像視野範囲が得られるように、パン・チルト・ズーム制御を実行する。つまり、構図合わせ制御として、構図判定ブロック62は、例えば判定された最適構図に応じて得るべき上記構図、撮像視野範囲をパン・チルト・ズーム制御ブロック63に指示する。パン・チルト・ズーム制御ブロック63は、指示された構図、撮像視野範囲が得られる撮像方向にデジタルスチルカメラ1が向くための、雲台10のパン・チルト機構についての移動量を求め、この求めた移動量に応じた移動を指示するパン・チルト制御信号を生成する。
また、例えば判定された適切画角を得るためのズームレンズの位置(ズーム倍率)を求め、このズーム位置となるようにして、撮像記録ブロック61が備えるとされるズーム機構を制御する。
通信制御処理ブロック64は、雲台10側に備えられる通信制御処理ブロック71との間で所定の通信プロトコルに従って通信を実行するための部位となる。上記パン・チルト・ズーム制御ブロック63が生成したパン・チルト制御信号は、通信制御処理ブロック64の通信により、雲台10の通信制御処理ブロック71に対して送信される。
雲台10は、例えば図示するようにして、通信制御処理ブロック71、及びパン・チルト制御処理ブロック72を有している。
通信制御処理ブロック71は、デジタルスチルカメラ1側の通信制御処理ブロック64との間での通信を実行するための部位であり、上記のパン・チルト制御信号を受信した場合には、このパン・チルト制御信号をパン・チルト制御処理ブロック72に対して出力する。
パン・チルト制御処理ブロック72は、例えば図7に示した雲台10側の制御部51(マイクロコンピュータ)が実行する制御処理のうちで、パン・チルト制御に関する処理の実行機能に対応するものとなる。
このパン・チルト制御処理ブロック72は、入力したパン・チルト制御信号に応じて、ここでは図示していないパン駆動機構部、チルト駆動機構部を制御する。これにより、最適構図に応じて必要な水平視野角と垂直視野角を得るためのパンニング、チルティングが行われる。
また、パン・チルト・ズーム制御ブロック63は、例えば、構図判定ブロック62の指令に応じて被写体探索のためのパン・チルト・ズーム制御を行うことができるようになっている。
<3.自動撮像記録の基本アルゴリズム例>
上記のようにして構成される撮像システムでは、雲台10のパン・チルト機構を駆動してデジタルスチルカメラ1の撮像視野範囲を変更していくようにして撮像画像内に収まる被写体を検出する。そして、検出した被写体があれば、これをしかるべき構図で画枠内におさめて撮像記録することができる。つまり、自動撮像記録機能を有する。
図9のフローチャートは、このような自動撮像記録のためのアルゴリズムの一例を示している。なお、この図に示すアルゴリズムは、後述する第1〜第6実施形態に対応するアルゴリズムの基本となる。
なお、この図に示す処理手順は、図8に示すデジタルスチルカメラ1における各機能ブロック(撮像記録ブロック61、構図判定ブロック62、パン・チルト・ズーム制御ブロック63、通信制御処理ブロック64)が適宜実行するものとしてみることができる。
図9において、先ず、構図判定ブロック62は、ステップS101により撮像記録ブロック61にてそのときに得られる撮像画像データを取り込んで取得し、ステップS102により、この取得した撮像画像データについての被写体検出処理を実行する。
このステップS102の被写体検出処理としては、例えば先に述べたようにして顔検出技術を応用し、その検出結果として、被写体数であるとか、被写体サイズ、画像における被写体位置などを得ることができる。
次に、ステップS103において構図判定ブロック62は、上記ステップS102による被写体検出処理によって被写体が検出されたか否かについて判別する。ここで否定の判別結果が得られた場合には、ステップS107により被写体探索処理を開始させたうえで、ステップS101に戻る。
この被写体探索処理は、例えば、パン・チルト・ズーム制御ブロック63が通信制御処理ブロック64を経由して、雲台10のパン/チルト方向への移動を指示するとともに、必要に応じてはズーム制御も行って撮像視野範囲を所定のパターンで時間経過に応じて変更していく制御となる。これにより、デジタルスチルカメラ1の周囲に存在している被写体を撮像視野範囲内に収まるようにして捕捉しようというものである。
これに対して、ステップS103において被写体が検出されたとして肯定の判別結果が得られた場合には、ステップS104に進む。
ステップS104において構図判定ブロック62は、検出された被写体に応じて最適構図を判定し、撮像画像データの画枠内の画内容として、この判定した構図が得られるようにするための構図合わせ制御を実行する。
ここで判定される構図を形成する要素としては、例えば画枠における被写体のサイズ、画枠内の被写体の位置、などを挙げることができる。
そして、構図合わせ制御を実行したとされると、構図判定ブロック62は、ステップS105により、そのときに得られている構図について判定したとおりのものであり、撮像記録してよいタイミング(構図OK)であるか否かについて判別する。
例えば一定時間以上を経過したとしても構図OKとの判定が得られない場合には、ステップS105にて否定の判別結果が得られることとなって、ステップS101に戻る。これに対して、ステップS105にて肯定の判別結果が得られた場合にはステップS106に進む。
ステップS106においては、撮像記録の実行を撮像記録ブロック61に対して指示する。これに応じて、撮像記録ブロック61は、そのときに得られている撮像画像データを、メモリカード40に対して静止画のファイルとして記録する動作を実行する。
上記図9に示したアルゴリズムでは、被写体が検出されれば、その検出された被写体を含むしかるべき構図で撮影記録するという動作が自動的に実行されることになる。つまり、例えば人物を被写体として含む画像の撮像画像データを自動的に記録していくという、自動撮像記録動作が得られる。
しかし、図9のアルゴリムズにより実際に自動撮像記録動作を実行させた場合、時間経過に応じては、或るほぼ一定の頻度で撮像記録が継続して繰り返されていくことになる。
例えば自動撮像記録動作により記録される写真(撮像画像データ)として求められる数については、ユーザごとの感覚、考え方に応じて異なってくる。また、同じユーザであっても、そのときの撮像システムを使用している周囲の環境、状況に応じて異なってくる。
このような点からすれば、少なくとも、自動撮像記録が実行される頻度については、ユーザ操作に応じて変更設定できるようにすることが好ましいことになる。また、このようにして、頻度の変更設定操作を行えるようにした場合には、変更された頻度に応じて、実際に撮像記録を実行する頻度も適切に変更されるように撮像システムを構成すべきことになる。
そこで、本実施形態は、撮像システムとして、次に説明するようにして、ユーザ操作に応じて自動撮像記録の頻度(記録頻度)を変更することが可能なようにして構成する。
<4.頻度変更設定処理例>
図10は、本実施形態の撮像システムにおける、記録頻度の変更設定操作に応じたアルゴリズム例を示している。この図に示す処理手順は、図8に示すデジタルスチルカメラ1における構図判定ブロック62が実行するものとしてみることができる。
ステップS201において構図判定ブロック62は、デジタルスチルカメラ1の操作部31に対する記録頻度の設定操作を入力し、ステップS202により、記録頻度の決定操作に応じて、記録頻度を設定する。そして、ステップS203により、設定した記録頻度に対応させて、実際に自動撮像記録の実行頻度が変更されるようにするためのパラメータ(頻度対応パラメータ)を変更設定する処理を実行する。
図11(a)(b)は、記録頻度設定のためのユーザインターフェース例を示している。ここでの図11(a)(b)は、いずれも、表示画面部33aに表示されるGUI(Graphical User Interface)画面としての記録頻度設定画面に対する操作例が示されている。例えば、これらの記録頻度設定画面は、表示画面部33aに対する所定操作によって呼び出すことができる。
先ず、図11(a)に示される記録頻度設定画面においては、頻度のレベル段階を示す「高」ボタンBt1,「中」ボタンBt2,「低」ボタンBt3が示されている。つまり、この場合には、ユーザは、記録頻度として、「高」「中」「低」の3つのレベル段階のうちから選択するようにされている。
ユーザは、例えば頻度を高く設定したいと思ったときには、「高」ボタンBt1を押すことに相当する操作を行う。これにより、図10のステップS202においては、記録頻度として「高」に対応した記録頻度としての段階レベル、若しくは頻度指示値を設定する。
また、図11(b)に示される記録頻度設定画面においては、撮影枚数と撮影時間を指定入力するためのプルダウンメニューPM1,PM2が表示されている。
ここでの撮影枚数は、指定した撮影時間においておおむね撮像記録したいとする写真枚数(撮像画像データ数)を指定する。撮影時間は、自動撮像記録を継続して実行させる時間を指定する。
ユーザは、プルダウンメニューPM1,PM2に対する操作によって、自分が希望する撮影枚数と撮影時間を選択指定する。
ステップS201により上記図11(b)の記録頻度設定画面に対する操作を入力した構図判定ブロック62は、ステップS202にて、例えば所定の演算式による演算であるとかテーブルデータなどを用いて、指定された撮影枚数と撮影時間に応じた記録頻度としての段階レベル、もしくは頻度を示す頻度指示値を設定する。
なお、記録頻度設定のためのユーザインターフェースとしては、上記図11に示した例には限定されない。例えば、ユーザが直接、頻度指示値に対応する値を指定入力するような操作も考えられる。
<5.頻度対応パラメータ例(第1実施形態)>
本実施形態としては、図10のステップS203により、設定された記録頻度に応じて頻度対応パラメータを変更設定する。この頻度対応パラメータとしては、いくつか考えることができる。以降、第1実施形態〜第6実施形態として、頻度パラメータの例について説明していくこととする。
先ず、図12のフローチャートは、第1実施形態に対応する自動撮像記録のアルゴリズム例を示している。この図に示すアルゴリズムは、図9をその基本としている。
このアルゴリズムにより得られる動作としては、構図合わせ制御が行われた後において、一定の時間Tにわたって、判定されたとおりの構図が得られた状態が継続したことを以て撮像記録を実行しようとするものである。つまり、構図の安定度を見ることとしており、判定構図が安定して得られている状態において撮像記録を実行しようとするものである。このようなアルゴリズム自体は、例えば、できるかぎり判定構図に忠実な構図を持つ写真(撮像画像データ)が記録されるようにすることを目的としているといえる。
この図において、ステップS301〜S304、S309は、それぞれ図9のステップS101〜S104、S107と同様となる。
図12においては、ステップS304による構図合わせ制御が行われたとする後において、ステップS305により時間Tの計時を開始させたうえで、ステップS306により、現在において、判定されたとおりの構図が得られている状態にあるか否かについて判別する。
ここで、例えばステップS304にて構図合わせ制御を行って,一旦、判定された構図が得られたとしても、被写体の動きなどが比較的大きいような場合には、ステップS305での判定時において得られている撮像画像の画枠における被写体の位置、サイズなどが判定構図と異なっている状態となる可能性がある。このようにして、画枠における被写体の状態が判定構図と異なっているときには、ステップS306にて否定の判別結果が得られる。これに対して、被写体の動きがほとんどなかったり、また、少ないなどして判定構図と同じであるときには、ステップS306にて肯定の判別結果が得られる。
ステップS306にて肯定の判別結果が得られた場合には、ステップS307において時間Tが経過しているか否かについて判別し、未だ時間Tが経過していなければ、ステップS306に戻る。
また、ステップS306にて否定の判別結果が得られた場合には、ステップS305に戻ることで、時間Tの計時を一旦リセットし、はじめから計時を開始させる。なお、ここでは図示していないが、ステップS306からステップS305に戻る処理が繰り返されることで、判定構図が得られないまま、或る一定時間を経過してしまったときには、最終的に判定構図は得られなかったとして、ステップS301に戻るようにする。
そして、撮像画像データの画像において判定構図と同じとされる構図が時間Tにわたって維持されると、ステップS307において肯定の判別結果が得られる。つまり、構図OKの判定結果が得られる。この第1実施形態としては、このステップS305〜S307の処理が、図9のステップS105に相当する。そして、ステップS308にて撮像記録を実行する。
そして、この第1実施形態の自動撮像記録のアルゴリズムに対応しては、この時間Tを頻度対応パラメータとして扱う。つまり、第1実施形態における図10のステップS203では、設定された記録頻度に応じて、時間Tを変更設定する。
例えばこの場合の図10のステップS203としては、設定された頻度が高くなるのに応じて時間Tについては短く設定するようにする。時間Tが短くなれば、構図が安定しているとみなされる時間が短くなるわけであり、それだけ撮像記録が行われやすくなり、結果として、記録頻度は高くなる。
<6.頻度対応パラメータ例(第2実施形態)>
図13のフローチャートは、第2実施形態に対応する自動撮像記録のアルゴリズム例を示している。この図に示すアルゴリズムも、図9をその基本としている。
このアルゴリズムにより得られる動作としては、構図合わせ制御が行われた後において、一定以上の笑顔の度合い(笑顔レベル)が得られた状態であることが判定されると、構図OKであるとして撮像記録を実行する。つまり、構図要素として笑顔の度合いが含まれており、構図合わせ制御により被写体のサイズ、位置などが判定構図になった状態で、笑顔としての構図の条件が満たされているか否かを判定する。このようなアルゴリズムとすば、或る最適構図のもとで、さらに笑顔の被写体を撮像記録することができ、例えば後から鑑賞してもおもしろみのある写真(撮像画像データ)が集まることになる。
この図において、ステップS401〜S404、S407は、それぞれ図9のステップS101〜S104、S107と同様となる。
この図においては、先の図9のステップS105に相当する判別処理として、ステップS405により、検出された被写体の笑顔レベル値が閾値以上であるか否かについて判別している。
この場合の構図判定ブロック62は、被写体検出処理として、検出した被写体の笑顔についての検出も実行する。また、この笑顔検出によっては、そのときの笑顔の度合いも検出するようにされており、この検出結果に応じて笑顔の度合いを示す笑顔レベル値を得るようにしている。ここでは笑顔レベル値が高いほど、笑顔の度合いが顕著であることを示すものとする。
なお、ここでの笑顔検出のアルゴリズム、方式については、特に限定されるべきものではなく、例えば現状において知られている方式が採用されればよい。
そして、ステップS405において、例えば一定時間を経過しても笑顔レベル値が閾値以上ではないとして、否定の判別結果が得られた場合には、ステップS401に戻る。
これに対して、笑顔レベル値が一定以上の場合には、ステップS406により撮像記録を実行する。
この第2実施形態の自動撮像記録のアルゴリズムにおいては、頻度対応パラメータは、ステップS405において笑顔レベル値と比較する閾値となる。
例えば図10のステップS203によっては、設定された記録頻度が高くなるのに応じて閾値を低くするようにして変更設定する。閾値が低くなれば、笑顔の度合いが低くとも、ステップS405にて肯定の判別結果が得られて撮像記録される可能性が高くなり、結果として、記録頻度は高くなる。
<7.頻度対応パラメータ例(第3実施形態)>
第3実施形態のアルゴリズムにより得られる自動撮像記録動作としては、例えば同じ被写体構成のもとで、規定回数分を連続して記録し、規定回数分の記録をし終えると、他の被写体構成が得られるようにしてパンニング・チルティングを行う、という動作を繰り返すものとなる。
なお、ここでの被写体構成とは、撮像画像データの画像において得られる個別の被写体の組み合わせのことをいう。
具体例として、これまでにおいては、被写体Aのみの画像が自動記録されていたとする。これは、被写体Aのみから成る被写体構成を構図要素とする画像を自動撮像記録していたといえる。
そして、例えば撮像システムの周囲において、被写体Aのほかに、被写体B,Cもいるとした場合の、被写体Aのみ以外による「他の被写体構成」は、組み合わせとして考えると、次のようなものであることになる。
[被写体Bのみ]、[被写体Cのみ]、[被写体A,Bの組み合わせ]、[被写体A,Cの組み合わせ]、[被写体B,Cの組み合わせ]、[被写体A,B,Cの組み合わせ]
図14のフローチャートは、第3実施形態に対応する自動撮像記録のアルゴリズム例を示している。
この図において、ステップS501〜S505、S511は、それぞれ図9のステップS101〜S104、S107と同様となる。
図14においては、ステップS503において被写体が検出されなかったとして否定の判別結果が得られた場合には,ステップS510によりカウント値cntについて0を代入してから、ステップS511にて被写体探索処理を開始させてステップS501に戻るようにしている。
カウント値cntは、以降の説明から理解されるように、同じ被写体構成のもとで続けて撮像記録した回数を示す。
そして、ステップS506において1回の撮像記録が実行されたことに応じては、ステップS507によりカウント値cntをインクリメントする処理を実行する。
次に、構図判定ブロック62は、ステップS508により、カウント値cntが規定最大値N以上であるか否かについて判別する。この場合の規定最大値Nは、閾値として、同じ被写体構成を続けて撮像記録すべき規定回数に対応する値を示す。
ステップS508において否定の判別結果が得られた場合には、未だ、これまでと同じ被写体構成で撮像記録すべき回数が残っていることになるので、ステップS501に戻るようにする。これにより、ステップS503においては、再度、前回と同じ被写体構成が検出されることとなって、ステップS504〜S506により、或る構図でもって、再度、撮像記録が実行される。
そして、ステップS508において肯定の判別結果が得られた場合には、同じ被写体構成によって規定回数分を撮像記録したことになる。そこで、この場合には、ステップS509に進むことで、撮像視野範囲変更制御を実行する。つまり、最後の撮像記録時とは異なる被写体構成による撮像画像データの画像が得られるように、主としてはパンニングを行って、水平方向における撮像視野範囲を変えるようにする。そのうえで、ステップS511にてカウント値cntを0に初期化し、ステップS501に戻る。
この撮像視野範囲変更制御の具体例として、1つには、パン・チルト・ズーム制御ブロック63が、雲台10において、予め定められた規定角度であるα°だけパン方向における移動が行われるようにしてパン制御を実行するというアルゴリズムを考えることができる。
ここでの規定角度α°についてどのようにして規定するのかについてはいくつか考えられる。規定角度α°の設定例と、この規定角度α°の設定により得られる撮像視野範囲得変更制御の動作例とについて、図15により説明しておく。
図15(a)においては、デジタルスチルカメラ1を平面から見ている。なお、このデジタルスチルカメラ1は、実際には雲台10に取り付けられているが、ここでは図示を簡略なものとすることの都合上、雲台10の図示は省略している。
また、ここでは、デジタルスチルカメラ1に設定されている画角を、画角中央angC、画角左端angL、画角右端angRにより表現している。なお、画角中央angCは、デジタルスチルカメラ1の撮像光軸と一致するものであり、画角中央angCから画角左端angLまでの角度の大きさと、画角中央angCから画角右端angRまでの角度の大きさは同じになる。水平方向における撮像視野範囲は、画角左端angLから画角右端angRに収まる範囲が相当する。なお、説明の便宜上、ここでは最も広い画角(ワイド端)に設定されているものと仮定する。そして、ここでは、ワイド端での画角値を70°であるとしている。
そして、このデジタルスチルカメラ1及び雲台10が設置されている周囲において、図示するようにして2つの被写体SBJ0,SBJ1が存在しているものとする。また、ここでは説明の都合上、被写体は移動せず、その絶対的な位置は固定であるとする。
図15(a)の状態では、被写体SBJ0,SBJ1のうち、被写体SBJ0のみが、デジタルスチルカメラ1の撮像視野範囲に収まっているものとする。そして、この図13(a)に示す状態で図14のアルゴリズムに従って被写体SBJ0を画枠内に含む撮像画像データの撮像記録が、例えば所定回数行われた結果として、ステップS508において、他の被写体構成への遷移すべき条件が満たされたとして、肯定の判別結果が得られたとする。
ステップS508にて肯定の判別が得られたことに応じては、ステップS509として示したように、規定角度α°によるパン方向における移動が行われる。
図15の例に対応しては、規定角度α°の絶対値としては、90°を設定した。これは、デジタルスチルカメラ1のワイド端の画角値が70°とされていることに応じて、これより大きいものとして適切とされる値を設定したものである。つまり、ここでの規定角度α°は、デジタルスチルカメラ1の画角よりも大きな値を設定すべきとされている。
そして、ここでは、ステップS308として、図15(b)に示すようにして、反時計回り方向で、規定角度α°=90°のパン移動を行っている。これにより、デジタルスチルカメラ1の撮像視野範囲(水平方向)は、図15(b)における画角左端angL-1から画角右端angR-1までの範囲となるようにして変更される。
このようにして、反時計回り方向に90°のパン移動(即ちワイド端の画角値より大きなパン移動)を行った結果、新たに得られたパン移動後の撮像視野範囲(angL-1〜angR-1)と、これより前の撮像視野範囲(angL〜angR)とは、互いに重複する範囲がない。これにより、被写体SBJ0は、パン移動前の撮像視野範囲(angL〜angR)には収まっていたものの、パン移動後の撮像視野範囲(angL-1〜angR-1)から外れることになる。代わりに、被写体SBJ1がパン移動後の撮像視野範囲(angL-1〜angR-1)に収まる状態が得られている。このようにして、図15の場合には、先に検出されていた被写体が外されるようにして、最後の撮像記録時とは異なる他の被写体構成が得られる。
なお、図14の撮像視野範囲変更制御(ステップS509)では、パン移動後の撮像視野範囲に対応して被写体が存在していなければ、被写体が検出されないことになる。この場合には、ステップS503にて否定の判別結果が得られることとなって、ステップS311により被写体探索の制御が実行される。
また、上記の説明では、ステップS509としての撮像視野範囲変更制御では、パン移動のみを実行することとしているが、例えば、新たな被写体が撮像視野範囲に収まる可能性をより高くするために、被写体検出に適するものとして設定した所定のパン位置とするためのパン制御であるとか、例えばワイド端に戻すなどのズーム制御が併行して実行されるようにしてもよい。
また、撮像視野範囲変更制御の他の例としては、ステップS509の撮像視野範囲変更制御として、パン・チルト・ズーム制御ブロック63により反時計回り方向、若しくは時計回り方向でのパン移動を開始させる、というものである。
ステップS509からステップS501に戻ったときには、パン移動により撮像視野範囲が変化していくのに応じて撮像画像データの画像も変化していく。そして、この状態で、ステップS502において被写体検出処理を実行することになる。
そのうえで、この場合のステップS503の判別処理であるが、ステップS508からステップS501に戻ってステップS503に至った場合には、通常に、撮像画像データの画像内に被写体が検出されているか否かの判定を行えばよい。
これに対して、ステップS509の撮像視野範囲変更制御としてのパン移動開始の制御からステップS501に戻り、ステップS503に至った場合には、上記と判別すべき条件が異なる。つまり、この場合のステップS503においては、上記の被写体検出処理の結果として、先のステップS509の実行前(最後の撮像記録時に相当)において検出されていた被写体とは異なる、新たな被写体が検出されたか否かについて判別することとしている。なお、この判別にあたっては、先のステップS509の実行前において検出されていた被写体が継続して検出されていてもかまわないし、或る段階で撮像視野範囲から外れて検出されなくなっていてもよい。
例えば、ステップS509の撮像視野範囲変更制御によりパン移動を開始してから、予め定めた移動量の移動を完了したとしても、ステップS503にて新たな被写体が検出されなかった場合には、否定の判別結果が得られる。この場合には、ステップS409による被写体検出処理を開始してステップS501に戻ればよい。
これに対して、新たな被写体が検出されたとして肯定の判別結果が得られたのであれば、ステップS504以降に進むことになる。
この撮像視野範囲変更制御に応じた具体的な動作例を、図16に示す。
図16(a)には、図15(a)と同じ状態を示している。この場合にも、この図16(a)に示す状態において、被写体SBJ0を含む構図による撮像記録が或る回数繰り返された結果、ステップS407において肯定の判別結果が得られたとする。
これに応じては、上記したステップS509による撮像視野範囲変更制御としてのパン移動が開始されることになる。ここでは図16(a)に示す位置から、反時計回り方向にパン移動させていくこととする。
すると、図16(b)に示すようにして、図16(a)に示す位置から移動角度Fで示すだけパン移動したところで、画角左端angL-1〜画角右端angR-1の撮像視野範囲に、被写体SBJ1が収まる状態が得られることになる。この状態となったことに応じて、ステップS503において肯定の判別結果が得られ、ステップS504以降の処理に進むことになる。
ここで、図16(b)に示すパン移動後の画角左端angL-1〜画角右端angR-1の撮像視野範囲には、被写体SBJ1だけではなく、パン移動前の画角左端angL〜画角右端angRに収まっていた被写体SBJ0も収まっている状態にある。このようにして、パン移動前の被写体SBJ0が画像内に存在しているとしても、新たな被写体SBJ1との組み合わせとなるので、被写体構成としては、ステップS508によるパン移動(撮像視野範囲変更制御)前とは異なるものとなる。そして、図16(b)の状態でステップS503において肯定の判別結果が得られた場合には、例えばステップS504の構図判定は、被写体が2つの場合に応じた構図判定結果を得ることになる。
このようにして、第3実施形態では、同じ被写体構成による画像の撮像画像データを、規定最大値Nに対応した回数だけ記録すると、他の被写体構成を探しに行くようにされている。つまり、同じ被写体構成での画像が、必要以上に多く記録されないように配慮されている。
そのうえで、第3実施形態における頻度対応パラメータは、規定最大値Nとする。
この第3実施形態に対応する、図10のステップS203によっては、設定された記録頻度が高くなるのに応じて、規定最大値Nも増加させるようにして変更設定する。
例えば記録頻度が高めに設定されているときに、規定最大値Nとしての値が相対的に小さいと、1つの被写体構成で撮像記録される写真枚数が少なくなることとなって、結果的に頻度が高くならない、というような不具合が生じる。そこで、設定された記録頻度が高くなるのに応じて規定最大値Nを大きくすれば、実際における自動撮像記録の頻度も高くすることになる。
<8.頻度対応パラメータ例(第4実施形態)>
上記図14のアルゴリズムにおいて、基本的には、ステップS504においては、或る定められた1つの構図判定アルゴリズムを採用すればよい。しかし、この場合には、1つの被写体構成に対応して記録される規定最大値N分の撮像画像データは、基本的に全て同じ構図となる。
1つの被写体構成に対して考え得る最適構図は1つであるとは限らず、実際にはいくつものバリエーションを考えることができる。そこで、図14のアルゴリズムによる、規定最大値N分の撮像記録を実行するごとに、異なる構図が得られるようにすれば、1つの被写体構成に対応して得られる写真の画内容に変化が得られて、より好ましいことになる。
そこで、第4実施形態としては、上記のようにして、規定最大値N分の撮像記録の実行ごとに異なる構図が得られるようにするための構成を、先ず得ることとする。
図17は、この第4実施形態に対応して、規定最大値N分の撮像記録の実行ごとに異なる構図が得られるようにするための処理手順例を示している。
この処理は、例えば図14におけるステップS504の構図判定処理に際して、その構図判定アルゴリズムを選定するための処理となる。
先ず、構図判定ブロック62は、変更設定し得る規定最大値Nの範囲に応じた数の、異なる構図判定アルゴリズムを記憶しているものとする。
そのうえで、図17において、先ず、構図判定ブロック62は、ステップS601により現在のカウント値cntを呼び出すと,ステップS602により変数mに対して、この呼び出したカウント値cntとして設定されている値を代入する。
変数mは、構図判定ブロック62が記憶する構図判定アルゴリズムの識別番号に対応する。構図判定ブロック62は、ステップS603により、構図判定アルゴリズム1〜Nのうち、構図判定アルゴリズムm(1<m<N)を呼び出す。そして、ステップS604により、構図判定アルゴリズムmとしてのプログラムを実行して、現在検出されている被写体に対応しての構図判定処理を実行する。
このような処理とすれば、構図判定アルゴリズムは、カウント値cntに応じて変更される。つまり、1つの被写体構成のもとで実行される1回の撮像記録ごとに、異なる構図が得られる。
そして、このようにして構図判定アルゴリズムを形成する場合においては、この構図判定アルゴリズムが採用する判定構図の形成要素数を設定頻度に応じて変更する、ということが考えられる。つまり、第4実施形態では、頻度対応パラメータを、構図判定アルゴリズムが採用する判定構図の形成要素数とするものである。
一具体例を図18に示す。
図18には、設定頻度を「低」「中」「高」の3つのレベル段階に分けた場合を示している。
ここで設定頻度「低」の場合には、構図形成要素として、被写体位置、被写体サイズ、顔方向の3つを採用することとしている。そして、例えば図14に図17を適用して自動撮像記録を行う場合には、1つの被写体構成のもとで実行される1回の撮像記録ごとに、被写体位置、被写体サイズ、顔方向のそれぞれを変更するものとする。この場合には、判定構図として変更された被写体位置、被写体サイズ、顔方向が画像にて得られている構図となれば、ステップS505にて構図OKと判定されて撮像記録は実行されないことになる。
また、設定頻度「中」の場合は、構図形成要素から、顔方向を外し、被写体位置、被写体サイズの2つを採用し、1つの被写体構成のもとで実行される1回の撮像記録ごとに、被写体位置、被写体サイズを変更するものとする。この場合には、被写体位置、被写体サイズが判定構図と同じであれば、撮像記録が実行される。つまり、設定頻度「低」の場合よりも、撮像記録が実行されやすくなって、実際の記録頻度もより高くなる。
さらに、設定頻度「高」の場合は、構図形成要素から、顔方向及び被写体サイズを外し、被写体位置の1つを採用し、1つの被写体構成のもとで実行される1回の撮像記録ごとに、被写体位置のみを変更するものとする。この場合には、被写体位置のみが判定構図と同じであれば、撮像記録が実行され、設定頻度「中」の場合よりも、さらに撮像記録が実行されやすくなって、実際の記録頻度もさらに高くなる。
<9.頻度対応パラメータ例(第5実施形態)>
図19のフローチャートは、第5実施形態に対応する自動撮像記録のためのアルゴリズム例を示している。
この図に示す自動撮像記録動作は、図14に図17を適用したアルゴリズムを基としたうえで、判定した構図が得られなくとも一定時間を経過した場合には、強制的に撮像記録を実行するようにされている。一定時間以上にわたって判定構図が得られない場合、これまでの実施形態では,例えば撮像記録することなく、被写体検出に戻るようにされていた。その一方で、一定時間以上にわたって判定構図が得られない場合でも、とりあえずは、検出した被写体を撮像記録しておいてもよい、という考え方も採り得る。第5実施形態は、このような考え方に沿った自動撮像記録の動作となる。
図19において、ステップS501〜S504、S505、S506〜S511は、図14と同様となる。
図19においては、ステップS504により構図合わせ制御が行われたとする後、ステップS504−1により時間T1の計時を開始させたうえで、ステップS505により判定構図が得られているか否かについての判別を行う。
そして、ステップS505にて判定構図は得られていないとして否定の判別結果が得られた場合には、ステップS501−1により時間T1が経過していることが判別されない限り、ステップS505に戻るようにする。つまり、時間T1を最大待機時間として、判定構図が得られるのを待機する。
ステップS505−1にて時間T1が経過していないうちにステップS505にて構図OKとの判定結果が得られた場合には、ステップS506に進んで撮像記録を実行する。この場合には、判定構図が得られた撮像画像データが記録できる。
また、この場合には、判定構図が得られないままステップS505−1にて時間T1が経過したことが判別された場合にも、ステップS506に進む。
この場合には、判定構図は得られていないものの、検出された被写体を含む画内容の撮像画像データを記録することになる。
そして、この場合には、時間T1を頻度対応パラメータとして扱う。例えば、第5実施形態に対応した図10のステップS203では、設定された記録頻度が高いほど、時間T1を短く設定する。時間T1が短いほど、判定構図でなくとも撮像記録されるまでの待機時間が短縮され,結果として、記録頻度は高くなる。
なお、この図19に示すアルゴリズムでは、例えばさらに、第3実施形態での規定最大値Nを頻度対応パラメータとするアルゴリズムでは、第4実施形態での構図形成要素の数を頻度対応パラメータとするアルゴリズムとの少なくとも何れかを併用することができる。この点については、次の第6実施形態についても同様である。
<10.頻度対応パラメータ例(第6実施形態)>
図20のフローチャートは、第6実施形態としての自動撮像記録のアルゴリズム例を示している。
このアルゴリズムによる自動撮像記録動作は、構図OKの判定が得られたとしても、強制的に一定の時間T2の間は撮像記録を実行しない、というものであり、そのうえで、時間T2を頻度対応パラメータとして扱おうというものである。
図20も、図14のアルゴリズムを基としている。この図において、ステップS501〜S505、S506〜S511は、図14と同じになる。
図20においては、ステップS504により構図合わせ制御が行われたとする後、ステップS504−1により時間T2の計時を開始させておいたうえで、ステップS505により判定構図が得られているか否かについての判別を行う。
ここで、例えばステップS505にて構図OKとの肯定の判別結果が得られた場合には、ステップS505−1により時間T2が経過しているか否かについて判別され、否定の判別結果が得られていればステップS505に戻り、肯定の判別結果が得られればステップS506の撮像記録を実行する。
なお、この場合においてステップS505にて否定の判別結果が得られる場合とは、時間T2を経過しても構図OKの判定が得られなかった場合となる。
つまり、上記もしたように、第6実施形態では、構図合わせの後において、判定構図が得られている状態であっても、時間T2が経過していなければ、撮像記録が実行されないようになっている。
そのうえで、上記したように、第6実施携帯対応しては、この時間T2を頻度対応パラメータとして扱う。この実施形態に対応した図10のステップS203では、設定された記録頻度が高いほど、時間T2を短くすることになる。これにより、構図合わせにより判定構図が得られたとする状態から撮像記録が実行されるまでの時間が短縮されることになって、結果、或る単位時間長において記録される撮像画像データは増加する。つまり、実際の記録頻度が高くなる。
<11.頻度対応パラメータ例(第7実施形態)>
図21のフローチャートは、第7実施形態としての自動撮像記録のアルゴリズム例を示している。なお、この図21は、図9に示したフローチャートとしてのアルゴリズムを基にしている。図21において、ステップS101〜S107(S103−1を除く)は、図9と同様となる。
図21において、ステップS103において被写体が検出されないとして否定の判別結果が得られた場合には、ステップS203−1において待機時間T3により待機してから、ステップS207の被写体探索処理を開始する。
つまり、第7実施形態においては、被写体探索処理を開始させるのにあたり、その開始までに待機時間T3が与えられる。そして、この待機時間T3を頻度対応パラメータとして扱う。
この第7実施形態に対応する図10のステップS203では、例えば設定された記録頻度が高くなるのに応じて、待機時間T3を短くするようにして設定する。
待機時間T3が短くなれば、それだけ被写体探索が開始されるまでの時間が短くなり、結果、単位時間長において記録される撮像画像データ数が多くなって、実際の頻度としても高くなる。
<12.自動頻度変更設定処理(第1例)>
これまでにおいては、ユーザ操作によって記録頻度が設定されることとしていた。
しかし、ユーザ操作以外、つまり、ユーザの意図以外の条件に応じても、記録頻度を変更することが好ましい場合がある。
例えば、撮像画像データが記録されるのは、デジタルスチルカメラ1のメモリカード40である。当然のこととして、自動撮像記録が継続されて記録される撮像画像データ数が増えていけば、このメモリカード40の残容量は少なくなっていく。そして、メモリカード40の残容量が少なくなってきているのにもかかわらず、これまでと同じ頻度で撮像画像データを記録していけば、短時間でメモリカード40の残容量が0になってしまう。
このようなことを考慮すると、メモリカード40の残量に応じて、記録頻度を変更設定することが考えられる。
図22は、構図判定ブロック62が実行する処理として、メモリカード40の残量に応じて、記録頻度及び頻度対応パラメータを変更設定する処理を示している。
ステップS701において構図判定ブロック62は、メモリカード40の残量を認識する。そして、ステップS702において、このメモリカード40の残量に応じて適切とされる記録頻度を設定する。この場合には、メモリカード40の残量が少なくなるのに応じて記録頻度が低くなるようにして設定すればよい。
そして、ステップS703においては、図10のステップS203と同様に、設定された記録頻度に応じて頻度対応パラメータを変更設定する。
<13.自動頻度変更設定処理(第2例)>
また、本実施形態の撮像システムは、デジタルスチルカメラ1と雲台10の何れも、バッテリにより駆動可能に構成されている。また、例えば雲台10に対してACアダプタなどを接続すれば、雲台10だけではなく、デジタルスチルカメラ1にもACアダプタの電力が給電されて、ともにAC(商用交流電源)駆動も可能であるとする。
この場合において、例えばバッテリ駆動の場合には消費電力を抑えてできるだけ長い動作時間が得られるようにすることが求められる。ここで、記録頻度が相応に高いと、それだけ単位時間における記録動作の回数、パン・チルト駆動の時間も長くなるので、それだけ、電力消費が大きくなり、動作時間は短くなってしまう。
この点からすれば、バッテリ駆動のときには記録頻度を低く設定することが好ましいことになる。
これに対して、AC駆動の場合には、バッテリの駆動時間を考慮しなくともよいので、この点で消費電力を抑える必要性はなくなる、従って、AC駆動のときには、記録頻度を高く設定してよいことになる。
そこで、撮像システムがAC駆動とバッテリ駆動の何れによる電源駆動状態であるかに応じて、記録頻度を変更設定する構成というものを考えることができる。
図23は、構図判定ブロック62が実行する処理として、AC駆動とバッテリ駆動との間での電源駆動状態に応じて、記録頻度及び頻度対応パラメータを変更設定する処理を示している。
ステップS801において構図判定ブロック62は、現在においてAC駆動の状態であるか否かについて判別する。ここで、肯定の判別結果が得られたのであれば、ステップS802により、AC駆動時に対応して予め規定されている記録頻度を設定する。
これに対して、ステップS801において否定の判別結果が得られた場合には、バッテリ駆動の状態であることになるので、この場合には、ステップS803により、バッテリ駆動時に対応して予め規定されている記録頻度を設定する。なお、バッテリ駆動に対応しては、さらにバッテリ残量を検出して、バッテリ残量に応じて記録頻度を変更設定することも考えられる。例えばバッテリ残量が少ないほど、記録頻度も低く設定する。
そして、ステップS804により、ステップS802、若しくはステップS803により設定された記録頻度に応じて、頻度対応パラメータを変更設定する。
<14.本実施形態の撮像システムの変形例>
図24は、先に図7,図8に示した本実施の形態の撮像システムに対する変形例としての構成例を示している。
この図では、先ず、デジタルスチルカメラ1から通信制御処理ブロック63を経由して、撮像に基づいて信号処理部24にて生成される撮像画像データを、雲台10に対して送信するようにされている。
この図においては、雲台10の構成として通信制御処理ブロック71、パン・チルト制御処理ブロック72、被写体検出処理ブロック73、及び構図制御処理ブロック74が示されている。
通信制御処理ブロック71は、図7の通信部52に対応する機能部位であって、デジタルスチルカメラ1側の通信制御処理ブロック部63(雲台対応通信部34)との通信処理を所定のプロトコルに従って実行するようにして構成される部位である。
通信制御処理ブロック71により受信された撮像画像データは、被写体検出処理ブロック73に渡される。この被写体検出ブロッ73は、例えば図8に示した構図判定ブロック62と同等の被写体検出処理が少なくとも可能なだけの信号処理部を備えて構成され、取り込んだ撮像画像データを対象として被写体検出処理を実行し、その検出情報を構図制御処理ブロック74に出力する。
構図制御処理ブロック74は、図8の構図制御処理ブロック62と同等の構図制御を実行可能とされており、この構図制御処理の結果としてパン制御、チルト制御を行うときには、そのための制御信号をパン・チルト制御処理ブロック72に対して出力する。
パン・チルト制御処理ブロック72は、例えば図7における制御部51が実行する制御処理のうちで、パン・チルト制御に関する処理の実行機能に対応するもので、入力される制御信号に応じてパン機構部53、チルト機構部56の動きをコントロールするための信号をパン用駆動部55、チルト用駆動部58に対して出力する。これにより、構図制御処理ブロック62にて判定した構図が得られるようにしてパンニング、チルティングが行われる。
このようにして、図24に示す撮像システムは、デジタルスチルカメラ1から雲台10に撮像画像データを送信させることとして、雲台10側により、取り込んだ撮像画像データに基づく被写体検出処理と構図制御とを実行するようにして構成しているものである。
なお、ズーム制御を可能とする場合については、例えば、構図制御ブロック74が、通信制御処理ブロック71経由で、デジタルスチルカメラ1側にズーム制御を指示するように構成すればよい。
図25は、本実施の形態の撮像システムについての他の変形例としての構成例を示している。なお、この図において、図24と同一部分には同一符号を付して説明を省略する。
このシステムにおいては、雲台10側において撮像部75が備えられる。この撮像部75は、例えば撮像のための光学系と撮像素子(イメージャ)を備えて、撮像光に基づいた信号(撮像信号)を得るようにされているとともに、この撮像信号から撮像画像データを生成するための信号処理部から成る。これは、例えば図6に示した光学系部21、イメージセンサ22、A/Dコンバータ23、及び信号処理部24において撮像画像データを得るまでの信号処理段から成る部位に対応する構成となる。撮像部75により生成される撮像画像データは被写体検出処理ブロック73に出力される。なお、撮像部75が撮像光を取り込む方向(撮像方向)は、例えば雲台10に載置されるデジタルスチルカメラ1の光学系部21(レンズ部3)の撮像方向とできるだけ一致するようにして設定される。
この場合の被写体検出処理ブロック73及び構図制御処理ブロック74は、上記図24と同様にして被写体検出処理、構図制御処理を実行する。但し、この場合の構図制御処理ブロック74は、パン・チルト制御に加えて、レリーズ動作を実行させるタイミングに対応してはレリーズ指示信号を、通信制御処理ブロック71からデジタルスチルカメラ1に対して送信させる。デジタルスチルカメラ1では、レリーズ指示信号が受信されることに応じてレリーズ動作を実行するようにされる。
このようにして他の変形例では、被写体検出処理と構図制御に関して、レリーズ動作自体に関する以外の全ての制御・処理を雲台10側で完結して行うことができる。
なお、先に説明した本実施形態としての構図制御において実行されるパン制御、チルト制御は、雲台10のパン・チルト機構の動きを制御することにより行うこととしているが、雲台10に代えて、例えば、デジタルスチルカメラ1のレンズ部3に対しては、反射鏡により反射された撮像光が入射されるようにしたうえで、撮像光に基づいて得られる画像についてパンニング・チルティングされた結果が得られるようにして上記反射光を動かす構成を採用することも考えられる。
また、デジタルスチルカメラ1のイメージセンサ22から画像として有効な撮像信号を取り込むための画素領域を水平方向と垂直方向にシフトさせるという制御を行うことによっても、パンニング・チルティングが行われるのと同等の結果を得ることができる。この場合には、雲台10若しくはこれに準ずる、デジタルスチルカメラ1以外のパン・チルトのための装置部を用意する必要が無く、デジタルスチルカメラ1単体により本実施の形態としての構図制御を完結させることが可能となる。
また、光学系部21におけるレンズの光軸を水平・垂直方向に変更することのできる機構を備えて、この機構の動きを制御するように構成しても、パンニング・チルティングを行うことが可能である。
また、これまでの説明では、本実施形態の撮像システムを、互いに別体のデジタルスチルカメラ1と雲台10から成るものとしているが、例えば、デジタルスチルカメラ1に相当する撮像部と、雲台10に相当する可動機構部とが一体化された撮像装置などとされて構成されてもよい。
また、これまでの実施の形態の説明にあっては、被写体(個別被写体)は、人であることを前提としているが、例えば、人以外の動物を被写体とする場合にも、本願発明を適用することが考えられる。
また、被写体検出の対象となる画像データは、撮像に由来して得られるもの(撮像画像データ)のみに限定されるべきものではなく、例えば、絵であるとかデザイン画などの画内容を有する画像データを対象とすることも考えられる。
また、本願発明のもとで判定される構図(最適構図)は、必ずしも、三分割法などの構図設定手法に対して、検出された個別被写体の数の要素を加味する手法によって決定された構図に限定されるものではない。例えば一般的には良くないとされる構図であっても、構図の設定次第では、ユーザがおもしろみを感じたり、かえって良いと感じるような場合もあると考えられる。従って、本願発明のもとで判定される構図(最適構図)としては、実用性、エンタテイメント性などを考慮して任意に設定されればよく、実際においては特に制限はない。
また、これまでにも述べてきたように、本願に基づく構成における少なくとも一部は、CPUやDSPにプログラムを実行させることで実現できる。
このようなプログラムは、例えばROMなどに対して製造時などに書き込んで記憶させるほか、リムーバブルの記憶媒体に記憶させておいたうえで、この記憶媒体からインストール(アップデートも含む)させるようにしてDSP対応の不揮発性の記憶領域やフラッシュメモリ30などに記憶させることが考えられる。また、USBやIEEE1394などのデータインターフェース経由により、他のホストとなる機器からの制御によってプログラムのインストールを行えるようにすることも考えられる。さらに、ネットワーク上のサーバなどにおける記憶装置に記憶させておいたうえで、デジタルスチルカメラ1にネットワーク機能を持たせることとし、サーバからダウンロードして取得できるように構成することも考えられる。
1 デジタルスチルカメラ、2 シャッターボタン、3 レンズ部、10 雲台、21 光学系、22 イメージセンサ、23 A/Dコンバータ、24 信号処理部、25 エンコード/デコード部、26 メディアコントローラ、27 制御部、28 ROM、29 RAM、30 フラッシュメモリ、31 操作部、32 表示ドライバ、33 表示部、34 雲台対応通信部、40 メモリカード、51 制御部、52 通信部、53 パン機構部、54 パン用モータ、55 パン用駆動部、56 チルト機構部、57 チルト用モータ、58 チルト用駆動部、61 撮像記録ブロック、62 構図判定ブロック、63 パン・チルト・ズーム制御ブロック、64 通信制御処理ブロック、SBJ(SBJ0〜n) 被写体、71 通信制御処理ブロック、72 パン・チルト制御処理ブロック、73 被写体検出処理ブロック、74 構図制御処理ブロック、75 撮像部

Claims (14)

  1. 撮像部により撮像して得られる画像データを入力して、この画像データに基づく画像において存在する被写体を検出する被写体検出手段と、
    上記被写体検出手段により検出された被写体を画像内に含む上記画像データを自動で記録媒体に記録する自動撮像記録を継続して繰り返し実行させる撮像記録制御手段と、
    上記撮像記録制御手段により実行される自動撮像記録の頻度である記録頻度を変更設定する記録頻度設定手段と、
    上記記録頻度設定手段により設定された記録頻度に応じて、自動撮像記録に関連した所定のパラメータを変更設定する、パラメータ変更設定手段と、
    を備える撮像装置。
  2. 上記被写体検出手段により検出された被写体に応じて構図を判定する構図判定手段と、
    上記画像データに基づく画像において、判定された構図が規定時間にわたって継続して得られたか否かを判別する構図継続判別手段とをさらに備え、
    上記撮像記録制御手段は、上記構図継続判別手段により判定された構図が判定された構図が規定時間にわたって継続して得られたと判別されたことに応じて自動撮像記録を実行し、
    上記パラメータ変更設定手段は、上記パラメータとして、上記構図継続判別手段が判別に用いる上記規定時間を変更する、
    請求項1に記載の撮像装置。
  3. 上記被写体検出手段は、検出された被写体ごとの笑顔のレベル値を検出するものとされ、
    上記被写体検出手段により検出された被写体に応じて構図を判定するもので、判定される構図の要素に、検出された笑顔のレベル値が閾値以上であることを含む構図判定手段と、
    上記検出された笑顔のレベル値が閾値以上であるか否かを判別する笑顔レベル値判別手段とをさらに備え、
    上記撮像記録制御手段は、上記笑顔レベル値判別手段により検出された笑顔のレベル値が閾値以上であると判別されたことに応じて自動撮像記録を実行し、
    上記パラメータ変更設定手段は、上記パラメータとして、上記笑顔レベル値判別手段が判別に用いる上記閾値を変更する、
    請求項1又は請求項2に記載の撮像装置。
  4. 上記撮像記録制御手段は、上記記被写体検出手段により被写体を検出したときに得られる被写体構成を含む画像の画像データを、規定回数繰り返して記録するようにされており、
    上記パラメータ変更設定手段は、上記パラメータとして、上記規定回数の値を変更する、
    請求項1乃至請求項3の何れかに記載の撮像装置。
  5. 上記撮像記録制御手段により、上記記被写体検出手段により被写体を検出したときに形成される得られる被写体構成を含む画像の画像データが規定回数繰り返して記録されたことに応じて、少なくとも最後の撮像記録のときとは異なる被写体構成を形成する被写体が上記被写体検出手段により検出されるようにするために、上記撮像部の撮像視野範囲を変更する可動機構部を駆動制御する撮像視野範囲変更制御手段をさらに備える、
    請求項4に記載の撮像装置。
  6. 上記被写体検出手段により検出された被写体に応じて構図を判定するもので、構図の判定のために、所定の構図形成要素ごとに判定を行う構図判定手段をさらに備え、
    上記パラメータ変更設定手段は、上記パラメータとして、構図判定手段が採用すべき上記構図形成要素を変更する、
    請求項1乃至請求項5の何れかに記載の撮像装置。
  7. 上記被写体検出手段により検出された被写体に応じて構図を判定する構図判定手段と、
    上記画像データに基づく画像において、判定された構図が規定時間において得られるか否かを判別する第1の判定構図判別手段と、
    上記画像データに基づく画像において、判定された構図が上記規定時間にわたって継続して得られなかったか否かを判別する第2の判定構図判別手段とをさらに備え、
    上記撮像記録制御手段は、上記第1の判定構図判別手段により判定された構図が上記規定時間において得られたと判別したことに応じて、若しくは、上記第2の判定構図判別手段により、判定された構図が上記規定時間にわたって継続して得られなかったことに応じて自動撮像記録を実行し、
    上記パラメータ変更設定手段は、上記パラメータとして、上記第1、第2の判定構図判別手段が判別に用いる上記規定時間を変更する、
    請求項1、請求項3乃至請求項6の何れかに記載の撮像装置。
  8. 上記被写体検出手段により検出された被写体に応じて構図を判定する構図判定手段と、
    上記画像データに基づく画像において、判定された構図が得られたか否かについて判別する判定構図判別手段と、
    上記判定構図判別手段により判定された構図が得られていると判定されており、かつ、規定時間が経過したか否かについて判別する時間経過判別手段とをさらに備え、
    上記撮像記録制御手段は、上記構図継続判別手段により肯定の判別結果が得られたことに応じて自動撮像記録を実行し、
    上記パラメータ変更設定手段は、上記パラメータとして、上記時間経過判別手段が判別に用いる上記規定時間を変更する、
    請求項1、請求項3乃至請求項7の何れかに記載の撮像装置。
  9. 上記被写体検出手段により被写体が検出されなかったことに応じて、上記被写体検出手段により被写体が検出されるように撮像視野範囲を変更する被写体探索制御を実行する、被写体探索制御手段と、
    上記被写体検出手段により被写体が検出されなかったと判別されたタイミングから、所定の待機時間を経てから上記被写体探索制御を開始させる実行タイミング制御手段とをさらに備え、
    上記パラメータ変更設定手段は、上記パラメータとして、上記実行タイミング制御手段が用いる上記待機時間を変更する、
    請求項1乃至請求項8の何れかに記載の撮像装置。
  10. 上記記録頻度設定手段は、操作に応じて、記録頻度を変更設定する、
    請求項1乃至請求項9の何れかに記載の撮像装置。
  11. 上記記録頻度設定手段は、上記記憶媒体の残容量に応じて記録頻度を変更設定する、
    請求項1乃至請求項10の何れかに記載の撮像装置。
  12. 上記記録頻度設定手段は、撮像装置がバッテリ駆動であるか、商用交流電源駆動であるかに応じて、記録頻度を変更設定する、
    請求項1乃至請求項11の何れかに記載の撮像装置。
  13. 撮像部により撮像して得られる画像データを入力して、この画像データに基づく画像において存在する被写体を検出する被写体検出手順と、
    上記被写体検出手順により検出された被写体を画像内に含む上記画像データを自動で記録媒体に記録する自動撮像記録を継続して繰り返し実行させる撮像記録制御手順と、
    上記撮像記録制御手順により実行される自動撮像記録の頻度である記録頻度を変更設定する記録頻度設定手順と、
    上記記録頻度設定手順により設定された記録頻度に応じて、自動撮像記録に関連した所定のパラメータを変更設定するパラメータ変更設定手順と、
    を実行する撮像方法。
  14. 撮像装置に、
    撮像部により撮像して得られる画像データを入力して、この画像データに基づく画像において存在する被写体を検出する被写体検出手順と、
    上記被写体検出手順により検出された被写体を画像内に含む上記画像データを自動で記録媒体に記録する自動撮像記録を継続して繰り返し実行させる撮像記録制御手順と、
    上記撮像記録制御手順により実行される自動撮像記録の頻度である記録頻度を変更設定する記録頻度設定手順と、
    上記記録頻度設定手順により設定された記録頻度に応じて、自動撮像記録に関連した所定のパラメータを変更設定するパラメータ変更設定手順と、
    を実行させるためのプログラム。
JP2009176625A 2009-07-29 2009-07-29 撮像制御装置、撮像方法、プログラム Expired - Fee Related JP5434338B2 (ja)

Priority Applications (8)

Application Number Priority Date Filing Date Title
JP2009176625A JP5434338B2 (ja) 2009-07-29 2009-07-29 撮像制御装置、撮像方法、プログラム
TW099123652A TW201121308A (en) 2009-07-29 2010-07-19 Image pickup apparatus, image pickup method and program
EP10804308.4A EP2461569A4 (en) 2009-07-29 2010-07-22 CONTROL DEVICE, CONTROL METHOD, AND CONTROL PROGRAM
CN2010800421833A CN102550016A (zh) 2009-07-29 2010-07-22 控制装置、控制方法和程序
BR112012001331A BR112012001331A2 (pt) 2009-07-29 2010-07-22 aparelho de controle, método de controle, e, programa.
KR1020127001590A KR20120035191A (ko) 2009-07-29 2010-07-22 제어 장치, 제어 방법 및 프로그램
US13/384,898 US8908916B2 (en) 2009-07-29 2010-07-22 Control apparatus, control method, and program to search for a subject and automatically perform image-recording
PCT/JP2010/062299 WO2011013562A1 (ja) 2009-07-29 2010-07-22 制御装置、制御方法、プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009176625A JP5434338B2 (ja) 2009-07-29 2009-07-29 撮像制御装置、撮像方法、プログラム

Publications (3)

Publication Number Publication Date
JP2011030163A true JP2011030163A (ja) 2011-02-10
JP2011030163A5 JP2011030163A5 (ja) 2012-08-02
JP5434338B2 JP5434338B2 (ja) 2014-03-05

Family

ID=43529220

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009176625A Expired - Fee Related JP5434338B2 (ja) 2009-07-29 2009-07-29 撮像制御装置、撮像方法、プログラム

Country Status (8)

Country Link
US (1) US8908916B2 (ja)
EP (1) EP2461569A4 (ja)
JP (1) JP5434338B2 (ja)
KR (1) KR20120035191A (ja)
CN (1) CN102550016A (ja)
BR (1) BR112012001331A2 (ja)
TW (1) TW201121308A (ja)
WO (1) WO2011013562A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140105313A (ko) * 2013-02-22 2014-09-01 삼성전자주식회사 카메라를 구비하는 장치의 이미지 촬영장치 및 방법
US9591210B2 (en) 2012-03-06 2017-03-07 Sony Corporation Image processing face detection apparatus, method for controlling the same, and program
JP2018180111A (ja) * 2017-04-06 2018-11-15 キヤノン株式会社 撮像装置およびその制御方法、プログラム
JP2020012769A (ja) * 2018-07-19 2020-01-23 東亜ディーケーケー株式会社 計測装置及び計測装置の本体装置

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5206095B2 (ja) 2008-04-25 2013-06-12 ソニー株式会社 構図判定装置、構図判定方法、プログラム
JP5453953B2 (ja) * 2009-06-24 2014-03-26 ソニー株式会社 可動機構部制御装置、可動機構部制御方法、プログラム
US20140085491A1 (en) * 2012-09-27 2014-03-27 JVC Kenwood Corporation Imaging device and cradle
TWM560035U (zh) * 2017-11-13 2018-05-11 鄭宇傑 影像追蹤裝置
DK180640B1 (en) 2018-05-07 2021-11-09 Apple Inc Devices and methods of measurement using augmented reality
US10785413B2 (en) 2018-09-29 2020-09-22 Apple Inc. Devices, methods, and graphical user interfaces for depth-based annotation
US11227446B2 (en) 2019-09-27 2022-01-18 Apple Inc. Systems, methods, and graphical user interfaces for modeling, measuring, and drawing using augmented reality
US11080879B1 (en) 2020-02-03 2021-08-03 Apple Inc. Systems, methods, and graphical user interfaces for annotating, measuring, and modeling environments
US11727650B2 (en) 2020-03-17 2023-08-15 Apple Inc. Systems, methods, and graphical user interfaces for displaying and manipulating virtual objects in augmented reality environments
US11941764B2 (en) 2021-04-18 2024-03-26 Apple Inc. Systems, methods, and graphical user interfaces for adding effects in augmented reality environments

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11112852A (ja) * 1997-10-01 1999-04-23 Matsushita Electric Ind Co Ltd デジタル・スチル・カメラ
JP2000358183A (ja) * 1999-06-14 2000-12-26 Canon Inc 画像処理装置及びその方法
JP2005044032A (ja) * 2003-07-24 2005-02-17 Mega Chips Corp ハードディスクドライブ内蔵装置
JP2006019828A (ja) * 2004-06-30 2006-01-19 Toshiba Corp 画像記録装置
JP2006203689A (ja) * 2005-01-21 2006-08-03 Canon Inc 撮像装置及びその制御方法及びプログラム及び記憶媒体
JP2008078951A (ja) * 2006-09-21 2008-04-03 Casio Comput Co Ltd 撮像装置、撮影制御方法、およびプログラム

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040100563A1 (en) * 2002-11-27 2004-05-27 Sezai Sablak Video tracking system and method
JP2006140971A (ja) * 2004-11-15 2006-06-01 Canon Inc 画像処理装置及び画像処理方法
US8063976B2 (en) * 2007-07-24 2011-11-22 Casio Computer Co., Ltd. Image pick-up apparatus and method of controlling the image pick-up apparatus
JP4513843B2 (ja) * 2007-09-10 2010-07-28 カシオ計算機株式会社 撮像装置及びプログラム
JP5115139B2 (ja) 2007-10-17 2013-01-09 ソニー株式会社 構図判定装置、構図判定方法、プログラム
JP4894712B2 (ja) 2007-10-17 2012-03-14 ソニー株式会社 構図判定装置、構図判定方法、プログラム
JP4508257B2 (ja) 2008-03-19 2010-07-21 ソニー株式会社 構図判定装置、構図判定方法、プログラム
JP5206095B2 (ja) 2008-04-25 2013-06-12 ソニー株式会社 構図判定装置、構図判定方法、プログラム
JP4640456B2 (ja) 2008-06-25 2011-03-02 ソニー株式会社 画像記録装置、画像記録方法、画像処理装置、画像処理方法、プログラム
JP4561914B2 (ja) 2008-09-22 2010-10-13 ソニー株式会社 操作入力装置、操作入力方法、プログラム
JP4983784B2 (ja) 2008-12-18 2012-07-25 ソニー株式会社 撮像システム、画像提示方法、制御装置、プログラム
JP2011009929A (ja) 2009-06-24 2011-01-13 Sony Corp 可動機構部制御装置、可動機構部制御方法、プログラム
JP5453953B2 (ja) 2009-06-24 2014-03-26 ソニー株式会社 可動機構部制御装置、可動機構部制御方法、プログラム
JP5359645B2 (ja) 2009-07-23 2013-12-04 ソニー株式会社 構図判定装置、撮像システム、構図判定方法、プログラム
JP5347802B2 (ja) 2009-07-27 2013-11-20 ソニー株式会社 構図制御装置、撮像システム、構図制御方法、プログラム
JP5407640B2 (ja) 2009-07-29 2014-02-05 ソニー株式会社 画像対応装置、動作設定方法、プログラム
JP2011139231A (ja) 2009-12-28 2011-07-14 Sony Corp 画像処理装置、画像処理方法、プログラム
US8605158B2 (en) 2009-12-28 2013-12-10 Sony Corporation Image pickup control apparatus, image pickup control method and computer readable medium for changing an image pickup mode
JP2011155361A (ja) 2010-01-26 2011-08-11 Sony Corp 撮像装置、撮像制御方法、プログラム
JP5504915B2 (ja) 2010-01-26 2014-05-28 ソニー株式会社 撮像制御装置、撮像制御方法、プログラム
JP2011188065A (ja) 2010-03-05 2011-09-22 Sony Corp 撮像制御装置、被写体検出方法、プログラム
JP5533048B2 (ja) 2010-03-08 2014-06-25 ソニー株式会社 撮像制御装置、撮像制御方法
JP5577900B2 (ja) 2010-07-05 2014-08-27 ソニー株式会社 撮像制御装置、撮像制御方法、プログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11112852A (ja) * 1997-10-01 1999-04-23 Matsushita Electric Ind Co Ltd デジタル・スチル・カメラ
JP2000358183A (ja) * 1999-06-14 2000-12-26 Canon Inc 画像処理装置及びその方法
JP2005044032A (ja) * 2003-07-24 2005-02-17 Mega Chips Corp ハードディスクドライブ内蔵装置
JP2006019828A (ja) * 2004-06-30 2006-01-19 Toshiba Corp 画像記録装置
JP2006203689A (ja) * 2005-01-21 2006-08-03 Canon Inc 撮像装置及びその制御方法及びプログラム及び記憶媒体
JP2008078951A (ja) * 2006-09-21 2008-04-03 Casio Comput Co Ltd 撮像装置、撮影制御方法、およびプログラム

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9591210B2 (en) 2012-03-06 2017-03-07 Sony Corporation Image processing face detection apparatus, method for controlling the same, and program
KR20140105313A (ko) * 2013-02-22 2014-09-01 삼성전자주식회사 카메라를 구비하는 장치의 이미지 촬영장치 및 방법
KR102093647B1 (ko) * 2013-02-22 2020-03-26 삼성전자 주식회사 카메라를 구비하는 장치의 이미지 촬영장치 및 방법
JP2018180111A (ja) * 2017-04-06 2018-11-15 キヤノン株式会社 撮像装置およびその制御方法、プログラム
JP2020012769A (ja) * 2018-07-19 2020-01-23 東亜ディーケーケー株式会社 計測装置及び計測装置の本体装置

Also Published As

Publication number Publication date
US8908916B2 (en) 2014-12-09
EP2461569A1 (en) 2012-06-06
EP2461569A4 (en) 2014-03-12
WO2011013562A1 (ja) 2011-02-03
CN102550016A (zh) 2012-07-04
WO2011013562A9 (ja) 2011-05-05
KR20120035191A (ko) 2012-04-13
TW201121308A (en) 2011-06-16
US20120121134A1 (en) 2012-05-17
JP5434338B2 (ja) 2014-03-05
BR112012001331A2 (pt) 2019-09-24

Similar Documents

Publication Publication Date Title
JP5434338B2 (ja) 撮像制御装置、撮像方法、プログラム
JP5434339B2 (ja) 撮像制御装置、撮像システム、撮像方法、プログラム
JP5407640B2 (ja) 画像対応装置、動作設定方法、プログラム
JP5504915B2 (ja) 撮像制御装置、撮像制御方法、プログラム
JP5533048B2 (ja) 撮像制御装置、撮像制御方法
JP4983784B2 (ja) 撮像システム、画像提示方法、制御装置、プログラム
US9338362B2 (en) Image capturing apparatus, image capturing control method and storage medium for capturing a subject to be recorded with intended timing
JP2011188065A (ja) 撮像制御装置、被写体検出方法、プログラム
JP5453953B2 (ja) 可動機構部制御装置、可動機構部制御方法、プログラム
JP5347802B2 (ja) 構図制御装置、撮像システム、構図制御方法、プログラム
JP2011139231A (ja) 画像処理装置、画像処理方法、プログラム
JP2011155361A (ja) 撮像装置、撮像制御方法、プログラム
JP5824972B2 (ja) 撮像装置、フレームレート制御装置、撮像制御方法及びプログラム
JP2011009929A (ja) 可動機構部制御装置、可動機構部制御方法、プログラム
JP5251779B2 (ja) 携帯型電子機器、制御方法、プログラム、撮像システム
JP2013034158A (ja) 撮像装置
JP5651951B2 (ja) 撮像制御装置、撮像制御方法、プログラム
KR20230135513A (ko) 촬상장치, 그 제어방법 및 컴퓨터 판독가능한 매체
JP2005250399A (ja) 撮像装置、発光制御方法
JP2011139230A (ja) 撮像制御装置、撮像制御方法、プログラム

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20110812

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120618

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120618

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130409

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130531

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130827

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131017

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131112

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131125

R151 Written notification of patent or utility model registration

Ref document number: 5434338

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees