[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP5359645B2 - 構図判定装置、撮像システム、構図判定方法、プログラム - Google Patents

構図判定装置、撮像システム、構図判定方法、プログラム Download PDF

Info

Publication number
JP5359645B2
JP5359645B2 JP2009172327A JP2009172327A JP5359645B2 JP 5359645 B2 JP5359645 B2 JP 5359645B2 JP 2009172327 A JP2009172327 A JP 2009172327A JP 2009172327 A JP2009172327 A JP 2009172327A JP 5359645 B2 JP5359645 B2 JP 5359645B2
Authority
JP
Japan
Prior art keywords
image
subject
composition
detected
rotation angle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009172327A
Other languages
English (en)
Other versions
JP2011029831A5 (ja
JP2011029831A (ja
Inventor
真吾 善積
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2009172327A priority Critical patent/JP5359645B2/ja
Priority to US12/797,993 priority patent/US8908057B2/en
Priority to TW099122328A priority patent/TW201127029A/zh
Priority to CN201010233543XA priority patent/CN101964872A/zh
Publication of JP2011029831A publication Critical patent/JP2011029831A/ja
Publication of JP2011029831A5 publication Critical patent/JP2011029831A5/ja
Application granted granted Critical
Publication of JP5359645B2 publication Critical patent/JP5359645B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/64Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Description

本発明は、例えば画像データを対象として、その画内容が有する構図に関する処理を行うようにされた構図判定装置とその方法に関する。また、構図判定装置に必要な手順を実行させるためのプログラムに関する。
例えば、良い印象を与えることのできる写真を撮影するためのテクニック的な一要素として、構図設定が挙げられる。ここでいう構図は、フレーミングともいわれるもので、例えば写真としての画面内における被写体の配置をいう。
良好な構図とするための一般的、基本的な手法はいくつかあるものの、一般のカメラユーザが良い構図の写真を撮影することは、写真撮影に関する充分な知識、技術を持っていない限り、決して簡単なことではない。このことからすると、例えば良好な構図の写真画像を手軽で簡単に得ることのできる技術構成が求められることになる。
例えば特許文献1には、自動追尾装置として、一定時間間隔の画像間の差を検出して、画像間の差の重心を算出し、この重心の移動量、移動方向から被写体画像の撮像画面に対する移動量、移動方向を検出して撮像装置を制御し、被写体画像を撮像画面の基準領域内に設定する技術構成が開示されている。
また、特許文献2には、自動追尾装置として、人物を自動追尾する場合に、人物の顔が画面中央となるように画面上の人物像全体の面積に対してその人物の上側から20%の面積となる位置を画面中央にして追尾することによって人物の顔を確実に撮影しながら追尾できるようにした技術が開示されている。
これらの技術構成を構図決定の観点から見れば、人物としての被写体を自動的に探索して、撮影画面において或る決まった構図でその被写体を配置させることが可能となっている。
特開昭59−208983号公報 特開2001−268425号公報
例えば被写体に関する所定の状況、状態などに対応しては、最適構図も異なってくることがあると考えられる。しかし、上記特許文献による技術では、追尾した被写体をある固定的な構図で配置させることしかできない。従って、被写体の状況などに対応して構図を変更して撮影するようなことはできないことになる。
そこで、本願発明では、例えば写真などとしての画像について良好な構図が手軽に得られるようにするための技術を提案することを目指すこととしたうえで、その際において、被写体の状況・状態の変化にも適応してより高度で柔軟性のある構図の決定が行われるようにすることを目的とする。
そこで本発明は上記した課題を考慮して、構図判定装置として次のように構成する。
つまり、画像データに基づく画像における特定の被写体を検出する被写体検出手段と、上記被写体検出手段により検出される被写体である検出被写体ごとに、上記検出被写体に対応する画像部分における特定の対象部位についての、上記画像内での回転角度を検出する回転角度検出手段と、上記画像に対して画像領域分割線を設定したうえで、上記回転角度に応じて移動量を求め、上記画像内の1以上の上記検出被写体から成る画像部分に設定した重心を、上記画像領域分割線から上記移動量分により移動させた位置とした構図を判定結果として得る構図判定手段とを備えることとした。
また、撮像システムとして次のように構成する。
つまり、撮像装置部と、上記撮像装置部の撮像視野範囲を変更するようにして可動する機構を有する可動装置部と、上記撮像装置部が撮像して得られる撮像画像の画像データを取得する画像データ取得手段と、上記画像データに基づく画像における特定の被写体を検出する被写体検出手段と、上記被写体検出手段により検出される被写体である検出被写体ごとに、上記検出被写体に対応する画像部分における特定の対象部位についての、上記画像内での回転角度を検出する回転角度検出手段と、上記画像に対して画像領域分割線を設定したうえで、上記回転角度に応じて移動量を求め、上記画像内の1以上の上記検出被写体から成る画像部分に設定した重心を、上記画像領域分割線から上記移動量分により移動させた位置とした構図を判定結果として得る構図判定手段と、上記構図判定手段により判定された構図が得られるための上記撮像視野範囲となるように、少なくとも上記可動装置部の制御を実行する構図制御手段とを備えることとした。
上記構成では、画像データの画像から検出された被写体における特定の対象部位についての回転角度を検出することとしており、この検出された回転角度に応じて、構図判定を行う。例えば、上記特定の対象部位についての回転角度により、最適とされる構図は異なってくるとの考え方をとることができる。本願発明によれば、上記回転角度に応じて最適構図が得られることとなる。
このようにして、本発明によっては、これまでよりも高度で柔軟性のある構図決定を自動的に行うことが可能となる。これにより、例えば本願発明を適用した装置を利用するユーザは、面倒な手間を掛けることなく、最適構図の画像を得ることが可能になり、これまでよりも高い利便性、有用性が享受できる。
実施形態の撮像システムを成す撮像装置であるデジタルスチルカメラの外観を簡単に示す正面図及び背面図である。 実施形態の撮像システムを成す雲台の外観例を示す斜視図である。 実施形態の撮像システムとして、雲台にデジタルスチルカメラが取り付けられた形態例を示す正面図である。 実施形態の撮像システムとして、雲台にデジタルスチルカメラが取り付けられた形態例を、パン方向における動きの態様例とともに示す平面図である。 実施形態の撮像システムとして、雲台にデジタルスチルカメラが取り付けられた形態例を示す側面図である。 デジタルスチルカメラの構成例を示すブロック図である。 雲台の構成例を示すブロック図である。 実施の形態のデジタルスチルカメラが構図制御に対応して備えるものとされる機能をブロック単位の構成により示す図である。 個別被写体の重心と、複数の個別被写体についての総合被写体重心とを説明する図である。 撮像画像データの画面に設定した原点座標を説明する図である。 第1例の構図制御における、個別被写体数が1である場合の構図制御例を模式的に示す図である。 第1例の構図制御における、個別被写体数が2である場合の構図制御例を模式的に示す図である。 第1例の構図制御における、個別被写体数が3である場合の構図制御例を模式的に示す図である。 第1例の構図制御のための処理手順例を示すフローチャートである。 第2例の構図制御における、検出された個別被写体数が3である場合の構図制御例を模式的に示す図である。 第2例の構図制御のための処理手順例を示すフローチャートである。 第3例及び第4例の構図制御に対応した、顔回転角度の検出手法例を説明するための図である。 第3例の構図制御として、個別被写体数が1の場合の構図制御例を説明するための図である。 第3例の構図制御として、個別被写体数が複数の場合の構図制御例を説明するための図である。 第4例の構図制御としての基本的な制御例を説明するための図である。 第4例の構図制御としての基本的な制御例を説明するための図である。 第4例の構図制御として、個別被写体数が1で、顔方向を組み合わせた場合の制御例を示す図である。 第4例の構図制御として、個別被写体数が1で、顔方向を組み合わせた場合の制御例を示す図である。 第4例の構図制御として、個別被写体数が1で、真横を基準とする顔回転角度に基づいた制御例を示す図である。 第4例の構図制御として、個別被写体数が1で、真横を基準とする顔回転角度に基づいた制御例を示す図である。 第4例の構図制御として、個別被写体数が2の場合の制御例を示す図である。 第4例の構図制御として、個別被写体数が2で、顔方向を組み合わせた場合の制御例、真横を基準とする顔回転角度に基づいた制御例を示す図である。 第4例の構図制御として、個別被写体数が3以上で、顔方向を組み合わせた場合の制御例、真横を基準とする顔回転角度に基づいた制御例を示す図である。 第3例、第4例の構図制御に対応した顔回転角度の区分設定例を示す図である。 通常姿勢対応処理と横臥姿勢対応処理との間での実行判断処理を示すフローチャートである。 第2例に第3例及び第4例を組み合わせた構図制御での、個別被写体数が1の場合に対応する水平オフセット量設定のための処理手順例を示すフローチャートである。 第2例に第3例及び第4例を組み合わせた構図制御での、個別被写体数が複数の場合に対応する水平オフセット量設定のための処理手順例を示すフローチャートである。 横臥姿勢対応処理を示すフローチャートである。 横臥姿勢対応処理での、個別被写体数が1の場合に対応する水平オフセット量設定のための処理手順例を示すフローチャートである。 横臥姿勢対応処理での、個別被写体数が複数の場合に対応する水平オフセット量設定のための処理手順例を示すフローチャートである。 横臥姿勢対応処理での、垂直オフセット量設定のための処理手順例を示すフローチャートである。 実施形態としてのセルフタイマ自動起動機能としての動作を説明するための図である。 実施形態のセルフタイマ自動起動機能としての処理手順例を示すフローチャートである。 実施の形態の撮像システムの変形例としての構成例を示す図である。 実施の形態の撮像システムの他の変形例としての構成例を示す図である。 本願発明に基づく構図判定の適用例を示す図である。 本願発明に基づく構図判定の適用例を示す図である。 本願発明に基づく構図判定の適用例を示す図である。 本願発明に基づく構図判定の適用例を示す図である。 本願発明に基づく構図判定の適用例を示す図である。 本願発明に基づく構図判定の適用例を示す図である。 本願発明に基づく構図判定の適用例を示す図である。 本願発明に基づく構図判定の適用例を示す図である。
以下、本願発明を実施するための形態(以下、実施形態という)について、下記の順により説明する。
<1.撮像システムの構成>
[1−1.全体構成]
[1−2.デジタルスチルカメラ]
[1−3.雲台]
<2.実施形態の構図制御に対応する機能構成例>
<3.顔方向と被写体数に応じた構図制御(第1例)>
<4.顔方向と被写体数に応じた構図制御(第2例)>
<5.顔回転角度に応じた構図制御:通常姿勢時(第3例)>
<6.顔回転角度に応じた構図制御例:横臥姿勢時(第4例)>
<7.顔回転角度に応じた構図制御のアルゴリズム>
[7−1.顔回転角度の範囲設定]
[7−2.通常姿勢に対応するアルゴリズム]
[7−3.横臥姿勢に対応するアルゴリズム]
<8.セルフタイマ自動起動機能>
<9.本実施形態の撮像システムの変形例>
<10.本実施形態の構図制御の適用例>

また、以降の説明にあたり、画枠、画角、撮像視野範囲、構図なる語を用いることとする。
画枠は、例えば画像が嵌め込まれるようにしてみえる一画面相当の領域範囲をいい、一般には縦長若しくは横長の長方形としての外枠形状を有する。
画角は、ズーム角などともいわれるもので、撮像装置の光学系におけるズームレンズの位置によって決まる画枠に収まる範囲を角度により表したものである。一般的には、撮像光学系の焦点距離と、像面(イメージセンサ、フィルム)のサイズによって決まるものとされているが、ここでは、焦点距離に対応して変化し得る要素を画角といっている。以降において、画角の値については、焦点距離(例えば35mm換算)により表す場合がある。
撮像視野範囲は、定位置に置かれた撮像装置により撮像して得られる画像の画枠に収まる範囲について、上記の画角に加え、パン(水平)方向における振り角度と、チルト(垂直)方向における角度(仰角、俯角)により決まるものをいう。
構図は、ここでは、フレーミングともいわれるもので、例えば撮像視野範囲によって決まる画枠内における被写体についてのサイズ設定も含めたうえでの配置状態をいう。
本実施形態としては、本願発明に基づく構成を、デジタルスチルカメラと、このデジタルスチルカメラが取り付けられる雲台とからなる撮像システムに適用した場合を例に挙げることとする。
<1.撮像システムの構成>
[1−1.全体構成]
本実施形態の撮像システムは、デジタルスチルカメラ1と、このデジタルスチルカメラ1が載置される雲台10から成る。
先ず、図1にデジタルスチルカメラ1の外観例を示す。図1(a)、(b)は、それぞれデジタルスチルカメラ1の正面図、背面図となる。
この図に示されるデジタルスチルカメラ1は、先ず、図1(a)に示すように、本体部2の前面側においてレンズ部21aを備える。このレンズ部21aは、撮像のための光学系として本体部2の外側に表出している部位である。
また、本体部2の上面部には、レリーズボタン31aが設けられている。撮像モードにおいてはレンズ部21aにより撮像された画像(撮像画像)が画像信号として生成される。そして、この撮像モードにおいてレリーズボタン31aに対する操作が行われると、この操作タイミングのときに得られていたとする撮像画像が、静止画の画像データとして記憶媒体に記録される。つまり、写真撮影が行われる。
また、デジタルスチルカメラ1は、図1(b)に示すようにして、その背面側に表示画面部33aを有する。
この表示画面部33aには、撮像モード時においては、スルー画などといわれ、そのときにレンズ部21aにより撮像している画像が表示される。また、再生モード時においては、記憶媒体に記録されている画像データが再生表示される。さらに、ユーザがデジタルスチルカメラ1に対して行った操作に応じて、GUI(Graphical User Interface)としての操作画像が表示される。
なお、本実施形態のデジタルスチルカメラ1は、表示画面部33aに対してタッチパネルが組み合わされているものとする。これにより、ユーザは、表示画面部33aに対して指を当てることによって、しかるべき操作を行うことができる。
また、本実施形態の撮像システム(撮像装置)は、このデジタルスチルカメラ1としての撮像装置部と、次に説明する雲台10としての可動機構部(可動装置部)から成るものとしているが、ユーザは、デジタルスチルカメラ1単体のみを使用しても、通常のデジタルスチルカメラと同じように、写真撮影を行うことができる。
図2は、雲台10の外観を示す斜視図である。また、図3〜図5(b)は、本実施形態の撮像システムの外観として、雲台10に対してデジタルスチルカメラ1が適切な状態で載置された状態を示している。図3は正面図、図4は平面図、図5(a)は側面図であり、図5(b)は側面図によりチルト機構の可動範囲を示したものである。
図2、及び図3,図4,図5(a)に示すように、雲台10は、大きくは接地台部13の上に本体部11が組み合わされたうえで、さらに本体部11に対してカメラ台座部12が取り付けられた構造を有する。
雲台10にデジタルスチルカメラ1を載置しようとするときには、デジタルスチルカメラ1の底面側を、カメラ台座部12の上面側に対して置くようにようにする。
この場合のカメラ台座部12の上面部には、図2に示すようにして、突起部13とコネクタ14が設けられている。
その図示は省略するが、デジタルスチルカメラ1の本体部2の下面部には、突起部13と係合する孔部が形成されている。デジタルスチルカメラ1がカメラ台座部12に対して適正に置かれた状態では、この孔部と突起部13とが係合した状態となる。この状態であれば、通常の雲台10のパンニング・チルティングの動作であれば、デジタルスチルカメラ1が雲台10からずれたり、外れてしまったりすることがないようにされている。
また、デジタルスチルカメラ1においては、その下面部の所定位置にもコネクタが設けられている。上記のようにして、カメラ台座部12にデジタルスチルカメラ1が適正に載置される状態では、デジタルスチルカメラ1のコネクタと雲台10のコネクタ14とが接続され、少なくとも、相互間の通信が可能な状態となる。
なお、例えばコネクタ14と突起部13は、実際においては、カメラ台座部12において可動できるようになっている。そのうえで、例えばデジタルスチルカメラ1の底面部の形状に合わせたアダプタなどを併用することで、異なる機種のデジタルスチルカメラを、雲台10と通信可能な状態で、カメラ台座部12に載置できるようになっている。
また、デジタルスチルカメラ1とカメラ台座部12との通信は無線により行われるようにしてもよい。
また、例えば雲台10に対してデジタルスチルカメラ1が載置された状態では、雲台10からデジタルスチルカメラ1に対して充電が行えるように構成しても良い。さらには、デジタルスチルカメラ1にて再生している画像などの映像信号を雲台10側にも伝送し、雲台10からさらにケーブルや無線通信などを介して、外部モニタ装置に出力させるような構成とすることも考えられる。つまり、雲台10について、単に、デジタルスチルカメラ1の撮像視野範囲を変更させるためだけに用いるのではなく、いわゆるクレードルとしての機能を与えることが可能である。
次に、雲台10によるデジタルスチルカメラ1のパン・チルト方向の基本的な動きについて説明する。
まず、パン方向の基本的な動きは次のようになる。
この雲台10を床面などに置いた状態では、接地台部15の底面が接地する。この状態において、図4に示すように、回転軸11aを回転中心として、本体部11は時計回り方向、及び反時計回り方向に回転できるようになっている。これにより、雲台10に載置されているデジタルスチルカメラ1の撮像視野範囲は、左右方向(水平方向)に沿って変化することになる。つまり、パンニングの動きが与えられる。
そのうえで、この場合の雲台10のパン機構は、時計回り方向及び反時計回り方向の何れについても、360°以上の回転が無制限で自在に行える構造を有しているものとする。
また、この雲台のパン機構においては、パン方向における基準位置が決められている。
ここでは、図4に示すようにして、パン基準位置を0°(360°)としたうえで、パン方向に沿った本体部11の回転位置、即ちパン位置を0°〜360°により表すものとする。
また、雲台10のチルト方向の基本的な動きについては次のようになる。
チルト方向の動きは、図5(a)及び図5(b)に示すようにして、カメラ台座部12が回転軸12aを回転中心として、仰角、俯角の両方向に可動することにより得られる。
ここで、図5(a)は、カメラ台座部12がチルト基準位置Y0(0°)にある状態が示されている。この状態では、レンズ部21a(光学系部)の撮像光軸と一致する撮像方向F1と、接地台部15が接地する接地面部GRとが平行となる。
そのうえで、図5(b)に示すように、先ず、仰角方向においては、カメラ台座部12は、回転軸12aを回転中心として、チルト基準位置Y0(0°)から所定の最大回転角度+f°の範囲で動くことができる。また、俯角方向においても、回転軸12aを回転中心として、チルト基準位置Y0(0°)から所定の最大回転角度−g°の範囲で動くことができるようになっている。このようにして、カメラ台座部12がチルト基準位置Y0(0°)を基点として、最大回転角度+f°〜最大回転角度−g°の範囲で動くことで、雲台10(カメラ台座部12)に載置されたデジタルスチルカメラ1の撮像視野範囲は、上下方向(垂直方向)沿って変化することになる。つまりチルティングの動作が得られる。
なお、図2〜図5(b)に示した雲台10の外観構成はあくまでも一例であり、載置されたデジタルスチルカメラ1をパン方向及チルト方向に動かすことができるようにされていれば、他の物理的構成、構造が採られてもかまわない。
[1−2.デジタルスチルカメラ]
先ず、図6のブロック図は、デジタルスチルカメラ1の実際的な内部構成例を示している。
この図において、先ず、光学系部21は、例えばズームレンズ、フォーカスレンズなども含む所定枚数の撮像用のレンズ群、絞りなどを備えて成り、入射された光を撮像光としてイメージセンサ22の受光面に結像させる。
また、光学系部21においては、上記のズームレンズ、フォーカスレンズ、絞りなどを駆動させるための駆動機構部も備えられているものとされる。これらの駆動機構部は、例えば制御部27が実行するとされるズーム(画角)制御、自動焦点調整制御、自動露出制御などのいわゆるカメラ制御によりその動作が制御される。
イメージセンサ22は、上記光学系部21にて得られる撮像光を電気信号に変換する、いわゆる光電変換を行う。このために、イメージセンサ22は、光学系部21からの撮像光を光電変換素子の受光面にて受光し、受光された光の強さに応じて蓄積される信号電荷を、所定タイミングにより順次出力する。これにより、撮像光に対応した電気信号(撮像信号)が出力される。なお、イメージセンサ22として採用される光電変換素子(撮像素子)としては、特に限定されるものではないが、現状であれば、例えばCMOSセンサやCCD(Charge Coupled Device)などを挙げることができる。また、CMOSセンサを採用する場合には、イメージセンサ22に相当するデバイス(部品)として、次に述べるA/Dコンバータ23に相当するアナログ−デジタル変換器も含めた構造とすることができる。
上記イメージセンサ22から出力される撮像信号は、A/Dコンバータ23に入力されることで、デジタル信号に変換され、信号処理部24に入力される。
信号処理部24では、A/Dコンバータ23から出力されるデジタルの撮像信号について、例えば1つの静止画 (フレーム画像)に相当する単位で取り込みを行い、このようにして取り込んだ静止画単位の撮像信号について所要の信号処理を施すことで、1枚の静止画に相当する画像信号データである撮像画像データ(撮像静止画像データ)を生成することができる。
上記のようにして信号処理部24にて生成した撮像画像データを画像情報として記憶媒体(記憶媒体装置)であるメモリカード40に記録させる場合には、例えば1つの静止画に対応する撮像画像データを信号処理部24からエンコード/デコード部25に対して出力する。
エンコード/デコード部25は、信号処理部24から出力されてくる静止画単位の撮像画像データについて、所定の静止画像圧縮符号化方式により圧縮符号化を実行したうえで、例えば制御部27の制御に応じてヘッダなどを付加して、所定形式に圧縮された画像データの形式に変換する。そして、このようにして生成した画像データをメディアコントローラ26に転送する。メディアコントローラ26は、制御部27の制御に従って、メモリカード40に対して、転送されてくる画像データを書き込んで記録させる。この場合のメモリカード40は、例えば所定規格に従ったカード形式の外形形状を有し、内部には、フラッシュメモリなどの不揮発性の半導体記憶素子を備えた構成を採る記憶媒体である。なお、画像データを記憶させる記憶媒体については、上記メモリカード以外の種別、形式などとされてもよい。
また、本実施の形態としての信号処理部24は、先の説明のようにして取得される撮像画像データを利用して、後述するように、被写体検出としての画像処理を実行させるように構成される。
また、デジタルスチルカメラ1は信号処理部24にて得られる撮像画像データを利用して表示部33により画像表示を実行させることで、現在撮像中の画像であるいわゆるスルー画を表示させることが可能とされる。例えば信号処理部24においては、先の説明のようにしてA/Dコンバータ23から出力される撮像信号を取り込んで1枚の静止画相当の撮像画像データを生成するのであるが、この動作を継続することで、動画におけるフレーム画像に相当する撮像画像データを順次生成していく。そして、このようにして順次生成される撮像画像データを、制御部27の制御に従って表示ドライバ32に対して転送する。これにより、スルー画の表示が行われる。
表示ドライバ32では、上記のようにして信号処理部24から入力されてくる撮像画像データに基づいて表示部33を駆動するための駆動信号を生成し、表示部33に対して出力していくようにされる。これにより、表示部33においては、静止画単位の撮像画像データに基づく画像が順次的に表示されていくことになる。これをユーザが見れば、そのときに撮像しているとされる画像が表示部33において動画的に表示されることになる。つまり、スルー画が表示される。
また、デジタルスチルカメラ1は、メモリカード40に記録されている画像データを再生して、その画像を表示部33に対して表示させることも可能とされる。
このためには、制御部27が画像データを指定して、メディアコントローラ26に対してメモリカード40からのデータ読み出しを命令する。この命令に応答して、メディアコントローラ26は、指定された画像データが記録されているメモリカード40上のアドレスにアクセスしてデータ読み出しを実行し、読み出したデータを、エンコード/デコード部25に対して転送する。
エンコード/デコード部25は、例えば制御部27の制御に従って、メディアコントローラ26から転送されてきた撮像画像データから圧縮静止画データとしての実体データを取り出し、この圧縮静止画データについて、圧縮符号化に対する復号処理を実行して、1つの静止画に対応する撮像画像データを得る。そして、この撮像画像データを表示ドライバ32に対して転送する。これにより、表示部33においては、メモリカード40に記録されている撮像画像データの画像が再生表示されることになる。
また表示部33に対しては、上記のスルー画や画像データの再生画像などとともに、ユーザインターフェース画像(操作画像)も表示させることができる。この場合には、例えばそのときの動作状態などに応じて制御部27が必要なユーザインターフェース画像としての表示用画像データを生成し、これを表示ドライバ32に対して出力するようにされる。これにより、表示部33においてユーザインターフェース画像が表示されることになる。なお、このユーザインターフェース画像は、例えば特定のメニュー画面などのようにモニタ画像や撮像画像データの再生画像とは個別に表示部33の表示画面に表示させることも可能であるし、モニタ画像や撮像画像データの再生画像上の一部において重畳・合成されるようにして表示させることも可能である。
制御部27は、例えば実際においてはCPU(Central Processing Unit)を備えて成るもので、ROM28、RAM29などとともにマイクロコンピュータを構成する。ROM28には、例えば制御部27としてのCPUが実行すべきプログラムの他、デジタルスチルカメラ1の動作に関連した各種の設定情報などが記憶される。RAM29は、CPUのための主記憶装置とされる。
また、この場合のフラッシュメモリ30は、例えばユーザ操作や動作履歴などに応じて変更(書き換え)の必要性のある各種の設定情報などを記憶させておくために使用する不揮発性の記憶領域として設けられるものである。なおROM28について、例えばフラッシュメモリなどをはじめとする不揮発性メモリを採用することとした場合には、フラッシュメモリ30に代えて、このROM28における一部記憶領域を使用することとしてもよい。
操作部31は、デジタルスチルカメラ1に備えられる各種操作子と、これらの操作子に対して行われた操作に応じた操作情報信号を生成してCPUに出力する操作情報信号出力部位とを一括して示している。制御部27は、操作部31から入力される操作情報信号に応じて所定の処理を実行する。これによりユーザ操作に応じたデジタルスチルカメラ1の動作が実行されることになる。
音声出力部35は、制御部27の制御により、例えば所定内容の通知のために、所定の音色と発音パターンによる電子音を出力する部位である。
LED部36は、例えばデジタルスチルカメラ1の筐体前面部に表出して設けられるLED(Light Emitting Diode)と、このLEDを点灯駆動する回路部などから成り、制御部27の制御に応じて、LEDを点灯、消灯する。このLEDを点灯、消灯パターンにより、所定内容の通知が行われる。
雲台対応通信部34は、雲台10側とデジタルスチルカメラ1側との間での所定の通信方式に従った通信を実行する部位であり、例えばデジタルスチルカメラ1が雲台10に対して取り付けられた状態において、雲台10側の通信部との間での有線若しくは無線による通信信号の送受信を可能とするための物理層構成と、これより上位となる所定層に対応する通信処理を実現するための構成とを有して成る。上記物理層構成として、図2との対応では、コネクタ14と接続されるコネクタの部位が含まれる。
[1−3.雲台]
図7のブロック図は、雲台10の内部構成例を示している。
先に述べたように、雲台10は、パン・チルト機構を備えるものであり、これに対応する部位として、パン機構部53、パン用モータ54、チルト機構部56、チルト用モータ57を備える。
パン機構部53は、雲台10に取り付けられたデジタルスチルカメラ1について、図4に示したパン(横・左右)方向の動きを与えるための機構を有して構成され、この機構の動きは、パン用モータ54が正逆方向に回転することによって得られる。同様にして、チルト機構部56は、雲台10に取り付けられたデジタルスチルカメラ1について、図5(b)に示したチルト(縦・上下)方向の動きを与えるための機構を有して構成され、この機構の動きは、チルト用モータ57が正逆方向に回転することによって得られる。
制御部51は、例えばCPU、ROM、RAMなどが組み合わされて形成されるマイクロコンピュータを有して成り、上記パン機構部53、チルト機構部56の動きをコントロールする。例えば制御部51がパン機構部53の動きを制御するときには、移動させるべき方向と移動速度を指示する信号をパン用駆動部55に対して出力する。パン用駆動部55は、入力される信号に対応したモータ駆動信号を生成してパン用モータ54に出力する。このモータ駆動信号は、例えばモータがステッピングモータであれば、PWM制御に対応したパルス信号となる。
このモータ駆動信号によりパン用モータ54が、例えば所要の回転方向、回転速度により回転し、この結果、パン機構部53も、これに対応した移動方向と移動速度により動くようにして駆動される。
同様にして、チルト機構部56の動きを制御するときには、制御部51は、チルト機構部56に必要な移動方向、移動速度を指示する信号をチルト用駆動部58に対して出力する。チルト用駆動部58は、入力される信号に対応したモータ駆動信号を生成してチルト用モータ57に出力する。このモータ駆動信号によりチルト用モータ57が、例えば所要の回転方向及び回転速度で回転し、この結果、チルト機構部56も、これに対応した移動方向,速度により動くようにして駆動される。
また、パン機構部53は、ロータリーエンコーダ(回転検出器)53aを備えている。ロータリーエンコーダ53aは、パン機構部53の回転の動きに応じて、その回転角度量を示す検出信号を制御部51に出力する。同様に、チルト機構部56はロータリーエンコーダ56aを備える。このロータリーエンコーダ56aも、チルト機構部56の回転の動きに応じて、その回転角度量を示す信号を制御部51に出力する。
通信部52は、雲台10に取り付けられたデジタルスチルカメラ1内の雲台対応通信部34との間で所定の通信方式に従った通信を実行する部位であり、雲台対応通信部34と同様にして、相手側通信部と有線若しくは無線による通信信号の送受信を可能とするための物理層構成と、これより上位となる所定層に対応する通信処理を実現するための構成とを有して成る。上記物理層構成として、図2との対応では、カメラ台座部12のコネクタ14が含まれる。
<2.実施形態の構図制御に対応する機能構成例>
図8は、デジタルスチルカメラ1側が備える、本実施の形態の構図制御に対応した機能部位についての構成例を示している。
この図において被写体検出処理ブロック61は、イメージセンサ22にて得られる撮像信号に基づいて信号処理部24にて得られる撮像画像データを利用して、被写体の探索制御を含む、被写体検出処理を実行する部位とされる。ここでの被写体検出処理は、先ず撮像画像データの画面の画内容から、人としての被写体を弁別して検出する処理をいう。
また、ここでの検出結果として得られる情報(検出情報)は、人としての被写体の数と、個々の被写体(個別被写体)ごとについての画面内での位置情報、及び個別被写体ごとについての画像内におけるサイズ(占有面積)などとなる。
また、本実施の形態においては、検出情報として、個別被写体ごとの顔方向(被写体方向情報)も得る。ここでの顔方向とは、撮像画像データの画面内において、人としての個別被写体が向いているとされる方向を、顔が向いている方向により示したものとされる。
なお、顔方向の検出は、例えば所定の分解能によって多段階で顔の向いている方向の度合いを検出するようにしてもよい。しかし、以降の説明においては、説明を分かりやすいものとする都合上、顔方向の検出は、左、右の2段階、若しくは左、正面、右による3段階の何れかの検出結果を得るようにされているものとする。なお、左右の2段階で検出する場合には、例えば被写体がほぼ正面を向いていると見ることができる場合であっても、所定のアルゴリズムに従って、左か右のいずれかの検出結果となるように振り分けられる。
また、本実施形態としては、被写体検出処理による検出情報として、顔の回転角度(顔回転角度)についても検出可能とされている。顔回転角度がどのようなものであり、また、どのような手法例によって検出するのかについては後述する。
上記被写体検出処理の具体的手法としては、顔検出の技術を用いることができる。この顔検出の方式、手法はいくつか知られているが、本実施の形態においてはどの方式を採用するのかについては特に限定されるべきものではなく、検出精度や設計難易度などを考慮して適当とされる方式が採用されればよい。
また、顔検出の技術の応用で、上記の顔方向を検出することが可能とされている。例えば、顔検出処理を目、鼻などの特徴点を用いたパターン認識により行うこととすれば、検出された顔全体におけるこれらの特徴点の位置的、距離的な関係により顔方向を認識することが可能である。
なお、人としての個別被写体が向いているとされる方向を検出するのにあたり、例えば体部分の向きの検出であるとか目線の検出であるとか、上記した顔検出技術の応用以外であって、有用な手法があれば、このような手法を採用することについて特に問題はない。つまり、顔方向検出を含み、個別被写体が向いているとされる方向(被写体方向)を検出する手法、アルゴリズムなどは、これまでに知られているものを含め、適当とされるものを選択して採用することとすればよい。
また、この被写体検出処理ブロック61が実行する被写体検出処理は、信号処理部24における画像信号処理として実現することができる。先の説明のようにして信号処理部24がDSPにより構成される場合、この被写体検出処理は、信号処理部24としてのDSPに与えるプログラム、インストラクションにより実現されることになる。
また、被写体探索制御時においては、雲台10のパン・チルト機構を制御するために、通信制御処理ブロック63経由で、上記パン・チルト機構を駆動するための制御信号を出力する。
被写体検出処理ブロック61の被写体検出処理結果である検出情報は、構図制御処理ブロック62に対して入力される。
構図制御処理ブロック62は、入力された被写体についての検出情報を利用して、最適であるとしてみなされる構図(最適構図)を決定する。そして、決定した最適構図を得るための制御(構図制御)を実行する。この場合の構図制御としては、画角(本実施の形態では、例えばズームレンズの制御に応じて変更可能な視野角をいう)の変更制御と、パン(左右)方向に沿った撮像方向の制御(パン制御)と、チルト(上下)方向に沿った撮像方向の制御(チルト制御)から成る。画角の変更のためには、デジタルスチルカメラ1の光学系部21におけるズームレンズを移動する制御、若しくは撮像画像データに対する画像切り出しなどの画像信号処理の何れか一方を行う。また、パン制御、チルト制御は、雲台10のパン・チルト機構を制御して動かすことにより行う。パン・チルト機構の制御を行うとき、構図制御処理ブロック62は、パン・チルト機構をしかるべき位置状態とするための制御信号を、通信制御処理ブロック63を経由して、雲台10側に送信させる。
なお、上記構図制御処理ブロック62が実行する構図決定と構図制御の処理は、例えば、制御部27(CPU)がプログラムに基づいて実行するように構成することができる。あるいは、これに信号処理部24がプログラムに基づいて実行する処理を併用した構成とすることも考えられる。また、通信制御処理ブロック63は、雲台10側の通信部52との通信処理を所定のプロトコルに従って実行するようにして構成される部位であり、雲台対応通信部34に対応する機能部位となる。
<3.顔方向と被写体数に応じた構図制御(第1例)>
次に、構図制御の第1例について説明する。第1例の構図制御は、以降説明するように、顔方向と被写体数に応じて構図を変更するものとなる。図9は、この第1例の構図制御に対応して被写体検出処理ブロック61が実行するとされる、被写体検出処理の例を模式的に示している。
ここで、被写体検出処理ブロック61が、図9(a)の画枠300に示す画内容の撮像画像データを取り込んだとする。この撮像画像データの画内容としては、人としての被写体が1つ存在した画を撮影して得られたものである。また、図9(a)(及び図9(b))には、1画面をマトリクス状に区切った状態を示しているが、これは、撮像画像データとしての画面が、所定数による水平・垂直画素の集合から成るものであることを模式的に示している。
図9(a)に示す画内容の撮像画像データを対象に被写体検出(顔検出)を行うことによっては、検出被写体として、図において示される1つの個別被写体SBJの顔が検出されることになる。即ち、顔検出処理によって1つの顔が検出されることを以て、ここでは1つの個別被写体が検出されることとしている。そして、このようにして個別被写体を検出した結果としては、先にも述べたように、個別被写体の数、向き、位置、サイズの情報を得るようにされる。
また、個別被写体数に関しては、例えば顔検出により検出された顔の数を求めればよい。図9(a)の場合には、検出される顔が1つであるから、個別被写体数としても1であるとの結果が得られる。
また、個別被写体ごとの位置情報に関しては、少なくとも、撮像画像データとしての画像内における個別被写体SBJの重心G(X,Y)を求めることとする。
なお、この場合の重心G(X,Y)の基準となる撮像画像データの画面上のX,Y原点座標P(0,0)は、例えば図10に示すようにして、画枠300の画面サイズに対応したX軸方向(水平方向)の幅(水平画サイズ)Cxの中間点と、Y軸方向(垂直方向)の幅(垂直画サイズ)Cyの中間点との交点であることとしている。
また、この重心Gについての個別被写体の画像内における位置の定義であるとか、重心Gをどのようにして設定するのかについては、例えばこれまでに知られている被写体重心検出方式を採用することができる。
また、個別被写体ごとのサイズについては、例えば顔検出処理により顔部分であるとして特定、検出される領域の画素数を求めるようにすればよい。
また、個別被写体ごとの顔方向に関しては、先にも述べたように、顔検出処理に基づいて、例えば左、右の2段階での何れであるのかが、若しくは、左、正面、右の3段階での何れであるのかが検出されることになる。
また、図9(b)に示す撮像画像データを取り込んで被写体検出処理ブロック61が被写体検出処理を実行したとされると、先ずは、顔検出により2つの顔の存在することが特定されることになるので、個別被写体数については2であるとの結果が得られることになる。ここでは、2つの個別被写体のうち、左側を個別被写体SBJ0、右側を個別被写体SBJ1として識別性を持たせている。また、個別被写体SBJ0、SBJ1ごとに求めた重心の座標については、それぞれ、G0(X0,Y0)、G1(X1,Y1)として示されている。
また、このようにして、2以上の個別被写体が検出される場合には、これら複数の個別被写体をひとまとまりの被写体(総合被写体)としてみた場合の重心である、総合被写体重心Gt(Xg,Yg)を求めるようにされる。
この総合被写体重心Gtをどのようにして設定するのかについては、いくつか考えることができるが、ここでは、最も簡易な例として、検出された複数の個別被写体のうちで、画面の左端と右端の両端に位置する個別被写体の重心を結ぶ線分上の中間点を総合被写体重心Gtとして設定した場合を示している。この総合被写体重心Gtは、例えば後述するようにして構図制御において利用することができる情報であり、個別被写体の重心の情報が取得されれば演算により求められる情報である。従って、総合被写体重心Gtについては、被写体検出処理ブロック61により求め、これを検出情報として出力することとしてもよいが、構図制御処理ブロック62が、検出情報として取得した個別被写体の重心の位置を示す情報のうちから、左右両端に位置する個別被写体の重心に関する情報を利用して求めるようにしてもよい。
なお、ほかには例えば、複数の個別被写体のサイズに応じて重み付け係数を与え、この重み付け係数を利用して、例えばサイズの大きな個別被写体に総合被写体重心Gtの位置が近くなるように配慮した設定手法も考えることができる。
また、個別被写体のサイズについては、例えば個別被写体SBJ0、SBJ1ごとに、その検出された顔が占有するとされる画素数を求めることとすればよい。
続いては、図11〜図13を参照して、本実施の形態における第1例としての構図制御により得られる構図についての説明を行う。
図11には、被写体探索の結果により被写体を検出したときの撮像画像データとして、1つの個別被写体SBJが撮像された画内容が得られた場合の画枠300を示している。
なお、本実施の形態にあっては、デジタルスチルカメラ1を取り付けた雲台10を通常に設置した場合には、横長の画像が撮像されるようにしてデジタルスチルカメラ1の向きが設定される。従って、第1例や後述する第2例、第3例、第4例にあっては、撮像により横長の画像が得られることを前提とする。
上記図11に示したようにして1つの個別被写体が検出された場合には、まず、この個別被写体SBJの撮像画像データの画面内における占有率が、最適とみなされる所定値となるように個別被写体のサイズを変更する。例えば、個別被写体が検出された段階において、この個別被写体の画面内における占有率が上記の所定値より小さい場合、個別被写体の占有率が所定値にまで大きくなるように画角を狭くしていくズーム制御を実行させる。また、個別被写体の画面内における占有率が所定値より大きい場合には、個別被写体の占有率が所定値にまで小さくなるように画角を広くしていくズーム制御を実行させる。このようなズーム制御により、構図として先ずは、検出された個別被写体被が1つの場合における被写体サイズが適正となるようにされる。
次に、検出された個別被写体被が1つの場合における画面上での被写体の位置(被写体位置)は、次のようにして調整される。
この被写体位置については、検出された顔方向の情報を利用する。この図11の場合の個別被写体SBJは、顔方向が左であるとして検出されているものとする。このとき、この図11に示される画内容の画面を実際に見たとした場合、これを見る者からは、画面において、個別被写体SBJの顔が左側を向いているようにして見えることになる。ちなみに、この個別被写体SBJとしての実際の人物自身は、現実には、撮像を行った撮像装置と相対する方向を正面として、これより右側を向いていることになる。
また、この被写体位置調整にあたっては、画像中の原点座標P(0,0)を通過する垂直線、即ちY軸線と一致する直線であって、被写体位置調整の基準線となる垂直画像領域分割線Ld1を仮想的に設定する。
そして、この場合のようにして顔方向が左であると検出された場合には、個別被写体SBJの重心Gを、上記垂直画像領域分割線Ld1に対応する位置(X=0)から、水平オフセット量θxで表される右方向への移動量に従って移動させた位置(水平シフト位置)に配置させる。このためには、重心Gが、上記水平シフト位置にくるようにして、雲台10のパン機構を駆動させる制御を実行する。
一般に、被写体を画面の中央に位置させた構図は、良くない構図の典型とされている。そこで、例えば三分割法であるとか黄金率法などに代表されるようにして、画面中央から在る規則に従って被写体の位置をずらした方が、良い構図が得られるものとされている。本実施の形態としては、このような構図決定の手法に従い、先ずは、画面水平方向における個別被写体SBJの位置(重心G)について、画面中央に対して一定量(水平オフセット量θx)だけ移動させるようにしているものである。
そのうえで、さらに、本実施の形態では、図11に例示するように、検出された個別被写体の顔方向が左であれば、その重心Gの水平方向における位置について、Y軸線に沿った垂直画像領域分割線Ld1により2分割される左右の画像領域(分割領域)のうちで、顔方向が示す「左」とは反対側の「右」側の画像領域に在るようにさせることで、画面においては、個別被写体SBJの顔が向いている方向である左側において空間が得られるようにしている。このような構図とすることで、例えば、顔方向が左であるとされる個別被写体SBJの重心Gを、左右方向における画面中央に対応させた(一致させた)被写体位置とする場合や、垂直画像領域分割線Ld1に対して左方向の画像領域とするような場合と比較して、より良好な構図を得ることができる。
本実施の形態における水平オフセット量θxとしての実値を決定するアルゴリズムについては多様に考えられるが、ここでは、三分割法に基づいて行うものとしている。三分割法は、最も基本的な構図設定手法の1つであり、方形の画面を垂直方向と水平方向のそれぞれに沿って三等分する仮想線上に被写体を位置させることにより良好な構図を得ようとするものである。
例えば、図11は、水平画サイズCxを三等分するようにされた画面縦方向に沿った2本の仮想線のうち、右側の仮想線上において重心Gが位置するようにして、水平オフセット量θxが設定されているものである。これにより、個別被写体の顔方向に応じた水平方向における被写体位置として最適とされる構図の1つが得られることになるわけである。
また、図示による説明は省略するが、検出された1つの個別被写体SBJについて、顔方向について右であることが検出されている場合には、図11に示される位置に対して、垂直画像領域分割線Ld1を基準にして線対称となる水平位置に個別被写体SBJの重心Gが位置するようにされる。つまり、この場合の水平オフセット量θxとしては、図11の場合の実値の正/負を反転した値が設定され、この水平オフセット量θxに基づいたパン制御が行われる。
また、図12(a)のように、画枠300内において、検出被写体として2つの個別被写体SBJ0、SBJ1が検出された場合には、構図制御として、先ず、個別被写体SBJ0、SBJ1の画像部分の集合から成るとされる総合被写体画像部分のサイズ(例えば画面全体に対する被写体画像部分の占有率としても捉えることができる)について、例えば個別被写体数が2である場合に対応して最適であるとして設定された値となるようにして調整(ズーム制御)を行う。
なお、上記の総合被写体画像部分をどのようにして定義してそのサイズを求めるのかについてはいくつか考えられるが、例えば、検出された複数の個別被写体ごとの画像部分のサイズを足し合わせるようにして求めることができる。あるいは、検出された複数の個別被写体が全て含まれるようにして仮想的に描いた線により囲まれる画像部分のサイズとして求めることも考えられる。
また、これら2つの個別被写体SBJ0、SBJ1についての水平方向における被写体位置に関しては、これら2つの個別被写体SBJ0、SBJ1ごとの顔方向の情報を利用する。
この図12(a)に示される2つの個別被写体SBJ0、SBJ1の顔方向は、何れも左であると検出されているものとする。つまり、2つ在る個別被写体の全ての顔方向が同一とされており、これらの顔方向がこの場合には左とされているものである。
この場合には、図11に示した1つの個別被写体SBJの顔方向が左であった場合に準じて、画面左側に空間ができるように、個別被写体SBJ0、SBJ1から成る総合被写体画像部分を、顔方向が示す「左」とは反対となる、垂直画像領域分割線Ld1の右側に寄せて位置させるようにする。このためには、例えば図示しているように、右側に所定量ずらすための水平オフセット量θxを設定した上で、2つの個別被写体SBJ0、SBJ1から成る総合被写体画像部分の重心である、総合被写体重心Gtについて、垂直画像領域分割線Ld1である原点座標P(0,0)を通過する垂直線(Y軸線)から水平オフセット量θxだけ移動した位置にくるように、パン制御を行うようにされる。
また、図示はしていないが、2つの個別被写体SBJ0、SBJ1の顔方向が何れも右で同一である場合には、図12(a)の位置に対して、垂直画像領域分割線Ld1を基準にして線対称となる位置(Y軸線に対して左側の画面領域において同じ水平オフセット量θxの絶対値分移動した位置)に総合被写体重心Gtが在るようにしてパン制御を行うことになる。
ただし、このように個別被写体が複数である場合において、個別被写体数が1の場合のときに最適とされる水平オフセット量θxを与えたとすると、右(あるいは左)に寄りすぎた印象の構図となりやすい。そこで、図12(a)に示されるように個別被写体数が2の場合においては、水平オフセット量θxについて、図11に示した個別被写体数が1の場合よりも小さい値(絶対値)を所定規則によって設定することとしている。
また、図12(b)には、2つの個別被写体SBJ0、SBJ1について検出された顔方向が、それぞれ左、右となっている場合の例を示している。なお、これは、個別被写体数が2である場合において、それぞれの顔方向が同一ではない場合の一例を示している。
この場合の水平方向における総合被写体画像部分の位置については、図示するようにして、2つの個別被写体SBJ0、SBJ1の総合被写体重心Gtが、垂直画像領域分割線Ld1上に位置するようにして調整(パン制御)を行う。
これにより得られる構図では、2つの個別被写体SBJ0、SBJ1から成る総合被写体画像部分は、水平方向において画面のほぼ中央に位置することとなる。しかし、被写体が複数とされて、かつ、これらの被写体が同一の方向を向いていないような画の場合、総合被写体画像部分が中央にきたとしても、その構図は相応に良好なものとなる。
また、図13においては、検出被写体として、画枠300内に3つの個別被写体SBJ0、SBJ1、SBJ2が検出された場合を示している。
この場合の構図制御としても、先ず、個別被写体SBJ0、SBJ1、SBJ2から成る総合被写体画像部分のサイズについて、個別被写体数が3である場合に対応して最適であるとして設定された値となるようにして調整(ズーム制御)を行う。
そのうえで、総合被写体画像部分の水平方向における位置については、この場合にも、各個別被写体ごとに検出された顔方向の情報を利用することになる。図13においては、3つの個別被写体SBJ0、SBJ1、SBJ2の顔方向が全て左で同一であるものとする。
この場合には、図12(a)の場合に準じて、個別被写体SBJ0、SBJ1、SBJ2から成る画像領域部分を垂直画像領域分割線Ld1よりも右側の画像領域に寄せて位置させるようにして、水平オフセット量θxの設定と、これによって決まる所要位置への総合被写体重心Gtの移動のためのパン制御を行うようにされる。また、仮に3つの個別被写体SBJ0、SBJ1、SBJ2の顔方向が全て右で同一である場合には、総合被写体重心Gtは、図13の位置に対して、垂直画像領域分割線Ld1を基準にして線対称となる水平位置に在るようにしてパン制御が行われることになる。
また、このときに設定される水平オフセット量θxは、図12(a)のように検出された個別被写体が2つの場合よりも、小さな絶対値を設定するようにされる。これにより、例えば個別被写体数が3とされる場合に応じて、水平方向における被写体位置はより最適となって、良好な構図が得られることになる。
また、この第1例の構図制御にあって、3つの個別被写体SBJ0、SBJ1、SBJ2の顔方向が全て同一ではなかった場合には、図12(b)に準じて、垂直画像領域分割線Ld1(Y軸線)上に総合被写体重心Gtが位置する構図が得られるようにする。
これまでの説明によると第1例の構図制御における水平方向の位置調整は、先ず、個別被写体ごとに検出される顔方向に対応させていることが分かる。つまり、最も基本的な制御として、個別被写体数が1の場合には、その個別被写体で検出された顔方向が左、右の何れであるのかに対応して、その重心G(総合被写体重心Gt)について、垂直画像領域分割線Ld1(Y軸線)の右側領域、あるいは左側領域に対して所定量だけずらして位置させる(重心Gの水平オフセットを行う)ようにして、画面内では被写体の向いているほうに空間ができるようにしている。
そして、個別被写体数が複数(2以上)の場合には、個別被写体の顔方向が全て同一ならば、上記の位置調整に倣い、総合被写体重心Gtの水平オフセットを行うようにされ、全て同一でないならば、水平オフセットを行うことなく、総合被写体重心Gtには垂直画像領域分割線Ld1に対応したX座標を与えて、総合被写体画像部分が画面内のほぼ中央に在るようにする。
そのうえで、総合被写体重心Gt(重心Gは個別被写体数が1の場合の総合被写体重心Gtとみなす)の水平オフセットを行うのにあたっては、図11〜図13により述べたようにして、水平オフセット量θxを、個別被写体数に応じて変更するものとしている。これにより、画面における総合被写体画像部分の水平方向に沿った位置について、個別被写体数に応じた最適な位置が得られるように配慮している。
図14は、上記図11〜図13により説明した第1例としての構図制御に対応して、図8に示した被写体検出処理ブロック61、構図制御処理ブロック62、及び通信制御処理ブロック63が実行するものとされる手順例を示している。また、この図に示す処理は、DSPとしての信号処理部24、制御部27におけるCPUがプログラムを実行することで実現されるものとしてみることができる。このようなプログラムは、例えばROMなどに対して製造時などに書き込んで記憶させるほか、リムーバブルの記憶媒体に記憶させておいたうえで、この記憶媒体からインストール(アップデートも含む)させるようにしてDSP対応の不揮発性の記憶領域やフラッシュメモリ30などに記憶させることが考えられる。また、USBやIEEE1394などのデータインターフェース経由により、他のホストとなる機器からの制御によってプログラムのインストールを行えるようにすることも考えられる。さらに、ネットワーク上のサーバなどにおける記憶装置に記憶させておいたうえで、デジタルスチルカメラ1にネットワーク機能を持たせることとし、サーバからダウンロードして取得できるように構成することも考えられる。
また、以降のフローチャートの説明においては、これまでに使用してきた「総合被写体重心(Gt)」、及び「総合被写体画像部分」の語句は、検出されている個別被写体数が2以上の場合のみに適用するのではなく、1の場合にも適用する。つまり、例えば図11に示した重心Gが、検出されている個別被写体数が1の場合の総合被写体重心Gtとなるものであり、また、図11の個別被写体SBJのみからなる画像部分が、検出されている個別被写体数が1の場合の総合被写体画像部分となる。
先ず、ステップS101〜ステップS106までは、被写体を探索して検出するための手順となり、主に被写体検出処理ブロック61が実行するものとされる。
ステップS101では、イメージセンサ22からの撮像信号に基づいた撮像画像データを取り込んで取得する。ステップS102では、上記ステップS101により取得した撮像画像データを利用して被写体検出処理を実行する。ここでの被写体検出処理としては、例えば先ず、先に述べた顔検出などの手法により、撮像画像データとしての画面内容において個別被写体が存在するか否かについての検出を行う。そして、個別被写体が存在する場合には、個別被写体数、個別被写体ごとの位置(重心)、サイズ、及び個別被写体ごとの顔方向を、検出情報として得るようにされる。
ステップS103では、上記ステップS102による被写体検出処理の結果として、個別被写体の存在が検出されたか否かについての判別を行う。ここで個別被写体の存在が検出されなかった(検出される個別被写体数が0である)として否定の判別結果が得られた場合には、ステップS104に進み、画角を広くするためのズームレンズの移動制御(ズームアウト制御)を実行する。このようにして画角を広くすることで、より広い範囲が撮像されることになるので、それだけ個別被写体を補足しやすくなる。また、これとともに、ステップS105により、被写体探索のために雲台10のパン・チルト機構を動かすための制御(パン・チルト制御)を実行する。このときには、被写体検出処理ブロック61がパン・チルト制御のための制御信号を通信制御処理ブロック63に渡し、雲台10の通信部52に対して送信されるようにして制御を行う。
なお、上記被写体探索のためのパン・チルト制御として、雲台10のパン・チルト機構をどのようなパターンで動かすのかについては、例えば探索が効率的に行われることを配慮して決めることとすればよい。
また、ステップS106においては、モードフラグfについて0を設定(f=0)し、ステップS101に戻るようにされる。
このようにして、撮像画像データの画内容において少なくとも1つの個別被写体が検出されるまでは、ステップS101〜ステップS106の手順が繰り返される。このとき、デジタルスチルカメラ1と雲台10から成るシステムは、被写体探索のために、デジタルスチルカメラ1がパン方向及びチルト方向に動かされている状態となっている。
そして、ステップS103において個別被写体の存在が検出されたとして肯定の判別結果が得られたとされると、ステップS107以降の手順に進む。ステップS107以降の手順は、主に構図制御処理ブロック62が実行するものとなる。
ステップS107においては、現在のモードフラグfに設定されている値が何であるのかを判別する。
f==0であると判別された場合には、構図制御として、最初のラフな被写体捕捉モードを実行すべき場合であることを示すものであり、図のようにしてステップS108から始まる手順を実行する。
ステップS108においては、総合被写体重心Gtが、撮像画像データの画面(撮像画像データの画内容を表したとするときに得られる画面)における原点座標P(0,0)(図10参照)に位置しているか否かについての判別を行う。ここで、総合被写体重心Gtは、未だ原点座標に位置していないとして否定の判別結果が得られた場合には、ステップS109により、総合被写体重心Gtが原点座標に位置するようにして、雲台10のパン・チルト機構を動かすための制御を実行し、ステップS101に戻る。このようにして、個別被写体の存在が検出されている状態での最初の構図制御の手順である捕捉モードは、総合被写体重心Gtを、先ずは初期の基準位置である原点座標に対して位置させるようにして雲台10のパン・チルト機構を制御することで、検出された個別被写体が写っているとされる画像領域を画面内の中央に位置させようとするものである。
なお、上記ステップS109としてのパン・チルト制御を実際に行うのにあたってのアルゴリズムの一例をここで示しておく。
モードフラグf==0の状態で個別被写体が検出される状態では、被写体検出処理ブロック61は、下記の(数1)により示される演算を行って、パン方向における必要移動量Spanとチルト方向における必要移動量Stiltを求めるようにされる。下記の(数1)において、nは検出された個別被写体数を示し、P(Xi,Yi)は0番からn−1番までの番号が与えられた個別被写体のうちのi番目の個別被写体の重心のX,Y座標を示す。確認のために、図7に示したように、この場合における原点座標(0,0)は、画面における水平方向における中点と垂直方向における中点との交点となる。
Figure 0005359645
例えばステップS108では、上記のようにして求められる必要移動量Span,Stiltの絶対値が所定値(厳密には0となるが、0より大きな値とされてもよい)以内であるか否かを判別することを以て、総合被写体重心Gtが原点座標Pに在るか否かと同等の判別を行うことができる。そして、ステップS109においては、必要移動量Span,Stiltの絶対値が所定値以内となるようにしてパン・チルト制御を実行するようにされる。なお、このときのパン・チルト制御に際してのパン機構部53、チルト機構部56の速度は一定としても良いのであるが、例えば、必要移動量Span,Stiltが大きくなるのに応じて速度を高くしていくなどして可変させることが考えられる。このようにすれば、パンニングあるいはチルティングによる必要移動量が大きくなったときも、比較的短時間で総合被写体重心Gtを原点座標に近づけることが可能になる。
そして、ステップS108において、総合被写体重心Gtが原点座標に位置したとして肯定の判別結果が得られたとされると、ステップS110によりモードフラグfについて1を設定(f=1)してステップS101に戻る。このステップS110によりモードフラグfについて1が設定された状態は、構図制御における最初の手順である捕捉モードは完了し、次の第1の構図の調整制御(構図調整モード)を実行すべき状態であることを示す。
そして、モードフラグf==1とされて第1の構図調整モードを実行すべき場合には、ステップS107からステップS111に進むことになる。第1の構図調整モードは、検出された個別被写体数と個別被写体ごとの顔方向の組み合わせに応じた最適構図を得るためズーム(画角)調整とパン制御を行うものである。なお、画角調整とパン制御によっては画面内における個別被写体のサイズや個別被写体の位置が変化する結果を生じる。
ステップS111においては、現在検出されている個別被写体数がいくつであるかを判別し、1であればステップS112から始まる手順を実行する。
ステップS112においては、検出されている個別被写体数が1であることに対応した目標被写体サイズを設定する。ここでの目標被写体サイズとは、画面における総合被写体画像部分のサイズとして構図的に最適であるとみなされるものをいい、例えば図11との対応では、「(1つの)個別被写体SBJの撮像画像データの画面内における占有率が、最適とみなされる所定の範囲値」に相当する。
ステップS113においては、個別被写体のサイズがOKであるか否かについて判別する。個別被写体のサイズがOKである状態とは、そのときに検出されている個別被写体のサイズが、上記ステップS112により設定された目標被写体サイズとなっている状態である。ステップS113において否定の判別結果が得られた場合には、ステップS114に進み、個別被写体のサイズが目標被写体サイズとなるようにズームレンズの駆動制御(ズーム制御)を実行し、ステップS101に戻る。
なお、このときには、総合被写体重心Gtの水平方向(左右方向)における位置に関しては、ステップS109にて設定されたX座標(X=0)に対応する位置を維持するようにしてズーム制御を行うようにされる。これにより、個別被写体を左右方向においてほぼ中央に位置させた状態を維持することができる。また、被写体探索動作の実行時においては、ステップS104によりズームアウト制御が行われるので、ステップS114としてのズーム制御に際してはズームイン制御となる場合が多いと考えられる。しかし、何らかの原因で、そのときに検出された個別被写体のサイズが、目標被写体サイズよりも大きくなっている状態に応じてステップS113にて否定の判別結果が得られた場合、ステップS114ではズームアウトを実行させて、実際の個別被写体のサイズが目標被写体サイズとなるように制御することになる。
そして、ステップS113において肯定の判別結果が得られたのであればステップS115以降の手順に進むようにされる。
ステップS115においては、水平オフセット量θxを設定する。
ここで、本実施の形態における第1の構図制御にあっては、水平オフセット量θxについては、下記の(式1)により求めるものとする。
θx=D×(Cx/6)/n・・・(式1)
上記(式1)において、Dは、顔方向若しくは複数の顔方向の組み合わせ(関係性)に基づいて、+1、−1、0のいずれかが設定される係数である。Cxは、水平画サイズを示す。Cx/6の項は、三分割法に基づいて得られる縦方向に沿った仮想線のX座標に対応したものである。nは、検出されている個別被写体数を示す。
ステップS115に至った場合、検出されている個別被写体数は1であるので、n=1となる。また、この図のアルゴリズムの場合には、顔方向は、左、右の2段階により検出されるものとする。この場合、係数Dは、顔方向が左である場合には+1となり、右である場合には−1となる。
すると、検出されている1つの個別被写体の顔方向が左である場合には、θx=−Cx/6となる。この水平オフセット量θxは、原点座標P(0,0)を通過する垂直線(垂直画像領域分割線Ld1:Y軸線)から、Cx/6だけ右に移動した垂直線の位置を示すことになるが、この垂直線の位置は、ちょうど、三分割法に従った2本の仮想線のうち、右側にある仮想線と同じになる。
一方、検出されている1つの個別被写体の顔方向が右である場合には、水平オフセット量θx=Cx/6となり、原点座標P(0,0)を通過する垂直線(垂直画像領域分割線Ld1:Y軸線)から、Cx/6だけ左に移動した垂直線の位置を示すことになる。そして、この垂直線の位置は、ちょうど、三分割法に従った2本の仮想線のうち、左側にある仮想線と同じになる。
ステップS116においては、総合被写体重心Gt(この場合には、個別被写体数が1なので、図11の重心Gと総合被写体重心Gtは同じになる)が、上記ステップS115により設定された水平オフセット量θxに対応するX座標上に位置しているか否かの判別処理を行う。ここで否定の判別結果が得られた場合には、ステップS117に進む。
ステップS117では、水平オフセット量θxに対応するX座標上に総合被写体重心Gtが位置する状態となるようにパン制御を実行し、ステップS101に戻る。
そして、上記ステップS117の制御により、水平オフセット量θxに対応するX座標上に総合被写体重心Gtが位置する状態に至ったとされると、ステップS116にて肯定の判別結果が得られることになる。このようにしてステップS116にて肯定の判別結果が得られたときには、個別被写体SBJの重心は、図11により示したようにして、その顔方向に応じて、垂直画像領域分割線Ld1ら水平オフセット量θxだけ左又は右に移動した位置にあることになる。
ステップS116において肯定の判別結果が得られた場合には、ステップS118に進み、モードフラグfについて2を設定してステップS101に戻る。このモードフラグf==2となっている状態は、後の説明からも理解されるように、第1の構図調整が完了して、次の第2の構図調整モードを実行したうえでレリーズ動作を実行すべきであることを示す。
また、ステップS111において、検出されている個別被写体数が2以上であると判別した場合には、ステップS119から始まる手順を実行する。
ステップS119においては、目標被写体サイズを設定する処理を行う。個別被写体数が2以上とされる場合、最適構図を得るための目標被写体サイズは、例えば個別被写体数に応じて異なってくるものとされる。そこで、ステップS119においては、ステップS102において検出された個別被写体数に応じた所定の目標被写体サイズを設定する。また、確認のために述べておくと、個別被写体数が2以上の場合の目標被写体サイズは、検出されている全ての個別被写体から成る総合被写体画像部分を対象としたものとなる。
ステップS120においては、個別被写体のサイズがOKであるか否かについて判別する。つまり、このときの個別被写体についての検出情報から求められる総合被写体画像部分のサイズが、上記ステップS120により設定された目標被写体サイズとなっているか否かについて判別する。
ステップS120において否定の判別結果が得られた場合には、ステップS121に進む。ステップS121においては、ステップS114に準じて、このとき検出されている個別被写体の総合被写体画像部分のサイズが、ステップS119により設定された目標被写体サイズとなるようにズームレンズの駆動制御(ズーム制御)を実行し、ステップS101に戻る。
これに対して、ステップS120において肯定の判別結果が得られた場合には、ステップS122に進む。
ステップS122では、複数の個別被写体ごとに検出された顔方向について、これらが全て同一であるか否かの判別処理を行う。
先ず、ステップS122において肯定の判別結果が得られた場合には、ステップS123以降の手順を実行する。ステップS123においては、先に述べた(式1)により水平オフセット量θxを設定する。
この場合には、(式1)における係数Dには、検出されている同一の顔方向が、左、右の何れを示しているのかに応じて、+1と−1のいずれかが代入される。また、nには、検出されている個別被写体数に応じた2以上の数が代入されることになる。このことからも理解されるように、(式1)によっては、個別被写体数が多くなるのに応じて、求められるθxの絶対値は小さくなる。つまり、図11、図12(a)、図13によっても説明したように、個別被写体数が多くなるのに応じて、総合被写体画像部分の左右における垂直画像領域分割線Ld1からのオフセット量は少なくなっていくようにされる。
これに対して、ステップS122において、否定の判別結果が得られた場合には、ステップS124により、水平オフセット量θx=0を設定する。
なお、このステップS124の処理にあっても、(式1)による演算を行うことで、θx=0を設定することができる。つまり、ステップS122にて否定の判別結果が得られた場合(即ち複数の顔方向が同一でない場合)には、ステップS124にて、係数Dについて0を代入して(式1)の演算を行うようにアルゴリズムを構成するものである。
ステップS123、又はステップS124の手順を実行した後は、ステップS125以降の手順に進む。
ステップS125、126、S127では、先に説明したステップS116、S117、S118と同様にして、総合被写体重心Gtが、ステップS123又はステップS124により設定された水平オフセット量θxに対応するX座標上に位置する状態に至るまでパン制御を実行する。この制御により、複数の個別被写体の顔方向が同一である場合には、その数に応じた水平オフセット量θx分だけ、左又は右方向に総合被写体画像部分(総合被写体重心Gt)が移動された状態が得られていることになる。この状態に至ると、ステップS125にて肯定の判別結果が得られることとなって、ステップS127によりモードフラグfについて2を設定し、ステップS101に戻る。
このようにして、モードフラグfについて2が設定された状態では、構図制御として、図11〜図13により説明した、個別被写体数に応じたサイズ調整と、これらの個別被写体ごとの顔方向若しくはその組み合わせに応じた水平方向における位置調整までの手順が完了した状態であることになる。そこで、ステップS107にてモードフラグfが2であると判別された場合には、ステップS128以降の手順により、第2の構図調整モードを実行する。
例えば、図11〜図13での構図制御の説明にあっては、その説明を簡単なものとするために、画面上下方向における個別被写体の重心の位置をどのようにして設定するのかについては言及していないが、実際においては、画面の中央から例えば或る必要量だけ上方向に移動(オフセット)させたほうが、より良い構図となる場合がある。そこで、本実施の形態の構図制御の実際としては、最適構図としてより良好なものが得られるようにして総合被写体重心Gtの縦(垂直)方向のオフセット量も設定することとしている。このための手順が、第2の構図調整モードとなるものであり、ステップS128及び次に説明するステップS129として実行される。
ステップS128では、総合被写体重心Gt(個別被写体が1つの場合はその個別被写体の重心Gとなる)の位置について、画面上の原点座標Pを通過する水平直線(X軸)から所定の垂直オフセット量θyだけオフセットしている状態にあるか否か(重心オフセットがOKであるか否か)を判別する。
ステップS128にて否定の判別結果が得られた場合には、ステップS129により、設定された垂直オフセット量θyだけ重心がオフセットされるようにして、雲台10のチルト機構が動くようにチルト制御を実行し、ステップS101に戻る。そして、ステップS128において肯定の判別結果が得られた段階では、総合被写体画像部分の水平方向における位置と、垂直方向における位置との双方について、最適構図に対応したものが得られている、さらに、総合被写体画像部分のサイズも最適構図に対応したものが得られていることになる。即ち、最適構図が得られている状態となる。
なお、このステップS128、S129に対応した垂直オフセット量θyの実値をどのようにして設定するのかについては、いくつかの手法が考えられることから、ここでは特に限定されるべきものではない。最も簡単な設定の1つとしては、例えば三分割法に基づいて、縦方向における中心位置から、垂直画サイズCyの1/6に相当する長さの値を与えることが考えられる。もちろん、例えば個別被写体数であるとか、顔方向及びその組み合わせに応じた異なる値を所定の規則に従って設定するように構成することも考えられる。
そして、ステップS128により肯定の判別結果が得られた場合には、ステップS130から始まる、レリーズ動作に対応した処理手順を実行する。ここでのレリーズ動作とは、そのときに得られている撮像画像データを、静止画像データとして記憶媒体(メモリカード40)に記憶させるための動作をいう。つまり、手動によるシャッター操作を行っている場合では、このシャッター操作に応答して、そのときに得られていた撮像画像データを静止画像データとして記憶媒体に対して記録する動作にあたる。
ステップS130においては、現在においてレリーズ動作を実行可能な条件を満たしているか否かを判別する。条件としては例えば、合焦状態にあること(オートフォーカス制御が有効に設定されている場合)、雲台10のパン・チルト機構が停止状態にあること、などを挙げることができる。
上記ステップS130で否定の判別結果が得られた場合には、処理をステップS101へ戻す。これにより、レリーズ動作を実行できる条件が満たされる状態となるのを待機することができる。そして、ステップS130において肯定の判別結果が得られると、ステップS131によりレリーズ動作を実行する。このようにして、本実施の形態では、最適構図の撮像画像データを記録することができる。
レリーズ動作が終了したとされると、ステップS132により所要のパラメータについて初期設定を行う。この処理により、モードフラグfについては初期値の0が設定される。また、ズームレンズの位置も、予め設定された初期位置に戻される。
そして、ステップS132の処理を実行した後は処理をステップS101へ戻す。このようにして処理をステップS132からステップS101へ戻すことにより、被写体を探索し、この探索により検出されることとなった個別被写体の向いている方向と個別被写体数に応じた最適構図を得て撮像記録(レリーズ動作)を行うという動作が、自動的に繰り返し実行されることになる。
なお、上記図14の場合におけるレリーズ動作は、撮像画像から静止画像を記録媒体に記録する動作となるものであるが、本実施の形態におけるレリーズ動作は、より広義には、上記の静止画像を記録媒体に記録することを含め、例えば撮像画像から必要な静止画像データを取得することを指す。従って、例えば本実施の形態のデジタルスチルカメラ1により、データインターフェースなどを経由して他の記録装置などに伝送するために、撮像画像から静止画像データを取得するような動作も、レリーズ動作となるものである。
これまでに述べた図14の手順では、先ず、ステップS108、S109により、先の(数1)で求められる必要移動量Span,Stiltに基づいて、検出された1以上の個別被写体の総合被写体重心Gtを画面における原点座標Pに位置させるという、捕捉のためのパン・チルト制御を行うこととしている。そして、次の段階として、個別被写体数、及び個別被写体ごとに検出される顔方向の関係性(同一であるか否か)に基づき、水平オフセット量θxを求め、総合被写体重心Gtについて、原点座標Pを通過する垂直線(垂直画像領域分割線Ld1:Y軸線)を基準に、水平オフセット量θxに対応する距離だけ、左若しくは右方向に移動させるためのパン制御を行う。さらに、設定された垂直オフセット量θyが示す移動量に基づいて、総合被写体重心Gtについて、原点座標Pを通過する水平直線(X軸)を基準に、垂直オフセット量θyに対応する距離だけ、上方向(若しくは下方向)に移動させるためのチルト制御を行う。
このことからすると、図11の手順におけるパン・チルト制御は、
Figure 0005359645

により必要移動量Span,Stiltを求めたうえで、必要移動量Spanに対応した画面内での移動量を得るためのパン機構の制御と、必要移動量Stiltに対応した画面内での移動量を得るためのチルト機構の制御とを行っているものである、ということがいえる。
<4.顔方向と被写体数に応じた構図制御(第2例)>
続いては、構図制御の第2例について説明する。この第2例は、顔方向と検出される被写体数に応じて構図を変更する、という点では、第1例と同様になる。
第2例の構図制御を説明するものとして、図15には、画枠300において3つの個別被写体SBJ0、SBJ1、SBJ2が検出された状態を示している。これらの個別被写体のうち、個別被写体SBJ0、SBJ2について検出されている顔方向は左であるのに対して、個別被写体SBJ1について検出されている顔方向は右であるものとする。この場合、全ての個別被写体の顔方向が同一にはなっていないので、第1例の場合であれば、図12(b)などで説明したように、総合被写体重心Gtは、原点座標Pを通過する垂直線(垂直画像領域分割線Ld1:Y軸線)上に在るように構図が設定される。
しかし、3つの個別被写体のうちで、例えば過半数を占める2つの個別被写体SBJ0、SBJ2が同じ方向を向いている(顔方向が同一である)ということは、残る1つの個別被写体SBJ1の顔方向に対応して向いているとする反対方向よりも、これら2つの個別被写体SBJ0、SBJ2が向いているとする先に、何かしら重要性の高いものが存在している可能性が高いということがいえる。このような考え方に基づけば、これら2つの個別被写体SBJ0、SBJ2の顔方向が示す先の画面領域に空間を設けることのほうが良い構図となる可能性が高いといえる。この場合であれば、2つの個別被写体SBJ0、SBJ2の顔方向が左であるとして検出されているので、画面において、3つの個別被写体SBJ0、SBJ1、SBJ2から成る総合被写体画像部分を垂直画像領域分割線Ld1よりも右側の画像領域に寄せて良い構図を得ようとするものである。
そこで、第2例の構図制御としては、複数の個別被写体ごとに検出される顔方向の関係性として、同一となる顔方向の数が、個別被写体の全体数における所定割合以上を占めるときには、この同一となる顔方向を基準顔方向とする。この基準顔方向は、例えば複数の個別被写体群の総体を1つの個別被写体としてみた場合において、画面内にて向いているとする方向を指すものといえる。そして、この基準顔方向に基づいて、水平オフセット量θxを求めて設定するようにされる。このような構図制御により、図15の場合には、原点座標Pを通過する垂直線よりも右側に総合被写体重心Gtが位置するようにして構図が設定されることになる。
また、ここでは図示しないが、上記の所定割合以上を占めるだけの、同一の顔方向数が得られていない状態、即ち上記の基準顔方向が決定できなかった場合、本実施の形態としては、総合被写体画像部分が左右方向においてほぼ中央に位置する構図を設定することのほうが好ましいとの考えにたつものとする。そこで、この場合には、水平オフセット量θxについては0を設定することとする。
図16は、上記した第2の構図制御に対応して図8に示した被写体検出処理ブロック61、構図制御処理ブロック62、及び通信制御処理ブロック63が実行するものとされる手順例を示している。
この図16に示される手順のうちで、ステップS222−1、S222−2を除くステップS201〜S232までの手順は、図14におけるステップS101〜S132までの手順と、それぞれ同じとなる。
そして、ステップS221−1とこれに続くステップS222−2は、ステップS222において否定の判別結果が得られた場合において実行すべき手順として挿入されている。つまり、ステップS222−1、S222−2は、検出されている個別被写体数が複数の場合であって、先ずは、総合被写体画像部分のサイズ調整が完了した段階において、これらの個別被写体の顔方向の関係性として、全ての顔方向が同一ではなかった場合に実行されるものである。
ステップS222−1では、基準顔方向を決定するための処理を実行する。
このためには、例えば、先にも述べたように、検出されている複数の個別被写体ごとの顔方向の関係性として、同一の顔方向を持つ個別被写体の組のうちで、その組を成す個別被写体数が、全ての検出されている個別被写体数における所定割合以上を示すものがあるかどうかについて判断し、このような個別被写体の組があれば、この組の個別被写体の顔方向を、有効な基準顔方向として決定するようにされる。また、このような個別被写体の組が無ければ、基準顔方向も無いものとする決定を行うようにされる。
なお、上記の所定割合について、実際にどのような値を設定するのかについては、実際における個別被写体数及び個別被写体ごとの顔方向の関係性との対応で、どのような構図が適当となるのかを考慮したうえで、適宜決定されて良い。また、この所定割合としての値は、基本的には固定の1つの値が設定されればよいが、例えば、決定された個別被写体数などに応じて、異なる所定値が設定されるようにされてもよい。
さらに、基準顔方向決定処理のためのアルゴリズムとしては、上記以外にも考えることができる。例えば、全ての個別被写体数における割合は考慮せずに、単に、同一の顔方向を持つ個別被写体の組のうちで、個別被写体数が最多の組の顔方向を、有効な基準顔方向として決定するような処理も考えることができる。この場合には、例えば同一の顔方向を持つ各組を成す個別被写体数が同じであるようなときに、基準顔方向は無いものとしての決定が行われることになる。
ステップS222−2においては、上記ステップS222−1の顔方向決定処理の結果として、有効な基準顔方向が決定されたか否かについての判別を行う。
ここで、肯定の判別結果が得られた場合には、ステップS223に進む。この場合のステップS223においては、ステップS222−1にて決定された基準顔方向に基づいて係数Dを決定して、水平オフセット量θxを求めて設定する。
一方、ステップS222−2において否定の判別結果が得られた場合には、先のステップS222−1にて、左若しくは右を示す有効な基準顔方向を決定することができなかったことになる。そこで、この場合には、ステップS224に進むことで、水平オフセット量θxについては0を設定する。このようにして、ステップS222−1、S222−2を挿入することで、図15により説明したような第2例としての構図制御が実現されることになるものである。
なお、先の図14及び上記図16に示される各構図制御の手順は、その全体の流れからしてみると、検出される個別被写体の数に応じて最適とみなされる構図を判定、決定し、この判定した構図の撮像画像データが実際に得られる(反映される)ようにして、ズーム制御、及びパン・チルト制御を適宜実行しているものであるとみることができる。
また、上記構図制御にあっては、顔方向の検出は、左、右の2段階による検出であることを前提としていたが、実際においては、例えば左、右に加えて、正面もあるようにして顔方向検出処理を構成する場合もあると考えられる。この場合にも、本願発明に基づいた構図制御は有効に適用できる。
例えば図11のようにして1つの個別被写体が検出された場合において、さらに顔方向については正面であることが検出された場合であるが、1つには、水平方向における被写体位置を、画面のほぼ中央に位置させる(重心Gがほぼ垂直画像領域分割線Ld1(Y軸線)上に在るようにする)ことが考えられる。しかし、このような構図は、良くない構図の代表的なものとされることが多い。そこで、検出される個別被写体が1つである場合において、顔方向が正面の場合には、図11と同様の構図、若しくは、図11の構図に対して垂直画像領域分割線Ld1を基準に線対称となるような構図とするようにして水平オフセット量θxを決定することも考えられる。このようにすれば、三分割法に則った良好な構図が得られる。
また、2以上の個別被写体が検出されている場合に、例えば全ての個別被写体の顔方向が正面を示している、あるいは基準顔方向が正面である場合には、(式1)の係数Dを0に設定したうえでの水平オフセット量θxを求めるようにして構成することが考えられる。
また、顔方向として、例えば顔を上向きにした状態、また、顔を俯かせるようにした下向きの状態についても検出可能とされている場合には、この上向き、下向き状態の顔方向の検出結果に応じて構図制御を行うことも可能とされる。
さらに、顔方向について、左右方向と、上記の上向き、下向き状態とを合成した斜め方向の検出も可能とされているときには、この斜め方向が検出された顔方向に応じた構図制御も行うことが可能である。
さらに、例えば、顔方向について、左右方向において、例えば2段階、若しくは3段階よりも多い段階により、向きの検出を行えるようにされている場合には、このようにして検出された向きの段階(度合い)に応じて水平オフセット量θxを可変するようなアルゴリズムを採用することが考えられる。この点については、次に説明する第3例、第4例の構図制御における、上下方向の顔方向検出(第1,第2の構図制御の左右方向の顔検出に相当する)に応じた垂直オフセット量θyの可変に関しても同様である。
また、基準線の通過する基準点は、この場合には、図10にて示したように、画面における原点座標としているが、この基準点の位置については、例えばより良好な構図を得ることなどを目的として、原点座標以外の位置が設定されても良いものである。この点についても、次に説明する第3例、第4例の構図制御についても同様のことがいえる。
<5.顔回転角度に応じた構図制御:通常姿勢時(第3例)>
また、被写体検出処理ブロック61は、被写体検出により得られる情報として、顔回転角度も得ることができる。この第3例と、後述の第4例の構図制御は、顔回転角度の情報を利用する。
顔回転角度の検出手法例を図17により説明する。
先ず、図17(a)には、1つの検出された個別被写体SBJの顔(特定の対象部位)について、その顔方向としては正面となっている状態が模式的に示されている。
この個別被写体SBJに対して、例えば検出された左右の目を結ぶ直線F0に平行で、個別被写体SBJの重心Gを通過する直線F1を設定し、さらに、この直線F1と直交して重心Gを通過する直線F2を設定する。また、絶対的に垂直な垂直基準線Vを設定する。この垂直基準線Vが、0°の顔回転角度に対応する。この場合、垂直基準線Vは、重心Gを通過させた状態で示している。
図17(a)の場合、直線F2と垂直基準線Vが一致しており、このとき、両者により形成される角度は0°とみることができる。このとき、顔回転角度は0°となる。
これに対して、例えば図17(b)に示すようにして、個別被写体SBJの顔方向は図17(a)と同じく正面ではあるが、顔自体が時計回り方向(右側)に回転するようにして傾いている状態にあるとする。この場合、垂直基準線Vと直線F2とによっては、その顔自体の時計回り方向への傾きの度合いに応じて、+α°として示されるように正の角度値が得られる。
同様に、例えば図17(c)に示すようにして、顔自体が反時計回り方向(左側)に回転するようにして傾いている状態にあるとする。この場合、垂直基準線Vと直線F2とによっては、その顔自体の反時計回り方向への傾きの度合いに応じて、-α°として示されるように負の角度値が得られる。
上記図17(b)(c)に示されるような顔の傾きは、例えば図17(a)を基準にして、顔を回転させているものとして捉えられる。本実施形態では、このような個別被写体SBJの顔の傾きに応じて得られる垂直基準線Vと直線F2とにより形成される角度値を、顔回転角度を示すものとして扱う。
そして、個別被写体SBJごとの顔回転角度を実際に検出するためには、被写体検出処理ブロック61は、例えば上記図17の説明に準ずればよい。
つまり、個別被写体SBJごとにおいて左右の目の位置を特定し、この目の位置に基づいて、被写体SBJごとに直線F2を設定する。そして、設定した直線F2と垂直基準線Vが形成する角度値を、顔回転角度の値として扱う。
なお、以降の説明において、顔回転角度としては、例えば所定の分解能に応じて得られる角度値として扱われる場合と、或る角度値から他の角度値までの範囲(角度範囲)を示す場合とがある。つまり、本願でいう顔回転角度は、角度値として、角度範囲もその概念に含まれる。
図18により、顔回転角度に応じた構図制御の基本例について説明する。
図18(a)には、検出被写体として、画枠300において1つの個別被写体SBJが存在している状態が示されている。先ず、この場合においては、これまでに説明した第1例又は第2例の構図制御に従って得られる構図としては、この図18(a)に示すものであるとする。つまり、個別被写体SBJの重心G(X,Y)は、水平方向においては垂直画像領域分割線Ld1に対応した水平画サイズの中間点に位置させ、垂直方向においては、三分割法に従って、垂直画サイズCyを3等分する2本の水平仮想線h1,h2のうち上側に在る水平仮想線h2上に位置させるものである。この重心G(X,Y)は、水平オフセット量θx=0、垂直オフセット量θy=Cy/6として表すことができる。
水平オフセット量θxは、垂直画像領域分割線Ld1(X=0)を基準にして、紙面においてこれより左側の領域において負の値をとり、これより右側の領域において正の値をとる。垂直オフセット量θyは、水平画像領域分割線Ld2(Y=0)を基準にして、紙面においてこれより上側の領域が正の値をとり、これより下側の領域が負の値をとる。
次に、例えば図18(b)に示すようにして、画枠300にて検出された個別被写体SBJが時計回り方向に顔が傾くようにして回転した状態にあったとする。この場合には、図17により説明したようにして、顔回転角度として、その傾きの度合いに応じた正の値(+α°)が検出される。
なお、ここでの「時計回り方向(反時計回り方向)に顔が傾くようにして回転した状態」に対応する顔回転角度(±α°)としては、その絶対値が90°とみなされる角度範囲よりも小さい角度範囲になる。この顔回転角度範囲は、例えば被写体としての人が通常に立ったり座ったりしているような状態において、なにかにもたれたり、首を傾けたりすることによって得られる角度範囲と見ることができる。これに対して絶対値が90°とみなされる回転角度範囲は、後述する横臥姿勢に対応するものとみることができる。
例えば、このようにして個別被写体SBJの顔が時計回り方向(右側)に或る程度回転した状態の場合には、その個別被写体SBJの右側において重要性の高いものが存在している可能性が高い。より具体的には、個別被写体SBJの顔が回転しているときには、その個別被写体SBJとしての実際の人物が、何かにもたれている可能性が高くなる。そして、そのもたれているものは、個別被写体SBJの顔が回転している方向にある可能性が高い。つまり、図18(b)の場合であれば、画枠300において、個別被写体SBJが顔を傾けている右側の空間に、もたれているものが存在する可能性が高い。
そこで、本実施形態では、時計回り方向に傾くようにして回転している状態に対応した顔回転角度の範囲(顔回転角度範囲)が検出されたことに応じては、同じ図18(b)として示すように、図18(a)に示される重心Gの位置(垂直画像領域分割線Ld1上)に対して、より左側に重心Gを移動して得られる構図を最適構図であるとして判定し、この構図が得られるようにして構図制御を行う。
図18(b)の例では、水平画サイズCxを三等分した2本の垂直仮想線v1,v2のうち、左側の垂直仮想線v1上に重心Gが位置するように移動させている。つまり、図18(b)の重心Gは、水平オフセット量θx=-Cx/6、垂直オフセット量θy=Cy/6として表せる。これにより、個別被写体SBJの右側により多くの空間があることになって、良好な構図が得られる。
なお、図示は省略するが、個別被写体SBJが、反時計回り方向に傾くようにして回転している状態に対応した顔回転角度範囲が検出されたことに応じては、図18(b)とは反対に、垂直画像領域分割線Ld1の右側に位置させる。例えば、水平オフセット量θx=Cx/6、垂直オフセット量θy=Cy/6として表される重心Gの位置となるようにして構図制御を行う。
また、図19(a)は、検出被写体として、画枠300において2つの個別被写体SBJ0,SBJ1が検出されている状態を示している。また、ここでの個別被写体SBJ0,SBJ1は、何れも、時計回り方向に傾くようにして回転している状態であり、個別被写体SBJ0,SBJ1ごとに、この状態に応じた範囲の顔回転角度が検出されている。
このようにして、2つの個別被写体が検出され、かつ、これらの個別被写体ごとに、同じ方向に傾くようにして回転している状態の顔回転角度であることが検出されたときには、この図に示すようにして、総合被写体重心Gtについて、顔回転角度(顔の傾きの方向)と、個別被写体数=2に応じた水平オフセット量θxを与える。
なお、例えば2つの個別被写体がそれぞれ異なる顔の傾き(回転)の方向であることが検出された場合には水平オフセット量θx=0として、総合被写体重心Gtが垂直画像領域分割線Ld1上に在るようにすればよい。
また、図19(b)においては、検出被写体として、3つの個別被写体SBJ0,SBJ1,SBJ2が検出されている。また、顔の回転については、個別被写体SBJ0、SBJ2は、何れも時計回り方向に回転するようにして傾いており、同じ範囲の顔回転角度にあるといえる。これに対して、個別被写体SBJ1は、回転することなく成立しており、例えば0°の顔回転角度の状態にある。つまり、3つの個別被写体SBJ0,SBJ1,SBJ2の顔回転角度の関係として、個別被写体SBJ0,SBJ2は同じであるのに対して、個別被写体SBJ1が異なっている。
この場合の構図制御としては、第1例に準じて、総合被写体重心Gtを垂直画像領域分割線Ld1上に位置させることが先ず考えられる。
また、第2例に準じて、3つの個別被写体のうち過半数を占める2つの個別被写体が傾いている方向に重要性の高いものが存在するとの考え方を採り、総合被写体重心Gtを垂直画像領域分割線Ld1よりも左側の画像領域に位置させるという構図制御でもよい。
つまり、第2例に準じた顔回転角度に基づく構図制御は、複数の個別被写体ごとに検出される顔回転角度範囲の関係性として、同じ顔回転角度範囲の個別被写体数が、個別被写体の全体数における所定割合以上を占めるときには、この同一となる顔回転角度範囲を基準(基準顔回転角度)とする。そして、この基準顔回転角度に基づいて、水平オフセット量θxを設定するというものである。図19(b)は、この第2例に準じた構図制御が行われた状態が示されている。
<6.顔回転角度に応じた構図制御例:横臥姿勢時(第4例)>
次に、例えば図20(a)に示すようにして、1つの個別被写体SBJの顔が左向き真横となっている状態が示されている。これは、例えば顔回転角度としては、-90°としてみなされる角度範囲にある。
このようにして個別被写体SBJの顔が横向きの状態は、個別被写体SBJが横臥している姿勢状態にあるとみることができる。
ここで、例えば図20(a)に示す個別被写体SBJが横臥しているとして、例えば、単純に、第1例、若しくは第2例に従った構図制御により、重心Gを垂直画像領域分割線Ld1と水平仮想線h1との交点に位置させたとする。
すると、この図20(a)に示すようにして、構図としては、横臥した姿勢の個別被写体SBJが、画枠300において右に寄りすぎてしまう。また、この場合には、垂直オフセット量θy=Cv/6も与えていることから、個別被写体SBJは上側にも寄りすぎてしまっているといえる。このような構図は、一般的に、あまり良いものとは思われない。
そこで、図20(a)の例のようにして、個別被写体SBJの顔がほぼ左真横にまで回転している状態、つまり、-90°とみなせる顔回転角度範囲であると検出した場合には、例えば図20(b)に示す構図が得られるようにして制御する。
つまり、個別被写体SBJの重心Gについて、先ず、垂直方向においては、水平画像領域分割線Ld2上に位置させる。一方の水平方向においては、垂直画像領域分割線Ld1よりも左側に位置させるものとする。この場合には、水平オフセット量θx=-Cx/6を設定して垂直仮想線v1上に位置させることとしている。
この図20(b)に示す構図であれば、先ず、横臥している被写体SBJの顔は、画枠300の上下方向においてほぼ中央に位置させることができる。これとともに、画枠300内で左向きに横臥している被写体SBJの顔より下の部位も、適切な占有率で配置させることができる。つまり、図20(a)と比較してはるかに良好な構図が得られることになる。
なお、上記図20とは反対に、個別被写体SBJの顔がほぼ右真横にまで回転して+90°とみなせる顔回転角度範囲であることが検出されている場合には、図20(b)の左右を反転させた状態の構図となるように制御することになる。
つまり、図21に示すように、重心Gを、例えば水平画像領域分割線Ld2と、垂直画像領域分割線Ld1よりも右側の垂直仮想線v2(θx=Cx/6)との交点に位置させる。
そのうえで、本実施形態としては、上記図20(b)により説明した1つの横臥姿勢の個別被写体SBJの構図制御を基本としたうえで、本実施形態では、顔方向の検出結果も、構図制御に反映できるようにする。
図22(a)は、画枠300における左向き横臥姿勢の個別被写体SBJについて、その顔方向が下となっている状態を示している。
この場合、実際において個別被写体SBJとしての人は、横臥した状態で、右を向いているのであるが、画枠300内においては、顔方向が下であるとして検出されるものとする。
このようにして顔方向が下であると検出されているときには、第1例での考え方に従い、その顔が向いている先の空間、つまり、画枠300の下側領域に重要性の高いものが存在している可能性が高いと考えることができる。そこで、この場合には、図22(a)に示すようにして、垂直方向における重心Gの位置については、水平画像領域分割線Ld2よりも上の領域に移動させる.この場合には、三分割法に従い、垂直オフセット量θy=Cy/6を設定している。水平オフセット量θxは、図20(b)と同様に-Cx/6である。
これに対して、図22(b)に示すようにして、画枠300における左向き横臥姿勢の個別被写体SBJについて、その顔方向が上であるとして検出されているときには、垂直方向における重心Gの位置を水平画像領域分割線Ld2よりも下の領域に移動させる。この場合には、例えば、図22(a)とは上下対称に、水平オフセット量θx=-Cx/6、垂直オフセット量θy=-Cy/6を設定している。
また、図23(a)に示すように、画枠300において、左向き横臥姿勢の個別被写体SBJについて、その顔方向が下であるとして検出されているときにも、垂直方向における重心Gの位置を水平画像領域分割線Ld2よりも上の領域に移動させるようにする。例えば、水平オフセット量θx=Cx/6、垂直オフセット量θy=Cy/6を設定する。
これに対して、図23(b)に示すように、同じ左向き横臥姿勢の個別被写体SBJについて、その顔方向が上であるとして検出されているときにも、垂直方向における重心Gの位置を水平画像領域分割線Ld2よりも下の領域に移動させる。例えば、水平オフセット量θx=Cx/6、垂直オフセット量θy=-Cy/6を設定する。
また、例えば図24(a)(b)、図25(a)(b)には、個別被写体SBJの顔が左向き若しくは右向きによる横向きの状態、つまり、横臥姿勢の状態が示されている。ただし、例えば横向きの顔に対応する顔回転角度としては、±90°とみなされる角度範囲に対して、さらに或る角度が与えられている状態も考えることができる。具体例として、個別被写体SBJとしての人物が、横臥姿勢の状態で首を左右のいずれかにかしげているような状態がこれに相当する。
このような場合には、先に図18の説明に従い、個別被写体SBJの顔が傾くようにして回転している方向に重要性の高いものが存在するものとして考える。従って、図24(a)のようにして、個別被写体SBJが左向き横臥姿勢(個別被写体SBJの顔が左横向き)で、かつ、その顔自体が、-90°からさらに反時計回り方向に回転するようにして傾いている状態では、垂直方向における重心Gの位置を水平画像領域分割線Ld2よりも上の領域に移動させる。つまり、例えば水平オフセット量θx=-Cx/6、垂直オフセット量θy=Cy/6を設定する。
また、図24(b)に示すように、個別被写体SBJが左向き横臥姿勢で、その顔自体が-90°からさらに時計回り方向に回転するようにして傾いている状態では、垂直方向における重心Gの位置を水平画像領域分割線Ld2よりも下の領域に移動させ、例えば水平オフセット量θx=-Cx/6、垂直オフセット量θy=-Cy/6を設定する。
また、図25(a)に示すように、個別被写体SBJが右向き横臥姿勢(個別被写体SBJの顔が右横向き)で、その顔自体が90°からさらに時計回り方向に回転するようにして傾いている状態では、垂直方向における重心Gの位置を水平画像領域分割線Ld2よりも上の領域に移動させ、例えば水平オフセット量θx=Cx/6、垂直オフセット量θy=Cy/6を設定する。
また、図25(b)に示すように、個別被写体SBJが右向き横臥姿勢で、その顔自体が90°からさらに時計回り方向に回転するようにして傾いている状態では、垂直方向における重心Gの位置を水平画像領域分割線Ld2よりも下の領域に移動させ、例えば水平オフセット量θx=Cx/6、垂直オフセット量θy=-Cy/6を設定する。
また、図26(a)(b)には、それぞれ、画枠300において、左向き横臥姿勢、右向き横臥姿勢の個別被写体として、2つの個別被写体SBJ0,SBJ1が存在し、かつ、両者が同じ向きにより横臥する姿勢状態を示している。
この場合において、上記の状態は、個別被写体SBJ0,SBJ1が均等の重要度を持っているとみなすこととする。そこで、個別被写体SBJ0,SBJ1の総合被写体重心Gtの垂直方向における位置としては、垂直オフセット量θy=0を設定して、水平画像領域分割線Ld2上に在るようにする。また、水平方向における総合被写体重心Gtとしては、個別被写体SBJ0,SBJ1の顔回転角度が-90°(とみなされる角度範囲)と+90°(とみなされる角度範囲)の何れに該当するのかに応じて、水平オフセット量θx=-Cx/6とθx=Cx/6の何れかを設定する。
また、図27(a)には、画枠300において、2つの個別被写体SBJ0,SBJ1が共に左向き横臥姿勢(顔回転角度 = -90°)とされ、かつ、顔方向としては、何れの個別被写体SBJ0,SBJ1も下を向いている状態が示されている。
この場合には、図22の例に倣い、個別被写体SBJ0,SBJ1の総合被写体重心Gtは、垂直方向においては水平画像領域分割線Ld2よりも上の領域に移動させることになる。また、その移動量は、図12などの例に倣って、例えば、個別被写体数が1のときよりも小さい値(絶対値)の垂直オフセット量θyを設定する。この場合には、垂直オフセット量θy = Cy/12を設定した例が示される。なお、水平オフセット量θx = -Cx/6である。
これにより、個別被写体SBJ0,SBJ1による総合被写体画像部分が上に寄りすぎる印象の構図が避けられ、より適切な構図が得られる。
また、図27(a)に対して、2つの個別被写体SBJ0,SBJ1の顔方向は何れも下であるが、横臥姿勢が右向き(顔回転角度 = +90°)で反対となるときには、例えば総合被写体重心Gtの移動量は、垂直オフセット量θy = Cy/12で同じであるが、水平オフセット量θxについては反転して、θx = Cx/6となる。
また、図27(a)に対して、2つの個別被写体SBJ0,SBJ1の横臥姿勢は左向きで同じであるが、顔方向が上向きで反対となるときの総合被写体重心Gtの移動量は、例えば、水平オフセット量θx = -Cx/6で同じであるが、垂直オフセット量θyが反転されて、θy = -Cy/12となる。
また、図27(b)には、2つの個別被写体SBJ0,SBJ1が、図24(a)のように、左向き横臥姿勢で、かつ、顔回転角度範囲としては、-90°とみなされる角度範囲から、さらに時計回り方向に傾くようにして回転している状態が示されている。
この場合にも、図24(a)に倣い、総合被写体重心Gtは、水平画像領域分割線Ld2よりも上に移動させることになる。また、個別被写体数が1のときよりも少ない移動量を設定する。この図では、垂直オフセット量θy=Cy/12を設定している。水平オフセット量θx=-Cy/6である。
なお、図27(b)に対して、2つの個別被写体SBJ0,SBJ1が左向き横臥姿勢であるのは同じであるが、顔回転角度範囲として、-90°とみなされる角度範囲からさらに反時計回り方向に傾くようにして回転している状態では、総合被写体重心Gtの移動量は、例えば次のようになる。つまり、水平オフセット量θxについては、θx = -Cx/6で同じであるが、垂直オフセット量θyについては反転させて、θy= -Cy/12とする。
また、図27(b)に対して、2つの個別被写体SBJ0,SBJ1が右向き横臥姿勢とされ、かつ、顔回転角度範囲として、+90°とみなされる角度範囲からさらに反時計回り方向に傾くようにして回転している状態では、総合被写体重心Gtの移動量は次のようになる。つまり、例えば水平オフセット量θxについては、右向き横臥姿勢に応じてθx = Cx/6とし、垂直オフセット量θyについてはθy = Cy/12として、水平画像領域分割線Ld2より上に移動させる。
また、2つの個別被写体SBJ0,SBJ1が右向き横臥姿勢とされ、かつ、顔回転角度範囲として、+90°とみなされる角度範囲からさらに時計回り方向に傾くようにして回転している状態では、総合被写体重心Gtの移動量は次のようになる。例えば水平オフセット量θx = Cx/6、垂直オフセット量θyについてはθy = -Cy/12として、水平画像領域分割線Ld2より下に移動させる。
また、図27(a)に対して、横臥姿勢の個別被写体SBJ0,SBJ1の顔方向が異なっている。また、図27(b)に対して、横臥姿勢の個別被写体SBJ0,SBJ1の顔回転角度が異なっている場合には、例えば、垂直オフセット量θy = 0として、垂直方向における移動量は与えないようにすればよい。
また、図28(a)には、画枠300において、左向き横臥姿勢の3つの個別被写体SBJ0,SBJ1,SBJ2が存在しており、その顔方向について、個別被写体SBJ0は下向き、個別被写体SBJ1は正面、個別被写体SBJ2は下向きとなっている状態が示される。
このようにして、例えば3以上の横臥姿勢の個別被写体が検出された状態で、それぞれの顔方向が同一でない場合には、図15に準じて、基準顔方向を決定し、この決定された基準顔方向に従って垂直方向における移動量である垂直オフセット量θyを設定する。
図28(a)の場合には、3つの個別被写体の顔方向のうち、2つの個別被写体SBJ0、SBJ2が向いている下方向が過半数を占める。そこで、この場合には、基準顔方向=下であるとして決定し、これに応じては、総合被写体重心Gtを、水平画像領域分割線Ld2よりも上に移動させるようにして、垂直オフセット量θyを設定することになる。ここでは、垂直オフセット量θy = Cy/18を設定している。このときの垂直オフセット量θyは、例えば検出される個別被写体数が2のときよりも小さい値となる。水平オフセット量θxについては、左向き横臥姿勢に応じてθx = -Cx/6を設定している。
また、図28(b)にも、画枠300において、左向き横臥姿勢の3つの個別被写体SBJ0,SBJ1,SBJ2が存在している状態が示されている。ここでは、その顔回転角度について、個別被写体SBJ1は、-90°とみなされる角度範囲であるのに対して、個別被写体SBJ0,SBJ2は、何れも、-90°とみなされる角度範囲から、さらに反時計回り方向に傾くようにして回転したとされる角度範囲にあることが示される。
このようにして、例えば3以上の横臥姿勢の個別被写体が検出された状態で、それぞれの顔回転角度(範囲)が同一でない場合にも、図15に準じて、基準顔回転角度(ここでの回転角度は角度範囲の概念も含む)を決定し、この決定された基準顔回転角度に従って垂直方向における移動量である垂直オフセット量θyを設定する。
図28(b)の場合には、3つの個別被写体のうち、2つの個別被写体SBJ0、SBJ2の顔回転角度が同じであり、従って過半数を占める。そこで、この場合には、個別被写体SBJ0、SBJ2について検出されている顔回転角度(範囲)を、基準顔回転角度として決定する。
そして、この決定された基準顔回転角度に応じては、総合被写体重心Gtを、水平画像領域分割線Ld2よりも上に移動させるようにして、例えば図28(a)と同じく、垂直オフセット量θy = Cy/18を設定する。水平オフセット量θxについては、左向き横臥姿勢に応じてθx = -Cx/6を設定している。
<7.顔回転角度に応じた構図制御のアルゴリズム>
[7−1.顔回転角度の範囲設定]
続いては、顔回転角度に応じた構図制御のアルゴリズム例について説明する。
ここで、本実施形態では、これまでに説明した構図制御に対応して、顔回転角度について次のようにして区分設定する。
図29は、顔回転角度についての区分設定例を模式的に示している。なお、顔回転角度の値の求め方については、図17にて説明したとおりである。また、以降においては顔回転角度をfangとして表す。
先ず、0°(とみなされる範囲)の顔回転角度fangは、図18(a)に示したように、顔が正立しており、回転していない状態に対応する。また、-90°(とみなされる範囲)の顔回転角度fangは、図20(b)に示した、顔が左向き真横の状態に対応する。+90°(とみなされる範囲)の顔回転角度fanは、図21に示した、顔が右向きで真横の状態に対応する。
なお、上記0°,+90°,-90°としての顔回転角度は、実際には、在る程度の角度範囲が与えられて良い。0°,+90°,-90°の顔回転角度の値を、それぞれ、厳密に、顔が正立、右向き真横、左向き真横の各状態に対応させたとしても、かえって、これらの顔回転角度に対応するとされる顔の向きを、期待通りに的確に検出、判定できなくなる。
そこで、図29には示してはいないが、構図制御にあたっては、0°,+90°,-90°としての厳密な値に対して、それぞれ±m°(例えば数度)のマージンを与えて形成される角度範囲を、0°,+90°,-90°の顔回転角度として扱うようにすることが好ましいといえる。
また、0°< fang < (+90°-a°)による角度範囲1は、図18(b)に示したように、横臥姿勢ではない通常姿勢とされる状態のもとで、顔が時計回り方向に回転するようにして傾けられた状態に対応する。
また、図29における、0°> fang > (-90°+a°)までの角度範囲2は、図18(b)が反転した、横臥姿勢ではない通常姿勢とされる状態のもとで、顔が反時計回り方向に回転するようにして傾けられた状態に対応する。
また、(+90°-a°)< fang < +90°までの角度範囲3は、図25(b)に示した、右向き横臥姿勢で、顔が反時計回り方向に回転するようにして傾けられた状態に対応する。
また、+90°< fang < (+90°+a°)までの角度範囲4は、図25(a)に示した、右向き横臥姿勢で、顔が時計回り方向に回転するようにして傾けられた状態に対応する。

また、(-90°+a°)> fang > -90°までの角度範囲5は、図24(b)に示した、左向き横臥姿勢で、顔が時計回り方向に回転するようにして傾けられた状態に対応する。
また、-90°> fang > (-90°-a°)までの角度範囲6は、図24(a)に示した、右向き横臥姿勢で、顔が反時計回り方向に回転するようにして傾けられた状態に対応する。
本実施形態の顔回転角度検出は、例えば顔回転角度としての角度値を求めたうえで、その角度値が、0°,+90°,-90°,角度範囲1〜6の何れに該当するのかを判定することになる。
[7−2.通常姿勢に対応するアルゴリズム]
これまでの説明において、顔回転角度に応じた構図制御は、通常姿勢に対応する第3例と、横臥姿勢に対応する第4例とを挙げた。ここで説明する顔回転角度に応じた構図制御のアルゴリズムは、左右の顔方向に応じた構図制御である第2例に対して、第3例と第4例を組み合わせた場合のアルゴリズムとする。なお、第1例に第3例及び第4例を組み合わせたアルゴリズムも当然に構成できるが、ここでは、複数の個別被写体に対応する制御が第1例よりは高度な第2例と組み合わせることとしている。
第2例の構図制御に対応したアルゴリズムは、先に図16のフローチャートにより説明したものとなる。本実施形態として、これに第3例と第4例の構図制御を組み合わせるとした場合には、先ず、ステップS203の判別処理として、被写体が検出されたとして肯定の判別結果が得られたとの判別結果が得られたのであれば、さらに、図30のフローチャートに示す手順を実行することとする。
ここで、第2例に対して第3例及び第4例の構図制御を組み合わせる場合には、ステップS202に対応して実行する被写体検出によっては、検出される個別被写体ごとの顔回転角度の情報も取得する。
そこで、図30のステップS301においては、個別被写体について検出された顔回転角度fangについて、fang == +90°±a°と、fang == -90°±a°との角度範囲のいずれかに含まれるか否かについて判別する。
図29によれば、顔回転角度fang == +90°±a°の範囲は、下記のa,b,cの3状態の何れかに該当する。
a.顔回転角度fang == +90とみなされる範囲であって右向き横臥姿勢で真横になっている状態
b.顔回転角度fang == +90°+a°の範囲に含まれ、角度範囲4に対応する状態、即ち、右向き横臥姿勢で、+90°からさらに時計回り方向に回転した状態
c.顔回転角度fang == +90°-a°の範囲に含まれ、角度範囲3に対応する状態、即ち、右向き横臥姿勢で、+90°からさらに反時計回り方向に回転した状態
つまり、顔回転角度fang == +90°±a°は、右向き横臥姿勢である、つまり、個別被写体として検出された顔が、右横向きであることを示している。
また、顔回転角度fang == -90°±a°の範囲は、下記のd,e,fの3状態の何れかに該当する。
d.顔回転角度fang == -90°とみなされる範囲であって左向き横臥姿勢で真横になっている状態
e.顔回転角度fang == -90°+a°とされて、角度範囲5に対応する状態、即ち、左向き横臥姿勢で、-90°からさらに時計回り方向に回転した状態
f.顔回転角度fang == -90°-a°とされて、角度範囲6に対応する状態、即ち、右向き横臥姿勢で、-90°からさらに反時計回り方向に回転した状態
つまり、顔回転角度fang == -90°±a°は、左向き横臥姿勢である、つまり、個別被写体として検出された顔が、左横向きであることを示している。ことを示している。
従って、ステップS301は、左向き、右向きにかかわらず、検出された個別被写体が横臥姿勢であるか否か、つまり、検出された顔が横向きであるか否かについて判別していることになる。
ここで、検出された個別被写体の数が2以上の場合には、ステップS301として、いくつかのアルゴリズムの態様を考えることができる。
最も簡単なアルゴリズムとしては、検出された全ての個別被写体の顔回転角度がfang == +90°±a°に該当するとき、又は、検出された全ての個別被写体の顔回転角度がfang == -90°±a°に該当するときに、肯定の判別結果が成立する、とするものである。
また、例えばfang == +90°±a°に該当する個別被写体が、全体の一定以上の比率であるとき、または、fang == -90°±a°に該当する個別被写体が、全体の一定以上の比率であるときに肯定の判別結果が得られる、とするアルゴリズムも考えられる。
先ず、ステップS301にて否定の判別結果が得られた場合には、検出された個別被写体は、横臥姿勢ではなく、通常姿勢であることになる。つまり、個別被写体として検出された顔は、縦向きであることになる。図29との対応では、検出された顔回転角度fangについて、0°とみなされる角度範囲であるか、角度範囲1,2の何れかに該当する場合となる。
そこで、この場合には、ステップS302として示すように、通常姿勢対応処理を実行する。これは、実際には、図16のステップS207以降の処理を実行していくことを意味する。
ただし、この場合の図16のステップS207以降の処理は、第3例に対応した通常姿勢時の顔回転角度に応じた構図制御が組み合わされることになる。これにより、図16のステップS215としては、図31のフローチャートに示す処理を実行すべきことになる。また、図16において破線で括って示す、ステップS222〜S224の処理に代えて図32のフローチャートに示す処理を実行すべきことになる。
図31は、上記もしたように、図16のステップS215として、第3例の構図制御の組み合わせに対応して実行すべき処理となるもので、検出された個別被写体数が1の場合に対応して水平オフセット量θxを設定する処理となる。
図31のステップS401においては、個別被写体について検出された顔方向について、正面と正面以外(即ち、左又は右)の何れであるのかについて判別する。
先の第2例においては顔方向について左、右の2段階で検出するものとしていたが、この判別処理から理解されるように、第3例、第4例の構図制御を組み合わせる場合には、左、右、正面の3段階による顔方向検出を行うようにする。これは、本実施形態としては、顔方向が正面である場合において、0°,+90°、-90°以外とみなされる顔回転角度範囲が得られるものとしていることに対応している。実際との対応では、顔方向が左か右であるときに0°以外の顔回転角度が得られてもよいし、また、顔方向が上か下向きのときに±90°以外の顔回転角度が得られてもよい。しかし、ここでは本実施形態の顔回転角度に対応する構図制御について、その説明、理解を簡単で分かりやすいものとすることの都合上、顔方向が正面の場合にのみ、顔回転角度が得られるものとしている。
ステップS401において、検出された顔方向が正面以外(左又は右)であるとの判別結果が得られた場合には、ステップS402に進む。
ステップS402においては、左又は右の顔方向の検出結果に応じて、例えば図14のステップS115(図16のステップS215)として説明したのと同様の処理によって、(式1)を利用して水平オフセット量θxを設定する。
これに対してステップS401において顔方向が正面であるとの判別結果が得られた場合には、ステップS403に進む。
ステップS403以降の手順は、顔回転角度に応じて、水平オフセット量θxを設定するための処理となる。
ステップS403においては、個別被写体について検出された顔回転角度について、fang == 0°とみなされる範囲に該当するか否かを判別する。ここで、肯定の判別結果が得られた場合には、個別被写体SBJの顔は、傾くようにして回転しておらず、ほぼ正立しているとみてよい状態であることになる。この場合には、(式1)における係数Dについて、D=0として、ステップS408により、(式1)を利用した演算により水平オフセット量θxを求める.この場合、D=0なので、水平オフセット量θx=0となる。つまり、水平方向における重心Gの移動は行われず、垂直画像領域分割線Ld1上に位置することになる。
これに対して、ステップS403において、否定の判別結果が得られた場合には、ステップS405に進む。
ステップS405に進んだ場合、個別被写体について検出された顔回転角度fangは、図29の第1角度範囲又は第2角度範囲の何れかに該当するようにして含まれることになる。そこで、ステップS405では、検出された顔回転角度fangが第1角度範囲に該当するか否かについて判別する。
ステップS405にて肯定の判別結果が得られた場合には、個別被写体の顔が右側に傾くようにして回転している状態である。そこで、この場合には、ステップS406により係数D=-1を設定したうえで、ステップS408により(式1)を用いた演算により、水平オフセット量θxを求める。この場合にはθx=-Cx/6が設定されることになり、これにより、図18(b)に示したように、画枠300において垂直画像領域分割線Ld1よりも左側の領域に被写体が偏倚する構図が得られる。
これに対して、ステップS406にて否定の判別結果が得られた場合には、顔回転角度fangは、図29の第2角度範囲に該当していることになる。つまり、個別被写体の顔が左側に傾くようにして回転している状態である。
この場合には、ステップS407により係数D=1を設定したうえで、ステップS408により(式1)を用いた演算により、水平オフセット量θxを求める。この場合にはθx=Cx/6が設定されることになる。これにより、図18(b)に対して左右が反転して、画枠300において垂直画像領域分割線Ld1よりも右側の領域に被写体が偏倚する構図が得られる。
図32は、第3例の構図制御との組み合わせに対応して、図16において、ステップS222〜S224(破線で括った処理)に代えて実行すべき処理を示す。この図32の処理は、検出された個別被写体数が2以上(複数)の場合に対応して水平オフセット量θxを設定する処理となる。
ステップS501においては、元の図16のステップS222と同様に、複数の個別被写体ごとに検出された顔方向が全て同一であるか否かについて判別する。なお、ここでも、第3例の構図制御との組み合わせに対応して、検出される顔方向は、左、右、正面の三段階であることとする。
ステップS501にて肯定の判別結果が得られた場合には、ステップS502をスキップしてステップS503に進む。これに対して否定の判別結果が得られた場合には、sy502による基準顔方向決定処理を実行してからステップS503に進む。基準顔方向決定処理は、元の図16のステップS222−1と同様の処理を実行すればよい。また、基準顔方向決定処理を実行したとしても、1つの基準顔方向を決定できない場合もあると考えられるが、この場合には、例えば正面であるとの決定結果とすればよい。
ステップS503においては、ステップS501にて全て同一であるとして判別された顔方向、若しくは、ステップS502により決定された基準顔方向について、正面と正面以外(右又は左)の何れであるのかを判別する。
ここで、正面以外(右又は左)であるとして判別された場合には、ステップS504に進み、左又は右であるとして検出された顔方向に応じて、ステップS223と同様にして(式1)を利用した演算による水平オフセット量θxを算出する。
これに対して、ステップS503にて、顔方向が正面であるとの判別結果が得られた場合には、ステップS505以降の処理に進む。
ステップS505においては、複数の個別被写体ごとに検出された顔回転角度fangについて、全て同一の角度範囲に該当するものであるか否かについて判別する。ここで、肯定の判別結果が得られた場合には、ステップS506をスキップしてステップS507に進む。これに対して、ステップS505にて否定の判別結果が得られた場合には、ステップS506により基準顔回転角度rfangを決定する処理を実行してステップS507に進む。
なお、この基準顔回転角度rfangを決定する処理は、ステップS502の基準顔方向決定処理に準ずればよい。また、ここでは、基準顔回転角度決定処理としては、例えば正確な角度値を求めることとしても良いが、例えば、図29との対応であれば、0°(とみなされる角度範囲)、第1角度範囲、第2角度範囲のうちの何れに該当するものであるのかを決定することとしてもよい。
ステップS507〜S512までの処理は、ステップS507,S508にて判定対象となる顔回転角度の情報が、複数の個別被写体に対応したものであること、また、ステップS512にて算出される水平オフセット量θxが、複数の個別被写体の総合被写体重心Gtについてのものであることを除けば、図31のステップS403〜S408と同様となる。
このようにして、図16に、図31,図32に示した処理を適用することで、第2例に対して第3例を組み合わせた構図制御が実現できる。つまり、通常姿勢の個別被写体について、その顔方向と顔回転角度とに基づいた構図制御が実現できる。
[7−3.横臥姿勢に対応するアルゴリズム]
また、先の図30においてステップS301にて肯定の判別結果が得られたことに応じては、ステップS303の横臥姿勢対応処理を実行する。この横臥姿勢対応処理は、図33のフローチャートにおけるステップS607以降の手順に相当するもので、図20〜図28により説明した構図を得るための処理となる。
この図において、ステップS201〜S206は、図31,図32を適用した図16の処理におけるステップSS201〜S206と共通の処理であることを示している。図30に示すステップS203における判定処理により、通常姿勢対応処理を実行すべきと判定されたときには、図16のステップS207以降の処理を実行する。これに対して、横臥姿勢対応処理を実行すべきと判定されたときには、図33のステップS607以降の処理を実行する。
また、図33において、ステップS608〜S610,S611〜S614,S619〜S621,S630〜S632、また、モードフラグfの設定のためのステップS610,S618、S627の各処理は、図16のステップS208〜S210,S211〜S214,S219〜S221,S230〜S232,S210,S218、S227と同じとなる。
検出された個別被写体が1つの場合、この個別被写体が横臥姿勢であることに応じて、ステップ615においては、水平オフセット量θxに代えて、垂直オフセット量θyを設定することになる。第1,第2の構図制御では、顔方向に基づいた個別被写体の画像部分の重心位置を設定する基準として、垂直画像領域分割線Ld1を設定していた。これに対して、第3例、及び第4例の構図制御では、顔回転角度に基づいた個別被写体の画像部分の重心位置を設定する基準として、水平画像領域分割線Ld2を設定しているとみることができる。
ステップS616、S617によっては、ステップS6015により設定された垂直オフセット量θyに対応するy座標上に総合被写体重心Gt(被写体重心G)が位置するようにして、チルト制御を実行することになる。
図34のフローチャートは、ステップS615としての、検出された横臥姿勢の個別被写体が1つの場合における、垂直オフセット量θyを設定するためのアルゴリズム例を示している。
この場合、個別被写体は既に横臥姿勢にあることが検出されているので、検出される顔方向としては、上、下、正面の3段階における何れかとなる。
図34のステップ701においては、個別被写体について検出された顔方向について、上、下、正面の何れであるのかを判別する。
先ず、顔方向が上であるとして判別された場合には、個別被写体は、左向き又は右向きの横臥姿勢の状態で、顔方向が下向きであることになる。この場合、ステップS704により係数D1=-1を設定する。つまり、係数D1に-1を代入する。ここでの係数D1は、次に説明する垂直オフセット量θyを算出するための(式2)において用いられる係数となる。
ステップS707においては、垂直オフセット量θyを算出する。ここでは、下記の(式2)により求めるものとする。
θy=D1×(Cy/6)/n・・・(式2)
(式2)において、係数D1は、以降の説明から理解されるように、1つの個別被写体の顔方向若しくは顔回転角度、また、複数の個別被写体の顔方向の組み合わせ(関係性)、若しくは顔回転角度の組み合わせ(関係性)に基づいて得られる係数であって、+1,0,-1の何れかが設定される。また、(式2)における変数nは、検出された個別被写体数である。図34の処理では、検出された個別被写体数は1であるから、変数n=1となる。
ここで、上記のようにステップS701において顔方向が下であるとして判別され、ステップS704にてD1=-1が設定された場合には、ステップS707によっては、
θy=-1×(Cy/6)/1
の演算によって、θy=-Cy/6が算出される。そして、この垂直オフセット量θy=-Cy/6に基づいてステップS616,617によるチルト制御が行われることで、図22(b)若しくは図23(b)に示した垂直方向での被写体重心Gの位置が得られる。なお、横臥姿勢が左向きと右向きの何れであるのかに応じた水平オフセット量θxの設定と、この設定に応じたパン制御は、この場合には、ステップS629により行われる。ステップS629については後述する。
また、ステップS701にて顔方向が下向きであると判別された場合には、ステップS705により係数D1=1を設定して、ステップS707により垂直オフセット量θy=Cy/6が求められることになる。この垂直オフセット量θyに基づいたステップS616,617が実行される結果、例えば図22(a)若しくは図23(a)に示した垂直方向での被写体重心Gの位置が得られる。
また、ステップS701にて顔方向が正面であるとして判別された場合には、ステップS702に進む。
ステップS702においては、個別被写体について検出された顔回転角度fangが、+90°としてみなされる角度範囲、又は-90°としてみなされる角度範囲にあるか否かについて判別する。ここで、肯定の判別結果が得られた場合には、個別被写体は、右向き横臥姿勢又は左向き横臥姿勢の状態において、顔については、ほぼ真横で、回転させるようにして傾けてはいない状態であることになる。
この場合には、ステップS706により変数D1=0を設定して、ステップS707により垂直オフセット量θy=0を算出することになる。つまり、この場合には、被写体重心Gtを、水平画像領域分割線Ld2上に位置させることになり、例えば図20(b)若しくは図21に示した垂直方向での被写体重心Gの位置が得られる。
これに対して、ステップS702において否定の判別結果が得られた場合には、個別被写体の顔回転角度は、図29の第3角度範囲、第4角度範囲、第5角度範囲、第6角度範囲のいずれかに該当していることになる。そこで、この場合には、ステップS703に進んで、顔回転角度fangが、第3角度範囲と第5角度範囲のいずれかに該当するか否かについて判別する。第3角度範囲と第5角度範囲は、何れも、横向きの顔が、上側に傾くようにして回転した状態になる。
ステップS703にて肯定の判別結果が得られた場合には、ステップS704により係数D1=−1を設定したうえで、ステップS707により垂直オフセット量θy=-Cy/6を算出する。これにより、図24(b)若しくは図25(b)に示される垂直方向での被写体重心Gの位置が得られる。
ステップS703において否定の判別結果が得られた場合には、個別被写体の顔回転角度は、第4角度範囲又は第6角度範囲の何れかに該当していることになる。第3角度範囲と第5角度範囲は、何れも、横向きの顔が、下側に傾くようにして回転した状態になる。
そこで、この場合には、ステップS705にて係数D1=1を設定し、ステップS707により垂直オフセット量θy=Cy/6を算出する。これにより、図24(a)若しくは図25(a)に示される垂直方向での被写体重心Gの位置が得られる。
次に、図33において複数の個別被写体が検出された場合の垂直オフセット量θyを設定するための処理である、ステップS623としてのアルゴリズムを、図35のフローチャートに示す。
図35において、ステップS801〜ステップS803は、図32に示したステップS501〜S503と同様となる。但し、ステップS803においては、全て同一とされた顔方向、若しくはステップS502により決定された基準顔方向について、上、下、正面の何れであるのかについて判別することとしている。
そして、顔方向(基準顔方向)が上であるとして判別した場合には、ステップS808に進んで係数D1=-1を設定したうえで、ステップS811により、先の(式2)を利用した演算により垂直オフセット量θyを求める。この場合の垂直オフセット量θyは、負の値とされた上で、検出された個別被写体数nに応じて変化する。つまり、θy=-(Cy/6)/2として表される値をとる。
また、ステップS803において、顔方向(基準顔方向)が下であると判別した場合には、ステップS809にて係数D1=1を設定して、個別被写体数nに応じた、垂直オフセット量θy=(Cy/6)/2で表される値を求めることになる。例えば、このステップS803からステップS809に至る処理によって、図27(a)や図28(a)に示した垂直方向における総合被写体重心Gtの位置が得られる。
次に、ステップS803において顔方向(基準顔方向)が正面であるとして判別された場合には、ステップS804に進む。
ステップS804においては、個別被写体ごとの顔回転角度fangが該当する角度範囲が、全て同一であるか否かについてについて判別する。この場合、個別被写体は、横臥姿勢であることが既に判定されている。従って、ここでの角度範囲は、図29との対応では、+90°とみなされる角度範囲、-90°とみなされる角度範囲、角度範囲3、角度範囲4、角度範囲5、角度範囲6の6つのうちの何れかとなる。一例として、全ての個別被写体の顔回転角度が、角度範囲3に該当するのであれば、ステップS804にて肯定の判別結果が得られる。
ステップS804にて肯定の判別結果が得られた場合には、ステップS805をスキップしてステップS806に進む。これに対して、ステップS804にて否定の判別結果が得られたのであれば,ステップS805により基準顔回転角度rfangを決定する処理を実行してからステップS806に進む。ステップS805の基準顔回転角度決定処理についても、図32のステップS507と同様に、元の図16のステップS222−1に準じた処理とすればよい。
ただし、ステップS703においては+90°とみなされる角度範囲、角度範囲3、角度範囲4、-90°とみなされる角度範囲、角度範囲5、角度範囲6のうちの何れかとしての基準顔回転角度rfangを決定すべきことになる。ステップS507では、基準顔回転角度rfangとして、0°とみなされる角度範囲、角度範囲1、角度範囲2のうちの何れかにより決定する。
ステップS806においては、ステップS804にて同一と判定された顔回転角度fang、若しくはステップS805において決定された基準顔回転角度rfangが、+90°若しくは-90°の何れかに該当するか否かについて判別する。
ステップS806にて肯定の判別結果が得られた場合には、複数の個別被写体の顔は、ほぼ真横とされて、上又は下方向に傾いているようにして回転してはいない傾向の状態であることになる。
そこで、この場合には、ステップS810により係数D1=0を設定したうえで、ステップS811により垂直オフセット量θy=0を算出する。これにより、例えば、図26(a)(b)に示した垂直方向における総合被写体重心Gtの位置が得られる。
ステップS806にて否定の判別結果が得られた場合、個別被写体の顔は、上又は下方向に傾いているようにして回転している傾向の状態であることになる。つまり、顔回転角度fang若しくは基準顔回転角度rfangとしては、図29の第3〜第6角度範囲のいずれかに該当している状態である。
そこで、この場合にはステップS807により、図34のステップS703と同様にして、顔回転角度fang(基準顔回転角度rfang)が、第3角度範囲と第5角度範囲のいずれかに該当するか否かについて判別し、肯定の判別結果が得られたのであれば、ステップS808により係数D1 = -1を設定する。
また、ステップS807にて否定の判別結果が得られた場合には、個別被写体の顔回転角度(又は基準顔回転角度)は、第4角度範囲又は第6角度範囲の何れかに該当していることになる。そこで、この場合には、ステップS809により係数D1=1を設定する。
これにより、例えば図27(b)や図28(b)に示すような垂直方向における総合被写体重心Gtの位置が得られる。
図36のフローチャートは、図33におけるステップS629としての水平オフセット対応パン制御における、水平オフセット量θxの設定処理例を示している。
ここでは、先ず、ステップS901により、顔回転角度fangについて、+90°±a°の範囲に該当するか否かについて判別する。つまり、+90°とみなされる角度範囲、角度範囲3、角度範囲4の何れかに該当するか否かについて判別する。これは、即ち、個別被写体が右向きの横臥姿勢であるか否かについて判別していることに相当する。
なお、個別被写体が複数の場合には、複数の個別被写体について同一であると判定された顔回転角度fang、若しくは図35のステップS805にて判定された基準顔回転角度rfangによりステップS901での判別を行う。
ステップS901において肯定の判別結果が得られた場合には、例えばこれまでの説明に対応した最も単純な処理として、ステップS902により、水平オフセット量θx=Cx/6を設定する。
これに対して、ステップS901において肯定の判別結果が得られた場合には、顔回転角度fang(又は基準顔回転角度rfang)は、図29において-90°とみなされる角度、角度範囲5、角度範囲6の何れかに該当しており、従って、個別被写体が左向きの横臥姿勢であることになる。
そこで、この場合には、ステップS903により、水平オフセット量θx=-Cx/6を設定する。
そして、ステップS629では、総合被写体重心Gtが、上記のようにして設定した水平オフセット量θxに対応するX座標に位置するようにしてパン制御を実行する。これにより、例えば図26(a)(b)などに示すように、個別被写体の横臥姿勢が左向きと右向きの何れであるのかに応じて、水平方向における総合被写体重心Gtの位置が適切に移動されることになる。
なお、これまでの説明では、先ず、通常姿勢時においては、顔回転角度については、0°(基準)とみなされる角度範囲、角度範囲1、角度範囲2の3段階に応じて構図が変更される制御となっている。しかし、例えば0°(とみなされる角度範囲)、角度範囲1、角度範囲2から成る角度範囲全体をさらに多段階に分割して、顔回転角度(範囲)の検出を行い、このようにして検出された顔回転角度(範囲)の段階に応じて、さらに細かく垂直オフセット量θyを可変するアルゴリズムとすることが考えられる。
また、横臥姿勢時も同様にして、左向き横臥に対応しては、-90°±a°の範囲を、-90°、回転角度範囲5、回転角度範囲6の3段階よりもさらに多段階で検出する。また、右向き横臥に対応しても、+90°±a°の範囲を、+90°(とみなされる角度範囲)、回転角度範囲3、回転角度範囲4の3段階よりもさらに多段階で検出する。そして、この検出結果に基づいて、さらに細かく垂直オフセット量θyを可変するように構成することが考えられる。
また、上記第3例、第4例の構図制御では、回転角度を検出する個別被写体の対象部位を人物の顔としているが、人物の顔以外の何らかの特定の対象部位の回転角度を検出して、例えば第3例、第4例に倣った構図制御を行う構成も考えられる。
<8.セルフタイマ自動起動機能>
次に、これまでに説明した顔回転角度に基づく構図制御の構成を、セルフタイマ自動起動機能に適用した例について説明する。なお、このセルフタイマ自動起動機能を適用するのに際しては、必ずしも、本実施形態の撮像システムのようにして、デジタルスチルカメラと雲台とが組み合わされる必要はない。例えばデジタルスチルカメラ1のみで対応できる。
ここでのセルフタイマ自動起動機能とは、次のようなものとなる。
例えばユーザは、デジタルスチルカメラ1に対する操作によって、セルフタイマ自動起動機能をオンに設定することができる。
セルフタイマ自動起動機能がオンに設定されると、デジタルスチルカメラ1は、例えば撮像により得られる画像の画枠300において、図37(a)に示すようにして、セルフタイマ起動範囲200を設定する。
このセルフタイマ起動範囲200は、画枠300よりも小さい、所定の形状サイズによる枠として設定される。
この場合のセルフタイマ起動範囲20は、先ず、図37(a)において水平方向に対応する水平方向幅Wxについては、その左右において、画枠300に対して画素数b分のマージン(不感領域)が設定されている。つまり、画枠300の水平画素数をCxとすると、Wx=Cx-2bであり、かつ、Wxの中点が、Cxの中点と一致するようにされている。
また、図37(a)において垂直方向に対応する垂直方向幅Wyについても、その上下において、画枠300に対して画素数a分のマージン(不感領域)が設定されている。この場合、画枠300の垂直画素数をCyとすると、Wy=Cy-2bとされたうえで、Wyの中点が、Cxの中点と一致するようにされている。
また、セルフタイマ自動起動機能としては、セルフタイマを自動起動させる条件として、セルフタイマ起動範囲200にて検出される個別被写体数をユーザ操作によって設定できるようになっている。ここでは、上記の個別被写体数を2に設定したとする。
このようにしてセルフタイマ自動起動機能をオンに設定した操作を行って、例えばユーザは、デジタルスチルカメラ1をしかるべき位置に置くようにする。この後、被写体としてセルフタイマで撮影されようとする人は、例えば、デジタルスチルカメラ1の撮像視野範囲に収まるようにして動いたりすることになる。
このとき、例えば画枠300内に2つの個別被写体SBJ0,SBJ1が収まっているとしても、このうちの少なくとも何れか一方がセルフタイマ起動範囲200内に収まっていなければ、セルフタイマ撮影の動作は起動しないで待機している。
そして、例えば図37(a)に示すようにして、セルフタイマ起動範囲200において2つの個別被写体が検出されたとする。これをトリガとして、デジタルスチルカメラは、セルフタイマを起動させる。そして、予め設定したセルフタイマとしての待ち時間が経過したタイミングで、そのときに撮影されている撮像画像を記録する。
このようにして、セルフタイマ自動起動機能では、必要な数の被写体が、必ず画枠内に収まっている画内容の撮像画像データを記録することができる。
ここで、上記図37(a)に示される状態は、デジタルスチルカメラ1が、通常に、撮像画像に対して画枠300の短手方向が縦(垂直)になる状態に対応するようにして置かれている状態に対応する。つまり、いわゆる横置きといわれる状態でデジタルスチルカメラ1が置かれている状態である。
これに対して、例えばユーザが、セルフタイマ自動起動機能をオンにしてデジタルスチルカメラを置く際に、上記の横置きではなく、縦置きの状態にしたとする。つまり、図37(b)に示すようにして、撮像画像に対して画枠300の短手方向が横(水平)になる状態でデジタルスチルカメラ1を置いたとする。
このようにして、デジタルスチルカメラ1を縦置きにした状態では、当然のこととして、セルフタイマ起動範囲200の短手方向に対応する垂直方向幅Wyも水平方向に沿うことになる。
すると、図37(b)の状態では、水平方向におけるセルフタイマ起動範囲200の幅が狭くなり、それだけ、被写体がセルフタイマ起動範囲200に収まりにくくなる。
そこで、本実施形態では、デジタルスチルカメラ1が縦置きの状態でセルフタイマ自動起動機能がオンとされたときには、同じ図37(b)に示すようにして、垂直方向幅Wyに対応する方向の不感領域について、画素数aよりも少ない画素数cに対応した幅に変更設定する。つまり、垂直方向幅Wyを拡大する。これにより、被写体となる人は、セルフタイマ起動範囲200の水平方向において、より収まりやすくなる。
図38は、上記図37のようにして、デジタルスチルカメラ1の置かれた向きに応じて、セルフタイマ起動範囲200の垂直方向幅Wyを変更設定するためのアルゴリズム例を示している。
先ず、ステップS1001において、デジタルスチルカメラ1は、画枠300において、予め設定したセルフタイマ起動条件を満たす数の個別被写体が検出されるのを待機している。
ステップS1001において必要数の個別被写体が検出されたとすると、ステップS1002により、図30のステップS301と同様に、個別被写体について検出された顔回転角度fangについて、fang == +90°±a°と、fang == -90°±a°のいずれかの範囲に該当するか否かについて判別する。これは、図30のステップS301においては、検出される個別被写体が、横臥姿勢であるか否かについての判別に相当するものであった。
このセルフタイマ自動起動機能に関しては、デジタルスチルカメラ1は、図37(a)に示すようにして撮像画像の画枠300の短手方向が縦(垂直)となる状態が正規であるとして認識するようにされている。従って、ステップS301は、被写体としての人が通常姿勢であることを前提にすれば、デジタルスチルカメラ1自体が、図37(b)に対応する縦置きの状態であるのか否かについて判別していることになる。
ステップS1002にて否定の判別結果が得られた場合には、デジタルスチルカメラ1は通常の横置きの状態であることになる。そこで、この場合にはステップS1003に進んで、セルフタイマ起動範囲200の垂直方向幅Wyについて、図37(a)にて説明したように、Wy=Cy-2aに設定する。
これに対して、ステップS1003にて肯定の判別結果が得られた場合には、デジタルスチルカメラ1は縦置きの状態であることになる。そこで、この場合にはステップS1004により、セルフタイマ起動範囲200の垂直方向幅Wyについて、図37(b)にて説明したように、Wy=Cy-2cに設定して、垂直方向幅Wyを拡大する。
上記ステップS1003、又はステップS1004による垂直方向幅Wyの設定の後は、ステップS1005により、ステップS1001にて検出されている必要数の個別被写体の全てが、セルフタイマ起動範囲200内に位置している状態であるか否かについて判別する。
ステップS1005にて否定の判別結果が得られた場合には、ステップS1001に戻る。
そして、或る時点で、必要数の個別被写体の全てがセルフタイマ起動範囲200内に位置した状態となると、ステップS1005にて肯定の判別結果が得られることとなって、ステップS1006に進む。
ステップS1006では、セルフタイマ撮影の動作を起動させる。つまり、タイマによる計時を開始させ、タイマ時間が経過したタイミングで撮像画像の記録を実行する。
なお、この本実施形態としてのセルフタイマ自動起動機能では、先の第1例〜第4例の構図制御のようにして、画枠内における個別被写体の位置を移動させるという積極的な構図制御は行っていない。
しかし、例えば図37(b)のようにして垂直方向幅Wyを拡大するという変更設定を行う結果、セルフタイマ撮影により記録される撮像画像データにおける個別被写体の位置は、垂直方向幅Wyを拡大しない場合とは変わり得る。例えば、分かりやすい例では、個別被写体が複数のとき、水平方向における個別被写体の位置としては、垂直方向幅Wyが拡大されなければ、水平方向における被写体の間の距離が短くなり、画枠のかなり中央側に全ての個別被写体が収まるような構図となる。
これに対して、垂直方向幅Wyが拡大されれば、その分、水平方向における全ての個別被写体が収まる範囲も拡大して、水平方向における被写体の間の距離が長くなって余裕のある構図となる。
つまり、本実施形態としてのセルフタイマ自動起動機能は、個別被写体について検出された顔回転角度に応じて垂直方向幅Wyを拡大するという処理によって、結果的には、垂直方向幅Wyを拡大しない場合とは異なる構図を得ることができる。この点で、セルフタイマ自動起動機能も、先の第3例、第4例の構図制御と同様にして、個別被写体の顔回転角度に応じて構図を判定しているということがいえる。
<9.本実施形態の撮像システムの変形例>
図39は、先に図7,図8に示した本実施の形態の撮像システムに対する変形例としての構成例を示している。これは、先に説明した第1例〜第4例の構図制御を実現する構成についての変形例となる。
この図では、先ず、デジタルスチルカメラ1から通信制御処理ブロック63を経由して、撮像に基づいて信号処理部24にて生成される撮像画像データを、雲台10に対して送信するようにされている。
この図においては、雲台10の構成として通信制御処理ブロック71、パン・チルト制御処理ブロック72、被写体検出処理ブロック73、及び構図制御処理ブロック74が示されている。
通信制御処理ブロック71は、図7の通信部52に対応する機能部位であって、デジタルスチルカメラ1側の通信制御処理ブロック部63(雲台対応通信部34)との通信処理を所定のプロトコルに従って実行するようにして構成される部位である。
通信制御処理ブロック71により受信された撮像画像データは、被写体検出処理ブロック73に渡される。この被写体検出ブロッ73は、例えば図8に示した被写体検出処理ブロック61と同等の被写体検出処理が少なくとも可能なだけの信号処理部を備えて構成され、取り込んだ撮像画像データを対象として被写体検出処理を実行し、その検出情報を構図制御処理ブロック74に出力する。
構図制御処理ブロック74は、図8の構図制御処理ブロック62と同等の構図制御を実行可能とされており、この構図制御処理の結果としてパン制御、チルト制御を行うときには、そのための制御信号をパン・チルト制御処理ブロック72に対して出力する。
パン・チルト制御処理ブロック72は、例えば図7における制御部51が実行する制御処理のうちで、パン・チルト制御に関する処理の実行機能に対応するもので、入力される制御信号に応じてパン機構部53、チルト機構部56の動きをコントロールするための信号をパン用駆動部55、チルト用駆動部58に対して出力する。これにより、構図制御処理ブロック62にて判定した構図が得られるようにしてパンニング、チルティングが行われる。
このようにして、図39に示す撮像システムは、デジタルスチルカメラ1から雲台10に撮像画像データを送信させることとして、雲台10側により、取り込んだ撮像画像データに基づく被写体検出処理と構図制御とを実行するようにして構成しているものである。
図40は、本実施の形態の撮像システムについての他の変形例としての構成例を示している。なお、この図において、図39と同一部分には同一符号を付して説明を省略する。
このシステムにおいては、雲台10側において撮像部75が備えられる。この撮像部75は、例えば撮像のための光学系と撮像素子(イメージャ)を備えて、撮像光に基づいた信号(撮像信号)を得るようにされているとともに、この撮像信号から撮像画像データを生成するための信号処理部から成る。これは、例えば図6に示した光学系部21、イメージセンサ22、A/Dコンバータ23、及び信号処理部24において撮像画像データを得るまでの信号処理段から成る部位に対応する構成となる。撮像部75により生成される撮像画像データは被写体検出処理ブロック73に出力される。なお、撮像部75が撮像光を取り込む方向(撮像方向)は、例えば雲台10に載置されるデジタルスチルカメラ1の光学系部21(レンズ部3)の撮像方向とできるだけ一致するようにして設定される。
この場合の被写体検出処理ブロック73及び構図制御処理ブロック74は、上記図39と同様にして被写体検出処理、構図制御処理を実行する。但し、この場合の構図制御処理ブロック74は、パン・チルト制御に加えて、レリーズ動作を実行させるタイミングに対応してはレリーズ指示信号を、通信制御処理ブロック71からデジタルスチルカメラ1に対して送信させる。デジタルスチルカメラ1では、レリーズ指示信号が受信されることに応じてレリーズ動作を実行するようにされる。
このようにして他の変形例では、被写体検出処理と構図制御に関して、レリーズ動作自体に関する以外の全ての制御・処理を雲台10側で完結して行うことができる。
また、先に説明した第1例〜第4例の構図制御において実行されるパン制御、チルト制御は、雲台10のパン・チルト機構の動きを制御することにより行うこととしているが、雲台10に代えて、例えば、デジタルスチルカメラ1のレンズ部3に対しては、反射鏡により反射された撮像光が入射されるようにしたうえで、撮像光に基づいて得られる画像についてパンニング・チルティングされた結果が得られるようにして上記反射光を動かす構成を採用することも考えられる。
また、デジタルスチルカメラ1のイメージセンサ22から画像として有効な撮像信号を取り込むための画素領域を水平方向と垂直方向にシフトさせるという制御を行うことによっても、パンニング・チルティングが行われるのと同等の結果を得ることができる。この場合には、雲台10若しくはこれに準ずる、デジタルスチルカメラ1以外のパン・チルトのための装置部を用意する必要が無く、デジタルスチルカメラ1単体により本実施の形態としての構図制御を完結させることが可能となる。
また、光学系部21におけるレンズの光軸を水平・垂直方向に変更することのできる機構を備えて、この機構の動きを制御するように構成しても、パンニング・チルティングを行うことが可能である。
<10.本実施形態の構図制御の適用例>
また、本願発明に基づく構図判定のための構成は、これまでに実施の形態として説明してきた撮像システム以外にも適用することができる。そこで以降、本願発明による構図判定の適用例について述べる。
先ず、図41は、本願発明による構図判定を、デジタルスチルカメラなどの撮像装置単体に対して適用したもので、例えば撮像モード時において撮像装置により撮像している画像が適正な構図になったときに、このことを表示によってユーザに通知しようとするものである。
このために撮像装置が備えるべき構成として、ここでは被写体検出・構図判定処理ブロック81、通知制御処理ブロック82、表示部83を示している。
被写体検出・構図判定処理ブロック81は、撮像画像データを取り込んで、例えば図8の被写体検出処理ブロック61と同等の被写体検出処理と、この被写体検出処理の結果としての検出情報を利用して、例えば図8の構図制御処理ブロックと同等の構図判定のための処理とを行うようにされた部位である。
例えばユーザは、撮像装置を撮像モードに設定したうえで、撮像装置を手に持っており、いつでもレリーズ操作(シャッターボタン操作)を行えば撮像画像の記録が行える状況にあるものとする。
このような状態の下、被写体検出・構図判定処理ブロック81では、そのときに撮像して得られる撮像画像データを取り込んで被写体検出を行う。すると構図制御処理によっては、先ず、検出された個別被写体の数等に応じて最適構図がどのようなものであるのかが特定されることになるが、この場合の構図判定処理としては、そのときに得られている撮像画像データの画内容の構図と、最適構図との一致性、類似度を求めるようにされる。そして、例えば類似度が一定以上になったときに、実際に撮影して得られている撮像画像データの画内容が最適構図になったと判定するようにされる。なお、例えば実際においては、撮像画像データの画内容の構図と最適構図とが一致したとみなされる程度の、所定以上の類似度が得られたら、最適構図と判断するようにしてアルゴリズムを構成することが考えられる。また、ここでの一致性、類似度をどのようにして求めるのかについては多様なアルゴリズムを考えることができるので、ここでは、その具体例については特に言及しない。
このようにして撮像画像データの画面内容が最適構図になったことの判定結果の情報は通知制御処理ブロック82に対して出力される。通知制御処理ブロック82は、上記の情報の入力に応じて、現在において撮像されている画像が最適構図であることをユーザに通知するための所定態様による表示が表示部83にて行われるように表示制御を実行する。なお、通知制御処理ブロック82は、撮像装置が備えるマイクロコンピュータ(CPU)などによる表示制御機能と、表示部83に対する画像表示を実現するための表示用画像処理機能などにより実現される。なお、ここでの最適構図であることのユーザへの通知は、電子音、若しくは合成音声などをはじめとした音により行われるように構成してもよい。
また、表示部83は、例えば本実施の形態のデジタルスチルカメラ1の表示部33に対応するもので、例えば撮像装置における所定位置に対してそのディスプレイパネルが表出するようにして設けられ、撮影モード時にはいわゆるスルー画といわれる、そのときに撮像されている画像が表示されることが一般的である。従って、この撮像装置の実際にあっては、表示部83において、スルー画に対して重畳される態様で最適構図であることを通知する内容の画像が表示されることになる。ユーザは、この最適構図であることを通知する表示が現れたときにレリーズ操作を行うようにされる。これにより、写真撮影の知識や技術に長けていないようなユーザであっても、良好な構図の写真撮影を簡単に行うことが可能になる。
また、図42も、上記図41と同様にデジタルスチルカメラなどの撮像装置単体に対して本願発明による構図判定を適用したものとなる。
先ず、この図に示す構成においては、図41と同様に、被写体検出・構図判定処理ブロック81により、そのときの撮像により得られる撮像画像データを取り込んで被写体検出処理を行うとともに、被写体検出情報に基づいて、上記の撮像画像データの画内容が最適構図であるか否かを判定するようにされる。そして、最適構図になったことを判定すると、このことをレリーズ制御処理ブロック84に対して通知する。
レリーズ制御処理ブロック84は、撮像画像データを記録するための制御を実行する部位とされ、例えば撮像装置が備えるマイクロコンピュータが実行する制御などにより実現される。上記の通知を受けたレリーズ制御処理ブロック84は、そのときに得られている撮像画像データが、例えば記憶媒体に記憶されるようにして画像信号処理、記録制御処理を実行する。
このような構成であれば、例えば最適な構図の画像が撮像されたときには、自動的にその撮像画像の記録が行われるようにした撮像装置を得ることができる。
なお、上記図41及び図42の構成は、例えばスチルカメラの範疇であれば、例えばデジタルスチルカメラに適用できるほか、銀塩フィルムなどに撮像画像を記録するいわゆる銀塩カメラといわれるものにも、例えば光学系により得られた撮像光を分光して取り入れるイメージセンサと、このイメージセンサからの信号を入力して処理するデジタル画像信号処理部などを設けることで適用が可能である。
また、図43は、既に存在する画像データに対して画像編集を行う編集装置に本願発明を適用した例である。
この図においては編集装置90が示されている。ここでの編集装置90は、既に存在する画像データとして、例えば記憶媒体に記憶されていたものを再生して得た画像データ(再生画像データ)を得るようにされている。なお、記憶媒体から再生したものの他に、例えばネットワーク経由でダウンロードしたものを取り込んでもよい。即ち、編集装置90が取り込むべき撮像画像データをどのような経路で取得するのかについては、特に限定されるべきものではない。
編集装置90が取り込んだとされる再生撮像画像データは、トリミング処理ブロック91と被写体検出・構図判定処理ブロック92のそれぞれに対して入力される。
先ず、被写体検出・構図判定処理ブロック92は、例えば先ず、図41、図42と同様の被写体検出処理を実行して検出情報を出力する。そして、この検出情報を利用した構図判定処理として、この場合には、入力される再生撮像画像データとしての全画面において、最適構図が得られるとされる所定の縦横比による画像部分(最適構図の画像部分)がどこであるのかを特定する。そして、最適構図の画像部分が特定されると、例えばその画像部分の位置を示す情報(トリミング指示情報)をトリミング処理ブロック91に対して出力する。
トリミング処理ブロック91は、上記のようにしてトリミング指示情報が入力されたことに応答して、入力される再生撮像画像データから、トリミング指示情報が示す画像部分を抜き出すための画像処理を実行し、抜き出した画像部分を1つの独立した画像データとして出力する。これが編集撮像画像データとなる。
このような構成であれば、例えば画像データの編集処理として、元々ある画像データの画内容から最適構造となる部分を抜き出した内容の画像データを新規に得るというトリミングが自動的に行われることになる。このような編集機能は、例えばパーソナルコンピュータなどにインストールされる画像データ編集のためのアプリケーションであるとか、画像データを管理するアプリケーションにおける画像編集機能などで採用することが考えられる。
図44は、本願発明の構図判定をデジタルスチルカメラなどの撮像装置に適用した構成の一例である。
ここでは図示していない撮像部により撮像して得られる撮像画像データは、撮像装置100内の被写体検出・構図判定処理ブロック101、ファイル作成処理ブロック103に対して入力することとしている。なお、この場合において、撮像装置100内に入力された撮像画像データは、例えばレリーズ操作などに応じて記憶媒体に記憶されるべきこととなった撮像画像データであり、ここでは図示していない、撮像部での撮像により得られた撮像信号を基に生成されたものである。
先ず被写体検出・構図判定処理ブロック101では、入力された撮像画像データを対象に被写体検出を行い、その検出情報に基づいて最適構図がどのようなものであるのかを判定するようにされる。具体的には、例えば図43の場合と同様にして、入力された撮像画像データの全画面において最適構図となる画像部分を特定した情報が得られるようにされればよい。そして、このようにして得た最適構図についての判定結果を表す情報を、メタデータ作成処理ブロック102に対して出力する。
メタデータ作成処理ブロック102では、入力された情報に基づいて、対応する撮像画像データから最適構図を得るために必要な情報から成るメタデータ(構図編集メタデータ)を作成し、ファイル作成処理ブロック103に対して出力する。この構図編集メタデータの内容としては、例えば、対応する撮像画像データとしての画面においてトリミングする画像領域部分がどこであるのかを示し得る位置情報などとなる。
この図に示す撮像装置100では、撮像画像データについて、所定形式による静止画像ファイルとして管理されるようにして記憶媒体に記録するものとされる。これに対応して、ファイル作成処理ブロック103は、撮像画像データを、静止画像ファイル形式に変換(作成)する。
ファイル作成処理ブロック103は、先ず、入力される撮像画像データについて、画像ファイル形式に対応した画像圧縮符号化を行い、撮像画像データから成るファイル本体部分を作成する。これとともに、メタデータ作成処理ブロック102から入力された構図編集メタデータを、所定の格納位置に対して格納するようにしてヘッダ及び付加情報ブロックなどのデータ部分を作成する。そして、これらファイル本体部分、ヘッダ、付加情報ブロックなどから静止画像ファイルを作成し、これを出力する。これにより、図示するようにして、記憶媒体に記録すべき静止画像ファイルとしては、撮像画像データとともにメタデータ(構図編集メタデータ)が含まれる構造を有したものが得られることになる。
図45は、上記図44の装置により作成された静止画像ファイルについて編集を行う編集装置の構成例を示している。
図に示す編集装置110は、静止画像ファイルのデータを取り込んで、先ずメタデータ分離処理ブロック111に入力する。メタデータ分離処理ブロック111は、静止画像ファイルのデータから、ファイル本体部分に相当する撮像画像データとメタデータとを分離する。分離して得られたメタデータについてはメタデータ解析処理ブロック112に対して出力し、撮像画像データについてはトリミング処理ブロック113に対して出力する。
メタデータ解析処理ブロック112は、取り込んだメタデータを解析する処理を実行する部位とされる。そして、解析処理として、構図編集メタデータについては、その内容である最適構図を得るための情報から、すくなくとも、対応の撮像画像データを対象としてトリミングを行う画像領域を特定する。そして、この特定された画像領域のトリミングを指示するトリミング指示情報をトリミング処理ブロック113に対して出力する。
トリミング処理ブロック113は、先の図43のトリミング処理ブロック91と同様に、メタデータ解析処理ブロック111側から入力した撮像画像データから、上記メタデータ分離処理ブロック112から入力されるトリミング指示情報が示す画像部分を抜き出すための画像処理を実行し、抜き出した画像部分を1つの独立した画像データである、編集撮像画像データとして出力する。
上記図44、図45に示される撮像装置と編集装置から成るシステムによれば、例えば撮影などにより得たオリジナルの静止画像データ(撮像画像データ)はそのまま無加工で保存しておけるようにしたうえで、このオリジナル静止画像データからメタデータを利用して、最適構図となる画像を抜き出す編集が行えることになる。また、このような最適構図に対応した抜き出し画像部分の決定は、自動的に行われるものとなる。
図46は、ビデオカメラなどとしての動画像の撮影記録が可能な撮像装置に本願発明を適用した例である。
この図に示す撮像装置120には、動画像データが入力される。この動画像データは、例えば同じ撮像装置120が有するとされる撮像部により撮像を行って得られる撮像信号に基づいて生成されるものである。この動画像データは、撮像装置120における被写体検出・構図判定処理ブロック122、及び動画像記録処理ブロック124に対して入力される。
この場合の被写体検出・構図判定処理ブロック122は、入力されてくる動画像データについての構図の良否判定を行う。例えば、被写体検出・構図判定処理ブロック122では、予め良好とされる構図がどのようなものであるのかについてのパラメータ(良好構図対応パラメータ)を保持している。このパラメータとしては、検出される個別被写体数と、個別被写体ごとに検出して得た顔方向の情報に応じて適切であるとして設定された目標被写体サイズや水平オフセット量θxなどとなる、そして、被写体検出・構図判定処理ブロック122は、入力されてくる動画像データについて、例えば継続的にどのような構図となっているかについての構図判定を行う(例えば動画像データにおける実際の個別被写体の占有率、被写体間距離Kなどの構図パラメータを求める)と共に、この判定結果として得られた動画像データの構図パラメータと、上記の良好構図パラメータとを比較する。そして、動画像データの構図パラメータが良好構図対応パラメータに対して一定以上の類似度を有していれば良好な構図であると判定され、上記類似度が一定以下であれば、良好な構図ではないと判定される。
被写体検出・構図判定処理ブロック122は、上記のようにして動画像データについて良好な構図が得られていると判定したときには、メタデータ作成処理ブロック123に対して、動画像データにおいて、今回、上記の良好な構図が得られていると判定した画像区間(良好構図画像区間)がどこであるのかを示す情報(良好構図画像区間指示情報)を出力する。良好構図画像区間指示情報)は、例えば動画像データにおける良好構図画像区間としての開始位置と終了位置を示す情報などとされる。
この場合のメタデータ作成処理ブロック123は、次に説明する動画像記録処理ブロック124により記憶媒体にファイルとして記録される動画像データについての、各種所要のメタデータを生成するものとされる。そのうえで、上記のようにして被写体検出・構図判定処理ブロック122から良好構図画像区間指示情報を入力した場合には、入力された良好構図画像区間指示情報が示す画像区間が良好な構図であることを示すメタデータを生成し、動画像記録処理ブロック124に対して出力する。
動画像記録処理ブロック124は、入力された動画像データについて、所定形式による動画像ファイルとして管理されるようにして記憶媒体に記録するための制御を実行する。そして、メタデータ作成処理ブロック123からメタデータが出力されてきた場合には、このメタデータが、動画像ファイルに付随するメタデータに含められるようにして記録されるようにするための制御を実行する。
これにより、図示するようにして、記憶媒体に記録される動画像ファイルは、撮像により得られたとする動画像データに、良好な構図が得られている画像区間を示すメタデータが付随された内容を有することになる。
なお、上記のようにしてメタデータにより示される、良好な構図が得られている画像区間は、或る程度の時間幅を有する動画像による画像区間とされてもよいし、動画像データから抜き出した静止画像によるものとされてもよい。また、上記のメタデータに代えて、良好な構図が得られている画像区間の動画像データ若しくは静止画像データを生成して、これを動画像ファイルに付随する副次的な画像データ静止画像データ(或いは動画像ファイルと独立したファイル)として記録する構成も考えられる。
また、図46に示されるようにして、撮像装置120に対して被写体検出・構図判定処理ブロック122を備える構成では、被写体検出・構図判定処理ブロック122により良好構図画像区間であると判定された動画像の区間のみを動画像ファイルとして記録するように構成することも考えられる。さらには、被写体検出・構図判定処理ブロック122により良好構図であると判定された画像区間に対応する画像データを、データインターフェースなどを経由して外部機器に出力するような構成も考えることができる。
図47は、印刷を行う印刷装置に本願発明を適用した例である。
この場合には、印刷装置130が、印刷すべき画像内容を有する画像データ(静止画)を取り込むこととされており、このようにして取り込んだデータは、トリミング処理ブロック131、及び被写体検出・構図判定処理ブロック132に対して入力される。
先ず、被写体検出・構図判定処理ブロック132は、図43の被写体検出・構図判定処理ブロック92と同様の被写体検出処理・構図判定処理を実行することで、入力される画像データの全画面における最適構図の画像部分を特定する処理を実行し、この処理結果に応じた内容のトリミング指示情報を生成してトリミング処理ブロック131に対して出力する。
トリミング処理ブロック131は、図43のトリミング処理ブロック91と同様にして、入力した画像データから、トリミング指示情報が示す画像部分を抜き出すための画像処理を実行する。そして、この抜き出した画像部分のデータを、印刷用画像データとして印刷制御処理ブロック133に対して出力する。
印刷制御処理ブロック133は、入力された印刷用画像データを利用して、ここでは図示していない印刷機構を動作させるための制御を実行する。
このような動作により、印刷装置130によっては、入力した画像データの画内容から、最適構図が得られているとされる画像部分が自動的に抜き出されて、1枚の画として印刷されることになる。
図48に示される例は、例えば静止画像ファイルを多数記憶し、これらの静止画像ファイルを利用したサービスを提供するための装置、システムに適用して好適である。
記憶部141には、多数の静止画像ファイルが記憶される。
被写体検出・構図判定処理ブロック142は、所定のタイミングで、記憶部141に記憶されている静止画ファイルを取り込み、そのファイル本体部に格納される静止画像データを取り出す。そして、この静止画像データを対象として、例えば図44の被写体検出・構図判定処理ブロック101と同様の処理を実行して最適構図についての判定結果を表す情報を得て、この情報をメタデータ作成処理ブロック143に対して出力する。
メタデータ作成処理ブロック143は、入力された情報に基づいて、先の図44のメタデータ作成処理ブロック102と同様に、メタデータ(構図編集メタデータ)を作成する。その上で、この場合には、作成したメタデータを、記憶部141に記憶されるメタデータテーブルに登録する。このメタデータテーブルは、同じ記憶部141に記憶される静止画像データとの対応関係が示されるようにしてメタデータを格納して成る情報単位とされる。つまり、メタデータテーブルによっては、メタデータ(構図編集メタデータ)と、このメタデータを作成するために被写体検出・構図判定処理ブロック142により被写体検出処理及び構図判定処理の対象となった静止画像ファイルとの対応が示される。
そして、例えば外部からの静止画ファイルの要求に応じて、記憶部141に記憶されている静止画像ファイルを出力する(例えばサーバであれば、クライアントからのダウンロード要求に応じて静止画像ファイルをダウンロードする場合などとなる)際には、静止画ファイル出力処理ブロック144が、記憶部141から要求された静止画像ファイルを検索して取り込むとともに、この検索した静止画ファイルに対応するメタデータ(構図編集メタデータ)も、メタデータテーブルから検索して取り込むようにされる。
そして、この静止画像ファイル出力処理ブロック144は、例えば図45に示したメタデータ解析処理ブロック112、及びトリミング処理ブロック113に相当する機能ブロックを少なくとも有して成る。
静止画像ファイル出力処理ブロック144においては、内部のメタデータ解析処理ブロックにより、取り込んだメタデータを解析してトリミング指示情報を得る。そして、同じ内部のトリミング処理ブロックにより、取り込んだ静止画像ファイルに格納される静止画像データを対象として、上記トリミング指示情報に応じたトリミングを実行する。そして、トリミングにより得られた画像部分を改めて1つの静止画像データとして生成し、これを出力する。
上記図48のシステム構成は、多様なサービスへの適用を考えることができる。
例えば、1つにはネットワーク経由での写真のプリントサービスに適用できる。つまり、ユーザは、プリントサービスのサーバに、プリント(印刷)してもらいたい画像データ(静止画像ファイル)をネットワーク経由でアップロードする。サーバでは、このようしてアップロードされてきた静止画像ファイルを記憶部141に記憶しておき、このファイルに対応するメタデータも作成してメタデータテーブルに登録しておく。そして、実際に印刷出力するときには、静止画像ファイル出力処理ブロック144により、最適構図を抜き出した静止画像データを印刷用の画像データとして出力する。つまり、このサービスによっては、写真プリントを依頼すると、最適構図に補正されてプリントされたものが送られてくるものである。
また1つには、例えばブログなどのサーバにも適用することができる。記憶部141には、ブログのテキストのデータと共にアップロードされた画像データを記憶させることとする。これにより、例えばブログのページには、ユーザがアップロードした画像データから最適構図を抜き出した画像を貼り付けさせることが可能になる。
なお、上記図39〜図48により説明した例は一部であって、本願発明による構図判定を適用できる装置、システム、アプリケーションソフトウェアなどはほかにも考えられる。
また、これまでの実施の形態の説明にあっては、被写体(個別被写体)は、人であることを前提としているが、例えば、人以外の動物を被写体とする場合にも、本願発明を適用することが考えられる。
また、被写体検出の対象となる画像データは、撮像に由来して得られるもの(撮像画像データ)のみに限定されるべきものではなく、例えば、絵であるとかデザイン画などの画内容を有する画像データを対象とすることも考えられる。
また、本願発明のもとで判定される構図(最適構図)は、必ずしも、三分割法などの構図設定手法に対して、検出された個別被写体の数の要素を加味する手法によって決定された構図に限定されるものではない。例えば一般的には良くないとされる構図であっても、構図の設定次第では、ユーザがおもしろみを感じたり、かえって良いと感じるような場合もあると考えられる。従って、本願発明のもとで判定される構図(最適構図)としては、実用性、エンタテイメント性などを考慮して任意に設定されればよく、実際においては特に制限はない。
1 デジタルスチルカメラ、2 シャッターボタン、3 レンズ部、10 雲台、21 光学系、22 イメージセンサ、23 A/Dコンバータ、24 信号処理部、25 エンコード/デコード部、26 メディアコントローラ、27 制御部、28 ROM、29 RAM、30 フラッシュメモリ、31 操作部、32 表示ドライバ、33 表示部、34 雲台対応通信部、40 メモリカード、51 制御部、52 通信部、53 パン機構部、54 パン用モータ、55 パン用駆動部、56 チルト機構部、57 チルト用モータ、58 チルト用駆動部、61 被写体検出処理ブロック、62 構図制御処理ブロック、63 通信制御処理ブロック、SBJ(SBJ0〜n) 個別被写体、71 通信制御処理ブロック、72 パン・チルト制御処理ブロック、73 被写体検出処理ブロック、74 構図制御処理ブロック、75 撮像部

Claims (10)

  1. 画像データに基づく画像における特定の被写体を検出する被写体検出手段と、
    上記被写体検出手段により検出される被写体である検出被写体ごとに、上記検出被写体に対応する画像部分における特定の対象部位についての、上記画像内での回転角度を検出する回転角度検出手段と、
    上記画像に対して画像領域分割線を設定したうえで、上記回転角度に応じて移動量を求め、上記画像内の1以上の上記検出被写体から成る画像部分に設定した重心を、上記画像領域分割線から上記移動量分により移動させた位置とした構図を判定結果として得る構図判定手段と、
    を備える構図判定装置。
  2. 上記構図判定手段は、
    上記回転角度について、上記検出被写体の特定の対象部位が縦向きとみなされる角度範囲に該当する場合には、上記画像に対して、垂直方向の上記画像領域分割線を設定する、
    請求項1に記載の構図判定装置。
  3. 上記構図判定手段は、
    上記回転角度について、上記検出被写体の特定の対象部位が横向きとみなされる角度範囲に該当する場合には、上記画像に対して、水平方向の上記画像領域分割線を設定する、
    請求項1又は請求項2に記載の構図判定装置。
  4. 上記構図判定手段は、
    複数の検出被写体ごとの回転角度が全て同じとなる関係である場合には、この全て同じとされた回転角度に基づいて構図を判定する、
    請求項1乃至請求項3の何れかに記載の構図判定装置。
  5. 上記構図判定手段は、
    複数の検出被写体ごとの回転角度が全て同じではないとされる関係である場合には、複数の検出被写体の総体について基準となる基準回転角度を決定し、
    この決定された基準回転角度に基づいて構図を判定する、
    請求項1乃至請求項4の何れかに記載の構図判定装置。
  6. 上記構図判定手段は、
    上記判定結果として得る構図において、上記画像領域分割線から上記重心までの上記移動量については、上記検出被写体の数に基づいて設定する、
    請求項1乃至請求項5の何れかに記載の構図判定装置。
  7. 上記構図判定手段は、
    上記回転角度について、上記検出被写体の特定の対象部位が横向きとみなされる角度範囲に該当する場合には、上記画像の画枠内に設定する範囲枠の短手方向の幅を、上記検出被写体の特定の対象部位が縦向きとみなされる角度範囲に該当する場合よりも拡大して設定するとともに、
    上記範囲枠に対して検出被写体が収まったとされる状態を検出したことに応じて、このときの画像データを記録媒体に記録する記録手段をさらに備える、
    請求項1乃至請求項6の何れかに記載の構図判定装置。
  8. 撮像装置部と、
    上記撮像装置部の撮像視野範囲を変更するようにして可動する機構を有する可動装置部と、
    上記撮像装置部が撮像して得られる撮像画像の画像データを取得する画像データ取得手段と、
    上記画像データに基づく画像における特定の被写体を検出する被写体検出手段と、
    上記被写体検出手段により検出される被写体である検出被写体ごとに、上記検出被写体に対応する画像部分における特定の対象部位についての、上記画像内での回転角度を検出する回転角度検出手段と、
    上記画像に対して画像領域分割線を設定したうえで、上記回転角度に応じて移動量を求め、上記画像内の1以上の上記検出被写体から成る画像部分に設定した重心を、上記画像領域分割線から上記移動量分により移動させた位置とした構図を判定結果として得る構図判定手段と、
    上記構図判定手段により判定された構図が得られるための上記撮像視野範囲となるように、少なくとも上記可動装置部の制御を実行する構図制御手段と、
    を備える撮像システム。
  9. 画像データに基づく画像における特定の被写体を検出する被写体検出手順と、
    上記被写体検出手順により検出される被写体である検出被写体ごとに、上記検出被写体に対応する画像部分における特定の対象部位についての、上記画像内での回転角度を検出する回転角度検出手順と、
    上記画像に対して画像領域分割線を設定したうえで、上記回転角度に応じて移動量を求め、上記画像内の1以上の上記検出被写体から成る画像部分に設定した重心を、上記画像領域分割線から上記移動量分により移動させた位置とした構図を判定結果として得る構図判定手順と、
    を実行する構図判定方法。
  10. 構図判定装置に、
    画像データに基づく画像における特定の被写体を検出する被写体検出手順と、
    上記被写体検出手順により検出される被写体である検出被写体ごとに、上記検出被写体に対応する画像部分における特定の対象部位についての、上記画像内での回転角度を検出する回転角度検出手順と、
    上記画像に対して画像領域分割線を設定したうえで、上記回転角度に応じて移動量を求め、上記画像内の1以上の上記検出被写体から成る画像部分に設定した重心を、上記画像領域分割線から上記移動量分により移動させた位置とした構図を判定結果として得る構図判定手順と、
    を実行させるためのプログラム。
JP2009172327A 2009-07-23 2009-07-23 構図判定装置、撮像システム、構図判定方法、プログラム Expired - Fee Related JP5359645B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2009172327A JP5359645B2 (ja) 2009-07-23 2009-07-23 構図判定装置、撮像システム、構図判定方法、プログラム
US12/797,993 US8908057B2 (en) 2009-07-23 2010-06-10 Composition determination device, imaging system, composition determination method, and program
TW099122328A TW201127029A (en) 2009-07-23 2010-07-07 Composition determination device, imaging system, composition determination method, and program
CN201010233543XA CN101964872A (zh) 2009-07-23 2010-07-19 构图确定器件、成像系统、构图确定方法以及程序

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009172327A JP5359645B2 (ja) 2009-07-23 2009-07-23 構図判定装置、撮像システム、構図判定方法、プログラム

Publications (3)

Publication Number Publication Date
JP2011029831A JP2011029831A (ja) 2011-02-10
JP2011029831A5 JP2011029831A5 (ja) 2012-07-12
JP5359645B2 true JP5359645B2 (ja) 2013-12-04

Family

ID=43496967

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009172327A Expired - Fee Related JP5359645B2 (ja) 2009-07-23 2009-07-23 構図判定装置、撮像システム、構図判定方法、プログラム

Country Status (4)

Country Link
US (1) US8908057B2 (ja)
JP (1) JP5359645B2 (ja)
CN (1) CN101964872A (ja)
TW (1) TW201127029A (ja)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5206095B2 (ja) 2008-04-25 2013-06-12 ソニー株式会社 構図判定装置、構図判定方法、プログラム
JP5453953B2 (ja) * 2009-06-24 2014-03-26 ソニー株式会社 可動機構部制御装置、可動機構部制御方法、プログラム
JP5347802B2 (ja) * 2009-07-27 2013-11-20 ソニー株式会社 構図制御装置、撮像システム、構図制御方法、プログラム
JP5434338B2 (ja) 2009-07-29 2014-03-05 ソニー株式会社 撮像制御装置、撮像方法、プログラム
JP5434339B2 (ja) 2009-07-29 2014-03-05 ソニー株式会社 撮像制御装置、撮像システム、撮像方法、プログラム
US8605158B2 (en) 2009-12-28 2013-12-10 Sony Corporation Image pickup control apparatus, image pickup control method and computer readable medium for changing an image pickup mode
JP5803184B2 (ja) * 2010-11-19 2015-11-04 株式会社リコー 画像投影装置、メモリアクセス方法
JP5978639B2 (ja) * 2012-02-06 2016-08-24 ソニー株式会社 画像処理装置、画像処理方法、プログラム、及び記録媒体
JP2013172446A (ja) * 2012-02-23 2013-09-02 Sony Corp 情報処理装置、端末装置、撮像装置、情報処理方法、及び撮像装置における情報提供方法
US10006909B2 (en) 2012-09-28 2018-06-26 Vibrant Holdings, Llc Methods, systems, and arrays for biomolecular analysis
JP6107844B2 (ja) * 2015-01-28 2017-04-05 カシオ計算機株式会社 検出装置、検出制御方法、及びプログラム
JP6565212B2 (ja) * 2015-02-24 2019-08-28 セイコーエプソン株式会社 表示装置、表示方法およびプログラム
JP6584259B2 (ja) * 2015-09-25 2019-10-02 キヤノン株式会社 像ブレ補正装置、撮像装置および制御方法
CN105657265A (zh) * 2016-01-06 2016-06-08 卢锦霞 一种全自动拍摄成像系统及方法
US10498968B1 (en) * 2017-03-01 2019-12-03 Altia Systems, Inc. Intelligent zoom method and video system implementing same
CN107018322B (zh) * 2017-03-09 2020-02-11 Oppo广东移动通信有限公司 旋转摄像头辅助构图的控制方法、控制装置及电子装置
CN110221626B (zh) * 2019-06-06 2022-03-25 睿魔智能科技(深圳)有限公司 一种跟拍控制方法、装置、计算机设备及存储介质
JP7383438B2 (ja) * 2019-09-27 2023-11-20 キヤノン株式会社 撮像制御装置、撮像装置、及び撮像制御方法
CN111277752B (zh) * 2020-01-22 2021-08-31 Oppo广东移动通信有限公司 提示方法、装置、存储介质及电子设备
US20230252183A1 (en) * 2020-05-18 2023-08-10 Sony Group Corporation Information processing apparatus, information processing method, and computer program
JP2022128941A (ja) * 2021-02-24 2022-09-05 キヤノン株式会社 撮像装置、コンピュータプログラム、記憶媒体及び撮像装置の制御方法

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0614698B2 (ja) 1983-05-13 1994-02-23 株式会社日立製作所 自動追尾カメラ
EP1107584B1 (en) 1999-12-03 2008-08-27 Fujinon Corporation Automatic following device
JP2001268425A (ja) 2000-03-16 2001-09-28 Fuji Photo Optical Co Ltd 自動追尾装置
JP2003219239A (ja) * 2002-01-24 2003-07-31 Canon I-Tech Inc デジタルカメラ
JP4333223B2 (ja) * 2003-06-11 2009-09-16 株式会社ニコン 自動撮影装置
US7574016B2 (en) * 2003-06-26 2009-08-11 Fotonation Vision Limited Digital image processing using face detection information
US7565030B2 (en) * 2003-06-26 2009-07-21 Fotonation Vision Limited Detecting orientation of digital images using face detection information
JP4130641B2 (ja) * 2004-03-31 2008-08-06 富士フイルム株式会社 ディジタル・スチル・カメラおよびその制御方法
JP4770178B2 (ja) * 2005-01-17 2011-09-14 ソニー株式会社 カメラ制御装置、カメラシステム、電子会議システムおよびカメラ制御方法
JP2006221355A (ja) * 2005-02-09 2006-08-24 Hitachi Ltd 監視装置及び監視システム
JP4478093B2 (ja) * 2005-10-17 2010-06-09 富士フイルム株式会社 対象画像検索装置およびディジタル・カメラならびにそれらの制御方法
JP4427515B2 (ja) * 2006-01-27 2010-03-10 富士フイルム株式会社 対象画像検出表示制御装置およびその制御方法
JP2007274017A (ja) * 2006-03-30 2007-10-18 Fujifilm Corp 自動トリミング方法および装置ならびにプログラム
JP2008277904A (ja) * 2007-04-25 2008-11-13 Sony Corp 画像処理装置、画像方向判別方法及び画像方向判別プログラム、再生装置、再生方法及び再生プログラム、並びにデジタルスチルカメラ
JP5115139B2 (ja) 2007-10-17 2013-01-09 ソニー株式会社 構図判定装置、構図判定方法、プログラム
JP5048468B2 (ja) * 2007-11-28 2012-10-17 富士フイルム株式会社 撮像装置およびその撮像方法
US8111874B2 (en) * 2007-12-04 2012-02-07 Mediatek Inc. Method and apparatus for image capturing
JP4944055B2 (ja) * 2008-03-19 2012-05-30 富士フイルム株式会社 撮像装置及び撮像制御方法

Also Published As

Publication number Publication date
CN101964872A (zh) 2011-02-02
US20110019021A1 (en) 2011-01-27
TW201127029A (en) 2011-08-01
JP2011029831A (ja) 2011-02-10
US8908057B2 (en) 2014-12-09

Similar Documents

Publication Publication Date Title
JP5359645B2 (ja) 構図判定装置、撮像システム、構図判定方法、プログラム
JP5115139B2 (ja) 構図判定装置、構図判定方法、プログラム
JP4894712B2 (ja) 構図判定装置、構図判定方法、プログラム
US8594390B2 (en) Composition determination device, composition determination method, and program
JP4640456B2 (ja) 画像記録装置、画像記録方法、画像処理装置、画像処理方法、プログラム
JP5407640B2 (ja) 画像対応装置、動作設定方法、プログラム
JP5434339B2 (ja) 撮像制御装置、撮像システム、撮像方法、プログラム
US8908916B2 (en) Control apparatus, control method, and program to search for a subject and automatically perform image-recording
JP2010147769A (ja) 撮像システム、画像提示方法、プログラム
JP5347802B2 (ja) 構図制御装置、撮像システム、構図制御方法、プログラム
JP5440588B2 (ja) 構図判定装置、構図判定方法、プログラム
JP2010074399A (ja) 構図判定装置、構図判定方法、画像処理装置、画像処理方法、プログラム
JP5098917B2 (ja) 構図判定装置、構図判定方法、プログラム
JP2011061857A (ja) 画像処理装置、画像処理方法、プログラム、撮像装置

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20110812

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120530

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120530

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130418

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130423

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130531

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130806

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130819

LAPS Cancellation because of no payment of annual fees