JP5359645B2 - 構図判定装置、撮像システム、構図判定方法、プログラム - Google Patents
構図判定装置、撮像システム、構図判定方法、プログラム Download PDFInfo
- Publication number
- JP5359645B2 JP5359645B2 JP2009172327A JP2009172327A JP5359645B2 JP 5359645 B2 JP5359645 B2 JP 5359645B2 JP 2009172327 A JP2009172327 A JP 2009172327A JP 2009172327 A JP2009172327 A JP 2009172327A JP 5359645 B2 JP5359645 B2 JP 5359645B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- subject
- composition
- detected
- rotation angle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 239000000203 mixture Substances 0.000 title claims abstract description 394
- 238000000034 method Methods 0.000 title claims description 177
- 238000003384 imaging method Methods 0.000 title claims description 122
- 238000001514 detection method Methods 0.000 claims abstract description 153
- 230000005484 gravity Effects 0.000 claims description 127
- 230000033001 locomotion Effects 0.000 claims description 59
- 230000007246 mechanism Effects 0.000 claims description 50
- 230000004044 response Effects 0.000 claims description 13
- 230000008859 change Effects 0.000 claims description 11
- 230000000007 visual effect Effects 0.000 claims description 3
- 238000012545 processing Methods 0.000 description 227
- 230000008569 process Effects 0.000 description 98
- 230000036544 posture Effects 0.000 description 76
- 238000004891 communication Methods 0.000 description 39
- 210000003128 head Anatomy 0.000 description 34
- 238000003860 storage Methods 0.000 description 34
- 238000004422 calculation algorithm Methods 0.000 description 30
- 230000004913 activation Effects 0.000 description 27
- 238000009966 trimming Methods 0.000 description 26
- 230000006870 function Effects 0.000 description 25
- 230000003287 optical effect Effects 0.000 description 17
- 238000010586 diagram Methods 0.000 description 11
- 238000004364 calculation method Methods 0.000 description 9
- 241000272165 Charadriidae Species 0.000 description 7
- 238000004091 panning Methods 0.000 description 7
- 238000004458 analytical method Methods 0.000 description 6
- 210000000887 face Anatomy 0.000 description 6
- 230000004048 modification Effects 0.000 description 6
- 238000012986 modification Methods 0.000 description 6
- 238000007639 printing Methods 0.000 description 6
- 230000006835 compression Effects 0.000 description 4
- 238000007906 compression Methods 0.000 description 4
- 238000000926 separation method Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 235000008429 bread Nutrition 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000009432 framing Methods 0.000 description 2
- NJPPVKZQTLUDBO-UHFFFAOYSA-N novaluron Chemical compound C1=C(Cl)C(OC(F)(F)C(OC(F)(F)F)F)=CC=C1NC(=O)NC(=O)C1=C(F)C=CC=C1F NJPPVKZQTLUDBO-UHFFFAOYSA-N 0.000 description 2
- GGCZERPQGJTIQP-UHFFFAOYSA-N sodium;9,10-dioxoanthracene-2-sulfonic acid Chemical compound [Na+].C1=CC=C2C(=O)C3=CC(S(=O)(=O)O)=CC=C3C(=O)C2=C1 GGCZERPQGJTIQP-UHFFFAOYSA-N 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 208000012802 recumbency Diseases 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
- H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
良好な構図とするための一般的、基本的な手法はいくつかあるものの、一般のカメラユーザが良い構図の写真を撮影することは、写真撮影に関する充分な知識、技術を持っていない限り、決して簡単なことではない。このことからすると、例えば良好な構図の写真画像を手軽で簡単に得ることのできる技術構成が求められることになる。
また、特許文献2には、自動追尾装置として、人物を自動追尾する場合に、人物の顔が画面中央となるように画面上の人物像全体の面積に対してその人物の上側から20%の面積となる位置を画面中央にして追尾することによって人物の顔を確実に撮影しながら追尾できるようにした技術が開示されている。
これらの技術構成を構図決定の観点から見れば、人物としての被写体を自動的に探索して、撮影画面において或る決まった構図でその被写体を配置させることが可能となっている。
そこで、本願発明では、例えば写真などとしての画像について良好な構図が手軽に得られるようにするための技術を提案することを目指すこととしたうえで、その際において、被写体の状況・状態の変化にも適応してより高度で柔軟性のある構図の決定が行われるようにすることを目的とする。
つまり、画像データに基づく画像における特定の被写体を検出する被写体検出手段と、上記被写体検出手段により検出される被写体である検出被写体ごとに、上記検出被写体に対応する画像部分における特定の対象部位についての、上記画像内での回転角度を検出する回転角度検出手段と、上記画像に対して画像領域分割線を設定したうえで、上記回転角度に応じて移動量を求め、上記画像内の1以上の上記検出被写体から成る画像部分に設定した重心を、上記画像領域分割線から上記移動量分により移動させた位置とした構図を判定結果として得る構図判定手段とを備えることとした。
つまり、撮像装置部と、上記撮像装置部の撮像視野範囲を変更するようにして可動する機構を有する可動装置部と、上記撮像装置部が撮像して得られる撮像画像の画像データを取得する画像データ取得手段と、上記画像データに基づく画像における特定の被写体を検出する被写体検出手段と、上記被写体検出手段により検出される被写体である検出被写体ごとに、上記検出被写体に対応する画像部分における特定の対象部位についての、上記画像内での回転角度を検出する回転角度検出手段と、上記画像に対して画像領域分割線を設定したうえで、上記回転角度に応じて移動量を求め、上記画像内の1以上の上記検出被写体から成る画像部分に設定した重心を、上記画像領域分割線から上記移動量分により移動させた位置とした構図を判定結果として得る構図判定手段と、上記構図判定手段により判定された構図が得られるための上記撮像視野範囲となるように、少なくとも上記可動装置部の制御を実行する構図制御手段とを備えることとした。
<1.撮像システムの構成>
[1−1.全体構成]
[1−2.デジタルスチルカメラ]
[1−3.雲台]
<2.実施形態の構図制御に対応する機能構成例>
<3.顔方向と被写体数に応じた構図制御(第1例)>
<4.顔方向と被写体数に応じた構図制御(第2例)>
<5.顔回転角度に応じた構図制御:通常姿勢時(第3例)>
<6.顔回転角度に応じた構図制御例:横臥姿勢時(第4例)>
<7.顔回転角度に応じた構図制御のアルゴリズム>
[7−1.顔回転角度の範囲設定]
[7−2.通常姿勢に対応するアルゴリズム]
[7−3.横臥姿勢に対応するアルゴリズム]
<8.セルフタイマ自動起動機能>
<9.本実施形態の撮像システムの変形例>
<10.本実施形態の構図制御の適用例>
また、以降の説明にあたり、画枠、画角、撮像視野範囲、構図なる語を用いることとする。
画枠は、例えば画像が嵌め込まれるようにしてみえる一画面相当の領域範囲をいい、一般には縦長若しくは横長の長方形としての外枠形状を有する。
画角は、ズーム角などともいわれるもので、撮像装置の光学系におけるズームレンズの位置によって決まる画枠に収まる範囲を角度により表したものである。一般的には、撮像光学系の焦点距離と、像面(イメージセンサ、フィルム)のサイズによって決まるものとされているが、ここでは、焦点距離に対応して変化し得る要素を画角といっている。以降において、画角の値については、焦点距離(例えば35mm換算)により表す場合がある。
撮像視野範囲は、定位置に置かれた撮像装置により撮像して得られる画像の画枠に収まる範囲について、上記の画角に加え、パン(水平)方向における振り角度と、チルト(垂直)方向における角度(仰角、俯角)により決まるものをいう。
構図は、ここでは、フレーミングともいわれるもので、例えば撮像視野範囲によって決まる画枠内における被写体についてのサイズ設定も含めたうえでの配置状態をいう。
[1−1.全体構成]
本実施形態の撮像システムは、デジタルスチルカメラ1と、このデジタルスチルカメラ1が載置される雲台10から成る。
先ず、図1にデジタルスチルカメラ1の外観例を示す。図1(a)、(b)は、それぞれデジタルスチルカメラ1の正面図、背面図となる。
この図に示されるデジタルスチルカメラ1は、先ず、図1(a)に示すように、本体部2の前面側においてレンズ部21aを備える。このレンズ部21aは、撮像のための光学系として本体部2の外側に表出している部位である。
この表示画面部33aには、撮像モード時においては、スルー画などといわれ、そのときにレンズ部21aにより撮像している画像が表示される。また、再生モード時においては、記憶媒体に記録されている画像データが再生表示される。さらに、ユーザがデジタルスチルカメラ1に対して行った操作に応じて、GUI(Graphical User Interface)としての操作画像が表示される。
この場合のカメラ台座部12の上面部には、図2に示すようにして、突起部13とコネクタ14が設けられている。
その図示は省略するが、デジタルスチルカメラ1の本体部2の下面部には、突起部13と係合する孔部が形成されている。デジタルスチルカメラ1がカメラ台座部12に対して適正に置かれた状態では、この孔部と突起部13とが係合した状態となる。この状態であれば、通常の雲台10のパンニング・チルティングの動作であれば、デジタルスチルカメラ1が雲台10からずれたり、外れてしまったりすることがないようにされている。
また、デジタルスチルカメラ1とカメラ台座部12との通信は無線により行われるようにしてもよい。
まず、パン方向の基本的な動きは次のようになる。
この雲台10を床面などに置いた状態では、接地台部15の底面が接地する。この状態において、図4に示すように、回転軸11aを回転中心として、本体部11は時計回り方向、及び反時計回り方向に回転できるようになっている。これにより、雲台10に載置されているデジタルスチルカメラ1の撮像視野範囲は、左右方向(水平方向)に沿って変化することになる。つまり、パンニングの動きが与えられる。
そのうえで、この場合の雲台10のパン機構は、時計回り方向及び反時計回り方向の何れについても、360°以上の回転が無制限で自在に行える構造を有しているものとする。
ここでは、図4に示すようにして、パン基準位置を0°(360°)としたうえで、パン方向に沿った本体部11の回転位置、即ちパン位置を0°〜360°により表すものとする。
チルト方向の動きは、図5(a)及び図5(b)に示すようにして、カメラ台座部12が回転軸12aを回転中心として、仰角、俯角の両方向に可動することにより得られる。
ここで、図5(a)は、カメラ台座部12がチルト基準位置Y0(0°)にある状態が示されている。この状態では、レンズ部21a(光学系部)の撮像光軸と一致する撮像方向F1と、接地台部15が接地する接地面部GRとが平行となる。
そのうえで、図5(b)に示すように、先ず、仰角方向においては、カメラ台座部12は、回転軸12aを回転中心として、チルト基準位置Y0(0°)から所定の最大回転角度+f°の範囲で動くことができる。また、俯角方向においても、回転軸12aを回転中心として、チルト基準位置Y0(0°)から所定の最大回転角度−g°の範囲で動くことができるようになっている。このようにして、カメラ台座部12がチルト基準位置Y0(0°)を基点として、最大回転角度+f°〜最大回転角度−g°の範囲で動くことで、雲台10(カメラ台座部12)に載置されたデジタルスチルカメラ1の撮像視野範囲は、上下方向(垂直方向)沿って変化することになる。つまりチルティングの動作が得られる。
先ず、図6のブロック図は、デジタルスチルカメラ1の実際的な内部構成例を示している。
この図において、先ず、光学系部21は、例えばズームレンズ、フォーカスレンズなども含む所定枚数の撮像用のレンズ群、絞りなどを備えて成り、入射された光を撮像光としてイメージセンサ22の受光面に結像させる。
また、光学系部21においては、上記のズームレンズ、フォーカスレンズ、絞りなどを駆動させるための駆動機構部も備えられているものとされる。これらの駆動機構部は、例えば制御部27が実行するとされるズーム(画角)制御、自動焦点調整制御、自動露出制御などのいわゆるカメラ制御によりその動作が制御される。
信号処理部24では、A/Dコンバータ23から出力されるデジタルの撮像信号について、例えば1つの静止画 (フレーム画像)に相当する単位で取り込みを行い、このようにして取り込んだ静止画単位の撮像信号について所要の信号処理を施すことで、1枚の静止画に相当する画像信号データである撮像画像データ(撮像静止画像データ)を生成することができる。
エンコード/デコード部25は、信号処理部24から出力されてくる静止画単位の撮像画像データについて、所定の静止画像圧縮符号化方式により圧縮符号化を実行したうえで、例えば制御部27の制御に応じてヘッダなどを付加して、所定形式に圧縮された画像データの形式に変換する。そして、このようにして生成した画像データをメディアコントローラ26に転送する。メディアコントローラ26は、制御部27の制御に従って、メモリカード40に対して、転送されてくる画像データを書き込んで記録させる。この場合のメモリカード40は、例えば所定規格に従ったカード形式の外形形状を有し、内部には、フラッシュメモリなどの不揮発性の半導体記憶素子を備えた構成を採る記憶媒体である。なお、画像データを記憶させる記憶媒体については、上記メモリカード以外の種別、形式などとされてもよい。
このためには、制御部27が画像データを指定して、メディアコントローラ26に対してメモリカード40からのデータ読み出しを命令する。この命令に応答して、メディアコントローラ26は、指定された画像データが記録されているメモリカード40上のアドレスにアクセスしてデータ読み出しを実行し、読み出したデータを、エンコード/デコード部25に対して転送する。
また、この場合のフラッシュメモリ30は、例えばユーザ操作や動作履歴などに応じて変更(書き換え)の必要性のある各種の設定情報などを記憶させておくために使用する不揮発性の記憶領域として設けられるものである。なおROM28について、例えばフラッシュメモリなどをはじめとする不揮発性メモリを採用することとした場合には、フラッシュメモリ30に代えて、このROM28における一部記憶領域を使用することとしてもよい。
音声出力部35は、制御部27の制御により、例えば所定内容の通知のために、所定の音色と発音パターンによる電子音を出力する部位である。
LED部36は、例えばデジタルスチルカメラ1の筐体前面部に表出して設けられるLED(Light Emitting Diode)と、このLEDを点灯駆動する回路部などから成り、制御部27の制御に応じて、LEDを点灯、消灯する。このLEDを点灯、消灯パターンにより、所定内容の通知が行われる。
図7のブロック図は、雲台10の内部構成例を示している。
先に述べたように、雲台10は、パン・チルト機構を備えるものであり、これに対応する部位として、パン機構部53、パン用モータ54、チルト機構部56、チルト用モータ57を備える。
パン機構部53は、雲台10に取り付けられたデジタルスチルカメラ1について、図4に示したパン(横・左右)方向の動きを与えるための機構を有して構成され、この機構の動きは、パン用モータ54が正逆方向に回転することによって得られる。同様にして、チルト機構部56は、雲台10に取り付けられたデジタルスチルカメラ1について、図5(b)に示したチルト(縦・上下)方向の動きを与えるための機構を有して構成され、この機構の動きは、チルト用モータ57が正逆方向に回転することによって得られる。
このモータ駆動信号によりパン用モータ54が、例えば所要の回転方向、回転速度により回転し、この結果、パン機構部53も、これに対応した移動方向と移動速度により動くようにして駆動される。
同様にして、チルト機構部56の動きを制御するときには、制御部51は、チルト機構部56に必要な移動方向、移動速度を指示する信号をチルト用駆動部58に対して出力する。チルト用駆動部58は、入力される信号に対応したモータ駆動信号を生成してチルト用モータ57に出力する。このモータ駆動信号によりチルト用モータ57が、例えば所要の回転方向及び回転速度で回転し、この結果、チルト機構部56も、これに対応した移動方向,速度により動くようにして駆動される。
また、パン機構部53は、ロータリーエンコーダ(回転検出器)53aを備えている。ロータリーエンコーダ53aは、パン機構部53の回転の動きに応じて、その回転角度量を示す検出信号を制御部51に出力する。同様に、チルト機構部56はロータリーエンコーダ56aを備える。このロータリーエンコーダ56aも、チルト機構部56の回転の動きに応じて、その回転角度量を示す信号を制御部51に出力する。
図8は、デジタルスチルカメラ1側が備える、本実施の形態の構図制御に対応した機能部位についての構成例を示している。
この図において被写体検出処理ブロック61は、イメージセンサ22にて得られる撮像信号に基づいて信号処理部24にて得られる撮像画像データを利用して、被写体の探索制御を含む、被写体検出処理を実行する部位とされる。ここでの被写体検出処理は、先ず撮像画像データの画面の画内容から、人としての被写体を弁別して検出する処理をいう。
また、ここでの検出結果として得られる情報(検出情報)は、人としての被写体の数と、個々の被写体(個別被写体)ごとについての画面内での位置情報、及び個別被写体ごとについての画像内におけるサイズ(占有面積)などとなる。
また、本実施の形態においては、検出情報として、個別被写体ごとの顔方向(被写体方向情報)も得る。ここでの顔方向とは、撮像画像データの画面内において、人としての個別被写体が向いているとされる方向を、顔が向いている方向により示したものとされる。
なお、顔方向の検出は、例えば所定の分解能によって多段階で顔の向いている方向の度合いを検出するようにしてもよい。しかし、以降の説明においては、説明を分かりやすいものとする都合上、顔方向の検出は、左、右の2段階、若しくは左、正面、右による3段階の何れかの検出結果を得るようにされているものとする。なお、左右の2段階で検出する場合には、例えば被写体がほぼ正面を向いていると見ることができる場合であっても、所定のアルゴリズムに従って、左か右のいずれかの検出結果となるように振り分けられる。
また、顔検出の技術の応用で、上記の顔方向を検出することが可能とされている。例えば、顔検出処理を目、鼻などの特徴点を用いたパターン認識により行うこととすれば、検出された顔全体におけるこれらの特徴点の位置的、距離的な関係により顔方向を認識することが可能である。
なお、人としての個別被写体が向いているとされる方向を検出するのにあたり、例えば体部分の向きの検出であるとか目線の検出であるとか、上記した顔検出技術の応用以外であって、有用な手法があれば、このような手法を採用することについて特に問題はない。つまり、顔方向検出を含み、個別被写体が向いているとされる方向(被写体方向)を検出する手法、アルゴリズムなどは、これまでに知られているものを含め、適当とされるものを選択して採用することとすればよい。
また、この被写体検出処理ブロック61が実行する被写体検出処理は、信号処理部24における画像信号処理として実現することができる。先の説明のようにして信号処理部24がDSPにより構成される場合、この被写体検出処理は、信号処理部24としてのDSPに与えるプログラム、インストラクションにより実現されることになる。
また、被写体探索制御時においては、雲台10のパン・チルト機構を制御するために、通信制御処理ブロック63経由で、上記パン・チルト機構を駆動するための制御信号を出力する。
構図制御処理ブロック62は、入力された被写体についての検出情報を利用して、最適であるとしてみなされる構図(最適構図)を決定する。そして、決定した最適構図を得るための制御(構図制御)を実行する。この場合の構図制御としては、画角(本実施の形態では、例えばズームレンズの制御に応じて変更可能な視野角をいう)の変更制御と、パン(左右)方向に沿った撮像方向の制御(パン制御)と、チルト(上下)方向に沿った撮像方向の制御(チルト制御)から成る。画角の変更のためには、デジタルスチルカメラ1の光学系部21におけるズームレンズを移動する制御、若しくは撮像画像データに対する画像切り出しなどの画像信号処理の何れか一方を行う。また、パン制御、チルト制御は、雲台10のパン・チルト機構を制御して動かすことにより行う。パン・チルト機構の制御を行うとき、構図制御処理ブロック62は、パン・チルト機構をしかるべき位置状態とするための制御信号を、通信制御処理ブロック63を経由して、雲台10側に送信させる。
なお、上記構図制御処理ブロック62が実行する構図決定と構図制御の処理は、例えば、制御部27(CPU)がプログラムに基づいて実行するように構成することができる。あるいは、これに信号処理部24がプログラムに基づいて実行する処理を併用した構成とすることも考えられる。また、通信制御処理ブロック63は、雲台10側の通信部52との通信処理を所定のプロトコルに従って実行するようにして構成される部位であり、雲台対応通信部34に対応する機能部位となる。
次に、構図制御の第1例について説明する。第1例の構図制御は、以降説明するように、顔方向と被写体数に応じて構図を変更するものとなる。図9は、この第1例の構図制御に対応して被写体検出処理ブロック61が実行するとされる、被写体検出処理の例を模式的に示している。
図9(a)に示す画内容の撮像画像データを対象に被写体検出(顔検出)を行うことによっては、検出被写体として、図において示される1つの個別被写体SBJの顔が検出されることになる。即ち、顔検出処理によって1つの顔が検出されることを以て、ここでは1つの個別被写体が検出されることとしている。そして、このようにして個別被写体を検出した結果としては、先にも述べたように、個別被写体の数、向き、位置、サイズの情報を得るようにされる。
また、個別被写体数に関しては、例えば顔検出により検出された顔の数を求めればよい。図9(a)の場合には、検出される顔が1つであるから、個別被写体数としても1であるとの結果が得られる。
また、個別被写体ごとの位置情報に関しては、少なくとも、撮像画像データとしての画像内における個別被写体SBJの重心G(X,Y)を求めることとする。
なお、この場合の重心G(X,Y)の基準となる撮像画像データの画面上のX,Y原点座標P(0,0)は、例えば図10に示すようにして、画枠300の画面サイズに対応したX軸方向(水平方向)の幅(水平画サイズ)Cxの中間点と、Y軸方向(垂直方向)の幅(垂直画サイズ)Cyの中間点との交点であることとしている。
また、この重心Gについての個別被写体の画像内における位置の定義であるとか、重心Gをどのようにして設定するのかについては、例えばこれまでに知られている被写体重心検出方式を採用することができる。
また、個別被写体ごとのサイズについては、例えば顔検出処理により顔部分であるとして特定、検出される領域の画素数を求めるようにすればよい。
また、個別被写体ごとの顔方向に関しては、先にも述べたように、顔検出処理に基づいて、例えば左、右の2段階での何れであるのかが、若しくは、左、正面、右の3段階での何れであるのかが検出されることになる。
また、このようにして、2以上の個別被写体が検出される場合には、これら複数の個別被写体をひとまとまりの被写体(総合被写体)としてみた場合の重心である、総合被写体重心Gt(Xg,Yg)を求めるようにされる。
この総合被写体重心Gtをどのようにして設定するのかについては、いくつか考えることができるが、ここでは、最も簡易な例として、検出された複数の個別被写体のうちで、画面の左端と右端の両端に位置する個別被写体の重心を結ぶ線分上の中間点を総合被写体重心Gtとして設定した場合を示している。この総合被写体重心Gtは、例えば後述するようにして構図制御において利用することができる情報であり、個別被写体の重心の情報が取得されれば演算により求められる情報である。従って、総合被写体重心Gtについては、被写体検出処理ブロック61により求め、これを検出情報として出力することとしてもよいが、構図制御処理ブロック62が、検出情報として取得した個別被写体の重心の位置を示す情報のうちから、左右両端に位置する個別被写体の重心に関する情報を利用して求めるようにしてもよい。
なお、ほかには例えば、複数の個別被写体のサイズに応じて重み付け係数を与え、この重み付け係数を利用して、例えばサイズの大きな個別被写体に総合被写体重心Gtの位置が近くなるように配慮した設定手法も考えることができる。
また、個別被写体のサイズについては、例えば個別被写体SBJ0、SBJ1ごとに、その検出された顔が占有するとされる画素数を求めることとすればよい。
図11には、被写体探索の結果により被写体を検出したときの撮像画像データとして、1つの個別被写体SBJが撮像された画内容が得られた場合の画枠300を示している。
なお、本実施の形態にあっては、デジタルスチルカメラ1を取り付けた雲台10を通常に設置した場合には、横長の画像が撮像されるようにしてデジタルスチルカメラ1の向きが設定される。従って、第1例や後述する第2例、第3例、第4例にあっては、撮像により横長の画像が得られることを前提とする。
この被写体位置については、検出された顔方向の情報を利用する。この図11の場合の個別被写体SBJは、顔方向が左であるとして検出されているものとする。このとき、この図11に示される画内容の画面を実際に見たとした場合、これを見る者からは、画面において、個別被写体SBJの顔が左側を向いているようにして見えることになる。ちなみに、この個別被写体SBJとしての実際の人物自身は、現実には、撮像を行った撮像装置と相対する方向を正面として、これより右側を向いていることになる。
また、この被写体位置調整にあたっては、画像中の原点座標P(0,0)を通過する垂直線、即ちY軸線と一致する直線であって、被写体位置調整の基準線となる垂直画像領域分割線Ld1を仮想的に設定する。
そして、この場合のようにして顔方向が左であると検出された場合には、個別被写体SBJの重心Gを、上記垂直画像領域分割線Ld1に対応する位置(X=0)から、水平オフセット量θxで表される右方向への移動量に従って移動させた位置(水平シフト位置)に配置させる。このためには、重心Gが、上記水平シフト位置にくるようにして、雲台10のパン機構を駆動させる制御を実行する。
そのうえで、さらに、本実施の形態では、図11に例示するように、検出された個別被写体の顔方向が左であれば、その重心Gの水平方向における位置について、Y軸線に沿った垂直画像領域分割線Ld1により2分割される左右の画像領域(分割領域)のうちで、顔方向が示す「左」とは反対側の「右」側の画像領域に在るようにさせることで、画面においては、個別被写体SBJの顔が向いている方向である左側において空間が得られるようにしている。このような構図とすることで、例えば、顔方向が左であるとされる個別被写体SBJの重心Gを、左右方向における画面中央に対応させた(一致させた)被写体位置とする場合や、垂直画像領域分割線Ld1に対して左方向の画像領域とするような場合と比較して、より良好な構図を得ることができる。
例えば、図11は、水平画サイズCxを三等分するようにされた画面縦方向に沿った2本の仮想線のうち、右側の仮想線上において重心Gが位置するようにして、水平オフセット量θxが設定されているものである。これにより、個別被写体の顔方向に応じた水平方向における被写体位置として最適とされる構図の1つが得られることになるわけである。
なお、上記の総合被写体画像部分をどのようにして定義してそのサイズを求めるのかについてはいくつか考えられるが、例えば、検出された複数の個別被写体ごとの画像部分のサイズを足し合わせるようにして求めることができる。あるいは、検出された複数の個別被写体が全て含まれるようにして仮想的に描いた線により囲まれる画像部分のサイズとして求めることも考えられる。
この図12(a)に示される2つの個別被写体SBJ0、SBJ1の顔方向は、何れも左であると検出されているものとする。つまり、2つ在る個別被写体の全ての顔方向が同一とされており、これらの顔方向がこの場合には左とされているものである。
この場合には、図11に示した1つの個別被写体SBJの顔方向が左であった場合に準じて、画面左側に空間ができるように、個別被写体SBJ0、SBJ1から成る総合被写体画像部分を、顔方向が示す「左」とは反対となる、垂直画像領域分割線Ld1の右側に寄せて位置させるようにする。このためには、例えば図示しているように、右側に所定量ずらすための水平オフセット量θxを設定した上で、2つの個別被写体SBJ0、SBJ1から成る総合被写体画像部分の重心である、総合被写体重心Gtについて、垂直画像領域分割線Ld1である原点座標P(0,0)を通過する垂直線(Y軸線)から水平オフセット量θxだけ移動した位置にくるように、パン制御を行うようにされる。
また、図示はしていないが、2つの個別被写体SBJ0、SBJ1の顔方向が何れも右で同一である場合には、図12(a)の位置に対して、垂直画像領域分割線Ld1を基準にして線対称となる位置(Y軸線に対して左側の画面領域において同じ水平オフセット量θxの絶対値分移動した位置)に総合被写体重心Gtが在るようにしてパン制御を行うことになる。
この場合の水平方向における総合被写体画像部分の位置については、図示するようにして、2つの個別被写体SBJ0、SBJ1の総合被写体重心Gtが、垂直画像領域分割線Ld1上に位置するようにして調整(パン制御)を行う。
これにより得られる構図では、2つの個別被写体SBJ0、SBJ1から成る総合被写体画像部分は、水平方向において画面のほぼ中央に位置することとなる。しかし、被写体が複数とされて、かつ、これらの被写体が同一の方向を向いていないような画の場合、総合被写体画像部分が中央にきたとしても、その構図は相応に良好なものとなる。
この場合の構図制御としても、先ず、個別被写体SBJ0、SBJ1、SBJ2から成る総合被写体画像部分のサイズについて、個別被写体数が3である場合に対応して最適であるとして設定された値となるようにして調整(ズーム制御)を行う。
この場合には、図12(a)の場合に準じて、個別被写体SBJ0、SBJ1、SBJ2から成る画像領域部分を垂直画像領域分割線Ld1よりも右側の画像領域に寄せて位置させるようにして、水平オフセット量θxの設定と、これによって決まる所要位置への総合被写体重心Gtの移動のためのパン制御を行うようにされる。また、仮に3つの個別被写体SBJ0、SBJ1、SBJ2の顔方向が全て右で同一である場合には、総合被写体重心Gtは、図13の位置に対して、垂直画像領域分割線Ld1を基準にして線対称となる水平位置に在るようにしてパン制御が行われることになる。
また、このときに設定される水平オフセット量θxは、図12(a)のように検出された個別被写体が2つの場合よりも、小さな絶対値を設定するようにされる。これにより、例えば個別被写体数が3とされる場合に応じて、水平方向における被写体位置はより最適となって、良好な構図が得られることになる。
そして、個別被写体数が複数(2以上)の場合には、個別被写体の顔方向が全て同一ならば、上記の位置調整に倣い、総合被写体重心Gtの水平オフセットを行うようにされ、全て同一でないならば、水平オフセットを行うことなく、総合被写体重心Gtには垂直画像領域分割線Ld1に対応したX座標を与えて、総合被写体画像部分が画面内のほぼ中央に在るようにする。
ステップS101では、イメージセンサ22からの撮像信号に基づいた撮像画像データを取り込んで取得する。ステップS102では、上記ステップS101により取得した撮像画像データを利用して被写体検出処理を実行する。ここでの被写体検出処理としては、例えば先ず、先に述べた顔検出などの手法により、撮像画像データとしての画面内容において個別被写体が存在するか否かについての検出を行う。そして、個別被写体が存在する場合には、個別被写体数、個別被写体ごとの位置(重心)、サイズ、及び個別被写体ごとの顔方向を、検出情報として得るようにされる。
なお、上記被写体探索のためのパン・チルト制御として、雲台10のパン・チルト機構をどのようなパターンで動かすのかについては、例えば探索が効率的に行われることを配慮して決めることとすればよい。
また、ステップS106においては、モードフラグfについて0を設定(f=0)し、ステップS101に戻るようにされる。
このようにして、撮像画像データの画内容において少なくとも1つの個別被写体が検出されるまでは、ステップS101〜ステップS106の手順が繰り返される。このとき、デジタルスチルカメラ1と雲台10から成るシステムは、被写体探索のために、デジタルスチルカメラ1がパン方向及びチルト方向に動かされている状態となっている。
f==0であると判別された場合には、構図制御として、最初のラフな被写体捕捉モードを実行すべき場合であることを示すものであり、図のようにしてステップS108から始まる手順を実行する。
ステップS108においては、総合被写体重心Gtが、撮像画像データの画面(撮像画像データの画内容を表したとするときに得られる画面)における原点座標P(0,0)(図10参照)に位置しているか否かについての判別を行う。ここで、総合被写体重心Gtは、未だ原点座標に位置していないとして否定の判別結果が得られた場合には、ステップS109により、総合被写体重心Gtが原点座標に位置するようにして、雲台10のパン・チルト機構を動かすための制御を実行し、ステップS101に戻る。このようにして、個別被写体の存在が検出されている状態での最初の構図制御の手順である捕捉モードは、総合被写体重心Gtを、先ずは初期の基準位置である原点座標に対して位置させるようにして雲台10のパン・チルト機構を制御することで、検出された個別被写体が写っているとされる画像領域を画面内の中央に位置させようとするものである。
モードフラグf==0の状態で個別被写体が検出される状態では、被写体検出処理ブロック61は、下記の(数1)により示される演算を行って、パン方向における必要移動量Spanとチルト方向における必要移動量Stiltを求めるようにされる。下記の(数1)において、nは検出された個別被写体数を示し、P(Xi,Yi)は0番からn−1番までの番号が与えられた個別被写体のうちのi番目の個別被写体の重心のX,Y座標を示す。確認のために、図7に示したように、この場合における原点座標(0,0)は、画面における水平方向における中点と垂直方向における中点との交点となる。
そして、ステップS108において、総合被写体重心Gtが原点座標に位置したとして肯定の判別結果が得られたとされると、ステップS110によりモードフラグfについて1を設定(f=1)してステップS101に戻る。このステップS110によりモードフラグfについて1が設定された状態は、構図制御における最初の手順である捕捉モードは完了し、次の第1の構図の調整制御(構図調整モード)を実行すべき状態であることを示す。
ステップS112においては、検出されている個別被写体数が1であることに対応した目標被写体サイズを設定する。ここでの目標被写体サイズとは、画面における総合被写体画像部分のサイズとして構図的に最適であるとみなされるものをいい、例えば図11との対応では、「(1つの)個別被写体SBJの撮像画像データの画面内における占有率が、最適とみなされる所定の範囲値」に相当する。
なお、このときには、総合被写体重心Gtの水平方向(左右方向)における位置に関しては、ステップS109にて設定されたX座標(X=0)に対応する位置を維持するようにしてズーム制御を行うようにされる。これにより、個別被写体を左右方向においてほぼ中央に位置させた状態を維持することができる。また、被写体探索動作の実行時においては、ステップS104によりズームアウト制御が行われるので、ステップS114としてのズーム制御に際してはズームイン制御となる場合が多いと考えられる。しかし、何らかの原因で、そのときに検出された個別被写体のサイズが、目標被写体サイズよりも大きくなっている状態に応じてステップS113にて否定の判別結果が得られた場合、ステップS114ではズームアウトを実行させて、実際の個別被写体のサイズが目標被写体サイズとなるように制御することになる。
そして、ステップS113において肯定の判別結果が得られたのであればステップS115以降の手順に進むようにされる。
ここで、本実施の形態における第1の構図制御にあっては、水平オフセット量θxについては、下記の(式1)により求めるものとする。
θx=D×(Cx/6)/n・・・(式1)
上記(式1)において、Dは、顔方向若しくは複数の顔方向の組み合わせ(関係性)に基づいて、+1、−1、0のいずれかが設定される係数である。Cxは、水平画サイズを示す。Cx/6の項は、三分割法に基づいて得られる縦方向に沿った仮想線のX座標に対応したものである。nは、検出されている個別被写体数を示す。
すると、検出されている1つの個別被写体の顔方向が左である場合には、θx=−Cx/6となる。この水平オフセット量θxは、原点座標P(0,0)を通過する垂直線(垂直画像領域分割線Ld1:Y軸線)から、Cx/6だけ右に移動した垂直線の位置を示すことになるが、この垂直線の位置は、ちょうど、三分割法に従った2本の仮想線のうち、右側にある仮想線と同じになる。
一方、検出されている1つの個別被写体の顔方向が右である場合には、水平オフセット量θx=Cx/6となり、原点座標P(0,0)を通過する垂直線(垂直画像領域分割線Ld1:Y軸線)から、Cx/6だけ左に移動した垂直線の位置を示すことになる。そして、この垂直線の位置は、ちょうど、三分割法に従った2本の仮想線のうち、左側にある仮想線と同じになる。
ステップS117では、水平オフセット量θxに対応するX座標上に総合被写体重心Gtが位置する状態となるようにパン制御を実行し、ステップS101に戻る。
そして、上記ステップS117の制御により、水平オフセット量θxに対応するX座標上に総合被写体重心Gtが位置する状態に至ったとされると、ステップS116にて肯定の判別結果が得られることになる。このようにしてステップS116にて肯定の判別結果が得られたときには、個別被写体SBJの重心は、図11により示したようにして、その顔方向に応じて、垂直画像領域分割線Ld1ら水平オフセット量θxだけ左又は右に移動した位置にあることになる。
ステップS119においては、目標被写体サイズを設定する処理を行う。個別被写体数が2以上とされる場合、最適構図を得るための目標被写体サイズは、例えば個別被写体数に応じて異なってくるものとされる。そこで、ステップS119においては、ステップS102において検出された個別被写体数に応じた所定の目標被写体サイズを設定する。また、確認のために述べておくと、個別被写体数が2以上の場合の目標被写体サイズは、検出されている全ての個別被写体から成る総合被写体画像部分を対象としたものとなる。
ステップS120において否定の判別結果が得られた場合には、ステップS121に進む。ステップS121においては、ステップS114に準じて、このとき検出されている個別被写体の総合被写体画像部分のサイズが、ステップS119により設定された目標被写体サイズとなるようにズームレンズの駆動制御(ズーム制御)を実行し、ステップS101に戻る。
これに対して、ステップS120において肯定の判別結果が得られた場合には、ステップS122に進む。
先ず、ステップS122において肯定の判別結果が得られた場合には、ステップS123以降の手順を実行する。ステップS123においては、先に述べた(式1)により水平オフセット量θxを設定する。
この場合には、(式1)における係数Dには、検出されている同一の顔方向が、左、右の何れを示しているのかに応じて、+1と−1のいずれかが代入される。また、nには、検出されている個別被写体数に応じた2以上の数が代入されることになる。このことからも理解されるように、(式1)によっては、個別被写体数が多くなるのに応じて、求められるθxの絶対値は小さくなる。つまり、図11、図12(a)、図13によっても説明したように、個別被写体数が多くなるのに応じて、総合被写体画像部分の左右における垂直画像領域分割線Ld1からのオフセット量は少なくなっていくようにされる。
なお、このステップS124の処理にあっても、(式1)による演算を行うことで、θx=0を設定することができる。つまり、ステップS122にて否定の判別結果が得られた場合(即ち複数の顔方向が同一でない場合)には、ステップS124にて、係数Dについて0を代入して(式1)の演算を行うようにアルゴリズムを構成するものである。
ステップS123、又はステップS124の手順を実行した後は、ステップS125以降の手順に進む。
ステップS128にて否定の判別結果が得られた場合には、ステップS129により、設定された垂直オフセット量θyだけ重心がオフセットされるようにして、雲台10のチルト機構が動くようにチルト制御を実行し、ステップS101に戻る。そして、ステップS128において肯定の判別結果が得られた段階では、総合被写体画像部分の水平方向における位置と、垂直方向における位置との双方について、最適構図に対応したものが得られている、さらに、総合被写体画像部分のサイズも最適構図に対応したものが得られていることになる。即ち、最適構図が得られている状態となる。
上記ステップS130で否定の判別結果が得られた場合には、処理をステップS101へ戻す。これにより、レリーズ動作を実行できる条件が満たされる状態となるのを待機することができる。そして、ステップS130において肯定の判別結果が得られると、ステップS131によりレリーズ動作を実行する。このようにして、本実施の形態では、最適構図の撮像画像データを記録することができる。
レリーズ動作が終了したとされると、ステップS132により所要のパラメータについて初期設定を行う。この処理により、モードフラグfについては初期値の0が設定される。また、ズームレンズの位置も、予め設定された初期位置に戻される。
そして、ステップS132の処理を実行した後は処理をステップS101へ戻す。このようにして処理をステップS132からステップS101へ戻すことにより、被写体を探索し、この探索により検出されることとなった個別被写体の向いている方向と個別被写体数に応じた最適構図を得て撮像記録(レリーズ動作)を行うという動作が、自動的に繰り返し実行されることになる。
このことからすると、図11の手順におけるパン・チルト制御は、
により必要移動量Span,Stiltを求めたうえで、必要移動量Spanに対応した画面内での移動量を得るためのパン機構の制御と、必要移動量Stiltに対応した画面内での移動量を得るためのチルト機構の制御とを行っているものである、ということがいえる。
続いては、構図制御の第2例について説明する。この第2例は、顔方向と検出される被写体数に応じて構図を変更する、という点では、第1例と同様になる。
第2例の構図制御を説明するものとして、図15には、画枠300において3つの個別被写体SBJ0、SBJ1、SBJ2が検出された状態を示している。これらの個別被写体のうち、個別被写体SBJ0、SBJ2について検出されている顔方向は左であるのに対して、個別被写体SBJ1について検出されている顔方向は右であるものとする。この場合、全ての個別被写体の顔方向が同一にはなっていないので、第1例の場合であれば、図12(b)などで説明したように、総合被写体重心Gtは、原点座標Pを通過する垂直線(垂直画像領域分割線Ld1:Y軸線)上に在るように構図が設定される。
この図16に示される手順のうちで、ステップS222−1、S222−2を除くステップS201〜S232までの手順は、図14におけるステップS101〜S132までの手順と、それぞれ同じとなる。
そして、ステップS221−1とこれに続くステップS222−2は、ステップS222において否定の判別結果が得られた場合において実行すべき手順として挿入されている。つまり、ステップS222−1、S222−2は、検出されている個別被写体数が複数の場合であって、先ずは、総合被写体画像部分のサイズ調整が完了した段階において、これらの個別被写体の顔方向の関係性として、全ての顔方向が同一ではなかった場合に実行されるものである。
このためには、例えば、先にも述べたように、検出されている複数の個別被写体ごとの顔方向の関係性として、同一の顔方向を持つ個別被写体の組のうちで、その組を成す個別被写体数が、全ての検出されている個別被写体数における所定割合以上を示すものがあるかどうかについて判断し、このような個別被写体の組があれば、この組の個別被写体の顔方向を、有効な基準顔方向として決定するようにされる。また、このような個別被写体の組が無ければ、基準顔方向も無いものとする決定を行うようにされる。
なお、上記の所定割合について、実際にどのような値を設定するのかについては、実際における個別被写体数及び個別被写体ごとの顔方向の関係性との対応で、どのような構図が適当となるのかを考慮したうえで、適宜決定されて良い。また、この所定割合としての値は、基本的には固定の1つの値が設定されればよいが、例えば、決定された個別被写体数などに応じて、異なる所定値が設定されるようにされてもよい。
ここで、肯定の判別結果が得られた場合には、ステップS223に進む。この場合のステップS223においては、ステップS222−1にて決定された基準顔方向に基づいて係数Dを決定して、水平オフセット量θxを求めて設定する。
一方、ステップS222−2において否定の判別結果が得られた場合には、先のステップS222−1にて、左若しくは右を示す有効な基準顔方向を決定することができなかったことになる。そこで、この場合には、ステップS224に進むことで、水平オフセット量θxについては0を設定する。このようにして、ステップS222−1、S222−2を挿入することで、図15により説明したような第2例としての構図制御が実現されることになるものである。
例えば図11のようにして1つの個別被写体が検出された場合において、さらに顔方向については正面であることが検出された場合であるが、1つには、水平方向における被写体位置を、画面のほぼ中央に位置させる(重心Gがほぼ垂直画像領域分割線Ld1(Y軸線)上に在るようにする)ことが考えられる。しかし、このような構図は、良くない構図の代表的なものとされることが多い。そこで、検出される個別被写体が1つである場合において、顔方向が正面の場合には、図11と同様の構図、若しくは、図11の構図に対して垂直画像領域分割線Ld1を基準に線対称となるような構図とするようにして水平オフセット量θxを決定することも考えられる。このようにすれば、三分割法に則った良好な構図が得られる。
また、2以上の個別被写体が検出されている場合に、例えば全ての個別被写体の顔方向が正面を示している、あるいは基準顔方向が正面である場合には、(式1)の係数Dを0に設定したうえでの水平オフセット量θxを求めるようにして構成することが考えられる。
さらに、顔方向について、左右方向と、上記の上向き、下向き状態とを合成した斜め方向の検出も可能とされているときには、この斜め方向が検出された顔方向に応じた構図制御も行うことが可能である。
また、基準線の通過する基準点は、この場合には、図10にて示したように、画面における原点座標としているが、この基準点の位置については、例えばより良好な構図を得ることなどを目的として、原点座標以外の位置が設定されても良いものである。この点についても、次に説明する第3例、第4例の構図制御についても同様のことがいえる。
また、被写体検出処理ブロック61は、被写体検出により得られる情報として、顔回転角度も得ることができる。この第3例と、後述の第4例の構図制御は、顔回転角度の情報を利用する。
先ず、図17(a)には、1つの検出された個別被写体SBJの顔(特定の対象部位)について、その顔方向としては正面となっている状態が模式的に示されている。
この個別被写体SBJに対して、例えば検出された左右の目を結ぶ直線F0に平行で、個別被写体SBJの重心Gを通過する直線F1を設定し、さらに、この直線F1と直交して重心Gを通過する直線F2を設定する。また、絶対的に垂直な垂直基準線Vを設定する。この垂直基準線Vが、0°の顔回転角度に対応する。この場合、垂直基準線Vは、重心Gを通過させた状態で示している。
同様に、例えば図17(c)に示すようにして、顔自体が反時計回り方向(左側)に回転するようにして傾いている状態にあるとする。この場合、垂直基準線Vと直線F2とによっては、その顔自体の反時計回り方向への傾きの度合いに応じて、-α°として示されるように負の角度値が得られる。
つまり、個別被写体SBJごとにおいて左右の目の位置を特定し、この目の位置に基づいて、被写体SBJごとに直線F2を設定する。そして、設定した直線F2と垂直基準線Vが形成する角度値を、顔回転角度の値として扱う。
なお、以降の説明において、顔回転角度としては、例えば所定の分解能に応じて得られる角度値として扱われる場合と、或る角度値から他の角度値までの範囲(角度範囲)を示す場合とがある。つまり、本願でいう顔回転角度は、角度値として、角度範囲もその概念に含まれる。
図18(a)には、検出被写体として、画枠300において1つの個別被写体SBJが存在している状態が示されている。先ず、この場合においては、これまでに説明した第1例又は第2例の構図制御に従って得られる構図としては、この図18(a)に示すものであるとする。つまり、個別被写体SBJの重心G(X,Y)は、水平方向においては垂直画像領域分割線Ld1に対応した水平画サイズの中間点に位置させ、垂直方向においては、三分割法に従って、垂直画サイズCyを3等分する2本の水平仮想線h1,h2のうち上側に在る水平仮想線h2上に位置させるものである。この重心G(X,Y)は、水平オフセット量θx=0、垂直オフセット量θy=Cy/6として表すことができる。
水平オフセット量θxは、垂直画像領域分割線Ld1(X=0)を基準にして、紙面においてこれより左側の領域において負の値をとり、これより右側の領域において正の値をとる。垂直オフセット量θyは、水平画像領域分割線Ld2(Y=0)を基準にして、紙面においてこれより上側の領域が正の値をとり、これより下側の領域が負の値をとる。
なお、ここでの「時計回り方向(反時計回り方向)に顔が傾くようにして回転した状態」に対応する顔回転角度(±α°)としては、その絶対値が90°とみなされる角度範囲よりも小さい角度範囲になる。この顔回転角度範囲は、例えば被写体としての人が通常に立ったり座ったりしているような状態において、なにかにもたれたり、首を傾けたりすることによって得られる角度範囲と見ることができる。これに対して絶対値が90°とみなされる回転角度範囲は、後述する横臥姿勢に対応するものとみることができる。
図18(b)の例では、水平画サイズCxを三等分した2本の垂直仮想線v1,v2のうち、左側の垂直仮想線v1上に重心Gが位置するように移動させている。つまり、図18(b)の重心Gは、水平オフセット量θx=-Cx/6、垂直オフセット量θy=Cy/6として表せる。これにより、個別被写体SBJの右側により多くの空間があることになって、良好な構図が得られる。
このようにして、2つの個別被写体が検出され、かつ、これらの個別被写体ごとに、同じ方向に傾くようにして回転している状態の顔回転角度であることが検出されたときには、この図に示すようにして、総合被写体重心Gtについて、顔回転角度(顔の傾きの方向)と、個別被写体数=2に応じた水平オフセット量θxを与える。
なお、例えば2つの個別被写体がそれぞれ異なる顔の傾き(回転)の方向であることが検出された場合には水平オフセット量θx=0として、総合被写体重心Gtが垂直画像領域分割線Ld1上に在るようにすればよい。
この場合の構図制御としては、第1例に準じて、総合被写体重心Gtを垂直画像領域分割線Ld1上に位置させることが先ず考えられる。
また、第2例に準じて、3つの個別被写体のうち過半数を占める2つの個別被写体が傾いている方向に重要性の高いものが存在するとの考え方を採り、総合被写体重心Gtを垂直画像領域分割線Ld1よりも左側の画像領域に位置させるという構図制御でもよい。
つまり、第2例に準じた顔回転角度に基づく構図制御は、複数の個別被写体ごとに検出される顔回転角度範囲の関係性として、同じ顔回転角度範囲の個別被写体数が、個別被写体の全体数における所定割合以上を占めるときには、この同一となる顔回転角度範囲を基準(基準顔回転角度)とする。そして、この基準顔回転角度に基づいて、水平オフセット量θxを設定するというものである。図19(b)は、この第2例に準じた構図制御が行われた状態が示されている。
次に、例えば図20(a)に示すようにして、1つの個別被写体SBJの顔が左向き真横となっている状態が示されている。これは、例えば顔回転角度としては、-90°としてみなされる角度範囲にある。
ここで、例えば図20(a)に示す個別被写体SBJが横臥しているとして、例えば、単純に、第1例、若しくは第2例に従った構図制御により、重心Gを垂直画像領域分割線Ld1と水平仮想線h1との交点に位置させたとする。
すると、この図20(a)に示すようにして、構図としては、横臥した姿勢の個別被写体SBJが、画枠300において右に寄りすぎてしまう。また、この場合には、垂直オフセット量θy=Cv/6も与えていることから、個別被写体SBJは上側にも寄りすぎてしまっているといえる。このような構図は、一般的に、あまり良いものとは思われない。
つまり、個別被写体SBJの重心Gについて、先ず、垂直方向においては、水平画像領域分割線Ld2上に位置させる。一方の水平方向においては、垂直画像領域分割線Ld1よりも左側に位置させるものとする。この場合には、水平オフセット量θx=-Cx/6を設定して垂直仮想線v1上に位置させることとしている。
この図20(b)に示す構図であれば、先ず、横臥している被写体SBJの顔は、画枠300の上下方向においてほぼ中央に位置させることができる。これとともに、画枠300内で左向きに横臥している被写体SBJの顔より下の部位も、適切な占有率で配置させることができる。つまり、図20(a)と比較してはるかに良好な構図が得られることになる。
つまり、図21に示すように、重心Gを、例えば水平画像領域分割線Ld2と、垂直画像領域分割線Ld1よりも右側の垂直仮想線v2(θx=Cx/6)との交点に位置させる。
図22(a)は、画枠300における左向き横臥姿勢の個別被写体SBJについて、その顔方向が下となっている状態を示している。
この場合、実際において個別被写体SBJとしての人は、横臥した状態で、右を向いているのであるが、画枠300内においては、顔方向が下であるとして検出されるものとする。
このようにして顔方向が下であると検出されているときには、第1例での考え方に従い、その顔が向いている先の空間、つまり、画枠300の下側領域に重要性の高いものが存在している可能性が高いと考えることができる。そこで、この場合には、図22(a)に示すようにして、垂直方向における重心Gの位置については、水平画像領域分割線Ld2よりも上の領域に移動させる.この場合には、三分割法に従い、垂直オフセット量θy=Cy/6を設定している。水平オフセット量θxは、図20(b)と同様に-Cx/6である。
これに対して、図23(b)に示すように、同じ左向き横臥姿勢の個別被写体SBJについて、その顔方向が上であるとして検出されているときにも、垂直方向における重心Gの位置を水平画像領域分割線Ld2よりも下の領域に移動させる。例えば、水平オフセット量θx=Cx/6、垂直オフセット量θy=-Cy/6を設定する。
このような場合には、先に図18の説明に従い、個別被写体SBJの顔が傾くようにして回転している方向に重要性の高いものが存在するものとして考える。従って、図24(a)のようにして、個別被写体SBJが左向き横臥姿勢(個別被写体SBJの顔が左横向き)で、かつ、その顔自体が、-90°からさらに反時計回り方向に回転するようにして傾いている状態では、垂直方向における重心Gの位置を水平画像領域分割線Ld2よりも上の領域に移動させる。つまり、例えば水平オフセット量θx=-Cx/6、垂直オフセット量θy=Cy/6を設定する。
また、図24(b)に示すように、個別被写体SBJが左向き横臥姿勢で、その顔自体が-90°からさらに時計回り方向に回転するようにして傾いている状態では、垂直方向における重心Gの位置を水平画像領域分割線Ld2よりも下の領域に移動させ、例えば水平オフセット量θx=-Cx/6、垂直オフセット量θy=-Cy/6を設定する。
また、図25(b)に示すように、個別被写体SBJが右向き横臥姿勢で、その顔自体が90°からさらに時計回り方向に回転するようにして傾いている状態では、垂直方向における重心Gの位置を水平画像領域分割線Ld2よりも下の領域に移動させ、例えば水平オフセット量θx=Cx/6、垂直オフセット量θy=-Cy/6を設定する。
この場合において、上記の状態は、個別被写体SBJ0,SBJ1が均等の重要度を持っているとみなすこととする。そこで、個別被写体SBJ0,SBJ1の総合被写体重心Gtの垂直方向における位置としては、垂直オフセット量θy=0を設定して、水平画像領域分割線Ld2上に在るようにする。また、水平方向における総合被写体重心Gtとしては、個別被写体SBJ0,SBJ1の顔回転角度が-90°(とみなされる角度範囲)と+90°(とみなされる角度範囲)の何れに該当するのかに応じて、水平オフセット量θx=-Cx/6とθx=Cx/6の何れかを設定する。
この場合には、図22の例に倣い、個別被写体SBJ0,SBJ1の総合被写体重心Gtは、垂直方向においては水平画像領域分割線Ld2よりも上の領域に移動させることになる。また、その移動量は、図12などの例に倣って、例えば、個別被写体数が1のときよりも小さい値(絶対値)の垂直オフセット量θyを設定する。この場合には、垂直オフセット量θy = Cy/12を設定した例が示される。なお、水平オフセット量θx = -Cx/6である。
これにより、個別被写体SBJ0,SBJ1による総合被写体画像部分が上に寄りすぎる印象の構図が避けられ、より適切な構図が得られる。
また、図27(a)に対して、2つの個別被写体SBJ0,SBJ1の横臥姿勢は左向きで同じであるが、顔方向が上向きで反対となるときの総合被写体重心Gtの移動量は、例えば、水平オフセット量θx = -Cx/6で同じであるが、垂直オフセット量θyが反転されて、θy = -Cy/12となる。
この場合にも、図24(a)に倣い、総合被写体重心Gtは、水平画像領域分割線Ld2よりも上に移動させることになる。また、個別被写体数が1のときよりも少ない移動量を設定する。この図では、垂直オフセット量θy=Cy/12を設定している。水平オフセット量θx=-Cy/6である。
また、図27(b)に対して、2つの個別被写体SBJ0,SBJ1が右向き横臥姿勢とされ、かつ、顔回転角度範囲として、+90°とみなされる角度範囲からさらに反時計回り方向に傾くようにして回転している状態では、総合被写体重心Gtの移動量は次のようになる。つまり、例えば水平オフセット量θxについては、右向き横臥姿勢に応じてθx = Cx/6とし、垂直オフセット量θyについてはθy = Cy/12として、水平画像領域分割線Ld2より上に移動させる。
また、2つの個別被写体SBJ0,SBJ1が右向き横臥姿勢とされ、かつ、顔回転角度範囲として、+90°とみなされる角度範囲からさらに時計回り方向に傾くようにして回転している状態では、総合被写体重心Gtの移動量は次のようになる。例えば水平オフセット量θx = Cx/6、垂直オフセット量θyについてはθy = -Cy/12として、水平画像領域分割線Ld2より下に移動させる。
また、図27(a)に対して、横臥姿勢の個別被写体SBJ0,SBJ1の顔方向が異なっている。また、図27(b)に対して、横臥姿勢の個別被写体SBJ0,SBJ1の顔回転角度が異なっている場合には、例えば、垂直オフセット量θy = 0として、垂直方向における移動量は与えないようにすればよい。
このようにして、例えば3以上の横臥姿勢の個別被写体が検出された状態で、それぞれの顔方向が同一でない場合には、図15に準じて、基準顔方向を決定し、この決定された基準顔方向に従って垂直方向における移動量である垂直オフセット量θyを設定する。
図28(a)の場合には、3つの個別被写体の顔方向のうち、2つの個別被写体SBJ0、SBJ2が向いている下方向が過半数を占める。そこで、この場合には、基準顔方向=下であるとして決定し、これに応じては、総合被写体重心Gtを、水平画像領域分割線Ld2よりも上に移動させるようにして、垂直オフセット量θyを設定することになる。ここでは、垂直オフセット量θy = Cy/18を設定している。このときの垂直オフセット量θyは、例えば検出される個別被写体数が2のときよりも小さい値となる。水平オフセット量θxについては、左向き横臥姿勢に応じてθx = -Cx/6を設定している。
このようにして、例えば3以上の横臥姿勢の個別被写体が検出された状態で、それぞれの顔回転角度(範囲)が同一でない場合にも、図15に準じて、基準顔回転角度(ここでの回転角度は角度範囲の概念も含む)を決定し、この決定された基準顔回転角度に従って垂直方向における移動量である垂直オフセット量θyを設定する。
図28(b)の場合には、3つの個別被写体のうち、2つの個別被写体SBJ0、SBJ2の顔回転角度が同じであり、従って過半数を占める。そこで、この場合には、個別被写体SBJ0、SBJ2について検出されている顔回転角度(範囲)を、基準顔回転角度として決定する。
そして、この決定された基準顔回転角度に応じては、総合被写体重心Gtを、水平画像領域分割線Ld2よりも上に移動させるようにして、例えば図28(a)と同じく、垂直オフセット量θy = Cy/18を設定する。水平オフセット量θxについては、左向き横臥姿勢に応じてθx = -Cx/6を設定している。
[7−1.顔回転角度の範囲設定]
続いては、顔回転角度に応じた構図制御のアルゴリズム例について説明する。
ここで、本実施形態では、これまでに説明した構図制御に対応して、顔回転角度について次のようにして区分設定する。
先ず、0°(とみなされる範囲)の顔回転角度fangは、図18(a)に示したように、顔が正立しており、回転していない状態に対応する。また、-90°(とみなされる範囲)の顔回転角度fangは、図20(b)に示した、顔が左向き真横の状態に対応する。+90°(とみなされる範囲)の顔回転角度fanは、図21に示した、顔が右向きで真横の状態に対応する。
なお、上記0°,+90°,-90°としての顔回転角度は、実際には、在る程度の角度範囲が与えられて良い。0°,+90°,-90°の顔回転角度の値を、それぞれ、厳密に、顔が正立、右向き真横、左向き真横の各状態に対応させたとしても、かえって、これらの顔回転角度に対応するとされる顔の向きを、期待通りに的確に検出、判定できなくなる。
そこで、図29には示してはいないが、構図制御にあたっては、0°,+90°,-90°としての厳密な値に対して、それぞれ±m°(例えば数度)のマージンを与えて形成される角度範囲を、0°,+90°,-90°の顔回転角度として扱うようにすることが好ましいといえる。
また、図29における、0°> fang > (-90°+a°)までの角度範囲2は、図18(b)が反転した、横臥姿勢ではない通常姿勢とされる状態のもとで、顔が反時計回り方向に回転するようにして傾けられた状態に対応する。
また、(+90°-a°)< fang < +90°までの角度範囲3は、図25(b)に示した、右向き横臥姿勢で、顔が反時計回り方向に回転するようにして傾けられた状態に対応する。
また、+90°< fang < (+90°+a°)までの角度範囲4は、図25(a)に示した、右向き横臥姿勢で、顔が時計回り方向に回転するようにして傾けられた状態に対応する。
また、(-90°+a°)> fang > -90°までの角度範囲5は、図24(b)に示した、左向き横臥姿勢で、顔が時計回り方向に回転するようにして傾けられた状態に対応する。
また、-90°> fang > (-90°-a°)までの角度範囲6は、図24(a)に示した、右向き横臥姿勢で、顔が反時計回り方向に回転するようにして傾けられた状態に対応する。
これまでの説明において、顔回転角度に応じた構図制御は、通常姿勢に対応する第3例と、横臥姿勢に対応する第4例とを挙げた。ここで説明する顔回転角度に応じた構図制御のアルゴリズムは、左右の顔方向に応じた構図制御である第2例に対して、第3例と第4例を組み合わせた場合のアルゴリズムとする。なお、第1例に第3例及び第4例を組み合わせたアルゴリズムも当然に構成できるが、ここでは、複数の個別被写体に対応する制御が第1例よりは高度な第2例と組み合わせることとしている。
そこで、図30のステップS301においては、個別被写体について検出された顔回転角度fangについて、fang == +90°±a°と、fang == -90°±a°との角度範囲のいずれかに含まれるか否かについて判別する。
図29によれば、顔回転角度fang == +90°±a°の範囲は、下記のa,b,cの3状態の何れかに該当する。
a.顔回転角度fang == +90とみなされる範囲であって右向き横臥姿勢で真横になっている状態
b.顔回転角度fang == +90°+a°の範囲に含まれ、角度範囲4に対応する状態、即ち、右向き横臥姿勢で、+90°からさらに時計回り方向に回転した状態
c.顔回転角度fang == +90°-a°の範囲に含まれ、角度範囲3に対応する状態、即ち、右向き横臥姿勢で、+90°からさらに反時計回り方向に回転した状態
つまり、顔回転角度fang == +90°±a°は、右向き横臥姿勢である、つまり、個別被写体として検出された顔が、右横向きであることを示している。
また、顔回転角度fang == -90°±a°の範囲は、下記のd,e,fの3状態の何れかに該当する。
d.顔回転角度fang == -90°とみなされる範囲であって左向き横臥姿勢で真横になっている状態
e.顔回転角度fang == -90°+a°とされて、角度範囲5に対応する状態、即ち、左向き横臥姿勢で、-90°からさらに時計回り方向に回転した状態
f.顔回転角度fang == -90°-a°とされて、角度範囲6に対応する状態、即ち、右向き横臥姿勢で、-90°からさらに反時計回り方向に回転した状態
つまり、顔回転角度fang == -90°±a°は、左向き横臥姿勢である、つまり、個別被写体として検出された顔が、左横向きであることを示している。ことを示している。
従って、ステップS301は、左向き、右向きにかかわらず、検出された個別被写体が横臥姿勢であるか否か、つまり、検出された顔が横向きであるか否かについて判別していることになる。
最も簡単なアルゴリズムとしては、検出された全ての個別被写体の顔回転角度がfang == +90°±a°に該当するとき、又は、検出された全ての個別被写体の顔回転角度がfang == -90°±a°に該当するときに、肯定の判別結果が成立する、とするものである。
また、例えばfang == +90°±a°に該当する個別被写体が、全体の一定以上の比率であるとき、または、fang == -90°±a°に該当する個別被写体が、全体の一定以上の比率であるときに肯定の判別結果が得られる、とするアルゴリズムも考えられる。
そこで、この場合には、ステップS302として示すように、通常姿勢対応処理を実行する。これは、実際には、図16のステップS207以降の処理を実行していくことを意味する。
ただし、この場合の図16のステップS207以降の処理は、第3例に対応した通常姿勢時の顔回転角度に応じた構図制御が組み合わされることになる。これにより、図16のステップS215としては、図31のフローチャートに示す処理を実行すべきことになる。また、図16において破線で括って示す、ステップS222〜S224の処理に代えて図32のフローチャートに示す処理を実行すべきことになる。
先の第2例においては顔方向について左、右の2段階で検出するものとしていたが、この判別処理から理解されるように、第3例、第4例の構図制御を組み合わせる場合には、左、右、正面の3段階による顔方向検出を行うようにする。これは、本実施形態としては、顔方向が正面である場合において、0°,+90°、-90°以外とみなされる顔回転角度範囲が得られるものとしていることに対応している。実際との対応では、顔方向が左か右であるときに0°以外の顔回転角度が得られてもよいし、また、顔方向が上か下向きのときに±90°以外の顔回転角度が得られてもよい。しかし、ここでは本実施形態の顔回転角度に対応する構図制御について、その説明、理解を簡単で分かりやすいものとすることの都合上、顔方向が正面の場合にのみ、顔回転角度が得られるものとしている。
ステップS402においては、左又は右の顔方向の検出結果に応じて、例えば図14のステップS115(図16のステップS215)として説明したのと同様の処理によって、(式1)を利用して水平オフセット量θxを設定する。
ステップS403以降の手順は、顔回転角度に応じて、水平オフセット量θxを設定するための処理となる。
ステップS405に進んだ場合、個別被写体について検出された顔回転角度fangは、図29の第1角度範囲又は第2角度範囲の何れかに該当するようにして含まれることになる。そこで、ステップS405では、検出された顔回転角度fangが第1角度範囲に該当するか否かについて判別する。
この場合には、ステップS407により係数D=1を設定したうえで、ステップS408により(式1)を用いた演算により、水平オフセット量θxを求める。この場合にはθx=Cx/6が設定されることになる。これにより、図18(b)に対して左右が反転して、画枠300において垂直画像領域分割線Ld1よりも右側の領域に被写体が偏倚する構図が得られる。
ステップS501においては、元の図16のステップS222と同様に、複数の個別被写体ごとに検出された顔方向が全て同一であるか否かについて判別する。なお、ここでも、第3例の構図制御との組み合わせに対応して、検出される顔方向は、左、右、正面の三段階であることとする。
ここで、正面以外(右又は左)であるとして判別された場合には、ステップS504に進み、左又は右であるとして検出された顔方向に応じて、ステップS223と同様にして(式1)を利用した演算による水平オフセット量θxを算出する。
これに対して、ステップS503にて、顔方向が正面であるとの判別結果が得られた場合には、ステップS505以降の処理に進む。
なお、この基準顔回転角度rfangを決定する処理は、ステップS502の基準顔方向決定処理に準ずればよい。また、ここでは、基準顔回転角度決定処理としては、例えば正確な角度値を求めることとしても良いが、例えば、図29との対応であれば、0°(とみなされる角度範囲)、第1角度範囲、第2角度範囲のうちの何れに該当するものであるのかを決定することとしてもよい。
このようにして、図16に、図31,図32に示した処理を適用することで、第2例に対して第3例を組み合わせた構図制御が実現できる。つまり、通常姿勢の個別被写体について、その顔方向と顔回転角度とに基づいた構図制御が実現できる。
また、先の図30においてステップS301にて肯定の判別結果が得られたことに応じては、ステップS303の横臥姿勢対応処理を実行する。この横臥姿勢対応処理は、図33のフローチャートにおけるステップS607以降の手順に相当するもので、図20〜図28により説明した構図を得るための処理となる。
ステップS616、S617によっては、ステップS6015により設定された垂直オフセット量θyに対応するy座標上に総合被写体重心Gt(被写体重心G)が位置するようにして、チルト制御を実行することになる。
この場合、個別被写体は既に横臥姿勢にあることが検出されているので、検出される顔方向としては、上、下、正面の3段階における何れかとなる。
図34のステップ701においては、個別被写体について検出された顔方向について、上、下、正面の何れであるのかを判別する。
先ず、顔方向が上であるとして判別された場合には、個別被写体は、左向き又は右向きの横臥姿勢の状態で、顔方向が下向きであることになる。この場合、ステップS704により係数D1=-1を設定する。つまり、係数D1に-1を代入する。ここでの係数D1は、次に説明する垂直オフセット量θyを算出するための(式2)において用いられる係数となる。
θy=D1×(Cy/6)/n・・・(式2)
(式2)において、係数D1は、以降の説明から理解されるように、1つの個別被写体の顔方向若しくは顔回転角度、また、複数の個別被写体の顔方向の組み合わせ(関係性)、若しくは顔回転角度の組み合わせ(関係性)に基づいて得られる係数であって、+1,0,-1の何れかが設定される。また、(式2)における変数nは、検出された個別被写体数である。図34の処理では、検出された個別被写体数は1であるから、変数n=1となる。
θy=-1×(Cy/6)/1
の演算によって、θy=-Cy/6が算出される。そして、この垂直オフセット量θy=-Cy/6に基づいてステップS616,617によるチルト制御が行われることで、図22(b)若しくは図23(b)に示した垂直方向での被写体重心Gの位置が得られる。なお、横臥姿勢が左向きと右向きの何れであるのかに応じた水平オフセット量θxの設定と、この設定に応じたパン制御は、この場合には、ステップS629により行われる。ステップS629については後述する。
ステップS702においては、個別被写体について検出された顔回転角度fangが、+90°としてみなされる角度範囲、又は-90°としてみなされる角度範囲にあるか否かについて判別する。ここで、肯定の判別結果が得られた場合には、個別被写体は、右向き横臥姿勢又は左向き横臥姿勢の状態において、顔については、ほぼ真横で、回転させるようにして傾けてはいない状態であることになる。
この場合には、ステップS706により変数D1=0を設定して、ステップS707により垂直オフセット量θy=0を算出することになる。つまり、この場合には、被写体重心Gtを、水平画像領域分割線Ld2上に位置させることになり、例えば図20(b)若しくは図21に示した垂直方向での被写体重心Gの位置が得られる。
ステップS703にて肯定の判別結果が得られた場合には、ステップS704により係数D1=−1を設定したうえで、ステップS707により垂直オフセット量θy=-Cy/6を算出する。これにより、図24(b)若しくは図25(b)に示される垂直方向での被写体重心Gの位置が得られる。
そこで、この場合には、ステップS705にて係数D1=1を設定し、ステップS707により垂直オフセット量θy=Cy/6を算出する。これにより、図24(a)若しくは図25(a)に示される垂直方向での被写体重心Gの位置が得られる。
そして、顔方向(基準顔方向)が上であるとして判別した場合には、ステップS808に進んで係数D1=-1を設定したうえで、ステップS811により、先の(式2)を利用した演算により垂直オフセット量θyを求める。この場合の垂直オフセット量θyは、負の値とされた上で、検出された個別被写体数nに応じて変化する。つまり、θy=-(Cy/6)/2として表される値をとる。
ステップS804においては、個別被写体ごとの顔回転角度fangが該当する角度範囲が、全て同一であるか否かについてについて判別する。この場合、個別被写体は、横臥姿勢であることが既に判定されている。従って、ここでの角度範囲は、図29との対応では、+90°とみなされる角度範囲、-90°とみなされる角度範囲、角度範囲3、角度範囲4、角度範囲5、角度範囲6の6つのうちの何れかとなる。一例として、全ての個別被写体の顔回転角度が、角度範囲3に該当するのであれば、ステップS804にて肯定の判別結果が得られる。
ただし、ステップS703においては+90°とみなされる角度範囲、角度範囲3、角度範囲4、-90°とみなされる角度範囲、角度範囲5、角度範囲6のうちの何れかとしての基準顔回転角度rfangを決定すべきことになる。ステップS507では、基準顔回転角度rfangとして、0°とみなされる角度範囲、角度範囲1、角度範囲2のうちの何れかにより決定する。
ステップS806にて肯定の判別結果が得られた場合には、複数の個別被写体の顔は、ほぼ真横とされて、上又は下方向に傾いているようにして回転してはいない傾向の状態であることになる。
そこで、この場合には、ステップS810により係数D1=0を設定したうえで、ステップS811により垂直オフセット量θy=0を算出する。これにより、例えば、図26(a)(b)に示した垂直方向における総合被写体重心Gtの位置が得られる。
そこで、この場合にはステップS807により、図34のステップS703と同様にして、顔回転角度fang(基準顔回転角度rfang)が、第3角度範囲と第5角度範囲のいずれかに該当するか否かについて判別し、肯定の判別結果が得られたのであれば、ステップS808により係数D1 = -1を設定する。
これにより、例えば図27(b)や図28(b)に示すような垂直方向における総合被写体重心Gtの位置が得られる。
ここでは、先ず、ステップS901により、顔回転角度fangについて、+90°±a°の範囲に該当するか否かについて判別する。つまり、+90°とみなされる角度範囲、角度範囲3、角度範囲4の何れかに該当するか否かについて判別する。これは、即ち、個別被写体が右向きの横臥姿勢であるか否かについて判別していることに相当する。
なお、個別被写体が複数の場合には、複数の個別被写体について同一であると判定された顔回転角度fang、若しくは図35のステップS805にて判定された基準顔回転角度rfangによりステップS901での判別を行う。
そこで、この場合には、ステップS903により、水平オフセット量θx=-Cx/6を設定する。
そして、ステップS629では、総合被写体重心Gtが、上記のようにして設定した水平オフセット量θxに対応するX座標に位置するようにしてパン制御を実行する。これにより、例えば図26(a)(b)などに示すように、個別被写体の横臥姿勢が左向きと右向きの何れであるのかに応じて、水平方向における総合被写体重心Gtの位置が適切に移動されることになる。
また、横臥姿勢時も同様にして、左向き横臥に対応しては、-90°±a°の範囲を、-90°、回転角度範囲5、回転角度範囲6の3段階よりもさらに多段階で検出する。また、右向き横臥に対応しても、+90°±a°の範囲を、+90°(とみなされる角度範囲)、回転角度範囲3、回転角度範囲4の3段階よりもさらに多段階で検出する。そして、この検出結果に基づいて、さらに細かく垂直オフセット量θyを可変するように構成することが考えられる。
次に、これまでに説明した顔回転角度に基づく構図制御の構成を、セルフタイマ自動起動機能に適用した例について説明する。なお、このセルフタイマ自動起動機能を適用するのに際しては、必ずしも、本実施形態の撮像システムのようにして、デジタルスチルカメラと雲台とが組み合わされる必要はない。例えばデジタルスチルカメラ1のみで対応できる。
例えばユーザは、デジタルスチルカメラ1に対する操作によって、セルフタイマ自動起動機能をオンに設定することができる。
セルフタイマ自動起動機能がオンに設定されると、デジタルスチルカメラ1は、例えば撮像により得られる画像の画枠300において、図37(a)に示すようにして、セルフタイマ起動範囲200を設定する。
この場合のセルフタイマ起動範囲20は、先ず、図37(a)において水平方向に対応する水平方向幅Wxについては、その左右において、画枠300に対して画素数b分のマージン(不感領域)が設定されている。つまり、画枠300の水平画素数をCxとすると、Wx=Cx-2bであり、かつ、Wxの中点が、Cxの中点と一致するようにされている。
また、図37(a)において垂直方向に対応する垂直方向幅Wyについても、その上下において、画枠300に対して画素数a分のマージン(不感領域)が設定されている。この場合、画枠300の垂直画素数をCyとすると、Wy=Cy-2bとされたうえで、Wyの中点が、Cxの中点と一致するようにされている。
このとき、例えば画枠300内に2つの個別被写体SBJ0,SBJ1が収まっているとしても、このうちの少なくとも何れか一方がセルフタイマ起動範囲200内に収まっていなければ、セルフタイマ撮影の動作は起動しないで待機している。
このようにして、セルフタイマ自動起動機能では、必要な数の被写体が、必ず画枠内に収まっている画内容の撮像画像データを記録することができる。
このようにして、デジタルスチルカメラ1を縦置きにした状態では、当然のこととして、セルフタイマ起動範囲200の短手方向に対応する垂直方向幅Wyも水平方向に沿うことになる。
すると、図37(b)の状態では、水平方向におけるセルフタイマ起動範囲200の幅が狭くなり、それだけ、被写体がセルフタイマ起動範囲200に収まりにくくなる。
先ず、ステップS1001において、デジタルスチルカメラ1は、画枠300において、予め設定したセルフタイマ起動条件を満たす数の個別被写体が検出されるのを待機している。
ステップS1005にて否定の判別結果が得られた場合には、ステップS1001に戻る。
ステップS1006では、セルフタイマ撮影の動作を起動させる。つまり、タイマによる計時を開始させ、タイマ時間が経過したタイミングで撮像画像の記録を実行する。
しかし、例えば図37(b)のようにして垂直方向幅Wyを拡大するという変更設定を行う結果、セルフタイマ撮影により記録される撮像画像データにおける個別被写体の位置は、垂直方向幅Wyを拡大しない場合とは変わり得る。例えば、分かりやすい例では、個別被写体が複数のとき、水平方向における個別被写体の位置としては、垂直方向幅Wyが拡大されなければ、水平方向における被写体の間の距離が短くなり、画枠のかなり中央側に全ての個別被写体が収まるような構図となる。
これに対して、垂直方向幅Wyが拡大されれば、その分、水平方向における全ての個別被写体が収まる範囲も拡大して、水平方向における被写体の間の距離が長くなって余裕のある構図となる。
つまり、本実施形態としてのセルフタイマ自動起動機能は、個別被写体について検出された顔回転角度に応じて垂直方向幅Wyを拡大するという処理によって、結果的には、垂直方向幅Wyを拡大しない場合とは異なる構図を得ることができる。この点で、セルフタイマ自動起動機能も、先の第3例、第4例の構図制御と同様にして、個別被写体の顔回転角度に応じて構図を判定しているということがいえる。
図39は、先に図7,図8に示した本実施の形態の撮像システムに対する変形例としての構成例を示している。これは、先に説明した第1例〜第4例の構図制御を実現する構成についての変形例となる。
この図では、先ず、デジタルスチルカメラ1から通信制御処理ブロック63を経由して、撮像に基づいて信号処理部24にて生成される撮像画像データを、雲台10に対して送信するようにされている。
この図においては、雲台10の構成として通信制御処理ブロック71、パン・チルト制御処理ブロック72、被写体検出処理ブロック73、及び構図制御処理ブロック74が示されている。
通信制御処理ブロック71は、図7の通信部52に対応する機能部位であって、デジタルスチルカメラ1側の通信制御処理ブロック部63(雲台対応通信部34)との通信処理を所定のプロトコルに従って実行するようにして構成される部位である。
通信制御処理ブロック71により受信された撮像画像データは、被写体検出処理ブロック73に渡される。この被写体検出ブロッ73は、例えば図8に示した被写体検出処理ブロック61と同等の被写体検出処理が少なくとも可能なだけの信号処理部を備えて構成され、取り込んだ撮像画像データを対象として被写体検出処理を実行し、その検出情報を構図制御処理ブロック74に出力する。
構図制御処理ブロック74は、図8の構図制御処理ブロック62と同等の構図制御を実行可能とされており、この構図制御処理の結果としてパン制御、チルト制御を行うときには、そのための制御信号をパン・チルト制御処理ブロック72に対して出力する。
パン・チルト制御処理ブロック72は、例えば図7における制御部51が実行する制御処理のうちで、パン・チルト制御に関する処理の実行機能に対応するもので、入力される制御信号に応じてパン機構部53、チルト機構部56の動きをコントロールするための信号をパン用駆動部55、チルト用駆動部58に対して出力する。これにより、構図制御処理ブロック62にて判定した構図が得られるようにしてパンニング、チルティングが行われる。
このようにして、図39に示す撮像システムは、デジタルスチルカメラ1から雲台10に撮像画像データを送信させることとして、雲台10側により、取り込んだ撮像画像データに基づく被写体検出処理と構図制御とを実行するようにして構成しているものである。
このシステムにおいては、雲台10側において撮像部75が備えられる。この撮像部75は、例えば撮像のための光学系と撮像素子(イメージャ)を備えて、撮像光に基づいた信号(撮像信号)を得るようにされているとともに、この撮像信号から撮像画像データを生成するための信号処理部から成る。これは、例えば図6に示した光学系部21、イメージセンサ22、A/Dコンバータ23、及び信号処理部24において撮像画像データを得るまでの信号処理段から成る部位に対応する構成となる。撮像部75により生成される撮像画像データは被写体検出処理ブロック73に出力される。なお、撮像部75が撮像光を取り込む方向(撮像方向)は、例えば雲台10に載置されるデジタルスチルカメラ1の光学系部21(レンズ部3)の撮像方向とできるだけ一致するようにして設定される。
このようにして他の変形例では、被写体検出処理と構図制御に関して、レリーズ動作自体に関する以外の全ての制御・処理を雲台10側で完結して行うことができる。
また、デジタルスチルカメラ1のイメージセンサ22から画像として有効な撮像信号を取り込むための画素領域を水平方向と垂直方向にシフトさせるという制御を行うことによっても、パンニング・チルティングが行われるのと同等の結果を得ることができる。この場合には、雲台10若しくはこれに準ずる、デジタルスチルカメラ1以外のパン・チルトのための装置部を用意する必要が無く、デジタルスチルカメラ1単体により本実施の形態としての構図制御を完結させることが可能となる。
また、光学系部21におけるレンズの光軸を水平・垂直方向に変更することのできる機構を備えて、この機構の動きを制御するように構成しても、パンニング・チルティングを行うことが可能である。
また、本願発明に基づく構図判定のための構成は、これまでに実施の形態として説明してきた撮像システム以外にも適用することができる。そこで以降、本願発明による構図判定の適用例について述べる。
このために撮像装置が備えるべき構成として、ここでは被写体検出・構図判定処理ブロック81、通知制御処理ブロック82、表示部83を示している。
被写体検出・構図判定処理ブロック81は、撮像画像データを取り込んで、例えば図8の被写体検出処理ブロック61と同等の被写体検出処理と、この被写体検出処理の結果としての検出情報を利用して、例えば図8の構図制御処理ブロックと同等の構図判定のための処理とを行うようにされた部位である。
例えばユーザは、撮像装置を撮像モードに設定したうえで、撮像装置を手に持っており、いつでもレリーズ操作(シャッターボタン操作)を行えば撮像画像の記録が行える状況にあるものとする。
このような状態の下、被写体検出・構図判定処理ブロック81では、そのときに撮像して得られる撮像画像データを取り込んで被写体検出を行う。すると構図制御処理によっては、先ず、検出された個別被写体の数等に応じて最適構図がどのようなものであるのかが特定されることになるが、この場合の構図判定処理としては、そのときに得られている撮像画像データの画内容の構図と、最適構図との一致性、類似度を求めるようにされる。そして、例えば類似度が一定以上になったときに、実際に撮影して得られている撮像画像データの画内容が最適構図になったと判定するようにされる。なお、例えば実際においては、撮像画像データの画内容の構図と最適構図とが一致したとみなされる程度の、所定以上の類似度が得られたら、最適構図と判断するようにしてアルゴリズムを構成することが考えられる。また、ここでの一致性、類似度をどのようにして求めるのかについては多様なアルゴリズムを考えることができるので、ここでは、その具体例については特に言及しない。
このようにして撮像画像データの画面内容が最適構図になったことの判定結果の情報は通知制御処理ブロック82に対して出力される。通知制御処理ブロック82は、上記の情報の入力に応じて、現在において撮像されている画像が最適構図であることをユーザに通知するための所定態様による表示が表示部83にて行われるように表示制御を実行する。なお、通知制御処理ブロック82は、撮像装置が備えるマイクロコンピュータ(CPU)などによる表示制御機能と、表示部83に対する画像表示を実現するための表示用画像処理機能などにより実現される。なお、ここでの最適構図であることのユーザへの通知は、電子音、若しくは合成音声などをはじめとした音により行われるように構成してもよい。
また、表示部83は、例えば本実施の形態のデジタルスチルカメラ1の表示部33に対応するもので、例えば撮像装置における所定位置に対してそのディスプレイパネルが表出するようにして設けられ、撮影モード時にはいわゆるスルー画といわれる、そのときに撮像されている画像が表示されることが一般的である。従って、この撮像装置の実際にあっては、表示部83において、スルー画に対して重畳される態様で最適構図であることを通知する内容の画像が表示されることになる。ユーザは、この最適構図であることを通知する表示が現れたときにレリーズ操作を行うようにされる。これにより、写真撮影の知識や技術に長けていないようなユーザであっても、良好な構図の写真撮影を簡単に行うことが可能になる。
先ず、この図に示す構成においては、図41と同様に、被写体検出・構図判定処理ブロック81により、そのときの撮像により得られる撮像画像データを取り込んで被写体検出処理を行うとともに、被写体検出情報に基づいて、上記の撮像画像データの画内容が最適構図であるか否かを判定するようにされる。そして、最適構図になったことを判定すると、このことをレリーズ制御処理ブロック84に対して通知する。
レリーズ制御処理ブロック84は、撮像画像データを記録するための制御を実行する部位とされ、例えば撮像装置が備えるマイクロコンピュータが実行する制御などにより実現される。上記の通知を受けたレリーズ制御処理ブロック84は、そのときに得られている撮像画像データが、例えば記憶媒体に記憶されるようにして画像信号処理、記録制御処理を実行する。
このような構成であれば、例えば最適な構図の画像が撮像されたときには、自動的にその撮像画像の記録が行われるようにした撮像装置を得ることができる。
この図においては編集装置90が示されている。ここでの編集装置90は、既に存在する画像データとして、例えば記憶媒体に記憶されていたものを再生して得た画像データ(再生画像データ)を得るようにされている。なお、記憶媒体から再生したものの他に、例えばネットワーク経由でダウンロードしたものを取り込んでもよい。即ち、編集装置90が取り込むべき撮像画像データをどのような経路で取得するのかについては、特に限定されるべきものではない。
先ず、被写体検出・構図判定処理ブロック92は、例えば先ず、図41、図42と同様の被写体検出処理を実行して検出情報を出力する。そして、この検出情報を利用した構図判定処理として、この場合には、入力される再生撮像画像データとしての全画面において、最適構図が得られるとされる所定の縦横比による画像部分(最適構図の画像部分)がどこであるのかを特定する。そして、最適構図の画像部分が特定されると、例えばその画像部分の位置を示す情報(トリミング指示情報)をトリミング処理ブロック91に対して出力する。
トリミング処理ブロック91は、上記のようにしてトリミング指示情報が入力されたことに応答して、入力される再生撮像画像データから、トリミング指示情報が示す画像部分を抜き出すための画像処理を実行し、抜き出した画像部分を1つの独立した画像データとして出力する。これが編集撮像画像データとなる。
このような構成であれば、例えば画像データの編集処理として、元々ある画像データの画内容から最適構造となる部分を抜き出した内容の画像データを新規に得るというトリミングが自動的に行われることになる。このような編集機能は、例えばパーソナルコンピュータなどにインストールされる画像データ編集のためのアプリケーションであるとか、画像データを管理するアプリケーションにおける画像編集機能などで採用することが考えられる。
ここでは図示していない撮像部により撮像して得られる撮像画像データは、撮像装置100内の被写体検出・構図判定処理ブロック101、ファイル作成処理ブロック103に対して入力することとしている。なお、この場合において、撮像装置100内に入力された撮像画像データは、例えばレリーズ操作などに応じて記憶媒体に記憶されるべきこととなった撮像画像データであり、ここでは図示していない、撮像部での撮像により得られた撮像信号を基に生成されたものである。
先ず被写体検出・構図判定処理ブロック101では、入力された撮像画像データを対象に被写体検出を行い、その検出情報に基づいて最適構図がどのようなものであるのかを判定するようにされる。具体的には、例えば図43の場合と同様にして、入力された撮像画像データの全画面において最適構図となる画像部分を特定した情報が得られるようにされればよい。そして、このようにして得た最適構図についての判定結果を表す情報を、メタデータ作成処理ブロック102に対して出力する。
メタデータ作成処理ブロック102では、入力された情報に基づいて、対応する撮像画像データから最適構図を得るために必要な情報から成るメタデータ(構図編集メタデータ)を作成し、ファイル作成処理ブロック103に対して出力する。この構図編集メタデータの内容としては、例えば、対応する撮像画像データとしての画面においてトリミングする画像領域部分がどこであるのかを示し得る位置情報などとなる。
この図に示す撮像装置100では、撮像画像データについて、所定形式による静止画像ファイルとして管理されるようにして記憶媒体に記録するものとされる。これに対応して、ファイル作成処理ブロック103は、撮像画像データを、静止画像ファイル形式に変換(作成)する。
ファイル作成処理ブロック103は、先ず、入力される撮像画像データについて、画像ファイル形式に対応した画像圧縮符号化を行い、撮像画像データから成るファイル本体部分を作成する。これとともに、メタデータ作成処理ブロック102から入力された構図編集メタデータを、所定の格納位置に対して格納するようにしてヘッダ及び付加情報ブロックなどのデータ部分を作成する。そして、これらファイル本体部分、ヘッダ、付加情報ブロックなどから静止画像ファイルを作成し、これを出力する。これにより、図示するようにして、記憶媒体に記録すべき静止画像ファイルとしては、撮像画像データとともにメタデータ(構図編集メタデータ)が含まれる構造を有したものが得られることになる。
図に示す編集装置110は、静止画像ファイルのデータを取り込んで、先ずメタデータ分離処理ブロック111に入力する。メタデータ分離処理ブロック111は、静止画像ファイルのデータから、ファイル本体部分に相当する撮像画像データとメタデータとを分離する。分離して得られたメタデータについてはメタデータ解析処理ブロック112に対して出力し、撮像画像データについてはトリミング処理ブロック113に対して出力する。
トリミング処理ブロック113は、先の図43のトリミング処理ブロック91と同様に、メタデータ解析処理ブロック111側から入力した撮像画像データから、上記メタデータ分離処理ブロック112から入力されるトリミング指示情報が示す画像部分を抜き出すための画像処理を実行し、抜き出した画像部分を1つの独立した画像データである、編集撮像画像データとして出力する。
この図に示す撮像装置120には、動画像データが入力される。この動画像データは、例えば同じ撮像装置120が有するとされる撮像部により撮像を行って得られる撮像信号に基づいて生成されるものである。この動画像データは、撮像装置120における被写体検出・構図判定処理ブロック122、及び動画像記録処理ブロック124に対して入力される。
この場合の被写体検出・構図判定処理ブロック122は、入力されてくる動画像データについての構図の良否判定を行う。例えば、被写体検出・構図判定処理ブロック122では、予め良好とされる構図がどのようなものであるのかについてのパラメータ(良好構図対応パラメータ)を保持している。このパラメータとしては、検出される個別被写体数と、個別被写体ごとに検出して得た顔方向の情報に応じて適切であるとして設定された目標被写体サイズや水平オフセット量θxなどとなる、そして、被写体検出・構図判定処理ブロック122は、入力されてくる動画像データについて、例えば継続的にどのような構図となっているかについての構図判定を行う(例えば動画像データにおける実際の個別被写体の占有率、被写体間距離Kなどの構図パラメータを求める)と共に、この判定結果として得られた動画像データの構図パラメータと、上記の良好構図パラメータとを比較する。そして、動画像データの構図パラメータが良好構図対応パラメータに対して一定以上の類似度を有していれば良好な構図であると判定され、上記類似度が一定以下であれば、良好な構図ではないと判定される。
被写体検出・構図判定処理ブロック122は、上記のようにして動画像データについて良好な構図が得られていると判定したときには、メタデータ作成処理ブロック123に対して、動画像データにおいて、今回、上記の良好な構図が得られていると判定した画像区間(良好構図画像区間)がどこであるのかを示す情報(良好構図画像区間指示情報)を出力する。良好構図画像区間指示情報)は、例えば動画像データにおける良好構図画像区間としての開始位置と終了位置を示す情報などとされる。
動画像記録処理ブロック124は、入力された動画像データについて、所定形式による動画像ファイルとして管理されるようにして記憶媒体に記録するための制御を実行する。そして、メタデータ作成処理ブロック123からメタデータが出力されてきた場合には、このメタデータが、動画像ファイルに付随するメタデータに含められるようにして記録されるようにするための制御を実行する。
これにより、図示するようにして、記憶媒体に記録される動画像ファイルは、撮像により得られたとする動画像データに、良好な構図が得られている画像区間を示すメタデータが付随された内容を有することになる。
なお、上記のようにしてメタデータにより示される、良好な構図が得られている画像区間は、或る程度の時間幅を有する動画像による画像区間とされてもよいし、動画像データから抜き出した静止画像によるものとされてもよい。また、上記のメタデータに代えて、良好な構図が得られている画像区間の動画像データ若しくは静止画像データを生成して、これを動画像ファイルに付随する副次的な画像データ静止画像データ(或いは動画像ファイルと独立したファイル)として記録する構成も考えられる。
また、図46に示されるようにして、撮像装置120に対して被写体検出・構図判定処理ブロック122を備える構成では、被写体検出・構図判定処理ブロック122により良好構図画像区間であると判定された動画像の区間のみを動画像ファイルとして記録するように構成することも考えられる。さらには、被写体検出・構図判定処理ブロック122により良好構図であると判定された画像区間に対応する画像データを、データインターフェースなどを経由して外部機器に出力するような構成も考えることができる。
この場合には、印刷装置130が、印刷すべき画像内容を有する画像データ(静止画)を取り込むこととされており、このようにして取り込んだデータは、トリミング処理ブロック131、及び被写体検出・構図判定処理ブロック132に対して入力される。
先ず、被写体検出・構図判定処理ブロック132は、図43の被写体検出・構図判定処理ブロック92と同様の被写体検出処理・構図判定処理を実行することで、入力される画像データの全画面における最適構図の画像部分を特定する処理を実行し、この処理結果に応じた内容のトリミング指示情報を生成してトリミング処理ブロック131に対して出力する。
トリミング処理ブロック131は、図43のトリミング処理ブロック91と同様にして、入力した画像データから、トリミング指示情報が示す画像部分を抜き出すための画像処理を実行する。そして、この抜き出した画像部分のデータを、印刷用画像データとして印刷制御処理ブロック133に対して出力する。
印刷制御処理ブロック133は、入力された印刷用画像データを利用して、ここでは図示していない印刷機構を動作させるための制御を実行する。
このような動作により、印刷装置130によっては、入力した画像データの画内容から、最適構図が得られているとされる画像部分が自動的に抜き出されて、1枚の画として印刷されることになる。
記憶部141には、多数の静止画像ファイルが記憶される。
被写体検出・構図判定処理ブロック142は、所定のタイミングで、記憶部141に記憶されている静止画ファイルを取り込み、そのファイル本体部に格納される静止画像データを取り出す。そして、この静止画像データを対象として、例えば図44の被写体検出・構図判定処理ブロック101と同様の処理を実行して最適構図についての判定結果を表す情報を得て、この情報をメタデータ作成処理ブロック143に対して出力する。
静止画像ファイル出力処理ブロック144においては、内部のメタデータ解析処理ブロックにより、取り込んだメタデータを解析してトリミング指示情報を得る。そして、同じ内部のトリミング処理ブロックにより、取り込んだ静止画像ファイルに格納される静止画像データを対象として、上記トリミング指示情報に応じたトリミングを実行する。そして、トリミングにより得られた画像部分を改めて1つの静止画像データとして生成し、これを出力する。
例えば、1つにはネットワーク経由での写真のプリントサービスに適用できる。つまり、ユーザは、プリントサービスのサーバに、プリント(印刷)してもらいたい画像データ(静止画像ファイル)をネットワーク経由でアップロードする。サーバでは、このようしてアップロードされてきた静止画像ファイルを記憶部141に記憶しておき、このファイルに対応するメタデータも作成してメタデータテーブルに登録しておく。そして、実際に印刷出力するときには、静止画像ファイル出力処理ブロック144により、最適構図を抜き出した静止画像データを印刷用の画像データとして出力する。つまり、このサービスによっては、写真プリントを依頼すると、最適構図に補正されてプリントされたものが送られてくるものである。
また、被写体検出の対象となる画像データは、撮像に由来して得られるもの(撮像画像データ)のみに限定されるべきものではなく、例えば、絵であるとかデザイン画などの画内容を有する画像データを対象とすることも考えられる。
また、本願発明のもとで判定される構図(最適構図)は、必ずしも、三分割法などの構図設定手法に対して、検出された個別被写体の数の要素を加味する手法によって決定された構図に限定されるものではない。例えば一般的には良くないとされる構図であっても、構図の設定次第では、ユーザがおもしろみを感じたり、かえって良いと感じるような場合もあると考えられる。従って、本願発明のもとで判定される構図(最適構図)としては、実用性、エンタテイメント性などを考慮して任意に設定されればよく、実際においては特に制限はない。
Claims (10)
- 画像データに基づく画像における特定の被写体を検出する被写体検出手段と、
上記被写体検出手段により検出される被写体である検出被写体ごとに、上記検出被写体に対応する画像部分における特定の対象部位についての、上記画像内での回転角度を検出する回転角度検出手段と、
上記画像に対して画像領域分割線を設定したうえで、上記回転角度に応じて移動量を求め、上記画像内の1以上の上記検出被写体から成る画像部分に設定した重心を、上記画像領域分割線から上記移動量分により移動させた位置とした構図を判定結果として得る構図判定手段と、
を備える構図判定装置。 - 上記構図判定手段は、
上記回転角度について、上記検出被写体の特定の対象部位が縦向きとみなされる角度範囲に該当する場合には、上記画像に対して、垂直方向の上記画像領域分割線を設定する、
請求項1に記載の構図判定装置。 - 上記構図判定手段は、
上記回転角度について、上記検出被写体の特定の対象部位が横向きとみなされる角度範囲に該当する場合には、上記画像に対して、水平方向の上記画像領域分割線を設定する、
請求項1又は請求項2に記載の構図判定装置。 - 上記構図判定手段は、
複数の検出被写体ごとの回転角度が全て同じとなる関係である場合には、この全て同じとされた回転角度に基づいて構図を判定する、
請求項1乃至請求項3の何れかに記載の構図判定装置。 - 上記構図判定手段は、
複数の検出被写体ごとの回転角度が全て同じではないとされる関係である場合には、複数の検出被写体の総体について基準となる基準回転角度を決定し、
この決定された基準回転角度に基づいて構図を判定する、
請求項1乃至請求項4の何れかに記載の構図判定装置。 - 上記構図判定手段は、
上記判定結果として得る構図において、上記画像領域分割線から上記重心までの上記移動量については、上記検出被写体の数に基づいて設定する、
請求項1乃至請求項5の何れかに記載の構図判定装置。 - 上記構図判定手段は、
上記回転角度について、上記検出被写体の特定の対象部位が横向きとみなされる角度範囲に該当する場合には、上記画像の画枠内に設定する範囲枠の短手方向の幅を、上記検出被写体の特定の対象部位が縦向きとみなされる角度範囲に該当する場合よりも拡大して設定するとともに、
上記範囲枠に対して検出被写体が収まったとされる状態を検出したことに応じて、このときの画像データを記録媒体に記録する記録手段をさらに備える、
請求項1乃至請求項6の何れかに記載の構図判定装置。 - 撮像装置部と、
上記撮像装置部の撮像視野範囲を変更するようにして可動する機構を有する可動装置部と、
上記撮像装置部が撮像して得られる撮像画像の画像データを取得する画像データ取得手段と、
上記画像データに基づく画像における特定の被写体を検出する被写体検出手段と、
上記被写体検出手段により検出される被写体である検出被写体ごとに、上記検出被写体に対応する画像部分における特定の対象部位についての、上記画像内での回転角度を検出する回転角度検出手段と、
上記画像に対して画像領域分割線を設定したうえで、上記回転角度に応じて移動量を求め、上記画像内の1以上の上記検出被写体から成る画像部分に設定した重心を、上記画像領域分割線から上記移動量分により移動させた位置とした構図を判定結果として得る構図判定手段と、
上記構図判定手段により判定された構図が得られるための上記撮像視野範囲となるように、少なくとも上記可動装置部の制御を実行する構図制御手段と、
を備える撮像システム。 - 画像データに基づく画像における特定の被写体を検出する被写体検出手順と、
上記被写体検出手順により検出される被写体である検出被写体ごとに、上記検出被写体に対応する画像部分における特定の対象部位についての、上記画像内での回転角度を検出する回転角度検出手順と、
上記画像に対して画像領域分割線を設定したうえで、上記回転角度に応じて移動量を求め、上記画像内の1以上の上記検出被写体から成る画像部分に設定した重心を、上記画像領域分割線から上記移動量分により移動させた位置とした構図を判定結果として得る構図判定手順と、
を実行する構図判定方法。 - 構図判定装置に、
画像データに基づく画像における特定の被写体を検出する被写体検出手順と、
上記被写体検出手順により検出される被写体である検出被写体ごとに、上記検出被写体に対応する画像部分における特定の対象部位についての、上記画像内での回転角度を検出する回転角度検出手順と、
上記画像に対して画像領域分割線を設定したうえで、上記回転角度に応じて移動量を求め、上記画像内の1以上の上記検出被写体から成る画像部分に設定した重心を、上記画像領域分割線から上記移動量分により移動させた位置とした構図を判定結果として得る構図判定手順と、
を実行させるためのプログラム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009172327A JP5359645B2 (ja) | 2009-07-23 | 2009-07-23 | 構図判定装置、撮像システム、構図判定方法、プログラム |
US12/797,993 US8908057B2 (en) | 2009-07-23 | 2010-06-10 | Composition determination device, imaging system, composition determination method, and program |
TW099122328A TW201127029A (en) | 2009-07-23 | 2010-07-07 | Composition determination device, imaging system, composition determination method, and program |
CN201010233543XA CN101964872A (zh) | 2009-07-23 | 2010-07-19 | 构图确定器件、成像系统、构图确定方法以及程序 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009172327A JP5359645B2 (ja) | 2009-07-23 | 2009-07-23 | 構図判定装置、撮像システム、構図判定方法、プログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2011029831A JP2011029831A (ja) | 2011-02-10 |
JP2011029831A5 JP2011029831A5 (ja) | 2012-07-12 |
JP5359645B2 true JP5359645B2 (ja) | 2013-12-04 |
Family
ID=43496967
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009172327A Expired - Fee Related JP5359645B2 (ja) | 2009-07-23 | 2009-07-23 | 構図判定装置、撮像システム、構図判定方法、プログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US8908057B2 (ja) |
JP (1) | JP5359645B2 (ja) |
CN (1) | CN101964872A (ja) |
TW (1) | TW201127029A (ja) |
Families Citing this family (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5206095B2 (ja) | 2008-04-25 | 2013-06-12 | ソニー株式会社 | 構図判定装置、構図判定方法、プログラム |
JP5453953B2 (ja) * | 2009-06-24 | 2014-03-26 | ソニー株式会社 | 可動機構部制御装置、可動機構部制御方法、プログラム |
JP5347802B2 (ja) * | 2009-07-27 | 2013-11-20 | ソニー株式会社 | 構図制御装置、撮像システム、構図制御方法、プログラム |
JP5434338B2 (ja) | 2009-07-29 | 2014-03-05 | ソニー株式会社 | 撮像制御装置、撮像方法、プログラム |
JP5434339B2 (ja) | 2009-07-29 | 2014-03-05 | ソニー株式会社 | 撮像制御装置、撮像システム、撮像方法、プログラム |
US8605158B2 (en) | 2009-12-28 | 2013-12-10 | Sony Corporation | Image pickup control apparatus, image pickup control method and computer readable medium for changing an image pickup mode |
JP5803184B2 (ja) * | 2010-11-19 | 2015-11-04 | 株式会社リコー | 画像投影装置、メモリアクセス方法 |
JP5978639B2 (ja) * | 2012-02-06 | 2016-08-24 | ソニー株式会社 | 画像処理装置、画像処理方法、プログラム、及び記録媒体 |
JP2013172446A (ja) * | 2012-02-23 | 2013-09-02 | Sony Corp | 情報処理装置、端末装置、撮像装置、情報処理方法、及び撮像装置における情報提供方法 |
US10006909B2 (en) | 2012-09-28 | 2018-06-26 | Vibrant Holdings, Llc | Methods, systems, and arrays for biomolecular analysis |
JP6107844B2 (ja) * | 2015-01-28 | 2017-04-05 | カシオ計算機株式会社 | 検出装置、検出制御方法、及びプログラム |
JP6565212B2 (ja) * | 2015-02-24 | 2019-08-28 | セイコーエプソン株式会社 | 表示装置、表示方法およびプログラム |
JP6584259B2 (ja) * | 2015-09-25 | 2019-10-02 | キヤノン株式会社 | 像ブレ補正装置、撮像装置および制御方法 |
CN105657265A (zh) * | 2016-01-06 | 2016-06-08 | 卢锦霞 | 一种全自动拍摄成像系统及方法 |
US10498968B1 (en) * | 2017-03-01 | 2019-12-03 | Altia Systems, Inc. | Intelligent zoom method and video system implementing same |
CN107018322B (zh) * | 2017-03-09 | 2020-02-11 | Oppo广东移动通信有限公司 | 旋转摄像头辅助构图的控制方法、控制装置及电子装置 |
CN110221626B (zh) * | 2019-06-06 | 2022-03-25 | 睿魔智能科技(深圳)有限公司 | 一种跟拍控制方法、装置、计算机设备及存储介质 |
JP7383438B2 (ja) * | 2019-09-27 | 2023-11-20 | キヤノン株式会社 | 撮像制御装置、撮像装置、及び撮像制御方法 |
CN111277752B (zh) * | 2020-01-22 | 2021-08-31 | Oppo广东移动通信有限公司 | 提示方法、装置、存储介质及电子设备 |
US20230252183A1 (en) * | 2020-05-18 | 2023-08-10 | Sony Group Corporation | Information processing apparatus, information processing method, and computer program |
JP2022128941A (ja) * | 2021-02-24 | 2022-09-05 | キヤノン株式会社 | 撮像装置、コンピュータプログラム、記憶媒体及び撮像装置の制御方法 |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0614698B2 (ja) | 1983-05-13 | 1994-02-23 | 株式会社日立製作所 | 自動追尾カメラ |
EP1107584B1 (en) | 1999-12-03 | 2008-08-27 | Fujinon Corporation | Automatic following device |
JP2001268425A (ja) | 2000-03-16 | 2001-09-28 | Fuji Photo Optical Co Ltd | 自動追尾装置 |
JP2003219239A (ja) * | 2002-01-24 | 2003-07-31 | Canon I-Tech Inc | デジタルカメラ |
JP4333223B2 (ja) * | 2003-06-11 | 2009-09-16 | 株式会社ニコン | 自動撮影装置 |
US7574016B2 (en) * | 2003-06-26 | 2009-08-11 | Fotonation Vision Limited | Digital image processing using face detection information |
US7565030B2 (en) * | 2003-06-26 | 2009-07-21 | Fotonation Vision Limited | Detecting orientation of digital images using face detection information |
JP4130641B2 (ja) * | 2004-03-31 | 2008-08-06 | 富士フイルム株式会社 | ディジタル・スチル・カメラおよびその制御方法 |
JP4770178B2 (ja) * | 2005-01-17 | 2011-09-14 | ソニー株式会社 | カメラ制御装置、カメラシステム、電子会議システムおよびカメラ制御方法 |
JP2006221355A (ja) * | 2005-02-09 | 2006-08-24 | Hitachi Ltd | 監視装置及び監視システム |
JP4478093B2 (ja) * | 2005-10-17 | 2010-06-09 | 富士フイルム株式会社 | 対象画像検索装置およびディジタル・カメラならびにそれらの制御方法 |
JP4427515B2 (ja) * | 2006-01-27 | 2010-03-10 | 富士フイルム株式会社 | 対象画像検出表示制御装置およびその制御方法 |
JP2007274017A (ja) * | 2006-03-30 | 2007-10-18 | Fujifilm Corp | 自動トリミング方法および装置ならびにプログラム |
JP2008277904A (ja) * | 2007-04-25 | 2008-11-13 | Sony Corp | 画像処理装置、画像方向判別方法及び画像方向判別プログラム、再生装置、再生方法及び再生プログラム、並びにデジタルスチルカメラ |
JP5115139B2 (ja) | 2007-10-17 | 2013-01-09 | ソニー株式会社 | 構図判定装置、構図判定方法、プログラム |
JP5048468B2 (ja) * | 2007-11-28 | 2012-10-17 | 富士フイルム株式会社 | 撮像装置およびその撮像方法 |
US8111874B2 (en) * | 2007-12-04 | 2012-02-07 | Mediatek Inc. | Method and apparatus for image capturing |
JP4944055B2 (ja) * | 2008-03-19 | 2012-05-30 | 富士フイルム株式会社 | 撮像装置及び撮像制御方法 |
-
2009
- 2009-07-23 JP JP2009172327A patent/JP5359645B2/ja not_active Expired - Fee Related
-
2010
- 2010-06-10 US US12/797,993 patent/US8908057B2/en not_active Expired - Fee Related
- 2010-07-07 TW TW099122328A patent/TW201127029A/zh unknown
- 2010-07-19 CN CN201010233543XA patent/CN101964872A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
CN101964872A (zh) | 2011-02-02 |
US20110019021A1 (en) | 2011-01-27 |
TW201127029A (en) | 2011-08-01 |
JP2011029831A (ja) | 2011-02-10 |
US8908057B2 (en) | 2014-12-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5359645B2 (ja) | 構図判定装置、撮像システム、構図判定方法、プログラム | |
JP5115139B2 (ja) | 構図判定装置、構図判定方法、プログラム | |
JP4894712B2 (ja) | 構図判定装置、構図判定方法、プログラム | |
US8594390B2 (en) | Composition determination device, composition determination method, and program | |
JP4640456B2 (ja) | 画像記録装置、画像記録方法、画像処理装置、画像処理方法、プログラム | |
JP5407640B2 (ja) | 画像対応装置、動作設定方法、プログラム | |
JP5434339B2 (ja) | 撮像制御装置、撮像システム、撮像方法、プログラム | |
US8908916B2 (en) | Control apparatus, control method, and program to search for a subject and automatically perform image-recording | |
JP2010147769A (ja) | 撮像システム、画像提示方法、プログラム | |
JP5347802B2 (ja) | 構図制御装置、撮像システム、構図制御方法、プログラム | |
JP5440588B2 (ja) | 構図判定装置、構図判定方法、プログラム | |
JP2010074399A (ja) | 構図判定装置、構図判定方法、画像処理装置、画像処理方法、プログラム | |
JP5098917B2 (ja) | 構図判定装置、構図判定方法、プログラム | |
JP2011061857A (ja) | 画像処理装置、画像処理方法、プログラム、撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20110812 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120530 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120530 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130418 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130423 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130531 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130806 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130819 |
|
LAPS | Cancellation because of no payment of annual fees |