JP2007235399A - 自動撮影装置 - Google Patents

Abstract

【課題】その場の状況に適応したカメラポジショニングを伴うカメラワーク制御で撮影することで、後で見返したくなるような映像を生成するための装置を提供する。
【解決手段】 状況をセンシングして得られたデータに基づき、その場の状況を把握する状況把握手段と、前記状況把握手段により把握された状況に関する情報に基づき、カメラのポジショニングを伴う撮影方法を設計する撮影方法設計手段と、前記撮影設計手段により設計された撮影方法通りに撮影することを指令する撮影指令手段とを備える。
【選択図】図２

Description

本発明は、状況を解析することで、状況に応じたカメラワーク制御で撮影する技術に関する。

近年、監視カメラの分野等で、固定位置から自動的に被写体を認識して、カメラの撮影方向を制御することにより被写体を撮影する技術がある。例えば、監視領域をカメラシステムを用いて監視し、この監視対象領域での侵入者を追尾する技術がある（特許文献１参照）。更に、移動体に搭載されたカメラによって、移動体自体も被写体を追尾しカメラ制御により被写体を撮影する技術がある。例えば、監視端末がカメラと監視領域を移動するための移動手段とを備え、監視領域内に複数の侵入者があっても監視体制を整えるようにする技術がある（特許文献２参照）。また、自動撮影の分野で、空間内を移動する対象を自動追尾して、カメラワーク制御により撮影する技術がある（特許文献３参照）。
特開２００１−３１９２７９号公報 特開２００４−３２８４８４号公報 特開平９−３２２０５１号公報

従来技術では、監視カメラの分野等において、固定カメラにより被写体を認識して、カメラの撮影方向を制御し、被写体を追尾する方法、もしくは、移動体に搭載されたカメラによって、移動体自体が被写体を追尾して、カメラ制御により被写体を撮影する方法が取られている。しかしながら、上述のようなカメラ制御では、監視用に被写体の追尾はできても、被写体をどう捉えるかといったカメラワークの視点が抜けており、撮影された映像の品質は保証されていない。また、自動撮影の分野においては、広角画像を撮影するセンサカメラを用いて、固定位置から被写体の動きに適応したカメラワークで撮影する方法がある。しかしながら、固定位置に置かれたカメラによるパン、チルト等だけのカメラワーク制御による撮影では、後で見返したくなるような映像は生成できない。本来、できあがる映像の品質を重視した場合、カメラ自身の最適なポジショニングにより、被写体に対する回りこみ撮影等を可能にするカメラワークで撮影されるべきである。

本発明は、前記従来技術の課題を解決するもので、逐次的に状況を解析し、状況に適応したカメラポジショニングを伴うカメラワーク制御で撮影することで、後で見返したくなるような映像を生成することを目的とする。

前記従来の課題を解決するために、本発明の自動撮影装置は、状況をセンシングして得られたデータに基づき、その場の状況を把握する状況把握手段と、前記状況把握手段により把握された状況に関する情報に基づき、カメラのポジショニングを伴う撮影方法を設計する撮影方法設計手段と、前記撮影設計手段により設計された撮影方法通りに撮影することを指令する撮影指令手段とを備えることを特徴とする。

本発明の映像生成装置によれば、上述の構成を備えることにより、状況を解析して、状況に適応したカメラポジションを伴うカメラワーク制御で撮影することを指令することができる。
また、状況をセンシングして得られたデータに基づき、その場の状況を把握する状況把握手段と、前記状況把握手段により把握された状況に関する情報に基づき、カメラのポジショニングを伴う撮影方法を設計する撮影方法設計手段と、前記撮影設計手段により設計された撮影方法通りに撮影する撮影手段とを備えることを特徴とする。

これにより、状況を解析して、状況に適応したカメラポジションを伴うカメラワーク制御で撮影することができる。
また、前記状況把握手段は、その場にいる被写体の位置、速度、加速度、顔の向き、顔の向き変化、視線の向き、視線の向き変化のいずれか、もしくは複数を把握することを特徴とする。

これにより、その場にいる被写体の位置、速度、加速度、顔の向き、顔の向き変化、視線の向き、視線の向き変化といった状況を把握することができる。
また、前記自動撮影装置は、更に、前記状況把握手段により把握された被写体の位置、速度、加速度、顔の向き、顔の向き変化、視線の向き、視線の向き変化のいずれか、もしくは複数に基づき、複数の被写体をクラスタリングする被写体クラスタ算出手段とを備えることを特徴とする。

これにより、被写体の位置、速度、加速度、顔の向き、顔の向き変化、視線の向き、視線の向き変化に基づき、被写体をクラスタリングすることができる。
また、前記自動撮影装置は、更に、前記被写体クラスタ算出手段により算出された被写体クラスタに属する被写体の位置重心を抽出する被写体重心抽出手段とを備えることを特徴とする。

これにより、被写体クラスタに属する被写体の位置重心を抽出することができる。
また、前記自動撮影装置は、更に、前記状況把握手段により把握された被写体の位置、速度、加速度、顔の向き、顔の向き変化、視線の向き、視線の向き変化のいずれか、もしくは複数に基づき、被写体が注目するポイントを抽出する注目ポイント抽出手段とを備えることを特徴とする。

これにより、被写体の位置、速度、加速度、顔の向き、顔の向き変化、視線の向き、視線の向き変化に基づき、被写体が注目する注目ポイントを抽出することができる。
また、前記自動撮影装置は、更に、前記注目ポイント抽出手段により抽出された注目ポイントに存在する被写体の位置重心を抽出する注目ポイント重心抽出手段とを備えることを特徴とする。

これにより、注目ポイントに存在する被写体の位置重心を抽出することができる。
また、前記自動撮影装置は、更に、前記被写体重心抽出手段により抽出された被写体の位置重心に基づき、撮影の基準となる撮影ラインを設定する撮影ライン設定手段とを備えることを特徴とする。
これにより、被写体の位置重心に基づき、撮影の基準となる撮影ラインを設定することができる。

また、前記自動撮影装置は、更に、前記注目ポイント重心抽出手段により抽出された注目ポイントの位置重心に基づき、撮影の基準となる撮影ラインを設定する撮影ライン設定手段とを備えることを特徴とする。
これにより、注目ポイントの位置重心に基づき、撮影の基準となる撮影ラインを設定することができる。

また、前記自動撮影装置は、更に、前記状況把握手段により把握された被写体の位置、速度、加速度、顔の向き、顔の向き変化、視線の向き、視線の向き変化のいずれか、もしくは複数に基づき、被写体を撮影する撮影スポットを設定する撮影スポット設定手段とを備えることを特徴とする。
これにより、被写体の位置、速度、加速度、顔の向き、顔の向き変化、視線の向き、視線の向き変化に基づき、被写体を撮影する撮影スポットを設定することができる。

また、前記自動撮影装置は、更に、前記撮影スポット設定手段により設定された撮影スポットに基づき、撮影装置が撮影スポットまで移動する経路を設計する移動経路設計手段とを備えることを特徴とする。
これにより、撮影スポットに基づき、撮影装置が撮影スポットまで移動する経路を設計することができる。

また、前記撮影方法設計手段は、前記状況把握手段により把握された被写体の位置、速度、加速度、顔の向き、顔の向き変化、視線の向き、視線の向き変化のいずれか、もしくは複数に基づき、複数の撮影装置で撮影される場合、表示装置に表示する撮影映像を撮影装置間で切り換える方法を設計することを特徴とする。
これにより、被写体の位置、速度、加速度、顔の向き、顔の向き変化、視線の向き、視線の向き変化に基づき、複数の撮影装置で撮影される場合、表示装置に表示する撮影映像を撮影装置間で切り換える方法を設計することができる。

また、前記撮影方法設計手段は、撮影ライン設定手段により設定された撮影ラインに基づき、複数の撮影装置で撮影される場合、表示装置に表示する撮影映像を撮影装置間で切り換える方法を設計することを特徴とする。
これにより、撮影ラインに基づき、複数の撮影装置で撮影される場合、表示装置に表示する撮影映像を撮影装置間で切り換える方法を設計することができる。

また、前記撮影方法設計手段は、前記状況把握手段により把握された被写体の位置、速度、加速度、顔の向き、顔の向き変化、視線の向き、視線の向き変化のいずれか、もしくは複数に基づき、カメラワーク制御の方法を設計することを特徴とする。
これにより、被写体の位置、速度、加速度、顔の向き、顔の向き変化、視線の向き、視線の向き変化に基づき、カメラワーク制御の方法を設計することができる。

また、前記撮影方法設計手段は、前記被写体重心抽出手段により抽出された被写体の位置重心に基づき、カメラワーク制御の方法を設計すること特徴とする。
これにより、被写体の位置重心に基づき、カメラワーク制御の方法を設計することができる。
また、前記撮影方法設計手段は、前記注目ポイント重心抽出手段により抽出された注目ポイントの位置重心に基づき、カメラワーク制御の方法を設計すること特徴とする。

これにより、注目ポイントの位置重心に基づき、カメラワーク制御の方法を設計することができる。
また、前記撮影方法設計手段は、撮影ライン設定手段により設定された撮影ラインに基づき、カメラワーク制御の方法を設計すること特徴とする。
これにより、撮影ラインに基づき、カメラワーク制御の方法を設計することができる。

また、前記撮影方法設計手段は、撮影スポット設定手段により設定された撮影スポットに基づき、カメラワーク制御の方法を設計すること特徴とする。
これにより、撮影スポットに基づき、カメラワーク制御の方法を設計することができる。

以下本発明の実施の形態について、図面を参照しながら説明する。
（実施の形態１）
図１は、本発明の実施の形態１における概念図である。室内や公園等において、上部からその場の状況を解析する装置（指令装置１）が、カメラを搭載した気球（撮影装置２）に状況に応じた移動および撮影の指令を出しており、その指令に基づいて撮影装置２同士が指令装置１を介して情報を交換しながら移動および撮影をし、撮影映像を表示装置３に映し出している様子を示す図である。

図２は、指令装置１の内部構成と、指令装置１が撮影装置２と情報交信するシステム構成を示す図である。指令装置１は、状況センシング部１０１、被写体把握部１０２、被写体重心抽出部１０３、撮影装置把握部１０４、注目ポイント抽出部１０５、撮影ライン設定部１０６、撮影スポット設定部１０７、移動経路設計部１０８、状況変化把握部１０９、撮影方法設計部１１０とから構成される。

状況センシング部１０１は、その場の真上から大きく全方位に捉え、被写体等をセンシングする。
被写体把握部１０２は、状況センシング部１０１により得られた各種センシングデータをもとに画像認識等の処理を施すことで、特にｘｙ軸２次元平面上において被写体の位置、速度、加速度等を随時把握する。更に、被写体の顔の向き（視線の向き）も検出する。もしくは、被写体にタグが付与されていれば、そのタグ情報から被写体の状況を把握する。また、被写体の位置関係、疎密や動き等の情報から、複数の被写体をクラスタリングして、被写体を群として把握する。例えば、同じ方向（同じ地点）に向かっている被写体や近い位置に密集している被写体を同じクラスタとして把握する。被写体や他オブジェクト等の高さやｚ軸方向の情報についても、詳しくは撮影装置２とも協調して状況を把握する。

撮影装置把握部１０４は、撮影装置２との情報交信や状況センシング部１０１によるセンシングにより、撮影装置２の位置等を把握する。
被写体重心抽出部１０３は、被写体把握部１０２により把握された被写体の位置情報をもとに、被写体を群として捉え、複数の被写体の位置重心を算出する。被写体がクラスタリングされている場合には、クラスタに対する位置重心を算出する。

注目ポイント抽出部１０５は、被写体把握部１０２により把握された被写体の位置、速度、加速度等から被写体が注目するポイントを抽出する。特徴としては、図４（ａ）に示すように、単体の被写体からだけでなく、複数の被写体から情報を収集することで、被写体が群（クラスタ）として向かう、もしくは、向かおうとする先を、複数の被写体の向き先の焦点を算出することで抽出する。または、図４（ｂ）に示すように、複数の被写体の顔の向き（視線の向き）の情報から、それらの焦点を算出することで被写体の興味対象を抽出する。

撮影ライン設定部１０６は、被写体クラスタの位置重心、注目ポイントの被写体やオブジェクトの重心に基づき、撮影の基準となる撮影ラインを設定する。撮影技法には、撮影された映像を見る段階で視聴者が映像中の被写体等の位置関係や方向について混乱をきたさないように、カメラの位置、アングルを規定するイマジナリラインの法則というものがある。撮影ライン設定部１０６が設定するラインは、撮影映像の連続性を維持するためのイマジナリラインに相当するものである。例えば図５（ａ）のように、被写体クラスタの位置重心と注目ポイントの被写体の重心を繋いだ線を撮影ラインとする。注目ポイントの被写体が複数であった場合には、例えば図５（ｂ）のように、注目ポイントの被写体の重心を繋いだ線を撮影ラインとしてもよい。もしくは、イベントの隆起（被写体の位置変化や向き変化が激しく変動した時点）から安定状態（注目ポイントを注視する被写体の動きの変化量が小さくなり落ち着いてきた状態）に切り換わる段階で、撮影装置２が注目ポイントを中心に捉えるようにするために、図５（ａ）のようなライン設定から図５（ｂ）のライン設定に切り替えるようにしてもよい。

撮影スポット設定部１０７は、撮影ライン設定部１０６により設定された撮影ラインに基づき、撮影スポットを設定する。例えば、撮影ラインにより空間が左右に仕切られている場合、撮影装置把握部１０４により把握された撮影装置１の位置がある側が撮影ラインの左側であれば左側に、撮影ラインの右側であれば右側に撮影スポットを設定する。撮影装置２が複数ある場合は、多い側に撮影スポットを設定する。そして、例えば、図６では撮影スポットを撮影ラインの左側に設定する場合を示しているが、撮影ラインを引くもとになった重点（図６では、注目ポイントの被写体重心Ａと被写体クラスタの位置重心Ｂ）の中点を中心として撮影ラインの左側の角度３分割（６０度で均等分割）し、その分割線の中線（撮影ラインに対して３０度、９０度、１２０度の線）上に撮影スポットを設定する。次に、その中線上のうち、例えば、所定の画角で撮影した場合に、撮影ラインを引くもとになった重点を画面内にバランスよく配置させて捉えられる位置を撮影スポットとする。ここで、画面内にバランスよくというのは、撮影技法では黄金分割が一般に用いられており、例えば、図６で示す撮影スポット１、撮影スポット２、撮影スポット３で撮影される映像が、それぞれ図８（ａ）、図８（ｂ）、図８（ｃ）で示すように、３分割線のクロス点上に撮影ラインを引くもとになった重点（被写体の顔の重心）を配置させて捉えられるようにする。ただし、撮影を妨げるような障害物等がある場合には、それに対応して適宜撮影スポットをずらして設定するようにする。次に、注目ポイントを中心に捉える撮影スポット１を優先度１、注目ポイントと注目ポイントを注視する群衆とを均等に捉える撮影スポット２を優先度２、注目ポイントを注視する群衆を中心に捉える撮影スポット３を優先度３というように優先度付けを行う。例えば、撮影装置２が１台であれば優先度１の撮影スポット１に配置、撮影装置２が２台であれば優先度１の撮影スポット１と優先度２の撮影スポット２に配置、撮影装置２が３台であれば優先度１の撮影スポット１と優先度２の撮影スポット２と優先度３の撮影スポット全てに配置、といったように撮影装置２を撮影スポットの優先度順に埋めていく。また、注目ポイントを上方からではなく正面側から捉えたいときには、注目ポイントを注視する群衆を避けて撮影スポットを設置してもよい。例えば図７のように、注目ポイントを注視する群衆を避けて正面寄りから注目ポイントを捉えるスポットとして撮影スポット１、斜め上方から注目ポイントを捉えるスポットとして撮影スポット２、撮影スポット３を設定する。ここでは、被写体把握部１０２により、同じ方向（同じ地点）を向いていて近い位置に密集しているという条件で被写体をクラスタリングすることで被写体クラスタαと被写体クラスタβを把握して、それらのクラスタの位置を避けるように撮影スポット１を設定している。また、撮影スポット２、撮影スポット３をそれぞれ注目ポイントの被写体重心Ａ、被写体重心Ｂを専用に捉えるためのスポットとなるように設定してもよい。また、撮影スポットの配置情報を定型化して記憶しておき、被写体の位置重心、注目ポイントの被写体やオブジェクトの重心に基づき、その位置関係から最適な撮影スポットの配置情報を取り出し、その通りに撮影スポットを設置する、といったようにしてもよい。

移動経路設計部１０８は、撮影装置把握部１０４により把握された撮影装置２の位置と撮影スポット設定部１０７により設定された撮影スポットの位置とに基づき、撮影装置２の撮影スポットまでの移動経路を設計し、撮影装置２に指令情報を送信する。例えば図９のように、それぞれの撮影装置２が、それぞれの撮影スポットまで最短で移動できる経路を設計する。それぞれの撮影装置２が撮影スポットまで障害物等を回避して到達できるまでの距離を最短にする経路としてもよい。ここで、撮影装置２同士が移動先として同じ撮影スポットを奪い合う、もしくは、撮影スポット同士が誘致相手として同じ撮影装置２を奪い合うといった競合が生じる場合があるが、こういった競合についても設計段階で回避しておく。例えば、それぞれの撮影装置２が、到達経路の距離順に撮影スポットを並べておき、他の撮影装置２に最短距離にある撮影スポットが奪われたら次に到達距離が短い撮影スポットを移動先とする、といったように設計する。また、この際に、それぞれの撮影装置２がそれぞれの撮影スポットに到達するまでの移動経路の総合計が最小となるような設計の仕方でもよい。同様に、それぞれの撮影スポットが、到達経路の距離順に撮影装置２を並べておき、他の撮影スポットに最短距離にある撮影装置２が奪われたら次に到達距離が短い撮影装置２を誘致相手とする、といったような設計をしてもよい。また、この際に、撮影スポットの優先度を加味した設計の仕方でもよい。

状況変化把握部１０９は、状況センシング部１０１により得られた情報をもとに、状況の変化を把握し、撮影方法設計部１１０に伝達する。状況の変化が大きい場合には、撮影ラインの引き直しや撮影スポットの配置し直しを撮影ライン設定部１０７や撮影スポット設定部１０８に指令することもある。ただし、あまりセンシティブに変化に適応した撮影を撮影方法設計部１１０に要請すると、撮影映像は逆に安定しなくなり見づらいものとなってしまうので、注目ポイントを注視する群衆の小さな変化等に対してはある程度状況変化把握部１０９で吸収し、撮影方法設計部１１０や撮影ライン設定部１０７、撮影スポット設定部１０８には伝達や指令をしないようにしてもよい。

撮影方法設計部１１０は、状況変化把握部１０９により把握された状況変化や撮影スポット設定部１０８により設定された撮影スポット、撮影ライン設定部１０７により設定された撮影ラインに基づき、視点切換やカメラワーク等の撮影方法を設計し、撮影装置２に指令情報を送信する。ここで、状況変化とは、被写体の大きな動きの変化や人数の変化、大きな音の変化等のことである。例えば、図６において、注目ポイントに新たな被写体が進入してくる等の大きな変化が状況変化把握部１０９により把握された場合に、注目ポイントを中心に捉える撮影スポット上に配置された撮影装置２に視点を切り換えるように指令する。また、重要なポイントに多くの被写体が集まるとして、注目ポイントの被写体に対する注目ポイントに注視する群衆の比率に応じて、注目ポイントを中心に撮影する撮影スポット１に配置された撮影装置２に撮影時間の割合を与えるように視点切換を指令してもよい。加えて、撮影映像が視聴者にとって飽きさせないものとなるように、動的なカメラワークも指令する。例えば、図６において、状況変化把握部１０９により把握された場合に、状況変化のあった注目ポイントの被写体重心Ａや被写体クラスタの位置重心Ｂ、もしくはＡとＢの中点を軸にして回転移動しながら、それぞれを撮影するように撮影装置２に指令する。また、撮影ラインを越境して撮影装置２を移動させるようなカメラワークを指令する場合には、撮影映像における被写体の位置関係に矛盾をきたさないように、撮影ラインを越境中の撮影装置２の撮影映像を継続して映すべく、越境中の撮影装置２から別の撮影装置に視点を切り換えないように設計する。

図３は、撮影装置２の内部構成と、撮影装置２が指令装置１や表示装置３と情報交信するシステム構成を示す図である。指令装置２は、カメラ制御全般を行う本体２０、飛行を可能にするヘリウムガス等を封入した気球２１、移動体２の移動等を可能にするプロペラ２２、映像を撮影するカメラ２４、カメラ２４をアングル可動にする雲台２３から構成される。

本体２０は、状況把握部２０１、状況センシング部２０２、指令情報取得部２０３、移動経路設定部２０４、プロペラ動力制御部２０５、カメラ方向設定部２０６、カメラ方向制御部２０７、撮影映像送信部２０８、撮影映像取得部２０９から構成される。
状況センシング部２０２は、撮影装置２に搭載されたカメラやセンサ等により周辺状況や撮影装置２自身の状況をセンシングする。

状況把握部２０１は、状況センシング部２０２により得られた各種センシングデータに基づき、得に周辺の状況変化や障害物、被写体や他オブジェクト等の詳しい高さやｚ軸方向の情報、撮影装置２の位置等を把握し、把握した情報を指令装置１に伝達する。
指令情報取得部２０３は、指令装置１から撮影方法や移動経路等に関する指令情報を取得する。

移動経路設定部２０４は、指令情報取得部２０３により取得された指令情報、状況把握部２０１により把握された撮影装置２の位置情報に基づき、撮影装置２の移動経路を設定する。ここで、撮影スポットまでの移動経路や撮影のためのカメラワークを実現する移動経路を設定する。撮影装置２自身の状況判断等に基づき移動経路を設定してもよい。
プロペラ動力制御部２０５は、移動経路設定部２０４により設定された移動経路を撮影装置２が移動するようにプロペラ動力を制御する。

カメラ方向設定部２０６は、指令情報取得部２０３により取得された指令情報に基づき、カメラ２４のカメラ方向を設定する。ここで、撮影のためのカメラワークを実現するカメラ方向を設定する。撮影装置２自身の状況判断等に基づきカメラ方向を設定してもよい。
カメラ方向制御部２０７は、カメラ方向設定部２０６により設定されたカメラ方向をカメラ２４が向くようにカメラ方向を制御する。

撮影映像取得部２０９は、カメラ２４により撮影された撮影映像を取得する。
撮影映像送信部２０８は、撮影映像取得部２０９により取得された撮影映像を表示装置３に送信する。
指令装置１が、その場の状況を把握し、状況に応じた移動経路や撮影方法の設計をし、撮影装置２に指令するまでのフローを図１０に示す。

まず、ステップＳ１０１では、状況センシング部１０１により、その場の状況がセンシングされる。
次に、ステップＳ１０２では、被写体把握部１０２により、ステップＳ１０１で取得された各種センシングデータに基づき、被写体の位置、速度、加速度等が把握される。
次に、ステップＳ１０３では、撮影装置把握部１０４により、撮影装置２から取得した撮影装置２の位置や撮影装置２周辺の状況情報、ステップＳ１０１で取得されたセンシングデータに基づき、撮影装置２の位置や周辺状況が把握される。

次に、ステップＳ１０４では、被写体重心抽出部１０３により、ステップＳ１０２で把握された被写体の位置情報に基づき、被写体の位置重心が抽出される。
次に、ステップＳ１０５では、注目ポイント抽出部１０５により、ステップＳ１０２で把握された被写体の速度、加速度や顔（視線）の向きに基づき、被写体群が注視する注目ポイントが抽出される。

次に、ステップＳ１０６では、撮影ライン設定部１０６により、ステップＳ１０４で抽出された被写体の位置重心やステップＳ１０５で抽出された注目ポイントの被写体重心に基づき、撮影ラインが設定される。
次に、ステップＳ１０７では、撮影スポット設定部１０７により、ステップＳ１０６で設定された撮影ラインに基づき、撮影スポットが設定される。

次に、ステップＳ１０８では、移動経路設計部１０８により、ステップＳ１０４で把握された撮影装置２の位置情報とステップＳ１０７で設定された撮影スポットの情報に基づき、撮影装置２の移動経路が設計される。
次に、ステップＳ１０９では、撮影方法設計部１１０により、ステップＳ１０７で設定された撮影スポットやステップＳ１０６で設定された撮影ライン、ステップＳ１０５で抽出された注目ポイントの被写体重心、ステップＳ１０４で抽出された被写体の位置重心に基づき、撮影方法が設計される。

また、ステップＳ１０１〜Ｓ１０９を通して、状況変化把握部１０９により、状況変化に適応して、再抽出、再設定、再設計が伝達や指令される。
撮影装置２が、周辺状況や自身を把握しながら、指令装置１の指令情報を取得し、カメラ２４で映像を撮影し、その撮影映像を表示装置３に送信するまでのフローを図１１に示す。

まず、ステップＳ２０１では、状況センシング部２０２により、撮影装置２の周辺状況や撮影装置２自身の状況がセンシングされる。
次に、ステップＳ２０２では、状況把握部２０１により、ステップＳ１０１で取得されたセンシングデータに基づき、撮影装置２の周辺状況や撮影装置２自身の状況が把握される。

次に、ステップＳ２０３では、指令情報取得部２０３により、指令装置１から指令情報が取得される。
次に、ステップＳ２０４では、移動経路設定部２０４により、ステップＳ２０２で把握された状況情報やステップＳ２０３で取得された指令情報に基づき、撮影スポットまでの移動経路や撮影のための移動経路が設定される。

次に、ステップＳ２０５では、プロペラ動力制御部２０５により、ステップＳ２０４で設定された移動経路に基づき、プロペラ動力が制御される。
次に、ステップＳ２０６では、カメラ方向設定部２０６により、ステップＳ２０３で取得された指令情報に基づき、撮影のためのカメラ方向が設定される。
次に、ステップＳ２０７では、カメラ方向制御部２０７により、ステップＳ２０６で設定されたカメラ方向に基づき、カメラ方向が制御される。

次に、ステップＳ２０８では、撮影映像取得部２０９により、カメラ２４で撮影された映像が取得される。
次に、ステップＳ２０９では、撮影映像送信部２０８により、ステップＳ２０８で取得された撮影映像が表示装置３に送信される。
尚、便宜上、指令装置１、撮影装置２それぞれが持つ機能ブロックを図２、図３のように分担させて説明したが、一部ないしは全ての機能を他の装置に持たせてもよい。例えば、上述においては、指令情報は撮影装置２が指令装置１から取得するとしているが、複数の撮影装置２が協調してその場の全体状況を把握し、把握した状況情報に基づき、移動経路や撮影方法を設計するとしてもよい。

尚、上述においては、指令装置１はその場の真上から状況をセンシングするとしているが、斜め上方ないしは横からセンシングするとしてもよい。また、複数の指令装置１が協調してその場の状況をセンシングするとしてもよい。
尚、上述においては、気球２１やプロペラ２２を用いて撮影装置２の飛行や移動等をするとしているが、翼や羽、ジェット等、他の装置を用いてもよい。

尚、上述においては、撮影装置２を空中を移動する飛行装置としているが、ドリーやクレーン等を搭載して移動する走行装置、水中等を移動する泳行装置等、何においても本発明の技術は適用できる。

本発明にかかる自動撮影装置は、その場の状況に適応したカメラポジショニングを伴うカメラワーク制御で撮影することで、後で見返したくなるような映像を生成するするための技術として有用である。

本発明の実施の形態１における概念図 実施の形態１における指令装置１の内部構成を示す機能ブロック図 実施の形態１における撮影装置２の内部構成を示す機能ブロック図 注目ポイントを抽出する例を示す図 撮影ラインを設定する例を示す図 撮影スポットを設定する例を示す図 撮影スポットを設定する例を示す図 画面配置の例を示す図 移動経路を設計する例を示す図 実施の形態１における指令装置１での処理を示すフローチャート図 実施の形態１における撮影装置２での処理を示すフローチャート図

符号の説明

１ 指令装置
１０１ 状況センシング部
１０２ 被写体把握部
１０３ 被写体重心抽出部
１０４ 撮影装置把握部
１０５ 注目ポイント抽出部
１０６ 撮影ライン設定部
１０７ 撮影スポット設定部
１０８ 移動経路設計部
１０９ 状況変化把握部
１１０ 撮影方法設計部
２ 撮影装置
２０ 本体
２０１ 状況把握部
２０２ 状況センシング部
２０３ 指令情報取得部
２０４ 移動経路設定部
２０５ プロペラ動力制御部
２０６ カメラ方向設定部
２０７ カメラ方向制御部
２０８ 撮影映像送信部
２０９ 撮影映像取得部
２１ 気球
２２ プロペラ
２３ 雲台
２４ カメラ
３ 表示装置

Claims (24)

1. 状況をセンシングして得られたデータに基づき、その場の状況を把握する状況把握手段と、
   前記状況把握手段により把握された状況に関する情報に基づき、カメラのポジショニングを伴う撮影方法を設計する撮影方法設計手段と、
   前記撮影設計手段により設計された撮影方法通りに撮影することを指令する撮影指令手段とを備えることを特徴とする自動撮影装置。
2. 状況をセンシングして得られたデータに基づき、その場の状況を把握する状況把握手段と、
   前記状況把握手段により把握された状況に関する情報に基づき、カメラのポジショニングを伴う撮影方法を設計する撮影方法設計手段と、
   前記撮影設計手段により設計された撮影方法通りに撮影する撮影手段とを備えることを特徴とする自動撮影装置。
3. 前記状況把握手段は、その場にいる被写体の位置、速度、加速度、顔の向き、顔の向き変化、視線の向き、視線の向き変化のいずれか、もしくは複数を把握することを特徴とする、
   請求項１または２に記載の自動撮影装置。
4. 前記自動撮影装置は、更に、
   前記状況把握手段により把握された被写体の位置、速度、加速度、顔の向き、顔の向き変化、視線の向き、視線の向き変化のいずれか、もしくは複数に基づき、複数の被写体をクラスタリングする被写体クラスタ算出手段とを備えることを特徴とする、
   請求項３に記載の自動撮影装置。
5. 前記自動撮影装置は、更に、
   前記被写体クラスタ算出手段により算出された被写体クラスタに属する被写体の位置重心を抽出する被写体重心抽出手段とを備えることを特徴とする、
   請求項４に記載の自動撮影装置。
6. 前記自動撮影装置は、更に、
   前記状況把握手段により把握された被写体の位置、速度、加速度、顔の向き、顔の向き変化、視線の向き、視線の向き変化のいずれか、もしくは複数に基づき、被写体が注目するポイントを抽出する注目ポイント抽出手段とを備えることを特徴とする、
   請求項３に記載の自動撮影装置。
7. 前記自動撮影装置は、更に、
   前記注目ポイント抽出手段により抽出された注目ポイントに存在する被写体の位置重心を抽出する注目ポイント重心抽出手段とを備えることを特徴とする、
   請求項６に記載の自動撮影装置。
8. 前記自動撮影装置は、更に、
   前記被写体重心抽出手段により抽出された被写体の位置重心に基づき、撮影の基準となる撮影ラインを設定する撮影ライン設定手段とを備えることを特徴とする、
   請求項５に記載の自動撮影装置。
9. 前記自動撮影装置は、更に、
   前記注目ポイント重心抽出手段により抽出された注目ポイントの位置重心に基づき、撮影の基準となる撮影ラインを設定する撮影ライン設定手段とを備えることを特徴とする、
   請求項７に記載の自動撮影装置。
10. 前記自動撮影装置は、更に、
    前記状況把握手段により把握された被写体の位置、速度、加速度、顔の向き、顔の向き変化、視線の向き、視線の向き変化のいずれか、もしくは複数に基づき、被写体を撮影する撮影スポットを設定する撮影スポット設定手段とを備えることを特徴とする、
    請求項３に記載の自動撮影装置。
11. 前記自動撮影装置は、更に、
    前記撮影スポット設定手段により設定された撮影スポットに基づき、撮影装置が撮影スポットまで移動する経路を設計する移動経路設計手段とを備えることを特徴とする、
    請求項１０に記載の自動撮影装置。
12. 前記撮影方法設計手段は、前記状況把握手段により把握された被写体の位置、速度、加速度、顔の向き、顔の向き変化、視線の向き、視線の向き変化のいずれか、もしくは複数に基づき、複数の撮影装置で撮影される場合、表示装置に表示する撮影映像を撮影装置間で切り換える方法を設計することを特徴とする、
    請求項３に記載の自動撮影装置。
13. 前記撮影方法設計手段は、撮影ライン設定手段により設定された撮影ラインに基づき、複数の撮影装置で撮影される場合、表示装置に表示する撮影映像を撮影装置間で切り換える方法を設計することを特徴とする、
    請求項８または９に記載の自動撮影装置。
14. 前記撮影方法設計手段は、前記状況把握手段により把握された被写体の位置、速度、加速度、顔の向き、顔の向き変化、視線の向き、視線の向き変化のいずれか、もしくは複数に基づき、カメラワーク制御の方法を設計することを特徴とする、
    請求項３に記載の自動撮影装置。
15. 前記撮影方法設計手段は、前記被写体重心抽出手段により抽出された被写体の位置重心に基づき、カメラワーク制御の方法を設計すること特徴とする、
    請求項５に記載の自動撮影装置。
16. 前記撮影方法設計手段は、前記注目ポイント重心抽出手段により抽出された注目ポイントの位置重心に基づき、カメラワーク制御の方法を設計すること特徴とする、
    請求項７に記載の自動撮影装置。
17. 前記撮影方法設計手段は、撮影ライン設定手段により設定された撮影ラインに基づき、カメラワーク制御の方法を設計すること特徴とする、
    請求項８または９に記載の自動撮影装置。
18. 前記撮影方法設計手段は、撮影スポット設定手段により設定された撮影スポットに基づき、カメラワーク制御の方法を設計すること特徴とする、
    請求項１０に記載の自動撮影装置。
19. 状況をセンシングして得られたデータに基づき、その場の状況を把握する状況把握ステップと、
    前記状況把握ステップにより把握された状況に関する情報に基づき、カメラのポジショニングを伴う撮影方法を設計する撮影方法設計ステップと、
    前記撮影設計ステップにより設計された撮影方法通りに撮影することを指令する撮影指令ステップとを有することを特徴とする自動撮影方法。
20. 自動撮影装置に、自動撮影処理を行わせるためのコンピュータプログラムであって、
    前記自動撮影処理は、
    状況をセンシングして得られたデータに基づき、その場の状況を把握する状況把握ステップと、
    前記状況把握ステップにより把握された状況に関する情報に基づき、カメラのポジショニングを伴う撮影方法を設計する撮影方法設計ステップと、
    前記撮影設計ステップにより設計された撮影方法通りに撮影することを指令する撮影指令ステップとを有することを特徴とするコンピュータプログラム。
21. 自動撮影装置の集積回路であって、
    状況をセンシングして得られたデータに基づき、その場の状況を把握する状況把握手段と、
    前記状況把握手段により把握された状況に関する情報に基づき、カメラのポジショニングを伴う撮影方法を設計する撮影方法設計手段と、
    前記撮影設計手段により設計された撮影方法通りに撮影することを指令する撮影指令手段とを備えることを特徴とする集積回路。
22. 状況をセンシングして得られたデータに基づき、その場の状況を把握する状況把握ステップと、
    前記状況把握ステップにより把握された状況に関する情報に基づき、カメラのポジショニングを伴う撮影方法を設計する撮影方法設計ステップと、
    前記撮影設計ステップにより設計された撮影方法通りに撮影する撮影ステップとを有することを特徴とする自動撮影方法。
23. 自動撮影装置に、自動撮影処理を行わせるためのコンピュータプログラムであって、
    前記自動撮影処理は、
    状況をセンシングして得られたデータに基づき、その場の状況を把握する状況把握ステップと、
    前記状況把握ステップにより把握された状況に関する情報に基づき、カメラのポジショニングを伴う撮影方法を設計する撮影方法設計ステップと、
    前記撮影設計ステップにより設計された撮影方法通りに撮影する撮影ステップとを有することを特徴とするコンピュータプログラム。
24. 自動撮影装置の集積回路であって、
    状況をセンシングして得られたデータに基づき、その場の状況を把握する状況把握手段と、
    前記状況把握手段により把握された状況に関する情報に基づき、カメラのポジショニングを伴う撮影方法を設計する撮影方法設計手段と、
    前記撮影設計手段により設計された撮影方法通りに撮影する撮影手段とを備えることを特徴とする集積回路。