[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP2022105047A - 撮像装置、飛行装置、撮像方法及びプログラム - Google Patents

撮像装置、飛行装置、撮像方法及びプログラム Download PDF

Info

Publication number
JP2022105047A
JP2022105047A JP2022068577A JP2022068577A JP2022105047A JP 2022105047 A JP2022105047 A JP 2022105047A JP 2022068577 A JP2022068577 A JP 2022068577A JP 2022068577 A JP2022068577 A JP 2022068577A JP 2022105047 A JP2022105047 A JP 2022105047A
Authority
JP
Japan
Prior art keywords
region
imaging
subject
movement vector
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022068577A
Other languages
English (en)
Inventor
智洋 高橋
Tomohiro Takahashi
俊介 山田
Shunsuke Yamada
英明 松田
Hideaki Matsuda
政典 太田
Masanori Ota
慎治 太宰
Shinji Dazai
隆広 水品
Takahiro Mizushina
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2022068577A priority Critical patent/JP2022105047A/ja
Publication of JP2022105047A publication Critical patent/JP2022105047A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Image Analysis (AREA)

Abstract

Figure 2022105047000001
【課題】撮像された複数の画像に含まれる、複数の検出体を含む検出体グループのみならず非検出体も適正に検出する検出体領域検出装置、撮像装置、飛行装置、検出体領域検出方法、撮像方法及びプログラムを提供する。
【解決手段】飛行装置に搭載されるカメラシステム402において、撮像制御部4は、撮像された複数の画像に含まれる移動ベクトルを取得する取得手段41と、取得手段41により取得された、検出対象である複数の検出体を含む検出体グループの全体の移動ベクトルと、検出対象ではない非検出体の移動ベクトルと、に基づいて、検出体グループの少なくとも1部の領域と、非検出体の少なくとも1部の領域と、を区別して検出する検出手段43と、を備える。
【選択図】図3

Description

本発明は、検出体領域を検出する技術に関する。
現状では、複数の検出体を含む検出体グループの顔領域の移動量を検出する技術が知られている(例えば、特許文献参照)。
国際公開WO2011/129030号公報
しかしながら、特許文献1の技術は、撮像された複数の画像に含まれる、複数の検出体を含む検出体グループのみを検出する技術であり、複数の検出体を含む検出体グループのみを検出するだけでは不十分であるという問題があった。
本発明は、このような問題に鑑みてなされたものであり、撮像された複数の画像に含まれる、複数の検出体を含む検出体グループのみならず非検出体も適正に検出することができる技術を提供することを目的とする。
前記目的を達成するため、本発明に係る検出体領域検出装置の一様態は、
撮像された複数の画像に含まれる移動ベクトルを取得する取得手段と、
前記取得手段により取得された、検出対象である複数の検出体を含む検出体グループの全体の移動ベクトルと、検出対象ではない非検出体の移動ベクトルと、に基づいて、前記検出体グループの少なくとも1部の領域と、前記非検出体の少なくとも1部の領域と、を区別して検出する検出手段と、
を備える、
ことを特徴とする。
前記目的を達成するため、本発明に係る撮像装置の一様態は、
複数の画像を撮像する撮像手段と、
前記撮像手段により撮像された複数の画像に含まれる移動ベクトルを取得する取得手段と、
前記取得手段により取得された、撮像対象である複数の被写体を含む被写体グループの全体の移動ベクトルと、撮像対象ではない非被写体の移動ベクトルと、に基づいて、前記被写体グループの少なくとも1部の領域と、前記非被写体の少なくとも1部の領域と、を区別して検出する検出手段と、
前記検出手段により検出された前記被写体グループの少なくとも1部の領域に基づいて定まる撮像領域を撮像対象とし、前記撮像領域に前記非被写体の少なくとも1部の領域が被らないように前記撮像手段を制御して撮像させる撮像制御手段と、
を備える、
ことを特徴とする。
前記目的を達成するため、本発明に係る飛行装置の一様態は、
複数の画像を撮像する撮像手段と、
前記撮像手段により撮像された複数の画像に含まれる移動ベクトルを取得する取得手段と、前記取得手段により取得された、撮像対象である複数の被写体を含む被写体グループの全体の移動ベクトルと、撮像対象ではない非被写体の移動ベクトルと、に基づいて、前記被写体グループの少なくとも1部の領域と、前記非被写体の少なくとも1部の領域と、を区別して検出する検出手段と、
自装置を空中で飛行させる推進手段と、
前記自装置の飛行を、前記被写体グループの少なくとも1部の領域と、前記非被写体の少なくとも1部の領域と、に基づいて制御する飛行制御手段と、
を備える、
ことを特徴とする。
また、前記目的を達成するため、本発明に係る検出体領域検出方法の一様態は、
撮像された複数の画像に含まれる移動ベクトルを取得する取得工程と、
前記取得工程において取得された、検出対象である複数の検出体を含む検出体グループの全体の移動ベクトルと、検出対象ではない非検出体の移動ベクトルと、に基づいて、前記検出体グループの少なくとも1部の領域と、前記非検出体の少なくとも1部の領域と、を区別して検出する検出工程と、
を含む、
ことを特徴とする。
また、前記目的を達成するため、本発明に係る撮像方法の一様態は、
複数の画像を撮像する第1撮像工程と、
前記第1撮像工程において撮像された複数の画像に含まれる移動ベクトルを取得する取得工程と、
前記取得工程において取得された、撮像対象である複数の被写体を含む被写体グループの全体の移動ベクトルと、撮像対象ではない非被写体の移動ベクトルと、に基づいて、前記被写体グループの少なくとも1部の領域と、前記非被写体の少なくとも1部の領域と、を区別して検出する検出工程と、
前記検出工程において検出された前記被写体グループの少なくとも1部の領域に基づいて定まる撮像領域を撮像対象とし、前記撮像領域に前記非被写体の少なくとも1部の領域が被らないように撮像する第2撮像工程と、
を含む、
ことを特徴とする。
また、前記目的を達成するため、本発明に係るプログラムの一様態は、
検出体領域検出装置のコンピュータを、
撮像された複数の画像に含まれる移動ベクトルを取得する取得手段、
前記取得手段により取得された、検出対象である複数の検出体を含む検出体グループの全体の移動ベクトルと、検出対象ではない非検出体の移動ベクトルと、に基づいて、前記検出体グループの少なくとも1部の領域と、前記非検出体の少なくとも1部の領域と、を区別して検出する検出手段、
として機能させる、
ことを特徴とする。
また、前記目的を達成するため、本発明に係るプログラムの一様態は、
複数の画像を撮像する撮像手段を備える撮像装置のコンピュータを、
前記撮像手段により撮像された複数の画像に含まれる移動ベクトルを取得する取得手段、
前記取得手段により取得された、撮像対象である複数の被写体を含む被写体グループの全体の移動ベクトルと、撮像対象ではない非被写体の移動ベクトルと、に基づいて、前記被写体グループの少なくとも1部の領域と、前記非被写体の少なくとも1部の領域と、を区別して検出する検出手段、
前記検出手段により検出された前記被写体グループの少なくとも1部の領域に基づいて定まる撮像領域を撮像対象とし、前記撮像領域に前記非被写体の少なくとも1部の領域が被らないように前記撮像手段を制御して撮像させる撮像制御手段、
として機能させる、
ことを特徴とする。
本発明によれば、撮像された複数の画像に含まれる、複数の検出体を含む検出体グループのみならず非検出体も適正に検出することが可能になる。
本発明を適用した一実施形態の飛行装置の外観を示す図であり、図1(a)はモータフレームを閉じた状態の飛行装置の外観を示す図、図1(b)はモータフレームを開いた状態の飛行装置の外観を示す図である。 飛行装置のシステム構成の一例を示す図である。 本発明の検出体領域検出装置及び撮像装置を適用したカメラシステムの概略構成を示すブロック図である。 図4(a)~図4(d)は撮像制御部が行う各種の処理の説明図である。 非被写体の領域が撮像領域に重なって遮蔽している状態を示す説明図である。 画角が前後左右のいずれかに移動するように機体を動作させている状態を示す説明図である。 図7(a)は撮像領域の左端部が画角の左端部に対して、所定の距離範囲内に接近している状態を示す説明図、図7(b)は撮像領域が画角の中央に寄る方向に画角を移動させた状態を示す説明図である。 図8(a)は撮像領域が画角の中央部に位置している状態を示す説明図、図8(b)は撮像領域を画角の幅近くまで拡大させた状態を示す説明図である。 撮像制御の中で撮像領域を検出するための領域検出処理を示すフローチャートである。 飛行開始から飛行終了までに行われる全体的な撮像制御を示すフローチャートである。 本発明の検出体領域検出装置及び撮像装置を適用した撮像装置の概略構成を示すブロック図である。
[第1の実施形態]
以下に、本発明について、図面を用いて具体的な態様を説明する。ただし、発明の範囲は、図示例に限定されない。
[飛行装置]
図1は、本発明を適用した一実施形態の飛行装置100の外観を示す図である。具体的には、図1(a)は、モータフレーム102を閉じた状態の飛行装置100の外観を示す図であり、図1(b)は、モータフレーム102を開いた状態の飛行装置100の外観を示す図である。
図1(a)及び図1(b)に示すように、飛行装置100は、メインフレーム101と、4つのモータフレーム102とにより機体を構成している。
モータフレーム102は、それぞれヒンジ103を介してメインフレーム101に取り付けられている。また、モータフレーム102は、モータ105を支持できるように構成されており、モータ105のモータ軸にはロータとしてのロータブレード104が固定されている。また、モータフレーム102の外周部にはフィンガーガード102aが設けられている。4組のモータ105と4組のロータブレード104と4組のモータドライバ404(後述)は、推進手段を構成している。
メインフレーム101の中心部には、カメラ部(撮像手段)106が取り付けられている。カメラ部106は、飛行装置100を水平面に置いた状態で撮像光学系の光軸が水平となっている。また、メインフレーム101の内部には、図2で後述する各種制御機器が収められている。
ヒンジ103は、図1(a)に示すように、飛行装置100の投げ上げに適した「閉じた状態」と、図1(b)に示すように、飛行装置100の飛行に適した「開いた状態」と、に各モータフレーム102を変形できるように、0度~90度の角度範囲で回動自在になっている。
図2は、飛行装置100のシステム構成の一例を示す図である。
図2に示すように、コントローラ(制御装置)401には、カメラ部106(図1参照)を含むカメラシステム402や、例えば、飛行装置100と基準面との距離(高度)を取得するための超音波センサ(距離センサ)403a、飛行装置100の絶対高度(海抜)を取得するための気圧センサ(高度センサ)403b、加速度センサ403c等から構成されるフライトセンサ403、それぞれ#1から#4までの各モータ105(図1参照)を駆動する#1から#4までのモータドライバ404、バッテリ406の電圧をモニタしながら各モータドライバ404に電力を供給するパワーセンサ405が接続される。
なお、特には図示しないが、バッテリ406の電力は、401~405の各制御ユニットにも供給される。コントローラ401は、フライトセンサ403から、飛行装置100の高度に関する情報をリアルタイムで取得する。
また、コントローラ401は、パワーセンサ405を介して、バッテリ406の電圧をモニタしながら、#1から#4までの各モータドライバ404に、それぞれパルス幅変調に基づくデューティ比による電力指示信号を送信する。これにより、#1から#4までのモータドライバ404はそれぞれ、#1から#4までのモータ105の回転速度を制御する。
次に、飛行装置100の飛行開始までの動作について説明する。
飛行装置100は、各モータフレーム102を、投げ上げに適した「閉じた状態」(図1(a)参照)と、飛行に適した「開いた状態」(図1(b)参照)と、の2つの形状に保持することが可能である。そして、ユーザは、「閉じた状態」で、飛行装置100をボールのように空中に投げ上げることができ、その後、図2に示すコントローラ401の制御により、落下状態に移るときに飛行装置100が「開いた状態」に変化し、予め定められている目的高度(例えば、地面(基準面)から2mの高さ位置(基準面から第1の距離だけ離れた高度))を飛行する飛行状態になってカメラ部106による撮像を行うことができるようになっている。すなわち、コントローラ401は、地面(基準面)から2mの高さ位置(基準面から第1の距離だけ離れた高度)で自装置が飛行するように4組のモータ105と4組のロータブレード104と4組のモータドライバ404とを制御している。
[カメラシステム]
図3は、本発明の検出体領域検出装置及び撮像装置を適用したカメラシステム402の概略構成を示すブロック図である。
図3に示すように、カメラシステム402は、中央制御部1と、メモリ2と、カメラ部106と、撮像制御部4と、画像データ生成部5と、記憶部6と、画像記録部7と、ビーコン受信機3とを備えている。
また、中央制御部1、メモリ2、カメラ部106、撮像制御部4、画像データ生成部5、記憶部6、画像記録部7及びビーコン受信機3は、バスライン10を介して接続されている。また、前述した飛行装置100のコントローラ401もバスライン10を介して前記構成と接続されている。
中央制御部(制御手段)1は、カメラシステム402の撮像に関する各種の制御及び処理を実行するものである。具体的には、中央制御部1は、図示は省略するが、CPU(Central Processing Unit)、RAM(Random Access Memory)、ROM(Read Only Memory)を備え、カメラシステム402用の各種処理プログラム(図示略)に従って各種の制御動作及び処理を行う。
メモリ2は、例えば、DRAM(Dynamic Random Access Memory)等により構成され、中央制御部1や撮像制御部4等の各部によって処理されるデータ等を一時的に記憶するものである。
カメラ部106は、被写体を撮像する。具体的には、カメラ部106は、レンズ部106aと、電子撮像部106bとを備えている。
レンズ部106aは、例えば、レンズやフォーカスレンズ等の複数のレンズから構成されている。
電子撮像部106bは、例えば、CMOS(Complementary Metal Oxide Semiconductor)やCCD(Charge Coupled Device)等のイメージセンサから構成され、レンズ部106aの各種レンズを通過した光学像を二次元の画像信号に変換する。
なお、図示は省略するが、カメラ部106は、レンズ部106aを通過する光の量を調整する絞りを備えていても良い。レンズ部106aを用いたズーム機構を備える構成としても良い。
画像データ生成部5は、カメラ部106から転送されたフレーム画像のアナログ値の信号に対してRGBの色成分毎に適宜ゲイン調整した後に、サンプルホールド回路(図示略)でサンプルホールドしてA/D変換器(図示略)でデジタルデータに変換し、カラープロセス回路(図示略)で画素補間処理及びγ補正処理を含むカラープロセス処理を行った後、デジタル値の輝度信号及び色差信号(YUVデータ)を生成する。
また、画像データ生成部5は、生成した画像データをバッファメモリとして使用されるメモリ2や画像記録部7に転送する。
記憶部6は、読み書き可能な不揮発性のメモリであり、例えば、フラッシュメモリやEEPROM(Electrically Erasable and Programmable Read Only Memory)である。こ
の記憶部6には、後述する特定の被写体の顔画像データファイル61、撮像制御部4を後述する取得手段41と、決定手段42と、検出手段43と、飛行制御手段44と、付与手段45として機能させるプログラム62等が格納されている。
画像記録部7は、例えば、不揮発性メモリ(フラッシュメモリ)等により構成されている。また、画像記録部7は、画像データ生成部5の符号化部(図示略)により所定の符号化方式で符号化された各種の画像の画像データを記録する。
本実施形態では、画像記録部7は、例えば、後述する撮像領域の撮像が行われた場合の撮像画像データ等を記録する。
なお、画像記録部7は、例えば、記録媒体(図示略)が着脱自在に構成され、装着された記録媒体からのデータの読み出しや記録媒体に対するデータの書き込みを制御する構成であっても良い。
[撮像制御部]
撮像制御部4は、カメラ部106による被写体の撮像を制御する。
撮像制御部4は、図示は省略するが、タイミング発生器、ドライバなどを備えている。撮像制御部4は、飛行装置100の飛行中において、タイミング発生器、ドライバにより電子撮像部106bを走査駆動して、所定周期毎に光学像を電子撮像部106bにより二次元の画像信号に変換させ、電子撮像部106bの撮像領域から1画面分ずつフレーム画像を読み出して画像データ生成部5に出力させる。
つまり、撮像制御部4は、飛行装置100の飛行中において、所定のフレーム周期で連続して撮像を行い、これらの撮像画像の画像データをメモリ2内に記憶する。なお、これらのメモリ2内に記憶される画像データは作業用の画像データである。
また、撮像制御部4は、AF(自動合焦処理)、AE(自動露出処理)、AWB(自動ホワイトバランス調整処理)等の被写体を撮像する際の条件の調整制御を行う。
また、本実施形態において、撮像制御部4は、取得手段41と、決定手段42と、検出手段43と、飛行制御手段44と、付与手段45とを具備している。
なお、撮像制御部4は、記憶部6のプログラム62を実行して前記各手段41~45として機能するコンピュータである。
なお、前記各手段41~45は、例えば、所定のロジック回路から構成しても良い。
[撮像制御部:取得手段]
図4(a)~図4(d)は撮像制御部4が行う各種の処理の説明図である。
取得手段41は、複数の作業用の画像データの画像に含まれる複数の動体である人物の中から、撮像対象である複数の被写体(検出体)を含む被写体グループ(検出体グループ)の全体の移動ベクトルと、撮像対象ではない非被写体(非検出体)の移動ベクトルと、を取得するための処理を行う。
このため、取得手段41は、連続する複数の作業用の画像データの画像からの人物検出、検出された人物の移動ベクトルの取得、被写体及び被写体グループの抽出、被写体グループの全体の移動ベクトルの取得の各処理を実行する。
人物検出は、時系列的に連続する2つの作業用の画像データの画像の各々に対して実行される。
取得手段41は、例えば、人物検出用のパラメータが定められたパターン認識用の識別器を備えており、前記識別器を用いて人物の検出を実行する。又は、取得手段41は、顔検出を行い、検出された顔に連なる全身像を人物と認識することで人物検出を行っても良い。
人物の移動ベクトルは、2つの作業用の画像データの画像中の同一人物の位置変化を求めることで取得される。即ち、2つの作業用の画像データの人物の位置を比較することで、人物の位置変化方向と位置変化量とを求め、これらから人物の移動ベクトルを求めることができる。
図4(a)~図4(c)は、時系列的に順番に連続する3つの作業用の画像データの画像である。図示のように、画像の範囲と画角Gの範囲とは一致している。
例えば、図4(b)と図4(c)の前後する2つの作業用の画像データの画像からそれぞれの人物の移動ベクトルを求めると、図4(d)に示すように、画角G内の上から一番目の人物は右方への移動ベクトルB1が取得され、画角G内の上から二番目の人物は左方への移動ベクトルB2が取得される。また、それ以外の人物については、いずれも位置変化がなく、0(ゼロ)ベクトル(図示せず)が取得される。
被写体及び被写体グループの抽出は、まず、特定の被写体の抽出から行われる。
特定の被写体は、予め決められた被写体グループの核となる被写体であり、最も撮像すべき被写体である。
特定の被写体の抽出は、前記特定の被写体となる人物について、記憶部6に顔画像データファイル61が用意されている場合には、顔画像データファイル61を用いた顔認証により行われる。
また、特定の被写体となる人物に予めビーコン等の発信器を持たせている場合には、ビーコン受信機3によりビーコンの発信位置を求め、画像内のいずれの人物が特定の被写体であるかを特定する。
そして、特定の被写体が抽出されると、被写体グループに属する他の被写体を特定する。他の被写体は、画像内の人物の中から、特定の被写体と移動ベクトルが近似するか否かにより特定する。近似の条件は、移動方向の差と移動量の差についてそれぞれ閾値を定め、前記閾値の範囲内を近似とする。
また、被写体グループに属するか否かについては、特定の被写体に対して一定の距離範囲内であることも条件として加えてもよい。
これらによって、画像内の人物の中から、特定の被写体と他の被写体とからなる被写体グループを抽出する。また、被写体グループに属さない他の人物は、非被写体と認識する。
例えば、図4(c)において、符号T1が特定の被写体である場合、図4(d)に示すように、特定の被写体T1の左右に並んだT2~T4は、いずれも特定の被写体T1と同じ0ベクトルであることから、移動ベクトルが一致するので、他の被写体T2~T4と認識することができる。
被写体グループの全体の移動ベクトルは、抽出された全ての被写体の各々の移動ベクトルの平均から求められる。この場合、特定の被写体について比率が大きくなるように重み付けを行っても良い。またさらに、他の被写体については、特定の被写体からの距離に応じて近いもの程、比率が大きくなる様に重み付けを行っても良い。
なお、図4(d)の例の場合には、被写体T1~T4が全て0ベクトルなので、被写体グループの全体の移動ベクトルも0ベクトルとなる。
[撮像制御部:検出手段]
検出手段43は、取得手段41により取得された被写体グループの全体の移動ベクトルと非被写体の移動ベクトルとに基づいて、被写体グループの全体の領域と、非被写体の領域と、背景の領域と、を区別して検出する処理を行う。
被写体グループの全体の領域は、全ての被写体を囲む領域であり、前記領域の形状は予め定められた任意の形状である。例えば、矩形、円形、長円形等としても良い。
また、被写体グループの全体の領域は、各被写体の全身を含む範囲としても良いし、各被写体の一部を含む範囲(被写体グループの1部の領域)としても良い。例えば、各被写体の上半身や顔(頭部)を含む範囲としても良い。被写体グループの全体の領域が、被写体の全身又はいずれの部位を含む範囲とすべきかについても予め任意に設定することができる。
図4(d)の場合には、各被写体T1~T4の全身を含む矩形の領域を被写体グループの全体の領域Wとして例示している。
非被写体の領域は、各非被写体を個別に囲む領域であり、前記領域の形状は予め定められた任意の形状である。例えば、矩形、円形、長円形等としても良い。
また、非被写体の領域は、非被写体の全身を含む範囲としても良いし、非被写体の一部を含む範囲(非被写体の1部の領域)としても良い。例えば、非被写体の上半身や顔(頭部)を含む範囲としても良い。非被写体の領域が、被写体の全身又はいずれの部位を含む範囲とすべきかについても予め任意に設定することができる。
図4(d)の場合には、各非被写体NT1,NT2の顔(頭部)を含む矩形の領域を非被写体の領域Nとして例示している。
このように、顔領域を非被写体の領域Nとする場合、検出手段43は、周知の顔検出を実行し、領域の範囲を決定する。
検出手段43は、前述のようにして、被写体グループの全体の領域Wと非被写体の領域Nとを検出し、これら以外の範囲を背景の領域と認識する。
[撮像制御部:決定手段]
決定手段42は、検出手段43により検出された被写体グループの全体の領域Wに基づいて、撮像領域Sを決定するための処理を実行する。
撮像領域Sは、全ての被写体の全部又は一部を囲む領域であり、前記領域の形状は予め定められた任意の形状である。例えば、矩形、円形、長円形等としても良い。
また、撮像領域Sは、各被写体の全身を含む範囲としても良いし、各被写体の一部を含む範囲としても良い。例えば、各被写体の上半身や顔(頭部)を含む範囲としても良い。
撮像領域Sが、被写体の全身又はいずれの部位を含む範囲とすべきかについても予め任意に設定することができる。
但し、撮像領域Sは、被写体グループの全体の領域Wよりも内側の範囲又は被写体グループの全体の領域Wと同一範囲に決定される。
図4(d)の場合には、各被写体T1~T4の顔(頭部)を含む矩形の領域を撮像領域Sとして例示している。
このように、顔領域を撮像領域Sとする場合、決定手段42は、周知の顔検出を実行し、領域の範囲を決定する。
[撮像制御部:付与手段]
付与手段45は、取得手段41により取得された検出体グループの全体の移動ベクトルと非検出体の移動ベクトルとに基づいて抽出された被写体グループの複数の被写体と非被写体とをそれぞれ区別して、それぞれに固有の識別子を付与するための処理を実行する。
付与手段45は、図4(d)に示すように、被写体T1~T4については、図中の符号と同じ識別子「T1」、「T2」、「T3」、「T4」を付与し、2つある非被写体NT1,NT2については図中の符号と同じ識別子「NT1」、「NT2」を付与する。
前述のように、被写体T1~T4と非被写体NT1,NT2とについて、全て異なる識別子を付与し、個別に識別可能としている。
付与手段45は、これらの識別子ごとに、被写体T1~T4、非被写体NT1,NT2の画像内の位置情報や移動ベクトル情報などを関連付けてメモリ2内に記憶する。
[撮像制御部:飛行制御手段]
飛行制御手段44は、コントローラ401を介して機体の推進手段を制御し、カメラ部106による撮像位置や範囲の調整を行う。
このため、飛行制御手段44は、遮蔽回避制御、第1の画角変動制御、第2の画角変動制御、被写体拡大制御を実行する。
飛行制御手段44は、遮蔽回避制御において、撮像領域Sに非被写体の領域Nが被ることを回避するように、推進手段を制御する。
即ち、図5に示すように、撮像領域Sが設定された状態で、非被写体の領域Nが撮像領域Sの上に重なって遮蔽している場合に、飛行制御手段44は、機体の移動を行い、再度撮像を実行する。
この遮蔽回避制御の場合、機体は予め定められた方向に予め定められた距離で移動するように設定しても良い。また、遮蔽状態が繰り返し生じた場合には、毎回異なる方向に機体を移動させても良い。その場合、移動方向はランダムに変化しても良いし、決まった順番で移動方向を変えても良い。
また、前記遮蔽回避制御において、遮蔽状態が生じた場合に、機体を現在の位置に一定時間滞留させて、非被写体NT1が撮像領域Sの前から通過するのを待ってから撮像を行う制御を行っても良い。
飛行制御手段44は、第1の画角変動制御において、撮像領域Sに対して画角Gの位置又は大きさ(視界の広さ)が変動するように、推進手段を制御する。
撮像領域Sが最初に設定された状態では、特定の被写体T1以外の他の被写体が画角G外に存在する場合がある。
そこで、図6に示すように、飛行制御手段44は、撮像領域Sの一部又は全部が画角Gの範囲外とならない範囲で、前記画角Gが前後左右のいずれかに移動するように機体を動作させ、又は、画角Gの大きさ(視界の広さ)が拡大するように機体を後退させる制御を実行する。また、この画角変動後に、再度、撮像領域Sを設定する。
この第1の画角変動制御の場合、機体が予め定められた方向に予め定められた距離で移動することで画角の位置を変化させるように設定しても良い。また、機体が予め定められた方向に予め定められた角度範囲で旋回することで画角の位置を変化させるように設定しても良い。
また、上下左右の各方向に画角Gを移動させて、その都度、撮像領域Sの再設定を行っても良い。
また、機体を後退させる場合も、予め定められた距離で後退するように制御することが望ましい。また、機体の上下左右の移動と機体の後退移動とは、いずれか一方のみを行うようにしても良い。
飛行制御手段44は、第2の画角変動制御において、撮像領域Sが画角Gの端に位置する場合に機体の位置又は向きを変更するように、推進手段を制御する。
撮像領域Sが画角Gの端に設定された場合、撮像領域Sが画角Gの端から外側に向かう方向の先には、画角Gに入りきらなかった被写体が存在する場合がある。
図7(a)に示すように、撮像領域Sの上下左右のいずれかの端部が画角Gの上下左右のいずれかの端部に対して、所定の距離範囲内に接近している(図7(a)の場合は左端部)。この場合、飛行制御手段44は、図7(b)に示すように、撮像領域Sが画角Gの中央に寄る方向に、前記画角Gが移動するように機体を動作させる制御を実行する(図7(b)の場合は画角Gを左に移動させる)。また、この画角変動後に、再度、撮像領域Sを設定する。
この第2の画角変動制御の場合、画角Gに対して撮像領域Sが偏っている方向に向かって機体が予め定められた距離で移動するように設定しても良い。また、画角Gに対して撮像領域Sが偏っている方向に向かって機体が予め定められた角度範囲で旋回することで画角の位置を変化させるように設定しても良い。
飛行制御手段44は、被写体拡大制御において、撮像領域Sが画角Gからはみ出さずに前記画角Gに対して占める割合が増加するように、推進手段を制御する。
撮像領域Sの面積が画角Gに対して占める割合が小さい場合、撮像領域Sはより大きく撮像する余地がある。
例えば、図8(a)のように、撮像領域Sの上下幅と左右幅が画角Gの上下幅と左右幅に対して小さい場合、各被写体は小さく写り込むことになる。
このような場合に、飛行制御手段44は、図8(b)に示すように、撮像領域Sが拡大するように機体を前進移動させる制御を実行する。また、この前進移動後に、再度、撮像領域Sを設定する。
この被写体拡大制御の場合、前方に向かって機体が予め定められた距離で移動するように設定しても良い。
また、画角Gの上下幅に対する撮像領域Sの上下幅の比率と画角Gの左右幅に対する撮像領域Sの左右幅の比率とを比較して、上下と左右のいずれか比率が大きい方向の撮像領域Sの幅が画角の幅に対して所定の比率に到るまで機体を前進させるように制御しても良い。例えば、図8(a)に示すように、画角Gに対する撮像領域Sの左右幅の比率が大きい場合に、当初は画角Gに対して撮像領域Sの左右幅が70%であったものを、図8(b)に示すように、90%となるまで機体を前進させるように制御しても良い。なお、これらの数値は単なる例示であって、変更可能である。
[飛行装置による撮像動作]
撮像制御部4による撮像制御について、図9及び図10のフローチャートに基づいて説明する。図9は、撮像制御の中で撮像領域Sを検出するための領域検出処理を示しており、図10は、飛行開始から飛行終了までに行われる全体的な撮像制御を示している。
ここでは、まず、図9に基づいて領域検出処理を説明する。
カメラ部106の撮像により、少なくとも2つ以上の作業用の画像データに基づいて撮像画像が取得されると(ステップS1:第1撮像工程)、取得手段41は、各撮像画像から人物検出を行う(ステップS3)。
そして、取得手段41は、検出された人物の中から、顔認証又はビーコンにより、特定の被写体T1の検出を実行する(ステップS5:図4(a)~図4(c)参照)。この検出の結果、特定の被写体T1が検出されない場合には(ステップS5:NO)、飛行制御手段44により、機体の移動又は旋回により撮像方向又は撮像位置の変更が行われ(ステップS7)、ステップS1に戻って、再度の撮像が行われる。
また、検出された人物の中から特定の被写体T1が検出された場合には(ステップS5:YES)、取得手段41は、それぞれの人物について移動ベクトルを求め、被写体グループの全体の移動ベクトルと非被写体の移動ベクトルとを求める(取得工程)。
さらに、検出手段43は、これらから被写体グループの全体の領域Wと、非被写体の領域Nと、背景の領域と、を区別して検出する。また、決定手段42は、被写体グループの全体の領域Wから撮像領域Sを検出する(ステップS11:検出工程、図4(d)参照)。
このようにして、撮像制御部4は撮像により複数の作業用の画像データが取得されると、撮像領域Sを検出する。
次に、飛行装置100の飛行時における全体的な撮像制御について図10に基づいて説明する。
まず、飛行装置100が投げ上げられて、推進手段の4組のモータ105の駆動が開始され、飛行が開始されると(ステップS21)、撮像制御部4は、撮像に伴い、前述した領域検出処理を実行して撮像領域Sを検出する(ステップS23)。
次いで、飛行制御手段44は、撮像領域Sが画角G内で上下左右のいずれかの端に位置しているか判定し(ステップS25)、いずれかの端にも位置していない場合には(ステップS25:NO)、第1の画角変動制御を実行する(ステップS27:図6参照)。即ち、飛行制御手段44は、機体を後退させて画角Gの大きさ(視界の広さ)を拡張させる。又は、機体の移動により上下左右の各方向に画角Gを移動させる。そして、ステップS31に処理を進めて、撮像領域Sの再設定を行う。
また、撮像領域Sが画角G内で上下左右のいずれかの端に位置している場合には(ステップS25:YES)、飛行制御手段44は、第2の画角変動制御を実行する(ステップS29:図7(a)、図7(b)参照)。即ち、飛行制御手段44は、撮像領域Sが偏っている方向に向かって画角Gが移動する方向に機体の位置又は向きを変更する制御を実行する。そして、ステップS31に処理を進めて、撮像領域Sの再設定を行う。
撮像領域Sが再設定されると、飛行制御手段44は、遮蔽回避制御を実行する(ステップS33:図5参照)。即ち、撮像領域Sに非被写体の領域Nが被っているか否かを判定し、非被写体の領域Nが被っている場合には(ステップS33:YES)、飛行制御手段44は、機体を予め定められた方向に予め定められた距離で移動させてから再度撮像を実行し(ステップS35)、ステップS1に処理を戻す。
また、撮像領域Sに非被写体の領域Nが被っていない場合には(ステップS33:NO)、飛行制御手段44は、被写体拡大制御を実行する(ステップS37:図8(a)、図8(b)参照)。即ち、飛行制御手段44は、撮像領域Sが拡大するように機体を前進移動させる制御を実行する。そして、前進移動後に撮像された撮像画像を画像記録部7に保存する(ステップS39:第2撮像工程)。
そして、撮像制御部4は、推進手段を制御して、所定位置に飛行装置100を着地させて飛行を終了させ(ステップS41)、撮像制御を終了する。
なお、ステップS39において、領域検出処理により撮像領域Sを再設定し、撮像領域Sを非被写体の領域Nが被っているか否かを判定し、被っていない場合に撮像画像を保存し、覆っている場合にはステップS35から処理を繰り返す構成としても良い。
[第1の実施形態の技術的効果]
飛行装置100では、カメラシステム402の撮像制御部4が、所定の移動ベクトルを取得する取得手段41と所定の領域を検出する検出手段43と備えているので、複数の被写体(検出体)からなる被写体(検出体)グループの全体の領域を適正に検出することが可能である。つまり、複数の被写体をグループとして包括的に取り扱うことが可能となる。
このため、非被写体を含む複数の人物の中から適正に被写体グループを抽出して前記被写体グループを撮像することが可能となる。
さらに、撮像制御部4の飛行制御手段44は、撮像領域Sに非被写体(非検出体)の領域Nが被らないように撮像を行う遮蔽回避制御を実行するので、被写体のグループ全体を良好な状態で撮像することが可能となる。
また、取得手段41は、特定の被写体(検出体)の移動ベクトルを検出し、これを利用して他の被写体(検出体)を検出するので、被写体と非被写体との識別を容易且つ有効に行うことが可能である。
また、取得手段41は、顔認証によって、又は、特定の検出体が有する通信機器であるビーコンからの信号によって、特定の検出体(検出体)を特定するので、特定の被写体も容易且つ有効に検出することが可能である。
また、取得手段41は、他の被写体(検出体)の移動ベクトルを取得し、前記他の被写体の移動ベクトルと特定の被写体(検出体)の移動ベクトルとに基づいて被写体(検出体)グループの全体の移動ベクトルを取得するので、グループ全体の包括的な移動動作を認識することが可能となる。さらに、被写体グループの全体を包括的に扱うことができるので、被写体を個々に取り扱う場合に比べて、処理を容易に行うことが可能となる。
また、撮像制御部4は、被写体(検出体)グループの複数の被写体(検出体)と非被写体(非検出体)とをそれぞれ区別して、それぞれに固有の識別子を付与する付与手段45を備えているので、複数の被写体を個別に識別し、これらに関する情報を個別に管理することが可能となる。
また、撮像制御部4は、被写体グループの全体の領域Wに基づいて、撮像領域Sを決定する決定手段42を備えているので、撮像の対象を被写体グループの全体に限定せず、各被写体の注目すべき部分などに設定して撮像することが可能となる。
特に、決定手段42が、撮像領域Sを被写体グループの複数の被写体のそれぞれの顔領域を含む領域に決定することにより、一般的に撮像の要求が多い顔領域をグループ全体の被写体について適正に撮像することが可能となる。
また、飛行制御手段44は、撮像領域Sに対して画角Gの位置又は大きさが変動するように推進手段を制御する第1の画角変動制御を実行するので、当初の撮像で撮像領域Sから外れていた被写体を新たに含ませることが可能となり、被写体のグループをより適正に撮像することが可能となる。
また、飛行制御手段44は、撮像領域Sが画角Gの端に位置する場合に機体の位置又は向きを変更するように推進手段を制御する第2の画角変動制御を実行するので、当初の撮像で撮像領域Sから外れていた被写体を新たに含ませることが可能となり、被写体のグループをより適正に撮像することが可能となる。
また、飛行制御手段44は、撮像領域Sが画角Gからはみ出さずに前記画角Gに対して占める割合が増加するように推進手段を制御する被写体拡大制御を実行するので、画角Gを広く採りすぎた場合や第1の画角変動制御又は第2の画角変動制御の実行の結果、撮像領域Sが画角G内で小さくなってしまった場合でも、より大きく引き延ばし、良好な撮像を行うことが可能となる。
また、飛行装置100の推進手段は、ユーザにより機体の投げ上げが行われると、推進手段を制御してそのモータ105の駆動を開始させて機体を飛行させるコントローラ401(制御装置)を備えているので、空中からの被写体グループの撮像を容易に実現することが可能となる。
[その他]
前記飛行装置100の飛行制御手段44では、遮蔽回避制御、第1の画角変動制御、第2の画角変動制御、被写体拡大制御を行っているが、少なくとも遮蔽回避制御のみを行う構成としても良い。また、第1の画角変動制御、第2の画角変動制御、被写体拡大制御の一部又は全部を行わない構成としても良い。
このようにして得られた撮像画像は、後に、ユーザが自ら、トリミングやその他の編集作業を行い、所望の画像に加工することが可能である。
[第2の実施形態]
図11は、本発明の検出体領域検出装置及び撮像装置を適用した撮像装置500Aの概略構成を示すブロック図である。
この撮像装置500Aは、ユーザが手に持って撮像し、又は、三脚等の支持台に固定して撮像を行うものであり、移動又は撮像方向を自ら変更する機能は有していない。
この撮像装置500Aは、前述したカメラシステム402と同一の構成については同一の符号を付して、重複する説明は省略する。
撮像装置500Aは、カメラシステム402と比較すると、中央制御部1に撮像の操作等を入力するための操作入力部9Aが併設されており、バスライン10を介して他の構成に接続された表示部8Aを備えている。また、当然ながら、飛行装置100のコントローラ401とはバス接続されていない。
また、この撮像装置500Aの撮像制御部4Aは、飛行制御手段44に替えて、撮像制御手段44Aを備えている。
前記表示部8Aは、表示領域内に画像を表示する。具体的には、表示部8Aは、カメラ部106による被写体の撮像により生成された複数の画像フレームを所定の再生フレームレートで逐次更新しながらライブビュー画像を表示する。
また、その他として、表示部8Aは、報知手段として機能し、撮像時にユーザに対する指示等のメッセージを表示する。
なお、表示部8Aとしては、例えば、液晶表示パネルや有機EL表示パネルなどが挙げられるが、一例であってこれらに限られるものではない。
操作入力部9Aは、装置本体に対して各種指示を入力するためのものである。
具体的には、操作入力部9Aは、例えば、シャッタボタン、動作モードや機能等の選択指示に係る上下左右のカーソルボタン、決定ボタン等を具備する操作部(図示略)を備えている。
そして、ユーザにより操作部の各種ボタンが操作されると、操作入力部9Aは、操作されたボタンに応じた操作指示を中央制御部1に出力する。中央制御部1は、操作入力部9Aから出力され入力された操作指示に従って所定の動作(例えば、被写体の撮像等)を各部に実行させる。
なお、操作入力部9Aは、表示部8Aと一体となって設けられたタッチパネル(図示略)を有して構成されていても良い。
撮像制御部4Aは、取得手段41と、決定手段42と、検出手段43と、撮像制御手段44Aと、付与手段45とを具備している。この撮像制御部4Aも、記憶部6のプログラム62Aを実行して前記各手段41~43,44A,45の制御動作及び処理を行うコンピュータである。また、これらの各手段41~43,44A,45も、所定のロジック回路から構成しても良い。
取得手段41、決定手段42、検出手段43、付与手段45については、カメラシステム402と同一であることから、その説明は省略する
撮像制御手段44Aは、カメラ部106による撮像処理や表示部8Aにおける表示制御を行う。
この撮像制御手段44Aは、遮蔽回避制御、画角変動制御、被写体拡大制御を実行する。
撮像制御手段44Aは、遮蔽回避制御において、撮像領域Sに非被写体の領域Nが被ることを回避するように、撮像のタイミングを制御する。
即ち、前述した図5を参照すると、遮蔽状態が生じた場合に、非被写体NTの移動ベクトルが取得されているので、撮像領域Sを通過する時間を求めることができる。従って、撮像制御手段44Aは、操作入力部9Aでシャッタボタンが操作された場合に、非被写体NTが撮像領域Sを通過する時間を待ってから撮像された画像を保存する処理を行う。
なお、一定時間待ってから遮蔽状態が生じたか否かを判定し、生じていなければその時の撮像画像を保存し、生じている場合には一定時間待つことを繰り返しても良い。
この遮蔽回避制御により、被写体のグループ全体を良好な状態で撮像することが可能となる。
撮像制御手段44Aは、画角変動制御において、撮像領域Sが画角Gの端に位置する場合に、撮像装置500Aの位置又は向きを変更するように、表示部8Aに指示メッセージを表示して報知する制御を行う。
撮像領域Sの上下左右のいずれかの端部が画角Gの上下左右のいずれかの端部に対して、所定の距離範囲内に接近しているような場合に、撮像領域Sが画角Gの中央に寄る方向に、前記画角Gが移動するように、撮像装置500Aを移動又は向きを変える指示メッセージを表示部8Aに表示させる。
例えば、図7(a)の場合、撮像装置500Aを左に向ける又は左に移動するように指示メッセージを表示する。又は、後方に下がるように指示メッセージを出しても良い。
なお、指示メッセージに限らず、矢印等の簡単な記号などの表示でも良い。
これにより、当初の撮像で撮像領域Sから外れていた被写体を新たに含ませることが可能となり、被写体のグループをより適正に撮像することが可能となる。
撮像制御手段44Aは、被写体拡大制御において、撮像領域Sが画角Gからはみ出さずに前記画角Gに対して占める割合が増加するように、表示部8Aに指示メッセージを表示して報知する制御を行う。
例えば、図8(a)のように、画角Gに対して撮像領域Sの上下と左右に余裕がある場合に、撮像制御手段44Aは、図8(b)に示すように、撮像領域Sが拡大するように撮像装置500Aを前進移動させる指示メッセージを表示部8Aに表示させる。なお、この場合も、指示メッセージに限らず、矢印等の簡単な記号などの表示でも良い。
これにより、画角Gを広く採りすぎた場合でも、より大きく引き延ばし、良好な撮像を行うことが可能となる。
なお、撮像装置500Aが、ズーム機能等を有している場合には、撮像領域Sの上下と左右に余裕がある場合に、ズーム機能により、撮像領域Sが画角Gからはみ出さない範囲で、撮像領域Sの画角Gに対して占める割合を増加させてもよい。
[その他]
以上の説明では、本発明に係るプログラム62,62Aのコンピュータ読み取り可能な媒体として記憶部6の不揮発性のメモリであるフラッシュメモリやEEPROMを使用した例を開示したが、この例に限定されない。その他のコンピュータ読み取り可能な媒体として、HDD(Hard Disk Drive)、SSD(Solid State Drive)や、CD-ROM等の可搬型記録媒体を適用することが可能である。なお、可搬型記録媒体を適用する場合には、飛行装置100や撮像装置500Aに着脱可能な外付けの可搬型記録媒体の読み取り装置を利用しても良い。
また、本発明に係るプログラムのデータを通信回線を介して提供する媒体として、キャリアウエーブ(搬送波)も本発明に適用される。なお、その場合には、飛行装置100や撮像装置500Aに通信手段を設けることが望ましい。
以上、本発明の実施形態を説明したが、本発明の範囲は、前述の実施の形態に限定されるものではなく、特許請求の範囲に記載された発明の範囲と均等の範囲とを含む。
以下に、本出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、本出願の願書に最初に添付した特許請求の範囲の通りである。
〔付記〕
<付記1>
撮像された複数の画像に含まれる移動ベクトルを取得する取得手段と、
前記取得手段により取得された、検出対象である複数の検出体を含む検出体グループの全体の移動ベクトルと、検出対象ではない非検出体の移動ベクトルと、に基づいて、前記検出体グループの少なくとも1部の領域と、前記非検出体の少なくとも1部の領域と、を区別して検出する検出手段と、
を備える、
ことを特徴とする検出体領域検出装置。
<付記2>
前記取得手段は、
前記検出体として、特定の検出体を特定するとともに前記特定の検出体の移動ベクトルを取得し、前記特定の検出体の移動ベクトルを基準として、前記特定の検出体の周囲に存在する前記特定の検出体とは異なる、検出対象である他の検出体を検出する、
ことを特徴とする付記1に記載の検出体領域検出装置。
<付記3>
前記取得手段は、
顔認証によって、又は、前記特定の検出体が有する通信機器からの信号によって、前記特定の検出体を特定する、
ことを特徴とする付記2に記載の検出体領域検出装置。
<付記4>
前記取得手段は、
前記他の検出体の移動ベクトルを取得し、前記他の検出体の移動ベクトルと、前記特定の検出体の移動ベクトルと、に基づいて前記検出体グループの全体の移動ベクトルを取得する、
ことを特徴とする付記2又は3に記載の検出体領域検出装置。
<付記5>
前記取得手段により取得された前記検出体グループの全体の移動ベクトルと、前記非検出体の移動ベクトルと、に基づいて、前記検出体グループの前記複数の検出体と前記非検出体とをそれぞれ区別して、それぞれに固有の識別子を付与する付与手段を更に備える、ことを特徴とする付記1乃至4のいずれか1つに記載の検出体領域検出装置。
<付記6>
複数の画像を撮像する撮像手段と、
前記撮像手段により撮像された複数の画像に含まれる移動ベクトルを取得する取得手段と、
前記取得手段により取得された、撮像対象である複数の被写体を含む被写体グループの全体の移動ベクトルと、撮像対象ではない非被写体の移動ベクトルと、に基づいて、前記被写体グループの少なくとも1部の領域と、前記非被写体の少なくとも1部の領域と、を区別して検出する検出手段と、
前記検出手段により検出された前記被写体グループの少なくとも1部の領域に基づいて定まる撮像領域を撮像対象とし、前記撮像領域に前記非被写体の少なくとも1部の領域が被らないように前記撮像手段を制御して撮像させる撮像制御手段と、
を備える、
ことを特徴とする撮像装置。
<付記7>
前記検出手段により検出された前記被写体グループの少なくとも1部の領域に基づいて、前記撮像領域を決定する決定手段を更に備える、
ことを特徴とする付記6に記載の撮像装置。
<付記8>
前記決定手段は、前記撮像領域を前記被写体グループの前記複数の被写体のそれぞれの顔領域を含む領域に決定する、
ことを特徴とする付記7に記載の撮像装置。
<付記9>
前記撮像制御手段は、前記撮像領域を画角に収め、前記撮像領域に前記非被写体の少なくとも1部の領域が被らないように、撮像のタイミングを制御する、
ことを特徴とする付記6乃至8のいずれか1つに記載の撮像装置。
<付記10>
前記画角の調整をユーザに報知する報知手段を更に備え、
前記撮像制御手段は、前記撮像領域が前記画角の端に位置する場合に前記撮像装置の位置又は向きを変更するように前記報知手段を制御して前記ユーザに報知する、
ことを特徴とする付記9に記載の撮像装置。
<付記11>
前記撮像制御手段は、前記撮像領域が前記画角からはみ出さない位置関係まで前記撮像装置を移動させるように前記報知手段を制御して前記ユーザに報知する、
ことを特徴とする付記10に記載の撮像装置。
<付記12>
前記取得手段により取得された前記被写体グループの全体の移動ベクトルと、前記非被写体の移動ベクトルと、に基づいて、前記被写体グループの前記複数の被写体と前記非被写体とをそれぞれ区別して、それぞれに固有の識別子を付与する付与手段を更に備える、ことを特徴とする付記6乃至11のいずれか1つに記載の撮像装置。
<付記13>
複数の画像を撮像する撮像手段と、
前記撮像手段により撮像された複数の画像に含まれる移動ベクトルを取得する取得手段と、
前記取得手段により取得された、撮像対象である複数の被写体を含む被写体グループの全体の移動ベクトルと、撮像対象ではない非被写体の移動ベクトルと、に基づいて、前記被写体グループの少なくとも1部の領域と、前記非被写体の少なくとも1部の領域と、を区別して検出する検出手段と、
自装置を空中で飛行させる推進手段と、
前記自装置の飛行を、前記被写体グループの少なくとも1部の領域と、前記非被写体の少なくとも1部の領域と、に基づいて制御する飛行制御手段と、
を備える、
ことを特徴とする飛行装置。
<付記14>
前記被写体グループの少なくとも1部の領域に基づいて定まる撮像領域を撮像対象とし、前記飛行制御手段は、前記撮像領域に前記非被写体の少なくとも1部の領域が被らないように、前記推進手段を制御する、
ことを特徴とする付記13に記載の飛行装置。
<付記15>
前記飛行制御手段は、前記撮像領域に対して画角の位置又は大きさが変動するように前記推進手段を制御する、
ことを特徴とする付記14に記載の飛行装置。
<付記16>
前記飛行制御手段は、前記撮像領域が前記画角の端に位置する場合に前記自装置の位置又は向きを変更するように前記推進手段を制御する、
ことを特徴とする付記15に記載の飛行装置。
<付記17>
前記飛行制御手段は、前記撮像領域が前記画角からはみ出さずに前記画角に対して占める割合が増加するように前記推進手段を制御する、
ことを特徴とする付記15又は16に記載の飛行装置。
<付記18>
前記推進手段は、飛行駆動源となるモータと前記モータにより回転するロータとを有し、
ユーザにより前記自装置の投げ上げが行われると、前記推進手段を制御して前記飛行駆動源の駆動を開始させて前記ロータを回転させて前記自装置を飛行させる制御装置を更に備える、
ことを特徴とする付記13乃至17のいずれか1つに記載の飛行装置。
<付記19>
撮像された複数の画像に含まれる移動ベクトルを取得する取得工程と、
前記取得工程において取得された、検出対象である複数の検出体を含む検出体グループの全体の移動ベクトルと、検出対象ではない非検出体の移動ベクトルと、に基づいて、前記検出体グループの少なくとも1部の領域と、前記非検出体の少なくとも1部の領域と、を区別して検出する検出工程と、
を含む、
ことを特徴とする検出体領域検出方法。
<付記20>
複数の画像を撮像する第1撮像工程と、
前記第1撮像工程において撮像された複数の画像に含まれる移動ベクトルを取得する取得工程と、
前記取得工程において取得された、撮像対象である複数の被写体を含む被写体グループの全体の移動ベクトルと、撮像対象ではない非被写体の移動ベクトルと、に基づいて、前記被写体グループの少なくとも1部の領域と、前記非被写体の少なくとも1部の領域と、を区別して検出する検出工程と、
前記検出工程において検出された前記被写体グループの少なくとも1部の領域に基づいて定まる撮像領域を撮像対象とし、前記撮像領域に前記非被写体の少なくとも1部の領域が被らないように撮像する第2撮像工程と、
を含む、
ことを特徴とする撮像方法。
<付記21>
検出体領域検出装置のコンピュータを、
撮像された複数の画像に含まれる移動ベクトルを取得する取得手段、
前記取得手段により取得された、検出対象である複数の検出体を含む検出体グループの全体の移動ベクトルと、検出対象ではない非検出体の移動ベクトルと、に基づいて、前記検出体グループの少なくとも1部の領域と、前記非検出体の少なくとも1部の領域と、を区別して検出する検出手段、
として機能させる、
ことを特徴とするプログラム。
<付記22>
複数の画像を撮像する撮像手段を備える撮像装置のコンピュータを、
前記撮像手段により撮像された複数の画像に含まれる移動ベクトルを取得する取得手段、
前記取得手段により取得された、撮像対象である複数の被写体を含む被写体グループの全体の移動ベクトルと、撮像対象ではない非被写体の移動ベクトルと、に基づいて、前記被写体グループの少なくとも1部の領域と、前記非被写体の少なくとも1部の領域と、を区別して検出する検出手段、
前記検出手段により検出された前記被写体グループの少なくとも1部の領域に基づいて定まる撮像領域を撮像対象とし、前記撮像領域に前記非被写体の少なくとも1部の領域が被らないように前記撮像手段を制御して撮像させる撮像制御手段、
として機能させる、
ことを特徴とするプログラム。
2 メモリ
3 ビーコン受信機
4,4A 撮像制御部
7 画像記録部
8A 表示部(報知手段)
9A 操作入力部
41 取得手段
42 決定手段
43 検出手段
44 飛行制御手段
44A 撮像制御手段
45 付与手段
61 顔画像データファイル
100 飛行装置
101 メインフレーム(機体)
102 モータフレーム(機体)
104 ロータブレード(推進手段)
105 モータ(推進手段)
106 カメラ部(撮像手段)
401 コントローラ(制御装置)
402 カメラシステム(被検出体検出装置、撮像装置)
404 モータドライバ(推進手段)
500A 撮像装置(被検出体検出装置、撮像装置)
B1,B2 移動ベクトル
G 画角
N 非被写体の領域
NT1,NT2 非被写体
S 撮像領域
T1 特定の被写体
T2~T4 他の被写体
W 被写体グループの全体の領域
本発明は、被写体の領域を検出する技術に関する。
本発明は、このような問題に鑑みてなされたものであり、撮像された複数の画像に含まれる、複数の被写体を含む被写体グループのみならず非被写体も適正に検出することができる技術を提供することを目的とする。
本発明によれば、撮像された複数の画像に含まれる、複数の被写体を含む被写体グループのみならず非被写体も適正に検出することが可能になる。

Claims (22)

  1. 撮像された複数の画像に含まれる移動ベクトルを取得する取得手段と、
    前記取得手段により取得された、検出対象である複数の検出体を含む検出体グループの全体の移動ベクトルと、検出対象ではない非検出体の移動ベクトルと、に基づいて、前記検出体グループの少なくとも1部の領域と、前記非検出体の少なくとも1部の領域と、を区別して検出する検出手段と、
    を備える、
    ことを特徴とする検出体領域検出装置。
  2. 前記取得手段は、
    前記検出体として、特定の検出体を特定するとともに前記特定の検出体の移動ベクトルを取得し、前記特定の検出体の移動ベクトルを基準として、前記特定の検出体の周囲に存在する前記特定の検出体とは異なる、検出対象である他の検出体を検出する、
    ことを特徴とする請求項1に記載の検出体領域検出装置。
  3. 前記取得手段は、
    顔認証によって、又は、前記特定の検出体が有する通信機器からの信号によって、前記特定の検出体を特定する、
    ことを特徴とする請求項2に記載の検出体領域検出装置。
  4. 前記取得手段は、
    前記他の検出体の移動ベクトルを取得し、前記他の検出体の移動ベクトルと、前記特定の検出体の移動ベクトルと、に基づいて前記検出体グループの全体の移動ベクトルを取得する、
    ことを特徴とする請求項2又は3に記載の検出体領域検出装置。
  5. 前記取得手段により取得された前記検出体グループの全体の移動ベクトルと、前記非検出体の移動ベクトルと、に基づいて、前記検出体グループの前記複数の検出体と前記非検出体とをそれぞれ区別して、それぞれに固有の識別子を付与する付与手段を更に備える、ことを特徴とする請求項1乃至4のいずれか1項に記載の検出体領域検出装置。
  6. 複数の画像を撮像する撮像手段と、
    前記撮像手段により撮像された複数の画像に含まれる移動ベクトルを取得する取得手段と、
    前記取得手段により取得された、撮像対象である複数の被写体を含む被写体グループの全体の移動ベクトルと、撮像対象ではない非被写体の移動ベクトルと、に基づいて、前記被写体グループの少なくとも1部の領域と、前記非被写体の少なくとも1部の領域と、を区別して検出する検出手段と、
    前記検出手段により検出された前記被写体グループの少なくとも1部の領域に基づいて定まる撮像領域を撮像対象とし、前記撮像領域に前記非被写体の少なくとも1部の領域が被らないように前記撮像手段を制御して撮像させる撮像制御手段と、
    を備える、
    ことを特徴とする撮像装置。
  7. 前記検出手段により検出された前記被写体グループの少なくとも1部の領域に基づいて、前記撮像領域を決定する決定手段を更に備える、
    ことを特徴とする請求項6に記載の撮像装置。
  8. 前記決定手段は、前記撮像領域を前記被写体グループの前記複数の被写体のそれぞれの顔領域を含む領域に決定する、
    ことを特徴とする請求項7に記載の撮像装置。
  9. 前記撮像制御手段は、前記撮像領域を画角に収め、前記撮像領域に前記非被写体の少なくとも1部の領域が被らないように、撮像のタイミングを制御する、
    ことを特徴とする請求項6乃至8のいずれか1項に記載の撮像装置。
  10. 前記画角の調整をユーザに報知する報知手段を更に備え、
    前記撮像制御手段は、前記撮像領域が前記画角の端に位置する場合に前記撮像装置の位置又は向きを変更するように前記報知手段を制御して前記ユーザに報知する、
    ことを特徴とする請求項9に記載の撮像装置。
  11. 前記撮像制御手段は、前記撮像領域が前記画角からはみ出さない位置関係まで前記撮像装置を移動させるように前記報知手段を制御して前記ユーザに報知する、
    ことを特徴とする請求項10に記載の撮像装置。
  12. 前記取得手段により取得された前記被写体グループの全体の移動ベクトルと、前記非被写体の移動ベクトルと、に基づいて、前記被写体グループの前記複数の被写体と前記非被写体とをそれぞれ区別して、それぞれに固有の識別子を付与する付与手段を更に備える、ことを特徴とする請求項6乃至11のいずれか1項に記載の撮像装置。
  13. 複数の画像を撮像する撮像手段と、
    前記撮像手段により撮像された複数の画像に含まれる移動ベクトルを取得する取得手段と、
    前記取得手段により取得された、撮像対象である複数の被写体を含む被写体グループの全体の移動ベクトルと、撮像対象ではない非被写体の移動ベクトルと、に基づいて、前記被写体グループの少なくとも1部の領域と、前記非被写体の少なくとも1部の領域と、を区別して検出する検出手段と、
    自装置を空中で飛行させる推進手段と、
    前記自装置の飛行を、前記被写体グループの少なくとも1部の領域と、前記非被写体の少なくとも1部の領域と、に基づいて制御する飛行制御手段と、
    を備える、
    ことを特徴とする飛行装置。
  14. 前記被写体グループの少なくとも1部の領域に基づいて定まる撮像領域を撮像対象とし、前記飛行制御手段は、前記撮像領域に前記非被写体の少なくとも1部の領域が被らないように、前記推進手段を制御する、
    ことを特徴とする請求項13に記載の飛行装置。
  15. 前記飛行制御手段は、前記撮像領域に対して画角の位置又は大きさが変動するように前記推進手段を制御する、
    ことを特徴とする請求項14に記載の飛行装置。
  16. 前記飛行制御手段は、前記撮像領域が前記画角の端に位置する場合に前記自装置の位置又は向きを変更するように前記推進手段を制御する、
    ことを特徴とする請求項15に記載の飛行装置。
  17. 前記飛行制御手段は、前記撮像領域が前記画角からはみ出さずに前記画角に対して占める割合が増加するように前記推進手段を制御する、
    ことを特徴とする請求項15又は16に記載の飛行装置。
  18. 前記推進手段は、飛行駆動源となるモータと前記モータにより回転するロータとを有し、
    ユーザにより前記自装置の投げ上げが行われると、前記推進手段を制御して前記飛行駆動源の駆動を開始させて前記ロータを回転させて前記自装置を飛行させる制御装置を更に備える、
    ことを特徴とする請求項13乃至17のいずれか1項に記載の飛行装置。
  19. 撮像された複数の画像に含まれる移動ベクトルを取得する取得工程と、
    前記取得工程において取得された、検出対象である複数の検出体を含む検出体グループの全体の移動ベクトルと、検出対象ではない非検出体の移動ベクトルと、に基づいて、前記検出体グループの少なくとも1部の領域と、前記非検出体の少なくとも1部の領域と、を区別して検出する検出工程と、
    を含む、
    ことを特徴とする検出体領域検出方法。
  20. 複数の画像を撮像する第1撮像工程と、
    前記第1撮像工程において撮像された複数の画像に含まれる移動ベクトルを取得する取得工程と、
    前記取得工程において取得された、撮像対象である複数の被写体を含む被写体グループの全体の移動ベクトルと、撮像対象ではない非被写体の移動ベクトルと、に基づいて、前記被写体グループの少なくとも1部の領域と、前記非被写体の少なくとも1部の領域と、を区別して検出する検出工程と、
    前記検出工程において検出された前記被写体グループの少なくとも1部の領域に基づいて定まる撮像領域を撮像対象とし、前記撮像領域に前記非被写体の少なくとも1部の領域が被らないように撮像する第2撮像工程と、
    を含む、
    ことを特徴とする撮像方法。
  21. 検出体領域検出装置のコンピュータを、
    撮像された複数の画像に含まれる移動ベクトルを取得する取得手段、
    前記取得手段により取得された、検出対象である複数の検出体を含む検出体グループの全体の移動ベクトルと、検出対象ではない非検出体の移動ベクトルと、に基づいて、前記検出体グループの少なくとも1部の領域と、前記非検出体の少なくとも1部の領域と、を区別して検出する検出手段、
    として機能させる、
    ことを特徴とするプログラム。
  22. 複数の画像を撮像する撮像手段を備える撮像装置のコンピュータを、
    前記撮像手段により撮像された複数の画像に含まれる移動ベクトルを取得する取得手段、
    前記取得手段により取得された、撮像対象である複数の被写体を含む被写体グループの全体の移動ベクトルと、撮像対象ではない非被写体の移動ベクトルと、に基づいて、前記被写体グループの少なくとも1部の領域と、前記非被写体の少なくとも1部の領域と、を区別して検出する検出手段、
    前記検出手段により検出された前記被写体グループの少なくとも1部の領域に基づいて定まる撮像領域を撮像対象とし、前記撮像領域に前記非被写体の少なくとも1部の領域が被らないように前記撮像手段を制御して撮像させる撮像制御手段、
    として機能させる、
    ことを特徴とするプログラム。
JP2022068577A 2018-03-23 2022-04-19 撮像装置、飛行装置、撮像方法及びプログラム Pending JP2022105047A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022068577A JP2022105047A (ja) 2018-03-23 2022-04-19 撮像装置、飛行装置、撮像方法及びプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018055577A JP2019168886A (ja) 2018-03-23 2018-03-23 検出体領域検出装置、撮像装置、飛行装置、検出体領域検出方法、撮像方法及びプログラム
JP2022068577A JP2022105047A (ja) 2018-03-23 2022-04-19 撮像装置、飛行装置、撮像方法及びプログラム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2018055577A Division JP2019168886A (ja) 2018-03-23 2018-03-23 検出体領域検出装置、撮像装置、飛行装置、検出体領域検出方法、撮像方法及びプログラム

Publications (1)

Publication Number Publication Date
JP2022105047A true JP2022105047A (ja) 2022-07-12

Family

ID=68106823

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2018055577A Pending JP2019168886A (ja) 2018-03-23 2018-03-23 検出体領域検出装置、撮像装置、飛行装置、検出体領域検出方法、撮像方法及びプログラム
JP2022068577A Pending JP2022105047A (ja) 2018-03-23 2022-04-19 撮像装置、飛行装置、撮像方法及びプログラム

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2018055577A Pending JP2019168886A (ja) 2018-03-23 2018-03-23 検出体領域検出装置、撮像装置、飛行装置、検出体領域検出方法、撮像方法及びプログラム

Country Status (1)

Country Link
JP (2) JP2019168886A (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021140916A1 (ja) * 2020-01-07 2021-07-15 ソニーグループ株式会社 移動体、情報処理装置、情報処理方法、及びプログラム

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004101616A (ja) * 2002-09-05 2004-04-02 Sony Corp 移動撮影システム、移動撮影方法、移動体、及び信号発生装置
JP2010263550A (ja) * 2009-05-11 2010-11-18 Canon Inc 画像処理装置
JP2013034167A (ja) * 2011-06-28 2013-02-14 Sony Corp 情報処理装置、情報処理方法およびプログラム
JP2013205675A (ja) * 2012-03-29 2013-10-07 Nikon Corp 撮像装置
JP2014202875A (ja) * 2013-04-04 2014-10-27 キヤノン株式会社 被写体追跡装置
JP2016143335A (ja) * 2015-02-04 2016-08-08 富士通株式会社 グループ対応付け装置、グループ対応付け方法及びグループ対応付け用コンピュータプログラム
JP2017056921A (ja) * 2015-09-18 2017-03-23 カシオ計算機株式会社 情報収集装置、情報収集方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4459717B2 (ja) * 2004-05-26 2010-04-28 富士フイルム株式会社 地図更新システム
JP2006242871A (ja) * 2005-03-04 2006-09-14 Victor Co Of Japan Ltd ビーコン受信機及びビュアーシステム
JP4888191B2 (ja) * 2007-03-30 2012-02-29 株式会社ニコン 撮像装置
JP5207918B2 (ja) * 2008-10-27 2013-06-12 キヤノン株式会社 画像処理装置、撮像装置及び画像処理方法
WO2012001947A1 (ja) * 2010-06-28 2012-01-05 株式会社ニコン 撮像装置、画像処理装置、画像処理プログラム記録媒体
JP2013162287A (ja) * 2012-02-03 2013-08-19 Sony Corp 画像処理装置、画像処理方法、およびプログラム
JP6452481B2 (ja) * 2015-02-09 2019-01-16 キヤノン株式会社 画像処理装置およびその制御方法
US10636150B2 (en) * 2016-07-21 2020-04-28 Gopro, Inc. Subject tracking systems for a movable imaging system

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004101616A (ja) * 2002-09-05 2004-04-02 Sony Corp 移動撮影システム、移動撮影方法、移動体、及び信号発生装置
JP2010263550A (ja) * 2009-05-11 2010-11-18 Canon Inc 画像処理装置
JP2013034167A (ja) * 2011-06-28 2013-02-14 Sony Corp 情報処理装置、情報処理方法およびプログラム
JP2013205675A (ja) * 2012-03-29 2013-10-07 Nikon Corp 撮像装置
JP2014202875A (ja) * 2013-04-04 2014-10-27 キヤノン株式会社 被写体追跡装置
JP2016143335A (ja) * 2015-02-04 2016-08-08 富士通株式会社 グループ対応付け装置、グループ対応付け方法及びグループ対応付け用コンピュータプログラム
JP2017056921A (ja) * 2015-09-18 2017-03-23 カシオ計算機株式会社 情報収集装置、情報収集方法

Also Published As

Publication number Publication date
JP2019168886A (ja) 2019-10-03

Similar Documents

Publication Publication Date Title
US8831282B2 (en) Imaging device including a face detector
US9736356B2 (en) Photographing apparatus, and method for photographing moving object with the same
WO2019179357A1 (zh) 拍摄方法、装置、智能设备及存储介质
KR102407190B1 (ko) 영상 촬영 장치 및 그 동작 방법
KR20190013759A (ko) 연산 처리 장치 및 연산 처리 방법
JP2011090413A (ja) 画像認識装置、その処理方法及びプログラム
CN104919791A (zh) 图像处理设备、图像处理方法以及程序
US9628700B2 (en) Imaging apparatus, imaging assist method, and non-transitory recoding medium storing an imaging assist program
KR102708591B1 (ko) 스마트한 파노라마 이미지를 획득하기 위한 시스템 및 방법
JP2011139282A (ja) 画像処理装置、撮像装置、画像処理方法およびプログラム
JP2021097416A (ja) 画像処理装置、モニタリングシステム及び画像処理方法
JPWO2017037978A1 (ja) 検出装置、検出方法、検出プログラムおよび撮像装置
US12075151B2 (en) Systems and methods for obtaining a smart panoramic image
WO2021168804A1 (zh) 图像处理方法、图像处理装置和图像处理系统
JP2022105047A (ja) 撮像装置、飛行装置、撮像方法及びプログラム
JP7371076B2 (ja) 情報処理装置、情報処理システム、情報処理方法及びプログラム
JP2017201818A (ja) 領域抽出装置
JP7550223B2 (ja) 画像処理装置、撮像装置、画像処理方法、及びプログラム
JP6350331B2 (ja) 追尾装置、追尾方法及び追尾プログラム
JP5871175B2 (ja) 領域抽出装置、撮像装置、及び領域抽出プログラム
JP2016048863A (ja) 被写体検出装置、その制御方法、撮像装置、表示装置及びプログラム
JP7566830B2 (ja) 撮像装置、撮像装置の制御方法、プログラム
US20240380968A1 (en) Systems and methods for obtaining a smart panoramic image
JP2013157675A (ja) 撮像装置及びその制御方法、プログラム、並びに記憶媒体
US20230345107A1 (en) Imaging apparatus, information processing apparatus, information processing method, and program

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220513

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220513

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230207

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230801