JP2011229008A - 画像撮影装置、及びプログラム - Google Patents
画像撮影装置、及びプログラム Download PDFInfo
- Publication number
- JP2011229008A JP2011229008A JP2010097995A JP2010097995A JP2011229008A JP 2011229008 A JP2011229008 A JP 2011229008A JP 2010097995 A JP2010097995 A JP 2010097995A JP 2010097995 A JP2010097995 A JP 2010097995A JP 2011229008 A JP2011229008 A JP 2011229008A
- Authority
- JP
- Japan
- Prior art keywords
- photographing
- moving object
- shooting
- image
- moving
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Accessories Of Cameras (AREA)
- Studio Devices (AREA)
- Stereoscopic And Panoramic Photography (AREA)
Abstract
【課題】撮影範囲を分割した多数の撮影領域で撮影した撮影画像を合成してパノラマ合成画像を形成する場合、複数の撮影領域で同一の移動物体が写り込むことを防止して、高品質の合成画像を形成できる画像撮影装置を提供する。
【解決手段】制御装置は、カメラと自動雲台を制御して、撮影範囲を分割したそれぞれの撮影領域で撮影画像を取得する。制御装置は、1つの撮影領域で取得した撮影条件が異なる複数の撮影画像を処理して撮影領域内の移動物体1101を抽出し、撮影範囲におけるその後の移動を推定する。推定結果に基いて、移動物体を撮影する可能性のある未撮影領域を後回しにして、移動物体が存在しないと推定される撮影領域で撮影画像を先行取得する。
【選択図】図16
【解決手段】制御装置は、カメラと自動雲台を制御して、撮影範囲を分割したそれぞれの撮影領域で撮影画像を取得する。制御装置は、1つの撮影領域で取得した撮影条件が異なる複数の撮影画像を処理して撮影領域内の移動物体1101を抽出し、撮影範囲におけるその後の移動を推定する。推定結果に基いて、移動物体を撮影する可能性のある未撮影領域を後回しにして、移動物体が存在しないと推定される撮影領域で撮影画像を先行取得する。
【選択図】図16
Description
本発明は、撮影範囲を分割した個別の撮影領域から撮影範囲全体の合成画像を形成するための撮影画像を取得する画像撮影装置、詳しくは合成画像上で同じ移動物体が複数写り込まないようにする制御に関する。
撮影範囲を分割した個別の撮影領域で撮影した写真画像を合成して撮影範囲の写真画像を形成するシステムが実用化されている(特許文献1、2)。
特許文献1には、パノラマ風景写真を自動撮影する画像撮影装置が示される。ここでは、撮影範囲を分割して複数の撮影領域を予め設定すると、デジタルカメラの支持機構を制御して、それぞれの撮影領域にデジタルカメラの画角を自動的に設定して連続的に写真撮影する。なお、以下では、被写体側に設定される撮影領域とカメラ側から狙う撮影領域とを区別するために後者を画角(いわゆるカメラアングル)と呼ぶ。
特許文献2には、凹凸のある被写体面を自動撮影する医療用の画像撮影装置が示される。ここでは、撮影領域を分割して設定した撮影領域で写真撮影が行われるごとに撮影した写真を順次合成して、撮影範囲の合成画像を表示装置に表示している。
特許文献3には、露出を変更して複数回のパンニング撮影を行って白つぶれ画像や黒つぶれ画像からも濃度階調を抽出して、最終画像の画像濃度(明暗)のダイナミックレンジを拡大するパノラマ撮影方法が示される。
特許文献4には、1つの焦点位置ではピントぼけしてしまう焦点位置の前後の画像を、焦点位置を異ならせて取り込んで元の焦点位置の撮影画像に合成することで、1枚の画像の解像度を高める撮影方法が示される。
1台のカメラの画角を振って撮影領域を順次切り換えて複数の撮影領域の画像を連続撮影するパノラマ画像の撮影システムを試作して、運転させたところ、撮影範囲全体の合成画像の複数箇所に同一被写体が写り込んでいた。これは、1つの撮影領域で撮影された移動物体(人物)が、連続撮影中に、別の撮影領域へ移動して再度撮影されていたためである。そして、撮影範囲の複数箇所に同じ被写体が写り込んだパノラマ画像は、不自然な印象を与えるため、品質が悪いと評価されてしまう。
ここで、特許文献1、3に示されるように、2〜5枚程度の写真画像を合成する場合であれば、撮影が短時間で終了するため、同じ移動物体が複数の撮影領域で撮影される可能性は低い。しかし、広範囲な撮影領域を時間をかけて多数枚の分割撮影を行うパノラマ画像撮影においては、同じ移動物体が複数の撮影領域で撮影される可能性は高まる。そして撮影領域全体を分割撮影し、合成することで画像解像度が向上し高解像画像が作成されるため、パノラマ合成した画像上で同じ移動物体であることが一目瞭然となってしまう。
また、撮影範囲に移動物体が1つだけであれば、その移動物体を回避するように撮影順序を手動変更する等して対処できるが、撮影範囲に移動物体が複数存在してでたらめに動き回る場合、人間の判断では対処ができない。
本発明は、合成画像上で同一の被写体が複数映り込むことを防止して高品質の合成画像を形成できる画像撮影装置を提供することを目的としている。
本発明の画像撮影装置は、撮影範囲を分割した個別の撮影領域を撮影可能な撮影手段と、前記撮影手段を移動させて前記撮影手段の画角を異なる前記撮影領域に位置決め可能な移動手段と、それぞれの撮影領域で撮影画像を取得するように前記撮影手段と前記移動手段を制御する制御手段とを備えるものである。そして、前記制御手段は、取得した撮影画像に基いて撮影領域を移動する移動物体を検出し、その移動物体の検出結果に基いて未撮影の撮影領域における前記移動物体の撮影を回避するように前記撮影手段と前記移動手段を制御する。
本発明の画像撮影装置では、取得した撮影画像から撮影領域内の移動物体を検出するので、撮影領域内の移動物体の位置を正確に検出してその後の移動物体の撮影範囲の移動を正確に推定できる。このため、移動物体の検出結果に基いて撮影手段と移動手段を制御することにより、未撮影の撮影領域で同一移動物体が再び撮影されることを精度高く回避できる。
従って、合成画像上で同一の被写体が複数映り込むことを防止して、高品質の合成画像を形成できる。
以下、本発明の実施形態を、図面を参照して詳細に説明する。本発明は、移動物体の写り込みを回避するように撮影範囲の自動連続撮影を行う限りにおいて、実施形態の構成の一部又は全部を、その代替的な構成で置き換えた別の実施形態でも実施できる。
なお、特許文献1〜4に示される画像撮影装置やパノラマ画像の合成処理に関する一般的な事項については、図示を省略して重複する説明を省略する。
<画像撮影装置>
図1はパノラマ撮像装置の構成の説明図である。図2はカメラホルダの説明図である。図3は自動雲台の座標系の説明図である。図1に示すように、パノラマ撮像装置100は、カメラホルダ102に固定されたカメラ101の画角を、自動雲台103によって垂直方向及び水平方向に移動させて、撮影範囲を分割した撮影領域の任意の1つに位置決める。パノラマ撮像装置100は、カメラ101の画角をそれぞれの撮影位置に位置決めて撮影を実行し、取得した撮影画像を表示装置105に表示する。
図1はパノラマ撮像装置の構成の説明図である。図2はカメラホルダの説明図である。図3は自動雲台の座標系の説明図である。図1に示すように、パノラマ撮像装置100は、カメラホルダ102に固定されたカメラ101の画角を、自動雲台103によって垂直方向及び水平方向に移動させて、撮影範囲を分割した撮影領域の任意の1つに位置決める。パノラマ撮像装置100は、カメラ101の画角をそれぞれの撮影位置に位置決めて撮影を実行し、取得した撮影画像を表示装置105に表示する。
撮影手段の一例であるカメラ101は、撮影範囲を分割した個別の撮影領域を撮影可能である。カメラ101は、被写体を撮影する。カメラ101は、市販のデジタル1眼カメラを用いており、予め焦点距離およびF値が既知の交換レンズが接続されている。カメラ101のフォーカス制御、絞り値制御、露出時間制御、シャッタ制御、画像伝送など、撮影および撮影条件に関する一切の制御は、制御装置106との通信によって制御可能である。
カメラホルダ102は、カメラ101およびレンズを安定に固定する。カメラホルダ102は、カメラ101の位置を、パン方向、チルト方向、及びローテーション方向における予め決められた基準位置に設置する機能を有する。
図2に示すように、カメラホルダ102の底面には、カメラ設置基準線201が描画されている。カメラ設置基準線201を参照してカメラ101を固定することで、カメラホルダ102に対して正面を向くようにカメラ101を搭載できる。カメラホルダ102には、水準器202が設置されており、カメラ101の固定後、水準器202を参照して、カメラ101の水平(ローテーション角とあおり角)を0度に調整可能である。
また、カメラ設置基準線201の延長線にはレーザーポインタ203が搭載されている。被写体204の予め決められた位置にレーザーポインタ203のレーザー光を当てることで、カメラ101の向きを正確に設定できる。
移動手段の一例である自動雲台103は、カメラ101を移動させてカメラ101の画角を異なる撮影領域に位置決め可能である。自動雲台103は、カメラホルダ102と連結してカメラ101の撮影方向を制御するためにパン・チルト動作を行う。三脚104は、カメラ101を所定の高さに設置する。図1の(b)に示すように、自動雲台103は、制御装置106の指示により、パン機構111、チルト機構112を作動させて、カメラ101のパン・チルトが可能となる。
図3の(a)に示すように、カメラ101を原点とする座標系全体が設定される。最初に図2に示す水準器202を用いてカメラ101の水平出しを行う。次に、レーザーポインタ203を被写体204に照射しながらカメラ101をパンし、撮影領域の左右の中心にカメラ正面方向を合わせて奥行き方向にY軸を定義する。最後に水平面内のY軸直交軸をX軸と定義し、鉛直上方向をZ軸と定義する。これにより、直交座標XYZを定義する。自動雲台103のパン・チルト制御は、図3の(b)に示すようにパンニング角をY軸から角度φで定義し、図3の(c)に示すようにチルト角をXY軸平面からの仰角θで定義している。
制御手段の一例である制御装置106は、それぞれの撮影領域で撮影画像を取得するようにカメラ101と自動雲台103を制御する。コンピュータの一例である制御装置106は、カメラ101と自動雲台103を制御して複数の撮影領域で撮影画像を取得させるプログラムを搭載している。なお、本実施例では、持ち運びの簡便性から、制御装置106は、1台のパーソナルコンピュータを使用しているが、複数の演算装置、制御モジュール、画像処理装置等に分割して制御手段を構成してもよい。
制御装置106は、入力部108を通じてカメラ101の撮影条件の設定を取り込み、自動雲台103のパン・チルト制御を行い、カメラ101の撮影制御を行い、取得した撮影画像を表示装置105に表示して画像処理を行う。制御装置106は、カメラ101および自動雲台103に対し撮影に関する制御、カメラ101からの撮影画像取得、取得画像の画像処理、画像処理結果の表示装置105への出力を司る。撮影に関しては、自動雲台103のパン・チルト制御、後述するフローに従ってピント調整、絞り値設定、シャッタ時間設定、レリーズを行う様制御信号を出力する。
表示手段の一例である表示装置105は、撮影領域で取得した撮影画像を撮影範囲に対応させて表示する。表示装置105は、それぞれの撮影領域で取得した撮影画像を縮小して、撮影範囲に対応した配置で配列表示する。図1はパン方向5分割、チルト方向4分割の20分割パノラマ分割画像107の撮影を完了した状態である。撮影範囲のチルト方向を縦に、パン方向を横にして、縮小画像を取得した順に追加表示していく。
パノラマ画像撮影は、デジタルカメラの光学系仕様で決められた画角を超える広範囲な被写領域を撮影する。撮影範囲をデジタルカメラの画角以下の連続または一部重複する撮影領域に分割し、分割された撮影領域のそれぞれをデジタルカメラにより撮影する。そして、撮影・記録保持された撮影領域の撮影画像を画像処理により連結結合(スティッチング)することにより、広範囲な撮影範囲の写真画像を再現する。
<移動物体の多重写り込み>
図4は撮影範囲における被写体と移動物体の分布の説明図である。図5は移動物体の多重写り込みの説明図である。図4に示すように、パノラマ撮像装置100は、カメラ101の向きを変えて、撮影領域ごとに画角を移動しながら撮影を繰り返す。パノラマ撮像装置100は、風景などの広範囲な領域を撮影するため屋外での撮影も多く、撮影範囲2101内には、人や車、動物、自然物など様々な移動物体2102が存在する。
図4は撮影範囲における被写体と移動物体の分布の説明図である。図5は移動物体の多重写り込みの説明図である。図4に示すように、パノラマ撮像装置100は、カメラ101の向きを変えて、撮影領域ごとに画角を移動しながら撮影を繰り返す。パノラマ撮像装置100は、風景などの広範囲な領域を撮影するため屋外での撮影も多く、撮影範囲2101内には、人や車、動物、自然物など様々な移動物体2102が存在する。
ここで、個別の撮影領域内に存在する移動物体の移動によって発生する撮影画像内の画像のぶれについては、従来のぶれ補正処理を撮影画像に適用することで後から補正が可能である。
しかし、移動物体の移動方向がパノラマ撮影の視野移動方向と一致し、移動物体の見かけ移動速度がパノラマ撮影の視野移動速度に近いと、複数の撮影領域の撮影画像中に同一の移動物体が映り込むという問題が発生する。
図5に示すように、同一の移動物体が複数の分割画像に写り込んだパノラマ画像は、一見して不自然である。この様な同一物体の多重写り込みはパノラマ画像の画像品質を大きく損なわせる要因であり重大な問題である。
従来は、パノラマ画像を合成した後に、同一物体が異なる場所に複数存在する多重写り込みの発生を初めて知ることになり、時間の掛かる撮影を準備段階からやり直すという手間とコストが掛かっていた。多重写り込みの課題は、パノラマ画像を分割撮影する際には常に起こり得る問題である。そして、パノラマ撮像装置100では、後述するように、同一の撮影領域で複数の撮影画像を取得するため、撮影の開始から終了までに多くの時間を費やすことになり、動きの遅い移動物体でも、多重写り込みの可能性が高くなる。
このため、パノラマ撮像装置100では、制御装置106が、取得した複数の撮影画像に基いて撮影領域を移動する移動物体を検出し、その移動物体の検出結果に基いて未撮影の撮影領域における移動物体の撮影を回避させる。制御装置106は、予め決められた撮影スケジュールに従って、連続する複数の撮影領域を撮影し、取得した撮影画像を処理して撮影領域に移動物体が検出されると、移動物体の動きを予測する。そして、移動物体の移動の推定結果に基いてカメラ101と自動雲台103を制御して、1つの未撮影領域へ移動物体が移動する前、又は1つの未撮影領域を移動物体が通過した後にその未撮影領域で撮影画像を取得させる。その結果、多重映り込みのないパノラマ合成画像を短時間で得ることが可能となる。
<撮影スケジュール>
図6は設定画面の説明図である。図7は撮影スケジュールの一例の説明図である。図8は被写界深度合成に用いる焦点位置を求めるプログラムのフローチャートである。
図6は設定画面の説明図である。図7は撮影スケジュールの一例の説明図である。図8は被写界深度合成に用いる焦点位置を求めるプログラムのフローチャートである。
図1を参照して図6に示すように、制御装置106は、パノラマ撮影プログラムが表示装置105に表示した設定画面120を通じてユーザーに撮影条件を入力させる。操作部108等を通じて入力がされると、その入力内容に応じて制御装置106が撮影スケジュールを設定する。
図6に示すように、パノラマ撮影のための撮影範囲の分割数(パン方向・チルト方向)、撮影領域(小視野領域)毎の自動雲台の回転角(パン角・チルト角)および回転優先方向(パン又はチルト)が入力される。
設定がされると、制御装置106は、図7に示すように撮影範囲を分割した撮影領域を計算して撮影スケジュールを決定する。図8に示すように演算プログラムを実行して、それぞれの撮影領域をカメラ101に設定するためのパン角P[k]及びチルト角[k]を決定する。図8の演算処理フローは次式に示される。
式(1)は、図3に示すパン角φ、チルト角θを求めるプログラム例である。ここでは、図6のパン方向の分割数と雲台回転角(N:5、p:20.4)およびチルト方向の分割数と雲台回転角(m:4、T:13.7)から、20分割の撮影を行うための各撮影領域に対応するパン角φ、チルト角θを求めている。図7に示すように、20の撮影領域に対する撮影順のコマ番号kをインデックスとして、パン角P[k]及びチルト角[k]が算出されている。
図7に示すように、撮影開始点802は、座標原点803に対して左方向に
40.8度パンして上方向に20.6度チルトした位置となる。(N、p)は、図6で設定したパン方向の分割数(N:5)と一分割当りの雲台回転角(p:20.4)である。(m、T)は、図6で設定したチルト方向の分割数(m:4)と一分割当りの雲台回転角(T:13.7)である。
40.8度パンして上方向に20.6度チルトした位置となる。(N、p)は、図6で設定したパン方向の分割数(N:5)と一分割当りの雲台回転角(p:20.4)である。(m、T)は、図6で設定したチルト方向の分割数(m:4)と一分割当りの雲台回転角(T:13.7)である。
制御装置106は、撮影開始点802を起点にして、設定した撮影スケジュールに従って自動連続撮影を実行する。自動雲台103をパン方向(水平方向)を優先に撮影領域を移動しながら連続撮影を実行する。制御装置106は、撮影条件が異なる複数の撮影画像を1つの撮影領域で取得するようにカメラ101と自動雲台103を制御する。
<ダイナミックレンジ拡張、被写界深度合成>
図9は被写界深度合成に用いる焦点位置の説明図である。図10はダイナミックレンジ拡張用の撮影画像の説明図である。
図9は被写界深度合成に用いる焦点位置の説明図である。図10はダイナミックレンジ拡張用の撮影画像の説明図である。
パノラマ風景写真では、広い画角範囲の撮影を行うため、通常の被写体に比較して、撮影範囲の明るい場所と暗い場所の輝度差が大きくなり、撮影範囲の明るい部分では白つぶれ、撮影範囲の暗い部分では黒つぶれが発生し易くなる。そして、白つぶれ、黒つぶれを回避するために、画像濃度のレンジを撮影範囲の全輝度範囲に割り当てると、個々の部分で階調数が不足して立体感が乏しくなり、グラデーションの滑らかさに欠けてしまう。
このため、パノラマ撮像装置100では、個々の撮影領域で絞り値を複数段階に異ならせて複数枚の画像を取り込んで、合成することで、パノラマ画像の階調表現のダイナミックレンジやグラデーションの滑らかさを高めている。
また、パノラマ撮像装置100では、パノラマ合成画像の解像度を上げるために、視野角の狭い焦点距離の長いレンズを用いて撮影領域を小さくして撮影を行うことで、撮影領域ごとの解像度を高めている。しかし、焦点距離の長いレンズを用いて撮影すると、必然的に焦点深度が浅くなって、撮影画像に、ピントがぼけて解像度が低下した画像が多数写り込むことになる。
このため、パノラマ撮像装置100では、1つの撮影領域でレンズの焦点位置を複数段階に変化させて複数枚の撮影画像を取り込んでいる。焦点位置の異なる撮影画像を合成する被写界深度合成を行うことによって、撮影領域の隅々までピントの合った合成画像が得られる。被写界深度合成では、それぞれの撮影画像のピントの合った部分だけをつなぎ合わせる。
図6に示すように、ダイナミックレンジ拡張合成と被写界深度合成とを行うため、設定画面120において、撮影露光量(絞り値・シャッタ速度・ISO感度)が設定される。そして、それぞれの設定項目の優先順位付けが設定される。ここでは、一例として、ダイナミックレンジ拡張のための異なる露光量による複数枚撮影を第1優先とし、被写界深度合成のための異なる焦点位置での複数枚撮影が第2優先としている。
図1を参照して図9に示すように、被写界深度合成のための複数の焦点位置(フォーカス位置)は次のように設定する。被写界深度は、レンズの焦点距離(f値)、絞り(F値)、及び被写体距離(焦点位置)によって一義的に決定される計算可能な数値である。図9は、焦点距離85mm、100mm、135mm、300mmの各レンズにおける絞りF16の時の焦点位置(ピント距離)と合焦点範囲を示している。
焦点距離85mmのレンズを用いて絞りF16で撮影する場合、焦点位置(フォーカスリング)を4.6mに設定すると、合焦範囲は3.4m〜6.9mとなる。また、焦点位置を14mに設定すると、合焦範囲は6.9m〜無限遠となる。よって、焦点位置(フォーカスリング)を4.6mと14mに合わせて2枚の画像を撮影し、被写界深度合成処理を行うことで、被写体距離3.4m〜無限遠でピントのあった合成画像を作成できる。
焦点距離300mmのレンズを用いて絞りF16で撮影する場合、焦点位置(フォーカスリング)を20mに設定すると、合焦範囲は18m〜22mとなる。また、焦点位置(フォーカスリング)を25mに設定すると、合焦範囲は22m〜29mとなる。また、焦点位置(フォーカスリング)を35mに設定すると合焦範囲は29m〜44mとなる。また、焦点位置(フォーカスリング)を60mに設定すると、合焦範囲は44m〜93mとなる。さらに、焦点位置(フォーカスリング)を170mに設定すると合焦範囲は84m〜無限遠となる。よって、焦点距離300mmのレンズでは、焦点位置(フォーカスリング)を5段階に異ならせた5枚の画像を撮影し、被写界深度合成処理を行うことで、被写体距離18m〜無限遠でピントの合った合成画像を作成できる。
図1を参照して図10に示すように、制御装置106は、1つの撮影領域でシャッタ速度を3段階に変化させて連続して3枚の撮影画像を取得する。露光量の設定を異ならせた同一被写体の撮影画像を合成することで、画像濃度のダイナミックレンジを拡張するためである。そして、制御装置106は、この露光量が3段階に異なる撮影画像を用いて撮影領域の移動物体を検出する。
<移動物体検出>
制御装置106は、1つの撮影領域で、すべての露出レベルの撮影が完了すると、複数段階に露出レベルが異なる複数枚の撮影画像を画像処理(演算処理)して移動物体検出を行う。制御装置106は、1つの撮影領域で取得した撮影条件が異なる複数の撮影画像に基づいてその撮影領域内の移動物体を抽出して、撮影範囲全体におけるその後の移動を推定する。制御装置106は、3段階に露出レベルを変化させた撮影が完了すると、露出レベルが異なる3枚の画像を処理して、撮影画像中の移動物体の検出を行う。そして、制御装置106は、移動物体の移動の推定結果に基いてカメラ101と自動雲台103を制御することにより、移動物体が存在しない撮影領域で撮影画像を取得する。
制御装置106は、1つの撮影領域で、すべての露出レベルの撮影が完了すると、複数段階に露出レベルが異なる複数枚の撮影画像を画像処理(演算処理)して移動物体検出を行う。制御装置106は、1つの撮影領域で取得した撮影条件が異なる複数の撮影画像に基づいてその撮影領域内の移動物体を抽出して、撮影範囲全体におけるその後の移動を推定する。制御装置106は、3段階に露出レベルを変化させた撮影が完了すると、露出レベルが異なる3枚の画像を処理して、撮影画像中の移動物体の検出を行う。そして、制御装置106は、移動物体の移動の推定結果に基いてカメラ101と自動雲台103を制御することにより、移動物体が存在しない撮影領域で撮影画像を取得する。
図10に示すように、異なる露出レベルの撮影画像は、露出量の少ない方から順に、低露出の撮影画像1001、基準露出の撮影画像1002、高露出の撮影画像1003と呼び、それぞれの画像信号をPlow、P0、Phighとする。
撮影画像1001、1002、1003は、それぞれ明るさが異なるため、次式によって明るさを正規化して、低露出の正規化画像1004、基準露出の正規化像1005、高露出の正規化像1006に変換する。
式(2)中、明るさを正規化された正規化画像1004、1005、1006の画像信号をそれぞれPlow’、P0’、Phigh’としている。Slow、S0、Shighは、それぞれの画面中の画像信号値の総和である。
明るさレベルの正規化がなされた撮影画像は、低露出の正規化像1004と高露出の正規化像1006とでテンプレートマッチングを行って、撮影画像上の移動物体動きベクトルvを算出する。移動物体の方向と速度を合わせて「移動物体動きベクトルv」と定義する。また、撮影領域の移動方向と移動速度を合わせて「撮影視野動きベクトル」と定義する。
時間を置いて撮影された撮影画像の露出レベルを揃えて引き算することで、撮影画像中の静止領域と移動領域の分離ができ、移動領域のみが抽出される。
この抽出された移動領域を移動物体テンプレートとして、テンプレートマッチング用として使用する。移動物体テンプレートと別の画像とを重ね合わせた位置を原点として、移動物体テンプレートをシフトさせ、移動物体テンプレートと別の画像の引き算値が最小となる位置座標までのシフト量を撮影間隔の移動量と定義する。移動量を撮影間隔で割り算することで撮影領域における移動物体の移動速度が求められる。
なお、撮影領域の移動物体の検出は、露光量が3段階に異なる撮影画像を用いる方法には限らない。移動物体検出は、シャッタ作動前のプレビュー時に動画像としてカメラ101に画像を取り込んで移動物体を検出するなどしてもよい。
<移動物体の移動の推定>
図11は移動物体の移動の推定方法の説明図である。図1を参照して図11に示すように、制御装置106は、撮影画像に移動物体1101が検出されると、未撮影の撮影領域における移動物体の多重写り込み予測を実行する。制御装置106は、移動物体1101が検出されると、移動物体が未撮影の撮影領域へ移動して再び撮影されるか否かを予測する。
図11は移動物体の移動の推定方法の説明図である。図1を参照して図11に示すように、制御装置106は、撮影画像に移動物体1101が検出されると、未撮影の撮影領域における移動物体の多重写り込み予測を実行する。制御装置106は、移動物体1101が検出されると、移動物体が未撮影の撮影領域へ移動して再び撮影されるか否かを予測する。
図11はパノラマ画像全体を表す図であり、パン方向5分割チルト方向4分割の分割画像の配置の様子を表わしている。図11は、左上から撮影を開始してパン方向に2番目の分割画像の撮影が完了したところを示しており、図中破線で区切られた分割画像はこれから撮影する予定の分割画像を表す。
ここで、撮影時の自動雲台103の回転方向はパン方向優先なので、水平方向の移動物体の移動に限定して説明する。しかし、自動雲台103の回転方向がチルト方向優先の場合は以下の説明のパラメータを全て縦方向に置き換えることで同様に求められる。
2番目の分割画像において、図10の移動物体検出により水平方向画素数Lの位置xに水平速度vの移動物体1101が検出されたとする。移動物体1101が次の分割画像に写りこむのは、速度vで移動した 物体が3番目の分割画像内(図11の位置A〜Bは画像両端を表す)にいる時、シャッタが切られる場合である。位置xの物体が速度vで位置Aに移動する時間Tは次式で表される。
T=(L−x)v
T=(L−x)v
さらに距離L進んで位置Bに移動する時間Tは次式で表される。
T=(2L−x)v
T=(2L−x)v
このため、分割撮影像間の間隔時間をTとすると、次の分割撮影画像に移動物体が写りこむ条件の予測式は次式となる。
移動物体が式(3)を満たす時、制御装置106は、通常の撮影スケジュールを中断して、多重写り込み予測の予測結果に基づく各種の追加的な処理を実行する。
<実施例1>
図12は実施例1のパノラマ撮影制御のフローチャートである。図13は警告画面の説明図である。実施例1では、予測された移動物体の動きと、撮影スケジュールから、移動物体が他の分割画像内に撮像されるか否かを判断する。
図12は実施例1のパノラマ撮影制御のフローチャートである。図13は警告画面の説明図である。実施例1では、予測された移動物体の動きと、撮影スケジュールから、移動物体が他の分割画像内に撮像されるか否かを判断する。
図1を参照して図12に示すように、実施例1では、制御装置106は、移動物体の検出結果に基いて、移動物体を撮影する可能性のある未撮影領域がある場合に表示装置105上に警告を出力する。移動物体の移動の推定によって未撮影の撮影領域で移動物体が再び撮影される可能性が高い場合に表示装置105に警告表示を行う。
撮影開始が指示入力されると、パノラマ撮像装置100は、パノラマ自動撮影を開始する(S601)。具体的には、パノラマ撮影プログラムが表示装置105に表示したスタートボタンをユーザーがマウスで押下する。
撮影が開始されると、まず、システムの初期化が行われる(S602)。初期化では、図3の(a)に示すように、自動雲台103が原点座標に移動し、同時に、図2に示すように、カメラホルダ102に搭載のレーザーポインタ203が照射されて前方の被写体の一点に当たる。これにより、ユーザーが自動雲台103の原点座標を目視で確認できる。その後、図6の設定内容に基づいて定めた撮影スケジュールを読み込んで、撮影スケジュールを初期化する。
初期化が完了すると、視野設定(S603)が実行され、自動雲台103がパン・チルト移動して撮影開始点に撮影領域を位置決める。図7の座標原点803で初期設定している場合、パノラマ画像の撮影範囲の左上隅の撮影領域を撮影開始点802とする。
視野設定が完了すると、フォーカス設定(S604)が実行されて、図6の焦点位置が設定される。実施例1では、焦点距離100mmのレンズを絞りF16で使用して、被写体距離範囲を3.3m〜無限遠としている。このため、図9のf100の設定を用いて、焦点位置を遠方から19m、6.7m、4mに設定して1つの撮影領域で3枚の撮影画像を取得する。最初の撮影では、焦点位置19mにフォーカスリングを設定する(S604)。
フォーカス設定が完了すると、露出設定(S605)を実行して、絞り値、シャッタ速度、ISO感度を設定する。実施例1では、ダイナミックレンジ拡張処理のための露出レベルを、シャッタ速度を変えることで、露光量を1/2倍、1倍、2倍の3種類で撮影するので、最初の撮影では、絞り値F16
、シャッタ速度1/500秒、ISO感度100と設定した。露光量の設定は、絞り値、シャッタ速度、ISO感度のいずれで設定しても良いが、絞り値を変えると被写界深度が変化して、被写界深度合成のための撮影条件に影響が出て好ましくない。
、シャッタ速度1/500秒、ISO感度100と設定した。露光量の設定は、絞り値、シャッタ速度、ISO感度のいずれで設定しても良いが、絞り値を変えると被写界深度が変化して、被写界深度合成のための撮影条件に影響が出て好ましくない。
視野設定(S603)、フォーカス設定(S604)、露出設定(S605)が完了すると、撮影開始点802の撮影領域における最初の撮影が実行される(S606)。
撮影は、制御装置106の指示によりシャッタが切られ、撮影画像は直ちにカメラ101から制御装置106に送信される。撮影が完了すると、優先順位1位の設定項目の撮影がすべて完了したか否かの判断がされる(S607)。実施例1では優先順位1位は露光量設定であり、シャッタ速度1/500秒、1/250秒、1/125秒での撮影がすべて完了したか否かの判定が行われる。
制御装置106は、3段階に露出レベルを変化させた撮影が完了すると、図10を参照して説明した手順を用いて、露出レベルが異なる3枚の画像を処理して、撮影画像中の移動物体の検出を行う(S608)。
そして、制御装置106は、図11を参照して説明した手順を用いて、移動物体の検出結果に基いて移動物体がパノラマ撮影において他の撮影領域でも写り込むか否かを予測する多重写り込み予測(S609)を実行する。
多重写り込み予測(S609)で移動物体の多重写り込みの可能性が検出されると、表示装置105に警告を発して自動連続撮影を中断し、ユーザーの操作を待つ。警告の方法は、移動物体の検出と多重写り込みの可能性をユーザーに音声により発することが望ましい。
図1を参照して図13に示すように、制御装置106は、表示装置105に、撮影範囲に対応させて、移動物体の検出結果に基づく表示を行う。図13中、(a)および(b)は、表示装置105による警告の例を示している。
図13の(a)に示すように、表示装置105に撮影済みの撮影領域の縮小画像を表示して、移動物体の多重写り込みの可能性が予測されると、音声と共に画面上に警告ダイアログ1201が表示される。移動物体が検出された撮影領域の縮小画像は、画像枠が点滅するなど注意を喚起し、マウスポインタを当てると、図13の(b)のように拡大画像が表示されて、移動物体検出(S608)で検出された移動物体を確認できる。
ユーザーは、移動物体が次の撮影画像内を通り過ぎるまで待ったのち、再開ボタン1202を押して撮影を継続する。また、ユーザーは、アプリケーション終了ボタン1203を押して撮影を終了しても良い。
撮影者の操作で撮影が再開された場合(S611)、フォーカス位置を変えた撮影が完了したか否かの判定を行う(S612)。移動物体検出(S608)で移動物体が未検出の場合、または多重写り込み予測(S609)で移動物体の多重写り込みが予測されない場合も、フォーカス位置を変えた撮影が完了したか否かの判定を行う(S612)。
撮影スケジュールに従って焦点位置を変えた撮影が完了したなら(S612のYES)、自動雲台103を作動させて、次の撮影領域での撮影を開始する(S603)。しかし、焦点位置を変えた撮影が完了していないなら(S612のNO)、フォーカス設定(S604)に戻って、次の焦点位置を設定して撮影を継続する。
露出制御撮影、フォーカス制御撮影が完了すると(S612のYES)、全画角撮影が完了したか否かの判定を行う(S613)。全ての視野画角による撮影が完了していない場合、次の視野を設定して(S603)撮影を継続する。そして、全分割撮影を完了すると(S613のYES)、撮影を終了する(S614)。
実施例1では、撮影中の移動物体を検出し、同じ移動物体が他の撮影領域でも撮影されるか否かを予測する。そして、同じ移動物体が他の撮影領域でも撮影されると予測された場合、警告を発して自動撮影を中断して、撮影者に操作を返すことで他の撮影領域への移動物体の写り込みを回避する。
<実施例2>
図14は実施例2のパノラマ撮影制御のフローチャートである。図15は待機画面の説明図である。実施例2では、パノラマ画像撮像システムにおける移動物体の多重写り込みの発生を判断し、撮影スケジュールを変更し、多重に写り込みを回避するように制御する。
図14は実施例2のパノラマ撮影制御のフローチャートである。図15は待機画面の説明図である。実施例2では、パノラマ画像撮像システムにおける移動物体の多重写り込みの発生を判断し、撮影スケジュールを変更し、多重に写り込みを回避するように制御する。
実施例2は、撮影領域を移動物体が通過するのを待って撮影を開始する以外は、実施例1と同一であるため、図14中、実施例1と共通する制御ステップには図12と共通の符号を付して重複する説明を省略する。
図1を参照して図14に示すように、実施例2では、制御装置106は、複数の撮影領域について一定の順序で撮影画像を取得する。制御装置106は、移動物体の移動の推定結果に基いて移動物体が存在すると判断した撮影領域については、移動物体の移動の推定結果に基いて移動物体が通過するまで待機して撮影画像を取得する。移動物体の存在する撮影領域の1つ手前の撮影領域までで撮影を中断して待機することで、移動物体の2回目の撮影を回避する。
実施例2では、制御装置106が実行するプログラムにタイマー(S1301)を搭載している。制御装置106は、複数の撮影画像を処理して移動物体検知を行い(S608)、移動物体の移動ベクトルを求めて多重写り込み予測を行う(S609)。そして、移動物体が写り込む可能性があると判定すると、警告を発すると同時に、撮影を中断して(S611)、タイマーが次に述べる時間をカウントダウンする(S1301)。
図11に示すように、位置xに存在する速度vの移動物体1101は、次式の時間Tが経過すると、次の撮影領域を通り過ぎて写り込みしなくなる。
T>(2L−x)/v
T>(2L−x)/v
よって、タイマー(S1301)は、撮影中断の開始時刻を起点として、時間Tを順次カウントダウンし、次式の時間Tの経過を待って次の撮影領域の撮影を開始する(S1612)。
T=(2L−x)/v
T=(2L−x)/v
図15に示すように、タイマー(S1301)のカウントダウン中、表示装置105には、警告ダイアログ1401が表示される(S611)。警告ダイアログ1401を通じて、移動物体の多重写り込みの警告とともに撮影再開までの時間が表示される。ユーザーは、移動物体の写り込みを許可する場合には、再開ボタン1202を押して撮影を継続する。また、ユーザーは、アプリケーション終了ボタン1203を押して、撮影を終了しても良い。
実施例2のパノラマ撮影制御によれば、ユーザーは、移動物体が次の撮影領域の外に出たときに、パノラマ撮像装置100の操作をすることなく、直ちに撮影を再開できるため、実施例1よりも短時間で撮影が完了する。
<実施例3>
図16は実施例3のパノラマ撮影制御における撮影スケジュールの説明図である。実施例3は、移動物体が存在すると推定された撮影領域を飛ばして、移動物体が存在しない撮影領域を先行して撮影し、移動物体が存在すると推定された撮影領域の撮影は後回しにする。
図16は実施例3のパノラマ撮影制御における撮影スケジュールの説明図である。実施例3は、移動物体が存在すると推定された撮影領域を飛ばして、移動物体が存在しない撮影領域を先行して撮影し、移動物体が存在すると推定された撮影領域の撮影は後回しにする。
図1を参照して図12に示すように、制御装置106は、1つの撮影領域で撮影された複数の撮影画像に基づいてその撮影領域内の移動物体を抽出する。制御装置106は、抽出した移動物体の撮影範囲におけるその後の移動を推定し、推定結果に基いて、移動物体が存在しない撮影領域で撮影画像を取得するようにカメラ101と自動雲台103を制御する。
図7に示すように、撮影範囲に撮影領域が設定されて撮影スケジュールが設定され、上述したように個別の撮影領域のパン角P[k]及びチルト角[k]が決定され、撮影スケジュールの順番に配列される。
図1に示すように、制御装置106は、表1の撮影スケジュールリストを読み込んで、パン角P[k]及びチルト角[k]を設定して、k=1から順次インクリメントしてk=20まで、それぞれの撮影領域における撮影を実行する。
図16に示すように、例えば、k=2の撮影コマで移動物体が検出されて(S608)、k=3の撮影コマでの多重写り込みが予測された場合(S609)、k=3の撮影コマが撮影スケジュールリストの最後に転送される。そして、k=4〜k=20のデータを繰り上げるように撮影スケジュールリストが更新される。
表2では、k=3〜k=19の撮影コマのパン角P[k]及びチルト角[k]は、変更前の表1のk=4〜k=19の撮影コマのパン角P[k]及びチルト角[k]に置き換えられている。そして、最後のk=20の撮影コマのパン角P[k]及びチルト角[k]は、変更前の表1のk=3の撮影コマのパン角P[k]及びチルト角[k]に置き換えられている。
制御装置106は、表2の撮影スケジュールリストに従ってパン角P[k]及びチルト角[k]を設定して、未撮影の撮影領域における撮影を実行する。これにより、図16に示すように、撮影スケジュールが変更される。移動物体1101が次の撮影領域で写り込む可能性があると判定されると、撮影順序1601で示すように、写り込む可能性のある撮影領域での撮影を飛ばして繰り上げ撮影を行い、最後に飛ばした撮影領域の撮影に戻って撮影を行う。
実施例3によれば、移動物体1101の移動を待つことなく残りの撮影領域の連続撮影を継続するため、移動物体の写り込みを回避しつつ実施例2よりも短時間で撮影範囲全体の撮影を終了できる。
<実施例4>
実施例4では、実施例1〜3のように連続撮影中の移動物体検出は行わない。最初にすべての撮影領域について連続撮影を実行して画像撮影を取得し、撮影終了後にすべての撮影領域で移動物体検出を行って、2以上の撮影領域で同一の移動物体が撮影されているか否かを判断する。そして、同一の移動物体が撮影されている撮影領域だけを後から撮影し直す。
実施例4では、実施例1〜3のように連続撮影中の移動物体検出は行わない。最初にすべての撮影領域について連続撮影を実行して画像撮影を取得し、撮影終了後にすべての撮影領域で移動物体検出を行って、2以上の撮影領域で同一の移動物体が撮影されているか否かを判断する。そして、同一の移動物体が撮影されている撮影領域だけを後から撮影し直す。
図17は実施例4のパノラマ撮影制御のフローチャートである。図18は移動物体が写り込んだ撮影画像の説明図である。図19は実施例4における多重写り込みの判定方法の説明図である。実施例4では、多重写り込みが発生した撮影領域に対して再撮影する。
実施例4では、実施例1と同様に撮影スケジュールに従って撮影領域を順次変更して連続撮影を行うので、図14中、実施例1と共通する制御には図9と共通の符号を付して重複する説明を省略する。
図1を参照して図17に示すように、制御装置106は、1つの撮影領域の撮影画像に、他の撮影領域で検出されていた移動物体と同一の移動物体が検出された場合には、その1つの撮影領域で撮影画像を取得し直す。制御装置106は、複数の撮影画像で同一の移動物体を検出する処理を行い、同一の移動物体が検出された撮影領域で再び撮影画像を取得する。
制御装置106は、シャッタ速度(S607)、焦点位置(S611)、撮影領域(S612)を変更して、撮影範囲に設定されたすべての撮影領域(S602)で連続撮影を実行する(S606)。連続撮影終了後、制御装置106は、図18に示すように、すべての撮影領域の縮小画像を表示装置105に表示する。このとき、撮影範囲の3つの撮影領域で同一の移動物体1801が写り込んでいるとする。
制御装置106は、連続撮影終了後、上述したテンプレートマッチングを用いた動きベクトル生成により、すべての撮影領域の撮影画像について移動物体を検出する(S1701)。そして、すべての撮影領域で移動物体が検出されない場合(S1702の非検出)、全撮影工程を終了する。また、移動物体が検出されても(S1702の検出)、同じ移動物体が別の撮影領域で写り込んでいなければ(S1704の非検出)、全撮影工程を終了する。
しかし、図18に示すように、移動物体が複数の撮影領域で検出された場合(S1702の検出)、各撮影領域で検出された移動物体が同一物体に該当するか否かを判定する(S1703)。
図19を参照して、多重写り込みの判定方法の一例を示す。図19は図18を模式的に表している。実施例3と同様にして表3の撮影スケジュールが設定され、k=1〜k=20の撮影コマで連続撮影が実行されたとする。
その結果、図19に示すように、速度vの移動物体1101が他の撮影領域A、B、Cに多重に写り込んで多重像1901となっている。ここで、移動物体1101の移動方向に沿った撮影領域の長さをLとする。長さLの直線上の位置xにいる速度vの移動物体1101が時間Tの間隔で連続撮影されるとき、N=1、2、3・・・として、位置A、B、Cの座標は次式で表される。
多重写り込み判定(S1703)では、撮影画像の位置A、B、Cで色、形状などを抽出して、移動物体1101のテンプレートマッチングを行い、移動物体1101と同一物体であるか否かの判定を行う。そして、制御装置106は、位置A、B、Cに移動物体1101と同一物体が存在すると判定すると(S1704の検出)、再撮影のスケジューリング(S1705)を実行する。
表4に示すように、表3の太枠で示した撮影コマについて再撮影スケジュールが設定される。多重写り込みが判定されたk=3、4、5の撮影スケジュールからパン角P[k]及びチルト角[k]が抽出され、新たに表4の再撮影スケジュールが作成される。
再撮影スケジュールのスケジューリングが完了すると(S1705)、元の撮影スケジュールに置き換えて(S602)、再撮影が開始される(S603〜)。
実施例4によれば、ユーザーは、移動物体が多重に写り込んだパノラマ画像でも、自動的に同一移動物体を検出し、必要となる撮影領域のみを抽出して、短時間で撮影を完了することが可能となる。
なお、実施例4の制御と実施例2の制御を組み合わせて実行してもよい。複数の移動物体撮影回避プログラムを用いることで、同じ移動物体の複数写り込みをさらに確実に阻止できるからである。
<実施例5>
実施例4では、すべての撮影領域について連続撮影を実行してすべての画像撮影を取得した後に、再撮影のスケジュールを決定した。これに対して、実施例5では、パノラマ連続撮影中に、既に検出済みの移動物体を撮影画像から検出する処理を並行して行い、それまでに撮影した撮影領域で検出済みの同一移動物体が検出された場合には、既存のスケジュールの最後に順次追加していく。
実施例4では、すべての撮影領域について連続撮影を実行してすべての画像撮影を取得した後に、再撮影のスケジュールを決定した。これに対して、実施例5では、パノラマ連続撮影中に、既に検出済みの移動物体を撮影画像から検出する処理を並行して行い、それまでに撮影した撮影領域で検出済みの同一移動物体が検出された場合には、既存のスケジュールの最後に順次追加していく。
図16に示すように、表5の順序で順次画角を切り換えて、自動撮影を継続し、図10に示すように、撮影画像を用いた移動物体の検出を行う。ここでは、kは図16の撮影スケジュールに沿って定めた撮影領域固有の識別番号であるとする。
表5に示すように、k=2の撮影領域で移動物体が検出された後、同じ移動物体がk=7の撮影領域で再び検出されたとする。このとき、k=7の撮影領域の再撮影スケジュールが撮影スケジュールの最後に追加される。その後、k=2の撮影領域で検出された同じ移動物体がk=12の撮影領域で再び検出されたとする。このとき、k=12の再撮影スケジュールがk=7の再撮影スケジュールの後に追加される。
実施例5では、自動撮影と平行して撮影画像による移動物体の検出を行い、異なる撮影領域で同一の移動物体が検出された場合には、ユーザーの判断を待たないで、再撮影スケジュールを自動追加して必要な撮影をすべて終了させてしまう。このため、無人撮影システムでも利用できる。
なお、実施例5の制御と実施例4の制御を組み合わせて実行してもよい。実施例5の制御と実施例2の制御とを組み合わせて実行してもよい。複数の移動物体撮影回避プログラムを用いることで、同じ移動物体の複数写り込みをさらに確実に阻止できるからである。
<実施例6>
実施例1〜5では、パノラマ分割画像を撮影するためのカメラ101の撮影画像を用いて移動物体の検出を行った。焦点距離の長いレンズによる狭い撮影領域の移動物体の位置と速度とを撮影画像の処理によって精密に検出できるからである。そして、撮影領域の移動物体の位置と速度とを精密に検出できない場合、その撮影領域の外側の撮影範囲における移動物体のその後の移動を精密に推定できなくなり、同一移動物体の写り込みを回避する目的を達成できなくなるからである。
実施例1〜5では、パノラマ分割画像を撮影するためのカメラ101の撮影画像を用いて移動物体の検出を行った。焦点距離の長いレンズによる狭い撮影領域の移動物体の位置と速度とを撮影画像の処理によって精密に検出できるからである。そして、撮影領域の移動物体の位置と速度とを精密に検出できない場合、その撮影領域の外側の撮影範囲における移動物体のその後の移動を精密に推定できなくなり、同一移動物体の写り込みを回避する目的を達成できなくなるからである。
これに対して、移動物体を検出するものとして公知である超音波反射やレーザー反射光を用いたセンサは、カメラ101の画角範囲との関連性が乏しいため、隣の撮影領域の移動物体を検出してしまう可能性が高くなる。このため、撮影範囲の移動物体の移動を正確に推定することが困難である。また、限られたエリアで移動物体を高精度に検出できるセンサは一般的に高価で大型であるから、パノラマ撮影システムとしては、実用的とは言えない。
実施例1〜5では、カメラ101の撮影画像として、パノラマ合成に用いる高解像度の撮影画像を用いた。高解像度の撮影画像を用いることで、撮影領域内の移動物体の位置と移動速度とを高精度に検出でき、これにより、撮影範囲における移動物体のその後の移動の推定精度を高めることができるからである。
これに対して、実施例6では、撮影前にプレビュー画像としてカメラ101が撮影している低解像度の動画像を用いる。これもカメラ101によって撮影領域から時系列的に取得される複数枚の撮影画像だからである。
実施例6では、それぞれの撮影領域において、本番撮影前に、それぞれ1秒間、カメラ105が撮影領域のプレビュー動画像を撮影して制御装置106に転送する。制御装置106は、転送された動画像データから時系列的に配列した複数の撮影画像を再生して、上述の移動物体検出を実行する。そして、動画像データから移動物体が検出された場合には、上述した移動物体の移動の推定を実行して、移動物体の移動中と推定される撮影領域を回避した撮影を実行する。
実施例6のパノラマ画像の製造方法によれば、パノラマ合成に用いる最終撮影画像を用いる場合に比較して低解像度の撮影画像を用いる分、同じ枚数の撮影画像を用いる限り、移動物体の位置と速度の検出精度は低下する。しかし、1枚の撮影画像のデータ量が少ないため、上述の移動物体検出を、最終撮影画像を用いる場合よりも格段に多い数10枚の撮影画像を用いて実行できるため、移動物体の位置と速度の検出精度を同等程度に高められる。
101 カメラ、102 カメラホルダ、103 自動雲台
104 三脚、105 表示装置、106 制御装置
107 分割画像
1101、1801、2201、2201 移動物体
2101 パノラマ画像撮像範囲
104 三脚、105 表示装置、106 制御装置
107 分割画像
1101、1801、2201、2201 移動物体
2101 パノラマ画像撮像範囲
Claims (8)
- 撮影範囲を分割した個別の撮影領域を撮影可能な撮影手段と、
前記撮影手段を移動させて前記撮影手段の画角を異なる前記撮影領域に位置決め可能な移動手段と、
それぞれの撮影領域で撮影画像を取得するように前記撮影手段と前記移動手段を制御する制御手段と、を備える画像撮影装置において、
前記制御手段は、取得した撮影画像に基いて前記撮影領域を移動する移動物体を検出し、その移動物体の検出結果に基いて未撮影の撮影領域における前記移動物体の撮影を回避するように前記撮影手段と前記移動手段を制御することを特徴とする画像撮影装置。 - 前記制御手段は、撮影条件が異なる複数の撮影画像を1つの撮影領域で取得するように前記撮影手段と前記移動手段を制御し、
前記制御手段は、1つの撮影領域で取得した撮影条件が異なる複数の撮影画像に基づいてその撮影領域内の移動物体を抽出して前記撮影範囲におけるその後の移動を推定し、
前記制御手段は、前記移動の推定結果に基いて、前記移動物体が存在しない撮影領域で撮影画像を取得するように前記撮影手段と前記移動手段を制御することを特徴とする請求項1記載の画像撮影装置。 - 前記制御手段は、前記移動の推定結果に基いて、1つの未撮影領域へ前記移動物体が移動する前、又は前記1つの未撮影領域を前記移動物体が通過した後に前記1つの未撮影領域で撮影画像を取得するように前記撮影手段と前記移動手段を制御することを特徴とする請求項2記載の画像撮影装置。
- 前記制御手段は、前記複数の撮影領域について一定の順序で撮影画像を取得するように前記撮影手段と前記移動手段を制御し、
前記制御手段は、前記移動の推定結果に基いて前記移動物体が存在すると判断した撮影領域については、前記移動の推定結果に基いて前記移動物体が通過するまで待機して撮影画像を取得するように前記撮影手段と前記移動手段を制御することを特徴とする請求項2記載の画像撮影装置。 - 撮影範囲を分割した個別の撮影領域を撮影可能な撮影手段と、
前記撮影手段を移動させて前記撮影手段の画角を異なる前記撮影領域に位置決め可能な移動手段と、
それぞれの撮影領域で撮影画像を取得するように前記撮影手段と前記移動手段を制御する制御手段とを備える画像撮影装置において、
前記制御手段は、取得した複数の撮影画像で同一の移動物体を検出する処理を行い、前記同一の移動物体が検出された撮影領域で再び撮影画像を取得するように前記撮影手段と前記移動手段を制御することを特徴とする画像撮影装置。 - 前記制御手段は、前記移動物体の検出結果に基いて、前記移動物体を撮影する可能性のある未撮影領域がある場合に警告を出力することを特徴とする請求項1乃至5のいずれか1項に記載の画像撮影装置。
- それぞれの撮影領域で取得した撮影画像を前記撮影範囲に対応させて表示する表示手段を備え、
前記制御手段は、前記表示手段に、前記撮影範囲に対応させて、前記移動物体の検出結果に基づく表示を行うことを特徴とする請求項1乃至6のいずれか1項に記載の画像撮影装置。 - 撮影範囲を分割した個別の撮影領域を撮影可能な撮影手段と、前記撮影手段を移動させて前記撮影手段の画角を異なる前記撮影領域に位置決め可能な移動手段とをコンピュータに制御させて複数の撮影領域で撮影画像を取得させるプログラムにおいて、
1つの撮影領域で撮影された複数の撮影画像に基づいてその撮影領域内の移動物体を抽出して前記撮影範囲におけるその後の移動を推定し、その移動の推定結果に基いて、前記移動物体が存在しない撮影領域で撮影画像を取得するように前記撮影手段と前記移動手段を制御することを特徴とするプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010097995A JP2011229008A (ja) | 2010-04-21 | 2010-04-21 | 画像撮影装置、及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010097995A JP2011229008A (ja) | 2010-04-21 | 2010-04-21 | 画像撮影装置、及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2011229008A true JP2011229008A (ja) | 2011-11-10 |
Family
ID=45043845
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010097995A Pending JP2011229008A (ja) | 2010-04-21 | 2010-04-21 | 画像撮影装置、及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2011229008A (ja) |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013175827A (ja) * | 2012-02-23 | 2013-09-05 | Canon Inc | 撮像装置及びその制御方法、プログラム、並びに記憶媒体 |
JP2013225724A (ja) * | 2012-04-19 | 2013-10-31 | Canon Inc | 撮像装置及びその制御方法、プログラム、並びに記憶媒体 |
JP2016099598A (ja) * | 2014-11-26 | 2016-05-30 | キヤノン株式会社 | 撮像装置、その制御方法、および制御プログラム |
WO2016147957A1 (ja) * | 2015-03-13 | 2016-09-22 | リコーイメージング株式会社 | 撮像装置および撮像方法 |
WO2017103982A1 (ja) * | 2015-12-14 | 2017-06-22 | 株式会社 ニコン・トリンブル | 欠陥検出装置及びプログラム |
JP2018007064A (ja) * | 2016-07-04 | 2018-01-11 | オリンパス株式会社 | 撮像装置及び撮像方法 |
JP2019175291A (ja) * | 2018-03-29 | 2019-10-10 | 株式会社Nttドコモ | 撮像計画決定装置 |
CN110418054A (zh) * | 2019-06-27 | 2019-11-05 | 维沃移动通信有限公司 | 图像处理方法及终端 |
JP2019211998A (ja) * | 2018-06-04 | 2019-12-12 | 富士通株式会社 | 点検支援プログラム、点検支援方法および点検支援装置 |
WO2020090420A1 (ja) * | 2018-10-30 | 2020-05-07 | キヤノン株式会社 | 情報処理装置、その制御方法、プログラム、及び記憶媒体 |
CN111765350A (zh) * | 2020-06-16 | 2020-10-13 | 周建斌 | 数码照相机智能控制全自动旋转云台及其全景拍摄方法 |
CN113396361A (zh) * | 2019-02-07 | 2021-09-14 | 富士胶片株式会社 | 摄影系统、摄影部位设定装置、摄影装置及摄影方法 |
KR20220105330A (ko) * | 2021-01-20 | 2022-07-27 | 송종원 | 열화상 카메라의 시야각 확장 틸팅 시스템 |
-
2010
- 2010-04-21 JP JP2010097995A patent/JP2011229008A/ja active Pending
Cited By (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013175827A (ja) * | 2012-02-23 | 2013-09-05 | Canon Inc | 撮像装置及びその制御方法、プログラム、並びに記憶媒体 |
JP2013225724A (ja) * | 2012-04-19 | 2013-10-31 | Canon Inc | 撮像装置及びその制御方法、プログラム、並びに記憶媒体 |
JP2016099598A (ja) * | 2014-11-26 | 2016-05-30 | キヤノン株式会社 | 撮像装置、その制御方法、および制御プログラム |
WO2016147957A1 (ja) * | 2015-03-13 | 2016-09-22 | リコーイメージング株式会社 | 撮像装置および撮像方法 |
JP2016171511A (ja) * | 2015-03-13 | 2016-09-23 | リコーイメージング株式会社 | 撮像装置および撮像方法 |
WO2017103982A1 (ja) * | 2015-12-14 | 2017-06-22 | 株式会社 ニコン・トリンブル | 欠陥検出装置及びプログラム |
JP2018007064A (ja) * | 2016-07-04 | 2018-01-11 | オリンパス株式会社 | 撮像装置及び撮像方法 |
JP2019175291A (ja) * | 2018-03-29 | 2019-10-10 | 株式会社Nttドコモ | 撮像計画決定装置 |
JP2019211998A (ja) * | 2018-06-04 | 2019-12-12 | 富士通株式会社 | 点検支援プログラム、点検支援方法および点検支援装置 |
US11729494B2 (en) | 2018-10-30 | 2023-08-15 | Canon Kabushiki Kaisha | Information processing apparatus, control method therefor, and storage medium |
WO2020090420A1 (ja) * | 2018-10-30 | 2020-05-07 | キヤノン株式会社 | 情報処理装置、その制御方法、プログラム、及び記憶媒体 |
CN113396361A (zh) * | 2019-02-07 | 2021-09-14 | 富士胶片株式会社 | 摄影系统、摄影部位设定装置、摄影装置及摄影方法 |
CN113396361B (zh) * | 2019-02-07 | 2023-04-18 | 富士胶片株式会社 | 摄影系统、摄影部位设定装置、摄影装置及摄影方法 |
CN110418054A (zh) * | 2019-06-27 | 2019-11-05 | 维沃移动通信有限公司 | 图像处理方法及终端 |
CN111765350A (zh) * | 2020-06-16 | 2020-10-13 | 周建斌 | 数码照相机智能控制全自动旋转云台及其全景拍摄方法 |
KR20220105330A (ko) * | 2021-01-20 | 2022-07-27 | 송종원 | 열화상 카메라의 시야각 확장 틸팅 시스템 |
KR102484908B1 (ko) * | 2021-01-20 | 2023-01-04 | 송종원 | 열화상 카메라의 시야각 확장 틸팅 시스템 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2011229008A (ja) | 画像撮影装置、及びプログラム | |
JP5820257B2 (ja) | 画像処理装置、撮像装置、画像処理方法、及びプログラム | |
US9531938B2 (en) | Image-capturing apparatus | |
JP6436783B2 (ja) | 画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体 | |
JP2007288731A (ja) | リアルタイムパノラマ画像合成方法及びその装置 | |
JP5091099B2 (ja) | 撮像装置 | |
JP2001223932A (ja) | 撮像装置及びデジタルカメラ | |
JP6659100B2 (ja) | 撮像装置 | |
JP2011097645A (ja) | 画像合成装置、撮像装置、画像合成方法 | |
JP2010091669A (ja) | 撮像装置 | |
KR20120002834A (ko) | 참조 영상을 제공하는 촬상장치 및 그의 참조 영상 제공방법 | |
JP2011237713A (ja) | 画像撮影装置、及び画像撮影方法 | |
JP6357646B2 (ja) | 撮像装置 | |
JP6326631B2 (ja) | 撮像装置 | |
JP2021027523A5 (ja) | ||
JP2009290255A (ja) | 撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム | |
US8462259B2 (en) | Focusing image display device and method for displaying same | |
JP2009159092A (ja) | 撮像装置及びその制御方法 | |
JP2009239392A (ja) | 複眼撮影装置およびその制御方法並びにプログラム | |
JP2008005355A (ja) | 画像処理装置及び画像処理方法 | |
JP2011022203A (ja) | Af枠自動追尾システムおよびaf枠自動追尾方法 | |
JP2006115322A (ja) | パンニング撮影可能なカメラおよび動画像編集用プログラム | |
JP2007264250A (ja) | 撮影装置及びプログラム | |
JP6759018B2 (ja) | 撮像装置及び露出制御方法 | |
JP2009169884A (ja) | 撮影装置および撮影装置の制御方法、画像再生装置および方法並びにプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20120203 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20130228 |