JP4634640B2 - 複数画像を自動的に捕捉する方法 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、一般にカメラの自動露光レリーズに関し、特に、パンニング中に複数の画像を自動的に捕捉する方法および装置に関する。
【０００２】
【従来の技術】
パノラマ写真の歴史は、１８４０年代にさかのぼる。１８４０年代に撮影された最初のパノラマ写真は、一連のダゲレオタイプ画像を撮影し、その後これらをフレーミングして、または並べて（サイドバイサイド）ぶら下げることによって作成されていた。同じアプローチが、後年、フェロタイプ（tintype）および印画紙と併用された。２０世紀後半までには、モーター付きカメラは、特にパノラマ写真用に製造されていた。フィルムを静止させた状態でレンズを揺動させたタイプがあった。別のタイプでは、カメラを特殊な三脚上で回転させて画像を移動式フィルムシート上に「ペイント」していた。かかるカメラのうち最も有名なものの１つであるコダック社のＣｉｒｋｕｔカメラは１９０４年に特許を取得した。これは、幅が５″乃至１６″の大型フィルムを使用し、最大２０フィート長の３６０度写真を作成することが可能であった。
【０００３】
現在、プリント用およびスクリーン上での使用にパノラマ写真を形成する特殊化されたパノラマカメラが多数存在する。しかしながら、これらの特殊化されたカメラは、一般に、ほとんどの消費者にとって非常にコスト高である。しかも、これらの特殊化されたパノラマカメラにより生成されるネガが規格外の大型サイズであるため、稀少かつ高価な特殊フィルム現像サービスが必要となる。
【０００４】
特殊化されたパノラマカメラは、パノラマ写真を生成する唯一の方法ではない。コンピュータイメージングソフトウェアの開発により、通常のカメラを使用してパノラマ写真を形成することが可能になってきた。レンズの光学中心である１つの回転点の周りで一連の画像（すなわち、フレーム）を注意深く捕捉することによって、従来のフィルムまたはディジタルカメラを使用してシームレスなパノラマ写真を形成することができる。この一連のフレームを捕捉した後、フレームがディジタルカメラで撮影されなかった場合にはディジタル化する必要がある。ディジタル形式になると、Ｒｏｕｎａｂｏｕｔ Ｌｏｇｉｃ社のＮｏｄｅｓｔａｒ、ＶｏｄｅｏＢｒｕｓｈ社のＰｈｏｔｏｇｒａｐｈｅｒ、Ｌｉｖｅ Ｐｉｃｔｕｒｅ社のＰｈｏｔｏ Ｖｉｓｔａ等の特殊なイメージングソフトウェアによりフレームを縫合させてシームレスな見た目にすることができる。
【０００５】
従来のカメラまたはディジタルカメラによりフレームが捕捉される際、カメラを一定時間パンニングして、前フレームが現行フレームに十分にオーバーラップさせるようにすることで、ソフトウェアにより、後でこの２つの連続したフレームにおける特徴を一致させてこれらのシーンを一緒に登録できるようにする。パンニングを補助するために三脚システムが利用可能である。三脚の中には、カメラをガイドするための度数マークまたはカメラを適宜固定するための回転止めが付いているものもある。必要とされるフレームの数は、焦点距離、カメラの画角、カメラの向き（横置きまたは縦置き）に依存している。適切なフレーム数が撮影されることが確実になるように、計算が必要となることが多い。したがって、多数のフレームを捕捉して首尾よく縫合できるためには、特殊化された設備に加えて、ある程度の理解が必要である。
【０００６】
最後に、所定のディジタルカメラにも選択可能な「パノラマモード」がある。しかしながら、このモードは、単に従来サイズの画像の中間を通る帯を捕捉するにすぎず、画像領域の上下の露光されていない帯が残ってしまう。実際、これは、撮影後に画像を単にクロッピングするのと何ら変わらない。
【０００７】
【発明が解決しようとする課題】
これらは、パノラマ写真をより入手しやすくかつ高信頼性のあるものにするには大きな障害である。したがって、特殊なカメラ、設備または現像処理を必要とせずに、パノラマ写真をほとんどの消費者に利用可能とするためのより単純な自動化アプローチが期待される。
【０００８】
【課題を解決するための手段】
好ましい実施形態により、本発明は、被写体であるシーンに亘るパンニング中に複数の画像を自動的に捕捉する方法および装置を提供する。
【０００９】
本発明は、被写体であるシーンに亘るパンニング中に複数の画像を自動的に捕捉する方法とすることができる。本方法は、広義には、以下の動作により概念化される。すなわち、第１の位置において第１のシーン部分を捕捉し、シーンに亘ってカメラをパンニングし、このカメラのパンニングにともない、第１の位置に対するカメラの動きを追尾し、所定のオーバーラップレンジにより規定されるように第２のシーン部分の画像が第１のシーン部分の画像に十分オーバーラップする場合に、この第２のシーン部分を捕捉する。
【００１０】
追尾動作は、パンニング中に現行画像を定期的に捕捉し、捕捉されたそれぞれの画像を第１のシーン部分の画像と比較してオーバーラップ量を決定することを含む。この比較は、相関アルゴリズムを使用して行うことができる。また、追尾動作は、カメラに固定された動きセンサからの位置情報を読み出すことをさらに含む。
【００１１】
本発明の特徴によれば、第２のシーン部分は、カメラのシャッタスピードが所定のしきい値を超える場合には、自動的に捕捉される。また、第２のシーン部分は、シャッタスピードが所定のしきい値を下回る場合には、手動で捕捉されるようにしてもよい。シャッタスピードが所定のしきい値を下回る場合には、音声／視覚表示により、カメラ操作者にパンニングを停止させて第２のシーン部分を手動で捕捉させるようにしてもよい。
【００１２】
本発明の別の特徴によれば、本方法は、第１および第２のシーン部分の画像を縫合させてパノラマ画像を形成することを含むようにしてもよい。
【００１３】
また、本発明は、シーンに亘るパンニング中に複数の画像を捕捉するカメラとすることもできる。このカメラは、広義には、イメージャとプロセッサとを含むことができる。プロセッサは、イメージャにより第１のシーン部分を捕捉し、カメラのパンニングとともにイメージャにより各位置での画像を捕捉し、捕捉された画像を第１のシーン部分の画像と比較してオーバーラップ量を決定し、所定のオーバーラップレンジにより規定されるように第２のシーン部分の画像が第１のシーン部分の画像に十分オーバーラップする場合に、この第２のシーン部分を捕捉するように構成可能である。プロセッサは、相関アルゴリズムを用いてオーバーラップ量を決定することができる。
【００１４】
また、本発明は、シーンに亘るパンニング中に複数の画像を捕捉するカメラとすることもできる。このカメラは、広義には、動きセンサとプロセッサとを含むことができる。プロセッサは、第１のシーン部分を捕捉し、カメラのパンニングとともに動きセンサによりカメラの動きを追尾して、第１のシーン部分と第２のシーン部分との画像間のオーバーラップ量を決定し、所定のオーバーラップレンジにより規定されるように第２のシーン部分の画像が第１のシーン部分の画像に十分オーバーラップする場合に、この第２のシーン部分を捕捉するように構成可能である。動きセンサは、ジャイロスコープまたはコンパスを有するようにしてもよい。
【００１５】
本発明の他の特徴および利点は、添付図面とともに以下の例示の実施形態の詳細な説明を検討することで当業者にとって明らかとなろう。なお、かかる特徴および利点はすべて、本明細書において、本発明の範囲に包含されるとともに特許請求の範囲により保護されるものとする。
【００１６】
【発明の実施の形態】
本発明の上記およびその他の態様、特徴および利点については、本発明の原理を例として示す添付図面とともに、以下の詳細な説明から一層明らかになる。
【００１７】
本発明は、被写体であるシーンに亘るパンニング中に複数の画像を自動的かつ最適に捕捉するカメラにおいて具体化される。このカメラの露光トリガ機構は、隣接フレームにより捕捉される画像間のオーバーラップ量を最小にするとともに記憶容量を最大にするために最適化されることが好ましい。従来技術の露光トリガ方法と異なり、特殊な三脚、レンズまたはフィルム等の補助的な機構は不要である。本実施形態に係る露光トリガ機構は、単純化、簡便性および自動化のためにカメラに完全に内蔵される。
【００１８】
まず図１を参照すると、第１の実施形態に係るカメラＣのブロック図が示される。本発明は、パンニング中に画像を自動的に捕捉する目的において、従来のカメラ動作を実行するとともに、画像解析を実行可能な単一プロセッサを有するディジタルカメラにおいて具体化される。
【００１９】
従来のフィルムベースのカメラと比べ、ディジタルカメラは、イメージセンサ１０と呼ばれるソリッドステートデバイスを使用する。イメージセンサ１０は、１つのアレイに十万個または百万個の感光素子を有する指の爪程度のシリコンチップである。イメージセンサ１０は、アクティブピクセルＣＭＯＳ（相補的金属酸化物半導体）タイプのセンサであるが、パッシブピクセルＣＭＯＳ、電荷結合素子（ＣＣＤ）センサ等の代替のセンサを使用してもよい。
【００２０】
従来のカメラと同様に、シーン１４から反射した光１２は、シャッタ１８により制御されるレンズ１６を介してカメラＣに入射する。レンズ１６は、シーン１４をイメージセンサ１０上に結像するが、標準、広角、ズーム、望遠等、カメラＣと協働するように設計されるいずれのタイプのレンズであってもよい。従来のカメラと比べ、シャッタ１８は、イメージセンサの集光を開始および停止させるタイミング回路（図示せず）の形式でイメージセンサ１０に組み込まれる。イメージセンサ１０に組み込まれない代替のシャッタとして、電気機械式および電気光学式シャッタが使用できる。シャッタ１８が開いている場合、光１２は、イメージセンサ１０において集光され、感光素子が赤、緑および青の光の強度を記録する。各感光素子は、これに当たった光を電荷に変換する。
【００２１】
シャッタ１８が閉じている場合、イメージセンサ１０は、記録しておいたパターンを「思い出す」。イメージセンサ１０に蓄積された電荷は、通常、一度に１列ずつ読み出される。各素子強度または電荷を示す信号は、増幅器（図示せず）に送られた後、アナログ−ディジタルコンバータ（Ａ／Ｄ）２０によりディジタル番号に変換される。
【００２２】
プロセッサ２２は、ディジタルデータをＡ／Ｄコンバータ２０から読み出し、動的または静的ＲＡＭ等のランダムアクセスメモリ（ＲＡＭ）２４に書き込む。直接メモリアクセス（ＤＭＡ）動作によりデータを移動してもよいが、プロセッサ２２がこの移動を行ってもよい。ＲＡＭ２４における得られたディジタル番号またはデータの集合体が画像または写真を構成する。ＲＡＭ２４は、プロセッサ２２が鮮鋭化、照明等に合わせて画像を最適化する際、一時的に画像を保持する。
【００２３】
さらに、プロセッサ２２は、プログラムメモリ（たとえば、ＦＬＡＳＨ）２６、記憶部２８および入出力（Ｉ／Ｏ）部３０にも結合される。プログラムメモリ２６は、プロセッサ２２のプログラミングおよび初期化ファームウェアを保持し、そのタスクの遂行時に実行する。プロセッサ２２は、ディジタル画像を改善する、色変換を行う、画像を小さいファイルサイズに圧縮する、画像を比較する等、各種の画像処理タスクを実行する数学的機能を有することが好ましい。このファームウェアをＲＡＭ２４に移動して、より良好な性能を図るようにしてもよい。
【００２４】
記憶部２８は、得られた画像（すなわち、写真）を記憶する恒久的メモリである。記憶部２８は、消去可能なプログラマブルメモリ（たとえば、ＥＰＲＯＭ、ＦＬＡＳＨ ＥＰＲＯＭ、ＥＥＰＲＯＭ）等のシリコンストレージ、ハードまたはフロッピー（登録商標）ディスクドライブ等の磁気ストレージ、光学式ストレージ、または写真フィルム（フィルムベースのカメラの場合）で構成することができる。他の読み出し／書き込みまたは１回書き込みタイプのメモリ技術を記憶部２８に採用してもよい。
【００２５】
入出力部３０は、コンピュータシステムＳ、プリンタ、テレビ、またはその他の画像記憶装置等、遠隔の記憶装置または表示装置にカメラＣから画像をダウンロードするための回路を含むことが好ましい。入出力部３０は、ユニバーサルシリアルバス（ＵＳＢ）通信リンクを有することが好ましいが、他の有線または無線通信リンク、たとえばＩｒＤＡ（Infrared Data Association）、ＲＳ−２３２シリアルリンク、ＲＦ（無線周波数）（たとえば、Ｂｌｕｅｔｏｏｔｈ）、ＩＥＥＥ−１３９４“Ｆｉｒｅｗｉｒｅ”バスまたはＳ映像通信リンクを使用してもよい。フィルムベースのカメラの場合、入出力部は不要である。
【００２６】
本実施形態の動作において、パンニング画像捕捉ルーチン３２が、プロセッサ２２により実行され、予め記憶されている画像（すなわち、参照画像３４）と最近得られた画像（すなわち、現行画像３６）との間のオーバーラップ量に基づいて、パンニング中にシャッタを自動的に駆動する。一般に、プロセッサ２２がカメラの変位または動きを検出すると、画像間のオーバーラップ量が所定の範囲にある場合に、シャッタが駆動される。したがって、カメラＣがシーン１４に亘ってパンニングされるのにともない、一連の画像が捕捉される。適宜捕捉された一連のディジタル画像を縫合して１つの合成パノラマまたはワイド領域画像を形成することができる。縫合は、カメラＣによりオンボードでまたはコンピュータシステムＳにより外部で行ってもよい。
【００２７】
また、機能的に同等な多数の種類の構造により、上記の各ブロックにおいて識別される機能を実行可能であることも、当業者にとって以下の説明から明らかである。たとえば、プロセッサ２２、メモリ２６およびランダムアクセスメモリ２４は、ディジタル信号プロセッサと替えてもよい。別のアーキテクチャ変形形態では、ディジタルカメラが２個のプロセッサを有することが可能である。すなわち、一方が専ら従来のカメラ動作を担当し、他方が専ら画像解析を担当する。他の変形形態において、別個のプログラム可能な数学成分、特殊な画像処理回路またはピクセルコプロセッサを単独で、あるいは上記の機能の１つ以上と組み合わせて画像処理を実行してもよい。また、これらの機能は、別々にしてもよく、あるいは本発明の範囲から逸脱しない異なる構造に組み込むようにしてもよい。
【００２８】
次に図２を参照すると、本発明の第２の実施形態に係るカメラＦが示される。なお、図１から繰り返される各要素は略同一であり、以下を除いてさらなる説明の必要はない。第１の代替の実施形態は、パンニング中に画像を自動的に捕捉可能なディジタル画像処理機能を有するフィルムベースのカメラＦに関する。
【００２９】
ディジタルカメラに比べ、フィルムベースのカメラＦは、従来のハロゲン化銀ベースのフィルム３８を用いて画像を捕捉する。シーン１４から反射した光１２は、電気機械シャッタ４２により制御されるレンズ４０を介してカメラＦに入射する。シャッタ４２は、プロセッサ２２により実行されるパンニング画像捕捉ルーチン３２の結果として電子的に駆動される。
【００３０】
図１で上述したように、パンニング画像捕捉ルーチン３２は、イメージャ１０を介して得られたディジタル画像に応答する。しかしながら、本実施形態において、得られたディジタル画像は、恒久的メモリに記憶されず、シャッタ４２を駆動する目的で変位または動きを検出するためにのみ使用されることが好ましい。パンニング画像捕捉ルーチン３２は、メモリ２４において、予め捕捉されている画像（すなわち、参照ディジタル画像３４）と最近得られた画像（すなわち、現行ディジタル画像３６）との間のオーバーラップ量について、ディジタル比較を行う。カメラの変位または動きが検出されると、シャッタ４２が駆動され、これによりフィルム３８を露光させる。
【００３１】
このように、カメラＦがシーン１４に亘ってパンニングされるのにともない、一連の画像が捕捉される。一連の写真が撮影された後、露光されたフィルム３８は、スキャナによりディジタル化される必要がある。ディジタル形式になると、これらの写真は縫合され、コンピュータシステムＳ上の特殊なイメージングソフトウェアによりシームレスなパノラマまたはワイド領域の表示になる。
【００３２】
次に図３を参照すると、本発明の第３の実施形態に係るカメラＭが示される。なお、図１から繰り返される各要素は略同一であり、以下を除いてさらなる説明の必要はない。
【００３３】
本実施形態は、補助的ナビゲーションセンサ４４を有するディジタルまたはフィルムベース（図示せず）カメラＭに関する。ナビゲーションセンサ４４は、シーン１４に亘るパンニングにともないカメラの動きを追尾する。一実施形態において、ナビゲーションセンサ４４は、カメラＭのパンニングにともないシーンの移動を追尾する、感光素子の列を有するイメージセンサおよび処理装置である。イメージセンサおよび処理装置は、予め記憶されている画像と最近得られた画像との一連の最隣接相互相関を行い、相対的変位を決定する。本実施形態は、シーン１４から反射した光を使用するため、主要光路（図１に示す）と比較して独立した光路を有する。かかる装置の一例が、アジレントテクノロジー社から製造されるＨＤＮＳ−２０００光学マウスセンサである。イメージセンサおよび処理装置のさらなる詳細については、「被写体に対するナビゲーションセンサの動きを検出するナビゲーション技術（Navigation Technique For Detecting Movement of Navigation Sensors Relative To An Object）」と題する米国特許第５，６４４，１３９号に開示されており、その内容を引用することにより本明細書の一部をなすものとする。
【００３４】
別の実施形態において、ナビゲーションセンサ４４は、（画像に対する）カメラＭの動きを追尾するジャイロスコープである。かかるジャイロスコープの一例として、Ｇｙｒａｔｉｏｎ社製のＭｉｃｒｏｇｙｒｏが挙げられる。ナビゲーションセンサ４４の他の実施形態として、コンパスおよび他の形式の動き検知装置が挙げられる。
【００３５】
ナビゲーションセンサ４４がカメラの主要光路（レンズ１６、シャッタ１８、イメージャ１０）と独立して動作するため、カメラＭにおいて、パンニング時に最適な画像オーバーラップに必要なカメラの角変位は、レンズ１６の画角に依存する。広角レンズ（短焦点距離）では、標準の（通常焦点距離、すなわち、５０ｍｍレンズ）または望遠レンズ（長焦点距離）より大きな角変位が必要である。望遠レンズでは、必要な角変位が標準または広角レンズより小さい。すなわち、広角レンズで合成パノラマ画像を作成するために撮影される画像は少なくて済むのに対し、望遠レンズでは多くの画像を必要とする。したがって、レンズの焦点距離は、ナビゲーションセンサ４４により変位を計算する際の重要性（consequence）の別の要因である。
【００３６】
したがって、図１〜図３に示すように、前画像と現行画像との間のオーバーラップ量を計算する目的でカメラの動きを追尾するために利用可能な実施形態は多数ある。
【００３７】
好ましくは、パンニングにおける各シーン部分の画像は、縫合ソフトウェアがそのジョブを実行できるように、１０％等、画像領域の最小の所定オーバーラップ量だけ隣接画像にオーバーラップさせるとよい。この最小の所定オーバーラップ量は、主に画像縫合ソフトウェアによって決定されるが、パンニング掃引レート、フレームレート、照明、コントラスト、解像度等の要因を含む。全画像について少なくとも１５フレーム／秒のレートで画像を得ることが好ましいが、これより低いフレームレートおよびフレームサンプリングを、僅かに低速のパンニングレートとともに併用させてもよい。たとえば、低速フレームレートでは、最小の所定オーバーラップ量を増大させる（たとえば、１５％のオーバーラップ量）必要があることもある。一方、高速フレームレートほど、最小の所定オーバーラップ量を減少させることができる（たとえば、５％）。
【００３８】
勿論、最小値より大きな分オーバーラップした画像は、これらの画像を一緒に縫合する目的で満足しているが、ディジタルカメラの場合、記憶要件を最小限に抑える目的では望ましくない。これにより、記憶装置を最大限活用できるとともに、所与のパノラマ写真を生成するために捕捉される画像数を最小限に抑えるために、たとえば２５％の最大の所定オーバーラップ量が経験上決定される。すなわち、画像の捕捉を最適にするために、所定のオーバーラップレンジは、１０〜２５％等、最小及び最大の所定オーバーラップ間のオーバーラップ割合として定義される。このレンジは構成可能であり、特定の必要性に応じて調整が可能である。
【００３９】
次に図４を参照すると、画像間のオーバーラップを例証するためにパンニング中に得られた画像のタイムラインが示される。カメラがシーンに亘ってパンニングされるのにともない、現行画像は、予め捕捉されている画像と比較される。現行画像が所定のオーバーラップレンジにより規定される割合だけ予め捕捉されている画像とオーバーラップする場合、この現行画像は捕捉される。
【００４０】
本図は、カメラＣの実施形態を単純に右方向のパンニングの動きと併用して説明される。パンニングの開始時、参照画像３４ａとして示された第１の捕捉画像において、シーンの左端部分が捕捉される。カメラＣが所与の方向にパンニングされると、プロセッサ２２は、シーンの様々な部分（たとえば、画像３６ａ、３６ｂおよび３６ｃ）を繰り返し捕捉し、これを参照画像３４ａと比較してオーバーラップ量を決定する。画像３６ａ、３６ｂおよび３６ｃについて図示するように、計算されたオーバーラップ量が所定のオーバーラップレンジ内にない場合、この最近得られた画像（３６ａ、３６ｂ）が破棄され、本プロセスが繰り返される。
【００４１】
オーバーラップ量が所定のオーバーラップレンジ内であると、最近得られた画像（たとえば、画像３６ｃ）がパノラマまたはワイド領域画像における別のシーケンスとして捕捉される。そして、捕捉された画像は、参照画像３４ｂで示され、本プロセスを繰り返して次の画像を捕捉する。シーンの最後の部分は、パンニングが停止されたときの最後のフレームにおいて捕捉される。
【００４２】
本プロセスは、画像が恒久的メモリではなくフィルム上で捕捉されることを除けば、カメラＦと同様である。同じく、本プロセスは、動きセンサ４４の実施形態を使用することで同様である。動きセンサ４４から読み出された位置情報は、現在のシーン部分の画像が参照画像に対して所定のオーバーラップレンジ内であるか否かを決定するオーバーラップ量に変換される。
【００４３】
次に図５において、第１の実施形態にしたがってパンニングファームウェア３２を実行する場合の図１〜図３のカメラにより行われるパンニング動作のフロー図が示される。パンニング動作は、ステップ５０においてカメラ操作者がパノラマモードに合わせてカメラを構成することで開始される。操作者の立場から、カメラが静止状態で保持されるのではなくシーンに亘って物理的にパンニングされるべきであるという点で、パノラマモードは、通常の動作モードと異なる。回転式三脚を使用してもよいが、不可欠ではなく、また好ましいものでもない。ステップ５２において、カメラは、所望のパノラマまたは広角画像の一端に位置決めされる。パノラマ画像の場合、カメラは、単一方向（たとえば、右方向または左方向）でパンニングされることが好ましい。広角またはワイド領域画像の場合、カメラは、蛇行方向（たとえば、右方向に上下運動、または左方向に上下運動）でパンニングされるようにしてもよい。
【００４４】
ステップ５４において、カメラ操作者が電気機械式露光ボタンを起動して第１の画像を捕捉するとパンニングが開始される。露光ボタンを用いて画像を捕捉するには多数の異なる方法がある。第１のアプローチでは、パンニング動作は、第１のボタン操作で開始され、第２のボタン操作で停止される。第２のアプローチでは、パンニング動作は開始され、ボタンが押下されている限り続行される。第３のアプローチでは、パンニング動作は、第１のボタン操作で開始され、以降のボタン操作により各シーン部分の画像がカメラから（別体または一体）の音声／視覚表示に応答して手動で捕捉され、音声／視覚表示がない状態でボタンが起動されるとパンニング動作は終了される。いずれの場合においても、露光ボタンを起動することで、第１の画像が捕捉され、記憶部２８に記憶される。第１の画像は、参照画像３４で表される。
【００４５】
カメラがシーン１４に亘ってパンニングされた状態でステップ５６が実行され、次に得られる画像をいつ捕捉するかを決定する。図７は、カメラＣにしたがってシーンに亘るパンニング中に１つまたは複数の画像を自動的に捕捉する方法を示す。図８は、カメラＦおよびＭに係る方法を示す。いずれの方法も図１および図３のディジタルカメラＣおよびＭまたは図２および図３のフィルムベースのカメラＦおよびＭにより動作可能である。ステップ５６によりシャッタ１８が駆動されると、本手順は、ステップ５８に進み、パノラマ画像における次の画像が捕捉され、記憶部２８に記憶される。
【００４６】
ステップ６４において、カメラは、パンニング動作が完了したか否かを決定する。電気機械式露光ボタンの起動によって、所定の数の画像の捕捉が完了したとき、カメラの記憶容量がなくなったとき、またはカメラが５秒等の十分な時間パンニングを実質的に停止したとき等、パンニング動作を終了させる方法はいくつかある。上記の終了イベントの１つが発生すると、パノラマ画像捕捉手順は終了される。上記のイベントの１つが発生していない場合、本手順は、ステップ６６に分岐し、ステップ５８からの次に捕捉された画像が参照画像３４で表される。本手順はステップ６６からステップ５６に戻り、本シーケンスにおいて次の画像を捕捉する。本手順は、ステップ５６〜６６を繰り返し、上記の終了イベントの１つが発生するまでパノラマシリーズにおける以降の画像を捕捉する。
【００４７】
本動作が終了した後、カメラは、この画像のシーケンスをコンピュータシステムＳに送信し、縫合して１つのパノラマ画像にする。
【００４８】
次に図６を参照すると、第２の実施形態にしたがってパンニングファームウェア３２を実行する場合の図１〜図３のカメラにより実行されるパンニング動作のフロー図が示される。図６に図示される動作は、この動作が、捕捉された画像を縫合する縫合アルゴリズム（ステップ６０）をカメラ（すなわち、カメラＣまたはＭ）にオンボードで含むことを除いて、図５の動作とほぼ同様である。したがって、本実施形態において、カメラは、従来サイズの画像のシーケンスではなく単一パノラマ画像を提供する。個々の画像を縫合して単一画像にするため、ステップ６２において重複する画像を破棄して記憶容量を回復することができる。
【００４９】
次に図７において、カメラＣに係る、シーンに亘るパンニング中に画像を自動的に捕捉するステップ５６の方法をさらに詳細に示す。サブ手順は、ステップ７０において開始され、イメージャ１０からメモリ２４にデータを転送することによって現行画像３６が得られる。ステップ７２において、プロセッサ２２は、現行画像３６を参照画像３４と比較して、これら２つの画像の位置および方向の情報を決定する。この比較は、画像相関ルーチンを用いて行われる。好適な画像相関ルーチンの一例が「被写体に対するナビゲーションセンサの動きを検出するナビゲーション技術（Navigation Technique For Detecting Movement of Navigation Sensors Relative To An Object）」と題する米国特許第５，６４４，１３９号に記載されており、その内容を引用することにより本明細書の一部をなすものとする。位置情報は、２つの画像間のオーバーラップ量に変換される。
【００５０】
ステップ７４において、プロセッサは、計算されたオーバーラップ量が所定のオーバーラップレンジ内であるか否かを決定する。オーバーラップ量が所定のレンジ内であれば、トリガ起動方法７６が呼び出される。トリガ起動方法７６が終了すると、サブ手順は、ステップ５６において呼出プログラムに戻り、現行画像を捕捉する。なお、このサブ手順がフィルムベースのカメラで実行される場合には、方法７６により従来のシャッタが駆動される。オーバーラップ量が所定のレンジ内でない場合、サブ手順はステップ７８に分岐する。
【００５１】
ステップ７８において、プロセッサ２２は、パンニング方向が変わったかを決定する。パンニング方向が変わっており、かつ所定の判定基準を満たしていれば、サブ手順はステップ７６に進み、トリガ起動方法を呼び出す。それ以外の場合、サブ手順はステップ７０に戻る。パンニング方向が変わることで次の画像を捕捉する状況は多数存在する。これらの状況は、図１０（ａ）〜（ｂ）を参照して最もよく説明することができる。
【００５２】
図１０（ａ）は、２つの画像（たとえば、フレーム１および２）が捕捉されたパンニング通路１１０と、パンニング方向が変わった後の第３のフレームがある分岐通路１１２とを示す。確立されている通路に並行でない方向の変化により、フレームが所定の並列スレッショルドを越えた場合、第３のフレームにより画像が捕捉される。たとえば、所定の並列スレッショルドは、前フレームの高さの１０％とすることができる。上部の所定の並列スレッショルド１１４および下部の所定の並列スレッショルド１１６は、通路１１０に沿った予想運動の帯を画定する。これらの値は、通路に沿ってパンニングしているときのカメラ操作者による通常の分岐運動が方向の変化として解釈されないように選択される。しかしながら、方向の変化によりフレームが所定のスレッショルドの１つを十分越えていると、画像が捕捉される。この技術は、境界画像を捕捉するのに有用である。
【００５３】
図１０（ｂ）は、２つの画像（たとえば、フレーム１および２）が捕捉されたパンニング通路１２０と、第３のフレームがある分岐通路１２２とを示す。この実施形態では、変化前後でパンニングの方向が逆であるため、パンニング方向の変化により、カメラは既に捕捉されているシーン領域を戻る。既に捕捉されているシーン部分は、２回目に捕捉される。しかしながら、変化に際してフレームが変化前の通路１２０において画像を最後に捕捉した際のフレーム２に対して所定の垂直方向のスレッショルド１２４を越える程十分に前進した場合、方向の反転により画像が捕捉される。たとえば、所定の垂直スレッショルド１２４は、前フレームの幅の１０％とすることができる。図示のように、カメラは、方向を逆にする前に所定の垂直スレッショルド１２４を越えて右方向にパンニングされているため、画像が捕捉される。
【００５４】
図８は、カメラＦおよびＭの動きセンサ４４に基づく、シーンに亘るパンニング中に画像を自動的に捕捉するステップ５６の方法をさらに詳細に示す。動きセンサ４４の様々な実施形態は、それぞれ、オーバーラップ量に数学的に変換可能な２つの参照点（たとえば、フレーム）の間の位置決め情報を提供するように動作可能である。
【００５５】
ステップ９０において、プロセッサ２２は、カメラがパンニングされた状態で動きセンサ４４からの現行位置値を読み出す。次にステップ９２において、プロセッサ２２は、参照画像３４と比較して現行画像３６の方向およびオーバーラップの値を計算する。これらのステップの実施は、動きセンサ４４の固有の作用に依存している。たとえば、動きセンサ４４のイメージセンサ実施形態では、増加分の動きまたは位置データを提供することが可能であり、一方ジャイロスコープは動きデータを提供することが可能である。いずれの場合においても、方向およびオーバーラップの値は、周知の変換技術に基づいて容易に計算可能である。
【００５６】
残りのステップ７４〜７８は、図７において説明したものと同様である。
【００５７】
次に図９を参照して、方法７６のフロー図を示す。これらの一連のステップはカメラＣ、ＭおよびＦに適用可能である。ステップ１００において、カメラが自動または手動モードで動作しているか否かが決定される。自動モードは、露光設定に相応しく、その結果、パンニング移動により画像のブレを引き起こすことがないよう十分に高速シャッタスピードとなる。夜間設定は、自動モードには相応しくない場合がある。このような状況では、手動モードを使用することができる。自動モードがイネーブルでない（すなわち、手動モードがイネーブルである）場合、パンニングを停止するようカメラ操作者に表示するパンニング停止インジケータが設けられる。視覚または音声表示を提示してもよい。操作者がパンニングを停止すると、ステップ１０４において操作者によりシャッタが駆動され、画像を捕捉する。ステップ１０４から、本方法は呼出ルーチンに戻る。
【００５８】
ステップ１００において、カメラが自動モードで構成されることが決定されると、本方法はステップ１０６に分岐し、１／５００秒等の十分に高速なシャッタスピードが確認される。シャッタが十分に高速である場合、ステップ１０８においてシャッタは自動的に駆動され、画像を捕捉する。また、照明または他の要素が不適当であることによりシャッタが十分に高速ではなければ、本方法はステップ１０２に分岐し、手動で画像を捕捉する。ステップ１０８から、本方法は呼出ルーチンに戻る。
【００５９】
このように、上記から、本発明がパンニング中に複数の画像を自動的に取り込み、パノラマ画像を形成する方法および装置を提供することが分かる。本発明のいくつかの実施形態を説明および図示してきたが、本発明はこれらの説明および図示される部分の特定の実施形態または構成に限定されるものではない。したがって、本発明の原理を好ましい実施形態において図示および説明してきたが、本発明がかかる原理から逸脱せずに構成および詳細において変形可能であることは当業者にとって明らかなはずである。
【００６０】
【発明の効果】
本発明によれば、特殊なカメラ、設備または現像処理を必要とせずに、パノラマ写真をほとんどの消費者に利用可能とするためのより単純な自動化アプローチを提供可能であり、パノラマ写真をより入手しやすくかつ高信頼性のあるものにすることができる。
【図面の簡単な説明】
【図１】第１の実施形態に係るカメラＣを示すブロック図である。
【図２】第２の実施形態に係るカメラＦを示すブロック図である。
【図３】第３の実施形態に係るカメラＭを示すブロック図である。
【図４】パンニング中に捕捉される一連の画像を示すタイムラインである。
【図５】好ましい実施形態に係る、パンニングファームウェアの実行時にカメラＣにより実行される動作を示すフロー図である。
【図６】代替の実施形態に係る、パンニングファームウェアの実行時にカメラＣにより実行される動作を示すフロー図である。
【図７】シーンに亘るパンニング中に画像を捕捉する様々な方法を示すフロー図である。
【図８】シーンに亘るパンニング中に画像を捕捉する様々な方法を示すフロー図である。
【図９】図７、図８の露光トリガ方法のさらに詳細を示すフロー図である。
【図１０】パンニング動作中に撮影される通路の概念図である。

Claims (3)

1. 被写体であるシーンに亘るパンニング中にシャッタを備えたカメラにより複数の画像を捕捉する方法であって、
   シーンに亘ってカメラを移動させるステップと、
   前記カメラの移動量に関する所定の動きしきい値に基づいて前記シーンに亘る複数のシーン部分を前記カメラのフレーム内に捕捉するステップであって、隣り合う前記フレームにより捕捉される画像が所定の範囲で重なり合うステップと、
   を含み、
   前記シーン部分の捕捉において、
   前記シーン部分は、前記シャッタのシャッタスピードが所定のシャッタスピードしきい値を越える場合には、カメラの動きを止めることなく、捕捉され、前記シャッタのシャッタスピードが該所定のシャッタスピードしきい値を越えない場合には、カメラの動きが止まった後で、捕捉され、さらに
   前記パンニング中に前記カメラを移動させる方向が変化し、且つ前記フレームが該方向の変化前に捕捉されたシーン部分のフレームに対し、変化前の移動方向又は該方向に対して垂直な方向に所定の範囲を越えて変位した場合には、前記画像間のオーバーラップ量に拘わらず、現在のシーン部分が捕捉される、方法。
2. 被写体であるシーンに亘るパンニング中に複数の画像を捕捉するカメラであって、
   シャッタを備えたイメージャと、
   該イメージャと結合されて、該イメージャのフレーム内に前記シーンに亘る複数のシーン部分を捕捉するように構成されたプロセッサであって、前記イメージャと協働して前記カメラの移動量を測定し、隣り合う前記フレームにより捕捉される画像間の所定の範囲にあるオーバーラップ量を定める所定の動きしきい値に基づいて各シーン部分を捕捉する、プロセッサと、
   を備え、
   前記プロセッサは、
   前記シャッタのシャッタスピードが所定のシャッタスピードしきい値を越える場合には、カメラの動きを止めることなく、前記シーン部分が捕捉されるようにし、前記シャッタのシャッタスピードが該所定のシャッタスピードしきい値を越えない場合には、カメラの動きが止まった後で、前記シーン部分が捕捉されるようにし、さらに
   前記パンニング中に前記カメラを移動させる方向が変化し、且つ前記フレームが該方向の変化前に捕捉されたシーン部分のフレームに対し、変化前の移動方向又は該方向に対して垂直な方向に所定の範囲を越えて変位した場合には、前記画像間のオーバーラップ量に拘わらず、現在のシーン部分が捕捉されるようにする、カメラ。
3. 被写体であるシーンに亘るパンニング中に複数の画像を捕捉するカメラであって、
   シャッタと、
   動きセンサと、
   該動きセンサと結合されて、前記シーンに亘る複数のシーン部分を前記カメラのフレーム内に捕捉するように構成されたプロセッサであって、前記シーン部分のそれぞれを、隣り合う前記フレームにより捕捉される画像が所定の範囲で重なり合うように、前記動きセンサによって測定された所定の動きしきい値に基づいて捕捉する、プロセッサと、
   を備え、
   前記プロセッサは、
   前記シャッタのシャッタスピードが所定のシャッタスピードしきい値を越える場合には、カメラの動きを止めることなく、前記シーン部分が捕捉されるようにし、前記シャッタのシャッタスピードが該所定のシャッタスピードしきい値を越えない場合には、カメラの動きが止まった後で、前記シーン部分が捕捉されるようにし、さらに
   前記パンニング中に前記カメラを移動させる方向が変化し、且つ前記フレームが該方向の変化前に捕捉されたシーン部分のフレームに対し、変化前の移動方向又は該方向に対して垂直な方向に所定の範囲を越えて変位した場合には、前記画像間のオーバーラップ量に拘わらず、現在のシーン部分が捕捉されるようにする、カメラ。

Images