JP5768172B2 - 画像表示制御方法及びその装置並びに画像撮像装置 - Google Patents

Description

本発明は、パノラマ画像や周囲３６０度の全方位画像等の広角画像を表示する画像表示制御方法及びその装置並びに画像撮像装置に関する。

例えば複数台のカメラを放射状に設置して周囲３６０度の全方位画像を撮影できるカメラシステムが、下記の特許文献１，２に記載されている。この様なカメラシステムでは、超広角のパノラマ画像を撮影することができるが、このパノラマ画像を一度に表示できる表示装置は装置が大形化してしまい、カメラシステムに搭載するのは容易でない。

また、１台のデジタルカメラでパンしながら超広角のパノラマ画像を撮影できるものもある。しかし、小さなデジタルカメラに搭載されたアスペクト比４：３の小さな表示画面で一度にパノラマ画像を表示することはできない。

そこで、例えば下記の特許文献３，４に記載されている様に、パノラマ画像のうち表示対象となる画像部分をマニュアルでスクロールさせ、全画像の部分部分を小さな画面に順に表示するようになる。

一方、近年のデジタルカメラでは、顔検出機能が搭載されるのが普通になってきており、下記の特許文献５，６，７に記載されている様に、撮影された画像の中から「顔」を検出し、複数の顔が存在する場合には順にその顔だけを表示したり、各顔を拡大表示したりしている。

特開平１１―９８３４２号公報 特開２００４―６１８０８号公報 特開２０００―１０１９９１号公報 特開平１１―１４６２４３号公報 特開２００８―２８９５５号公報 特開２００７―２９５１８３号公報 特開２００７―３１８３９３号公報

監視カメラや定点カメラ等に超広角のパノラマ画像を撮影できるカメラシステムを採用したり、個人が１台のカメラをパンしながら超広角のパノラマ画像を撮影した場合、アスペクト比４：３の表示画面でパノラマ画像を見るのは容易でなく、画面を手操作でスクロールさせるのも面倒な作業となる。

そこで、特許文献５，６，７記載の顔検出機能を応用し、パノラマ画像中の「顔」を検出し、顔だけを順番に表示したり、顔をズームアップさせて表示させることが考えられる。

しかし、パノラマ画像には多くの情報が含まれており、顔だけをその中から選択して表示すると、顔以外の情報が欠落してしまい、大事な情報を見逃してしまう虞がある。例えば、パノラマ画像を撮影するカメラシステムを監視カメラに適用した場合、侵入者の顔が分かっても、侵入場所の映像が欠落してしまうことになる。

本発明の目的は、パノラマ画像（本願明細書において、表示画面に表示する表示用画像のアスペクト比よりアスペクト比の大きい画像をパノラマ画像と言う。）を小さな画面で見るときに重要な情報を見逃すことなくパノラマ画像を見ることができる画像表示制御方法及びその装置並びに画像撮像装置を提供することにある。

本発明の画像表示制御方法は、表示画面に表示する表示用画像のアスペクト比よりアスペクト比の大きいパノラマ画像から前記表示用画像を映像枠で切り出して前記表示画面に表示する画像表示制御方法であって、前記パノラマ画像中の主要被写体を検出し、前記パノラマ画像の一端側から他端側に前記映像枠を移動させる移動ルートを決定し、該移動ルートに沿って前記映像枠を移動させながら該映像枠で切り出された前記表示用画像を前記表示画面に表示させ、前記移動ルートに沿って移動する前記映像枠が前記主要被写体の位置に近づいたとき該映像枠を小さくすることで該主要被写体の画像を拡大表示し該拡大表示後に該映像枠を大きくすることで該主要被写体の拡大表示画像を縮小表示し、前記映像枠の初期サイズを予め決めておくと共に、前記拡大表示するときの前記映像枠のサイズを前記主要被写体毎に決定することを特徴とする。

本発明の画像表示制御装置は、表示画面に表示する表示用画像のアスペクト比よりアスペクト比の大きいパノラマ画像から前記表示用画像を映像枠で切り出して前記表示画面に表示する画像表示制御装置であって、前記パノラマ画像中の主要被写体を検出する被写体検出手段と、前記パノラマ画像の一端側から他端側に前記映像枠を移動させる移動ルートを決定する移動ルート決定手段と、該移動ルートに沿って前記映像枠を移動させながら該映像枠で切り出された前記表示用画像を前記表示画面に表示させるスクロール表示手段と、前記移動ルートに沿って移動する前記映像枠が前記主要被写体の位置に近づいたとき該映像枠を小さくすることで該主要被写体の画像を拡大表示し該拡大表示後に該映像枠を大きくすることで該主要被写体の拡大表示画像を縮小表示する映像枠サイズ変更手段とを備え、前記映像枠サイズ変更手段が、前記映像枠の初期サイズを予め決めておくと共に、前記拡大表示するときの前記映像枠のサイズを前記主要被写体毎に決定することを特徴とする。

本発明の画像撮像装置は、上記の画像表示制御装置を搭載することを特徴とする。

本発明によれば、パノラマ画像中の主要被写体を見逃すことなく、しかも、パノラマ画像自体の観賞や監視等が可能となる。

本発明の一実施形態に係る広角画像撮像装置の機能ブロック構成図である。 本発明の別実施形態に係る広角画像撮像装置の機能ブロック構成図である。 本発明の更に別実施形態に係る広角画像撮像装置の機能ブロック構成図である。 本発明の更に別実施形態に係る広角画像撮像装置の機能ブロック構成図である。 図４に示す広角画像撮像装置で使用する記録手段のテーブル構成図である。 本発明の一実施形態に係る広角（パノラマ）画像表示制御方法の説明図である。 本発明の実施形態に係る広角画像表示制御方法の第１段階の処理手順を示すフローチャートである。 図７の被写体検出処理の具体例を説明する図である。 本発明の実施形態に係る広角画像表示制御方法の第２段階の処理手順を示すフローチャートである。 本発明の実施形態に係る広角画像表示制御方法の具体的な説明図である。 本発明の別実施形態に係る主要被写体のズームアップ表示，ズームアウト表示の説明図である。 図１１に示すズームアップ表示を行いながらパノラマ画像のスクロール表示を行う処理手順を示すフローチャートである。 図２に示す広角画像撮像装置によるパノラマ画像と自動スクロール表示の移動ルート（基本ルート）説明図である。ある。 図１３に代わる移動ルートの別実施形態に係る修正説明図である。 図１４に示す移動ルートの修正処理手順を示すフローチャートである。

以下、本発明の一実施形態について、図面を参照して説明する。なお、以下では、本発明の画像表示制御装置を広角画像表示制御装置と言い、本発明の画像表示制御方法を広角画像表示制御方法と言い、また、本発明の画像撮像装置を広角画像撮像装置とも言う。

図１は、本発明の一実施形態に係る広角画像撮像装置の機能ブロック図である。この広角画像撮像装置１は、１台のカメラ（撮影光学系及び固体撮像素子でなる撮像部や、固体撮像素子が撮像して得た撮像画像信号をデジタル信号処理してＪＰＥＧ画像等にし記録メディアに保存する機能を内蔵している。以下、同様である。）２と、カメラ２を載置しカメラ２を例えば３６０度回転駆動する回転雲台３と、ＣＰＵ等で構成される撮影指示手段４と、撮影指示手段４からの指示により回転雲台３の回転量制御を行う回転量制御手段５と、回転量制御手段５からの指令を受けて回転雲台３を回転させる回転雲台駆動手段６と、回転量制御手段５が回転雲台駆動手段６に出力する指令を受けてカメラの移動軌跡を記録するカメラ軌跡記録手段７と、カメラ軌跡からカメラ２が撮影した画像の位置を算出する画像位置算出手段８と、撮影指示手段４からの指示に基づいてカメラ２の撮影制御を行う撮影制御手段９とを備える。

この広角画像撮像装置１は更に、カメラ２が撮像し例えばＪＰＥＧ画像等にした画像データを取り込んで複数の撮像画像を貼り合わせパノラマ画像を合成する画像合成手段１０と、パノラマ画像中の主要被写体を検出する被写体検出手段１１と、被写体検出手段１１の検出結果と画像位置算出手段８の算出結果とに基づいて後述する「移動ルート」を決定する移動ルート決定手段１２と、パノラマ画像上で主要被写体の検出位置をトリミング対象領域（ズームアップ表示する領域）として決定するトリミング領域決定手段１３と、移動ルート決定手段１２の決定結果とトリミング領域決定手段１３の決定結果とに基づいてパノラマ画像中で表示する映像枠を自動的に所定速度でスクロールする画像自動スクロール手段１４と、前記映像枠中の画像を表示する液晶表示装置などの画像表示手段１５とを備える。

斯かる構成の広角画像撮像装置１では、カメラ２の撮影画角が例えば４５度であれば、回転量制御手段５がカメラ２の回転雲台３を４５度づつ回転させて計８枚の画像を撮像し、画像合成手段１０が８枚の画像を貼り合わせて周囲３６０度のパノラマ画像を合成し、このパノラマ画像を画像自動スクロール手段１４の表示制御により画像表示手段１５に自動スクロールさせながら表示する。この自動スクロール表示の詳細については後述する。

図２は、本発明の別実施形態に係る広角画像撮像装置の機能ブロック構成図である。この広角画像撮像装置２０は、カメラ２１をユーザが手で持ちカメラ２１を移動させながらパノラマ画像を合成する撮像装置であり、図１で説明した撮影指示手段４と、カメラ軌跡記録手段７と、画像位置算出手段８と、撮影制御手段９と、画像合成手段１０と、主要被写体検出手段１１と、移動ルート決定手段１２と、トリミング領域決定手段１３と、画像自動スクロール手段１４と、画像表示手段１５とを備える点は、図１の広角画像撮像装置１と同じである。

しかし、図１の広角画像撮像装置１では、カメラ２が回転雲台３に設置されて回転駆動されるのに対し、本実施形態の広角画像撮像装置２０は手持ちカメラ２１を用いるため、その移動軌跡を検出するために、動きベクトル算出手段２２を備える点が異なる。

動きベクトル算出手段２２は、周知の方法で動きベクトルを算出するものであり、動画状態で撮像された或るフレーム画像の一部を切り出し、該一部の画像部分が次フレーム画像のどこに存在するかを求めその移動量，移動方向を動きベクトルとして算出ものである。そして、算出した動きベクトルに基づいて、カメラ軌跡記録手段７がカメラ軌跡を記録する。

上記の動きベクトル算出手段２２は、画像のマッチング処理で動きベクトルをソフト的に求めたが、例えばカメラ２１に電子コンパスや加速度センサを搭載し、カメラ２１の移動方向，移動角をハード的に検出し、これから動きベクトルを算出することでも良い。

図３は、本発明の更に別実施形態に係る広角画像撮像装置の機能ブロック構成図である。この広角画像撮像装置２５は、カメラ２６の撮影レンズ手前に双曲線ミラー２７を配置して、ワンショットで周囲３６０度の画像を得ることができるようになっている。

この広角画像撮像装置２５も、図１で説明した撮影指示手段４と、撮影制御手段９と、主要被写体検出手段１１と、移動ルート決定手段１２と、トリミング領域決定手段１３と、画像自動スクロール手段１４と、画像表示手段１５とを備える点は、図１の広角画像撮像装置１と同じであるが、ワンショットで３６０度のパノラマ画像を撮影するためカメラ軌跡記録手段７やカメラの移動によって位置ブレを起こす画像位置の算出手段８はない。

しかし、双曲線ミラー２７で歪んだ画像を撮影するため、この歪んだ画像の歪みを無くす画像変形手段２８が必要となり、画像変形手段２８で歪みが修正された画像を主要被写体検出手段１１が取り込み、主要被写体を検出する。

図４は、本発明の更に別実施形態に係る広角画像撮像装置の機能ブロック構成図である。この広角画像撮像装置３０は、複数台のカメラを放射状に配列した全方位撮像カメラ３１を用いている点が図１〜図３の広角画像撮像装置と異なり、図１で説明した撮影指示手段４と、画像位置算出手段８と、撮影制御手段９と、各カメラの撮像画像を貼り合わせてパノラマ画像を合成する画像合成手段１０と、主要被写体検出手段１１と、移動ルート決定手段１２と、トリミング領域決定手段１３と、画像自動スクロール手段１４と、画像表示手段１５とを備える点は、図１の広角画像撮像装置１と同じである。

この広角画像撮像装置３０は、複数台のカメラを用いるため、図１のカメラ軌跡記録手段７の代わりに、各カメラの配置条件を記録する手段３２と各カメラの撮影条件を記録する手段３３とを備え、これら手段３２，３３の出力が画像位置算出手段８に出力される様になっている。

図５は、図４で説明したカメラ配置条件記録手段３２及びカメラ撮影条件記録手段３３で格納されるデータテーブルの一例を示す図である。各カメラの基準位置に対する回転角度位置が配置条件として格納され、各カメラの焦点距離が撮影条件として格納される。

以上、異なる４つの広角画像撮像装置１，２０，２５，３０について説明したが、夫々の広角画像撮像装置で撮影され合成されるパノラマ画像を、小型の表示手段１５に表示するには、工夫が必要となる。広大なパノラマ画像の中から例えば人物だけを特許文献５，６，７の様に切り出して順に表示手段１５に切り替え表示しても、膨大な情報量を持つパノラマ画像の大部分の情報が欠落してしまう。

図６（ａ）は、本発明の一実施形態に係るパノラマ画像表示制御方法の簡単な説明図である。このパノラマ画像表示制御は、例えば図１〜図４の移動ルート決定手段１２，トリミング領域決定手段１３，画像自動スクロール手段１４によって処理される。

図６（ａ）に示すパノラマ画像４１には、主要被写体「Ａ」と主要被写体「Ｂ」とが離れた位置に映っていたとする。このパノラマ画像４１から「Ａ」と「Ｂ」の画像だけを切り出して拡大表示しても、「Ａ」「Ｂ」が存在している位置や方角、背景に何が映っているのか、主要被写体の隣に映っている画像はどのような画像であるか等という情報が欠落してしまう。

そこで、本実施形態では、先ず、パノラマ画像４１の始点位置（図６（ａ）の左端側）から終点位置（図６（ａ）の右端側）までの移動ルート４２を求める。図示する例の移動ルート４２は、主要被写体「Ａ」を通り、次に主要被写体「Ｂ」を通るルートを移動ルートとしている。

主要被写体「Ａ」「Ｂ」は、図１〜図４で説明した被写体検出手段１１によって検出され、各主要被写体「Ａ」「Ｂ」の大きさに合わせた被写体枠４３Ａ，４３Ｂが決定される。

図６（ａ）中の矩形枠４４の１つ１つは映像枠を示しており、この矩形枠４４内の画像がパノラマ画像４１から切り出され、矩形枠４４内の画像が表示手段１５の映像枠内に一杯に表示される。つまり、この矩形枠４４が画像のトリミング領域となり、矩形枠４４が小さくなると、それだけ中の画像が拡大表示されることになる。

先ず、始点位置における画像を切り出して表示する。このときの矩形枠４４は初期サイズとして設定された大きな矩形枠を用い、表示画像の情報量を多くする。

図６（ａ）に示す初期サイズの矩形枠４４は、縦寸法をパノラマ画像の縦寸法と同一寸法とする最大限の大きさとしている。しかし、あまり初期サイズの矩形枠４４を大きくすると、主要被写体がパノラマ画像の上縁，下縁付近に存在した場合、初期サイズの矩形枠４４のままで移動ルート４２に沿って移動させることができなくなってしまう。

この様な場合には、矩形枠４４を縮小して移動させることになるが、例えば、図６（ｂ）に示す様に、初期サイズの矩形枠４４をある程度小さくしておいてもよい。パノラマ画像撮像用のカメラシステムを定点カメラや監視カメラ等として用いる場合、背景画像の大部分は既知画像となるため、初期サイズが小さくても問題はない。

初期サイズの矩形枠４４を移動ルート４２に沿ってさせる場合、自動的に所定速度で移動させ、移動後にパノラマ画像４１から矩形枠４４で切り出した画像を表示する。つまり、表示画像を自動スクロールさせる。表示画像と次の表示画像との間に多くのオーバーラップ部分を設けることで、画面を見ている人は画像が移動する方向を容易に認識可能となる。

この様にして、パノラマ画像４１の部分部分の画像を自動スクロール表示し、主要被写体「Ａ」に近づいて来ると、徐々に画像を切り出す矩形枠４４を小さくしていく。これにより、画像が徐々に拡大表示される。

そして、スクロールが進み、移動後の矩形枠４４の中心が主要被写体「Ａ」の被写体枠４３Ａの中心と一致したとき、矩形枠４４として、被写体枠４３Ａを用いる。尚、図６（ａ）では、被写体枠４３Ａを左右の矩形枠４４と離して記載しているが、これは図面が分かり辛くなるのを回避するためであり、勿論、前の矩形枠４４や後の矩形枠４４とオーバーラップさせるのが良いことはいうまでもない。

表示する画像が主要被写体「Ａ」から離れていくと、再び矩形枠４４を徐々に大きくし、主要被写体「Ｂ」に近づくと矩形枠４４を小さくして行き、主要被写体「Ｂ」は被写体枠４３Ｂで拡大表示する。スクロールが進み、主要被写体「Ｂ」から遠ざかると矩形枠４４を大きくしていき、パノラマ画像４１の終端部まで表示する。

この様に、パノラマ画像４１を小さな表示画面に自動スクロールさせながら表示するに際し、主要被写体が存在しない箇所の画像は広い範囲を含む画像として背景画像等の情報量を多くし、主要被写体が近づくほど拡大表示して主要被写体を見逃すことが無いようにする。これにより、パノラマ画像４１の情報を余すことなく、しかも主要被写体を見逃すことなく、パノラマ画像４１を小さな画面に自動的に表示することが可能となる。また、画面が流れるようなスクロール表示を行い、主要被写体に近づいたとき徐々にズームアップし、その後にズームアウトするため、急激な画面切り替えが発生せず、表示画面を見る者が不快感を感じることもなくなる。

図７は、図６で説明した自動スクロール表示を実行する表示制御方法の第１段階における処理手順を示すフローチャートである。先ず図７のステップＳ１で、パノラマ画像を得る。図１の広角画像撮像装置１であれば、各方向で撮影した画像を１枚のパノラマ画像に合成する。図２の広角画像撮像装置２０であれば、カメラ２１の移動に伴って撮影された各画像の重なり部分を重ね合わせる等してパノラマ画像を合成する。図３の広角画像撮像装置２５であれば、歪んだ画像に対して画像変換処理を施して歪みのないパノラマ画像を生成する。図４の広角画像撮像装置３０であれば、複数台の各カメラの撮像画像を貼り合わせてパノラマ画像を合成する。

次のステップＳ２では、パノラマ画像中の主要被写体を抽出する。例えば人物や動物の顔を主要被写体とする場合には、顔画像のパターンマッチングで顔が存在するか否か、存在する場合にはその座標位置を検出する。建物等を主要被写体とする場合でもその形状をパターンマッチングで検出すればよい。どのような被写体を主要被写体とするかは、ユーザの選択に任せる。

次のステップＳ３では、主要被写体毎のトリミング領域を算出する。図６で説明した例でいえば、主要被写体「Ａ」「Ｂ」の大きさはまちまちなため、夫々の主要被写体が内接するトリミング領域（図６の被写体枠４３Ａ，４３Ｂ）を算出する。

図８は、主要被写体を「顔」としたときの被写体検出結果の一例を示すテーブル図である。主要被写体として５個が検出され、夫々の位置座標に基づいてトリミング領域（被写体枠）の座標が算出され、夫々の大きさによりトリミング領域のサイズが算出される。

そして、図示する例では、「顔」画像としての評価値が求められている。評価値とは、その被写体の主要被写体としての確からしさであり、最大値「１」として顔画像が評価されている。更に、図８では、優先対象であるか否かの判定結果を入れてある。顔画像であっても、それが人間の顔であるか、犬の顔であるか、猫の顔であるかをパターンによって識別可能であるため、ユーザが優先対象を人間に設定しておけば、検出された主要被写体が人間であるか動物であるかが判定される。

図７の次のステップＳ４では、移動ルートの算出を行う。移動ルートは、例えば、検出された主要被写体の全てを通るルートとして算出される。或いは、図８のテーブルを参照し、検出評価値がユーザ指定或いはディフォルトの所定値（例えば０．７）以上の主要被写体を通るルートとして算出し、或いは、主要被写体のうち優先対象である人間を通るルートとして算出される。

次のステップＳ５では、移動ルートが複数存在するか否かを判定する。主要被写体が複数存在する場合、算出された移動ルートが複数になる場合もある。そこで、移動ルートが複数の場合すなわちステップＳ５の判定結果が肯定（Ｙｅｓ）の場合にはステップＳ６に進み、各移動ルートのルート評価値の中で最大のルート評価値を最適ルートとして選択し、図７の処理を終了する。

ステップＳ６において、例えば複数の移動ルートのそれぞれが、主要被写体の全てを通る移動ルートでなかった場合には、ルート上の主要被写体の図８に示す検出評価値の合計値をルート評価値として用いる。なお、移動ルートが複数存在する場合、その移動ルートの候補をユーザに提示して、ユーザに選択させる構成としても良い。

移動ルートが１つの場合すなわちステップＳ５の判定結果が否定（Ｎｏ）の場合にはステップＳ５で図７の処理を終了する。

図９は、図７に続く表示制御方法の第２段階における処理手順を示すフローチャートである。先ずステップＳ１１で、トリミング枠（図６の矩形枠４４）を初期サイズ（Ｈ_０，Ｗ_０）に設定する。次のステップＳ１２で、スクロール表示を開始するスタート座標位置（Ｘ_０，Ｙ_０）を設定する。次のステップＳ１３で、移動ルートにおける最初の主要被写体のトリミング領域座標（ｘ_ｎ，ｙ_ｎ）とトリミング領域サイズ（ｈ_ｎ，ｗ_ｎ）を設定する。そして次のステップＳ１４で、初期サイズのトリミング枠でパノラマ画像のスタート座標位置の画像を切り出し、表示画面に表示する。

次のステップＳ１５では、現在のトリミング枠の座標位置がパノラマ画像の終了座標位置であるか否かを判定し、終了座標位置の場合には、このスクロール表示を終了する。

現在のトリミング枠の座標位置が終了座標位置でない場合にはステップＳ１６に進み、トリミング枠を移動ルートに沿って移動させる。そして、次のステップＳ１７で、次の主要被写体までの距離Ｒｎを計算する。本実施形態の場合、Ｘ座標のみで計算しているが、Ｙ座標を加味して距離を計算してもよい。次のステップＳ１８で、距離Ｒ_ｎが所定距離Ｔ_１（例えば５００ピクセル）以下であるか否かを判定する。

現在のトリミング枠が主要被写体から所定距離Ｔ_１以内の距離に存在する（ステップＳ１８の判定結果が肯定（Ｙｅｓ））の場合、ステップＳ１９で現状のトリミング枠のサイズ（Ｈ，Ｗ）を主要被写体のトリミング領域サイズと被写体までの距離に応じて縮小する。

即ち、
Ｈ＝ｈ_ｎ＋（Ｈ−ｈ_ｎ）＊Ｒ_ｎ／Ｔ_１
Ｗ＝ｗ_ｎ＋（Ｗ−ｗ_ｎ）＊Ｒ_ｎ／Ｔ_１
とする。

その後、ステップＳ２０で、トリミング領域サイズを実際に変更し、ステップＳ１４に戻り、トリミング枠内を表示する。

ステップＳ１８の判定結果が否定（Ｎｏ）の場合には、ステップＳ２１に進み、主要被写体と同じ座標か若しくは通り過ぎているかどうかを判定する。この判定の結果が肯定（Ｙｅｓ）の場合は、ステップＳ２２に進み、現状のトリミング枠のサイズを主要被写体のトリミング領域サイズ（ｈ_ｎ，ｗ_ｎ）に設定する。更に、主要被写体を通り過ぎたため、次のステップＳ２３で、次の主要被写体のトリミング領域座標（ｘ_ｎ＋１，ｙ_ｎ＋１）とトリミング領域サイズ（ｈ_ｎ＋１，ｗ_ｎ＋１）を設定する。その後、前記のステップＳ２０に進み、トリミング領域サイズを実際に変更し、ステップＳ１４でトリミング枠内を表示する。

ステップＳ２１の判定結果が否定（Ｎｏ）の場合は、次にステップＳ２４に進み、今迄に通り過ぎた被写体があるか判定する。この判定結果が肯定（Ｙｅｓ）の場合は、更にステップＳ２５で、直前に通り過ぎた被写体との距離Ｒｎ−１が所定距離Ｔ２以内であるか判定する。この判定結果が肯定（Ｙｅｓ）の場合は、被写体から遠ざかるため、ステップＳ１９とは逆に現状のトリミング枠のサイズ（Ｈ，Ｗ）をトリミング領域の初期サイズと被写体までの距離に応じて拡大する（ステップＳ２６）。

即ち、
Ｈ＝Ｈ＋（Ｈ_０−Ｈ）＊｜Ｒ_ｎ−１｜／Ｔ_２
Ｗ＝Ｗ＋（Ｗ_０−Ｗ）＊｜Ｒ_ｎ−１｜／Ｔ_２
とする。

その後、前記のステップＳ２０に進み、トリミング領域サイズを実際に変更し、トリミング枠内を表示する。

ステップＳ２４，ステップＳ２５で判定結果が各々否定（Ｎｏ）になった場合は、トリミング領域のサイズを変更せずにステップＳ１４に戻り、そのままトリミング枠内を表示する。

この様に、本実施形態によれば、主要被写体に近づく場合にはトリミング枠が徐々に縮小されて主要被写体の画像がズームアップ表示され、主要被写体から離れた場合にはトリミング枠が拡大されて主要被写体の画像がズームアウト表示され、主要被写体から外れた位置のパノラマ画像が初期サイズのトリミング枠で表示される。

図６では、本実施形態を理解し易い様に、主要被写体Ａからかなり離れた位置で映像枠（トリミング枠）４４の縮小を開始している。これだと、主要被写体Ａがズームアップ表示される前後に渡るスクロール表示で、主要被写体Ａの背景画像部分が表示されなくなってしまう虞がある。

しかし、本実施形態では、実際にはその様な虞は生じない。近年のデジタルカメラに搭載される固体撮像素子は多画素化が進展し、１０００万画素以上を搭載するのが普通になってきている。例えば１２００万画素を搭載した固体撮像素子の場合、撮像画像は、横４０００ピクセル×縦３０００ピクセルとなる。

従って、映像枠４４の中心と被写体枠の中心とが５００ピクセル離れた位置から映像枠４４の縮小を開始すれば、それまでは拡大表示されないことになる。つまり、初期サイズの映像枠４４内の主要被写体Ａの画像が表示画面の１／３程度の所にスクロールされた状態から拡大表示が開始されるため、それまでの間、主要被写体Ａの背景画像は、初期サイズの映像枠４４に入ることになる。

なお、本実施形態では、自動スクロール表示位置が終了座標位置に来たとき、ステップＳ１５により終了するが、終了座標位置に来たとき次に再びスタート座標位置からの自動スクロール表示を開始して、ユーザからの終了指示が無い限り、無限ループで表示し続ける構成としても良い。

また、トリミング枠が主要被写体に近づくときの所定距離Ｔ_１（ステップＳ１８）と、離れるときの所定距離Ｔ_２（ステップＳ２５）とを別距離として説明したが、同じでも良い。離れるときには、既に主要被写体のズームアップ表示が終わっているため、ステップＳ２４〜Ｓ２６を省略して、ズームアップ表示の後、いきなり、トリミング枠を初期サイズにしても良い。

更に、トリミング枠４４の移動速度は一定として説明したが、主要被写体に近づくほどトリミング枠４４の移動速度を遅くし、離れるほど元の速度に戻しても良い。この様にすると、より見易い画像表示となり、主要被写体をじっくりと観察することが可能となる。

図１０は、実際のパノラマ画像で、拡大表示する主要被写体と移動ルートを例示する図である。図８で説明した主要被写体のテーブル図が対応する。パノラマ画像のスタート座標位置では大きな初期サイズの矩形枠（トリミング枠）４４で画像を切り出して表示し、この矩形枠４４を、移動ルート４２に沿って移動させて表示を自動スクロールさせる。

図示するパノラマ画像では、５個の主要被写体が存在し、夫々の主要被写体の被写体枠４３Ａ，４３Ｂ，４３Ｃ，４３Ｄ，４３Ｅが、図１〜図４の被写体検出手段１１が検出される。このパノラマ画像をスクロール表示する場合には、パノラマ画像を初期サイズのトリミング枠４４で切り出して表示しながらトリミング枠４４を移動ルート４２に沿って移動させ、一匹目の犬を被写体枠４３Ａでズームアップ（＝ズームイン）表示し、この犬から離れたらトリミング枠４４を大きくして移動する。

次に、主要被写体が多く存在する領域に入ると、移動ルート４２上に沿う順番で、図示する例では、一人目の子供の顔を被写体枠４３Ｂでズームアップ表示し、これをズームアウト表示した後、次に、親の顔を被写体枠４３Ｃでズームアップ表示し，次に二人目の子供の顔を被写体枠４３Ｄでズームアップ表示し，次に二匹目の犬の顔を被写体枠４３Ｅでズームアップ表示する。被写体枠４３Ｅから離れたときにトリミング枠４４を初期サイズに戻して移動させ、パノラマ画像の終了位置に来たとき、スクロール表示を終了する。

この様なスクロール表示は、図９のフローチャートに従って処理することで可能となる。しかし、図９の実施形態とは別実施形態でのスクロール表示も可能である。

図１１は、本発明の別実施形態に係るズームアップ表示，ズームアウト表示の説明図である。図９の処理手順では、主要被写体に近づいたとき、トリミング枠の移動及び縮小変更を同時並行的に行ったが、本実施形態では、トリミング枠４４の移動と縮小変更とを別々に行う様にしている。

即ち、本実施形態では、初期サイズのトリミング枠４４を移動させながら、初期サイズのトリミング枠４４でパノラマ画像を切り出して表示する（画像ａ）。初期サイズのトリミング枠４４で切り出した画像中の主要被写体画像が略中央に来たとき（画像ｂ）、次に、主要被写体を切り出すトリミング枠を縮小変更しながら主要被写体を徐々に拡大表示する。

そして、主要被写体を被写体枠４３Ａで表示した（画像ｃ）後、トリミング枠の拡大を行ってズームアウト表示を行い（画像ｄ）、トリミング枠を初期サイズに戻した後に、トリミング枠の移動（画像ｅ）を行う。

この様にすることで、主要被写体毎のズームアップ表示を個別に行うと共に、パノラマ画像の全体を余す所なく表示画面にスクロール表示することが可能となる。

図１２は、図１１で説明したズームアップ表示を行うスクロール表示処理手順を示すフローチャートである。先ず、ステップＳ３１で、トリミング枠を初期サイズ（Ｈ_０，Ｗ_０）に設定する。次のステップＳ３２で、スクロール表示を開始するスタート座標位置（Ｘ_０，Ｙ_０）を設定する。次のステップＳ３３で、移動ルートにおける最初の主要被写体のトリミング領域座標（ｘ_ｎ，ｙ_ｎ）とトリミング領域サイズ（ｈ_ｎ，ｗ_ｎ）を設定する。そして次のステップＳ３４で、初期サイズのトリミング枠でパノラマ画像のスタート座標位置の画像を切り出し、表示画面に表示する。

次のステップＳ３５では、現在のトリミング枠の座標位置がパノラマ画像の終了座標位置であるか否かを判定し、終了座標位置の場合には、このスクロール表示を終了する。現在のトリミング枠の座標位置が終了座標位置でない場合にはステップＳ３６に進み、トリミング枠を移動ルートに沿って移動させる。そして、次のステップＳ３７で、次の主要被写体までの距離Ｒ_ｎを計算する。本実施形態の場合、Ｘ座標のみで距離Ｒ_ｎを計算しているが、Ｙ座標を加味して距離を計算してもよい。次のステップＳ３８で距離Ｒ_ｎが所定距離Ｔ_３（例えば５ピクセル）以下であるか否かを判定する。

ステップＳ３８の判定結果が肯定（Ｙｅｓ）の場合、所定の縮小率αだけトリミング枠のサイズを縮小する（ステップＳ３９）。即ち、
Ｈ＝Ｈ＊α
Ｗ＝Ｗ＊α
とする。ステップＳ３８の判定結果が否定（Ｎｏ）の場合には、ステップＳ３４に戻る。

ステップＳ３９の次のステップＳ４０では、縮小したトリミング枠のサイズが主要被写体のトリミング領域サイズ（ｈ_ｎ，ｗ_ｎ）より大きいか否か判定する。判定結果が肯定（Ｙｅｓ）の場合は、ステップＳ４１でトリミング枠のサイズを変更し、次のステップＳ４２で、縮小したトリミング枠内を一旦表示した後、再度ステップＳ３９に戻り、縮小処理を続ける。

ステップＳ４０の判定結果が否定（Ｎｏ）の場合は、ステップＳ４３でトリミング枠のサイズを（ｈ_ｎ，ｗ_ｎ）に設定し、ステップＳ４４でトリミング枠のサイズを変更し、ステップＳ４５でトリミング枠内を表示する。その後、ステップＳ４６で、所定の時間ｔ秒だけウェイトする。

ステップＳ４６でウェイトが終わると、今後はステップＳ４７でトリミング枠の拡大処理を行う。この拡大処理は、所定の拡大率βだけトリミング枠のサイズを拡大するものである。

即ち、
Ｈ＝Ｈ＊β
Ｗ＝Ｗ＊β
とする。

次のステップＳ４８では、拡大したトリミング枠のサイズが初期サイズ（Ｈ_０，Ｗ_０）より小さいか判定する。小さい場合（判定結果が肯定（Ｙｅｓ））は、ステップＳ４９でトリミング枠のサイズを変更し、ステップＳ５０でトリミング枠内の画像を一旦表示した後、再度ステップＳ４７に戻り、トリミング枠の拡大すなわち表示画像の縮小処理を行う。

ステップＳ４８の判定結果が否定（Ｎｏ）すなわちトリミング枠サイズが初期サイズより小さくない場合は、次のステップＳ５１でトリミング枠のサイズを初期サイズ（Ｈ_０，Ｗ_０）に設定し、ステップＳ５２でトリミング枠のサイズを実際に変更し、ステップＳ５３でトリミング枠内を表示する。

その後、ステップＳ５４で、移動ルートにおける次の被写体のトリミング領域座標（ｘ_ｎ＋１，ｙ_ｎ＋１）とトリミング領域サイズ（ｈ_ｎ＋１，ｗ_ｎ＋１）を設定し、ステップ３５に戻る。

図１３は、図２の広角画像撮像装置２０で撮影したパノラマ画像の一例を示す図である。カメラ２１を手持ちでパン（移動）させるため、個々の画像を合成したパノラマ画像は、横に長手の綺麗な短冊状になることはない。図１３中に示す符号５０で示す線はカメラ２１の移動軌跡であり、貼り合わせ合成する前の個々の画像の相対位置関係を動きベクトルで算出し、図２のカメラ軌跡記録手段７が記録した移動軌跡である。被写体枠４３Ａ，４３Ｂ，４３Ｃ，４３Ｄ，４３Ｅは、主要被写体の夫々の被写体枠である。

また、図４の広角画像撮像装置３０で撮影したパノラマ画像も同様であり、各カメラの個々の撮像画像を貼り合わせても、綺麗な短冊状にならない場合があり、上縁や下縁に沿って不要領域（図中の黒塗り部分）５１が発生してしまう。この様な場合の移動ルート５０は、個々の撮像画像の相対位置関係すなわち、各カメラの配置関係から求められる。

図１３に示す合成画像中の不要領域５１は、画像再生時に見せない方が良く、このため、不要領域５１をなるべく見せないで済む初期サイズのトリミング枠４４を決定する。そして、この初期サイズのトリミング枠４４の移動ルートを、カメラ移動軌跡５０に沿って定める。

この場合、主要被写体の中心座標と、移動ルート５０との位置ズレが発生する。図１４は、修正ルート６０の実施形態を示す図である。本実施形態では、各主要被写体の中心座標に対して所定半径ｄの円Ｋを求める。そして、隣接する円Ｋの間の距離が２ｄより小さいか否かを求め、２ｄを超えるときは図１３の移動ルート５０を基本として修正ルートを個々の主要被写体毎に求め、２ｄ以下のときは各主要被写体の中心を結ぶルートを修正ルートとする。この「ｄ」の寸法は、例えば主要被写体のトリミング領域サイズが丁度円Ｋ内に収まるように設定すれば良い。

図１５は、図１４に示す移動ルートの修正処理手順を示すフローチャートであり、図７のステップＳ４の詳細手順となる。本実施形態では、先ず、ステップＳ６１で、カメラ移動軌跡を移動ルートの基本ルートとする。そして、次のステップＳ６２では、各主要被写体の中心座標を中心とする半径ｄの円Ｋを求める。次のステップＳ６３では、ルート修正（バイパス処理）の順番として、基本ルートにおいて、スタート座標から近い被写体から処理を行うことを規定している。

ステップＳ６４では、基本ルートと円Ｋに交点があるかどうかを判定する。交点が無い（判定結果が否定（Ｎｏ））場合は、当該被写体に対して、バイパスルートを設けない。判定結果が肯定（Ｙｅｓ）の場合は、更にステップＳ６５において、被写体同士の中心座標を結んだ直線が円Ｋと２つ以上交点を持つかが判定される。

これは、被写体同士が非常に近接しているかどうかを判定していることと同義である。ステップＳ６５の判定結果が肯定（Ｙｅｓ）の場合、ステップＳ６６に進み、被写体同士の中心座標を結んだ直線をバイパスルートとする（図１４の２番目と３番目の主要被写体間、３番目と４番目の主要被写体間、４番目の５番目の主要被写体間を参照）。

ステップＳ６５の判定結果が否定（Ｎｏ）の場合は、ステップＳ６７に進み、基本ルートと円の交点と被写体の中心座標を結ぶ直線をバイパスルート（図１４の１番目の主要被写体、２番目の主要被写体を参照）とする。

ステップＳ６６またはステップＳ６７の次にステップＳ６８に進み、全主要被写体すなわち全ての円ＫについてステップＳ６４の判定を行ったか否かを判定し、全主要被写体についてステップＳ６４の判定が終わっていない場合にはステップＳ６４に戻り、終わっている場合には、この図１５の処理を終了する。

この様にして求めた移動ルート６０に沿って、図９のフローチャートの手順に従いスクロール表示することで、パノラマ画像の全体の表示と主要被写体のズームアップ表示を両立させることができ、パノラマ画像中の重要な情報の見落としを防ぐことが可能となる。

図１４は、図９のフローチャートで説明したスクロール表示処理によるパノラマ画像の表示制御であるが、図１２で説明したフローチャートの手順によっても、パノラマ画像の全体の表示と各主要被写体のズームアップ表示を両立させることができる。この場合には、修正ルートを求める必要はなく、図１３に示すカメラ移動軌跡５０（基本ルート）に沿って初期サイズのトリミング枠４４を移動させれば良い。

なお、上述した実施形態では、パノラマ画像上の主要被写体の全てを拡大表示するか、或いは指定した特徴を持つ主要被写体を拡大表示したが、移動ルートから所定距離離れた主要被写体については無視し、移動ルートから所定距離以下しか離れていない主要被写体だけ拡大表示する様にしても良い。

更に、上述した移動ルートを、複数の要因、主要被写体位置だけでなく、合成前の個々の画像の相対位置関係や各画像位置，カメラ移動軌跡等を勘案して算出することで、移動ルートの算出精度が向上し、自動スクロール表示させるときの無駄な移動がなくなり、見易いスクロール表示となる。

また、上述した各実施形態は、広角画像撮像装置が自身の画像表示手段１５にパノラマ画像を表示する実施形態として説明したが、パノラマ画像を外部のパソコンやデジタルフォトフレームなどに取り出し、パソコンなどで上記の表示制御を実行してパノラマ画像を表示させることにも同様に適用可能である。

以上述べた様に、本明細書には以下の事項が開示されている。
（１）
表示画面に表示する表示用画像のアスペクト比よりアスペクト比の大きいパノラマ画像から前記表示用画像を映像枠で切り出して前記表示画面に表示する画像表示制御装置であって、
前記パノラマ画像中の主要被写体を検出する被写体検出手段と、前記パノラマ画像の一端側から他端側に前記映像枠を移動させる移動ルートを決定する移動ルート決定手段と、該移動ルートに沿って前記映像枠を移動させながら該映像枠で切り出された前記表示用画像を前記表示画面に表示させるスクロール表示手段と、前記移動ルートに沿って移動する前記映像枠が前記主要被写体の位置に近づいたとき該映像枠を小さくすることで該主要被写体の画像を拡大表示し該拡大表示後に該映像枠を大きくすることで該主要被写体の拡大表示画像を縮小表示する映像枠サイズ変更手段とを備え、
前記映像枠サイズ変更手段が、前記映像枠の初期サイズを予め決めておくと共に、前記拡大表示するときの前記映像枠のサイズを前記主要被写体毎に決定する画像表示制御装置。
（２）
（１）に記載の画像表示制御装置であって、前記被写体検出手段は、予め用意しておいた主要被写体パターンとマッチング処理を行って主要被写体の位置及び大きさを検出する画像表示制御装置。
（３）
（１）又は（２）に記載の画像表示制御装置であって、前記被写体検出手段は、顔を前記主要被写体として検出する画像表示制御装置。
（４）
（１）乃至（３）のいずれかに記載の画像表示制御装置であって、前記移動ルート決定手段は、指定した特徴を持つ主要被写体の存在位置を結ぶ線を移動ルートとして決定する画像表示制御装置。
（５）
（１）乃至（４）のいずれかに記載の画像表示制御装置であって、前記移動ルート決定手段が決定した移動ルートが複数あるとき前記表示画面に該移動ルートの候補を表示してユーザに選択させる画像表示制御装置。
（６）
（１）乃至（４）のいずれかに記載の画像表示制御装置であって、前記移動ルート決定手段は、移動ルートが複数あるとき各移動ルート上の前記主要被写体の主要被写体らしさを示す評価値の総和が最大となる移動ルートを選択する画像表示制御装置。
（７）
（１）乃至（６）のいずれかに記載の画像表示制御装置であって、前記映像枠の移動速度を、該映像枠が前記主要被写体から所定距離以内のとき遅くする画像表示制御装置。
（８）
（１）乃至（６）のいずれかに記載の画像表示制御装置であって、複数の画像を貼り合わせて前記パノラマ画像を合成する画像合成手段を具備し、前記移動ルート決定手段は、前記パノラマ画像の合成前の個々の画像の相対位置関係から前記移動ルートを決定する画像表示制御装置。
（９）
（８）に記載の画像表示制御装置であって、前記個々の画像の相対位置関係は、個々の画像を撮影したカメラの移動軌跡から求める画像表示制御装置。
（１０）
（９）に記載の画像表示制御装置であって、前記移動軌跡は撮像された前記個々の画像間の動きベクトルから求める画像表示制御装置。
（１１）
（８）に記載の画像表示制御装置であって、前記個々の画像の相対位置関係は、個々の画像を個別に撮影した複数のカメラの相対位置関係から求める画像表示制御装置。
（１２）
（８）乃至（１１）のいずれかに記載の画像表示制御装置であって、前記移動ルートから離れている前記主要被写体のうち所定距離以内の主要被写体を優先し該所定距離より離れている主要被写体を無視して前記映像枠を設定する画像表示制御装置。
（１３）
（８）乃至（１２）のいずれかに記載の画像表示制御装置であって、前記個々の画像の相対位置関係から求めた移動ルートから所定距離以内に主要被写体が存在したときは該主要被写体を経由する修正ルートで前記移動ルートを修正する画像表示制御装置。
（１４）
（１）乃至（７）のいずれかに記載の画像表示制御装置を搭載した画像撮像装置。
（１５）
表示画面に表示する表示用画像のアスペクト比よりアスペクト比の大きいパノラマ画像から前記表示用画像を映像枠で切り出して前記表示画面に表示する画像表示制御方法であって、
前記パノラマ画像中の主要被写体を検出し、前記パノラマ画像の一端側から他端側に前記映像枠を移動させる移動ルートを決定し、該移動ルートに沿って前記映像枠を移動させながら該映像枠で切り出された前記表示用画像を前記表示画面に表示させ、前記移動ルートに沿って移動する前記映像枠が前記主要被写体の位置に近づいたとき該映像枠を小さくすることで該主要被写体の画像を拡大表示し該拡大表示後に該映像枠を大きくすることで該主要被写体の拡大表示画像を縮小表示し、前記映像枠の初期サイズを予め決めておくと共に、前記拡大表示するときの前記映像枠のサイズを前記主要被写体毎に決定する画像表示制御方法。
（１６）
（１５）に記載の画像表示制御方法であって、予め用意しておいた主要被写体パターンとマッチング処理を行って主要被写体の位置及び大きさを検出する画像表示制御方法。
（１７）
（１５）又は（１６）に記載の画像表示制御方法であって、顔を前記主要被写体として検出する画像表示制御方法。
（１８）
（１５）乃至（１７）のいずれかに記載の画像表示制御方法であって、指定した特徴を持つ主要被写体の存在位置を結ぶ線を移動ルートとして決定する画像表示制御方法。
（１９）
（１５）乃至（１８）のいずれかに記載の画像表示制御方法であって、移動ルートが複数あるとき前記表示画面に該移動ルートの候補を表示してユーザに選択させる画像表示制御方法。
（２０）
（１５）乃至（１８）のいずれかに記載の画像表示制御方法であって、移動ルートが複数あるとき各移動ルート上の前記主要被写体の主要被写体らしさを示す評価値の総和が最大となる移動ルートを選択する画像表示制御方法。
（２１）
（１５）乃至（２０）のいずれかに記載の画像表示制御方法であって、前記映像枠の移動速度を、該映像枠が前記主要被写体から所定距離以内のとき遅くする画像表示制御方法。
（２２）
（１５）乃至（２０）のいずれかに記載の画像表示制御方法であって、複数の画像を貼り合わせて前記パノラマ画像を合成し、前記パノラマ画像の合成前の個々の画像の相対位置関係から前記移動ルートを決定する画像表示制御方法。
（２３）
（２２）に記載の画像表示制御方法であって、前記個々の画像の相対位置関係は、個々の画像を撮影したカメラの移動軌跡から求める画像表示制御方法。
（２４）
（２３に記載の画像表示制御方法であって、前記移動軌跡は撮像された前記個々の画像間の動きベクトルから求める画像表示制御方法。
（２５）
（２２に記載の画像表示制御方法であって、前記個々の画像の相対位置関係は、個々の画像を個別に撮影した複数のカメラの相対位置関係から求める画像表示制御方法。
（２６）
（２２）乃至（２５）のいずれかに記載の画像表示制御方法であって、前記移動ルートから離れている前記主要被写体のうち所定距離以内の主要被写体を優先し該所定距離より離れている主要被写体を無視して前記映像枠を設定する画像表示制御方法。
（２７）
（２２）乃至（２６）のいずれかに記載の画像表示制御方法であって、前記個々の画像の相対位置関係から求めた移動ルートから所定距離以内に主要被写体が存在したときは該主要被写体を経由する修正ルートで前記移動ルートを修正する画像表示制御方法。

本発明に係る画像表示制御方法は、パノラマ画像をこのパノラマ画像より小さな画面に表示するに際して重要な情報を見逃すことなく表示させることができ、パノラマ画像を撮影できる撮像装置の表示機能として搭載したり、パソコンやワークステーション等にパノラマ画像を取り込んで表示するとき有用となる。

１，２０，２５，３０ 広角画像撮像装置
２，２１，２６，３１ カメラ（デジタルカメラ）
３ 回転雲台
４ 撮影指示手段
５ 回転量制御手段
６ 回転雲台駆動手段
７ カメラ軌跡記録手段
８ 画像位置算出手段
９ 撮影制御手段
１０ 画像合成手段
１１ 主要被写体検出手段
１２ 移動ルート決定手段
１３ トリミング領域決定手段
１４ 画像自動スクロール手段
１５ 画像表示手段
２２ 動きベクトル算出手段
２７ 双曲線ミラー
２８ 画像変形手段
４１ 合成したパノラマ画像
４２ 移動ルート
４３ 矩形枠（映像枠）
５０ カメラ移動軌跡（移動ルート）
５５ 再設定された移動ルート
５６，５７，５８，５９，６０ 修正ルート
ステップＳ１５，Ｓ１７ 映像枠サイズ変更手段

Claims (27)

1. 表示画面に表示する表示用画像のアスペクト比よりアスペクト比の大きいパノラマ画像から前記表示用画像を映像枠で切り出して前記表示画面に表示する画像表示制御装置であって、
   前記パノラマ画像中の主要被写体を検出する被写体検出手段と、前記パノラマ画像の一端側から他端側に前記映像枠を移動させる移動ルートを決定する移動ルート決定手段と、該移動ルートに沿って前記映像枠を移動させながら該映像枠で切り出された前記表示用画像を前記表示画面に表示させるスクロール表示手段と、前記移動ルートに沿って移動する前記映像枠が前記主要被写体の位置に近づいたとき該映像枠を小さくすることで該主要被写体の画像を拡大表示し該拡大表示後に該映像枠を大きくすることで該主要被写体の拡大表示画像を縮小表示する映像枠サイズ変更手段とを備え、
   前記映像枠サイズ変更手段が、前記映像枠の初期サイズを予め決めておくと共に、前記拡大表示するときの前記映像枠のサイズを前記主要被写体毎に決定する画像表示制御装置。
2. 請求項１に記載の画像表示制御装置であって、前記被写体検出手段は、予め用意しておいた主要被写体パターンとマッチング処理を行って主要被写体の位置及び大きさを検出する画像表示制御装置。
3. 請求項１又は請求項２に記載の画像表示制御装置であって、前記被写体検出手段は、顔を前記主要被写体として検出する画像表示制御装置。
4. 請求項１乃至請求項３のいずれかに記載の画像表示制御装置であって、前記移動ルート決定手段は、指定した特徴を持つ主要被写体の存在位置を結ぶ線を移動ルートとして決定する画像表示制御装置。
5. 請求項１乃至請求項４のいずれかに記載の画像表示制御装置であって、前記移動ルート決定手段が決定した移動ルートが複数あるとき前記表示画面に該移動ルートの候補を表示してユーザに選択させる画像表示制御装置。
6. 請求項１乃至請求項４のいずれかに記載の画像表示制御装置であって、前記移動ルート決定手段は、移動ルートが複数あるとき各移動ルート上の前記主要被写体の主要被写体らしさを示す評価値の総和が最大となる移動ルートを選択する画像表示制御装置。
7. 請求項１乃至請求項６のいずれかに記載の画像表示制御装置であって、前記映像枠の移動速度を、該映像枠が前記主要被写体から所定距離以内のとき遅くする画像表示制御装置。
8. 請求項１乃至請求項６のいずれかに記載の画像表示制御装置であって、複数の画像を貼り合わせて前記パノラマ画像を合成する画像合成手段を具備し、前記移動ルート決定手段は、前記パノラマ画像の合成前の個々の画像の相対位置関係から前記移動ルートを決定する画像表示制御装置。
9. 請求項８に記載の画像表示制御装置であって、前記個々の画像の相対位置関係は、個々の画像を撮影したカメラの移動軌跡から求める画像表示制御装置。
10. 請求項９に記載の画像表示制御装置であって、前記移動軌跡は撮像された前記個々の画像間の動きベクトルから求める画像表示制御装置。
11. 請求項８に記載の画像表示制御装置であって、前記個々の画像の相対位置関係は、個々の画像を個別に撮影した複数のカメラの相対位置関係から求める画像表示制御装置。
12. 請求項８乃至請求項１１のいずれかに記載の画像表示制御装置であって、前記移動ルートから離れている前記主要被写体のうち所定距離以内の主要被写体を優先し該所定距離より離れている主要被写体を無視して前記映像枠を設定する画像表示制御装置。
13. 請求項８乃至請求項１２のいずれかに記載の画像表示制御装置であって、前記個々の画像の相対位置関係から求めた移動ルートから所定距離以内に主要被写体が存在したときは該主要被写体を経由する修正ルートで前記移動ルートを修正する画像表示制御装置。
14. 請求項１乃至請求項７のいずれかに記載の画像表示制御装置を搭載した画像撮像装置。
15. 表示画面に表示する表示用画像のアスペクト比よりアスペクト比の大きいパノラマ画像から前記表示用画像を映像枠で切り出して前記表示画面に表示する画像表示制御方法であって、
    前記パノラマ画像中の主要被写体を検出し、前記パノラマ画像の一端側から他端側に前記映像枠を移動させる移動ルートを決定し、該移動ルートに沿って前記映像枠を移動させながら該映像枠で切り出された前記表示用画像を前記表示画面に表示させ、前記移動ルートに沿って移動する前記映像枠が前記主要被写体の位置に近づいたとき該映像枠を小さくすることで該主要被写体の画像を拡大表示し該拡大表示後に該映像枠を大きくすることで該主要被写体の拡大表示画像を縮小表示し、前記映像枠の初期サイズを予め決めておくと共に、前記拡大表示するときの前記映像枠のサイズを前記主要被写体毎に決定する画像表示制御方法。
16. 請求項１５に記載の画像表示制御方法であって、予め用意しておいた主要被写体パターンとマッチング処理を行って主要被写体の位置及び大きさを検出する画像表示制御方法。
17. 請求項１５又は請求項１６に記載の画像表示制御方法であって、顔を前記主要被写体として検出する画像表示制御方法。
18. 請求項１５乃至請求項１７のいずれかに記載の画像表示制御方法であって、指定した特徴を持つ主要被写体の存在位置を結ぶ線を移動ルートとして決定する画像表示制御方法。
19. 請求項１５乃至請求項１８のいずれかに記載の画像表示制御方法であって、移動ルートが複数あるとき前記表示画面に該移動ルートの候補を表示してユーザに選択させる画像表示制御方法。
20. 請求項１５乃至請求項１８のいずれかに記載の画像表示制御方法であって、移動ルートが複数あるとき各移動ルート上の前記主要被写体の主要被写体らしさを示す評価値の総和が最大となる移動ルートを選択する画像表示制御方法。
21. 請求項１５乃至請求項２０のいずれかに記載の画像表示制御方法であって、前記映像枠の移動速度を、該映像枠が前記主要被写体から所定距離以内のとき遅くする画像表示制御方法。
22. 請求項１５乃至請求項２０のいずれかに記載の画像表示制御方法であって、複数の画像を貼り合わせて前記パノラマ画像を合成し、前記パノラマ画像の合成前の個々の画像の相対位置関係から前記移動ルートを決定する画像表示制御方法。
23. 請求項２２に記載の画像表示制御方法であって、前記個々の画像の相対位置関係は、個々の画像を撮影したカメラの移動軌跡から求める画像表示制御方法。
24. 請求項２３に記載の画像表示制御方法であって、前記移動軌跡は撮像された前記個々の画像間の動きベクトルから求める画像表示制御方法。
25. 請求項２２に記載の画像表示制御方法であって、前記個々の画像の相対位置関係は、個々の画像を個別に撮影した複数のカメラの相対位置関係から求める画像表示制御方法。
26. 請求項２２乃至請求項２５のいずれかに記載の画像表示制御方法であって、前記移動ルートから離れている前記主要被写体のうち所定距離以内の主要被写体を優先し該所定距離より離れている主要被写体を無視して前記映像枠を設定する画像表示制御方法。
27. 請求項２２乃至請求項２６のいずれかに記載の画像表示制御方法であって、前記個々の画像の相対位置関係から求めた移動ルートから所定距離以内に主要被写体が存在したときは該主要被写体を経由する修正ルートで前記移動ルートを修正する画像表示制御方法。

Images