JP6852878B2 - 画像処理装置、画像処理プログラムおよび画像処理方法 - Google Patents

Description

本発明の実施形態は、画像処理装置、画像処理プログラムおよび画像処理方法に関する。

近年、大容量記憶装置などの普及によりデジタルカメラなどで撮影した画像を大量に保有することから、多くの画像を一つの画面上で効率的かつ直感的に閲覧できることが重要となっている。一つの画面上で多くの画像を閲覧する技術として、撮影された画像のサムネイル画像を生成し、生成したサムネイル画像を一覧表示するものがある。

国際公開第２０１４／１７８２３３号 特開２０１５−５３５７３号公報 特開２０１４−６８８０号公報

ほぼ全方位（３６０度）にわたる全天球を撮影した画像（以下、全天球画像と呼ぶ）などの広角画像からサムネイル画像を生成する場合、サムネイル画像に表示される範囲が広範囲にわたる。したがって、上記の従来技術では、広角画像から生成されるサイズの小さいサムネイル画像から人間が直感的に理解することは困難である。

１つの側面では、認識性の高いサムネイル画像を提供できる画像処理装置、画像処理プログラムおよび画像処理方法を提供することを目的とする。

第１の案では、画像処理装置は、取得部と、出力部とを有する。取得部は、カメラが予め設定された時間で複数回撮影した、カメラの撮影位置を中心とした複数の広角画像を取得する。出力部は、取得部が取得した複数の広角画像のそれぞれに含まれるオブジェクトを対応づけると共に、対応付けられたオブジェクトのサイズおよび該オブジェクトの位置の変化に基づいて、取得部が取得した広角画像のうちのカメラの進行方向に対応する位置を表示中心とした画像を出力する。

本発明の１実施態様によれば、認識性の高いサムネイル画像を提供できる。

図１は、第１の実施形態にかかる画像処理装置の構成例を示すブロック図である。 図２は、第１の実施形態にかかる画像処理装置の動作例を示すフローチャートである。 図３は、進行方向の判定を説明する説明図である。 図４は、サムネイルの生成を説明する説明図である。 図５は、全天球画像とサムネイル画像との比較を説明する説明図である。 図６は、第２の実施形態にかかる画像処理装置の構成例を示すブロック図である。 図７は、第２の実施形態にかかる画像処理装置の動作例を示すフローチャートである。 図８は、進行方向を判定する時間間隔の違いを説明する説明図である。 図９は、第３の実施形態にかかる画像処理装置の構成例を示すブロック図である。 図１０は、第３の実施形態にかかる画像処理装置の動作例を示すフローチャートである。 図１１は、プログラムを実行するコンピュータの一例を示すブロック図である。

以下、図面を参照して、実施形態にかかる画像処理装置、画像処理プログラムおよび画像処理方法を説明する。実施形態において同一の機能を有する構成には同一の符号を付し、重複する説明は省略する。なお、以下の実施形態で説明する画像処理装置、画像処理プログラムおよび画像処理方法は、一例を示すに過ぎず、実施形態を限定するものではない。また、以下の各実施形態は、矛盾しない範囲内で適宜組みあわせてもよい。

（第１の実施形態）
図１は、第１の実施形態にかかる画像処理装置の構成例を示すブロック図である。図１に示すように、画像処理装置１は、カメラセンサー２が撮影した画像の画像処理を行う装置である。画像処理装置１には、カメラセンサー２による撮影を行うデジタルカメラに内蔵されたコンピュータや、カメラセンサー２が撮影した画像を通信ケーブルや記憶媒体などを介して受け付けるＰＣ（Personal Computer）や、スマートフォンなどの携帯端末や、ドローンなどの無人航空機や、水中探査艇などの船や、フォーミュラーカーなどの自動車や、かつらなどの人の頭部にかぶせる装着具、などを適用できる。

カメラセンサー２は、光学レンズおよびＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサを有し、全天球画像などのカメラセンサー２の撮影位置を中心とした広角画像を撮影する。例えば、カメラセンサー２は、スマートフォンなどの携帯端末や、ドローンなどの無人航空機や、水中探査艇などの船や、フォーミュラーカーなどの自動車や、かつらなどの人の頭部にかぶせる装着具などに搭載され、飛行・移動・走行時における周りの風景を広角撮影する。

カメラセンサー２は、撮影した画像を画像処理装置１に出力する。具体的には、カメラセンサー２は、予め設定された時間で複数回撮影した広角画像（例えば１５ｆｐｓ程度のフレームレートで撮影した動画像または１秒間隔で撮影した静止画像など）を逐次画像処理装置１に出力する。

カメラセンサー２が撮影する広角画像は、ほぼ全方位（３６０度）にわたる全天球を魚眼レンズなどで撮影した全天球画像の他、横にぐるりと見渡せるような３６０度の全周画像（パノラマ）、視野の上半分を覆うような半球型の全天周画像などであってもよい。以下の実施形態では、カメラセンサー２が撮影する画像は全天球画像である場合を例示する。

画像処理装置１は、画像生成部１１、画像圧縮部１２、データ保存部１３、進行方向判定部１４、画像方向判定部１５およびサムネイル生成部１６を有する。

画像生成部１１は、カメラセンサー２が逐次撮影した全天球画像を取得し、取得した画像（ＲＡＷ画像）の画像データを生成する。画像生成部１１は、生成した画像データを画像圧縮部１２および進行方向判定部１４へ出力する。

画像圧縮部１２は、画像生成部１１が生成した画像データを所定の圧縮形式で圧縮するなどして、ＪＰＥＧ（Joint Photographic Experts Group）等の画像形式の画像データに変換する。画像圧縮部１２は、変換後の画像データをデータ保存部１３に出力する。

データ保存部１３は、画像圧縮部１２より出力された画像データと、サムネイル生成部１６により生成されたサムネイル画像とを半導体メモリやＨＤＤ（Hard Disk Drive）等の記憶装置（図示しない）に保存する。

進行方向判定部１４は、画像生成部１１により生成された画像データ、すなわちカメラセンサー２により予め設定された時間で複数回撮影した全天球画像の画像データをもとに、時間的に前後する複数の画像を比較してカメラセンサー２の進行方向を判定する。進行方向判定部１４は、カメラセンサー２の進行方向についての判定結果と、画像生成部１１により生成された画像データとを画像方向判定部１５に出力する。

具体的には、進行方向判定部１４は、カメラセンサー２が撮影した全天球画像の各々に含まれるオブジェクト（被写体）を公知の画像認識技術を用いて特定する。次いで、進行方向判定部１４は、時間的に前後する複数の全天球画像におけるオブジェクトの位置、形状の比較を行い、時間的に前後して撮影された同一のオブジェクトを対応付ける。

次いで、進行方向判定部１４は、時間的に前後する複数の全天球画像において対応付けられた同一のオブジェクトの位置、大きさの変化をもとに、全天球画像におけるカメラセンサー２の進行方向を判定する。具体的には、進行方向判定部１４は、同一のオブジェクトで時間的に前後する全天球画像において位置の変化やサイズが大きくなっているものを探し、位置の変化方向およびサイズが大きくなる比率により進行方向を判定する。

画像方向判定部１５は、進行方向判定部１４の判定結果をもとに、カメラセンサー２の進行方向に対応する全天球画像中の方向、すなわちカメラセンサー２の進行方向に対応する全天球画像における位置を判定する。画像方向判定部１５は、判定した全天球画像における位置、すなわち画像生成部１１により生成された画像データ中の画素位置と、当該画像データとをサムネイル生成部１６に出力する。

サムネイル生成部１６は、画像方向判定部１５が判定したカメラセンサー２の進行方向に対応する全天球画像における位置をもとに、画像生成部１１により生成された画像データからサムネイル画像を生成する。具体的には、サムネイル生成部１６は、画像生成部１１により生成された画像データをもとに、画像方向判定部１５が判定した全天球画像における位置を表示中心とする所定領域の画像を切り出す。

全天球画像は、魚眼レンズなどで撮影していることから歪曲した画像となっている。そこで、サムネイル生成部１６は、歪曲補正を行う公知の補正技術を用いて、全天球画像より切り出した所定領域の画像の歪曲補正を行う。また、サムネイル生成部１６は、判定したカメラセンサー２の進行方向に向かって正面となる向きに歪曲補正後の画像を回転させるとともに、サムネイル画像の画像サイズとなるように拡大・縮小を行う。

サムネイル生成部１６は、生成したサムネイル画像をデータ保存部１３へ出力する。すなわち、サムネイル生成部１６は、出力部の一例である。データ保存部１３では、サムネイル生成部１６が生成したサムネイル画像を、画像圧縮部１２より出力された画像データとともに記憶装置に保存する。

図２は、第１の実施形態にかかる画像処理装置１の動作例を示すフローチャートである。図２に示すように、処理が開始されると、カメラセンサー２が起動され（Ｓ１）、全天球画像の逐次撮影が行われる（Ｓ２）。

次いで、画像生成部１１は、カメラセンサー２が逐次撮影した全天球画像を取得し、前画像と現画像との画像データを生成する（Ｓ３、Ｓ４）。ここで、前画像は、現画像よりも時間的に前に撮影した全天球画像である。画像生成部１１が生成した前画像と現画像との画像データは、画像圧縮部１２および進行方向判定部１４に出力される。

画像圧縮部１２は、画像生成部１１が生成した現画像を所定の画像形式の画像データに変換する。次いで、データ保存部１３は、変換後の現画像の画像データを記憶装置に保存する（Ｓ５）。

次いで、進行方向判定部１４は、前画像と、現画像とを比較してカメラセンサー２の進行方向を判定する（Ｓ６）。図３は、進行方向の判定を説明する説明図である。

図３に示すように、進行方向判定部１４は、前画像Ｇａおよび現画像Ｇｂに含まれる同一のオブジェクトＯ１、Ｏ２を対応付ける。次いで、進行方向判定部１４は、前画像Ｇａに含まれるオブジェクトＯ１、Ｏ２と、現画像Ｇｂに含まれるオブジェクトＯ１、Ｏ２との比較による位置の変化方向およびサイズが大きくなる比率をもとに、カメラセンサー２の進行方向を判定する。図示例では、オブジェクトＯ１、Ｏ２ともに同様に大きくなっていることから、全天球画像Ｇの下方向に向かってカメラセンサー２が進んでいるものと判定できる。

次いで、画像方向判定部１５は、進行方向判定部１４の判定結果をもとに、カメラセンサー２の進行方向に対応する全天球画像Ｇにおける位置Ｄ１を確定する（Ｓ７）。この位置Ｄ１は、オブジェクトＯ１、Ｏ２ごとに求められたカメラセンサー２の進行方向が収束する点として求めることができる。具体的には、前画像Ｇａに含まれるオブジェクトＯ１と、現画像Ｇｂに含まれるオブジェクトＯ１との比較により得られるカメラセンサー２の進行方向と、同様にしてオブジェクトＯ２より得られるカメラセンサー２の進行方向とが交わる点が全天球画像Ｇにおけるカメラセンサー２の進行方向となる。

次いで、サムネイル生成部１６は、画像方向判定部１５が確定した全天球画像Ｇにおける位置Ｄ１をもとに、カメラセンサー２の進行方向の画像（位置Ｄ１を中心とした所定の画像領域）を抽出する（Ｓ８）。次いで、サムネイル生成部１６は、抽出した画像に対して、歪曲補正や回転・拡大または縮小の画像処理を行い、サムネイル画像を生成する（Ｓ９）。次いで、データ保存部１３は、サムネイル生成部１６が生成したサムネイル画像を記憶装置に保存する（Ｓ１０）。

図４は、サムネイルの生成を説明する説明図である。図４に示すように、Ｓ６では、前画像Ｇａと、現画像Ｇｂとを比較してカメラセンサー２の進行方向を判定する。このＳ６の判定結果をもとに、全天球画像Ｇのうちのカメラセンサー２の進行方向に対応する位置Ｄ１を求める。得られた位置Ｄ１をもとに、Ｓ９では、位置Ｄ１を中心としたサムネイル画像ＳＭを生成する。

したがって、サムネイル画像ＳＭは、全天球画像Ｇの中からカメラセンサー２の進行方向に対応する位置Ｄ１を中心として抽出した画像となることから、カメラセンサー２の進行方向の風景を人間が直感的に判り易い画像となる。また、サムネイル画像ＳＭは、歪曲補正が行われていることから、人間が直感的にオブジェクト（被写体）を識別しやすい画像となる。

図５は、全天球画像Ｇとサムネイル画像ＳＭとの比較を説明する説明図である。図５の例では、車両２０やドローン３０にカメラセンサー２を設置し、車両２０の走行時やドローン３０の飛行時にカメラセンサー２で撮影した全天球画像Ｇを得るものとする。ケースＣ１では、全天球画像Ｇをそのままサムネイル画像としている。したがって、ケースＣ１では、全天球画像Ｇがそのままサイズの小さいサムネイル画像となることから、カメラセンサー２の進行方向にどのようなオブジェクト（被写体）が有るかを識別しづらい画像となる。これに対し、本実施形態のケースＣ２では、全天球画像Ｇのうちのカメラセンサー２の進行方向に対応する位置を中心としたサムネイル画像ＳＭを生成する。したがって、ケースＣ２のサムネイル画像ＳＭでは、カメラセンサー２の進行方向にあるオブジェクト（被写体）を識別しやすい画像となる。

以上のように、画像処理装置１は、カメラセンサー２が予め設定された時間で複数回撮影した、カメラセンサー２の撮影位置を中心とした複数の全天球画像Ｇを取得する。画像処理装置１は、取得した複数の全天球画像Ｇのそれぞれに含まれるオブジェクトＯ１、Ｏ２を対応づける。そして、画像処理装置１は、対応付けられたオブジェクトＯ１、Ｏ２のサイズおよびオブジェクトＯ１、Ｏ２の位置の変化に基づいて、全天球画像Ｇのうちのカメラセンサー２の進行方向に対応する位置Ｄ１を表示中心としたサムネイル画像ＳＭを出力する。したがって、画像処理装置１は、例えばカメラセンサー２の進行方向にあるオブジェクトＯ１、Ｏ２等を識別しやすい、認識性の高いサムネイル画像ＳＭを提供できる。

（第２の実施形態）
図６は、第２の実施形態にかかる画像処理装置の構成例を示すブロック図である。図６に示すように、画像処理装置１ａは、ＧＰＳセンサー３（GPS:Global Positioning System）、ジャイロセンサー４および方位センサー５の検出結果をもとに、カメラセンサー２の進行方向を判定する進行方向判定部１４ａを有する点が、第１の実施形態にかかる画像処理装置１とは異なる。

ＧＰＳセンサー３、ジャイロセンサー４および方位センサー５は、カメラセンサー２とともに設置されるセンサー群であり、カメラセンサー２における位置、加速度、方位など、カメラセンサー２の進行方向にかかる情報を検出する。

進行方向判定部１４ａは、ＧＰＳセンサー３、ジャイロセンサー４および方位センサー５の検出結果を所定の時間間隔で取得し、各時間間隔におけるカメラセンサー２の進行方向と、その進行方向に対するカメラセンサー２の傾きを求める。画像方向判定部１５は、進行方向判定部１４ａが求めたカメラセンサー２の進行方向と、進行方向に対するカメラセンサー２の傾きとをもとに、全天球画像Ｇ内での進行方向に対応する位置Ｄ１を確定する。

図７は、第２の実施形態にかかる画像処理装置１ａの動作例を示すフローチャートである。図７に示すように、処理が開始されると、カメラセンサー２が起動され（Ｓ２０）、全天球画像の逐次撮影が行われる（Ｓ２１）。

次いで、進行方向判定部１４ａは、ＧＰＳセンサー３、ジャイロセンサー４および方位センサー５の検出結果を所定の時間間隔で取得し、各時間間隔におけるカメラセンサー２の進行方向と、その進行方向に対するカメラセンサー２の向きを取得する（Ｓ２２）。

図８は、進行方向を判定する時間間隔の違いを説明する説明図である。図８では、カメラセンサー２の移動軌跡ＲをＸ−Ｙの２次元（上から俯瞰した状態）で示している。また、図８のケースＣ３は、カメラセンサー２の進行方向の判定にかかる時間間隔を時間間隔Ｔ１としている。また、図８のケースＣ４は、カメラセンサー２の進行方向の判定にかかる時間間隔を時間間隔Ｔ２（Ｔ２＞Ｔ１）としている。

図８のケースＣ３、Ｃ４の比較からも明らかなように、同一の移動軌跡Ｒとなる場合であっても、進行方向の判定にかかる時間間隔Ｔ１、Ｔ２の違いにより、判定結果の進行方向Ｒ１、Ｒ２が異なる。したがって、カメラセンサー２の進行方向の判定にかかる時間間隔Ｔ１、Ｔ２は、任意の時間長として変更可能に設定してもよい。例えば、カメラセンサー２が細かい振動を受けやすい場合には、時間間隔Ｔ１よりも比較的に長い時間間隔Ｔ２を設定する。このように、時間間隔Ｔ２を設定することで、時間間隔Ｔ１の場合と較べて、カメラセンサー２の進行方向を判定する際の振動による影響を抑えることができる。

次いで、画像生成部１１は、カメラセンサー２が逐次撮影した全天球画像Ｇを取得し、現画像の画像データを生成する（Ｓ２３）。次いで、画像圧縮部１２は、画像生成部１１が生成した現画像を所定の画像形式の画像データに変換する。次いで、データ保存部１３は、変換後の現画像の画像データを記憶装置に保存する（Ｓ２４）。

次いで、画像方向判定部１５は、進行方向判定部１４ａが判定したカメラセンサー２の進行方向と、その進行方向に対するカメラセンサー２の向きをもとに、カメラセンサー２の進行方向に対応する全天球画像Ｇにおける位置Ｄ１を確定する（Ｓ２５）。

次いで、サムネイル生成部１６は、画像方向判定部１５が確定した全天球画像Ｇにおける位置Ｄ１をもとに、カメラセンサー２の進行方向の画像（位置Ｄ１を中心とした所定の画像領域）を抽出する（Ｓ８）。次いで、サムネイル生成部１６は、抽出した画像に対して、歪曲補正や回転・拡大または縮小の画像処理を行い、サムネイル画像を生成する（Ｓ９）。次いで、データ保存部１３は、サムネイル生成部１６が生成したサムネイル画像を記憶装置に保存する（Ｓ１０）。

以上のように、画像処理装置１ａは、カメラセンサー２が撮影した、カメラセンサー２の撮影位置を中心とした全天球画像Ｇを取得する。画像処理装置１ａは、全天球画像Ｇの撮影時にカメラセンサー２の進行方向を検知するセンサー（ＧＰＳセンサー３、ジャイロセンサー４および方位センサー５）の検知結果に基づいて、全天球画像Ｇのうちのカメラセンサー２の進行方向に対応する位置Ｄ１を表示中心としたサムネイル画像を出力する。したがって、画像処理装置１ａは、例えばカメラセンサー２の進行方向を識別しやすい、認識性の高いサムネイル画像を提供できる。

（第３の実施形態）
図９は、第３の実施形態にかかる画像処理装置の構成例を示すブロック図である。なお、図９の画像処理装置１ｂでは、データ保存部１３は、カメラセンサー２が撮影した、カメラセンサー２の撮影位置を中心とした全天球画像Ｇの画像データを記憶装置に記憶しているものとする。

図９に示すように、画像処理装置１ｂは、カメラセンサー２が撮影した全天球画像Ｇをデータ保存部１３より読み出して表示装置（図示しない）に表示する画像表示部１７を有する。すなわち、画像表示部１７は、表示部の一例である。

また、画像処理装置１ｂは、画像表示部１７が全天球画像Ｇを表示する際（全天球画像Ｇの閲覧時）にユーザより受け付けた全天球画像Ｇに対する各種操作を判定する操作判定部１８を有する。具体的には、操作判定部１８は、全天球画像Ｇの閲覧時においてユーザがタッチパネル等（図示しない）を介して行うズーム、回転等の操作内容を判定する。操作判定部１８は、判定結果をサムネイル生成部１６へ出力する。

サムネイル生成部１６は、操作判定部１８の判定結果に基づいて、画像表示部１７が表示した全天球画像Ｇのうちの操作対象の領域を特定する。具体的には、サムネイル生成部１６は、全天球画像Ｇの中からズーム、回転等の操作の中心となった領域を操作対象の領域として特定する。すなわち、サムネイル生成部１６は、全天球画像Ｇの閲覧時においてユーザが興味を持って操作が行われた操作対象の領域を全天球画像Ｇの中から特定する。

次いで、サムネイル生成部１６は、全天球画像Ｇの中から特定した操作対象の領域に対応する位置を中心とする所定領域の画像を切り出し、サムネイル画像を生成する。これにより、全天球画像Ｇの中から操作対象の領域を表示中心とするサムネイル画像が生成されることとなる。

図１０は、第３の実施形態にかかる画像処理装置１ｂの動作例を示すフローチャートである。図１０に示すように、処理が開始されると、画像表示部１７は、カメラセンサー２が撮影した全天球画像Ｇをデータ保存部１３より読み出して表示装置に表示する（Ｓ３０）。

次いで、操作判定部１８は、画像表示部１７が全天球画像Ｇを表示する際にユーザより受け付けた全天球画像Ｇに対する各種操作を判定する（Ｓ３１）。次いで、サムネイル生成部１６は、操作判定部１８の判定結果に基づいて、画像表示部１７が表示した全天球画像Ｇのうちの操作対象の領域を特定する。次いで、サムネイル生成部１６は、特定した操作対象の領域に対応する操作方向画像を全天球画像Ｇより抽出する（Ｓ３２）。

次いで、サムネイル生成部１６は、抽出した操作方向画像に対して、歪曲補正や回転・拡大または縮小の画像処理を行い、サムネイル画像を生成する（Ｓ３３）。次いで、データ保存部１３は、サムネイル生成部１６が生成したサムネイル画像を記憶装置に追加保存（既にサムネイル画像がある場合は更新）する（Ｓ３４）。

以上のように、画像処理装置１ｂは、カメラセンサー２が撮影した、カメラセンサー２の撮影位置を中心とした全天球画像Ｇを表示する。画像処理装置１ｂは、表示した全天球画像Ｇに対する操作指示に基づいて、全天球画像Ｇのうちの操作対象の領域に対応する位置を表示中心としたサムネイル画像を出力する。したがって、画像処理装置１ｂは、例えば全天球画像Ｇの閲覧時においてユーザが興味を持って操作が行われた操作対象の領域を識別しやすい、認識性の高いサムネイル画像を提供できる。

なお、図示した各装置の各構成要素は、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。

また、画像処理装置１、１ａ、１ｂで行われる各種処理機能は、ＣＰＵ（またはＭＰＵ、ＭＣＵ（Micro Controller Unit）等のマイクロ・コンピュータ）上で、その全部または任意の一部を実行するようにしてもよい。また、各種処理機能は、ＣＰＵ（またはＭＰＵ、ＭＣＵ等のマイクロ・コンピュータ）で解析実行されるプログラム上、またはワイヤードロジックによるハードウエア上で、その全部または任意の一部を実行するようにしてもよいことは言うまでもない。また、画像処理装置１、１ａ、１ｂで行われる各種処理機能は、クラウドコンピューティングにより、複数のコンピュータが協働して実行してもよい。

ところで、上記の実施形態で説明した各種の処理は、予め用意されたプログラムをコンピュータで実行することで実現できる。そこで、以下では、上記の実施形態と同様の機能を有するプログラムを実行するコンピュータ（ハードウエア）の一例を説明する。図１１は、プログラムを実行するコンピュータの一例を示すブロック図である。

図１１に示すように、コンピュータ１００は、各種演算処理を実行するＣＰＵ１０１と、データ入力を受け付ける入力装置１０２と、モニタ１０３と、スピーカ１０４とを有する。また、画像処理装置１、１ａ、１ｂは、記憶媒体からプログラム等を読み取る媒体読取装置１０５と、各種装置と接続するためのインタフェース装置１０６と、有線または無線により外部機器と通信接続するための通信装置１０７とを有する。また、コンピュータ１００は、各種情報を一時記憶するＲＡＭ１０８と、ハードディスク装置１０９とを有する。また、コンピュータ１００内の各部（１０１〜１０９）は、バス１１０に接続される。

ハードディスク装置１０９には、上記の実施形態で説明した各種の処理を実行するためのプログラム１１１が記憶される。また、ハードディスク装置１０９には、プログラム１１１が参照する各種データ１１２が記憶される。入力装置１０２は、例えば、コンピュータ１００の操作者から操作情報の入力を受け付ける。モニタ１０３は、例えば、操作者が操作する各種画面を表示する。インタフェース装置１０６は、例えば印刷装置等が接続される。通信装置１０７は、ＬＡＮ（Local Area Network）等の通信ネットワークと接続され、通信ネットワークを介した外部機器との間で各種情報をやりとりする。

ＣＰＵ１０１は、ハードディスク装置１０９に記憶されたプログラム１１１を読み出して、ＲＡＭ１０８に展開して実行することで、各種の処理を行う。なお、プログラム１１１は、ハードディスク装置１０９に記憶されていなくてもよい。例えば、コンピュータ１００が読み取り可能な記憶媒体に記憶されたプログラム１１１を、コンピュータ１００が読み出して実行するようにしてもよい。コンピュータ１００が読み取り可能な記憶媒体は、例えば、ＣＤ−ＲＯＭやＤＶＤディスク、ＵＳＢ（Universal Serial Bus）メモリ等の可搬型記録媒体、フラッシュメモリ等の半導体メモリ、ハードディスクドライブ等が対応する。また、公衆回線、インターネット、ＬＡＮ等に接続された装置にこのプログラムを記憶させておき、コンピュータ１００がこれらからプログラムを読み出して実行するようにしてもよい。

以上の実施形態に関し、さらに以下の付記を開示する。

（付記１）カメラが予め設定された時間で複数回撮影した、前記カメラの撮影位置を中心とした複数の広角画像を取得する取得部と、
前記取得部が取得した複数の広角画像のそれぞれに含まれるオブジェクトを対応づけると共に、対応付けられたオブジェクトのサイズおよび該オブジェクトの位置の変化に基づいて、前記取得部が取得した広角画像のうちの前記カメラの進行方向に対応する位置を表示中心とした画像を出力する出力部と、
を有することを特徴とする画像処理装置。

（付記２）カメラが撮影した、前記カメラの撮影位置を中心とした広角画像を取得する取得部と、
前記広角画像の撮影時に前記カメラの進行方向を検知するセンサの検知結果に基づいて、前記取得部が取得した広角画像のうちの前記カメラの進行方向に対応する位置を表示中心とした画像を出力する出力部と、
を有することを特徴とする画像処理装置。

（付記３）カメラが撮影した、前記カメラの撮影位置を中心とした広角画像を表示する表示部と、
前記表示部が表示した広角画像に対する操作指示に基づいて、前記表示部が表示した広角画像のうちの操作対象の領域に対応する位置を表示中心としたサムネイル画像を出力する出力部と、
を有することを特徴とする画像処理装置。

（付記４）前記広角画像は、全天球を撮影した全天球画像である、
ことを特徴とする付記１乃至３のいずれか一に記載の画像処理装置。

（付記５）前記出力部は、前記全天球画像から前記表示中心とした位置を含む所定領域の画像を歪曲補正して出力する、
ことを特徴とする付記４に記載の画像処理装置。

（付記６）スマートフォン、ドローン、水中探査艇、フォーミュラーカー、かつら、の何れかであることを特徴とする付記１乃至５のいずれか一に記載の画像処理装置。

（付記７）カメラが予め設定された時間で複数回撮影した、前記カメラの撮影位置を中心とした複数の広角画像を取得し、
前記取得した複数の広角画像のそれぞれに含まれるオブジェクトを対応づけると共に、対応付けられたオブジェクトのサイズおよび該オブジェクトの位置の変化に基づいて、前記取得した広角画像のうちの前記カメラの進行方向に対応する位置を表示中心とした画像を出力する、
処理をコンピュータに実行させることを特徴とする画像処理プログラム。

（付記８）カメラが撮影した、前記カメラの撮影位置を中心とした広角画像を取得し、
前記広角画像の撮影時に前記カメラの進行方向を検知するセンサーの検知結果に基づいて、前記取得した広角画像のうちの前記カメラの進行方向に対応する位置を表示中心とした画像を出力する、
処理をコンピュータに実行させることを特徴とする画像処理プログラム。

（付記９）カメラが撮影した、前記カメラの撮影位置を中心とした広角画像を表示し、
前記表示した広角画像に対する操作指示に基づいて、前記表示した広角画像のうちの操作対象の領域に対応する位置を表示中心としたサムネイル画像を出力する、
処理をコンピュータに実行させることを特徴とする画像処理プログラム。

（付記１０）前記広角画像は、全天球を撮影した全天球画像である、
ことを特徴とする付記７乃至９のいずれか一に記載の画像処理プログラム。

（付記１１）前記出力する処理は、前記全天球画像から前記表示中心とした位置を含む所定領域の画像を歪曲補正して出力する、
ことを特徴とする付記１０に記載の画像処理プログラム。

（付記１２）カメラが予め設定された時間で複数回撮影した、前記カメラの撮影位置を中心とした複数の広角画像を取得し、
前記取得した複数の広角画像のそれぞれに含まれるオブジェクトを対応づけると共に、対応付けられたオブジェクトのサイズおよび該オブジェクトの位置の変化に基づいて、前記取得した広角画像のうちの前記カメラの進行方向に対応する位置を表示中心とした画像を出力する、
処理をコンピュータが実行することを特徴とする画像処理方法。

（付記１３）カメラが撮影した、前記カメラの撮影位置を中心とした広角画像を取得し、
前記広角画像の撮影時に前記カメラの進行方向を検知するセンサーの検知結果に基づいて、前記取得した広角画像のうちの前記カメラの進行方向に対応する位置を表示中心とした画像を出力する、
処理をコンピュータが実行することを特徴とする画像処理方法。

（付記１４）カメラが撮影した、前記カメラの撮影位置を中心とした広角画像を表示し、
前記表示した広角画像に対する操作指示に基づいて、前記表示した広角画像のうちの操作対象の領域に対応する位置を表示中心としたサムネイル画像を出力する、
処理をコンピュータが実行することを特徴とする画像処理方法。

（付記１５）前記広角画像は、全天球を撮影した全天球画像である、
ことを特徴とする付記１２乃至１４のいずれか一に記載の画像処理方法。

（付記１６）前記出力する処理は、前記全天球画像から前記表示中心とした位置を含む所定領域の画像を歪曲補正して出力する、
ことを特徴とする付記１５に記載の画像処理方法。

１、１ａ、１ｂ…画像処理装置
２…カメラセンサー
３…ＧＰＳセンサー
４…ジャイロセンサー
５…方位センサー
１１…画像生成部
１２…画像圧縮部
１３…データ保存部
１４、１４ａ…進行方向判定部
１５…画像方向判定部
１６…サムネイル生成部
１７…画像表示部
１８…操作判定部
２０…車両
３０…ドローン
１００…コンピュータ
１０１…ＣＰＵ
１０２…入力装置
１０３…モニタ
１０４…スピーカ
１０５…媒体読取装置
１０６…インタフェース装置
１０７…通信装置
１０８…ＲＡＭ
１０９…ハードディスク装置
１１０…バス
１１１…プログラム
１１２…各種データ
Ｃ１〜Ｃ４…ケース
Ｄ１…位置
Ｇ…全天球画像
Ｇａ…前画像
Ｇｂ…現画像
Ｏ１、Ｏ２…オブジェクト
Ｒ…移動軌跡
Ｒ１、Ｒ２…進行方向
ＳＭ…サムネイル画像
Ｔ１、Ｔ２…時間間隔

Claims (6)

1. カメラが予め設定された時間で複数回撮影した、前記カメラの撮影位置を中心とした複数の広角画像を取得する取得部と、
   前記取得部が取得した複数の広角画像のそれぞれに含まれるオブジェクトを対応づけると共に、対応付けられたオブジェクトのサイズおよび該オブジェクトの位置の変化に基づいて、前記取得部が取得した広角画像のうちの前記カメラの進行方向に対応する位置を表示中心とした画像を出力する出力部と、
   を有することを特徴とする画像処理装置。
2. 前記広角画像は、全天球を撮影した全天球画像である、
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記出力部は、前記全天球画像から前記表示中心とした位置を含む所定領域の画像を歪曲補正して出力する、
   ことを特徴とする請求項２に記載の画像処理装置。
4. スマートフォン、ドローン、水中探査艇、フォーミュラーカー、かつら、の何れかであることを特徴とする請求項１乃至３のいずれか一項に記載の画像処理装置。
5. カメラが予め設定された時間で複数回撮影した、前記カメラの撮影位置を中心とした複数の広角画像を取得し、
   前記取得した複数の広角画像のそれぞれに含まれるオブジェクトを対応づけると共に、対応付けられたオブジェクトのサイズおよび該オブジェクトの位置の変化に基づいて、前記取得した広角画像のうちの前記カメラの進行方向に対応する位置を表示中心とした画像を出力する、
   処理をコンピュータに実行させることを特徴とする画像処理プログラム。
6. カメラが予め設定された時間で複数回撮影した、前記カメラの撮影位置を中心とした複数の広角画像を取得し、
   前記取得した複数の広角画像のそれぞれに含まれるオブジェクトを対応づけると共に、
   対応付けられたオブジェクトのサイズおよび該オブジェクトの位置の変化に基づいて、前記取得した広角画像のうちの前記カメラの進行方向に対応する位置を表示中心とした画像を出力する、
   処理をコンピュータが実行することを特徴とする画像処理方法。

Images