JP6639832B2 - 撮像装置，撮像方法，撮像プログラム - Google Patents

Description

この発明は、建築物等の撮影画像から簡単に当該建築物の俯瞰図データ、見取り図データを作成すると共に撮像ガイド情報を生成する撮像装置と、その撮像方法及び撮像プログラムに関するものである。

従来、撮像光学系により結像された光学像を光電変換素子等（以下、撮像素子という）を用いて順次光電変換し、得られた画像信号を所定の形態のデジタル画像データとして記憶媒体に記録すると共に、当該デジタル画像データに基いて静止画像又は動画像を表示する画像表示装置等を備えて構成された撮像装置が一般に実用化され広く普及している。

従来の撮像装置は、各種の行事（イベント）における一連の行為や、工事，作業等の経過，工程等を撮像対象として、複数の画像（写真）を順次記録する等の用途に利用されることがある。具体的には、例えば結婚式等の各種行事の記録や、土木構造物や建築物等の建設工事の経過記録等のほか、工作物の製造作業の工程の記録等がある。

また、従来、この種の撮像装置を用いて取得した画像データ、例えば対象物の全体像を撮像した二次元画像データから二次元平面図（例えば見取り図等）を作成したり、同様に二次元画像データから三次元データを生成するための種々の装置が、例えば特開２００１−０３３２４６号公報，特開２００４−２８０１９６号公報等によって提案され、また実用化されている。

例えば、特開２００１−０３３２４６号公報によって開示されている装置は、平面上の形状や大きさが既知の多角形が含まれる被写体像を基に、その被写体像の撮像位置を算出し、算出された撮像位置の情報を参照して被写体像から二次元平面図を作成するというものである。

また、特開２００４−２８０１９６号公報によって開示されている装置は、二次元画像に基いて、撮像された部屋等の空間を有する被写体に関し、コンピュータ上の三次元データを生成するというものである。

特開２００１−０３３２４６号公報 特開２００４−２８０１９６号公報

ところで、従来の撮像装置等によって取得される画像は、個々のシーンの思い出の記録のみならず、様々なシーンにおいて状況記録に重要な役割を果たしている。ところが、個々のシーンにおいて取得された画像データと、実際の対象物の関連とが不明になってしまうことがあり、ユーザーへの分かりやすい補助が重要になっている。

また、従来の撮像装置が用いられる用途において、例えば各種の行事（イベント）や、工事，作業等の記録用途では、個々の行事（イベント）又は工事毎に大量の画像データが取得されることになる。そして、取得された大量の画像データは、取捨選択された上で、各イベントの流れや工程，経過等、時系列的に若しくは関連事項毎に分類され、系統立てて並べる等の整理が施されることになる。これらの整理分類作業は、従来、撮像装置を取り扱う撮影者等による人力に頼っていた。この場合においても、取得された画像データと、実際の対象物の関連とが不明になったりすることがあり、後日の画像データの整理分類作業に支障を来す場合があった。

しかしながら、例えば上記特開２００１−０３３２４６号公報，上記特開２００４−２８０１９６号公報等によって開示されている従来技術等では、対象物の全体像の二次元画像データから二次元平面図の見取り図データ等を作成すると共に、これに基いて以降の一連の撮像ガイド情報を生成し表示させるが、これらは、画像から得られた情報の見せ方を変換したものにすぎない。

本発明は、上述した点に鑑みてなされたものであって、その目的とするところは、分かりやすく、失敗のない撮像動作の補助を行う撮像ガイド情報を生成することにより、ユーザーの作業性を向上させ得る機能を備えた撮像装置と、その撮像方法及び撮像プログラムを提供することである。

上記目的を達成するために、本発明の一態様の撮像装置は、構造物の光学像を受けて画像データを生成する撮像部と、上記撮像部によって生成された画像データに基づいて画像を表示する表示部と、上記構造物の輪郭を判定する輪郭判定部と、上記構造物の輪郭の複数の輪郭線の交点を検出して当該構造物の形状を予測し、上記検出した輪郭線の交点及び上記予測した構造物の形状に基づいて上記構造物の撮像推奨領域を特定し、上記撮像推奨領域内における個々の構造物を撮像対象とする撮像動作において、必要とする撮像を漏れなく撮像し得るようにガイドする撮影ガイド情報を生成する領域特定部と、上記撮影ガイド情報を上記表示部に表示させる表示制御部と、を有し、上記領域特定部は、上記特定した構造物の撮像推奨領域のうち上記構造物の光学像を受けて得られた画像データにおいて撮影されなかった死角となる撮影可能な構造物の面である死角領域を、床や天井または壁面と当接して生じる輪郭が交差するラインを含む面の背面側を死角部として推測し設定する。

本発明の一態様の撮像方法は、構造物の光学像を受けて画像データを生成するステップと、上記生成された画像データに基づいて画像を表示するステップと、上記構造物の輪郭を判定するステップと、上記構造物の輪郭の複数の輪郭線の交点を検出して当該構造物の形状を予測する検出・予測ステップと、上記検出・予測ステップにおいて検出した輪郭線の交点及び予測した構造物の形状に基づいて上記構造物の撮像推奨領域を特定し、上記特定した構造物の撮像推奨領域のうち、上記構造物の光学像を受けて得られた画像データにおいて撮影されなかった死角となる撮影可能な構造物の面である死角領域を、床や天井または壁面と当接して生じる輪郭が交差するラインを含む面の背面側を死角部として推測し設定して、上記撮像推奨領域内における個々の構造物を撮像対象とする撮像動作において、必要とする撮像を漏れなく撮像し得るようにガイドする撮影ガイド情報を生成する領域特定ステップと、撮影ガイド情報を表示するステップと、を含む。

本発明の一態様の撮像プログラムは、構造物の光学像を受けて画像データを生成し、上記生成された画像データに基づいて画像を表示し、上記構造物の輪郭を判定し、上記構造物の輪郭の複数の輪郭線の交点を検出して当該構造物の形状を予測し、上記検出した輪郭線の交点及び予測した構造物の形状に基づいて上記構造物の撮像推奨領域を特定し、上記特定した構造物の撮像推奨領域のうち、上記構造物の光学像を受けて得られた画像データにおいて撮影されなかった死角となる撮影可能な構造物の面である死角領域を、床や天井または壁面と当接して生じる輪郭が交差するラインを含む面の背面側を死角部として推測し設定し、上記撮像推奨領域内における個々の構造物を撮像対象とする撮像動作において、必要とする撮像を漏れなく撮像し得るようにガイドする撮影ガイド情報を生成し、撮影ガイド情報を表示する撮像方法をコンピュータに実行させる。

本発明によれば、分かりやすく、失敗のない撮像動作の補助を行う撮像ガイド情報を生成することにより、ユーザーの作業性を向上させ得る機能を備えた撮像装置と、その撮像方法及び撮像プログラムを提供することである。

本発明の第１の実施形態の撮像装置（カメラ）の主な構成を示すブロック構成図 図１の撮像装置（カメラ）を用いて撮像動作を行なう際の状況を示す概念図 図２の撮像状況下で取得される補助データ（見取り図データ）の表示例 図３の補助データ（見取り図データ）取得後の撮像動作を行う際の表示部の表示例 本発明の第１の実施形態の撮像装置（カメラ）のカメラ制御処理シーケンスを示すフローチャート（撮像モード） 本発明の第１の実施形態の撮像装置（カメラ）のカメラ制御処理シーケンスを示すフローチャート（撮像モード時以外） 図５のカメラ制御処理シーケンスのうち死角予想処理（ステップＳ１１１）の詳細シーケンスを示すフローチャート 図１の撮像装置（カメラ）を用いて撮像動作を行った際に取得される画像データのファイル構造を簡略化して示す概念図 本発明の第２の実施形態の撮像装置（カメラ）を用いて撮像動作を行なう際の状況を示す概念図 図９の撮像状況下で取得される補助データ（見取り図データ）の表示例 本発明の第２の実施形態の撮像装置（カメラ）における作用のうち死角予測処理（図５のステップＳ１１１の処理に相当する処理）の詳細を示すフローチャート

以下、図示の実施の形態によって本発明を説明する。以下の説明に用いる各図面は模式的に示すものであり、各構成要素を図面上で認識可能な程度の大きさで示すために、各部材の寸法関係や縮尺等を各構成要素毎に異ならせて示している場合がある。したがって、本発明は、これら各図面に記載された構成要素の数量，構成要素の形状，構成要素の大きさの比率，各構成要素の相対的な位置関係等に関し、図示の形態のみに限定されるものではない。

以下に説明する本発明の各実施形態は、例えば撮像光学系により結像された光学像を、例えばＣＣＤ（Ｃharge Ｃoupled Ｄevice；電荷結合素子）イメージセンサーやＣＭＯＳ（Ｃomplementary Ｍetal Ｏxide Ｓemiconductor；相補性金属酸化膜半導体）型イメージセンサー等の光電変換素子等（以下、撮像素子という）を用いて順次光電変換し、これにより得られた画像信号を所定の形態の画像データ（例えば静止画像又は動画像を表わすデジタル画像データ）として記憶媒体に記録すると共に、この記憶媒体に記録されたデジタル画像データに基いて静止画像又は動画像を再生表示する画像表示装置、例えば液晶表示ディスプレイ（Liquid Crystal Display；ＬＣＤ）や有機エレクトロルミネッセンス（有機ＥＬ；Organic Electro-Luminescence：ＯＥＬ）ディスプレイ等を備えて構成された撮像装置、例えばデジタルカメラやビデオカメラ等（以下、単にカメラという）を例示するものである。

なお、本発明を適用し得る撮像装置としてのカメラの形態は、特に限定された形態のものである必要はなく、一般に実用化されている種々のタイプのカメラに対して広く適用し得る。例えば、装置本体に対して撮像光学系を備えたレンズ鏡筒が一体に構成される形態のいわゆるレンズ一体型カメラや、装置本体に対してレンズ鏡筒が着脱自在に配設される形態のいわゆるレンズ交換式カメラ等の既存の形態のカメラのほか、例えば撮像機能及び画像記録機能を実現するための最低限の機能と外部機器との通信機能とを備えた撮像装置（レンズ鏡筒一体式でも交換式でもいずれの形態でも構わない）と、当該撮像装置を含む外部機器との間における通信機能を備えると共に各種の信号処理や制御処理を実行し得る機能を備えた通信制御機器、例えば一般に流通しているタブレット型コンピュータもしくはスマートフォンタイプの携帯電話等とを組み合わせて構築される撮像システム等に対して本発明は適用し得る。

上記撮像システムは、上記通信制御機器に導入したアプリケーションプログラムの作用によって、上記通信制御機器と上記撮像機器との間で相互通信を行なって、上記通信制御機器により上記撮像機器を制御して撮像動作を実行させたり、上記撮像装置により取得された画像データを上記撮像機器から上記制御機器へと通信機能を介して伝送し、上記通信制御機器において各種の信号処理を行ったり、これらの信号処理の結果得られた画像データ等を記録し得るように構成されるものである。

まず、本発明の詳細を説明する前に、本発明が適用される撮像装置（カメラ）の概略構成について、主に図１を用いて以下に説明する。

［第１の実施形態］
図１は、本発明の第１の実施形態の撮像装置（カメラ）の主な構成を示すブロック構成図である。なお、図１において、カメラ１の形態は、特に限定せずに図示している。

本実施形態の撮像装置であるカメラ１は、撮像光学系により結像された対象物の光学像を受けて、これを光電変換して画像データを取得し、取得した画像データを記録し、又は画像として表示し得る構成を備えた画像再生記録装置である。

そのために、カメラ１は、図１に示すように、画像処理制御部１１と、撮像部１２と、通信部１３と、記録部１４と、操作判定部１６と、姿勢センサ１７ａと、ＧＰＳ１７ｂと、方位センサ１７ｃと、表示部１８と、タッチパネル１９等を有して構成されている。

画像処理制御部１１は、中央処理装置（ＣＰＵ）等を含んで構成される電子回路部である。画像処理制御部１１は、撮像部１２からの画像信号に対して所定の信号処理、例えば色信号生成処理やマトリックス変換処理等の各種のデジタル画像信号処理のほか、画像信号や音声信号等を記録するのに際して符号化処理を施したり、記録部１４から記録済みの画像データ，音声データを読み出して復号化処理を施す等の各種の信号処理を行う画像信号処理部としての電子回路部と、当該カメラ１の全体的な動作制御を行う制御部としての電子回路部とを有して構成されている。この画像処理制御部１１において実行されるソフトウエアプログラムは、記録部１４若しくは別途設けられる不図示のＲＯＭ（Read Only Memory）等に予め記憶されているものが用いられる。

画像処理制御部１１は、表示制御部１１ａと、構造物輪郭判定部１１ｂと、ガイド表示制御部１１ｃと、死角予測部１１ｄとを含んで構成されている。これら各構成部（１１ａ，１１ｂ，１１ｃ，１１ｄ）等は、本カメラ１において特に用意されるハードウエア回路によって構成してもよいし、または、上記画像処理制御部１１によって実行されるソフトウエアプログラムであってもよく、その形態は問わない。

表示制御部１１ａは、撮像部１２によって取得された画像信号に基いて、上記画像処理制御部１１によって表示用に生成された画像信号を受けて、これを画像として表示するために表示部１８を制御する電子回路部である。

構造物輪郭判定部１１ｂは、撮像部１２によって取得された画像信号に基いて、特定の撮像対象物の輪郭部分を判定する電子回路部である。

ガイド表示制御部１１ｃは、所定のタイミングで表示部１８の表示画面上に使用者（ユーザ）に対する使用上のアドバイスや警告，告知，報知等のガイド表示を行うための電子回路部である。

死角予測部１１ｄは、上記構造物輪郭判定部１１ｂによる判定結果から、撮像対象としている対象構造物において、カメラ１から死角となる部位又は範囲等を予測する電子回路部である。ここで、死角とは、撮像対象としている対象構造物において、カメラ１のある位置からは見えない部位若しくは範囲である。

上記死角予測部１１ｄは、直方体予測部１１ｅと、撮像面判定部１１ｆとを有している。このうち、直方体予測部１１ｅは、上記構造物輪郭判定部１１ｂによる判定結果に基いて、撮像対象としている対象構造物の形状を予測する構造物形状予測部となる電子回路部である。ここで、構造物形状予測部としての直方体予測部１１ｅは、撮像対象構造物の形状が直方体であることを予測する。

また、撮像面判定部１１ｆは、上記直方体予測部１１ｅにて予測される撮像対象構造物の直方体の各面のうち撮像し得ていない領域、即ち撮像を推奨する領域（具体的には死角部位，死角範囲）として特定して判定するための領域特定部となる電子回路部である。上記構造物の撮像推奨領域は、構造物を構成する直方体の面が露呈していて、撮影可能な状態の部位である。こうした露呈面は、経時変化などをモニタしやすく、のちのちまでに重要な評価項目になるので重要である。

撮像部１２は、光学レンズ等の撮像光学系等を含むレンズ鏡筒部（不図示）と、ＣＣＤ（Ｃharge Ｃoupled Ｄevice；電荷結合素子）イメージセンサーやＣＭＯＳ（Ｃomplementary Ｍetal Ｏxide Ｓemiconductor；相補性金属酸化膜半導体）型イメージセンサー等の光電変換素子（撮像素子）等を含む電子回路部等によって構成される構成ユニットである。

撮像部１２は、レンズ鏡筒部の撮像光学系（不図示）により撮像面に結像される光学像を受けて光電変換処理を行うことにより被写体像を含む静止画像又は動画像の画像信号を取得して、この画像信号を上記画像処理制御部１１へと出力するように構成されている。撮像部１２は、上記画像処理制御部１１によって駆動制御される。つまり、画像処理制御部１１は、撮像部１２へと駆動信号を出力する一方、上記撮像部１２によって取得された画像信号を取り込み、この画像信号に対して上記各種の信号処理を施して、所定の形態の画像データ、例えば静止画像又は動画像を表わすデジタル画像データを生成する。

このようにして生成される画像データには、撮像光学系の画角情報や、撮像時の各種情報（被写体距離情報や露出情報等）等が関連付けられている。これら画像データに関連付けられた各種情報（画像データ関連報）は、画像データファイルに含めて記録される。なお、画像データ関連報としては、上述の形態のほか、画像データに関連付けされた別データファイルとして記録するような形態であってもよい。

通信部１３は、例えば無線通信機能によって外部機器（不図示）との間でデータ伝送を行ったり、外部機器（不図示）からの制御信号を受信したり、インターネット等の外部通信回線（不図示）に接続しこれを介して各種の外部データベース（不図示）等との間でデータ通信を行うために設けられる電子回路部である。

記録部１４は、所定の形態、例えば半導体メモリカード等の記録媒体（不図示）と、その駆動回路等を含んで構成され、画像処理制御部１１の扱う画像データ，音声データ等を記録媒体に記録したり、画像処理制御部１１が記録媒体に記録済みの同画像データ，音声データ等を読み出しを行なうための電子回路部である。なお、記録部１４としては、カメラ１に対して着脱自在に構成される半導体メモリカード等の記憶媒体（不図示）に対応する形態のもののほか、カメラ１の内部電子基板上に固定される半導体メモリ等を記憶媒体として利用する形態のものとしてもよい。

操作判定部１６は、当該カメラ１における各種の操作部材（不図示）に連動した各種スイッチ類、例えばレリーズスイッチ，電源オンオフスイッチ，操作方向選択指示スイッチ，メニュースイッチ，動作モード切り換えスイッチ等のほか、タッチパネル１９等から発生した各種の操作指示信号を受信して、使用者（ユーザ）が操作した指示内容を判定する電子回路部である。

操作判定部１６は、使用者（ユーザ）による各種操作部材等の操作に応じた指示信号を発生させて、画像処理制御部１１へと出力する。これを受けて画像処理制御部１１は、入力された指示信号に対応する各種の制御処理を実行する。

姿勢センサ１７ａは、例えば加速度センサ等を含んで構成される電子回路部である。この姿勢センサ１７ａは、例えばカメラ１の姿勢状況（撮像画面が縦位置にあるか横位置にあるか、若しくは水平線や垂直線に対する画面の傾き等の状況）や、カメラ１（の撮像光学系の光軸）の仰角状況等のほか、カメラ１自体のブレ状況等を判定するために設けられている。

ＧＰＳ１７ｂは、全地球測位システム（Global Positioning System；ＧＰＳ）におけるＧＰＳ衛星からの信号を受信して当該カメラ１の位置情報，時刻情報，方位情報等、各種の所定の情報を取得するための電子回路部である。

方位センサ１７ｃは、例えば地磁気を検出して当該カメラ１の向き、具体的には撮像光学系の光学レンズ（撮像素子の撮像面）が向いている方向を検出するための電子回路部であって、いわゆる電子コンパス等が適用される。

表示部１８は、当該カメラ１によって生成された画像データ若しくは記録部１４に記録済みの画像データに基く画像を表示したり、当該カメラ１における各種の設定画面（メニュー表示等）を表示するための表示パネル、例えば液晶表示ディスプレイ（Liquid Crystal Display；ＬＣＤ）や有機エレクトロルミネッセンス（有機ＥＬ；Organic Electro-Luminescence：ＯＥＬ）ディスプレイ等の表示用デバイスと、その駆動回路等を含んで構成される構成ユニットである。

タッチパネル１９は、表示部１８の表示画面の表面に配置された操作入力パネル等を含んで構成される表示ユニットである。これに対応させて、画像処理制御部１１の表示制御部１１ａは、表示部１８の表示画面上に操作用表示等を表示させる制御を行なう。そして、上記タッチパネル１９から生じる操作指示信号を受けて画像処理制御部１１は、各種の制御を実行する。即ち、上記タッチパネル１９は、表示画面中の任意の所望の位置を指定し得る指定操作部として機能する。

このように構成された本実施形態のカメラ１においては、画像処理制御部１１，記録部１４，表示部１８は、撮像部１２から出力される画像信号についての各種の処理を行なって、静止画像若しくは動画像についての画像処理を行なう。即ち、画像処理制御部１１は、撮像部１２からの画像信号に対し所定の信号処理を施して画像信号を順次生成すると同時に、この画像信号を表示制御部１１ａを介して表示部１８へと順次出力する。これを受けて表示部１８は、対応する画像を順次表示させることにより、リアルタイムの動画像表示、即ちライブビュー表示が行われる。

また、画像処理制御部１１は、撮像部１２から受けて処理済みの画像信号について、例えば圧縮処理を施して記録部１４へと出力する。これを受けて、記録部１４は、不図示の記録媒体に記録する。また、画像処理制御部１１は、記録部１４の記録媒体に記録済みの画像データを読み出して復号化処理を施した後、表示制御部１１ａを介して表示部１８へと出力する。これを受けて、表示部１８は、対応する画像を表示する。

なお、カメラ１の構成においては、上述した以外にも、図１に図示されていない構成ユニット等が多々ある。しかしながら、それらの構成ユニット等については、従来一般に実用化されておりまた広く普及している撮像装置（カメラ）と略同様の構成を有しているものとして、それらの説明は省略する。

次に、上述のように構成された本実施形態のカメラ１を用いて撮像動作を行った際の作用を、図２〜図８を用いて説明する。図２は、本実施形態のカメラ１を用いて撮像動作を行なう際の状況を示す概念図である。図３は、図２の撮像状況下で取得される補助データ（見取り図データ）の表示例である。図４は、図３の補助データ（見取り図データ）取得後の撮像動作を行う際の表示部の表示例である。

まず、図２〜図４を用いて、本実施形態のカメラの作用の概略を説明する。本実施形態のカメラ１を用いて撮像動作を実行する際の状況の例を、例えば図２に示す。図２に示す例は、撮像対象とする構造物若しくは建築物（以下、撮像対象構造物と略記する）の内部において、その撮像対象構造物の建設工事の過程を記録する撮像動作を行う状況を示している。具体的には、図２において、本実施形態のカメラ１を所持する使用者（ユーザ）１００が、撮像対象構造物の所定のフロアにおける所定の部屋（以下、撮像対象領域という）２００の室内に当該カメラ１を向けて撮像動作を実行しようとしている状況を示している。

この状況において、使用者（ユーザ）１００は、まず、これから撮像動作を実行しようとする撮像対象領域２００の全体像を二次元画像として撮像する。これにより、カメラ１は、撮像対象領域２００の全体像を１つの二次元画像データとして取得する。このとき取得された二次元画像データによって表示される二次元画像は、なるべく広い範囲がカバーされているのが望ましい。そのために、例えば撮像光学系としては、広角系レンズが用いられる。また、全体像の撮像動作を実行する際、撮像光学系のズーム位置を広角側に設定する旨の表示を行うようにしてもよい。さらに、このときの撮像動作時には、カメラ１の姿勢を所定の姿勢に保つのが望ましい。つまり、カメラ１の姿勢を所定の姿勢に保持することによって、矩形状の撮像画面枠（不図示；撮像結果としての画像）の縦辺が垂直方向に、横辺が水平方向に略一致するようにされるのが望ましい。そこで、例えば姿勢センサ１７ａ，方位センサ１７ｃ等の検出結果を利用して、水準表示等を表示部１８に表示させるようにしてもよい。使用者（ユーザ）は、この表示部１８の水準表示等を見ながらカメラ１の姿勢の水平垂直方向を保持するようにカメラ１を維持して撮像する。

なお、図２に示す撮像対象領域２００の例は、部屋の入り口に立ったとき、一方（向かって右側）の壁面に沿って所定の間隔をおいて柱Ｒ１，Ｒ２，Ｒ３が配置され、他方（向かって左側）の壁面に沿って所定の間隔をおいて柱Ｌ１，Ｌ２，Ｌ３が配置された室内空間を想定している。この場合において、当該想定例では、柱Ｒ１，Ｒ２は一面が右側壁２０１に接して配置されている。柱Ｒ３は、二面が右側壁２０１と奥側壁２０２に接して配置されているものとする。そして、柱Ｌ１，Ｌ２，Ｌ３は、一面と左側壁２０３との間に距離Ｄ１を置いて配置されている。さらに、柱Ｌ３は、上記一面とは異なる他面と奥側壁２０２との間に距離Ｄ２を置いて配置されているものとする。

本実施形態のカメラ１においては、上述したように、撮像対象領域２００の全体像の画像データが取得されると、この画像データに基いて、画像処理制御部１１において各種の信号処理が行われる。例えば、表示制御部１１ａは、取得した画像データに対応する表示用の画像処理が行われ、その処理済みの表示用画像データは表示部１８へと送られて、当該表示部１８の表示画面上に対応する画像を表示する。

また、同時に、構造物輪郭判定部１ｂは、当該画像データに基く画像処理を実行し、当該画像データによって表される画像内の柱等の各構造物について輪郭部分を判定し、柱等の各構造物の配置を推測して、例えば撮像を補助するための補助データである二次元平面の見取り図データを生成する処理等が実行される。

ここで、補助データとしての見取り図データとは、撮像対象領域２００の全体像に基いて、同領域２００に含まれる各種構造物（柱等）の形状，位置等に関する各種の情報である。この見取り図データには、例えば撮像対象領域２００を俯瞰して表す形態の情報（いわゆる俯瞰見取り図）等のほか、撮像すべきものと予定されている複数の撮像対象物に関する各種の詳細情報等が含まれる。なお、本実施形態のカメラ１によって生成される見取り図データは、撮像対象領域２００の全体像を撮像した少なくとも一枚分の画像データのみから生成されるものであるので簡易的なものである。

さらに、構造物輪郭判定部１ｂの判定結果は、死角予測部１１ｄへと送られる。死角予測部１１ｄは、全体像を撮像した画像データに基いて、上記見取り図データに付加する情報、例えば各構造物の死角部位，死角範囲等に関する上記見取り図データ上の位置情報等を含む撮像ガイド情報等を生成する。ここで、撮像ガイド情報とは、撮像動作を補助するための情報であって、例えば上記全体像の撮像動作以降の個々の撮像動作、即ち上記撮像対象領域２００内の個々の構造物を撮像対象とする撮像動作において、必要とする撮像を漏れなく撮像し得るようにガイドする等のための情報である。撮像ガイド情報は、具体的には、例えば現在の撮像位置から死角となる部位，範囲を表示部１８に表示するための情報等である。

このようにして見取り図データが生成されると、その見取り図データは、図３に示すような形態で表示部１８の表示画面に表示されると同時に、例えば記録部１４等の所定の記憶領域に記憶される。

図３においては、表示部１８の表示画面の略中央領域に上記見取り図データに基いて生成された矩形状の見取り図画像１８ａが表示されている形態を示している。このとき、表示部１８の表示画面の余白部分には、表示中の画像が「見取り図データ」である旨を示す表示１８ｄと、表示部１８の表示画像を切り換えて元に戻ることを示す戻るアイコン１８ｂ等が表示されている。

図３に示す見取り図データ画像１８ａの例では、例えば撮像対象領域２００（部屋）の俯瞰見取り図として矩形状領域が表示され、その内部に複数の構造物（本例示では６本の柱Ｒ１，Ｒ２，Ｒ３，Ｌ１，Ｌ２，Ｌ３）と、カメラ１の位置及び方向を示す矢印アイコン１８ｃとが表示されている。さらに、各構造物の一部には、現在のカメラ１の位置から死角であると予想される部位，範囲を太線若しくは色付けした形態で示す死角表示ＤＡが表示されている。この死角表示ＤＡは、図３に示す例では、各構造物の対応する部位，範囲の輪郭を太線で示すことで表している。このように表示される死角表示ＤＡは、個々の構造物を対象とする撮像動作時の撮像ガイド情報となっている。

なお、図３に示す各符号は当該表示を説明するために付しているものであって、実際に表示部１８の表示画面に見取り図データが表示されるのに際し、これらの符号は表示されるものではない（後述の図４においても同様である）。

また、図３は、撮影の後ろ側の壁までも、補助されて表示されているが、これは、前方の撮影結果から予想して表示すればよく、背面を撮影するようなカメラの結果を利用してもよく、動画撮影した結果から類推してもよい。また、説明と理解を容易にするために「見取り図」という表記を行っているが、ユーザーが撮影時に参考にできる情報表示であればよく、まさしく図２に示すような実写結果（あるいは、それを強調表示したもの）に拡張現実的にガイド情報を出しても良いし、各構造物やその輪郭線を線画風にして、画像をイラストのようなものに置き換えて表示してもよい。この場合、柱の見える面と、その死角の有無などを含め測定対象が複数表示されていることが重要なので、見取り図とは別に、対象物一覧表示図という表現でもよい。

上記見取り図データ（もしくは、対象物一覧表示図）の生成後、引き続き当該撮像対象領域２００の内部において個々の構造物の撮像動作を継続して行う場合、カメラ１の表示部１８には、図４に示すような表示がなされる。図４に示す例では、撮像部１２によって連続的に取得される画像信号に基く画像を順次表示させるライブビュー（ＬＩＶＥ ＶＩＥＷ）表示領域１８ｅと、上記見取り図データを表示させる見取り図表示領域１８ｆと、上記戻るアイコン１８ｂとを、表示部１８の一表示画面内に合わせて表示させる形態を示している。この見取り図表示領域１８ｆも前述のように、対象物一覧表示図であればよく、厳密な意味での「見取り図」である必要はない。つまり、ユーザーが撮影時に参考にできる情報であればよく、実写結果（あるいは、それを強調表示したもの）に拡張現実的にガイド情報を出しても良いし、各構造物やその輪郭線を線画風にして、画像をイラストのようなものに置き換えて表示してもよい。

使用者（ユーザ）１００は、撮像対象領域２００の空間内を移動しつつ個々の構造物（具体的には個々の柱等）の撮像動作を行うことになるが、その撮像動作の場合において、見取り図データを参照し、最初の全体像の撮像動作で取得できなかった死角部分の画像等を改めて撮像する。ここで、個々の構造物についての撮像が行われた場合には、撮像済みである旨の表示（チェックマーク）を見取り図上に付するようにしてもよい。

このように構成される本実施形態のカメラ１の作用を、図５〜図８を用いて以下に説明する。図５，図６は、本発明の第１の実施形態の撮像装置（カメラ）のカメラ制御処理シーケンスを示すフローチャートである。このうち図５は同カメラ制御処理シーケンスの主体部である撮像モード時の処理シーケンスを示すフローチャートである。図６は同カメラ制御処理シーケンスの一部であって、撮像モード時以外の処理シーケンスを簡略に示すフローチャートである。本実施形態の要旨は、主に撮像モード時にあるものである。したがって、それ以外の動作モード時の作用は、従来のカメラと同様の処理がなされるものとして、図６に示すように簡略化して図示している。

図７は、図５のカメラ制御処理シーケンスのうち死角予想処理（ステップＳ１１１）の詳細シーケンスを示すフローチャートである。図８は、本実施形態の撮像装置（カメラ）を用いて撮像動作を行った際に取得される画像データのファイル構造を簡略化して示す概念図である。

図５，図６のカメラ制御処理シーケンスについて以下に説明する。このカメラ制御処理シーケンスも、上述の図２〜図４で説明したと同じ撮像状況を想定している。したがって、以下の説明においては図２〜図４も参照する場合がある。

まず、カメラ１の電源状態がオン状態にあり、カメラ１が起動状態にあるものとする。この場合において、図５のステップＳ１０１において、画像処理制御部１１の制御部は、カメラ１の動作モードが撮像動作を実行し得る撮像モードに設定されているか否かの確認を行う。ここで、撮像モードに設定されていることが確認された場合には、次のステップＳ１０２の処理に進む。また、撮像モードに設定されていない場合には、図６のステップＳ１２１の処理に進む（図５，図６の符号Ａ参照）。

ステップＳ１０２において、画像処理制御部１１は、撮像部１２等を制御して画像データを順次取得し（制御部）、取得した画像データを適宜所定の画像処理を施し（画像信号処理部）、表示部１８を制御してライブビュー表示処理を開始する（制御部）。その後、ステップＳ１０３の処理に進む。

ステップＳ１０３において、画像処理制御部１１の制御部は、補助データとしての見取り図データが既に存在するか否かの確認を行う。ここで、補助データ（見取り図データ）は、例えばカメラ１に内蔵される一時記憶部若しくは記録部１４等に記憶されるものである。この場合において、補助データ（見取り図データ）が既に存在することが確認された場合には、ステップＳ１０４の処理に進む。また、この時点において補助データ（見取り図データ）は存在していないことが確認された場合には、ステップＳ１０５の処理に進む。

ステップＳ１０４において、画像処理制御部１１の制御部は、表示制御部１１ａを介して表示部１８を制御して補助データ（見取り図データ）表示処理を実行する。その後、ステップＳ１０７の処理に進む。

ここで、補助データ（見取り図データ）表示処理の詳細についての説明は省略するが、概略以下のような処理が行われる。

カメラ１において、補助データ（見取り図データ）を既に保持している場合とは、例えば、上述したように、カメラ１にて取得した画像データに基いて生成し、記録部１４等に記録している場合のほか、別の機会に取得済みか若しくは別の装置にて生成済みの補助データ（見取り図データ）を、予め記録部１４等に複写記録済みである場合等である。

補助データ（見取り図データ）表示処理においては、これら記録済みの補助データ（見取り図データ）を記録部１４等から読み出して、上述説明した図４に示すような表示形態で表示部１８を用いて表示させる処理を行う。

この場合において、記録部１４等に記録済みの補助データ（見取り図データ）が複数存在することもあり得る。このような場合には、例えばまず記録部１４に記録済みの補助データ（見取り図データ）の一覧表示を行った後、その一覧表示の中から所望のデータ項目を使用者（ユーザ）に選択させ、選択された補助データ（見取り図データ）について同様の表示処理（図４の表示形態等）を行うようにすればよい。

上述のステップＳ１０３の処理にて、補助データ（見取り図データ）の存在が確認されずにステップＳ１０５の処理に進むと、このステップＳ１０５において、画像処理制御部１１の制御部は、操作判定部１６からの信号を監視してユーザー操作の有無を確認する。ここで、ユーザー操作は、使用者（ユーザ）による各種の操作部材等の操作を指す。このユーザー操作がなされることにより、操作に応じた指示信号が発生する。したがって、その指示信号の発生が確認された場合には、ユーザー操作がなされたものとして、ステップＳ１０６の処理に進む。また、指示信号の発生が確認されない場合には、ユーザー操作がなされていないものとして、ステップＳ１０７の処理に進む。

ステップＳ１０６において、画像処理制御部１１の制御部は、上述のステップＳ１０５の処理において発生したユーザー操作に応じた動作処理を実行する。その後、ステップＳ１０７の処理に進む。

ここで、ユーザー操作に応じた動作処理は、各種の操作部材毎に異なる動作処理がある。例えば、動作モード切り換え部材が操作されて別の動作モードへの切り換え信号が発生している場合には所定の動作モード切換処理を行う。また、電源ボタンが操作されてオフ信号が発生している場合には所定の電源オフ処理を行う。そして、撮像動作を開始するための撮像操作、即ちレリーズボタンの押圧操作等によるレリーズ信号が発生している場合には所定のレリーズ処理が実行される。その他、各種の操作部材に応じた動作処理があるが、詳細説明は省略する。

ステップＳ１０７において、画像処理制御部１１の制御部は、上述のステップＳ１０５のユーザー操作が撮像動作を開始するための撮像操作であるか否かの確認を行う。ここで撮像操作である場合には、ステップＳ１０８の処理に進む。また、撮像操作ではない場合には、上述のステップＳ１０１の処理に戻り、以降同様の処理を繰り返す。

ステップＳ１０８において、画像処理制御部１１の制御部は、補助データ（見取り図データ）に対する操作がなされたか否かの確認を行う。この状態にあるときには、例えば表示部１８に表示中の見取り図データに基く見取り図上の所望の領域に対してタッチパネル１９を介して所定のタッチ操作等を行うと、そのタッチ位置に対応する所定領域を撮像対象とするＡＦ処理やＡＥ処理等が実行された後、タッチレリーズ信号が発生して、レリーズ処理が実行され得る。そこで、このステップＳ１０８においては、画像処理制御部１１の制御部は、タッチパネル１９の出力信号を監視する。そして、上記タッチレリーズ信号が確認された場合には、ステップＳ１１４の処理に進む。また、上記タッチレリーズ信号が確認されなかった場合には、ステップＳ１０９の処理に進む。

ステップＳ１０９において、画像処理制御部１１の制御部は、撮像部１２，表示部１８，記録部１４等を制御して、通常の撮像処理を実行する。その後、ステップＳ１１０の処理に進む。

ステップＳ１１０において、画像処理制御部１１の制御部は、上述のステップＳ１０９の撮像処理が全体像の撮像処理であったか否かの確認を行う。ここで、全体像の撮像処理であった場合には、ステップＳ１１１の処理に進む。また、全体像の撮像処理ではなかった場合には、ステップＳ１１５の処理に進む。

ステップＳ１１１において、画像処理制御部１１の制御部は、所定の死角予測処理を実行する。なお、この死角予測処理の詳細は、図７のサブシーケンスにて後述する。

次いで、ステップＳ１１２において、画像処理制御部１１の制御部は、生成された見取り図データにづいて表示部１８に表示される見取り図について、データ記録するか否かの確認を行う。ここで、使用者（ユーザ）は、当該見取り図データの記録を行いたい場合には、例えば操作部材のうちＯＫボタンの押圧操作を行う。また、記録せずにやり直す等の場合には、その他の操作部材例えば非記録動作を明示的に指示するキャンセルボタン等を操作する。若しくは、何の操作も行わないまま所定の時間の経過を待つことによってもキャンセルすることを指示することもできる。

そのために、制御部は、操作判定部１６を監視する。この場合において、ＯＫボタンの指示信号が確認された場合には、ステップＳ１１３の処理に進む。また、ＯＫボタン以外の指示信号が確認された場合、若しくは所定の時間操作がなされなかったとき、上述のステップＳ１０１の処理に戻り、以降の処理を繰り返す。

ステップＳ１１３において、画像処理制御部１１の制御部は、補助データ（見取り図データ）作成処理を実行する。なお、この補助データ（見取り図データ）作成処理の詳細は省略する。その後、上述のステップＳ１０１の処理に戻り、以降の処理を繰り返す。

一方、上述のステップＳ１０８の処理にて、上記タッチレリーズ信号が確認されてステップＳ１１４の処理に進むと、このステップＳ１１４において、画像処理制御部１１の制御部は、個々の構造物に対する撮像処理を行った後、見取り図データ上の対応する位置に、その部位が撮像済みである旨の情報を表示する処理を実行する。その後、ステップＳ１１５の処理に進む。

ステップＳ１１５において、画像処理制御部１１の制御部は、上述のステップＳ１１４の処理にて取得した撮像結果の画像記録処理を実行する。この画像記録処理においては、取得した画像データに対し、関連する各種の情報を付加し関連付けするといった処理も同時に実行される。ここで、関連する各種の情報としては、一般的な撮像情報のほかに、上記補助データ（見取り図データや全体像の画像データ等を含む）に関する情報等をも含む。この画像記録処理において生成される画像データのデータ構造の例としては、例えば図８等に示すような形態が考えられる。

図８に示すように、画像データファイルには、ファイル番号（Ｎｏ．ｘｘｘ）情報と、画像データ本体と、各種の画像情報（日時情報，位置情報，撮像条件等の撮像情報）と、画像サムネイルと、全体画像サムネイルと、見取り図サムネイル等の情報を含んで構成される。なお、上記日時情報は、カメラ１の制御部が有する内部時計等から取得した撮像時の日時に関する情報である。上記位置情報は、例えばＧＰＳ１７ｂから取得した撮像時のカメラ１の地球上における位置に関する情報、具体的には例えば緯度経度情報等である。上記撮像条件等の撮像情報としては、撮像光学系のレンズ名，焦点距離，絞り値，ホワイトバランス，ＩＳＯ感度，色空間，動作モード，ＡＥモード，ＡＦモード，シーンタイプ，シリアルナンバー，ドライブモード，解像度，処理アプリケーション等を含む各種情報であって、いわゆるイグジフ（Ｅｘｉｆ）情報等が相当する。

他方、上述のステップＳ１０１の処理にて撮像モードの設定が確認されずに図６のステップＳ１２１の処理に進むと（図５，図６の符号Ａ）、この図６のステップＳ１２１において、画像処理制御部１１の制御部は、現在設定されている動作モードが再生動作を実行し得る再生モードに設定されているか否かの確認を行う。ここで、再生モードに設定されていることが確認された場合には、次のステップＳ１２２の処理に進む。また、再生モードに設定されていない場合には、ステップＳ１２４の処理に進む。

ステップＳ１２２において、画像処理制御部１１は、記録部１４，表示部１８等を制御して所定の画像再生処理を実行する。この画像再生処理の詳細は、従来のカメラ１において行われるものと同様の処理であるものとして、その説明は省略する。その後、ステップＳ１２３の処理に進む。

ステップＳ１２３において、画像処理制御部１１の制御部は、操作判定部１６を監視して、再生用画像の変更操作がなされたか否かの確認を行う。ここで、再生画像の変更を指示するために所定の操作部材による変更操作がなされると、所定の変更指示信号が発生する。この変更指示信号が確認されるとステップＳ１２５の処理に進む。また、上記変更指示信号が確認されない場合には、図５のステップＳ１０１の処理に戻り、以降の処理を繰り返す（リターン）。

上述のステップＳ１２３の処理にて、変更指示信号の発生を確認してステップＳ１２５の処理に進むと、このステップＳ１２５において、画像処理制御部１１の制御部は、所定の画像変更処理を実行する。その後、図５のステップＳ１０１の処理に戻り、以降の処理を繰り返す（リターン）。

なお、上述のステップＳ１２１の処理にて、再生モードに設定されていない（例えば画像通信モードに設定されている）ことが確認されてステップＳ１２４の処理に進むと、このステップＳ１２４において、画像処理制御部１１の制御部は、所定の画像通信処理を実行する。その後、図５のステップＳ１０１の処理に戻り、以降の処理を繰り返す（リターン）。

次に、上記死角予測処理（図５のステップＳ１１１の処理）の詳細を、図７を用いて以下に説明する。上記構造物の撮像推奨領域の一つに、構造物を構成する直方体の面が露呈していて、撮影可能な状態の部位である。こうした露呈面は、経時変化などをモニタしやすく、のちのちまでに重要な評価項目になるので重要であるが、1回の撮影では死角になることがあり、このような死角部を判定してガイドすることは、非常にユーザーに有益となる。

上述したようにして、図７の死角予測処理シーケンスに移行すると、まず、図７のステップＳ２０１において、画像処理制御部１１の制御部は、姿勢センサ１７ａ，方位センサ１７ｃ等の検出結果を参照しながら、カメラ１の姿勢が水平に保持されているか否かの確認を行う。ここで、カメラ１の姿勢が水平に保持されている（姿勢はＯＫである）ことが確認された場合には、ステップＳ２０３の処理に進む。また、カメラ１の姿勢が水平に保持されていない（姿勢はＯＫではない）場合には、ステップＳ２０２の処理に進む。ここで、水平を重視しているのは、建築物はそれを支える柱が品質に大きく影響するためで、柱が床から垂直に立って重力に逆らって建築物を支えるからである。水平に構えなくとも、水平とか重力方向が分かっていれば、画像が斜めでも、これを元に、柱や床が判定可能である。また、柱以外の構造物に関してガイドを出す場合には、壁などを基準にアーチや梁などを判定してもよいが、このような場合は、必ずしも水平保持をしなくてもよい。

ステップＳ２０２において、画像処理制御部１１の制御部は、表示制御部１１ａ，ガイド表示制御部１１ｃによって表示部１８等を制御して、カメラ１の姿勢を水平に保持すべき旨のアドバイス表示等を行う姿勢アドバイス処理を実行する。その後、ステップＳ２０１の処理に戻り、カメラ１の姿勢が水平に保持される状態（姿勢ＯＫ）になるまで以降の処理を繰り返す。

ステップＳ２０３において、画像処理制御部１１の制御部は、構造物輪郭判定部１１ｂ等によって、上記全体像を撮像した画像データについての画像信号処理を実行する。この場合における画像信号処理は、例えば画像内において、水平ライン（床や天井の境界を示すライン；図２の符号２０４，２０５等参照）を判定し、また、同画像データの画像内において、左端若しくは右端に垂直ラインが存在するか否かの確認を行う。ここで、左右端の垂直ラインは、例えば図２に示す例において、最も奥待った位置にある柱の垂直線を想定している。つまり、左右いずれかの端部の垂直ラインと、床及び天井の境界水平ライン（２０４，２０５）とを確認することで、全体像を撮像するのに適切な撮像領域がカバーされているか否かを確認する。具体的には例えば、床及び天井の境界水平ライン（２０４，２０５）が含まれており、かつ左右端部の一方の垂直ラインのみである場合には、全体像を撮像し得ないと判定される。この場合には、画角が足りないか若しくは距離が近いことから、ズーム設定をワイド側にするか若しくはカメラ１を持つ使用者（ユーザ）が下がる等によって、より広い領域の撮像を行ない得る。そこで、次のステップS２０４の処理において、そのようなアドバイスを行う処理を設けている。

即ち、ステップＳ２０４において、画像処理制御部１１の制御部は、表示制御部１１ａ，ガイド表示制御部１１ｃによって表示部１８等を制御して、画角や距離に関するアドバイス処理を実行する。その後、ステップＳ２０３の処理に戻る。

ステップＳ２０５において、画像処理制御部１１の制御部は、構造物輪郭判定部１１ｂ等によって、上記全体像の画像データにおいて、垂直ラインが３本近接して存在する領域があるか否かの確認を行う。ここで、３本の垂直ラインが近接して存在する場合とは、例えば図２に示すように、直方体形状の柱を斜め方向から見た場合を想定している。この場合において、３本の垂直ラインが近接して存在する場合には、次のステップＳ２０７の処理に進む。また、３本の垂直ラインが近接して存在しない場合には、ステップＳ２０６の処理に進む。また、この場合において、例えば直方体形状の柱を真正面から見た場合、垂直ラインは２本しか見えない。このような場合には、例えばカメラ１の位置を左右に移動させれば、垂直ラインが３本近接して存在するように見える可能性がある。そこで、次のステップＳ２０６の処理において、その旨のアドバイスを行う処理を設けている。

ステップＳ２０６において、画像処理制御部１１の制御部は、表示制御部１１ａ，ガイド表示制御部１１ｃによって表示部１８等を制御して、左右方向における撮像位置に関するアドバイス処理を実行する。その後、ステップＳ２０５の処理に戻る。

ステップＳ２０７において、画像処理制御部１１の制御部は、上述のステップＳ２０５の処理における構造物輪郭判定部１１ｂ等による判定の結果を受けて、上記全体像の画像内における直方体を検出する直方体検出処理を行う。直方体検出処理は、直方体形状の柱を検出する処理であって、上記死角予測部１１ｄに含まれる直方体予測部１１ｅによって実行される。

次いで、ステップＳ２０８において、画像処理制御部１１の制御部は、全体像の画像内における位置，距離に応じて検出した各直方体の配置を推測し、全体像の見取り図化、即ち撮像対象領域２００（部屋）を撮像した全体像に基く俯瞰見取り図を生成する。その後、ステップＳ２０９の処理に進む。ここでは、「見取り図」と書いたが、ユーザーが撮り忘れしないような表現が可能な画像であれば、実写のままやイラスト表現化された画像でも良い。

ステップＳ２０９において、画像処理制御部１１の制御部は、上述の処理にて検出した３つの輪郭（３本の垂直ライン）が鋭角で一点に集まっている交点部分、例えば図２において符号Ｌ１Ａ，Ｌ２Ａ，Ｌ３Ａ，Ｒ１Ａ，Ｒ２Ａ，Ｒ３Ａ等によって示す部分が存在するか否かの確認を行う。ここで、３つの輪郭が鋭角で一点に集まっている交点部分が存在する場合には、次のステップＳ２１０の処理に進む。また、３つの輪郭が鋭角で一点に集まっている交点部分が存在しない場合には、一連の処理を終了し、元のシーケンスに戻る（リターン）。

ステップＳ２１０において、画像処理制御部１１の制御部は、上述の処理にて検出された直方体（柱部分）に着目し、当該直方体を構成する輪郭線のうち３つの垂直ラインの輪郭（図２の符号ＯＲ１，ＯＬ１参照）を除く２つの輪郭（図２の符号ＯＲ２，ＯＬ２参照）を延長した延長線（図２の符号ＯＲ３，ＯＬ３，ＯＬ４）が垂直輪郭（図２の符号ＯＬ１，ＯＲ１）及び床面輪郭（図２の符号２０５）のいずれにも交差するか否かの確認を行う。ここで、上記条件が確認された場合には、ステップＳ２１１の処理に進む。その他の場合は、ステップＳ２１２の処理に進む。

ステップＳ２１１において、画像処理制御部１１の制御部は、上記２つの輪郭（図２の符号ＯＲ２，ＯＬ２参照）の延長線（図２の符号ＯＲ３，ＯＬ３，ＯＬ４）のうち床輪郭２０５が交差するライン（図２の符号ＯＬ２Ｂ．ＯＲ２Ｂ）を含む面（図２の符号ＡＬ２，ＡＲ２）の背面側を死角部として推測し設定する。その後、一連の処理を終了し、元のシーケンスに戻る（リターン）。上記死角領域は、床や天井以外に当接して生じる輪郭線によって判定するのに限る必要はなく、壁面と当接して生じる輪郭２０５が交差するラインを含む面を利用すれば、アーチ状の構造物や梁（この場合、必ずしも厳密に直方体である必要はない）などの撮影されなかった側を死角部として推測し設定することが可能となる。こうした応用は、もちろん、本発明のカバーするところである。

一方、ステップＳ２１２において、画像処理制御部１１の制御部は、上記２つの輪郭（図２の符号ＯＲ２，ＯＬ２参照）を延長した延長線（図２の符号ＯＲ３,ＯＬ３，ＯＬ４）のうち床面輪郭２０５に交差するライン（図２の符号ＯＲ３，ＯＬ４）があるとき、交差する床面輪郭２０５を含む壁面（符号２０１，２０３）に対向する柱の面を死角部として推測し設定する。その後、一連の処理を終了し、元のシーケンスに戻る（リターン）。なお、死角と言っても、隙間が狭すぎて、カメラを構えるスペースがなく、撮影が不可能な死角もあるが、これをガイド表示すると、ユーザーにはストレスになるので、画像上の輪郭の距離などから、撮影可能か否かを判定して、撮影不可能な場合は、ガイド表示がでないように工夫してもよい。図２に示す距離Ｄ１，Ｄ２の長さなどは輪郭の延長などから類推が可能である。撮影時の焦点距離や対象物のピント合わせ時の距離情報などから、こうした数値は測定可能である。ここで、死角の判定方法を特記したのは、死角領域は、最初の撮影（図２等）では撮影されなかった領域であって、例えば図２のような撮影結果（画像）があったとしても、死角領域が存在していれば、その構造物の全体が正しい工事や塗装の面になっているか否かが、まったく保証できないからである。即ち、死角領域において、例えば工事ミス等があった場合には、この全体画像のみでは、ミスを確認することができず、このようなミスを見逃すと、その後の経時変化などによって同箇所の追跡が出来なくなる場合がある。例えば、工事の過程によっては、内装工事、例えば壁面に対する壁紙の貼着等によって、壁面がふさがってしまう（隠されてしまう）場合があり、後日正しい建築作業（工事）がなされたか否かを後で検証することができず、場合によっては工事のやり直し（内装の除去等）の作業が発生する場合がある。したがって、費用や工期に無駄が生じてしまうことになる。このような理由から、構造物の撮像推奨領域（死角領域）は、上記構造物の光学像を受けて得られた全体画像データにおいて撮影されなかった死角となる撮影可能な構造物の面を含むことは重要である。死角領域というだけあって、見逃しやすいという点からも、撮像補助としてのアドバイスが重要となる。

以上説明したように上記第１の実施形態によれば、撮像対象物の全体像の画像データを取得すると、その全体像の画像データに基いて、補助データとしての見取り図データを生成し得るとともに、その全体像の画像データで得られていない死角部等を予測して表示する等、未撮像部分や撮像方向等を提示して、撮像をガイドする撮像ガイド情報を生成することができる。

大量に取得された一連の画像データをあとで整理する際には、画像データのみで撮像エリアや撮像ポイントを特定することが困難であったが、本実施形態の撮像装置においては、全体像の撮像を行えば、その全体像の画像データに基いて簡単な見取り図を作成することができ、この見取り図データに関連する構造物について、それ以降に撮像される個々の撮像データは、自動的に上記見取り図データに関連付けられるので、例えば後日の画像整理時にも容易に特定が可能となる。したがって、確実かつ正確な画像整理を行うことができる。なお、ここでは、見取り図に表示した後、ガイド情報を表示しているが、死角情報を実写結果に拡張現実表示するような表現方法で、ユーザーにガイド情報を提供してもよい。

［第２の実施形態］
ところで、近年、ラジオコントロール式若しくは自律飛行を行い得る小型無人飛行体（いわゆるドローン等と呼ばれる飛行体）に撮像装置を搭載して飛行させ、上空からの動画像若しくは静止画像を手軽に撮像することができるようになっている。このような技術を利用すれば、例えば自然災害若しくは事故の現場等、人間が容易に入り込めないような地域であっても、上空から撮像を行うことで容易にその全体状況を把握することができると共に、取得した全体像の画像を観察することで個々の部分状況を確認し、必要に応じて、その部分状況に関するさらなる詳細な撮像を行なうことができ、よって詳細状況の確認が可能となっている。

そのような場合においても、例えば全体像の画像データを撮像することにより、簡単な見取り図データを生成し得れば至便である。次に説明する本発明の第２の実施形態は、このような状況を想定した場合の例示である。

図９は、本発明の第２の実施形態の撮像装置（カメラ）を用いて撮像動作を行なう際の状況を示す概念図である。図１０は、図９の撮像状況下で取得される補助データ（見取り図データ）の表示例である。

図８に示す例は、例えば建築物３００等を含む撮像対象領域（具体的に言えば例えば災害現場若しくは事故現場等）の上空において、撮像装置１を搭載した小型無人飛行体２１を飛行させながら、上記撮像装置１の遠隔操作を行って撮像を行う状況を示している。

この場合において、まず、撮像装置１を遠隔操作することによって、当該撮像対象領域における建築物３００を含む所定の範囲の全体像を１つの画像データとして取得する。このとき、カメラ１の姿勢は、小型無人飛行体２１側の自律飛行制御によってある程度の安定した姿勢を保持させることができる。なお、カメラ１の姿勢制御を完全に行うことができないとしても、取得した画像データにおいて、画像内の直線を基準とし、姿勢センサ１７ａ，方位センサ１７ｃ等の検出結果を参照しながら水平垂直を規定するようにしてもよい。なお、図９に示す例では、建造物３００は、複数の略立方体形状３０１，３０２を組み合わせた構造からなるものとしている。

こうして撮像対象領域の全体像の画像データが取得されると、この画像データに基いて、カメラ１の画像処理制御部１１は各種の信号処理を実行し、例えば構造物輪郭判定部１１ｂによって画像内の建造物３００の輪郭部分を判定して直方体検出処理を行い、補助データである見取り図データを生成する処理等が実行される。この場合における見取り図データとは、例えば撮像対象領域における建造物の概略的な配置を示す俯瞰見取り図のデータである。また、さらに死角予測部１１ｄによって、上記見取り図データ上に付加する情報、即ち例えば各建造物の死角部位，死角範囲等に関する撮像ガイド情報等を生成する。 このようにして生成された見取り図データは、図１０に示すような形態で表示部１８の表示画面に表示されると同時に、例えば記録部１４等の所定の記憶領域に記憶される。

図１０においては、表示部１８の表示画面の表示領域全体を用いて、上記見取り図データに基いて生成された見取り図画像１８ａが表示されている形態を示している。このとき、表示部１８の表示画面の一隅部分には、例えば表示中の画像が「見取り図データ」である旨を示す表示１８ｄと、戻るアイコン１８ｂと、全体像を撮像したときのカメラ１の位置及び方向を示す矢印アイコン１８ｃ等が表示されている。

また、図１０においては、建造物３００の一部であって、全体像を撮像したときのカメラ１の位置から死角となる部位，範囲に対し、輪郭線を太線若しくは色付けする手段等によって表示し、符号ＤＡを付している。この部位ＤＡを死角表示というものとする。このように表示される死角表示ＤＡは、当該建造物３００を対象として詳細な撮像を行う際の撮像ガイド情報となる。

なお、図１０においても、各符号は当該表示を説明するために付しているものであって、実際に表示部１８の表示画面に見取り図データが表示されるのに際し、これらの符号が表示されるものではないのは、上述の第１の実施形態における図３，図４と同様である。その他の表示体系や、作用についての細かい点においては、上述の第１の実施形態と略同様である。

このように構成される本実施形態のカメラ１の作用の主な制御処理シーケンスは、上述の第１の実施形態と略同様である。なお、本実施形態においては、死角予測処理の処理シーケンスにおいて若干異なる。したがって、本実施形態のカメラにおける作用のうち上述の第１の実施形態のカメラとは異なる部分についてのみ、以下に説明する。図１１は、本発明の第２の実施形態の撮像装置（カメラ）における作用のうち死角予測処理（図５のステップＳ１１１の処理に相当する処理）の詳細を示すフローチャートである。

ステップＳ２０１，Ｓ２０２の処理は、上述の第１の実施形態（図７参照）と同様である。なお、本実施形態において、ステップＳ２０２の姿勢アドバイス処理は、小型無人飛行体２１の操縦者に対するアドバイス表示としてもよいし、当該小型無人飛行体２１が自律型制御である場合には、当該小型無人飛行体２１の制御部へのアドバイス指示制御であってもよい。

ステップＳ２０３Ａにおいて、画像処理制御部１１の制御部は、構造物輪郭判定部１１ｂ等によって、上記全体像を撮像した画像データについての画像信号処理を実行する。この場合における画像信号処理は、例えば画像内において、水平ライン（屋上の境界を示すライン；図９参照）を判定し、また、上記判定された水平ラインの左右端に垂直ラインが存在するか否かの確認を行う。ここで、左右端の垂直ラインは、例えば図９に示す例において、建造物３００の左右両端の垂直の輪郭線を想定している。つまり、左右端部の垂直ラインと、屋上の境界水平ラインとを確認することで、対象とする建造物３００の屋上領域が判定される。ここで、屋上判定がなされない場合には、ステップＳ２０４Ａの処理に進む。一方、屋上判定がなされた場合、ステップＳ３０５の処理に進む。

ステップＳ２０４Ａにおいて、画像処理制御部１１の制御部は、表示制御部１１ａ，ガイド表示制御部１１ｃによって表示部１８等を制御して、画角，距離，高度等に関するアドバイス処理を実行する。その後、ステップＳ２０３Ａの処理に戻る。

ステップＳ３０５において、画像処理制御部１１の制御部は、屋上輪郭が完結しているか否かを確認する。屋上輪郭が完結しているとは、建造物３００において、例えば複数の直方体形状３０１，３０２の全ての屋上部分についての検出が行われたか否かの確認である。ここで、屋上輪郭が完結している場合には、次のステップＳ３０７の処理に進む。また、屋上輪郭が完結していない場合には、ステップＳ２０３Ａの処理に戻り、以降の処理を繰り返す。

ステップＳ３０７において、画像処理制御部１１の制御部は、上述のステップＳ２０３Ａの処理における構造物輪郭判定部１１ｂ等による判定の結果、上記全体像の画像内での直方体検出処理を行う。この場合における直方体検出処理においては、例えばさらに色の均一性も考慮に入れた処理を実行する。

続いて、ステップＳ３０８において、画像処理制御部１１の制御部は、全体像の画像内における位置，距離に応じて検出した各直方体３０１，３０２の配置を推測し、全体像の見取り図化、即ち撮像対象領域を撮像した全体像に基く俯瞰見取り図を生成する。その後、ステップＳ３０９の処理に進む。なお、上述のステップＳ３０８の処理は、上記第１の実施形態における図７のステップＳ２０８と同じ処理である。

続いて、ステップＳ３０９において、画像処理制御部１１の制御部は、上述の処理にて検出された屋上輪郭を構成する複数の輪郭線のうちの２つの輪郭と上記直方体の１本の垂直ラインとの３つの輪郭（図９の符号ＯＳ参照）が鈍角で一点で繋がるか（交わっている交点があるか；図９の符号Ｓ１参照）否かの確認を行う。ここで、当該交点（符号Ｓ１）が存在する場合には、ステップＳ３１０の処理に進む。また、上記交点が存在しない場合には、一連の処理を終了し、元のシーケンスに戻る（リターン）。

ステップＳ３１０において、画像処理制御部１１の制御部は、上記３つの輪郭（図９の符号ＯＳ参照）のうちの垂直ラインの対角（図９の符号Ｓ２参照）を含む二面を死角面とする。その後、一連の処理を終了し、元のシーケンスに戻る（リターン）。その他の作用は、上述の第１の実施形態と同様である。

以上説明したように、上記第２の実施形態においても、上述したような状況下、即ち例えばドローン等の小型無人飛行体を用いるような広範囲な撮像領域を対象とした場合においても、上述の第１の実施形態と略同様の効果を得ることができる。

上述の各実施形態で説明した各処理シーケンスは、その性質に反しない限り、手順の変更を許容し得る。したがって、上述の処理シーケンスに対して、例えば各処理ステップの実行順序を変更したり、複数の処理ステップを同時に実行させたり、一連の処理シーケンスを実行する毎に、各処理ステップの順序が異なるようにしてもよい。即ち、特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。また、これらの動作フローを構成する各ステップは、発明の本質に影響しない部分については、適宜省略も可能であることは言うまでもない。

また、ここで説明した技術のうち、主にフローチャートで説明した制御や機能は、多くがソフトウエアプログラムにより設定可能であることが多くあり、そのソフトウエアプログラムをコンピュータが読み取り実行することで上述した制御や機能を実現することができる。そのソフトウエアプログラムは、コンピュータプログラム製品として、予め製品製造過程において上記記憶媒体や記憶部等、具体的には例えばフレキシブルディスク，ＣＤ−ＲＯＭ等，不揮発性メモリ等の可搬媒体や、ハードディスク，揮発性メモリ等の記憶媒体に、その全体あるいは一部を記憶又は記録されている電子データである。また、これとは別に、製品出荷時又は可搬媒体或いは通信回線を介して流通又は提供が可能なものである。利用者は、製品出荷後であっても、自ら通信ネットワーク，インターネット等を介して、それらのソフトウエアプログラムをダウンロードしてコンピュータにインストールしたり、あるいは記憶媒体からコンピュータにインストールすることで、動作可能にすることができ、これによって容易に本実施形態の撮像装置を実現することができる。

なお、本発明は上述した実施形態に限定されるものではなく、発明の主旨を逸脱しない範囲内において種々の変形や応用を実施し得ることが可能であることは勿論である。さらに、上記実施形態には、種々の段階の発明が含まれており、開示される複数の構成要件における適宜な組み合わせによって、種々の発明が抽出され得る。例えば、上記一実施形態に示される全構成要件から幾つかの構成要件が削除されても、発明が解決しようとする課題が解決でき、発明の効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

本発明は、デジタルカメラ等の撮像機能に特化した撮像措置に限られることはなく、撮像、観察機能を備えたその他の形態の電子機器、例えばムービーカメラ，携帯電話，スマートフォン，電子手帳，電子辞書，携帯情報端末，パーソナルコンピュータ，タブレット型端末機器，ゲーム機器，テレビ，時計，ＧＰＳ（Global Positioning System）を利用したナビゲーション機器等、各種の音声記録再生機能付き電子機器に対し広く適用することができる。産業用の機器などは、建築物に準ずる構造体を検査する場合が多いが、こうした検査装置に本願のガイド表示を応用してもよい。

１……カメラ，
１１……画像処理制御部，
１１ａ……表示制御部，
１１ｂ……構造物輪郭判定部，
１１ｃ……ガイド表示制御部，
１１ｄ……死角予測部，
１１ｅ……直方体予測部，
１１ｆ……撮像面判定部，
１２……撮像部，
１３……通信部，
１４……記録部，
１６……操作判定部，
１７ａ……姿勢センサ，
１７ｂ……ＧＰＳ，
１７ｃ……方位センサ，
１８……表示部，
１９……タッチパネル，
２１……小型無人飛行体，

Claims (5)

1. 構造物の光学像を受けて画像データを生成する撮像部と、
   上記撮像部によって生成された画像データに基づいて画像を表示する表示部と、
   上記構造物の輪郭を判定する輪郭判定部と、
   上記構造物の輪郭の複数の輪郭線の交点を検出して当該構造物の形状を予測し、上記検出した輪郭線の交点及び上記予測した構造物の形状に基づいて上記構造物の撮像推奨領域を特定し、上記撮像推奨領域内における個々の構造物を撮像対象とする撮像動作において、必要とする撮像を漏れなく撮像し得るようにガイドする撮影ガイド情報を生成する領域特定部と、
   上記撮影ガイド情報を上記表示部に表示させる表示制御部と、
   を有し、
   上記領域特定部は、上記特定した構造物の撮像推奨領域のうち、上記構造物の光学像を受けて得られた画像データにおいて撮影されなかった死角となる撮影可能な構造物の面である死角領域を、床や天井または壁面と当接して生じる輪郭が交差するラインを含む面の背面側を死角部として推測し設定することを特徴とする撮像装置。
2. 上記輪郭判定部は、上記構造物が直方体であることを予測し判定することを特徴とする請求項１に記載の撮像装置。
3. 上記撮影ガイド情報は、上記領域特定部によって特定される上記撮像推奨領域であることを特徴とする請求項１に記載の撮像装置。
4. 構造物の光学像を受けて画像データを生成するステップと、
   上記生成された画像データに基づいて画像を表示するステップと、
   上記構造物の輪郭を判定するステップと、
   上記構造物の輪郭の複数の輪郭線の交点を検出して当該構造物の形状を予測する検出・予測ステップと、
   上記検出・予測ステップにおいて検出した輪郭線の交点及び予測した構造物の形状に基づいて上記構造物の撮像推奨領域を特定し、上記特定した構造物の撮像推奨領域のうち、上記構造物の光学像を受けて得られた画像データにおいて撮影されなかった死角となる撮影可能な構造物の面である死角領域を、床や天井または壁面と当接して生じる輪郭が交差するラインを含む面の背面側を死角部として推測し設定し、上記撮像推奨領域内における個々の構造物を撮像対象とする撮像動作において、必要とする撮像を漏れなく撮像し得るようにガイドする撮影ガイド情報を生成する領域特定ステップと、
   撮影ガイド情報を表示するステップと、
   を含むことを特徴とする撮像方法。
5. 構造物の光学像を受けて画像データを生成し、
   上記生成された画像データに基づいて画像を表示し、
   上記構造物の輪郭を判定し、
   上記構造物の輪郭の複数の輪郭線の交点を検出して当該構造物の形状を予測し、
   上記検出した輪郭線の交点及び予測した構造物の形状に基づいて上記構造物の撮像推奨領域を特定し、上記特定した構造物の撮像推奨領域のうち、上記構造物の光学像を受けて得られた画像データにおいて撮影されなかった死角となる撮影可能な構造物の面である死角領域を、床や天井または壁面と当接して生じる輪郭が交差するラインを含む面の背面側を死角部として推測し設定し、上記撮像推奨領域内における個々の構造物を撮像対象とする撮像動作において、必要とする撮像を漏れなく撮像し得るようにガイドする撮影ガイド情報を生成し、
   撮影ガイド情報を表示する撮像方法をコンピュータに実行させる撮像プログラム。

Images