JP6779683B2 - 画像検索装置、画像検索方法及びプログラム - Google Patents

Description

本発明は、画像検索装置及び方法に関するもので、多数撮影された画像を分類する画像検索の技術に関する。

業務に関し行われる撮影では、多数の画像が撮影され、その中から条件にあった画像が選択され使用されることが多い。例えば、工事現場で施工状態を記録する撮影では、撮影の失敗や撮影もれが許されないので、同じ場所でも予備として複数枚撮影が行われるため、１つの現場でも撮影枚数が数百枚〜数千枚単位となる。このような大量の画像を管理するには、大きな労力を要する。また、施工状態の記録では、工程の段階に従い撮影が可能な期間が限定される施工部分の撮影もあるため、撮影日程の管理も煩雑であった。

一方、業務用の撮影の世界でもデジタル化が進み、画像の管理も各段に進化しているが、画像数が多いため依然として管理は煩雑である。特にある施工状態の１箇所の撮影に対して、予備も含め複数枚撮影を行うと、それらに対して代表画像を選別するという作業が必要になる。建築物の規模が大きくなると、全画像数が数千〜数万枚になるので、代表画像の選別作業も短時間でできるものではなく、現場監督など工程管理者が資料を作成する上で大きな負担となっている。

代表画像を自動的に選別する選別技術の一例として、特許文献１が提案されている。特許文献１の技術では、構図等が類似する画像を画像群としてまとめ、この画像群の中からベストな代表画像の選出を行う。

また、一連の画像の中から、撮影者が画像群を指定する技術も提案されている。例えば、特許文献２では、通常の撮影とは異なる画像を区切りのための段落画像として記録する技術が提案されている。特許文献２で挙げられる段落画像は「単色またはブルーバック」、あるいは「他の画像と異なる特殊な形状」で、画像フレームに矢印を付与し、通常の画像とフレームそのものを変更させたりする。

特開２０１５−８３８５号公報 特開２００８−１４１２７０号公報

特許文献１では、構図の類似した画像を集めて画像群を生成している。このやり方では、工事現場のような似たような構図が多い環境では、実際には異なる画像群が１つの画像群として設定されてしまうという問題が生じる。

実際の工事現場では、工事の進捗状況管理のため、同じ現場でも複数に分かれて作業が行われることも多い。このような場合には、それぞれの作業を撮影した画像を、別々の画像群として管理することが求められる。しかし、特許文献１の技術では、作業現場が同じであるために１つの画像群にまとめられてしまう可能性がある。また、特許文献１の技術では、同じ現場でもアングルなどを変えて撮影された画像は同じ画像群として扱われない可能性もある。いずれにせよ、特許文献１の技術では、撮影者の意図するように画像群を設定することは難しい。

また、特許文献２で挙げられる段落画像は「単色またはブルーバック」、あるいは「他の画像と異なる特殊な形状」である。つまり、特許文献２の段落画像は、画像フレームに矢印を付与したり、通常の画像に対してフレームそのものを変更させた画像で、表示や記録に特殊な加工を必要とする画像で、現場での採用は難しい。
本願発明は、上記課題に鑑み、一連の撮影画像を画像群に分類する画像検索装置、画像検索方法及びプログラムを提供することを目的とする。

上記目的を達成するために、一連の撮影画像から、第一の特徴物が被写体に含まれる画像を第一の画像と判定し、前記第一の画像よりも後に撮影された画像であって第二の特徴物が被写体に含まれる画像を第二の画像と判定する判定部と、前記一連の撮影画像の中から、前記第一の画像が撮影されてから前記第二の画像が撮影されるまでの期間で撮影された画像を画像群に設定する画像群設定部と、前記画像群の中から代表画像を抽出する代表画像抽出部と、を備え、更に、前記判定部は、被写体に第三の特徴物が含まれる画像を第三の画像と判定し、前記画像群設定部は、前記画像群に含まれる画像を、前記第三の画像より以前に撮影された画像と、前記第三の画像より以降に撮影された画像に分割して、複数の画像副群を設定し、前記代表画像抽出部は、前記設定された画像副群ごとに前記代表画像を抽出する。

本発明によれば、一連の撮影画像を画像群に分類する画像検索装置、画像検索方法及びプログラムを提供することができる。

本発明の実施の形態に係る、撮影システムの全体図である。 本発明の実施の形態に係る、情報処理装置のハードウェア構成図である。 本発明の実施の形態に係る、情報処理装置を主とする機能ブロック図である。 第１実施形態における、第一及び第二の特徴物の撮影場面の一例を示す図である。 第１実施形態における、一連の撮影画像の例である。 第１実施形態における、画像検索処理のフローチャートである。 第１実施形態における、抽出条件設定画面を示す図である。 第１実施形態における、画像群設定処理１のサブルーチンである。 第１実施形態における、代表画像抽出処理のサブルーチンである。 第１実施形態における、画像スコア算出処理のサブルーチンである。 第１実施形態における、最頻画像スコア加算処理のサブルーチンである。 第１実施形態における、露出スコア加算処理のサブルーチンである。 第１実施形態における、被写体ぶれスコア加算処理のサブルーチンである。 第１実施形態における、合焦スコア加算処理のサブルーチンである。 第１実施形態における、算出されたスコアを示す表である。 第２実施形態における、第三の特徴物の撮影場面の一例を示す図である。 第２実施形態における、一連の撮影画像の例である。 第２実施形態における、画像群設定処理２のサブルーチンである。 第３実施形態における、一連の撮影画像の例である。 第３実施形態における、画像検索処理のフローチャートである。 第３実施形態における、画像群設定処理３のサブルーチンである。

以下、図面に従って本発明の実施形態を説明する。図１は、撮影システム１の構成例を示すブロック図である。なお、以下では、本発明の撮影対象として、工事現場の工事箇所（例えば、柱、壁等々）を撮影対象として記録する例を説明するが、撮影対象が工事箇所に限定されるものではない。多数の画像を記録するような業態であれば、工事現場の撮影でなくとも、本発明の適用対象となる。例えば、自然観察の記録やプラントの点検作業の記録等も対象となる。なお、工事箇所を撮影した画像を工事画像と称す。

撮影担当者（以下、撮影者と略す）はカメラ５で、工事箇所を撮影する。撮影者は、カメラ５を情報処理装置６に接続して、撮影画像（工事画像）を情報処理装置６に出力して保存する。情報処理装置６は、例えばＰＣ（Personal computer）である。情報処理装置６は、一連の撮影画像に対して画像検索処理を実行する。画像検索処理とは、複数の撮影画像を工事対象ごとに画像群に区分けして、区分けした画像群ごとに代表画像を抽出する等の処理である。情報処理装置６は、画像検索処理の完了した撮影画像をネットワーク７を介してサーバ８に送信する。サーバ８は、受信した撮影画像をデータベース（不図示）に保管する。以下で、情報処理装置６による画像検索処理を詳細に説明する。

図２は、情報処理装置６のハードウェアブロック図である。情報処理装置６は、ＣＰＵ２０、ＲＡＭ３０、メモリ部４０、通信部５０、記憶装置６０、表示部７０及び操作部８０等を備える。ＣＰＵ２０は、プログラムを読込み、読込んだプログラムを実行して、所定の処理を実現する。

ＲＡＭ３０は、プログラムや画像データを一時的に記憶する一時記憶部である。ＲＡＭ３０は、例えば、ＤＲＡＭ（Dynamic Random Access Memory）である。メモリ部４０は、各種テーブルやプログラムあるいは画像データ等を不揮発的に記憶する記憶部である。メモリ部４０は、例えば、フラッシュメモリである。

通信部５０は、外部機器とのデータ通信を行う通信インターフェースである。通信部５０は、例えば、ＬＡＮ（Local Area Network）やＷＡＮ（Wide Area Network）等々の方式に対応する。記憶装置６０は、画像データ等を不揮発的に記憶する記憶部である。記憶装置６０は、ＨＤＤ（Hard Disk Drive）やフラッシュメモリである。表示部７０は、各種操作用の画面やメッセージあるいは撮影画像を表示するものである。操作部８０は、撮影者が指示内容を入力するもので、キーボード、マウスやタッチパネルいずれでもよい。

図３は、情報処理装置６を主にする機能ブロック図である。情報処理装置６は、通信部５０、記憶装置６０に加えて、画像管理装置１００と画像検索装置１１０を有する。画像管理装置１００と画像検索装置１１０は、プログラムを読込んだＣＰＵ２０により実現される機能部である。

画像管理装置１００は、画像データの送受信や記録等を管理するものである。画像管理装置１００は、カメラ５から送信された、一連の撮影画像の画像データを記憶装置６０に記憶する。また、画像管理装置１００は、画像データを通信部５０を介して、ネットワーク７経由でサーバ８に送信する。また、画像管理装置１００は、画像検索装置１１０からの指示により、画像データのフォーマットや圧縮率を変更して記憶装置６０に記憶する。また、画像管理装置１００は、画像データのフォーマットや圧縮率を変更してサーバ８に送信する。

画像検索装置１１０は、画像検索制御部１２０、画像群処理部１３０及び代表画像抽出部１４０を有する。画像検索制御部１２０は、画像検索装置１１０の全体を制御するものである。また、画像検索制御部１２０は、画像管理装置１００に画像データのフォーマットや圧縮率の変更の指示や、サーバ８への送信等の指示をする。

画像群処理部１３０は、一連の撮影画像を、撮影者の意図に即して分類（区分け）するものである。分類される１以上の撮影画像のグループを画像群と呼ぶ。画像群処理部１３０は、一連の撮影画像から、特定の被写体が撮影された画像を検出して、特定の被写体が撮影された画像の位置によって画像群を設定する。以下では、特定の被写体を特徴物と呼び、特徴物が撮影された画像を特徴画像と呼ぶ。また、特徴物は、複数種類を登録することができ、複数の特徴物を使い分けることで、一連の撮影画像の分類や後処理を容易にすることができる。また、本実施形態での工事物のような本来の撮影対象を撮影した画像を、特徴画像と区別するため、対象物画像とも呼ぶ。

特徴物として、第一の特徴物、第二の特徴物、第三の特徴物、第四の特徴物及び第五の特徴物を説明する。第一の特徴物を含む画像を第一の画像と呼び、第二の特徴物以下も同様とする。

第一の画像は、画像群の開始位置を示す画像で、第二の画像は、画像群の終了位置を示す画像である。つまり、画像群の開始位置で第一の特徴物を撮影し、画像群の終了位置で第二の特徴物を撮影しておけば、この期間に撮影された1以上の画像が、画像群として設定される。第一の画像と第二の画像については、第１実施形態で後述する。

第三の画像は、第一の画像と第二の画像によって設定される画像群を、さらに分割する場合に、分割位置を示す画像となる。つまり、分割希望の位置で第三の特徴物を撮影しておけば、画像群をその位置で分割することができる。第三の画像によって分割されたグループを画像副群と呼ぶ。第三の画像については、第２実施形態で後述する。

また、第四の画像は画像群設定のための検索処理の開始位置を示す画像で、第五の画像は画像群設定のための検索処理の終了位置を示す画像となる。後述するように、特徴物は任意の被写体を登録することができるため、平凡な被写体が特徴物として登録されると、画像群の開始や終了位置が誤検出されるおそれがでる。画像検索処理の開始と終了の位置を示す第四の画像、第五の画像を使用することで、画像群の誤検出を効果的に防止することができる。第四の画像、第五の画像については、第３実施形態で後述する。

画像群処理部１３０は、特徴物登録部３１０、判定部３２０及び画像群設定部３３０を有する。特徴物登録部３１０は、撮影者の指示や選択により、画像群や画像副群等を設定するための特徴物を登録するものである。撮影者は任意の被写体を特徴物として登録することができる。特徴物は、人体の一部（手、足、顔）や物体（帽子、ノート）でもよいし、ジェスチャーや、黒板等に書いた文字や図形でもよい。

特徴物登録部３１０は、画面の中央の一定領域にある被写体を特定し、その画像データを解析して、特定した被写体の形状や色のパターン等を特徴物データとして検出し、撮影した特徴画像と共に特徴物データをメモリ部４０に登録する。

具体的な登録操作として、特徴物登録部３１０は、一連の撮影とは違う場面で、カメラ５で特徴物を撮影しておいて、操作部８０で登録の操作を行ってもよい。この登録操作は、一連の撮影の前あるいは後のいずれでもよい。

また、撮影者は、一連の撮影の前に自分で特徴物を決めておき、一連の撮影中での画像群の切換りの位置等で、決めたおいた特徴部を撮影してもよい。そして、撮影後に一連の撮影画像を再生して特徴画像を探して１回だけ登録操作すればよい。一連の撮影画像の中で、最初に出現した特徴画像を登録しておけば、以降で繰り返し出現する特徴画像は自動で検出される。

あるいは、撮影者が、一連の撮影開始前に、過去に登録されメモリ部４０に記憶された特徴画像の中から、今回の使用する特徴画像を決めて、登録してもよい。撮影者は、登録した特徴画像を憶えておいて、一連の撮影中に同等な被写体を、画像群の切換りの位置等で撮影すればよい。

判定部３２０は、特徴物登録部３１０によって登録された特徴物データを参照して、特徴物データと類似したパターンの被写体を撮影画像の中から検出する。そして、判定部３２０は、検出された特徴物の種類を判定する。

画像群設定部３３０は、判定された特徴画像の種類とその撮影日時あるいは撮影順番によって、画像群を設定する。例えば、画像群設定部３３０は、第一の画像が撮影されてから第二の画像が撮影されるまでの期間中に撮影された画像を、画像群に設定する。また、判定部３２０により第三の画像が判定された場合には、画像群設定部３３０は、設定された画像群を、第三の画像より以前に撮影された画像と、前記第三の画像より以降に撮影された画像に分割して、複数の画像副群を設定する。

代表画像抽出部１４０は、画像群処理部１３０により設定された画像群や画像副群に含まれる複数の撮影画像の中から、所定の抽出条件に基づき、代表画像を抽出する。代表画像抽出部１４０は、抽出条件設定部４１０、最頻画像スコア算出部４２０、露出スコア算出部４３０、被写体ぶれスコア算出部４４０及び合焦スコア算出部４５０及びを有する。

抽出条件設定部４１０は、撮影者の指示に基づき、抽出条件を設定する。最頻画像スコア算出部４２０は、画像群や画像副群に含まれる複数の撮影画像について、主被写体の形状や構図を判定する。次に、最頻画像スコア算出部４２０は、判定した主被写体の形状や構図に基づき、主被写体の形状や構図が相互に類似する撮影画像をグループ化して、いくつかのグループに分類する。そして、最頻画像スコア算出部４２０は、画像数の多いグループに属する画像に対してスコア（点数）を高くする。相互に類似する撮影画像の数の少ないグループに属する撮影画像は、スコアが低くなる。

露出スコア算出部４３０は、設定された画像群や画像副群に含まれる各撮影画像について、主被写体の画像データの輝度値に基づき露出の適正度を判定し、露出の適正度に応じてスコアで算出する。露出スコア算出部４３０は、露出の適正度の高い撮影画像に対し、スコアを高くする。

被写体ぶれスコア算出部４４０は、設定された画像群や画像副群に含まれる各撮影画像について、主被写体の画像データのエッジ検出等に基づき被写体のぶれ量を計測し、被写体ぶれのスコアを算出する。被写体ぶれスコア算出部４４０は、被写体のぶれ量が少ない撮影画像に対し、スコアを高くする。

合焦スコア算出部４５０は、設定された画像群や画像副群に含まれる各撮影画像について、主被写体の画像データの高周波成分に基づき、主被写体の合焦度のスコアを算出する。合焦スコア算出部４５０は、主被写体の合焦度の高い撮影画像に対し、スコアを高くする。

一例として、最頻画像スコア等の各スコアを０〜９の１０段階の数値とする。例えば、最頻画像スコア算出部４２０は、画像数の多い分類に属する画像に対して９点を算出する。露出スコア、被写体ぶれのスコア及び合焦スコアも同様である。

代表画像抽出部１４０は、設定された画像群や画像副群に含まれる各撮影画像について、最頻画像スコア、露出スコア、被写体ぶれのスコア及び合焦スコアを合計して、合計スコアを算出する。代表画像抽出部１４０は、設定された画像群や画像副群に含まれる各撮影画像の中で、合計スコアの最大の撮影画像を代表画像として抽出する。なお、代表画像抽出部１４０は、代表画像を１つでなく、複数抽出するようにしてもよい。

〔第１実施形態〕
次に、第１実施形態を説明する。第１実施形態は、第一の特徴物と第二の特徴物を撮影することによって画像群を設定し、設定された画像群の中から代表画像を抽出する例である。図４は、第一の特徴物と第二の特徴物の撮影を含む一連の撮影シーンを具体的に示した図である。

撮影シーンＳｃ１は、画像群の撮影の開始時に第一の特徴物ｐ１が撮影される場面である。ここでは、広げた手を第一の特徴物ｐ１としている。第一の特徴物ｐ１の撮影後、実際の被写体（対象物）の撮影が、必要な枚数分だけ行われる。撮影シーンＳｃ２は、実際の被写体、ここでは工事箇所（柱）の撮影シーンの例である。撮影シーンＳｃ３は、画像群の撮影の終了時に第二の特徴物ｐ２が撮影される場面である。ここでは、握った手を第二の特徴物ｐ２としている。

図５は、図４で示した一連の撮影シーンで撮影された撮影画像を撮影の早い順から並べた図である。画像Ｄ１は、最初に撮影された画像で、画像Ｄ１２が最後に撮影された画像である。なお、画像Ｄ１は、画像群の撮影前に撮影された画像である。画像Ｄ２が、広げた手である第一の特徴物ｐ１を含む第一の画像である。画像Ｄ１２が、握った手である第二の特徴物ｐ２を含む第二の画像である。画像Ｄ２と画像Ｄ１２が、特徴画像である。画像Ｄ１及び画像Ｄ３〜画像Ｄ１１が、工事物が撮影された対象物画像であるが、第一の画像（画像Ｄ２）と第二の画像画像（画像Ｄ１２）の間にある画像Ｄ３〜画像Ｄ１１が画像群となる。

図６は、第１実施形態における、画像検索処理の全体の手順を示すフローチャートである。画像検索装置１１０は、画像検索処理の開始時に、画像検索、抽出条件設定及び特徴物登録の３つコースを表示部７０に表示して（ステップＳ１０）、撮影者にコースの選択を促す。画像検索装置１１０は、特徴物登録が選択された場合には、特徴物登録部３１０に特徴物の登録処理を実行させる（ステップＳ１２）。例えば、特徴物の登録処理では、撮影者は、一連の撮影とは別な場面で、第１の特徴物と第２の特徴物を、順番にカメラ５に向けて撮影して登録する。特徴物登録部３１０は、第１の特徴物と第２の特徴物がそれぞれ撮影された特徴物画像や特徴データをメモリ部４０に登録する。

画像検索装置１１０は、抽出条件設定が選択された場合には、抽出条件設定部４１０に抽出条件の設定処理を実行させる（ステップＳ１４）。図７は、情報処理装置６の表示部７０に表示される抽出条件設定画面の例を示す図である。抽出条件設定画面は、最頻画像等の抽出条件モードのオンオフや、各モード間での優先順位を設定する画面である。

表示部７０の画面７０ａは、最頻画像がＯＮ、最適露出がＯＦＦ、ぶれ検出がＯＦＦ、合焦検出がＯＦＦに、それぞれ設定された状態を示す。画面７０ａでの設定によれば、最頻画像スコア算出部４２０は有効になるが、露出スコア算出部４３０・被写体ぶれスコア算出部４４０及び合焦スコア算出部４５０は無効となる。

画面７０ｂは、最頻画像がＯＮ、最適露出がＯＦＦ、ぶれ検出がＯＮ、合焦検出がＯＦＦに、それぞれ設定された状態を示す。最頻画像スコア算出部４２０及び被写体ぶれスコア算出部４４０は有効になるが、露出スコア算出部４３０及び合焦スコア算出部４５０は無効となる。

画面７０ｃは、優先度が設定された状態を示す。画面７０ｃでは、最頻画像が優先度１、最適露出がＯＦＦ、ぶれ検出が優先度３、合焦検出が優先度２に、それぞれ設定された状態を示す。優先度１の最頻画像スコア算出部４２０のスコアに最大の重み付けがされ、合焦スコア算出部４５０のスコアに２番目の重み付けがされ、被写体ぶれスコア算出部４４０に３番目の重み付けがされる。例えば、最頻画像スコアが３倍にされ、合焦スコアが２倍にされ、被写体ぶれスコアはそのまま（１倍）とされる。露出スコア算出部４３０は無効となる。

図６に戻る。画像検索装置１１０は、画像検索が選択された場合には、画像検索処理を開始する（ステップＳ１６）。画像群処理部１３０は、画像群設定処理を行う（ステップＳ２０）。

図８は、画像群設定処理１の手順を説明するフローチャートである。画像検索制御部１２０は、記憶装置６０に保存された撮影画像の画像データを、撮影日時の早い順（撮影順）に取得する（ステップＳ１１０）。図５の例では、画像Ｄ１の画像データが取得される。判定部３２０は、取得した画像データに対し、いずれかの特徴物が含まれているかを判定する（ステップＳ１１２）。判定部３２０は、取得した画像データが第一の特徴物を含む第一の画像であるかを判定する（ステップＳ１２０）。

判定部３２０は、取得した画像データが第一の画像であると判定すると（ステップＳ１２０のＹＥＳ）、画像群設定部３３０は、画像群開始フラグがオンであるかを判定する（ステップＳ１２２）。画像群開始フラグとは、画像群の開始を示すフラグで、第一の画像の判定があると、オフからオンに切換り、第二の画像の判定がされるとオンからオフに切換る。

画像群設定部３３０は、画像群開始フラグがオンであると判断すると（ステップＳ１２２のＹＥＳ）、設定エラーフラグをオンにする（ステップＳ１４６）。第一の画像の出現後であって第二の画像の出現前に、第一の画像が出現したので、画像群設定部３３０は、エラーと判断されるからである。

画像群設定部３３０は、画像群開始フラグがオンでないと判断すると（ステップＳ１２２のＮＯ）、画像群開始フラグをオンにして（ステップＳ１２４）、ステップＳ１４４に進む。図５の例では、画像Ｄ２の判定処理により画像群開始フラグがオンになる。

判定部３２０は、画像データが第一の画像ではないと判定すると（ステップＳ１２０のＮＯ）、画像データが第二の特徴物を含む第二の画像であるかを判定する（ステップＳ１２６）。判定部３２０は、画像データが第二の画像である判定すると（ステップＳ１２６のＹＥＳ）、画像群設定部３３０は、画像群開始フラグがオンであるかを判断する（ステップＳ１２８）。画像群設定部３３０は、画像群開始フラグがオンでないと判断すると（ステップＳ１２８のＮＯ）、ステップＳ１４６に進む。第一の画像の出現前に、第二の画像が出現したので、画像群設定部３３０は、エラーと判断されるからである。

画像群設定部３３０は、画像群開始フラグがオンであると判定すると（ステップＳ１２８のＹＥＳ）、画像群を設定し（ステップＳ１３０）、画像群開始フラグをオフにする。第一の特徴物と第二の特徴物が検出されたことで、対応する第一の画像と第二の画像間に挟まれた画像を画像群と設定できるからである。図５の例では、画像Ｄ１２の判定処理により、画像Ｄ３〜画像Ｄ１１が画像群として設定される。そして、図６のフローチャートのステップＳ２２に進む。

判定部３２０が、画像データが第二の画像ではないと判定すると（ステップＳ１２６のＮＯ）、画像群設定部３３０は、画像群開始フラグがオンであるかを判断する（ステップＳ１４０）。画像群設定部３３０は、画像群開始フラグがオンであると判断すると（ステップＳ１４０のＹＥＳ）、現画像データを画像群に組み入れる（ステップＳ１４２）。特徴画像ではない現在処理中の画像データが、第一の画像の後の画像であるので、画像群に含まれる対象物画像であると判断されるからである。画像群設定部３３０は、画像群開始フラグがオンでないと判断すると（ステップＳ１４０のＮＯ）、ステップＳ１４４に進む。この場合には、現在処理中の画像データが、特徴画像ではない対象物画像であっても、画像群には含まれない画像であると判断されるからである。

画像検索制御部１２０は、処理した画像データが、撮影順で最後の画像データであるかを判定する（ステップＳ１４４）。画像検索制御部１２０は、判定した画像データが、撮影順で最後の画像データではないと判断すると（ステップＳ１４４のＮＯ）、ステップＳ１１０に戻る。

画像検索制御部１２０は、判定した画像データが、撮影順で最後の画像データであると判断すると（ステップＳ１４４のＹＥＳ）、ステップＳ１４６に進む。検索した一連の撮影画像に、第一の画像と第二の画像の組が検出できなかったからである。ステップＳ１４６の後、画像検索制御部１２０は、図６のフローチャートのステップＳ２２に進む。

画像検索制御部１２０は、設定エラーフラグがオンであるかを判断する（ステップＳ２２）。画像検索制御部１２０は、設定エラーフラグがオンでないと判断すると（ステップＳ２２のＮＯ）、代表画像抽出部１４０に代表画像抽出処理を行わせる（ステップＳ２４）。

図９は、代表画像抽出処理の手順を示すサブルーチンである。代表画像抽出部１４０が、代表画像抽出処理を行う。代表画像抽出部１４０は、画像スコアを算出する（ステップＳ２００）。

図１０は、画像スコア算出処理の手順を示すサブルーチンである。画像スコア算出処理は、最頻画像スコア加算（ステップＳ２１０）、露出スコア加算（ステップＳ２２０）、被写体ぶれスコア加算（ステップＳ２３０）、合焦スコア加算（ステップＳ２４０）の各処理から構成される。各加算処理について順番に説明する。なお、各加算処理の順番は任意である。

図１１は、最頻画像スコア加算処理の手順を示すサブルーチンである。最頻画像スコア算出部４２０は、最頻画像フラグオンであるかを判断する（ステップＳ３１０）。図７で示したように、代表画像抽出条件で最頻画像がオンに設定されていれば、最頻画像フラグがオンとなる。

最頻画像スコア算出部４２０は、最頻画像フラグオンであると判断すると（ステップＳ３１０のＹＥＳ）、設定された画像群の各画像に対して、最頻画像スコアを算出する。前述のように、最頻画像スコア算出部４２０は、設定された画像群の画像を、主被写体の形状や構図の類似する同士をグループ化し、画像数の多いグループに属する画像に対して高いスコアを算出する（ステップＳ３１１）。

最頻画像スコア算出部４２０は、最頻画像に優先度が設定されているかを判断する（ステップＳ３１２）。最頻画像スコア算出部４２０は、最頻画像に優先度が設定されていると判断すると（ステップＳ３１２のＹＥＳ）、ステップＳ３１１で算出した最頻画像スコアに所定の重み付けをする（ステップＳ３１３）。前述のように、優先度１が設定されていた場合には、例えば、ステップＳ３１１で算出された スコアを３倍にする。

最頻画像スコア算出部４２０は、最頻画像に優先度が設定されていないと判断すると（ステップＳ３１２のＮＯ）、ステップＳ３１４に進む。最頻画像スコア算出部４２０は、画像スコアに、ステップＳ３１１の最頻画像スコアあるいはステップＳ３１３で重み付けされた最頻画像スコアを加算する（ステップＳ３１４）。最頻画像スコア算出部４２０は、ステップＳ３１４の処理後、あるいは最頻画像フラグオンでないと判断した後（ステップＳ３１０のＮＯ）、図１１の処理を終了して、図１０のステップＳ２２０に進む。

図１２は、露出スコア加算処理の手順を示すサブルーチンである。露出スコア算出部４３０は、露出フラグオンであるかを判断する（ステップＳ３２０）。図７で示したように、代表画像抽出条件で最適露出がオンに設定されていれば、露出フラグはオンとなる。露出スコア算出部４３０は、露出フラグオンであると判断すると（ステップＳ３２０のＹＥＳ）、設定された画像群の各画像に対して、露出の適正度に基づき、露出スコアを算出する（ステップＳ３２１）。

露出スコア算出部４３０は、最適露出に優先度が設定されているかを判断する（ステップＳ３２２）。露出スコア算出部４３０は、最適露出に優先度が設定されていると判断すると（ステップＳ３２２のＹＥＳ）、ステップＳ３２１で算出した露出スコアに所定の重み付けをする（ステップＳ３２３）。

露出スコア算出部４３０は、最適露出に優先度が設定されていないと判断すると（ステップＳ３２２のＮＯ）、ステップＳ３２４に進む。露出スコア算出部４３０は、露出スコアあるいは重み付けされた露出スコアを画像スコアに加算する（ステップＳ３２４）。露出スコア算出部４３０は、ステップＳ３２４の処理後、あるいは露出フラグオンでないと判断した後（ステップＳ３２０のＮＯ）、図１２の処理を終了して、図１０のステップＳ２３０に進む。

図１３は、被写体ぶれスコア加算処理の手順を示すサブルーチンである。被写体ぶれスコア算出部４４０は、被写体ぶれフラグオンであるかを判断する（ステップＳ３３０）。図７で示したように、代表画像抽出条件でぶれ検出がオンに設定されていれば、被写体ぶれフラグがオンとなる。被写体ぶれスコア算出部４４０は、被写体ぶれフラグオンであると判断すると（ステップＳ３３０のＹＥＳ）、設定された画像群の各画像に対して、被写体ぶれスコアを算出する（ステップＳ３３１）。

被写体ぶれスコア算出部４４０は、ぶれ検出に優先度が設定されているかを判断する（ステップＳ３３２）。被写体ぶれスコア算出部４４０は、ぶれ検出に優先度が設定されていると判断すると（ステップＳ３３２のＹＥＳ）、ステップＳ３３１で算出した被写体ぶれスコアに所定の重み付けをする（ステップＳ３３３）。

被写体ぶれスコア算出部４４０は、被写体ぶれに優先度が設定されていないと判断すると（ステップＳ３３２のＮＯ）、ステップＳ３３４に進む。被写体ぶれスコア算出部４４０は、被写体ぶれスコアあるいは重み付けされた被写体ぶれスコアを画像スコアに加算する（ステップＳ３３４）。被写体ぶれスコア算出部４４０は、ステップＳ３３４の処理後、あるいは被写体ぶれフラグオンでないと判断した後（ステップＳ３３０のＮＯ）、図１３の処理を終了して、図１０のステップＳ２４０に進む。

図１４は、合焦スコア加算処理の手順を示すサブルーチンである。合焦スコア算出部４５０は、合焦フラグオンであるかを判断する（ステップＳ３４０）。図７で示したように、代表画像抽出条件で合焦検出がオンに設定されていれば、合焦フラグがオンとなる。合焦スコア算出部４５０は、合焦フラグオンであると判断すると（ステップＳ３４０のＹＥＳ）、設定された画像群の各画像に対して、合焦スコアを算出する（ステップＳ３４１）。

合焦スコア算出部４５０は、合焦検出に優先度が設定されているかを判断する（ステップＳ３４２）。合焦スコア算出部４５０は、合焦検出に優先度が設定されていると判断すると（ステップＳ３４２のＹＥＳ）、ステップＳ３４１で算出した合焦スコアに所定の重み付けをする（ステップＳ３４３）。

合焦スコア算出部４５０は、合焦に優先度が設定されていないと判断すると（ステップＳ３４２のＮＯ）、ステップＳ３４４に進む。合焦スコア算出部４５０は、合焦スコアあるいは重み付された合焦スコアを画像スコアに加算する（ステップＳ３４４）。合焦スコア算出部４５０は、ステップＳ３４４の処理後、あるいは合焦フラグオンでないと判断した後（ステップＳ３４０のＮＯ）、図１４の処理を終了して、図１０に戻る。そして、図１０から、図９のステップＳ２０２に進む。

代表画像抽出部１４０は、設定された画像群の画像の中から、画像スコアが最大の画像を判定する（ステップＳ２０２）。図１５に、算出された各モードのスコアの例を表で示す。図１５のスコアは、図５で示した画像Ｄ３〜Ｄ１１に対応して算出されたスコアを例にしている。なお、本例では、最頻画像、最適露出、ぶれ検出及び合焦検出の全てのフラグがオンであるとする。また、優先度は設定されないものとする。

画像Ｄ３〜Ｄ１１について、算出された最頻画像スコア、露出スコア、被写体ぶれスコア及び合焦スコアが示される。例えば、最頻画像スコアでは、画像Ｄ３、Ｄ４、Ｄ５に対してスコアが低く算出され、同一構図の画像Ｄ７〜Ｄ１１に対してスコアが高く算出される。また、露出スコアでは、露光オーバの画像Ｄ９と露光アンダーの画像Ｄ１１に低いスコアが低く算出される。合計の画像スコアが、合計スコアの欄に示される。図１５の例では、代表画像抽出部１４０により、合計の画像スコアが３６点の画像Ｄ１０が代表画像として抽出される。

画像検索制御部１２０は、ステップＳ２０２で判定された代表画像を登録する（ステップＳ２０４）。具体的には、画像検索制御部１２０は、画像データのタグの一部を画像検索エリアに設定し、代表画像と判定された画像データについて、画像検索エリアに代表画像である旨の情報を書込むよう画像管理装置１００を制御する。

また、画像検索制御部１２０は、画像群に設定された画像データについて、各画像データのタグの画像検索エリアに、共通の画像群である旨の情報を書込むよう画像管理装置１００を制御してもよい。また、画像検索制御部１２０は、画像群に設定された画像データを１つのホルダとして、管理するよう画像管理装置１００を制御してもよい。

代表画像抽出処理の終了後、図６のフローチャートに戻る。画像検索制御部１２０は、画像データのサイズ変更処理を指示する（ステップＳ２６）。画像検索制御部１２０は、特徴物画像の画像データのサイズを縮小するよう画像管理装置１００に指示する。特徴物画像は、区分けの為の画像であるので、小さなサイズで十分だからである。データサイズの縮小は、画素数を減少させたりあるいは圧縮率を高くすればよい。

また、画像検索制御部１２０は、対象物画像（あるいは画像群の画像）の画像データを、国土交通省で定めたＣＡＬＳの規格に準じたサイズに変換するよう画像管理装置１００に指示してもよい。なお、カメラ５からＣＡＬＳの規格に対応した画像データを取得した場合には、ＣＡＬＳの規格への変換は不要である。画像管理装置１００は、記憶装置６０に記憶された特徴物画像及び対象物画像の画像データを、画像検索制御部１２０により指示されたサイズに変換する。

画像検索処理の終了後、画像管理装置１００は、記憶装置６０に記憶された一連の撮影画像の画像データをサーバ８に送信する。なお、画像管理装置１００は、一連の撮影画像の中で、対象物画像の画像データのみをサーバ８に送信するようにしてもよい。さらに、画像管理装置１００は、代表画像の画像データのみをサーバ８に送信するようにしてもよい。余分な画像データを送信しないようにすれば、通信時間の節約およびサーバ８の負担軽減になるからである。

以上、第１実施形態の画像検索装置によれば、特定の被写体を撮影するという簡単な操作で、一連の撮影画像を、撮影者の意図に沿って簡単に区分けすることができる。具体的には、工事撮影のように撮影対象となる工事箇所数が多く、各工事箇所毎に区分けして管理することが必要な場合に、各工事箇所で複数撮影された画像を画像群として簡単に区分けすることができる。そして、設定された画像群の中から、所定の条件で代表画像を抽出することによって、各工事箇所で複数撮影された画像の中から、適当な１枚を簡単に選択することができる。

〔第２実施形態〕
次に、第２実施形態を説明する。第２実施形態では、前述のように、さらに第三の特徴物を撮影することによって、第１実施形態で設定された画像群を画像副群に分割する。画像群をいくつかに分割したい場合に適用される。例えば、工事撮影の分野では、以下で説明するような、複数の工程から構成される塗装作業における記録の撮影に有効である。

図１６は、第三の特徴物の撮影シーンＳｃ４の例を示した図である。第２実施形態では、「Ｖマークを示す手」を第三の特徴物ｐ３とする。第一の特徴物ｐ１及び第二の特徴物ｐ２は、第１実施形態と同じとする。

図１７は、第２実施形態において、一連の撮影で撮影された画像Ｄ２１〜Ｄ３６を撮影日時の早い順（撮影順）から並べた図である。画像Ｄ２１が最初に撮影された画像で、画像Ｄ３６が最後に撮影された画像である。図１７の画像は、段階的に塗装を行う、いわゆる複数塗りを撮影した画像である。各塗装でその都度記録を残すために、各塗装の段階で撮影が行われる。図１７の例は、３段階で行われた塗装を撮影した例である。

画像Ｄ２１は試し撮影の画像である。続いて、画像群の開始位置を示す画像として、第一の特徴物ｐ１を含む第一の画像である画像Ｄ２２が撮影される。塗装の第１段階の記録として、画像Ｄ２３〜画像Ｄ２７が撮影される。第１段階記録と第２段階記録の間に、画像群の途中の区切り位置を示す画像として、第三の画像である画像Ｄ２８が撮影される。その後、塗装の第２段階の記録として、画像Ｄ２９〜画像Ｄ３１が撮影される。

第２段階記録と第３段階記録の間に、画像群の途中の区切り位置を示す画像として、第三の画像である画像Ｄ３２が撮影される。その後、塗装の第３段階の記録として、画像Ｄ３３〜画像Ｄ３５が撮影される。画像群の終了位置を示す画像として、第二の特徴物ｐ２を含む第二の画像である画像Ｄ３６が撮影される。このように、第三の特徴物の撮影によって、一連の撮影画像のうち、画像Ｄ２３〜画像Ｄ２７が画像副群１、画像Ｄ２９〜画像Ｄ３１が画像副群２、画像Ｄ３３〜画像Ｄ３５が画像副群３に、それぞれ分割される。

第２実施形態における、画像検索処理を説明する。第２実施形態の画像検索処理の全体手順は、第１実施形態で示した図６のフローチャートと同じであるので、説明は省略する。図１８は、第２実施形態において、画像群設定処理（画像群設定処理２）の手順を説明するフローチャートである。画像群設定処理２は、図８で示した第１実施形態の画像群設定処理（画像群設定処理１）と共通する部分も多いので、共通する処理には、同じ符号を付けて示す。以下では、画像群設定処理１との相違点につき主に説明し、共通する処理は原則説明を省略する。また、第三の特徴物は、特徴物登録部３１０によって、前述した第一の特徴物等と同様に、登録されるとする。

画像群設定部３３０は、画像副群カウンタＫ＝１とする（ステップＳ１０８ａ）。画像副群カウンタＫは、Ｋ＝１，２・・・とする整数で、画像副群を区別する番号である。ステップＳ１１０〜ステップＳ１３０は、図８のフローチャートと同様である。なお、ステップ１３０では、さらに、画像群設定部３３０は、画像群開始フラグをオフにするともに、画像副群カウンタＫを０にクリアする。判定部３２０は、取得した画像データが第三の特徴物を含む第三の画像であるかを判定する（ステップＳ１３２ａ）。

判定部３２０は、取得した画像データが第三の画像であると判定すると（ステップＳ１３２ａのＹＥＳ）、画像群設定部３３０は、画像副群カウンタＫ＝Ｋ＋１とし（ステップＳ１３４ａ）、ステップＳ１４４に進む。

判定部３２０は、取得した画像データが第三の画像ではないと判定すると（ステップＳ１３２ａのＮＯ）、画像群設定部３３０は、画像群開始フラグがオンであるかを判断する（ステップＳ１４０）。画像群設定部３３０は、画像群開始フラグがオンであると判断すると（ステップＳ１４０のＹＥＳ）、画像データを画像副群のＫ組に組み入れる（ステップＳ１４１ａ）。第一の画像が検出済であるので、現在処理中の画像データが、Ｋ組の画像副群に含まれる対象画像と判断されるからである。

画像群設定部３３０は、画像群開始フラグがオンでないと判断すると（ステップＳ１４０のＮＯ）、ステップＳ１４４に進む。以上により、一連の撮影画像につき、第三の画像が検出された位置で、画像群を画像副群に分割することができる。ステップＳ１４４、ステップＳ１４６は、図８と同様であるので、説明は省略する。

そして、検出された各画像副群に対して、代表画像抽出処理が行われる。なお、代表画像抽出処理の具体的内容は、第1実施形態で説明した図９〜図１４と同じであるので、説明は省略する。図１７の例では、例えば、画像副群１では画像Ｄ２７、画像副群２では画像Ｄ３１、画像副群３では画像Ｄ３５が、各代表画像として抽出される。

以上のように、第一の画像及び第二の画像に更に第三の画像を設けることにより、画像群を画像副群に分割することができる。これにより、１つの工程をさらに複数の途中工程に分けることができ、各途中工程における代表画像を抽出することができる。

〔第３実施形態〕
次に、第３実施形態を説明する。第３実施形態は、前述のように、第四、第五の特徴物を撮影することによって、画像群設定のための検索処理の開始と終了、つまり画像群設定処理を開始する位置と終了する位置を設定する。第四の画像が画像群設定処理の開始位置を示す画像で、第五の画像が画像群設定処理の終了位置を示す画像である。第四の画像と第五の画像の間に挟まれた画像を、検索処理の対象画像とも呼ぶ。

図１９は、第３実施形態において、一連の撮影で撮影された画像Ｄ４１〜Ｄ６１を撮影の早い順から並べた図である。画像Ｄ４１が最初に撮影された画像で、画像Ｄ６１が最後に撮影された画像である。ここで、第四の特徴物ｐ４は人の顔とし、第五の特徴物ｐ５は人の下半身とされた例である。第一の特徴物ｐ１、第二の特徴物ｐ２及び第三の特徴物ｐ３は、第２実施形態と同じとする。

画像Ｄ４１と画像Ｄ４５が、第一の特徴物ｐ１が撮影された第一の画像である。画像Ｄ５９が、第二の特徴物ｐ２が撮影された第二の画像である。画像Ｄ５１と画像Ｄ５５が、第三の特徴物ｐ３が撮影された第三の画像である。そして、画像Ｄ４３が、第四の特徴物ｐ４が撮影された第四の画像で、画像Ｄ６１が、第五の特徴物ｐ５が撮影された第五の画像である。

図２０は、第３実施形態における、画像検索処理の全体の手順を示すフローチャートである。第３実施形態の画像検索処理は、図６のフローチャートで説明した第１実施形態の画像検索処理と共通する部分も多いので、共通する処理には、同じ符号を付けて示す。以下では、相違点につき主に説明し、共通する処理は原則説明を省略する。

ステップＳ１０〜ステップＳ１６は、図６に示す第１実施形態のフローチャートと共通であるので、説明は省略する。画像検索装置１１０は、画像群設定処理３を行う（ステップＳ２０ｂ）。図２１は、第３実施形態において、画像群設定処理３の手順を説明するフローチャートである。

画像群設定部３３０は、画像副群カウンタＫ＝１とする（ステップＳ４００）。画像検索制御部１２０は、検索フラグをオフにする（ステップＳ４０２）。検索フラグとは、画像群設定処理のための検索が実行中であることを示すフラグである。以下詳細に説明するが、設定フラグは第四の画像の出現によりオフからオンに切換り、第五の画像の出現によりオンからオフに切換る。

画像検索制御部１２０は、記憶装置６０に保存された撮影画像の画像データを、撮影日時の早い順から取得する（ステップＳ４０４）。判定部３２０は、取得した画像データに対し、いずれかの特徴物が含まれているかを判定する（ステップＳ４０６）。

判定部３２０は、取得した画像データが第四の画像であるかを判定する（ステップＳ４０８）。判定部３２０が、取得した画像データが第四の画像であると判定すると（ステップＳ４０８のＹＥＳ）、画像検索制御部１２０は、検索フラグがオンであるかを判断する（ステップＳ４１０）。画像検索制御部１２０は、検索フラグがオンであると判断すると（ステップＳ４１０のＹＥＳ）、エラーであると判断して、ステップＳ４７２に進む。画像検索制御部１２０は、設定エラーフラグをオンにして（ステップＳ４７２）、図２０のステップＳ２２に進む。

画像検索制御部１２０は、検索フラグがオンでないと判断すると（ステップＳ４１０のＮＯ）、検索フラグをオンにして（ステップＳ４１２）、ステップＳ４７０に進む。画像検索制御部１２０は、現処理中の画像データが撮影順で最後の画像データであるかを判断し（ステップＳ４７０）、最後の画像データでないと判断すると（ステップＳ４７０のＮＯ）、ステップＳ４０４に戻り、次の撮影順の画像データの処理を行う。

判定部３２０は、取得した画像データが第四の画像でないと判定すると（ステップＳ４０８のＮＯ）、取得した画像データが第五の画像であるかを判定する（ステップＳ４２０）。判定部３２０が、取得した画像データが第五の画像であると判定すると（ステップＳ４２０のＹＥＳ）、画像検索制御部１２０は、検索フラグがオンであるかを判断する（ステップＳ４２２）。画像検索制御部１２０は、検索フラグがオンであると判断する（ステップＳ４２２のＹＥＳ）、画像群設定のための検索処理を終了する（ステップＳ４２４）。また、画像群設定部３３０は、画像群開始フラグをオフにし、画像副群カウンタＫを０にクリアする。図２０のステップＳ２２に進む。

画像検索制御部１２０は、検索フラグがオンでないと判断すると（ステップＳ４２２のＮＯ）、エラーであると判断して、ステップＳ４７２に進む。

判定部３２０は、取得した画像データが第五の画像でないと判定すると（ステップＳ４２０のＮＯ）、取得した画像データが第一の画像であるかを判定する（ステップＳ４３０）。判定部３２０が、取得した画像データが第一の画像であると判定すると（ステップＳ４３０のＹＥＳ）、画像検索制御部１２０は、検索フラグがオンであるかを判断する（ステップＳ４３２）。

画像検索制御部１２０は、検索フラグがオンでないと判断すると（ステップＳ４３２のＮＯ）、ステップＳ４７０に進む。画像検索制御部１２０が、検索フラグがオンであると判断すると（ステップＳ４３２のＹＥＳ）、画像群設定部３３０は、画像群開始フラグがオフであるかを判断する（ステップＳ４３４）。画像群開始フラグは、第1実施形態で説明した通りである。

画像群設定部３３０は、画像群開始フラグがオンであると判断すると（ステップＳ４３４のＹＥＳ）、エラーであるとして、ステップＳ４７２に進む。画像群設定部３３０は、画像群開始フラグがオンでないと判断すると（ステップＳ４３４のＮＯ）、画像群開始フラグをオンにして（ステップＳ４３６）、ステップＳ４７０に進む。

判定部３２０は、取得した画像データが第一の画像でないと判定すると（ステップＳ４３０のＮＯ）、取得した画像データが第二の画像であるかを判定する（ステップＳ４４０）。判定部３２０は、取得した画像データが第二の画像であると判定すると（ステップＳ４４０のＹＥＳ）、画像検索制御部１２０は、検索フラグがオンであるかを判断する（ステップＳ４４２）。画像検索制御部１２０は、検索フラグがオンでないと判断すると（ステップＳ４４２のＮＯ）、ステップＳ４７０に進む。画像検索制御部１２０が、検索フラグがオンであると判断すると（ステップＳ４４２のＹＥＳ）、画像群設定部３３０は、画像群開始フラグがオンであるかを判断する（ステップＳ４４４）。

画像群設定部３３０は、画像群開始フラグがオンではないと判断すると（ステップＳ４４４のＮＯ）、エラーであると判断し、ステップＳ４７２に進む。画像群設定部３３０は、画像群開始フラグがオンであると判断すると（ステップＳ４４４のＹＥＳ）、画像群を設定して（ステップＳ４４６）、ステップＳ４７０に進む。

判定部３２０は、取得した画像データが第二の画像でないと判定すると（ステップＳ４４０のＮＯ）、取得した画像データが第三の画像であるかを判定する（ステップＳ４５０）。判定部３２０が、取得した画像データが第三の画像であると判定すると（ステップＳ４５０のＹＥＳ）、画像検索制御部１２０は、画像副群カウンタＫ＝Ｋ＋１として（ステップＳ４５２）、ステップＳ４７０に進む。なお、この場合には、画像群開始フラグがオンになっているとする。

判定部３２０が、取得した画像データが第三の画像でないと判定すると（ステップＳ４５０のＮＯ）、画像群設定部３３０は、画像群開始フラグオンであるかを判断する（ステップＳ４６０）。画像群設定部３３０は、画像群開始フラグオンであると判断すると（ステップＳ４６０のＹＥＳ）、画像データを画像副群のＫ組に組入れ（ステップＳ４６２）、ステップＳ４７０に進む。画像群設定部３３０は、画像群開始フラグオンでないと判断すると（ステップＳ４６０のＮＯ）、ステップＳ４７０に進む。

図２０に戻る。画像検索制御部１２０は、設定エラーフラグオンであるかを判断する（ステップＳ２２）。画像検索制御部１２０は、設定エラーフラグオンであると判断すると（ステップＳ２２のＹＥＳ）、画像検索処理を終了する。画像検索制御部１２０は、設定エラーフラグオンでないと判断すると（ステップＳ２２のＮＯ）、代表画像抽出部１４０は、代表画像抽出処理を行う（ステップＳ２４ｂ）。

代表画像抽出処理は、検出された各画像副群について行われる。代表画像抽出部１４０は、各画像副群ごとに代表画像を抽出する。なお、代表画像抽出処理の具体的内容は、第1実施形態で説明した図９〜図１４と同じであるので、説明は省略する。図１９の例では、例えば、画像副群１では画像Ｄ５０、画像副群２では画像Ｄ５４、画像副群３では画像Ｄ５８が、各代表画像として抽出される。

画像検索制御部１２０は、画像データのサイズ変更処理を指示する（ステップＳ２６ｂ）。第1実施形態と同様に、画像検索制御部１２０は、特徴物画像の画像データのサイズを縮小するよう画像管理装置１００に指示する。また、画像検索制御部１２０は、特徴物画像を除く画像検索の対象画像である画像データを、国土交通省で定めたＣＡＬＳの規格に準じたサイズに変換するよう画像管理装置１００に指示する。そして、第1実施形態と同様に、画像検索処理の終了後、画像管理装置１００は、記憶装置６０に記憶された一連の撮影画像の画像データをサーバ８に送信する。また、画像管理装置１００は、画像検索処理の終了後、各画像副群の代表画像の画像データのみをサーバ８に送信するようにしてもよい。

以上のように、第３実施形態の画像検索装置によれば、画像検索の対象が明確に設定されるので、撮影者が画像群設定を意図しない場面で第１の特徴物等が撮影されて、誤った画像群設定が行われるのを防止することができる。

〔その他の例〕
・上記実施形態では、画像検索装置を情報処理装置６に設けた例を説明したが、画像検索装置はサーバ８に設けてもよいし、またカメラ５に設けてもよい。
・上記実施形態では、図６のフローチャートで、一連の撮影画像に複数の画像群が含まれる場合に、各画像群に対して画像群の設定を行い、終了後、設定された各画像群について代表画像抽出を行うと説明したが、この順番に限るものではない。例えば、１つの画像群の設定と代表画像抽出を1組として、組を連続して行うようにしてもよい。
・カメラ５と情報処理装置６を、別体として説明したが、カメラ付のタブレット型端末装置あるいは通信機能付のカメラのような一体型であってもよい。
・また、画像検索装置が、所定のプログラムを読込んだＣＰＵによるソフトウェア処理で実現される例を示したが、画像検索装置の一部あるいは全部をハードウェアで構成してもよい。

なお、本発明は上述した実施形態そのままに限定されるものではなく、実施段階でのその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施形態に示される全構成要素を適宜組み合わせても良い。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。このような、発明の趣旨を逸脱しない範囲内において種々の変形や応用が可能であることはもちろんである。

１ 撮影システム
５ カメラ
６ 情報処理装置
７ ネットワーク
８ サーバ
２０ ＣＰＵ
３０ ＲＡＭ
４０ メモリ部
５０ 通信部
６０ 記憶装置
７０ 表示部
８０ 操作部
１００ 画像管理装置
１１０ 画像検索装置
１２０ 画像検索制御部
１３０ 画像群処理部
１４０ 代表画像抽出部
３１０ 特徴物登録部
３２０ 判定部
３３０ 画像群設定部
４１０ 抽出条件設定部
４２０ 最頻画像スコア算出部
４３０ 露出スコア算出部
４４０ 被写体ぶれスコア算出部
４５０ 合焦スコア算出部

Claims (10)

1. 一連の撮影画像から、第一の特徴物が被写体に含まれる画像を第一の画像と判定し、前記第一の画像よりも後に撮影された画像であって第二の特徴物が被写体に含まれる画像を第二の画像と判定する判定部と、
   前記一連の撮影画像の中から、前記第一の画像が撮影されてから前記第二の画像が撮影されるまでの期間で撮影された画像を画像群に設定する画像群設定部と、
   前記画像群の中から代表画像を抽出する代表画像抽出部と、を備え、
   更に、前記判定部は、被写体に第三の特徴物が含まれる画像を第三の画像と判定し、
   前記画像群設定部は、前記画像群に含まれる画像を、前記第三の画像より以前に撮影された画像と、前記第三の画像より以降に撮影された画像に分割して、複数の画像副群を設定し、
   前記代表画像抽出部は、前記設定された画像副群ごとに前記代表画像を抽出する
   ことを特徴とする画像検索装置。
2. 前記代表画像抽出部は、前記画像群に含まれる各画像を、所定の条件に基づき比較して、前記代表画像を抽出する
   ことを特徴とする請求項１に記載の画像検索装置。
3. 前記代表画像抽出部は、露出の適正度、被写体のぶれ量または被写体の合焦度の少なくとも１つを、前記所定の条件として、前記代表画像を抽出する
   ことを特徴とする請求項２に記載の画像検索装置。
4. 前記代表画像抽出部は、前記画像群に含まれる各画像で最も多く現れる構図を前記所定の条件の少なくとも１つとして、前記代表画像を抽出する
   ことを特徴とする請求項２に記載の画像検索装置。
5. 前記代表画像抽出部は、前記所定の条件が複数ある場合には、前記所定の条件に優先度を設定して、各画像を比較して、前記代表画像を抽出する
   ことを特徴とする請求項２に記載の画像検索装置。
6. さらに、前記判定部は、被写体に第四の特徴物が含まれる画像を第四の画像と判定し、前記第四の画像よりも後に撮影された画像であって被写体に第五の特徴物が含まれる画像を第五の画像と判定し、
   前記画像群設定部は、前記第四の画像が撮影されてから前記第五の画像が撮影されるまでの期間で撮影された画像の中から、前記第一の画像と前記第二の画像によって前記画像群を設定する
   ことを特徴とする請求項１に記載の画像検索装置。
7. 記憶部に記憶された前記一連の撮影画像の画像データを制御する画像検索制御部を備え、
   前記画像検索制御部は、前記第四の画像が撮影されてから前記第五の画像が撮影されるまでの期間で撮影された画像について、前記画像データのサイズを所定のサイズに変更する
   ことを特徴とする請求項６に記載の画像検索装置。
8. 記憶部に記憶された前記一連の撮影画像の画像データを制御する画像検索制御部を備え、
   前記画像検索制御部は、前記判定部により判定された前記第一の画像もしくは前記第二の画像について、前記画像データのサイズを縮小する、
   ことを特徴とする請求項１乃至５のいずれか１項に記載の画像検索装置
9. 情報処理装置に画像検索を実行させる画像検索方法において、
   一連の撮影画像から、第一の特徴物が被写体に含まれる画像を第一の画像と判定し、
   前記第一の画像よりも後に撮影された画像であって第二の特徴物が被写体に含まれる画像を第二の画像と判定し、
   被写体に第三の特徴物が含まれる画像を第三の画像と判定し、
   前記一連の撮影画像の中から、前記第一の画像が撮影されてから前記第二の画像が撮影されるまでの期間で撮影された画像を画像群に設定し、
   前記画像群に含まれる画像を、前記第三の画像より以前に撮影された画像と、前記第三の画像より以降に撮影された画像に分割して、複数の画像副群を設定し、
   前記画像群の中から、前記設定された画像副群ごとに代表画像を抽出する
   ことを特徴とする画像検索方法。
10. コンピュータに画像検索を実行させるプログラムにおいて、
    一連の撮影画像から、第一の特徴物が被写体に含まれる画像を第一の画像と判定し、
    前記第一の画像よりも後に撮影された画像であって第二の特徴物が被写体に含まれる画像を第二の画像と判定し、
    被写体に第三の特徴物が含まれる画像を第三の画像と判定し、
    前記一連の撮影画像の中から、前記第一の画像が撮影されてから前記第二の画像が撮影されるまでの期間で撮影された画像を画像群に設定し、
    前記画像群に含まれる画像を、前記第三の画像より以前に撮影された画像と、前記第三の画像より以降に撮影された画像に分割して、複数の画像副群を設定し、
    前記画像群の中から、前記設定された画像副群ごとに代表画像を抽出する
    ことをコンピュータに実行させるプログラム。