JP6089515B2 - 画像加工装置、画像加工方法、及びプログラム - Google Patents

Description

本発明は、検索結果として再生される画像を加工する画像加工装置、画像加工方法、及びプログラムに関する。

従来より、任意の画像に付加された位置や日時を検索キーとして、その検索キーの所定の範囲に属する画像をネットワークを通じて検索する技術が存在する。
また、特許文献１に記載されているように、上記の技術を撮像装置に付加した上で、サーバー側で検索結果のサムネイル画像を生成し、これを取得する技術も提案されるに至っている。

特開２００２−０４４５０６号公報

しかしながら、現在の撮像装置は仕様や性能によって表示の解像度が機種により異なっている。また、通信機能と撮像機能とを備えた端末という観点から観た場合、多機能な通信端末も画像検索サービスの対象となり得るが、多機能な通信端末の表示性能はその機能との関係に起因して多様である。
したがって、上記特許文献１に記載されるように、サーバー側で一意のサイズでサムネイル画像を生成しても、受信側の機器の表示性能は多様であるから、表示性能によっては見難いものとなるという問題があった。

本発明は、上記問題に鑑みてなされたものであり、ネットワークを検索して得た画像について、自端末の環境に合ったものを得ることができるようにすることを目的とする。

前記課題を解決するために本発明は、撮影画像を取得する撮影画像取得手段と、通信手段と、この通信手段を介して外部の通信ネットワークに接続し、前記撮影画像取得手段により取得された撮影画像の関連画像を検索させるための指示を検出する指示検出手段と、この指示検出手段による検索指示の結果として、前記外部の通信ネットワークを介して関連画像を取得する関連画像取得手段と、この関連画像取得手段によって取得された関連画像のうち、出力サイズ又はデータ量が所定の範囲内にあるものを前記撮影画像と関連付けて再生できるよう加工する加工手段と、を備えることを特徴とする画像加工装置を提供する。

また、本発明は、通信手段及び再生手段と有する装置を用いる画像処理方法であって、この通信手段を介して外部の通信ネットワークに接続し、予め取得した撮影画像について関連画像を検索させるための指示を検出する指示検出ステップと、この指示検出ステップでの検索指示の結果として、前記外部の通信ネットワークを介して関連画像を取得する関連画像取得ステップと、この関連画像取得ステップにて取得された関連画像のうち、出力サイズ又はデータ量が所定の範囲内にあるものを前記撮影画像と関連付けて再生できるよう加工する加工ステップと、を含むことを特徴とする画像加工方法を提供する。

また、本発明は、通信手段、及び再生手段を備える装置が有するコンピュータを、この通信手段を介して外部の通信ネットワークに接続し、予め取得した撮影画像について関連画像を検索させるための検索指示を検出する指示検出手段、この指示検出手段による検索指示の結果として、前記外部の通信ネットワークを介して関連画像を取得する関連画像取得手段、この関連画像取得手段によって取得された関連画像のうち、出力サイズ又はデータ量が所定の範囲内にあるものを前記撮影画像と関連付けて再生できるよう加工する加工手段、として機能させることを特徴とするプログラムを提供する。

本発明によれば、ネットワークを検索して得た画像について、自端末の環境に合ったものを得ることができ、よって、上記ネットワークから得た画像を自端末にて明瞭に表示することができる。

本発明の一実施の形態に係る画像検索システムの全体構成を示すブロック図である。 同実施の形態に係る画像検索システムのイメージを説明する図である。 デジタルカメラの構成を示す概略ブロック図である。 スマートフォンの構成を示す概略ブロック図である。 同実施の形態の処理手順を示すフローチャートである。 表示画面例を示す図である。

以下、本発明の実施の形態について図面を参照して説明する。
図１は、本実施の形態に係る画像検索システムの全体構成を示すブロック図である。
サービスサーバー１１を含む画像検索サイト１０は、インターネット５００を介してスマートフォン１、及びＰＣ（Personal Computer）３と接続される。また、デジタルカメラ２は、スマートフォン１とブルートゥース（登録商標）等の無線で接続可能である。スマートフォン１は、アプリケーションプログラムをインストールして、画像検索サイト１０との連携を図る動作をする。また、デジタルカメラ２にも比較的軽いアプリケーションプログラムをインストールして、スマートフォン１、との連携を図るように動作する。
なお、デジタルカメラ２とサービスサーバー１１を直接接続して、スマートフォン１を経由しなくても情報交換ができるルートも用意するようにしてもよい。

また、サービスサーバー１１は、多数の画像ファイルが撮影日時、撮影位置、撮影条件等毎に整理されて記憶されたデータベースを備え、撮影日時、撮影位置、撮影条件等が同一である複数の画像ファイルを検索することが可能である。これら画像ファイルは、インターネット５００上から収集したものであって、各画像ファイルにはインターネット５００上における情報資源の格納位置を指し示すＵＲＬ（Uniform Resource Locator）が付加されている。

図２は、本実施の形態に係る画像検索システムのイメージを説明する図である。画像検索サイト１０を介して、スマートフォン１、ＰＣ３が接続され、デジタルカメラ２とスマートフォン１は前述のように無線接続されている。これにより、デジタルカメラ２で撮影した画像の画像ファイルをスマートフォン１に送信し、これを受信したスマートフォン１が画像検索サイト１０に接続して受信した画像ファイルの画像と関連する画像の画像ファイルを検索することができる。なお、画像検索サイト１０としてクラウドサービスを用いることができる。

図３は、デジタルカメラ２の構成を示す概略ブロック図である。２４０は、表示部であり、表示デバイスであるＬＣＤとこれを駆動する駆動回路等から構成されている。２５４は、表示部２４０の表示状態を制御する表示制御部である。２５６は、入力部であり、シャッターキー等の各種キーやスイッチを有して構成される。

２５０は、ＧＰＳ部であり、公知のＧＰＳ（Global Positioning System）を利用して現在位置を計測する。すなわちＧＰＳ部２５０は、複数の測位衛星（ＧＰＳ衛星）から送られてくる電波をアンテナにより受信することによって、現在位置を示す緯度、経度からなる位置データを取得し、取得した位置データを、撮影場所を示す場所情報としてＣＰＵ２０２に供給する。

２０２は、ＣＰＵであり、デジタルカメラ２全体を制御する。２０４はプログラムメモリであり、制御プログラム２０４１、アプリケーションプログラム２０４２、その他のプログラム２０４３が予め記憶されている。制御プログラム２０４１はデジタルカメラ全体を制御する基本的な制御プログラムであり、アプリケーションプログラム２０４２は、スマートフォン１との協働やサービスサーバー１１と協働するためのプログラムである。２５８はスマートフォン１との間で、ブルートゥース（登録商標）等の無線通信デバイスを用いてリンクを行う通信Ｉ／Ｆである。

撮像部２６０は、ドライバにより駆動される撮像素子、この撮像素子上に被写体を結像させるレンズ、撮像素子からの被写体の光学像に応じたアナログが入力されるユニット回路を有している。ユニット回路は、撮像素子の出力信号に含まれるノイズを相関二重サンプリングによって除去するＣＤＳ回路や、ノイズが除去された撮像信号をデジタル信号に変換するＡ／Ｄ変換器等から構成され、デジタルに変換した撮像信号をＣＰＵ２０２へ出力する。

ＣＰＵ２０２は、撮像信号をＹＵＶデータに変換し、ＲＥＣスルー・モードでは１フレーム分のデータ（画像データ）が蓄積される毎にビデオ信号に変換され、表示部２４０へ送ってスルー画像として画面表示する。静止画撮影モードにおいては、シャッターキー操作をトリガとして、ＣＰＵ２０２は、スルー画撮影モードから静止画撮影モードへの切り替えを指示し、この静止画撮影モードによる撮影処理により得られ画像データは、圧縮及び符号化され、所定のフォーマットの静止画ファイルとして、外部メモリ２３０に記録される。

図４は、スマートフォン１の構成を示す概略ブロック図である。すなわち、３４０は、表示部であり、表示デバイスであるＬＣＤとこれを駆動する駆動回路等から構成されている。３５４は、表示部３４０の表示状態を制御する表示制御部である。３５６は、入力部であり、各種キーやスイッチを有して構成されている。

３０２は、ＣＰＵであり、スマートフォン１やＰＣ３全体を制御する。３０４はプログラムメモリであり、制御プログラム３０４１及びアプリケーションプログラム３０４２、その他のプログラム３０４３が予め記憶されている。制御プログラム３０４１はスマートフォン１全体を制御する基本的な制御プログラムであり、アプリケーションプログラム３０４２は、デジタルカメラ２との協働やサービスサーバー１１と協働するためのプログラムである。３５８は携帯型端末との間で、ブルートゥース（登録商標）のリンクを行うＩ／Ｆであり、２６０はＷｉ−Ｆｉなどでサービスサーバー１１とのリンクを行うＩ／Ｆである。

前記表示部３４０が有するＬＣＤの解像度（横×縦）は、例えば３２０×４８０ｐｘであり、この解像度等の表示部３４０の表示性能を示す情報は予めプログラムメモリ３０４に記憶されている。ＣＰＵ３０２は、制御プログラム３０４１に従って処理を実行することにより、予めプログラムメモリ３０４に記憶されているこの表示部３４０の表示性能を取得することができる。したがって、ＣＰＵ３０２は、本実施の携帯において表示手段の表示性能を取得する表示性能取得手段として機能する。

３５７は、音声処理部であり、スピーカに接続された音声復号処理部とマイクに接続された音声符号処理部とで構成されている。スピーカは音声復号処理部が復号した呼出音及び受話音声を再生する。マイクは、入力音声を検出して音声符号処理部に入力し、この入力音声信号は音声符号処理部により符号化されて、送話音声として外部に送信される。

なお、このスマートフォン１においても、前述したデジタルカメラ２のＧＰＳ部２５０、撮像部２６０及び外部メモリ２３０と同様の構成に係るＧＰＳ部３５０、撮像部３７０及び外部メモリ３３０が設けられている。

次に、本実施の形態の動作について説明する。ユーザがデジタルカメラ２を携帯し、所望の場所で撮影を行うべく、被写体にレンズを向けてシャッターキーを押下する。すると、ＣＰＵ２０２は撮像部２６０から出力された撮像信号を画像データに変換し、所定のフォーマット（例えば、ＪＰＥＧ（Joint Photographic Experts Group）方式）の静止画ファイルとして、外部メモリ２３０に記録する。このとき、ＣＰＵ２０２は、ＥＸＩＦ（Exchangeable Image File Format）情報として、下記事項を記録する。
（１）ＧＰＳ部２５０により取得したデジタルカメラ２自身の位置である撮影位置情報。
（２）ＣＰＵ２０２が計時している撮影時点の日時である撮影日時情報。
（３）ＣＰＵ２０２が撮影時に撮像部２６０等を制御した際に設定した絞り、ホワイトバランス、シャッター速度等の撮影条件情報。

したがって、デジタルカメラ２の外部メモリ２３０には、ＥＸＩＦに前記事項（１）（２）（３）が埋め込まれた画像ファイルが記録されることとなる。このような画像ファイルが外部メモリ２３０に記憶されているデジタルカメラ２と、スマートフォン１とが互いに無線通信可能な状態にさせると、スマートフォン１はプログラムメモリ３０４に記憶されているプログラムに従って、図５のフローチャートに示すように処理を実行する。

すなわち、スマートフォン１のＣＰＵ３０２は、デジタルカメラ２との通信によりその外部メモリ２３０に記録されている画像ファイルを読み出し、この読み出した画像ファイルを再生して、撮影画像を表示部３４０に表示させる（ステップＳ１）。次に、ユーザの入力部３５６での所定の操作による検索指示が検出されたか否かを判断する（ステップＳ２）。検索指示が検出されたならば、通信Ｉ／Ｆ３６０を起動し無線通信部と通信ネットワークとを介して、画像検索サイト１０のサービスサーバー１１に接続する（ステップＳ３）。前記ステップＳ１で表示部３４０に表示させた画像に埋め込まれている撮影位置情報を読み出し、これを検索キーとしてサービスサーバー１１に画像の検索を依頼する（ステップＳ４）。

すると、サービスサーバー１１は、スマートフォン１から送信されてきた撮影位置情報を受信し、受信した情報が示す撮影位置と同一の位置で撮影された画像の画像ファイルをデータベースで検索し、スマートフォン１に送信する。スマートフォン１は、サービスサーバー１１から送信されてくる画像を検索結果として取得し、例えばＣＰＵ３０２が有するＲＡＭのワークエリアに保存する（ステップＳ５）。そして、受信した画像ファイルの数に基づき、検索結果の画像数は「０」であるか否かを判断する（ステップＳ６）。検索結果の画像数が「０」であるならば、表示部３４０に、前記撮影画像とともに検索結果０であることを表示して（ステップＳ７）、このフローチャートに従った処理を終了する。

検索結果の画像数が「０」でないならば、検索結果として得られた画像に所定の表示サイズ以上、又はデータ量以上、もしくは所定の表示サイズ未満、又はデータ量未満のものが存在するか否かを判断する（ステップＳ８）。検索結果として得られた画像に所定の表示サイズ以上、又はデータ量以上、もしくは所定の表示サイズ未満、又はデータ量未満のものが存在する場合には、前記ステップＳ５でＲＡＭに保存した画像のうち、これらに該当する画像に除外することを示す識別子を付加する等の除外処理を実行する（ステップＳ９）。

したがって、このステップＳ９での処理に、表示部３４０に表示することが困難な画像は予め除外されることから、検索した画像を適正に表示することができる。

引き続きこの除外処理後の画像数が「０」となってしまったか否かを判断する（ステップＳ１０）。残りの画像数が「０」となってしまった場合には、前記撮影画像とともに検索してヒットした画像数を表示部３４０に表示する（ステップＳ１１）。このとき、前述したステップＳ７では、検索結果「０」が表示されるが、ステップＳ１１では検索してヒットした画像数が表示される。したがって、両ステップＳ７、Ｓ１１とも、検索された画像は表示されないが、ユーザは、ステップＳ７での表示により画像が検索できなかったことを知ることができ、ステップＳ１１での表示により画像の検索はできたが、スマートフォン１の表示部３４０の表示性能との関係で画像を表示できないことを知ることができる。

そこで、スマートフォン１のＣＰＵ３０２は、ステップＳ１１での表示を行った場合には、ユーザによる入力部３５６での操作による保存指示が検出されたか否かを判断する（ステップＳ１２）。保存指示が検出されたならば、検索結果の画像ファイルのＵＲＬをＥＸＩＦのコメントタグに記述した画像ファイルを生成する（ステップＳ１３）。つまり、ヒットした画像を含む画像ファイルを生成し、このＥＸＩＦのコメントタグに各画像ファイルのＵＲＬを記述しておく。

ここで、ステップＳ１３で用いられる検索結果の画像ファイルは、前述のステップＳ９で当該スマートフォン１の表示部３４０では表示困難、不可能等の理由により除外されたものである。しかし、スマートフォン１の表示部３４０では表示困難、不可能等であったとしても、ＰＣ３では表示可能である。したがって、ステップＳ１３で前記画像ファイルを生成しておけば、後日この画像ファイルを、インターネット５００を介してＰＣ３に送り、ＰＣ３で視認することができる。また、ＰＣ３からインターネット５００を介して各ＵＲＬにアクセスし、元画像を閲覧したり取得したりすることもできる。

他方、ステップＳ１０の判断がＮＯであって、除外処理後の画像数が「０」ではない場合には、更に除外処理後の画像ファイル数が複数であるか否かを判断する（ステップＳ１４）。このステップＳ１４での判断がＮＯであって、除外処理後の画像ファイル数が「１」である場合には、撮影画像と検索結果の画像とを識別可能なように、表示部３４０に表示する（ステップＳ１５）。これにより、図６（ａ）に例示するように、スマートフォン１の表示部３４０には撮影された画像ファイルに基づく撮影画像Ａが大きく、検索された画像ファイルに基づく関連画像ａは撮影画像Ａよりも小さく表示される。したがって、ユーザは、この表示形態により、除外処理後に残った画像ファイルは１枚であり、それが画像Ａよりも小さく表示されている画像ａであることを知ることができる。

しかる後に、ユーザによる入力部３５６での操作による保存指示が検出されたか否かを判断する（ステップＳ１６）。保存指示が検出されたならば、後述するステップＳ２１に移行の処理を実行する。

なお、ステップＳ１５で表示形態は、図６（ａ）に例示したものに限らず、撮影画像Ａと関連画像ａとに異なる色の枠を付加する等、撮影画像Ａと関連画像ａとを視覚上識別することができれば、如何なる表示形態であってもよい。

また、ステップＳ１４での判断がＹＥＳであって、除外処理後の画像ファイル数が複数である場合には、これら複数の画像ファイルからマルチ表示に用いる画像数−１だけ選択する（ステップＳ１７）。つまり、この実施の形態においてマルチ表示に用いる画像数が「９」であるならば、「９−１＝８」であるから、除外処理後の画像ファイルから「８」個の画像ファイルを選択する。これにより、撮影画像を表示するための１枚分の画像表示スペースを表示部３４０に確保することができる。

なお、除外処理後の画像ファイル数がマルチ表示に用いる画像数以下であった場合、例えばマルチ表示に用いる画像数が「９」で除外処理後の画像ファイル数が「６」であった場合には、これら「６」個の除外処理後の画像ファイルを全て選択する。

次に、選択した複数の画像ファイルから表示部３４０の表示性能に基づいたサムネイル画像を生成する（ステップＳ１８）。前述のように、プログラムメモリ３０４には予め解像度等の表示部３４０の表示性能を示す情報が記憶されているので、この表示性能に基づいたサムネイル画像を生成する。したがって、ネットワークを検索して得た画像について、自端末の環境に合ったものを得ることができる。

しかる後に、撮影画像を中心に生成されたサムネイル画像をマルチ表示する（ステップＳ１９）。したがって、サムネイル画像が８枚であったとすると、このステップＳ１９での処理により、図６（ｂ）に示すように、表示部３４０の中心部に撮影画像Ａが表示され、かつ、その周囲に検索された画像である８枚のサムネイルａ〜ｈが表示されることとななる。これにより、ユーザは、撮影画像Ａとサムネイルａ〜ｈとを見比べながら観賞することができる。

なた、撮影画像Ａとサムネイルａ〜ｈとは、撮影位置が共通する画像であるから、例えば同一の観光地で撮影されたものである可能性が高い。したがって、撮影画像Ａ及びサムネイルａ〜ｈは、同一の観光地の風景を異なる方向に撮影した画像や、同一の観光地の建築物を異なる方向から撮影した画像の集合である可能性が高いので、これにより画像表示に対する興趣性を向上させることが可能である。

引き続き、ユーザによる入力部３５６での操作による保存指示が検出されたか否かを判断する（ステップＳ２０）。保存指示が検出されたならば、撮影画像を主画像とし、関連画像を副画像としてＭＰＦ（Multi-Picture Format）形式の画像ファイルを生成する（ステップＳ２１）。このとき、検索結果の画像ファイルのＵＲＬをＥＸＩＦのコメントタグに記述する。

しかる後に、この生成したＭＰＦ形式の画像ファイルを外部メモリ３３０に記憶させて保存して（ステップＳ２２）、処理を終了する。したがって、外部メモリ３３０には、撮影画像を主画像とし、関連画像を副画像とするＭＰＦ形式の画像ファイルが記録され、後日これをＰＣ３で再生して観賞することができる。

（その他の実施の形態）
［１］なお、上記実施の形態においては、本画像を含めて９枚の画像をマルチ表示する場合を示したが、マルチ表示する画像の枚数は、ステップＳ１０で除外処理された後に残存した画像の枚数に応じて決定するようにしてもよい。例えば、除外処理された後に残存した画像の枚数が多ければ多いほど、マルチ表示する画像の枚数も多くする。
このようにすれば、検索された画像、つまり撮影画像に関連する画像を限られた表示面積の中でより多くマルチ表示することができる。

また、撮影画像と関連する画像（関連画像）とは同一画面に表示する必要は無く、例えば１ページ目に撮影画像、２ページ以降に単数または、複数の関連画像、というように関連付けて再生表示するようにしても良い。

［２］実施の形態においては、撮影した位置を検索キーとして関連する画像を検索するようにしたが、撮影された画像の含まれる主要被写体の位置情報を取得し、この位置情報に関連情報として、画像を検索するようにしてもよい。この場合、画像認識技術を用いて、主要被写体を撮影画像から抽出し、この主要被写体を示す情報をスマートフォン１からサービスサーバー１１に送る。すると、サービスサーバー１１側において、送られてきた被写体の位置を検出した後、これと同一の位置の主要被写体を有する画像ファイルを検索し、サービスサーバー１１側に送信する。したがって、スマートフォン１には、撮影した主要被写体と同一の位置を所在位置とする主要被写体の画像ファイルがサービスサーバー１１から送られてくる。
ここで、撮影画像の主要被写体は、デジタルカメラ２のユーザが撮影目標とした興味のある被写体であるから、当該ユーザが興味のある画像を収集して表示することができる。

［３］なお、主要被写体の位置情報を検索キーとするのではなく、主要被写体そのものを検索キーとするようにしてもよい。この場合も、画像認識技術を用いて、主要被写体を撮影画像から抽出し、この主要被写体を示す情報をスマートフォン１からサービスサーバー１１に送る。すると、サービスサーバー１１側において、送られてきた被写体と同一の主要被写体を有する画像ファイルを検索し、サービスサーバー１１側に送信する。したがって、スマートフォン１には、撮影した主要被写体と同一被写体を主要被写体とする画像ファイルがサービスサーバー１１から送られてくる。

したがって、この場合にも前記［２］の場合と同様に、撮影画像の主要被写体は、デジタルカメラ２のユーザが撮影目標とした興味のある被写体であるから、当該ユーザが興味のある画像を収集して表示することができる。

［４］また、前記［３］において、主要被写体を人物の顔とするようにしてもよい。この場合には、撮影画像の主要被写体である人物は、デジタルカメラ２のユーザが撮影目標とした興味のある人物、著名な人物、芸能人等であるから、当該ユーザが興味のある人物の画像を収集して表示することができる。

［５］撮影した日時を検索キーとして画像を検索するようにしてもよい。この場合、例えばある日時に虹や竜巻が発生し、これをユーザがデジタルカメラ２で撮影した場合、同じ虹や竜巻を異なる撮影位置、撮影方向から撮影した画像が検索されてマルチ表示されることになる。したがって、同一の虹や竜巻を異なる位置、方向から撮影した複数の画像より、虹や竜巻を地理状況を含めて把握することができる。

［６］絞り、ホワイトバランス、シャッター速度等の撮影条件を検索キーとして画像を検索するようにしてもよい。この場合、シーンは全く異なるが撮影条件が撮影画像と同一の画像が検索されてマルチ表示されることになる。したがって、撮影条件が同一であっても、シーンが異なれば撮影された画像がどのように表現されるかを学習することができ、これによりユーザの撮影テクニックの向上に寄与することができる。

［７］実施の形態においては、デジタルカメラ２で撮影を行って撮影画像をスマートフォン１に送信するようにしたが、スマートフォン１自体が撮像部３７０を有しているのでスマートフォン１で撮影を行い、サービスサーバー１１での画像検索を行うようにしてもよい。このようにすれば、デジタルカメラ２を用いることなく、同様の関連画像の表示を行うことができる。

［８］なお、実施の形態においては、デジタルカメラからとスマートフォン１にブルートゥース（登録商標）等の無線で撮影画像データを送信するようにしたが、通信網や無線ＬＡＮを介して送信するようにしてもよい。この場合、スマートフォン１や携帯電話等の受信する側の情報機器は、撮影画像データを送信してきた他機器のユーザ（送信ユーザ）を特定するための氏名、又はメールアドレス、ＦａｃｅＢｏｏｋ、Ｆｌｉｃｋｒ，Ｍｉｘｉなど、ＳＮＳ（Social Networking Service）や画像共有サービス等のユーザＩＤ、ニックネーム、端末デバイスアドレス、ブログや個人ホームページ等のＵＲＬなど、送信ユーザの特定情報を取得し、又は、予め記憶しておいて、取得した送信ユーザの特定情報に基づいて、Ｗｅｂ上のサーバーや、画像データベース、又は所定のＳＮＳや画像共有サービスのサイトを検索して、当該送信ユーザに関連する（顔写真やアバター等の）画像を取得して、撮影画像データのコピーと、送信ユーザ関連の画像データとを対応付けて、新たな画像データファイルを生成し記録する。
又は、撮影画像データを主画像データとし、送信ユーザ画像データを副画像データとして、ＭＰＦの画像データファイルを生成して保存記録する。

［９］更に、［８］において、送信ユーザ関連の位置情報やユーザ特定情報だけでなく、受信ユーザ関連の位置情報やユーザ特定情報をも、取得又は予め記憶しておいて、撮影画像を主画像都市、送信ユーザ画像と、撮影場所（又は送信場所）周辺の画像、及び受信ユーザ画像、受信場所周辺の画像などを副画像として、ＭＰＦの画像データをファイルを生成したり、その画像データを符号化して保存記録できる。

［１０］又は、デーンメール添付で送信されてきた画像データ、あるいは、ＦａｃｅＢｏｏｋ、Ｆｌｉｃｋｒ，Ｍｉｘｉなど、ＳＮＳや画像共有サービス等の仲間や会員から送信されてきた、又は、送信する画像データに対して、サービスや種類に応じて、又はユーザがサービス毎やアドレス毎に設定した設定情報に応じて、所定形式の関連情報を抽出や取得し、それに基づいて、所定の関連画像データを検索や取得して、受信した（又は送信する）撮影画像データを主画像として、それらを追加で取得された画像データを副画像として、ＭＰＦの画像データファイルを生成したり、又は１枚の画像中に、それら複数の画像をレイアウトした画像を生成したりして、その画像を符号化して保存記録する。

以上、この発明の実施形態について説明したが、この発明はこれらに限定されるものではなく、特許請求の範囲に記載された発明とその均等の範囲を含むものである。
以下に、本願出願時の特許請求の範囲を付記する。

＜請求項１＞
撮影画像を取得する撮影画像取得手段と、
通信手段と、
この通信手段を介して外部の通信ネットワークに接続し、前記撮影画像取得手段により取得された撮影画像の関連画像の検索指示を検出する指示検出手段と、
この指示検出手段による検索指示の結果として、前記外部の通信ネットワークを介して関連画像を取得する関連画像取得手段と、
この関連画像取得手段によって取得された関連画像を前記撮影画像と関連付けて再生できるよう加工する加工手段と、
を備えることを特徴とする画像加工装置。

＜請求項２＞
前記関連画像取得手段によって取得された関連画像が、出力サイズ又はデータ量が所定の範囲内にあるか否かを判断する判断手段を更に備え、
前記加工手段は、前記判断手段により肯定と判断された関連画像を前記再生手段で再生できるよう加工することを特徴とする請求項１記載の画像加工装置。

＜請求項３＞
前記再生手段は表示手段を含み、
この表示手段の表示性能を取得する表示性能取得手段を更に備え、
前記加工手段は、前記表示性能取得手段によって取得された表示性能に基づいて前記関連画像を加工することを特徴とする請求項１又は２記載の画像加工装置。

＜請求項４＞
前記関連画像取得手段が前記関連画像を複数取得する場合、前記加工手段は、前記取得された複数の関連画像をマルチ表示できるように加工することを特徴とする請求項３記載の画像加工装置。

＜請求項５＞
前記関連画像取得手段が前記検索結果を複数取得する場合、前記加工手段は、前記取得された個数に応じたマルチ表示ができるように前記関連画像を加工することを特徴とする請求項３記載の画像加工装置。

＜請求項６＞
前記加工手段は、前記撮像画像を表示レイアウトに加えた上でマルチ表示ができるように前記撮影画像と前記関連画像とを加工することを特徴とする請求項４又は５記載の画像加工装置。

＜請求項７＞
前記撮影画像には撮影位置を示す撮影位置情報が関連付けられており、
前記指示検出手段は、前記撮影位置情報に基づいた前記撮影画像の関連画像の検索指示を検出することを特徴とする請求項１から６にいずれか記載の画像加工装置。

＜請求項８＞
前記撮像画像に含まれる主要被写体の所在位置情報を取得する所在地情報取得手段を更に備え、
前記指示検出手段は、前記所在地情報に基づいた前記撮影画像の関連画像の検索指示を検出することを特徴とする請求項１から６にいずれか記載の画像加工装置。

＜請求項９＞
前記撮影画像には撮影日時を示す撮影日時情報が関連付けられており、
前記指示検出手段は、前記撮影日時情報に基づいた前記撮影画像の関連画像の検索指示を検出することを特徴とする請求項１から６にいずれか記載の画像加工装置。

＜請求項１０＞
前記撮像画像に含まれる主要被写体そのものを前記撮影画像に関連する情報とし、前記指示検出手段は、この情報に基づいた前記撮影画像の関連画像の検索指示を検出することを特徴とする請求項１から６にいずれか記載の画像加工装置。

＜請求項１１＞
前記主要被写体は、人物の顔であることを特徴とする請求項１０記載の画像加工装置。

＜請求項１２＞
前記撮像画像には撮影条件を示す撮影条件情報が関連付けられており、
前記指示検出手段は、前記撮影条件情報に基づいた前記撮影画像の関連画像の検索指示を検出することを特徴とする請求項１から６にいずれか記載の画像加工装置。

＜請求項１３＞
前記加工手段は、主画像を前記撮像画像、副画像を前記関連画像としたファイル形式のデータに加工することを特徴とする請求項１から１２にいずれか記載の撮像装置。

＜請求項１４＞
通信手段及び再生手段と有する装置を用いる画像処理方法であって、
この通信手段を介して外部の通信ネットワークに接続し、前記予め取得した撮影画像について関連画像の検索指示を検出する指示検出ステップと、
この指示検出ステップでの検索指示の結果として、前記外部の通信ネットワークを介して関連画像を取得する関連画像取得ステップと、
この関連画像取得ステップにて取得された関連画像を前記撮影画像と関連付けて再生できるよう加工する加工ステップと、
を含むことを特徴とする画像加工方法。

＜請求項１５＞
通信手段、及び再生手段を備える装置が有するコンピュータを、
この通信手段を介して外部の通信ネットワークに接続し、前記予め取得した撮影画像について関連画像の検索指示を検出する指示検出手段、
この指示検出ステップにおける検索指示の結果として、前記外部の通信ネットワークを介して関連画像を取得する関連画像取得手段、
この関連画像取得手段によって取得された関連画像を前記撮影画像と関連付けて再生できるよう加工する加工手段、
として機能させることを特徴とするプログラム。

１ スマートフォン
２ デジタルカメラ
３ ＰＣ
１０ 画像検索サイト
１１ サービスサーバー
２０２ ＣＰＵ
２３０ 外部メモリ
２４０ 表示部
２５０ ＧＰＳ部
２６０ 撮像部
３０２ ＣＰＵ
３０４ プログラムメモリ
３３０ 外部メモリ
３４０ 表示部
３５０ ＧＰＳ部
３５６ 入力部
３６０ 撮像部
３６０ 通信Ｉ／Ｆ
５００ インターネット
２０４１ 制御プログラム
２０４２ アプリケーションプログラム
３０４１ 制御プログラム
３０４２ アプリケーションプログラム

Claims (14)

1. 撮影画像を取得する撮影画像取得手段と、
   通信手段と、
   この通信手段を介して外部の通信ネットワークに接続し、前記撮影画像取得手段により取得された撮影画像の関連画像を検索させるための指示を検出する指示検出手段と、
   この指示検出手段による検索指示の結果として、前記外部の通信ネットワークを介して関連画像を取得する関連画像取得手段と、
   この関連画像取得手段によって取得された関連画像のうち、出力サイズ又はデータ量が所定の範囲内にあるものを前記撮影画像と関連付けて再生できるよう加工する加工手段と、
   を備えることを特徴とする画像加工装置。
2. 表示手段と、
   この表示手段の表示性能を取得する表示性能取得手段と、を更に備え、
   前記加工手段は、前記表示性能取得手段によって取得された表示性能に基づいて前記関連画像を加工することを特徴とする請求項１記載の画像加工装置。
3. 前記関連画像取得手段が前記関連画像を複数取得する場合、前記加工手段は、前記取得された複数の関連画像をマルチ表示できるように加工することを特徴とする請求項１又は２記載の画像加工装置。
4. 前記関連画像取得手段が前記関連画像を複数取得する場合、前記加工手段は、前記取得された個数に応じたマルチ表示ができるように前記関連画像を加工することを特徴とする請求項１又は２記載の画像加工装置。
5. 前記加工手段は、前記撮影画像を表示レイアウトに加えた上でマルチ表示ができるように前記撮影画像と前記関連画像とを加工することを特徴とする請求項３又は４記載の画像加工装置。
6. 前記撮影画像には撮影位置を示す撮影位置情報が関連付けられており、
   前記指示検出手段は、前記撮影位置情報に基づいた前記撮影画像の関連画像の検索指示を検出することを特徴とする請求項１から５のいずれか記載の画像加工装置。
7. 前記撮影画像に含まれる主要被写体の所在位置情報を取得する所在地情報取得手段を更に備え、
   前記指示検出手段は、前記所在位置情報に基づいた前記撮影画像の関連画像の検索指示を検出することを特徴とする請求項１から５のいずれか記載の画像加工装置。
8. 前記撮影画像には撮影日時を示す撮影日時情報が関連付けられており、
   前記指示検出手段は、前記撮影日時情報に基づいた前記撮影画像の関連画像の検索指示を検出することを特徴とする請求項１から５のいずれか記載の画像加工装置。
9. 前記撮影画像に含まれる主要被写体そのものを前記撮影画像に関連する情報とし、前記指示検出手段は、この情報に基づいた前記撮影画像の関連画像の検索指示を検出することを特徴とする請求項１から５のいずれか記載の画像加工装置。
10. 前記主要被写体は、人物の顔であることを特徴とする請求項９記載の画像加工装置。
11. 前記撮影画像には撮影条件を示す撮影条件情報が関連付けられており、
    前記指示検出手段は、前記撮影条件情報に基づいた前記撮影画像の関連画像の検索指示を検出することを特徴とする請求項１から５のいずれか記載の画像加工装置。
12. 前記加工手段は、主画像を前記撮影画像、副画像を前記関連画像としたファイル形式のデータに加工することを特徴とする請求項１から１１のいずれか記載の撮像装置。
13. 通信手段及び再生手段と有する装置を用いる画像処理方法であって、
    この通信手段を介して外部の通信ネットワークに接続し、予め取得した撮影画像について関連画像を検索させるための指示を検出する指示検出ステップと、
    この指示検出ステップでの検索指示の結果として、前記外部の通信ネットワークを介して関連画像を取得する関連画像取得ステップと、
    この関連画像取得ステップにて取得された関連画像のうち、出力サイズ又はデータ量が所定の範囲内にあるものを前記撮影画像と関連付けて再生できるよう加工する加工ステップと、
    を含むことを特徴とする画像加工方法。
14. 通信手段、及び再生手段を備える装置が有するコンピュータを、
    この通信手段を介して外部の通信ネットワークに接続し、予め取得した撮影画像について関連画像を検索させるための指示を検出する指示検出手段、
    この指示検出手段による検索指示の結果として、前記外部の通信ネットワークを介して関連画像を取得する関連画像取得手段、
    この関連画像取得手段によって取得された関連画像のうち、出力サイズ又はデータ量が所定の範囲内にあるものを前記撮影画像と関連付けて再生できるよう加工する加工手段、
    として機能させることを特徴とするプログラム。

Images