JP7363226B2 - 情報処理装置、情報処理システム、情報処理方法及び情報処理プログラム - Google Patents

Description

本発明は、情報処理装置、情報処理システム、情報処理方法及び情報処理プログラムに関する。

従来から、店舗や会社等は、その存在を知らせるために袖看板を設置することが多い。袖看板とは、建築物の壁面や支柱を利用して建物の側面に垂直に突き出る形で設置する看板である。

ところで、袖看板は、店舗や会社等の閉店や移転等に伴い撤去される場合や、店名や社名の変更等に伴い交換が必要となる場合がある。これらの場合には、撤去対象の袖看板や、交換対象の袖看板が設置された場所を特定する必要がある。

これに関連して、従来では、場所情報を含むインターネット上の画像に、施設を示す任意の識別マーク（看板等）があるか否か判定する技術が知られている。また、場所情報を含むインターネット上の画像を用いる技術として、道路沿いの風景を撮像した全天球画像を提供するサービスが知られている。

上述した従来の技術を用いて、袖看板の場所を特定しようとした場合、袖看板は一般的に建物の側面に掲げられているため、水平面の画像では、看板全体が画像に映らない可能性がある。また、全天球画像は歪みが大きいため、画像検索に適さない。

このため、上述した従来の技術では、インターネット上等で提供される画像を用いて、検索対象物である袖看板が設置されている場所を特定することが困難であった。

開示の技術は、検索対象物が設置されている場所を特定することを目的とする。

開示の技術は、住所情報に基づく地点で撮像された画像データから、検索対象物に応じて設定されたパラメータに基づき切り出した画像データを取得する画像取得部と、前記切り出した画像データと前記住所情報とを対応付けた情報を、前記検索対象物の画像検索を行う学習部へ入力し、前記学習部に対して前記検索対象物の検索を要求する検索要求部と、を有する情報処理装置である。

検索対象物が設置されている場所を特定することができる。

第一の実施形態の情報処理システムのシステム構成の一例を示す図である。 第一の実施形態の情報処理装置のハードウェア構成の一例を示す図である。 住所情報記憶部の一例を示す図である。 パラメータ記憶部の一例を示す図である。 画像ファイル記憶部の一例を示す図である。 第一の実施形態の情報処理装置の機能を説明する図である。 第一の実施形態の情報処理装置の処理を説明する第一のフローチャートである。 第一の実施形態の情報処理装置の処理を説明する第二のフローチャートである。 画像処理部によって生成される平面画像データを説明する図である。 第一の実施形態の情報処理装置の処理を説明する第三のフローチャートである。 出力部による出力例を示す図である。 第二の実施形態の情報処理装置の機能構成を説明する図である。 第二の実施形態の情報処理装置の処理を説明するフローチャートである。 第二の実施形態における位置算出部の処理を説明する図である。 第二の実施形態の画像処理部によって取得される画像の撮像地点を説明する図である。 第二の実施形態の画像処理部により取得される平面画像データの一例を示す図である。

（第一の実施形態）
以下に図面を参照して、第一の実施形態について説明する。図１は、第一の実施形態の情報処理システムのシステム構成の一例を示す図である。

本実施形態の情報処理システム１００は、情報処理装置２００と、学習装置３００とを含む。情報処理システム１００において、情報処理装置２００と学習装置３００とは、ネットワークを介して接続される。

また、本実施形態の情報処理システム１００において、情報処理装置２００は、端末装置４００とネットワーク等を介して通信を行う。さらに、本実施形態の情報処理システム１００において、情報処理装置２００は、インターネット上に存在するサーバ装置５００と通信を行い、サーバ装置５００からサービスの提供を受ける。

サーバ装置５００が提供するサービスとは、例えば、入力された住所情報を緯度・経度に変換するサービスや、入力された緯度・経度と対応する地点から撮像した道路沿いの風景の全天球画像データを提供するサービス等である。

本実施形態の情報処理装置２００は、住所情報記憶部２２０、パラメータ記憶部２３０、画像ファイル記憶部２４０、画像処理部２５０、検索要求部２６０を有する。

本実施形態の情報処理装置２００において、画像処理部２５０は、住所情報記憶部２２０に格納された住所情報をサーバ装置５００に送信し、サーバ装置５００から、住所情報と対応する位置で撮像した全天球画像データからパラメータに応じて抽出された画像データを取得する。尚、本実施形態の住所情報記憶部２２０は、検索対象物が設置されている可能性がある店舗や会社等の住所を示す住所情報が格納されている。

パラメータ記憶部２３０は、全天球画像データから抽出する平面画像データの範囲を示すパラメータが格納されている。このパラメータは、検索対象物に応じて予め設定される。

次に、画像処理部２５０は、住所情報と、それぞれの平面画像を示す画像データとを対応付けた画像ファイルリストを作成し、画像ファイル記憶部２４０へ格納する。

次に、情報処理装置２００は、検索要求部２６０によって、画像ファイル記憶部２４０に格納された画像ファイルリストを学習装置３００へ入力させる。

本実施形態の学習装置３００は、学習部３１０を有する。学習部３１０は、検索対象物の画像データを正解データとして学習（例えば、教師あり学習）を行ったモデルである。学習部３１０は、画像ファイルリストが入力されると、検索対象物の画像が含まれる画像を示す画像データを特定する情報を出力する。

学習装置３００は、情報処理装置２００から画像ファイルリストの入力を受け付けると、学習部３１０に画像ファイルリストを入力し、検索対象物が含まれる平面画像データを特定する情報を出力として取得する。尚、学習部３１０から出力される、平面画像データを特定する情報とは、平面画像データそのものであっても良いし、平面画像データと対応付けられた住所情報であっても良いし、平面画像データと住所情報とが対応付けられた情報であっても良い。

情報処理装置２００は、検索要求部２６０によって、学習部３１０から出力される情報を取得する。学習部３１０から出力された情報は、情報処理装置２００によって端末装置４００に出力されても良い。また、学習部３１０から出力された情報は、情報処理装置２００のディスプレイ等に出力されても良い。

このように、本実施形態によれば、検索対象物が設置されている可能性のある場所の住所情報の画像データを、検索対象物の画像データを正解データとして学習した学習部３１０に入力し、検索対象物が含まれる画像データを特定する。したがって、本実施形態によれば、学習部３１０によって特定された画像データと対応する住所情報に基づき、検索対象物が設置された場所を特定することができる。

このため、本実施形態によれば、例えば、検索対象物を、撤去の対象の袖看板とした場合には、袖看板が設置されている可能性のある店舗等の住所情報を住所情報記憶部２２０に格納しておけば、撤去対象の袖看板が設置された場所を特定することができる。

また、本実施形態では、インターネット上から住所情報に基づき提供される全天球画像データを用いて、撤去対象の袖看板が設置された場所を特定する。

このため、本実施形態によれば、撤去作業を行う作業員が、撤去対象の袖看板が設置されている可能性のある店舗等を訪れ、目視で袖看板を確認する、といった作業が不要となり、効率的に撤去対象の袖看板の設置場所を把握させることができる。

尚、図１の例では、情報処理装置２００と学習装置３００とが別々に設けられるものとしたが、これに限定されない。学習装置３００は、情報処理装置２００に含まれても良い。また、図１の例では、情報処理装置２００は、住所情報記憶部２２０とパラメータ記憶部２３０と画像ファイル記憶部２４０とを有するものとしたが、これに限定されない。住所情報記憶部２２０、パラメータ記憶部２３０、画像ファイル記憶部２４０は、一部又は全部が情報処理装置２００以外の装置に設けられていても良い。また、本実施形態では、全天球画像データがインターネットを介してサーバ装置５００から提供されるものとしたが、これに限定されない。情報処理装置２００は、住所情報と対応付けられた画像データを取得できれば良く、その方法は、上述した方法に限定されない。

以下に、本実施形態の情報処理装置２００について、さらに説明する。尚、以下の説明では、検索対象物を撤去対象の袖看板とした場合について説明する。図２は、第一の実施形態の情報処理装置のハードウェア構成の一例を示す図である。

図２に示されているように、情報処理装置２００は、コンピュータによって構築されており、図２に示されているように、ＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３、ＨＤ２０４、ＨＤＤ(Hard Disk Drive)コントローラ２０５、ディスプレイ２０６、外部機器接続Ｉ／Ｆ(Interface)２０８、ネットワークＩ／Ｆ２０９、データバス２１０、キーボード２１１、ポインティングデバイス２１２、ＤＶＤ－ＲＷ(Digital Versatile Disk Rewritable)ドライブ２１４、メディアＩ／Ｆ２１６を備えている。

これらのうち、ＣＰＵ２０１は、情報処理装置２００全体の動作を制御する。ＲＯＭ２０２は、ＩＰＬ等のＣＰＵ２０１の駆動に用いられるプログラムを記憶する。ＲＡＭ２０３は、ＣＰＵ２０１のワークエリアとして使用される。ＨＤ２０４は、プログラム等の各種データを記憶する。ＨＤＤコントローラ２０５は、ＣＰＵ２０１の制御にしたがってＨＤ２０４に対する各種データの読み出し又は書き込みを制御する。ディスプレイ２０６は、カーソル、メニュー、ウィンドウ、文字、又は画像などの各種情報を表示する。

外部機器接続Ｉ／Ｆ２０８は、各種の外部機器を接続するためのインターフェースである。この場合の外部機器は、例えば、ＵＳＢ(Universal Serial Bus)メモリやプリンタ等である。ネットワークＩ／Ｆ２０９は、通信ネットワークを利用してデータ通信をするためのインターフェースである。データバス２１０は、図２に示されているＣＰＵ２０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。

また、キーボード２１１は、文字、数値、各種指示などの入力のための複数のキーを備えた入力手段の一種である。ポインティングデバイス２１２は、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行う入力手段の一種である。ＤＶＤ－ＲＷドライブ２１４は、着脱可能な記録媒体の一例としてのＤＶＤ－ＲＷ２１３に対する各種データの読み出し又は書き込みを制御する。尚、ＤＶＤ－ＲＷに限らず、ＤＶＤ－Ｒ等であってもよい。メディアＩ／Ｆ２１６は、フラッシュメモリ等の記録メディア２１５に対するデータの読み出し又は書き込み（記憶）を制御する。

次に、図３乃至図５を参照して、本実施形態の情報処理装置２００の有する住所情報記憶部２２０、パラメータ記憶部２３０、画像ファイル記憶部２４０について説明する。尚、これらの各記憶部は、ＨＤ２０４やＲＯＭ５０３等の記憶装置によって実現される。

図３は、住所情報記憶部の一例を示す図である。本実施形態の住所情報記憶部２２０に格納される住所情報は、情報の項目として、名称、郵便番号、住所を含む。

項目「名称」の値は、撤去対象の袖看板が設置されている可能性のある店舗や会社等の名称を示す。項目「郵便番号」の値と、項目「住所」の値は、対応する店舗等の郵便番号と住所である。

住所情報記憶部２２０には、例えば、過去に袖看板を設置した店舗の住所情報のリスト（一覧）等が格納されて良い。住所情報記憶部２２０は、予め情報処理装置２００に与えられる。

図４は、パラメータ記憶部の一例を示す図である。先に説明した通り、学習部３１０における学習は、通常、平面画像の検索対象物の画像データを正解データとして行われる。一方、住所情報に基づき特定される全天球画像は、平面画像ではなく、歪んだ画像になっている。このため、全天球画像のまま、学習部３１０に入力しても、学習をしたときの正解データとは異なるために、袖看板が設置された場所を特定できない可能性がある。

このような問題も含め、全天球画像を平面画像として取得する必要がある。本実施形態のパラメータ記憶部２３０は、住所情報と対応する全天球画像データから、複数の平面画像データを取得する際に参照される。具体的には、本実施形態では、全天球画像データから、８つの方位毎に平面画像データを取得する。

本実施形態のパラメータ記憶部２３０に格納されたパラメータには、ｓｉｚｅ、ｌｏｃａｔｉｏｎ、ｈｅａｄｉｎｇ、ｐｉｔｃｈ、ｆｏｖ、ｓｏｕｒｃｅ、ｋｅｙを含む。

ｓｉｚｅは、全天球画像データから取得される平面画像データのサイズを示す。本実施形態では、平面画像データのｓｉｚｅは、６４０ピクセル×６４０ピクセルとする。

ｌｏｃａｔｉｏｎは、全天球画像データが撮像された地点の緯度・経度を示す。

ｈｅａｄｉｎｇは、方位を示す。ｈｅａｄｉｎｇの値が０の場合は北、９０の場合は東、１８０の場合は南、２７０の場合は西を示す。

ｐｉｔｃｈは、水平を基準とした上下方向の角度を示す。以下の説明では、上向きの角度を仰角、下向きの角度を俯角又は伏角と呼ぶ場合がある。本実施形態では、ｐｉｔｃｈの値は上向きの１５．０度である。

ｆｏｖ（field of view）は、画角を示す。本実施形態では、ｆｏｖは、４５．０である。

ｓｏｕｒｃｅは、撮像される対象を示す。本実施形態では、屋内の画像を除外するために、ｏｕｔｄｏｏｒ（屋外）とした。

ｋｅｙは、サーバ装置５００が提供するサービスを利用するためのＡＰＩ（Application Programming Interface）キーを示す。

本実施形態では、こられのパラメータを参照して、全天球画像データから８方位の平面画像データを取得する。

次に、図５を参照して、画像ファイル記憶部２４０について説明する。図５は、画像ファイル記憶部の一例を示す図である。

本実施形態の画像ファイル記憶部２４０に格納される画像ファイルリストは、情報の項目として、ｉｍａｇｅ＿ｎａｍｅ、ｊｐｎ＿ａｄｄｒｅｓｓ、ｆｏｒｍａｔｔｅｄ＿ａｄｄｒｅｓｓ、ｌａｔｉｔｕｄｅ、ｌｏｎｇｉｔｕｄｅを有し、各項目は対応付けられている。以下の説明では、上述した各項目の値を含む情報を画像ファイルと呼ぶ。

項目「ｉｍａｇｅ＿ｎａｍｅ」の値は、平面画像データの画像ファイル名を示す。項目「ｊｐｎ＿ａｄｄｒｅｓｓ」の値は、住所情報に含まれる住所を示す。項目「ｆｏｒｍａｔｔｅｄ＿ａｄｄｒｅｓｓ」の値は、英語のフォーマットに変換した住所を示す。項目「ｌａｔｉｔｕｄｅ」の値と、項目「ｌｏｎｇｉｔｕｄｅ」の値は、住所を緯度経度に変換した際の緯度と経度を示す。

画像ファイル記憶部２４０に格納される画像ファイルリストは、画像処理部２５０による処理によって作成される。

次に、図６を参照して、本実施形態の情報処理装置２００の機能について説明する。図６は、第一の実施形態の情報処理装置の機能を説明する図である。

本実施形態の情報処理装置２００は、画像処理部２５０と検索要求部２６０とを有する。画像処理部２５０は、住所情報取得部２５１、緯度経度変換部２５２、画像取得部２５３、パラメータ設定部２５４、格納部２５５を有する。

住所情報取得部２５１は、住所情報記憶部２２０から住所情報を取得する。緯度経度変換部２５２は、住所情報が示す場所を緯度・経度に変換する。具体的には、緯度経度変換部２５２は、サーバ装置５００に対して住所情報を送信し、対応する緯度・経度を取得しても良い。尚、住所情報と対応する緯度・経度とは、住所情報が示す地点から最も近い道路上の点である。

画像取得部２５３は、緯度経度変換部２５２によって変換された緯度・経度をサーバ装置５００へ送信し、この緯度・経度に基づく全天球画像データから、パラメータに基づいて切り出された画像データを取得する。具体的には、画像取得部２５３は、パラメータ設定部２５４によって設定されたパラメータを、サーバ装置５００へ送信し、緯度・経度に基づく全天球画像データから、パラメータに基づいて切り出された画像データを、サーバ装置５００から取得する。

尚、パラメータに基づいて全天球画像データから切り出された画像データは、全天球画像の歪みをなくした平面画像を示す平面画像データとなる。つまり、本実施形態のパラメータは、全天球画像データから切り出された画像データが、歪みのない平面画像データとなる範囲に設定されている。

したがって、画像取得部２５３は、住所情報に基づき、住所情報が示す住所と対応した歪みのない平面画像データを取得できる。

パラメータ設定部２５４は、パラメータ記憶部２３０に格納されたパラメータを読み出して、画像取得部２５３に設定する。

格納部２５５は、画像取得部２５３が取得した平面画像データと、住所情報が示す住所と、緯度・経度とを対応付けた画像ファイルを生成し、画像ファイル記憶部２４０へ格納する。つまり、格納部２５５は、全天球画像データから切り出された画像データと、住所情報とを対応付けた情報を画像ファイルとして、画像ファイル記憶部２４０へ格納する。

本実施形態の検索要求部２６０は、リスト出力部２６１、結果取得部２６２、出力部２６３を有する。

リスト出力部２６１は、検索要求と共に、画像ファイル記憶部２４０に格納された画像ファイルリスト（画像ファイルの一覧）を学習装置３００へ出力する。言い換えれば、検索要求部２６０は、住所情報と対応する全天球画像データから切り出された画像データと、住所情報とを対応付けた情報を、学習部３１０へ入力し、学習部３１０に対して検索対象物の検索を要求する。

結果取得部２６２は、学習部３１０により出力された情報を取得する。出力部２６３は、結果取得部２６２が取得した情報を端末装置４００等に出力する。

次に、図７及び図８を参照して、本実施形態の画像処理部２５０の処理について説明する。図７は、第一の実施形態の情報処理装置の処理を説明する第一のフローチャートである。

本実施形態の情報処理装置２００において、画像処理部２５０は、平面画像データを格納するためのファイルを作成する（ステップＳ７０１）。

続いて、画像処理部２５０は、住所情報取得部２５１により、住所情報記憶部２２０を参照する（ステップＳ７０２）。

続いて、画像処理部２５０は、住所情報取得部２５１により、住所情報記憶部２２０に格納された住所情報を１レコードずつ読み込む（ステップＳ７０３）。

続いて、画像処理部２５０は、緯度経度変換部２５２により、読み込んだ住所情報が示す場所を緯度・経度に変換する（ステップＳ７０４）。具体的には、緯度経度変換部２５２は、サーバ装置５００が提供するＡＰＩを起動させて住所情報を送信し、住所情報と対応する緯度・経度を取得する。

続いて、画像処理部２５０は、緯度・経度に基づき、複数の平面画像データを取得する（ステップＳ７０５）。ステップＳ７０５の処理の詳細は後述する。

続いて、画像処理部２５０は、住所情報記憶部２２０に格納された全ての住所情報に対して、ステップＳ７０３からステップＳ７０５の処理を繰り返し（ステップＳ７０６）、処理を終了する。

以下に、図８を参照して、図７のステップＳ７０５の処理について説明する。図８は、第一の実施形態の情報処理装置の処理を説明する第二のフローチャートである。

本実施形態の画像処理部２５０は、パラメータ設定部２５４により、パラメータ記憶部２３０を参照し、パラメータを設定する（ステップＳ８０１）。

具体的には、パラメータ設定部２５４は、ｓｉｚｅを６４０ピクセル×６４０ピクセル、ｌｏｃａｔｉｏｎを緯度経度変換部２５２が取得した緯度・経度、ｈｅａｄｉｎｇを０、ｐｉｔｃｈを上向きの１５．０度、ｆｏｖを４５度、ｓｏｕｒｃｅをｏｕｔｄｏｏｒ、ｋｅｙを、サーバ装置５００が提供するサービスを利用するためのＡＰＩに設定する。

続いて、画像処理部２５０は、画像取得部２５３により、設定されたパラメータに基づき、全天球画像データから切り出された平面画像データを取得する（ステップＳ８０２）。

具体的には、画像取得部２５３は、全天球画像データから、北方向を中心とした、画角４５度、仰角１５度の範囲で切り出された平面画像データを取得する。

続いて、画像処理部２５０は、格納部２５５により、取得した平面画像データに、画像ファイル名と、住所と、英語のフォーマットに変換した住所と、住所情報から変換した緯度・経度とを対応付けた画像ファイルを生成して画像ファイル記憶部２４０に格納する（ステップ８０３）。

続いて、画像取得部２５３は、８方位の平面画像データを取得したか否かを判定する（ステップＳ８０４）。ステップＳ８０４において、８方位の平面画像データを取得していない場合、パラメータ設定部２５４は、パラメータを変更し（ステップＳ８０５）、ステップＳ８０２へ戻る。

具体的には、パラメータ設定部２５４は、パラメータのうち、ｈｅａｄｉｎｇの値に４５度を追加し、ステップＳ８０２に戻る。

ステップＳ８０４において、８方位の平面画像データが生成された場合、画像処理部２５０は、図７のステップＳ７０６へ進む。

本実施形態では、画像処理部２５０の処理により、住所情報と対応する緯度・経度を中心とした８方位の平面画像データを取得することができる。

図９は、画像処理部によって生成される平面画像データを説明する図である。図９に示す平面画像９１～９８は、地点９０を中心として、８方位のそれぞれの風景を撮像した画像である。

平面画像９１は、地点９０において撮像した全天球画像から、北方向を中心とした画角４５度、仰角１５度の範囲を切り出した画像である。平面画像９２は、北東方向を中心とした画角４５度、仰角１５度の範囲を切り出した画像である。平面画像９３は、東方向を中心とした画角４５度、仰角１５度の範囲を切り出した画像である。

平面画像９４は南東方向を中心し、平面画像９５は南方向を中心とし、平面画像９６は南西方向を中心とし、平面画像９７は西方向を中心とし、平面画像９８は北西方向を中心として、それぞれの中心から画角４５度、仰角１５度の範囲を切り出した画像である。

このように、本実施形態によれば、住所情報に基づく全天球画像データから、歪みのない複数の平面画像データを取得することができる。したがって、本実施形態によれば、全天球画像データから、学習装置３００の学習部３１０による画像検索に適した歪みのない画像データを取得することができる。

また、本実施形態では、全天球画像データから切り出す（抽出する）画像データの範囲として、仰角を１５度に設定した。したがって、本実施形態では、水平地点から上方向を見上げた角度の画像データを取得することができる。このため、本実施形態によれば、建物の側面に垂直に突き出る形で設置された袖看板が映っている可能性が高い画像を取得することができる。

次に、図１０を参照して、本実施形態の検索要求部２６０の処理について説明する。図１０は、第一の実施形態の情報処理装置の処理を説明する第三のフローチャートである。

本実施形態の検索要求部２６０は、リスト出力部２６１により、検索要求と共に、画像ファイル記憶部２４０に格納された画像ファイルリストを学習装置３００へ出力する（ステップＳ１００１）。

続いて、検索要求部２６０は、結果取得部２６２により、学習装置３００から、学習部３１０が出力した情報を取得し（ステップＳ１００２）、出力部２６３により、学習部３１０が出力した情報を端末装置４００へ出力する（ステップＳ１００３）。

尚、出力部２６３が出力する先は、端末装置４００に限定されない。出力部２６３は
情報処理装置２００のディスプレイ２０６に学習部３１０が出力した情報を表示させても良い。また、本実施形態では、学習部３１０が検索結果を出力する度に、検索結果が正解であったか否かを示す情報を学習装置３００に入力し、学習部３１０に機械学習によって学習させても良い。

図１１は、出力部２６３による出力例を示す図である。図１１（Ａ）の例では、学習部３１０によって、検索対象となる袖看板が映っている平面画像データとして抽出された画像データが表示されている。

この場合、出力部２６３は、検索対象の袖看板が映っていた平面画像データと対応付けられた住所情報を特定し、この住所情報と対応付けられた他の平面画像データを画像ファイル記憶部２４０から抽出して、出力しても良い。

この場合、特定された住所情報に基づく緯度・経度を中心とした８方位の画像データが出力されることになる。

また、本実施形態では、検索対象の袖看板が映っていた平面画像データを表示させる際に、検索対象の袖看板の画像を強調するマーク１０１等を表示させても良い。

また、本実施形態の出力部２６３は、図１１（Ｂ）に示すように、住所情報記憶部２２０に格納された住所情報のうち、平面画像データに検索対象となる袖看板が映っていた住所情報の一覧を表示させても良い。

図１１（Ｂ）に示す画面１１１は、検索対象となる袖看板が設置されていた住所を表示していることを示すメッセージ１１２と、平面画像データに検索対象となる袖看板が映っていた住所情報の一覧１１３とが表示されている。

このように、検索結果を住所情報の一覧として表示させることで、袖看板の撤去を行う作業員等に対し、撤去対象の袖看板の設置場所を容易に把握させることができる。

（第二の実施形態）
以下に、図面を参照して、第二の実施形態について説明する。第二の実施形態では、住所情報から取得した緯度・経度に基づき取得した全天球画像データに検索対象が映っていない場合に、住所情報から取得した緯度・経度の近傍の地点から撮像した全天球画像データを用いる点が、第一の実施形態と相違する。以下の説明では、第一の実施形態との相違点について説明し、第一の実施形態と同様の機能構成を有するものには、第一の実施形態の説明で用いた符号と同様の符号を付与し、その説明を省略する。

図１２は、第二の実施形態の情報処理装置の機能構成を説明する図である。本実施形態の情報処理装置２００Ａは、住所情報記憶部２２０、パラメータ記憶部２３０、画像ファイル記憶部２４０、画像処理部２５０Ａ、検索要求部２６０を有する。

画像処理部２５０Ａは、住所情報取得部２５１、緯度経度変換部２５２、画像取得部２５３、パラメータ設定部２５４、格納部２５５、検索結果判定部２５７、位置算出部２５８を有する。

検索結果判定部２５７は、学習装置３００で行われた検索結果に、検索対象の袖看板が映った平面画像データが存在するか否かを判定する。言い換えれば、検索結果判定部２５７は、学習装置３００による検索の結果、該当する平面画像データがヒットしたか否かを判定している。

位置算出部２５８は、該当する平面画像データが存在しなかった場合に、住所情報から変換した緯度・経度が示す地点と近傍の地点を算出する。

以下に、図１３を参照して、本実施形態の画像処理部２５０Ａの処理について説明する。図１３は、第二の実施形態の情報処理装置の処理を説明するフローチャートである。図１３に示す処理は、例えば、検索要求部２６０の結果取得部２６２が、学習装置３００から検索結果を取得した際に、検索結果判定部２５７によって、該当する平面画像データが存在しない、と判定された場合に実行される。

本実施形態の画像処理部２５０Ａにおいて、画像処理部２５０Ａは、緯度経度変換部２５２により、住所情報記憶部２２０に格納された住所情報を取得して、住所情報が示す地点と対応する緯度・経度に変換する（ステップＳ１３０１）。ステップＳ１３０１で取得される緯度・経度を、緯度・経度１（第一の緯度・経度）と呼ぶ。

続いて、位置算出部２５８は、緯度・経度１と最も近い道路上の地点の緯度・経度を取得する（ステップＳ１３０２）。ステップＳ１３０２で取得される緯度・経度を、緯度・経度２（第二の緯度・経度）と呼ぶ。

具体的には、位置算出部２５８は、サーバ装置５００が提供する地図情報提供サービス等によって、緯度・経度１と最も近い道路上の緯度・経度２を取得しても良い。

続いて、画像処理部２５０Ａは、位置算出部２５８により、緯度・経度１が示す地点から、緯度・経度２が示す地点までの方位を求める（ステップＳ１３０３）。ここで求められる方位を、方位Ａと呼ぶ。

続いて、位置算出部２５８は、方位Ａと垂直に交わる２つの方位を取得し、緯度・経度２が示す地点を含む道路の方向を推定する（ステップＳ１３０４）。ここで取得される、方位Ａと垂直に交わる２つの方位を、方位Ｂ、方位Ｃと呼ぶ。

続いて、位置算出部２５８は、緯度・経度２が示す地点を含む近傍において、１Ｋｍ当たりの緯度・経度の変化を算出する（ステップＳ１３０５）。続いて、位置算出部２５８は、緯度・経度２が示す地点から、８方向に各１０ｍ移動した８つの地点の緯度経度を算出する（ステップＳ１３０６）。

続いて、位置算出部２５８は、８つの地点のうち、方位Ｂ、方位Ｃのそれぞれと最も近い２つの地点を特定し、この２つの地点について、各地点から最も近い道路上の地点の緯度・経度を取得する（ステップＳ１３０７）。ステップＳ１３０７で取得される２つの地点の緯度・経度を、緯度・経度３、緯度・経度４と呼ぶ。

具体的には、位置算出部２５８は、方位Ｂ、方位Ｃのそれぞれと最も近い２つの地点を示す緯度・経度をサーバ装置５００に通知し、サーバ装置５００が提供する地図情報提供サービス等によって、緯度・経度３と緯度・経度４を取得しても良い。

続いて、画像処理部２５０Ａは、緯度・経度３、緯度・経度４のそれぞれについて、図８の処理を実行し（ステップＳ１３０８）、処理を終了する。

したがって、本実施形態では、緯度・経度３の地点で撮像された全天球画像データから切り出された８つの平面画像を示す平面画像データと、緯度・経度４の地点で撮像された全天球画像データから切り出された８つの平面画像を示す平面画像データとが取得される。

本実施形態の検索要求部２６０は、緯度・経度３に基づき取得された８つの平面画像データと、緯度・経度４に基づき取得された８つの平面画像データと、を学習装置３００に出力する。このようにすれば、住所情報に基づき取得された８つの平面画像データが示す平面画像に、検索対象の袖看板の画像が含まれていない場合に、住所情報が示す地点から少し離れた地点から見た道路沿いの風景の画像データに基づく検索を行うことができる。

以下に、図１４を参照して、図１３の処理を具体的に説明する。図１４は、第二の実施形態における位置算出部の処理を説明する図である。

図１４の例では、住所情報から変換される緯度・経度１を点Ｐ１とし、緯度・経度１から最も近い道路上の地点を示す緯度・経度２を点Ｐ２とする。

位置算出部２５８は、点Ｐ１と点Ｐ２を結ぶ方位Ａと垂直に交わる２つの方位Ｂ、Ｃを特定する。このとき、位置算出部２５８は、方位Ｂから方位Ｃに向かう道路が存在するものと推定する。

次に、位置算出部２５８は、まず、地点Ｐ２を４方向に１０ｍずつ移動させた地点を特定する。具体的には、地点Ｐ２を東方向に１０ｍ移動させた地点Ｐ１１、地点Ｐ２を北に１０ｍ移動させた地点Ｐ１２、地点Ｐ２を西に１０ｍ移動させた地点Ｐ１３、地点Ｐ２を南に１０ｍ移動させた地点Ｐ１４を特定する。

尚、本実施形態では、地点Ｐ２を１０ｍ移動させた地点を特定するものとしたが、移動させる距離は、１０ｍに限定されない。地点Ｐ２から移動させる距離は、例えば、サーバ装置５００によって提供される全天球画像データの撮像地点の間隔に応じて決定されて良い。本実施形態では、サーバ装置５００によって提供される全天球画像データの撮像地点が、約１０ｍ程度であるものとする。

続いて、位置算出部２５８は、地点Ｐ１１を北へ１０ｍ移動させた地点Ｐ１５と、地点Ｐ１１を南に１０ｍ移動させた地点Ｐ１６と、地点Ｐ１３を北へ１０ｍ移動させた地点Ｐ１７と、地点Ｐ１３を南に１０ｍ移動させた地点Ｐ１８と、を特定する。

このように、本実施形態では、地点Ｐ２を中心とした８方位において、地点Ｐ２から所定の距離を移動させた地点を特定する。言い換えれば、位置算出部２５８は、地点Ｐ２を中心とした所定の領域を特定している。

続いて、位置算出部２５８は、地点Ｐ１１から地点Ｐ１８において、方位Ｂと方位Ｃに最も近い地点を特定する。つまり、本実施形態では、地点Ｐ１１から地点Ｐ１８において、方位Ｂから方位Ｃへ向かう道路と最も近い地点を特定している。

図１４の例では、地点Ｐ１５の方位が方位Ｂと最も近く、地点Ｐ１８の方位が方位Ｃと最も近い。したがって、地点Ｐ１５と地点Ｐ１８は、方位Ｂから方位Ｃへ向かう道路と最も近い地点と推定される。

次に、位置算出部２５８は、地点Ｐ１５、地点Ｐ１８のそれぞれから最も近い道路上の地点を特定する。具体的には、位置算出部２５８は、地点Ｐ１５と地点Ｐ１８の緯度・経度を、地点Ｐ２の緯度・経度に基づき算出する。そして、位置算出部２５８は、地点Ｐ１５の緯度・経度と、地点Ｐ１８の緯度・経度とを、サーバ装置５００へ通知する。

サーバ装置５００は、サーバ装置５００が提供する地図情報提供サービス等によって、地点Ｐ１５と最も近い道路上の地点Ｐ３の緯度・経度（緯度・経度３）と、地点Ｐ１６と最も近い道路上の地点Ｐ４の緯度・経度（緯度・経度４）とを取得し、位置算出部２５８へ返す。

本実施形態の情報処理装置２００Ａにおいて、画像処理部２５０Ａは、地点Ｐ３の緯度・経度と、地点Ｐ４の緯度・経度と、それぞれについて、図８の処理を実行すれば良い。

その結果、画像処理部２５０Ａは、住所情報と対応する地点Ｐ２を中心した８方位の平面画像データに加え、地点Ｐ３を中心とした８方位の平面画像データと、地点Ｐ４を中心とした８方位の平面画像データと、を取得することができる。

したがって、本実施形態では、住所情報と対応する緯度・経度が示す地点Ｐ２から、人が数歩程度で移動できる距離だけ離れた地点Ｐ３、地点Ｐ４から撮像された画像データについても、学習装置３００へ提供することができる。

このため、本実施形態では、検索対象の画像を含む画像データが特定される可能性を高めることができる。

尚、図１４の例では、地点Ｐ２を中心とする所定の領域が正方形の中心となるように、８方位の地点Ｐ１１～Ｐ１８を特定したが、これに限定されない。本実施形態では、所定の領域を、地点Ｐ２を中心しと、８方位へ所定の距離移動した８つの地点によって特定できれば良い。したがって、地点Ｐ２から地点Ｐ１１～Ｐ１８までの距離が全て等しくても良い。この場合、所定の領域は、地点Ｐ２を中心とした円形となる。

図１５は、第二の実施形態の画像処理部によって取得される画像の撮像地点を説明する図である。図１５では、例えば、住所情報記憶部２２０から読み出した住所情報から変換された緯度・経度１が示す地点が、地点Ｐ５１であったとする。画像処理部２５０Ａは、地点Ｐ５１から最も近い道路上の地点Ｐ５２を示す緯度・経度２を取得すると、位置算出部２５８により、地点Ｐ５１から地点Ｐ５２へ向かう方位Ａと垂直に交わる方位Ｂと方位Ｃを特定する。

図１５の例では、方位Ｂは南東であり、方位Ｃは北西である。したがって、位置算出部２５８は、地点Ｐ５２を中心とする８方位について、地点Ｐ５２を所定の距離移動させた８つの地点の中から、方位Ｂと最も近い方位の地点Ｐ５３と、方位Ｃと最も近い方位の地点Ｐ５４とが特定される。

そして、位置算出部２５８は、地点Ｐ５３と最も近い道路上の地点Ｐ５５の緯度・経度と、地点Ｐ５４と最も近い道路上の地点Ｐ５６の緯度・経度を取得し、画像取得部２５３に渡す。

画像処理部２５０Ａにおいて、画像取得部２５３は、地点Ｐ５５と地点Ｐ５６のそれぞれにおいて撮像された全天球画像データから、パラメータ設定部２５４によって設定されたパラメータが示す範囲に切り出された８方位の平面画像データを取得する。

そして、画像処理部２５０Ａは、格納部２５５により、住所情報と、地点Ｐ５２、地点Ｐ５５と、地点Ｐ５６のそれぞれの緯度・経度と、各地点に基づき全天球画像データから取得された８方位の画像データと、を対応付けて画像ファイル記憶部２４０へ格納する。

図１６は、第二の実施形態の画像処理部により取得される平面画像データの一例を示す図である。

図１６では、３つの地点について、８方位の平面画像データが取得されていることがわかる。

例えば、平面画像データ群１５２は、住所情報と対応する緯度・経度が示す地点Ｐ５２で撮像された全天球画像データから取得された８方位の平面画像データである。

また、平面画像データ群１５５は、人が、地点Ｐ５２から、北西に向かって数歩歩いた程度の距離を移動した地点Ｐ５５で撮像された全天球画像データから取得された８方位の平面画像データである。また、平面画像データ群１５６は、人が、地点Ｐ５２から、南東に向かって数歩歩いた程度の距離を移動した地点Ｐ５６で撮像された全天球画像データから取得された８方位の平面画像データである。

本実施形態では、この３つの平面画像データ群を学習装置３００の学習部３１０に入力とし、検索対象物となる袖看板の画像を含む画像データを検索させる。

したがって、本実施形態では、住所情報と対応する地点で撮像された全天球画像データに、検索対象物の画像が含まれなくても、他の地点で撮像された全天球画像データを検索に活用することができる。

尚、本実施形態では、住所情報に基づき、サーバ装置５００から提供される画像データを全天球画像データとしたが、これに限定されない。本実施形態では、例えば、サーバ装置５００から、住所情報に基づいて、平面画像データが提供されても良い。この場合、画像処理部２５０は、検索対象物に基づき設定されたパラメータに基づき、サーバ装置５００から提供される平面画像データから切り出された一部の画像データを、画像ファイル記憶部２４０に格納しても良い。

具体的には、例えば、検索対象物が、特定の状態の自動販売機であっとする。この場合、検索対象物は、一般的に道路上に配置されるものであるため、空の画像等は不要となる。したがって、この場合には、パラメータ記憶部２３０に、サーバ装置５００から提供される平面画像データが示す平面画像の上部分が切り取られるようなパラメータを設定しておけば良い。また、この場合には、学習部３１０では、特定の状態の自動販売機の画像が含まれる画像データを正解データとした学習が予め行われる。

また、例えば、検索対象物が、マンホール等である場合について考える。この場合には、サーバ装置５００から提供される画像データが全天球画像データであるならば、パラメータ記憶部２３０に格納されるパラメータのうち、ｆｏｖを下方向１５度等とすれば良い。また、この場合に、サーバ装置５００から取得される画像データが平面画像データであるならば、例えば、平面画像の下部分が切り出されるように、パラメータが設定されていても良い。また、この場合には、学習部３１０では、マンホールの画像が含まれる画像データを正解データとした学習が予め行われる。

上記で説明した実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC（Application Specific Integrated Circuit）、DSP（digital signal processor）、FPGA（field programmable gate array）や従来の回路モジュール等のデバイスを含むものとする。

また、上述した実施形態に記載された装置群は、本明細書に開示された実施形態を実施するための複数のコンピューティング環境のうちの１つを示すものにすぎない。ある実施形態では、第１の装置は、サーバクラスタといった複数のコンピューティングデバイスを含む。複数のコンピューティングデバイスは、ネットワークや共有メモリなどを含む任意のタイプの通信リンクを介して互いに通信するように構成されており、本明細書に開示された処理を実施する。同様に、第２の装置は、互いに通信するように構成された複数のコンピューティングデバイスを含むことができる。

さらに、第１の装置および第２の装置は、開示された処理ステップ、例えば図７を様々な組み合わせで共有するように構成できる。例えば、画像処理部２５０によって実行されるプロセスは、第２の装置によって実行され得る。同様に、画像処理部２５０の機能は、第２の装置によって実行することができる。また、第１の装置と第２の装置の各要素は、１つのサーバ装置にまとめられていても良いし、複数の装置に分けられていても良い。

また、本実施形態において、機械学習とは、コンピュータに人のような学習能力を獲得させるための技術であり、コンピュータが、データ識別等の判断に必要なアルゴリズムを、事前に取り込まれる学習データから自律的に生成し、新たなデータについてこれを適用して予測を行う技術のことをいう。機械学習のための学習方法は、教師あり学習、教師なし学習、半教師学習、強化学習、深層学習のいずれかの方法でもよく、さらに、これらの学習方法を組み合わせた学習方法でもよく、機械学習のための学習方法は問わない。

以上、各実施形態に基づき本発明の説明を行ってきたが、上記実施形態に示した要件に本発明が限定されるものではない。これらの点に関しては、本発明の主旨をそこなわない範囲で変更することができ、その応用形態に応じて適切に定めることができる。

１００ 情報処理システム
２００、２００Ａ 情報処理装置
２２０ 住所情報記憶部
２３０ パラメータ記憶部
２４０ 画像ファイル記憶部
２５０、２５０Ａ 画像処理部
２５１ 住所情報取得部
２５２ 緯度経度変換部
２５３ 画像取得部
２５４ パラメータ設定部
２５５ 格納部
２５７ 検索結果判定部
２５８ 位置算出部
２６０ 検索要求部
３００ 学習装置
３１０ 学習部
４００ 端末装置
５００ サーバ装置

特表２０１８－５１８７４２号公報 特開２０１５－０４６１７１号公報

Claims (8)

1. 住所情報に基づく地点で撮像された画像データから、検索対象物に応じて設定されたパラメータに基づき切り出した画像データを取得する画像取得部と、
   前記切り出した画像データと前記住所情報とを対応付けた情報を、前記検索対象物の画像検索を行う学習部へ入力し、前記学習部に対して前記検索対象物の検索を要求する検索要求部と、を有する情報処理装置。
2. 前記住所情報に基づく地点で撮像された画像データは、全天球画像データであり、
   前記画像取得部は、
   前記全天球画像データから、前記パラメータが示す範囲の画像データである平面画像データを取得する、請求項１記載の情報処理装置。
3. 前記パラメータは、
   前記住所情報に基づく地点を中心とした複数方位と、各方位を中心とした画角と、仰角と、を少なくとも含む、請求項２記載の情報処理装置。
4. 前記学習部を有し、
   前記学習部は、
   前記切り出した画像データのうち、前記検索対象物の画像が含まれる画像データと対応付けられた住所情報を出力する、請求項１乃至３の何れか一項に記載の情報処理装置。
5. 前記切り出した画像データに、前記検索対象物の画像が含まれる画像データが存在しない場合に、前記住所情報に基づく地点を含む所定の領域内に、前記住所情報に基づく地点とは別の地点を特定する位置算出部を有し、
   前記画像取得部は、
   前記別の地点で撮像された画像データから、前記パラメータに基づき切り出した画像データを取得する、請求項１乃至４の何れか一項に記載の情報処理装置。
6. 住所情報に基づく地点で撮像された画像データから、検索対象物に応じて設定されたパラメータに基づき切り出した画像データを取得する画像取得部と、
   前記切り出した画像データと前記住所情報とを対応付けた情報を、前記検索対象物の画像検索を行う学習部へ入力し、前記学習部に対して前記検索対象物の検索を要求する検索要求部と、を有する情報処理システム。
7. 情報処理装置が、
   住所情報に基づく地点で撮像された画像データから、検索対象物に応じて設定されたパラメータに基づき切り出した画像データを取得し、
   前記切り出した画像データと前記住所情報とを対応付けた情報を、前記検索対象物の画像検索を行う学習部へ入力し、前記学習部に対して前記検索対象物の検索を要求する、情報処理方法。
8. 住所情報に基づく地点で撮像された画像データから、検索対象物に応じて設定されたパラメータに基づき切り出した画像データを取得し、
   前記切り出した画像データと前記住所情報とを対応付けた情報を、前記検索対象物の画像検索を行う学習部へ入力し、前記学習部に対して前記検索対象物の検索を要求する、処理をコンピュータに実行させる、情報処理プログラム。

Images