JP4210309B2 - 地図情報関連付き画像データ表示システムおよび地図情報関連付き画像データ表示のプログラム - Google Patents

Description

本発明は、地理的環境を把握するための画像データを、たとえば道路走行や上空飛行によって撮影して収集し、必要な地理的範囲や画像の解像度・画像データ量に応じて抽出・加工し、地理座標と関連付けて空間的および時間的に管理し、地図と連動させて表示させる地理情報関連付き画像データ表示システムに関するものである。

情報技術の高度化および大容量通信網の整備に伴い、インターネット、カーナビゲーション、携帯電話などの表示媒体において写真や動画像などの大容量データベースが容易に扱えるようになった。

これに伴い、地理情報システム（ＧＩＳ）やインターネット上での地図検索サイトにおいて、地理属性として画像を利用することで、実際の風景をデフォルメなく正確に利用者に伝えるニーズが多くなってきている。

特定の道路から撮影した街並み映像を撮影し、道路や河川の維持管理に使用する技術は開発されている（例えば、特許文献１参照）。

この技術では、道路等線上の地物で得られた画像は、道路中心線など１次元的な地物の上に、その地物上に指定された始点からの距離と関連付けて管理される。

また、実際に撮影した画像ではなく、人工的に作成されたＣＧ画像を、部分的にグラフ構造を持つ道路と関連させて管理する技術もある（例えば、特許文献２参照）。最近では、実際の画像を表示する技術が開発されている（例えば、特許文献３参照）。
特許３０９９１０３号公報 特開平６−８３９３７号公報 特開２００５−３７５２号公報

本発明では、グラフ構造をした道路ネットワークの周辺環境を撮影して得られた画像データと周辺地図を含めた地理情報とを関連付けて構成されたデータを表示することを目的とするものである。

従来の技術では、１箇所の地図情報と関連付けて管理できる画像は１種類のみであったため、季節や時間帯が異なる複数の画像から選択して表示することができなかった。

つまり、季節や時間帯が異なる時期に撮影した画像を同時に管理したり、見たい季節や時間帯の画像をその中から選択して表示することができなかった。

したがって、１箇所の地図情報と複数の画像を関連付けて構成されたデータを用いて、条件指定や検索によって、閲覧したい条件を満たす最適な画像を地図と共に表示することが必要である。

また、画像の検索では、大規模なデータベースの中では大量の画像ファイルの中から探索を行うため、高速な検索方法が必要となる。既存の地理情報と組み合わせて利用することを可能とするため、たとえば任意の点（たとえばビル）を選んだとき、その点の座標の近傍の座標を属性として持つ周辺の画像を検索し、その画像の進行方向を基点に方位角を計算し、対象となるビルを前面に表示できることが必要である。

さらに、高度な画像の検索方法として、場所による検索だけでなく、画像のもつ意味的な検索が行える、すなわち写っている対象の内容による検索が必要である。

例えば、公園付近の画像・大店舗付近の画像等、地理的な内容に対応する画像を検索することが必要である。

本発明は、移動体に全周囲撮影カメラ、ＧＰＳを有するハイブリット型の位置センサを搭載して進行路を移動したときに一定時間毎に撮影し、前記位置センサの情報を基にして得られた撮影位置、全周囲撮影カメラの撮影中心方向、撮影年月日及び撮影時間帯と共に得た複数の全周囲画像情報の中から撮影地点の全周囲画像を第１の全周囲画像として抽出し、この第１の全周囲画像を、所定の表示範囲でコンピュータグラフィックで画面に表示すると共に、前記撮影地点の範囲を含む地図とを前記画面に連動表示する地理情報関連付き画像データ表示システムにおいて、
前記地図上の前記進行路のＩＤ番号と該進行路の両端のノードのＩＤコードと進行路の始点、終点の座標及び方向を有するベクトル情報とを含むリンク情報を有する路線ネットワーク並びに、該路線ネットワークにおける前記第１の全周囲画像と、該第１の全周囲画像毎に前記撮影位置と前記撮影中心方向と前記進行路における撮影順番と前記撮影位置に対応する前記進行路のＩＤ番号とを含む画像付属情報とが関連付けられて記憶され、かつ前記地図を記憶した記憶装置と、
前記第１の全周囲画像毎の画像付属情報を読み込み、これらの画像付属情報に含まれる前記撮影位置をそれぞれ抽出し、これらを前記地図上の対応する位置に表示する手段と、
前記地図上に前記撮影位置が指定されると、該指定された撮影位置を有する前記画像付属情報及び、該画像付属情報に関連付けている前記第１の全周囲画像を前記記憶装置から読み込む手段と、
前記読み込まれた第１の全周囲画像を前記地図の表示領域とは異なる画像表示領域に第２の全周囲画像として前記所定の表示範囲で前記コンピュータグラフィックにより表示する画像表示手段と、
連続表示の指示に伴って、前記読み込まれた画像付属情報の前記進行路のＩＤ番号を有する全ての画像付属情報の撮影順番を読み込み、これらの撮影順番に基づいて昇順又は逆順に、これらの画像付属情報に関連付けられている前記第１の全周囲画像を順次読み込んで、該読み込み毎にこれを前記画像表示領域に前記所定の表示範囲で前記コンピュータグラフィックにより第３の全周囲画像として連続表示させる撮像画像表示手段と、
前記撮影順番が前記両端のいずれかの端の番号の場合は、前記撮像画像表示手段の連続表示を停止させ、該停止させたときに表示されている前記第３の全周囲画像を第４の全周囲画像とし、この第４の全周囲画像に関連付けられている前記画像付属情報の前記ＩＤ番号を有する前記進行路の前記いずれかの端の前記ノードのIDコードを検索し、このIDコードに関連するノードに接続する全て進行路のID番号を検索し、該検索したこれらの進行路の道路中心の方向を読み込む手段と、
前記読み込んだ全ての進行路の道路中心の方向毎に、その方向と前記撮影中心方向とに基づいて前記第４の全周囲画像上における前記撮影中心方向からの、前記読み込んだ全ての進行路の道路中心の方向毎の方位を求め、前記第４の全周囲画像上に、これらの方位毎に前記進行路を選択させるための進行路選択ポリゴンの表示位置を道路上となる所定の高さで求め、これらの表示位置に前記進行路選択ポリゴンを前記第４の全周囲画像上に合成した第５の全周囲画像を得て、この第５の全周囲画像を前記所定の表示範囲で前記コンピュータグラフィックにより表示させる手段と、
前記前記進行路選択ポリゴンが選択されたとき、該進行路選択ポリゴンに関連付けられた前記リンク情報の前記ＩＤ番号を有する画像付属情報を前記撮像画像表示手段に読み込みさせる手段とを備えたことを要旨とする。

本発明では、グラフ構造をした道路ネットワーク（図１７に示すような、交差点をノード・交差点間の道路中心線を示す連続線分をリンクとするネットワーク情報）の周辺環境を撮影して得られた複数の画像データと周辺地図を含めた地理情報とを関連付けて構成されたデータを用いて、地図と連動させながら、該当する地点に対応する画像を表示することができる。

グラフ構造として道路ネットワークを利用する場合は、ノードとして交差点もしくはそれに類するもの（道路の末端・道路属性が変更される点（橋の末端やトンネルの末端））、リンクとしてノード間を結ぶ道路中心線と解釈してもよい。

また、道路などの地図情報と画像を関連付け、場所を表す地理属性として画像を用いることで、現地のリアルな状況を利用者に視覚的に伝えることができる。

さらに、季節や時間帯が異なる複数の画像を１箇所の地図情報と関連付けて管理できるため、利用者が必要とする時期や時間の状況に最も近い画像を提供することができる。

本実施の形態は、道路などの地図情報と画像を関連付けることで、たとえば、不動産取引のためのマンションや店舗などの物件情報や、町の名所、駅から対象不動産物件や店舗への経路環境表示、商店街の広告活動、消防や警察など緊急通報における位置特定と周辺状況把握、道路河川管理における現地把握など、場所を表す地理属性として映像を用いることで、現地のリアルな状況を利用者に視覚的に伝えることができる地理情報関連付き画像データ表示システムである。

また、対象とする町を面的に、かつ広範囲でデータを取得してサービスを行えば、利用者は調べたい任意の場所を自由に選択することができる。また、たとえば季節別や多時期で撮影したもの画像を用意すれば、町の変遷・環境変化の提供も可能となる地理情報関連付き画像データ表示システムである。

これらのニーズに対して不特定多数の利用者に情報を提供する手段としては、ウェブ配信を利用することで、多くの活用が可能となる。

映像データベースを地図に関連づけて表示検索するには、従来の２次元地理座標としての管理ではなく、映像の撮影された点（撮影地点）、撮影された方向、撮影された時間（季節）などの多次元時空間情報をメタデータとして管理することにより、利用者に必要な情報を検索し提供することが可能となる。

このような映像情報をあらかじめ広範囲かつ大量のデータを収集しておけば、利用者指定する範囲や位置に応じて、迅速に提供することができるというビジネスモデルが構築できる。また、新規に撮影する場合も、既に収集したデータと同様の管理を行えば、要求に応じて簡単に再利用することが可能となる。

更に、同じ箇所を１回の撮影だけでなく、複数の時期に撮影したものを利用することができれば、利用者の希望する状態の画像、たとえば季節や時刻などを指定した画像の提供が可能になる。たとえば、撮影年度の異なる画像が利用できれば、特定の地区の経年変化を調査することが可能となる。また、「桜の時期の画像がみたい」「紅葉時の画像がみたい」といった、街並みや観光道路などを利用者の見たい状態で見ることが可能となる。

広い道路の場合は、走行路線に近い側の建物はよく映るが、対向車線側の建物はあまりよく映らない場合がある。すなわち、沿線の画像をよりよく表現するために往復撮影する必要が生じる。往復撮影した場合も、走行方向とともに上記複数時期撮影の場合と同様に管理すればよい。

また、画像に付与された付属情報（撮影方位など）を利用して、特定の地物が写っている画像を、大量画像データの中から検索し、その位置を表示することが可能となるシステムである。

次に、図面を参照して、本発明の実施の形態を説明する。以下の図面の記載において、同一または類似の部分には同一または類似の符号を付している。ただし、図面は模式的なものであることに留意すべきである。

本発明の実施の形態による地理情報関連付き画像データ表示システム１００は、図１及び図２２に示すように、地理表示手段１０１、撮影位置表示手段１０２、撮影画像表示手段１０３、経路探索連動手段１０４、画像検索手段１０５、及び地図データ１０８と切り出し画像データｆ４を格納する記憶装置１０６から構成される。

地理表示手段１０１は、記憶装置１０６に格納された地図データ１０８を読み込み、スクロール・縮尺切り替え・表示項目切り替え・表示色切替などを行いながら、地図を表示する。

撮影位置表示手段１０２は、地理表示手段１０１によって表示した地図に、記憶装置１０６に格納された切り出し画像データｆ４（画像ファイル、画像ファイルの付属情報（画像取得座標・画像取得方位・画像取得リンクＩＤ・取得リンク内での順番・画像取得カメラ情報（撮影高等））・リンクのグラフ構造（各ノードに接続するリンクのＩＤのリストを含む）から、図２３に示すように画像の撮影位置（地図上の画像取得座標）を描画する。ユーザはこの描画位置をマウスクリック等で指定し、所望の撮影地点の撮影画像を表示させる。

撮影画像表示手段１０３は、画像表示部と画像連続表示部から構成される。

画像表示部は、図２３に示すように、地理表示手段１０１に表示された撮影位置表示手段１０２の撮影位置のひとつをマウス操作等で指定したとき、その撮影位置に最も近い画像の切り出し画像データの画像ファイル付属情報の画像取得座標を用いて検索し、その最も近い画像ファイルを読み出して表示する。

指定中の撮影位置のフレーム画像をそのまま表示する単純表示のほか、図２５に示すように、格納されている画像が全周画像（周囲３６０度が撮影され、正距投影図法（縦が鉛直角・横が水平角に線形に投影される図法）で撮影された画像の場合は、撮影中心から任意のカメラパラメータ（カメラの向き・焦点距離（画角））で撮影した画像をＣＧ処理等の手段によって合成して表示する。このような表示方法をカメラパラメータ指定表示を行う。

さらに、地図データ１０８に注記データ（地図上の地物の名称・地物の種類、その地図上の位置座標の組合せからなるデータ）が含まれる場合は、図２４に示すように、切り出し画像データｆ４に含まれる画像取得座標と画像取得方位、及び地図データ１０８）に含まれる注記表示位置から、画像取得座標からみた注記データを付与した対象物の方位を算出し、表示した画像内の対応する方位の位置に注記データを描画する。

また、画像連続表示部は、同じリンクＩＤを持つ画像を、取得リンク内の撮影順番に従って昇順若しくは逆順に順次表示することにより、あたかも移動しているように連続して表示し、動画とする。連続表示は、移動方向指定ボタンと一時停止ボタンで制御することができる。移動方向指定ボタンは、同一経路と対応付けられた画像データの進行方向に応じた記号として表示される。また、移動速度を移動速度指定ボックスで指定することが可能である。

上記画像連続表示で取得リンク内の順番の最初もしくは最後になった場合は、連続表示を打ち切り、経路選択を行う。経路選択では、ます画像データに含まれる画像ファイルの付属情報から最後に表示した側のノードＩＤを調べる。次に切り出し画像データに含まれるグラフ構造を調べ、そのノードに接続するリンクを検索する。さらに、切り出し画像データに含まれる画像取得リンクＩＤを調べることにより、そのリンクを撮影した画像データが存在する場合は、画像に表示されている各経路上に矢印やクリックボタン等を描画し、次にどの経路の画像を表示するかを指定させる。

経路探索連動手段１０４は、地図データ１０８に含まれる道路ネットワークを用い、指定された起点座標から終着点座標までの経路を探索し、地理表示手段１０１によって表示した地図に経路を表示するとともに、その経路に対応する切り出し画像データｆ４が存在する部分については、地理表示手段１０１によって表示した地図に画像の画像取得座標の撮影位置も描画する。

なお、経路探索連動手段１０４は、経路探索のときは、経路上の全ての画像取得座標の撮影位置のみを描画し、それ以外は描画しない。このとき、経路上の撮影位置が選択された場合は、他の撮影位置は他とは異なる色で描画する。

前述の道路ネットワークとは、例えば走行軌跡パターン、道路の形状、幅等を含む。

グラフ構造のネットワークは、道路、線路、海路、管路、空路、坑道等があり、総称して路線ネットワークと称する場合もある。

さらに、起点から終着点までの画像を順次描画する。

画像検索手段１０５は、地図データ１０８に含まれる施設名等を含む注記データを用いて、撮影されている対象物の画像を検索する。注記データには地図に描画する注記文字列・注記表示位置・注記種類が含まれているものとする。

画像検索は、図２６のフローチャートに示した手順で行う。

ステップＳ２００：注記データと画像の照合
各注記データについて、その注記が最もよく映っていると判定される撮影されている画像を探索しておく。典型的には、注記データの注記表示位置に最も近い撮影位置座標を有する画像ファイルを引当て、この画像ファイルを有する切り出し画像データの画像ファイル付属情報を用いて検索し、選択しておく。ただし、定められた基準（たとえば距離のしきい値）を満たす画像がない場合は、注記データに対応する画像なしとする。

ステップＳ２０１：キーワード入力
検索したい対象の名称や種類などを含むキーワードを入力する。地物の種類としては、公共施設・公園・交差点名などが挙げられる。また、キーワードは地物名称の全部もしくは一部（新宿駅を調べたい場合は、「新宿」など）を指定する。

ステップＳ２０２：注記データ検索
上記のキーワードに対応する注記データを検索する。このとき、ステップＳ２００で対応する画像が選択された注記のみを対象とする。キーワードとの照合は注記文字列もしくは注記種類を対象に行う。

ステップＳ２０３：注記候補選択
複数の注記がキーワードと照合した場合は、それらを画面に表示し、ユーザが選択する。

ステップＳ２０４：画像表示
ユーザが選択した注記に対応した画像を、画像ファイルを切り出し画像データから読み出し、コンピュータ画面の画像表示部に表示する。

つづいて、記憶装置１０６に格納される地図データ１０８と切り出し画像データｆ４について説明する。

地図データ１０８には、道路等のネットワークデータｆ０と、背景地図と、地図上に存在する対象物に付与された注記データと、地図記号データが含まれる。

地図データ１０８は、専用に作成したデータではなく、ナビゲーションシステム用などに用いるために作成された一般的なデータであって構わない。

一方、切り出し画像データｆ４には、画像ファイルと、画像ファイル付属情報、およびグラフ構造情報からなる。画像ファイル付属情報は、各画像ファイルについて画像取得座標と、画像取得方位と、画像取得リンクＩＤと、撮影開始側のノードＩＤと、撮影終了がわのノードＩＤと、撮影開始側から数えた撮影順番と、取得した画像に対応付けられるグラフ構造情報及び画像取得カメラ情報（撮影高など）が含まれる。

リンクのグラフ構造は、画像が取得されたリンクの接続関係を示すもので、データに含まれる各ノードについて、ノードＩＤと、そのノードに接続するリンクのリンクＩＤのリストからなる。

また、画像の取得方位とは、撮影時のカメラの中心軸の方位である。

画像が全周画像の場合は、撮影地点から見た全周囲画像の中心が対応する方位である。

画像取得リンクＩＤとは、グラフ構造として道路ネットワークを利用する場合は、画像を撮影した道路中心のＩＤに対応する。

また、ノードとは、例えば道路の交差点、行き止まり等を特定するための座標点のことであり、リンクは各ノードを繋いだベクトルでリンクの始点の座標、終点の座標、リンクの方向、リンクの道路幅等のデータを含んでいる。

切り出し画像データｆ４は、後述する地理情報関連付き画像データ管理システム１０によって作成されるデータである。

地理情報関連付き画像データ表示システム１００は、コンピュータ上で単独で動作するプログラムでもよい。また、切り出し画像データｆ４をデータサーバ、地図データ１０８をクライアントもしくはデータサーバに配したインターネット上でのシステムとして実現してもよい。

次に、地理情報関連付き画像データ表示システム１００で利用する切り出し画像データｆ４を作成する地理座標関連付き画像データ管理システム１０について説明する。

地理座標関連付き画像データ管理システム１０は、図１に示すように、画像撮影サブシステム２０、画像データ編集サブシステム３０、画像データ管理サブシステム４０、及び画像データ管理サブシステム４０に接続された記憶装置５０から構成される。

まず、画像撮影サブシステム２０は、画像センサ２２を接続し、地図リンクに沿った周辺環境を撮影した画像を撮影時刻とともに収集画像データｄ１として収集する画像データ収集手段２４と、ハイブリッド型位置センサ２３を接続し、画像の撮影位置座標を座標計測時刻とともに収集画像属性情報ｄ２として収集する位置データ収集手段２５とを搭載した移動手段を含む。

ここで地図リンクとは、たとえば、図１７に示したグラフ構造を持つ２点間（１つの交差点から次の交差点まで）の道路をいう。便宜上、１点を始点、もう１点を終点と記すが、始点から終点というリンクの方向性を意味するものではない。

また、移動手段とは、地図リンクに沿って飛行して上空から撮影するための航空機や、地図リンクの道路を走行する車両２１をいう。

つづいて、画像データ編集サブシステム３０は、地図リンクを表示する地図データ表示手段３１と、画像データ収集手段２４によって収集した画像データを表示する画像データ表示手段３２と、撮影時刻及び座標計測時刻（ＧＰＳ時刻）から地図リンクの始点及び終点の通過時刻を記録するリンク始終点通過時刻登録手段３３と、画像データから一定間隔ごとにデータを間引く画像間引き手段３４と、実撮影管理情報登録手段３５とを含む。

さらに、画像データ管理サブシステム４０は、画像撮影サブシステム２０による撮影計画を管理する撮影計画手段４１と、画像データ編集サブシステム３０により編集された収集画像データｄ１と収集画像属性情報ｄ２を取り込む撮影情報取り込み手段４２と、記憶装置５０に記録された情報から、指定された条件に適合した情報を抽出するデータ抽出手段４４と、記憶装置５０への情報の登録、記憶装置５０からの情報の削除、及び記憶装置５０の情報の印刷を行う管理手段４３を含む。

記憶装置５０は、地図リンクの情報を記録するグラフ構造データベース５１と、画像センサ２２の情報を記録するカメラ情報データベース５２と、撮影計画の情報を記録する計画・実撮影情報データベース５３と、撮影情報取り込み手段４２によって取り込まれた収集画像データｄ１及び収集画像属性情報ｄ２をそれぞれ記録する収集画像データベース５５及び収集画像属性情報データベース５６と、図１５に示すように地図リンクごとに各データベースの情報を関連付ける管理情報を記録するリンク関連情報データベース５４とを含む。

画像撮影サブシステム２０、画像データ編集サブシステム３０、及び画像データ管理サブシステム４０の各サブシステム間のデータのやり取りは、ディスクなどの携帯型記憶媒体を介して行うものとするが、各サブシステムにデータ通信手段を設けて、有線または無線データ通信によって行うことができる。

（画像撮影サブシステム２０）
次に、画像撮影サブシステム２０の各手段について詳細に説明する。なお、ここでは、移動手段の例として車両２１をあげて説明するが、車両２１に限るものではない。

画像撮影サブシステム２０は、図１２に示したように、本発明の実施の形態で用いる地図リンクに沿った周辺画像を撮影することを目的としたサブシステムである。

まず、画像データ収集手段２４は、画像センサ２２として車両２１に取り付けられた１台ないし同期をとった複数台のカメラを使って、地図リンクである道路を走行しながら画像を撮影する。この際、次に説明する位置情報との同期を取るため、ハイブリッド型位置センサ２３で検知される全地球無線測位システム（ＧＰＳ）から送信される時刻を、時系列で得られる各画像フレームに付与して、収集画像データｄ１として一時メモリ２６に記録していく。

なお、時刻は、検知したＧＰＳ時刻と画像撮影サブシステム２０が搭載されているコンピュータのクロックを利用し、１／１０００秒単位で各画像フレームに付与される。

次に、位置データ収集手段２５は、同じ車両２１に取り付けられたＧＰＳとその他のセンサ（ジャイロ・車速センサ）と組み合わせたハイブリッド型位置センサ２３を使って、ＧＰＳから得られる位置情報（座標）、車速センサから得られる車速情報、ジャイロから得られる加速度情報や方位情報を収集する。さらに、これらの情報にＧＰＳ時刻を付与して収集画像属性情報ｄ２として一時メモリ２６に記録していく。

位置データ収集手段２５に、ハイブリッド型位置センサ２３から得られる車速が０のときは、画像データ収集手段２４に対して画像データ収集を行わないように命令する処理を設けて、停止中の撮影をやめることもできる。これにより、信号や渋滞などで停止状態になった場合に、画像データの記録を一時停止し、データ収集容量を節約することができる。

収集された収集画像データｄ１と収集画像属性情報ｄ２は、図１６に示すようにそれぞれ共通のＧＰＳ時刻を利用した時刻情報を付与しているため、付与された時刻を媒介として位置と画像を対応付けることができる。

またカメラの方位は、車両２１に相対的なカメラの相対方位と車両２１方位から求めることができる。相対方位はあらかじめ計測しておくものとする。普通は画像データの収集周期の方が短いため、各画像フレームにおける位置・速度・方位などは前後の時刻の位置・速度・方位を内挿することによって得られる。

一時メモリ２６に記録された収集画像データｄ１と収集画像属性情報ｄ２は、一次撮影情報インポートファイルｆ１として、ディスクなどの携帯型記憶媒体に出力して、次の画像データ編集サブシステム３０に入力される。

なお、位置データ収集手段２５は、後述する画像データ管理サブシステム４０の撮影計画手段４１によって作成され、後述する撮影情報エクスポートファイルｆ３として携帯型記憶媒体に出力された撮影計画情報ｄ０に含まれるリンクの形状及び情報を読み込み、ハイブリッド型位置センサ２３から得られる位置情報をコンピュータの画面に重畳表示する。これにより、作業者が収集対象のどの地図リンクのデータ収集を行ったかがわかる。

（画像データ編集サブシステム３０）
次に、画像データ編集サブシステム３０の各手段について詳細に説明する。

画像データ編集サブシステム３０は、図３に示したように、画像撮影サブシステム２０によって収集され、一次撮影情報インポートファイルｆ１として出力された収集画像データｄ２を、本発明の実施の形態で用いるために編集し、後述する画像データ管理サブシステム４０の撮影計画手段４１によって作成され、撮影情報エクスポートファイルｆ３として出力されたリンク情報の形状情報を用いて、道路ネットワークなどグラフ構造を持つ地図情報との関係付けを行い、最適化することを目的としたサブシステムである。

まず、地図データ表示手段３１は、図４に示すように、入力情報として、画像撮影サブシステム２０にから出力される一次撮影情報インポートファイルｆ１は後述する物理画像データベースと同じ構造を有する。一次撮影情報インポートファイルｆ１を構成する収集画像属性情報ｄ２に含まれる時系列位置情報と、撮影情報エクスポートファイルｆ３に含まれる地図情報からリンク形状を表示する。時系列位置情報は点列として、またリンク形状は連続線分として表示される。

次に、画像データ表示手段３２は、図５に示すように、一次撮影情報インポートファイルｆ１の収集画像データｄ１を表示する。画像を表示すると、画像収集位置が地図データ表示手段３１で表示された地図の中に、記号で表示される。また、画像データは時系列的に前後に順次表示を切り替えることができる。

次に、リンク始終点通過時刻登録手段３３は、地図データ表示手段３１により表示された図４に示す地図上でマウス選択したリンク、もしくは順次的に選択された選択中のリンクの始点および終点に対応する通過時刻を指定し、登録する。通過時刻は、一次撮影情報インポートファイルｆ１の収集画像属性情報ｄ２に含まれる時系列位置情報を用いて、その始点もしくは終点に対応する時系列位置の時刻から指定する方法と、一次撮影情報インポートファイルｆ１の収集画像データｄ１に付与された画像撮影時刻から指定する方法がある。リンクの始点および終点の通過時刻は、撮影日時、撮影に使用したカメラ情報キーＩＤ、および格納する画像の物理保管場所（ハードディスクのボリューム名など）等の各情報とともに撮影計画エクスポートファイルと同様の形式で実撮影結果情報ｄ３に保存される。

時系列位置から指定する方法には、リンクの始点もしくは終点に対応する時系列位置をマウス等で指定するマニュアル指定方法と、自動的に指定する自動指定方法がある。

自動指定方法では、リンクの始点もしくは終点に最も近い時系列位置を探索するということで達成される。自動車のナビゲーションシステムに使われているマップマッチング技術、すなわち位置だけでなく進行方向やスピードなどを勘案して自分の進んでいる経路に自動的に対応付ける技術を用いてもよい。この際は、必ずしも最も近い点を選択するとは限らない。

画像撮影時刻から指定する方法では、リンクの始点は終点の時刻に対応する収集画像データｄ１を画像表示画面に表示する。画像に撮影されている道路や交差点の様子を見て、オペレータが交差点などで位置がずれていると判断された場合は、時系列画面を操作することによって時系列的に前もしくは後の画像を表示させ、オペレータが判断した交差点の位置の画像の撮影時刻をリンクの始点もしくは終点の通過時刻として修正登録できる。

リンク始終点通過時刻登録手段３３で登録されたリンクの始点通過時刻が終点通過時刻よりも前の場合は、画像が該当のリンク上を始点から終点に向かって走行しながら撮影されたと判断される。逆に始点通過時刻が終点通過時刻よりも後の場合は、該当のリンク上を終点から始点に向かって走行しながら撮影された画像であると判断される。

リンク始終点通過時刻登録手段３３で登録されたリンクの始点および終点の通過時刻は、二次撮影情報インポートファイルｆ２に出力される。

最後に、画像間引き手段３４は、データ容量を少なくすることを目的として、一次撮影情報インポートファイルｆ１の収集画像データｄ１を移動距離などに応じて間引く。間引きの方法の一例として、図６に示すように、次のような方法がある。一つのフレームを起点に、起点フレームからｉ番目のフレームの距離を、各フレームごとに次の式で計算する。

〔数１〕
Ｌ［０］＝０．０；
Ｌ［ｉ］＝Ｌ［ｉ−１］ ＋ （ｖ［ｉ−１］＋ｖ［ｉ］）／２＊（ｔ［ｉ］−ｔ［ｉ−１］）；
ここで、ｖ［ｉ］：ｉ番目のフレームの速度（メートル／秒）
ｔ［ｉ］：ｉ番目のフレームの時刻（秒）
間引き間隔をｄとして、ｄのｎ倍（ｎは整数）に最も近い距離をＬ［ｊｎ］とする。ｊｎ以外のフレームは間引く。間引き後の画像フレームも時刻情報をつけておけば、データベースの他の部分に影響を与えず画像を間引くことができる。

例えば、時速１０ｋｍで走行する車から毎秒１５フレームで撮影する場合、１０ｋｍの区間で５４０００枚の画像が取得される。これを１ｍ置きに間引くとすると、１００００枚となり、データ量を５分の１以下に抑えることができる。

このように、人間の視覚上問題のない程度まで画像フレーム数を間引くことで、データ量を削減することができ、保存するのに必要なメモリ量が少なく済むため、システムを安価にできる。さらに、画像表示処理すべきデータ量が少なければ、表示処理速度も向上し、コンピュータなどの表示装置の負担が軽減できる。

メモリの低価格化やコンピュータの処理能力向上によって、データ量を削減する必要がない場合には、画像間引き手段３４は、特に具備する必要はない。

実撮影管理情報登録手段３５は、後述する計画・実撮影情報データベースに登録する実撮影時の属性情報（撮影地区情報・作業実施者等）を入力し、実撮影管理情報ｄ４に入力する。

（画像データ管理サブシステム４０）
次に、画像データ管理サブシステム４０の各手段について詳細に説明する。

画像データ管理サブシステム４０は、図７に示したように、撮影すべき場所や撮影に使用する機材などの計画・進捗管理から、実際に撮影され、編集された収集画像データｄ１の管理、及び利用者の要求条件にあった収集画像データｄ１を切り出して提供するまでに必要なデータ群を一括管理することを目的としたサブシステムである。

まず、撮影計画手段４１は、図８に示すように、画面表示部４１１、リンク選択部４１２、カメラ情報入力部４１４、撮影計画情報入力部４１３、及び撮影情報エクスポートファイル作成部４１５から構成される。

画面表示部４１１は、記憶装置５０に記録されているグラフ構造データベース５１のノードおよびリンクをコンピュータの画面に表示する。

リンク選択部４１２は、画面表示部４１１によって表示されたリンクの内、撮影を計画するリンクを選択し、決定させる。リンクの選択方法としては、画面上のマウス操作による矩形領域指定、ポリゴン領域指定など位置による選択、道路幅や種別などグラフ構造情報に含まれる属性情報による選択、および位置と属性情報による複合選択がある。

例えば、ある市町村の県道を抽出する場合、県道のみを予め属性情報による選択で抽出しておき、その後に市町村境をポリゴン指定で指定すれば目的が達成される。

カメラ情報入力部４１４は、入力された撮影に用いるカメラの情報を、カメラ情報データベース５２として記憶装置５０に記録する。この際、自動または任意に指定したカメラ情報キーＩＤを付与して、個々のカメラ情報を識別できるようにする。

撮影計画情報入力部４１３は、撮影地区（リンク選択部４１２で選択されたリンク群）、撮影開始予定日、撮影作業者、使用するカメラのカメラ情報キーＩＤなど、入力された撮影計画の情報を計画・実撮影情報データベース５３として記憶装置５０に記録する。この際、自動または任意に指定した撮影計画キーＩＤを付与して、個々の撮影計画を識別できるようにする。

撮影計画ＩＤを自動的に生成する場合は、作成日時とカメラ情報キーＩＤを組み合わせたものなどにして、ＩＤの重複が起こらないようにする。

撮影情報エクスポートファイル作成部４１５は、リンク選択部４１２で選択されたリンクと撮影計画情報入力部４１３で入力された情報を組合せ、図１５に示す形式でリンク関連情報として、記憶装置５０内のリンク関連情報データベース５４に記録する。この段階では、さらにリンク関連情報と、グラフ構造データベースに記録されたリンク形状を撮影情報エクスポートファイルｆ３として、携帯型記憶媒体に出力する。

次に、撮影情報取り込み手段４２は、図９に示すように、実撮影管理情報記録部４２１と画像データ記録部４２２からなる。

実撮影管理情報記録部４２１は、画像データ編集サブシステム３０から二次撮影情報インポートファイルｆ２として入力された、撮影時の撮影者などの実撮影管理情報ｄ３を、実撮影キーＩＤを付与して計画・実撮影情報データベース５３に記録する。

実撮影ＩＤは、撮影日時と使用したカメラ情報キーＩＤを組み合わせたものなどにして、ＩＤの重複が起こらないようにする。

さらに、撮影されたリンクに関する撮影情報、すなわち撮影日時、撮影に使用したカメラ情報キーＩＤ、リンクの始点および終点の通過時刻、および格納する画像の物理保管場所（ハードディスクのボリューム名など）等の各情報を格納した実撮影結果情報ｄ３を、撮影情報エクスポートファイル作成部４１５によってリンクキーＩＤごとに作成され保存されているリンク関連情報データベース５４の、該当するリンクキーＩＤの部分に更新する。

また、画像データ記録部４２２は、画像データ編集サブシステム３０から二次撮影情報インポートファイルｆ２として入力された収集画像データｄ１と収集画像属性情報ｄ２を、それぞれ収集画像データベース５５と収集画像属性情報データベース５６に記録する。

管理手段４３は、図１０に示すように、ネットワーク登録部４３１、印刷部４３２、メンテナンス部４３３から構成される。

ネットワーク登録部４３１は、外部で作成・配布される道路ネットワークデータを読み込んで、グラフ構造データベース５１に登録する。

印刷部４３２は、記憶装置５０に記録されている各データベースの情報をプリンタにて印刷する。

メンテナンス部４３３は、記憶装置５０に記録されている各データベースの定期的なバックアップを実施したり、不要データ（撮影を行わなくなった撮影計画情報など）の削除などを行う。また、撮影計画情報ｄ０と実撮影管理情報ｄ３が反映されているリンク関連情報データベース５４内の作業進捗コードを検索することで、撮影がどの程度進んでいるかを集計する。

最後に、データ抽出手段４４は、図１１に示すように、抽出条件入力部４４１、グラフ構造情報抽出部４４２、リンク関連情報抽出部４４３、収集画像データ抽出部４４４、及び収集画像属性情報抽出部５５４からなる。

抽出条件入力部４４１は、データベースから抽出するための条件を入力する。条件としては、位置的条件とリンク属性的条件と撮影属性条件がある。位置的条件には、画面上のマウス操作やファイル読み込みから得られるによる矩形領域やポリゴン領域等がある。

また、リンク属性的条件とは、道路幅や種別などグラフ構造情報に含まれる属性情報の指定がある。また、撮影属性条件は撮影日や撮影時間帯などの指定がある。

グラフ構造情報抽出部４４２は、グラフ構造データベース５１から、抽出条件入力部４４１で入力された位置的条件及びリンク属性的条件に適合するリンクを抽出する。

さらに、抽出されたリンクＩＤとその両端のノードＩＤを調べ、各ノードに接続するリンクＩＤをリストアップし、切り出し画像データのリンクのグラフ構造情報として格納する。

リンク関連情報抽出部４４３は、上記で抽出されたリンクのＩＤに対応するリンクについて、リンク関連情報データベース５４から抽出する。さらに、その中から抽出条件入力部４４１で入力された撮影属性条件に適合するリンクの情報を抽出する。

収集画像データ抽出部４４４は、収集画像データベース５５から、抽出条件入力部４４１で入力された条件に適合する情報を抽出する。

つまり、収集画像データ抽出部４４４は、収集画像データベースから上記で抽出された各リンク関連情報に記憶されている撮影年月日に、カメラ情報キーＩＤで撮影された画像を検索する。さらにその中から、視点通過時刻と終点通過時刻の間に撮影された画像を抽出し、画像ファイルとして切り出し画像データ内の画像ファイルとして格納する。

また、画像取得リンクＩＤ、撮影開始側のノードＩＤ、撮影集両側のノードＩＤ、撮影順番を切り出し画像データ内の画像ファイル属性情報として格納する。

収集画像属性情報抽出部４４５は、収集画像属性情報データベース５６から、抽出条件入力部４４１で入力された条件に適合する情報を抽出する。

つまり、上記で抽出された画像ファイルに対応する画像取得座標、画像取得方位などの情報を抽出し、切り出し画像データ内の画像ファイル属性情報として格納する。

以上によって切り出された情報は切り出し画像データｆ４として出力される。これには、画像ファイル・画像ファイル付属情報、リンクのグラフ構造が含まれる。

なお、リンクの切り出しに当たっては、次の方法で切り出すことができる。

・位置的条件の指定（地理メッシュや行政区域による切り出し）：コンピュータ画面インターフェース上のマウス指定もしくはマウスによる領域指定で、切り出すリンクを選択することができる。また、あらかじめ行政区域等の外周多角形内を登録しておき、ユーザが指定する区域に対応する外周多角形内のリンクを抽出してもよい。

例えば、東京都の区市町村境をポリゴンとして別途作成しておき、それを外部ファイルとして磁気ディスク上に保存しておき、必要時にそのファイルを指定してポリゴンを読み出せば、マウスでポリゴン入力する代替として利用することが可能である。

・リンク属性的条件の指定（道路種別・道路幅等）：撮影に必要なリンクの種別を指定し、グラフ構造データベース５１に格納されている情報を参照すれば、そのリンクの種別に該当するものを抽出することができる。

・撮影属性的条件の指定：リンク関連情報データベース５４に含まれる撮影日・撮影時刻情報を参照することにより、画像の撮影時期を指定し、抽出することができる。

一方、各リンクに対応する画像は、リンク関連情報データベース５４に記述されている情報に基づいて抽出される。すなわち、抽出するリンクのリンクキーＩＤに対応するレコードに記述されている記憶装置５０の保管場所に記録されている収集画像データベース５５から、カメラ情報キーＩＤに記述されているカメラで撮影し、且つ画像フレームについている時刻が始点通過時刻から終点通過時刻の間のものを抽出すればよい。

切り出された画像データには、次のものを含むことが可能である。

・ 画像ファイル
・ 画像ファイル属性情報
・画像取得座標（各フレームの緯度経度）
・画像取得方位（画像中心の方位）
・ 画像取得リンクＩＤ（画像を撮影した道路中心線のＩＤ）
・ 撮影開始側のノードＩＤ
・ 撮影終了側のノードＩＤ
・ 撮影順番
・ 画像取得カメラ情報（撮影高等）
・リンクのグラフ構造
・ 各ノードＩＤについて、そのノードに接続するリンクＩＤのリスト
（記憶装置５０内の各データベース）
つづいて、記憶装置５０内に記録される各データベースについて説明する。

本発明の実施の形態で用いられるデータベースは、図１に示したように、大別すると、グラフ構造を持つ地物情報と撮影された画像の関係を管理する画像情報データベース５０ａと、実際に撮影した画像とその付属情報を格納する物理画像データベース５０ｂの２つのグループに分けられる。

画像情報データベース５０ａには、グラフ構造を格納するグラフ構造データベース５１、撮影に使用するカメラ等撮影に付属的な情報を格納するカメラ情報データベース５２、撮影計画や実際に撮影したときの情報を格納する各リンクに対応する計画・実撮影情報データベース５３、リンクごとに上記の情報及び撮影された画像を関連付けるリンク関連情報データベース５４の４つが属する。

グラフ構造データベース５１は、図１２に示すようなグラフ構造を持つ地物情報を格納するものである。地理情報として道路ネットワークを使用する場合は、グラフ構造のノードとして交差点、リンクとして交差点をつなぐ道路中心線が対応する。

グラフ構造データベース５１内では、図１２に示すように、各ノードは地理座標によって定義され、ノードキーＩＤで識別される。各リンクは両端の地理座標（またはノードキーＩＤ）とリンクの形状によって定義され、リンクキーＩＤで識別される。なお、リンク（道路中心線）の両端はノード（交差点）につながっており、リンクの始点と終点の交差点を示すノードキーＩＤが各リンクに付与されている。これによって、ノードとリンクの接合関係、すなわちネットワーク構造が明らかになる。

グラフ構造データベース５１内では、ノードやリンクには付属情報をつけることができる。たとえば、道路ネットワークの場合、交差点であれば交差点名、リンクであれば道路幅や規制情報（一方通行など）の情報を付与することができる。

次に、カメラ情報データベース５２には、図１３に示すように、撮影するカメラや搭載する車、カメラ高さなどの機器情報が格納され、カメラ情報キーＩＤで識別される。

計画・実撮影情報データベース５３には、図１４に示すように、各リンクに対応する撮影計画情報ｄ０や実撮影管理情報が記録される。すなわち、作業者、作業に使われたカメラのカメラ情報キーＩＤ,画像の撮影日などである。各撮影計画や実撮影管理情報は、それぞれ撮影計画キーＩＤ,実撮影キーＩＤで識別される。

リンク関連情報データベース５４は、図１５に示すように、リンクキーＩＤ、撮影計画キーＩＤ、実撮影キーＩＤ、撮影状況を示す作業進捗コード（計画済み、撮影済、編集済、撮影不可等）、撮影日、撮影に使用したカメラ情報キーＩＤ、リンクの始点および終点の通過時刻、および格納する画像の物理保管場所（ハードディスクのボリューム名など）等の一連の情報を有するテーブル構造を持つ。

撮影計画後は、撮影が予定されるリンクに対して、リンクキーＩＤ，撮影計画キーＩＤ，使用が予定されるカメラ情報キーＩＤなど、実撮影に関連しない項目のみが設定されたレコードが記録される。この際、作業進捗コードは未撮影となる。

撮影後は、実撮影キーＩＤ，撮影日時、撮影に使用したカメラ情報キーＩＤが格納され、作業進捗コードが更新される。

リンク関連情報データベース５４は、図１５の斜線部に示すように、同じリンクキーＩＤを持つレコードを複数持つことができるテーブルになっている。このため、一つのリンクキーＩＤに対して複数の撮影結果を格納することが可能である。

物理画像データベースには、図１６に示すように、収集画像データベース５５と収集画像属性情報データベース５６が属する。

収集画像データベース５５は、実際に時系列的に撮影された一連の画像とともに、各画像の収集に使われた撮影カメラ情報（カメラ情報キーＩＤ）と、撮影年月日、撮影時刻も記録される。

収集画像属性情報データベース５６は、撮影時の位置、撮影時の速度、撮影方向、撮影年月日、撮影時刻（ＧＰＳ時刻）、撮影カメラなどの情報が格納される。

収集画像データベース５５の情報と収集画像属性情報データベース５６の情報は、それぞれ時刻情報を持つので、その時刻情報によって、互いに関連付けられる。

なお、本発明の実施の形態では、上記のデータベースを記憶する記憶装置５０を１台のみ図示しているが、記憶装置５０を１台に限定するものではない。物理画像データベース５０ｂは、大量の画像データを格納するために、画像情報データベース５０ａとは物理的に異なる記憶媒体に格納しても構わない。実際には、１００ギガバイト以上の大容量ハードディスクに分割して格納される。

本発明の実施の形態におけるデータベース構造では、一つのリンクに対して複数時期の画像を同時に蓄積することができる。

次に、本発明の実施の形態による地理情報関連付き画像データ管理システムにおける手順を図１８〜２１図を用いて説明する。

（データの登録）
ステップＳ１００：画像データ管理サブシステム４０の管理手段４３によって、外部の道路ネットワークデータｆ０からリンク情報をグラフ構造データベース５１に登録する。

（撮影計画）
ステップＳ１０１：画像データ管理サブシステム４０の撮影計画手段４１の画面表示部４１１によって、グラフ構造データベース５１のリンク情報から、リンクのグラフ構造を表示する。

ステップＳ１０２：画像データ管理サブシステム４０の撮影計画手段４１のリンク選択部４１２によって、表示されたリンクのグラフ構造から、撮影対象とするリンクを選択する。

ステップＳ１０３：画像データ管理サブシステム４０の撮影計画手段４１のカメラ情報入力部４１４によって、撮影に使用するカメラに関する情報をカメラ情報データベース５２に登録する。

ステップＳ１０４：画像データ管理サブシステム４０の撮影計画手段４１の撮影計画情報入力部４１３によって、抽出した撮影対象リンクについて、撮影計画を立案し、計画・実撮影情報データベース５３に入力する。

ステップＳ１０５：画像データ管理サブシステム４０の撮影計画手段４１の撮影情報エクスポートファイル作成部４１５によって、撮影計画情報ｄ０を撮影情報エクスポートファイルｆ３に出力する。

（撮影実施）
ステップＳ１０６：画像撮影サブシステム２０に撮影情報エクスポートファイルｆ３の情報の中のリンク形状を読み込み、撮影すべきリンクを表示する。

ステップＳ１０７：実際に移動手段（車両２１）によってリンクの道路を走行しながら、画像を撮影し、画像撮影サブシステム２０の画像データ収集手段２４によって、撮影時刻を付与した収集画像データｄ１を収集する。

ステップＳ１０８：また、画像撮影サブシステム２０の位置データ収集手段２５によって、ＧＰＳ時刻を付与した収集画像属性情報ｄ２を収集する。

ステップＳ１０９：画像撮影サブシステム２０は、収集画像データｄ１と収集画像属性情報ｄ２を実撮影結果情報とともに一次撮影情報インポートファイルｆ１に出力する。

（画像データ編集）
ステップＳ１１０：画像データ編集サブシステム３０に、撮影情報エクスポートファイルｆ３と一次撮影情報インポートファイルｆ１を入力する。

ステップＳ１１１：実撮影管理情報を登録する。

ステップＳ１１２：画像データ編集サブシステム３０の地図データ表示手段３１によって、地図データを表示する。

ステップＳ１１３：画像データ編集サブシステム３０の画像データ表示手段３２によって、地図データ上で指定したリンクについて収集された画像を表示する。

ステップＳ１１４：表示された収集画像データｄ１や、その収集画像属性情報ｄ２から時刻情報を得て、画像データ編集サブシステム３０のリンク始終点通過時刻登録手段３３によって、該当リンクの始点と終点の通過時刻を記録する。

ステップＳ１１５：さらに、画像データ編集サブシステム３０の画像間引き手段３４によって、必要に応じて、収集画像データｄ１から画像を間引き、データ量を削減する。

ステップＳ１１６：編集を終えた情報を二次撮影情報インポートファイルｆ２に出力する。

（情報記録・更新）
ステップＳ１１７：画像データ管理サブシステム４０に、二次撮影情報インポートファイルｆ２の情報を入力する。

ステップＳ１１８：画像データ管理サブシステム４０の撮影情報取り込み手段４２によって、実撮影情報データを計画・実撮影情報データベース５３に記録する。

ステップＳ１１９：画像データ管理サブシステム４０の撮影情報取り込み手段４２によって、リンク関連情報データベース５４の情報を更新する。

（データ抽出）
ステップＳ１２０：画像データ管理サブシステム４０のデータ抽出手段４４によって、利用者の要求条件に従って、リンク関連情報データベース５４の情報を元に収集画像データベース５５からデータを抽出し、リンク情報とともに、切り出し画像データｆ４として出力する。

（表示）
ステップＳ１２１：本発明の地理情報関連付き画像データ表示システム１００は、切り出し画像データｆ４と市販の地図データによって、地図と指定したリンク（道路）の周辺画像を表示する。

以上に説明した地理情報関連付き画像データ管理システムによって、以下の効果が得られ、作成された切り出し画像データを地理情報関連付き画像データ表示システム１００で読み込むことで、利用者の要求に対応した現地の画像を表示することができる。

すなわち、画像撮影サブシステム２０と連携していることで、どの地区が未撮影であるか、どの程度撮影が進んでいるかといった情報を管理することができる。

また、道路などのグラフ構造データから必要な部分を切り出した撮影計画を作成できるので、その撮影計画に基づいて、複数の車両２１を用いて撮影作業を平行して行えるようになり、広域の画像を大量に収集することができる。

カメラ情報データベース５２として撮影に使用したカメラ情報（カメラの撮影高さやカメラそのものの識別番号、各識別番号のカメラのキャリブレーション情報）を一元的に管理しているので、撮影した画像を用いて後から計測を行うことができる。

リンク関連情報データベース５４のデータ構造により、実際に撮影した画像を、Ｙ字路や５差路以上の交差点、立体交差などがある複雑な道路ネットワークなどのグラフ構造を持つ地図情報と関連付けて管理することができる。

また、同じリンクに複数の種類の画像を関連付けて管理することができるため、撮影した季節や時間帯が異なる画像を利用者の要求に合わせて提供できる。

さらに、実際に画像データを利用者に提供する場合、広域にわたり撮影された画像データ全体から必要なデータを、次の条件を指定して切り出すことができる。

・地理空間的な切り出し（地理メッシュや行政区域による切り出し）
・リンクの種別による切り出し（道路種別・道路幅等）
・画像の撮影時期による切り出し
本発明の実施の形態を説明するために各図において示した各サブシステムの手段や保持するデータの配置は、あくまでも例示であって、本発明の機能を実現するために限定したものでない。よって、本発明の機能が実現可能な範囲において、種々の処理手段の配置の組み合わせが考え得ることは言うまでもない。

以下に地理情報関連付き画像データ表示システム１００について詳細に説明するが前段として、一次撮影情報インポートファイルｆ１、二次撮影情報インポートファイルｆ２、切り出し画像データｆ４等について説明を補充する。

図１、図２、図３、図７の一次撮影情報インポートファイルｆ１には、時刻付きの画像収集データｄ１及び収集画像属性情報ｄ２が含まれている。この収集画像属性情報ｄ２は、ＧＰＳから得られる位置情報（座標）、車速センサから得られる車速情報、ジャイロから得られる加速度情報や方位情報、ＧＰＳの時刻等からなる。

撮影位置表示手段１０２は、切り出しデータｆ４の収集画像属性情報ｄ２を読み込み、この時系列情報（画像取得座標）を、図２８に示すように記号（例えば丸印：以下撮影位置）で表示することが可能である。

図３１を用いて説明する。図３１（ａ）は、車が速くなったりおそくなったりしながら一定時間間隔で撮影されたとき撮影位置を示している。

図３１（ｂ）は、このときの一次撮影情報インポートファイルｆ１に記憶されている一定間隔で撮影された収集画像データｄ１（撮影時刻付き）を距離軸（座標）に配列したことを示している。

この配列は、図１の地図データ表示手段３１が例えば収集画像データｄ１の時刻を有する収集画像属性情報ｄ２の画像取得座標を読み込み、この画像取得座標を距離軸（Ｘ−Ｙ座標系で定義されたメモリ）に割付ける。

このとき、画像間引き手段３４が関与している。

画像間引き手段３４は、図３１（ｃ）に示すように、人間の視覚上問題のない程度の間引き間隔ｄ（距離）を撮影開始点から順次、距離軸に設定し、この間引き間隔ｄ毎に、図３１（ｂ）の距離軸に対して垂線を引いたときに、収集画像データｄ１の画像取得座標（撮影位置）が存在するかどうかを判断し、存在する場合はその画像取得座標（撮影位置）を図３１（ｄ）に示すように距離軸に代表撮影地点（単純に撮影位置ともいう）として割付けると共に、この割付けられた画像取得座標（撮影位置）に関連する収集画像データｄ１及び収集画像属性情報ｄ２のみを抽出して二次撮影情報インポートファイルｆ２に記憶する。

この抽出は例えば時刻をキーとして抽出する。すなわち、図３１（ｂ）の太線（代表撮影地点）の個所を撮影した時刻の収集画像データｄ１及び収集画像属性情報ｄ２のみが抽出される。

一方、リンク始終点通過時刻登録手段３３は距離軸に代表撮影地点が定義されると、これらの代表撮影地点の位置情報を有する収集画像属性データｄ２の時刻を有する実撮影結果情報ｄ３を撮影情報エクスポートファイルｆ３から抽出して二次撮影情報インポートファイルｆ２に記憶する。

さらに、実撮影管理情報登録手段３５は、代表撮影地点が定義されると、これらの代表撮影地点の画像取得座標（撮影位置）を有する収集画像属性データｄ２の時刻を有する実撮影管理情報ｄ４（撮影地区情報、作業実施者情報等）を撮影情報エクスポートファイルｆ３から抽出して二次撮影情報インポートファイルｆ２に記憶する。

つまり、二次撮影情報インポートファイルｆ２には、各代表撮影地点の収集画像データｄ１、収集画像属性情報ｄ２、実撮影結果情報ｄ３、実撮影管理情報ｄ４等が記憶される。

そして、画像データ管理サブシステム４０の撮影情報取り込み手段４２の実撮影管理情報記録部４２１は、二次撮影情報インポートファイルｆ２の実撮影管理情報ｄ３に実撮影キーＩＤを付与して計画・実撮影情報データベース５３に記録する。

さらに、画像データ記録部４２２は、二次撮影情報インポートファイルｆ２の収集画像データｄ１と収集画像属性情報ｄ２を、それぞれ収集画像データベース５５と収集画像属性情報データベース５６に記録する。また、実撮影管理情報ｄ４は計画・実撮影情報データベース５３に記憶される。

また、データ抽出手段４４は、図１１に示すように、抽出条件入力部４４１、グラフ構造情報抽出部４４２、リンク関連情報抽出部４４３、収集画像データ抽出部４４４、及び収集画像属性情報抽出部５５４からなり、
抽出条件入力部４４１は、データベースから抽出するための条件を入力する。条件としては、位置的条件とリンク属性的条件と撮影属性条件がある。位置的条件は空間的な切り出し条件とも称し、画面上のマウス操作やファイル読み込みから得られるによる矩形領域やポリゴン領域等があり、この領域内の各種情報（画像ファイル、属性情報等）を切り出し画像データと称している。

また、リンク属性的条件とは、道路幅や種別などグラフ構造情報に含まれる属性情報の指定がある。また、撮影属性条件は撮影日や撮影時間帯などの指定がある。

グラフ構造情報抽出部４４２は、グラフ構造データベース５１から、抽出条件入力部４４１で入力された位置的条件及びリンク属性的条件に適合するリンクを抽出する。

さらに、抽出されたリンクＩＤとその両端のノードＩＤを調べ、各ノードに接続するリンクＩＤをリストアップし、切り出し画像データのリンクのグラフ構造情報として格納する。

リンク関連情報抽出部４４３は、上記で抽出されたリンクのＩＤに対応するリンクについて、リンク関連情報データベース５４から抽出する。さらに、その中から抽出条件入力部４４１で入力された撮影属性条件に適合するリンクの情報を抽出する。

収集画像データ抽出部４４４は、収集画像データベース５５から、抽出条件入力部４４１で入力された条件に適合する情報を抽出する。

収集画像データ抽出部４４４は、収集画像データベースから上記で抽出された各リンク関連情報に記憶されている撮影年月日に、カメラ情報キーＩＤで撮影された画像を検索する。さらにその中から、視点通過時刻と終点通過時刻の間に撮影された画像を抽出し、画像ファイルとして切り出し画像データ内の画像ファイルとして格納する。

また、画像取得リンクＩＤ、撮影開始側のノードＩＤ、撮影集両側のノードＩＤ、撮影順番を切り出し画像データ内の画像ファイル属性情報として格納する。

収集画像属性情報抽出部４４５は、収集画像属性情報データベース５６から、抽出条件入力部４４１で入力された条件に適合する情報を抽出する。

つまり、上記で抽出された画像ファイルに対応する画像取得座標、画像取得方位などの情報を抽出し、切り出し画像データ内の画像ファイル属性情報画像ファイル属性として格納する。

すなわち、データ抽出手段４４は切り出し条件（領域：エリア）の図３１（ｄ）に示す代表撮影地点に対応する全ての切り出し画像データｆ４（グラフ構造情報、リンク関連情報、画像ファイル、画像ファイル属性情報・・）を記憶装置１０６に記憶する（図３１（ｆ）参照）。

この切り出し画像データｆ４を用いて以下に説明するようにして、地図、画像ファイルを地理情報関連付き画像データ表示システム１００が表示する。

図２７は地理情報関連付き画像データ表示システム１００をより具体的にした構成図である。

図２７に示すように、地理情報関連付き画像データ表示システム１００は、記憶装置１０６、地理表示手段１０１、撮影位置表示手段１０２、撮影画像表示手段１０３の他に、進行方向印表示手段１０７、地図上撮影方向表示手段１１０、注記データ・登録表示手段１０９等を備えている。

前述の記憶装置１０６には地図データ１０８及び切り出し画像データｆ４の他に注記データ関連情報ｆ６等が記憶されている。

この注記データ関連情報ｆ６は注記データ・登録表示手段１０９によって予め登録しておくことが好ましい。

前述の地図データ１０８は、階層構造にされているのが好ましい。例えば背景地図の界、ネットワーク情報の界、注記データの界、地図記号データの界等の階層構造とされている。そして、注記データは、地物の名称であり、この名称が注記データの界の座標に関連付けられている。

さらに、記憶装置１０６には切り出し条件の領域内の複数の切り出し画像データｆ４が記憶されている。これらの切り出し画像データｆ４にはＩＤコードが付与されているのが好ましい。また、より具体的には、図２９に示すデータの構成となっている。

さらに、物理画像データベースは、より具体的には図３０に示すデータ構成となっている。

地理表示手段１０１は、切り出し条件の領域（表示範囲）が入力されると、この領域内の背景地図、ネットワーク情報、注記データ、地図記号を重ね表示する。このとき、ネットワークデータの道路の近傍の注記データのみを抽出して表示させてもよい。

注記データ・登録表示手段１０９は、図２４に示すように、注記データをコンピュータ画面の画像に表示する機能を有している。

この注記データの表示を実現させるために注記データ・登録表示手段１０９は、地図データの注記データの座標（例えば注記データの中央の文字の座標）から一定距離内に存在する画像取得座標を検索し、これらの画像取得座標のうちで、注記データに最も近い画像取得座標を検索する。そして、この画像取得座標を有する切り出し画像データのＩＤを、その注記データ及び注記データの座標等と共に注記データ関連情報ｆ６として記憶装置１０６に予め登録する。

例えば、図３３（ａ）に示すように、ネットワークデータｆ０が道路の場合に、画像取得座標がＧａ、Ｇｂ・・・と存在し、注記データがＣａ、Ｃｂ・・・と存在する場合は、注記データＣａ、Ｇｂ・・・の座標に最も近い距離にある画像取得座標を有する切り出し画像データを順次検索する。そして、検索した切り出し画像データの画像取得座標から注記データの座標に対する方位を、それぞれ求める。この方位はカメラ中心から何度（この角度をθｋとする）になるかで示す。

そして、注記データ、Ｇｂ・・・毎に、最も近い画像取得座標を有する切り出し画像データのＩＤを対応させると共に、方位θｋ及び画像取得座標等を対応させる（図３３（ｂ））。

このＩＤにリンク付けされている画像ファイルの画像は、３６０度のパノラマ画像であり、カメラ中心に対応する画像の中心位置はカメラ中心（０度）である。このカメラ中心からθｋの方位で、目線の高さとなる位置に注記データの画像上の座標を求める。つまり、注記データを表示させるための界（Ｘ−Ｙ座標系：パノラマ画像の座標系に対応する）を定義したメモリを備え、このメモリ上の注記データの座標（画像上の注記データ表示位置という）を定義する。

すなわち、注記データ関連情報ｆ６は、近接の切り出し画像データのＩＤと注記データ表示位置と方向（θｋ）と注記データの文字等からなる。

地理情報手段１０１は、入力された切り出し条件の領域に対応する地図データを記憶装置１０６から読み出して、コンピュータ画面に表示する。この地図データは、背景地図、注記データ、地図記号データ等からなる。

撮影位置表示手段１０２は、記憶装置１０６に保存されている全ての切り出し画像データｆ４の画像取得座標を抽出し、この座標に対応する画面の地図上の位置（例えば道路上の撮影地点）に画像取得座標（撮影位置）を示す記号（撮影位置記号という）を表示させる（図２３、図２４を参照）。

すなわち、切り出し条件の領域に存在する全ての撮影位置記号が表示されることになるからオペレータは、地図上のどこに画像があるかを一目で判断できる。

そして、これらの撮影位置記号のいずれかをオペレータがマウス等で指定すると、撮影位置表示手段１０２は、その指定された撮影位置記号を別の記号で表示する（例えば十字、二重丸、異なる色）。

地図上進行方向印表示手段１０７は、画面の地図上の撮影位置記号が指定されると、この撮影位置記号に対応する座標を有する画像の撮影順番が、同一リンク内の開始番号もしくは終了番号になっているかどうかを判定する。

開始番号もしくは終了番号になっている場合は、交差点と判定する。交差点と判定した場合は、そのリンクの交差点ＩＤに関連付けられている接続リンクＩＤを読み込む。

そして、交差点の座標から検索した接続リンクＩＤ上にある交差点近傍の画像の座標を読み込み、交差点に接続する全てのリンクの方位Ｈｉ（３差路又は４差路、・・）を求め、これらの方位に従って、リンクに矢印を表示する（図２８参照）。

一方、撮影画像表示手段１０３は、コンピュータ画面の撮影位置記号が選択されると、この撮影位置記号の画像取得座標を有する切り出し画像データの画像ファイルを抽出し、この画像ファイルからオペレータが入力した表示範囲の画像を画面に表示する。

前述の切り出し画像データの画像ファイルは、３６０度のパノラマ画像である。このため、オペレータは、例えば撮影方向を中心として左右５０度程度の表示範囲を指定する。

この表示範囲の画像ファイルの画像をコンピュータ画面に表示（図２８参照）すると共に、表示範囲及び撮影方向を地図上撮影方向表示手段１１０に知らせる。

地図上画像表示方向表示手段１１０は、撮影方向と表示範囲が知らせられると、コンピュータ画面の地図上の画像取得座標（撮影位置）から撮影方向を中心として表示範囲（撮影方向から現在の表示範囲、上記の場合は左右５０度）の角度方向にポリゴンを生成し、このポリゴンをコンピュータ画面の地図に重ね表示させる（図２８の地図表示範囲の扇形参照）。

また、画像上進行方向印表示手段１０７は、交差点からの撮影方向の撮影範囲に含まれる接続リンク（道路）の方位を求める。

この接続リンクの方位は、角度で定義される。例えば、図３２（ａ）に示すように、撮影方位をカメラ中心（０度）にした場合は、カメラ中心から道路ｋａの中心線の方位はθｐであり、道路ｋｂの中心線の方位はθｉで定義できる。

このθｐの方位とθｉの方位を表示範囲の中心（０度）から定め、道路上の位置当たりとなる画面上の位置に三角形のポリゴン（透けている）を三次元的に表示する（図３２（ｃ））。

このポリゴンが選択すると、その選択方向の道路の撮影位置の画像ファイルを撮影画像表示手段１０３が順次抽出して表示範囲に従って表示する。

一方、注記データ登録・表示手段１０９は、指定の注記（○○マンション、○○病院、○○市役所・・）を読み、表示中の画像のＩＤと、注記データ関連情報ｆ６に登録されている画像データのＩＤが一致するとき、その近い注記データを地図データから抽出する。

次に、抽出した注記データをコンピュータ画面の画像に表示する。

この注記データの表示は、コンピュータ画面の道路上の撮影位置記号が撮影位置に移動してきたとき、この画像取得座標（撮影位置）を有する注記データ関連情報ｆ６を引当てる。そして、引き当てた注記データ関連情報ｆ６の注記データ表示位置及び方向に従ってコンピュータ画面上に注記データの文字列を表示する（図２４参照）。

従って、コンピュータ画面を見ているだけで、目的のものを直ぐに見つけることができる。

なお、上記実施の形態では、切り出し画像データｆｉが生成されると、この切り出し画像データｆｉを表示するとしたが、画像には顔、ナンバープレート等のプライバシイにかかわる画像も存在している。このようなプライバシイに関わる画像に対して、ガウスフィルタ等でぼかす処理を施して切り出し画像データｆｉとし記憶装置１０６に記憶させてもよい。これによって、表示部には、プライバシィに関わる画像はぼやけて表示されることになる。

地図情報関連付け画像データ管理システムと表示システムの構成図である。 画像撮影サブシステムの構成図である。 画像データ編集サブシステムの構成図である。 地図データ表示手段により表示される地図である。 画像データ表示手段路面により表示される画像である。 画像間引き手段による画像間引きの方法を示す図である。 画像データ管理サブシステムの構成図である。 撮影計画手段の構成図である。 撮影情報取り込み手段の構成図である。 管理手段の構成図である。 データ抽出手段の構成図である。 グラフ構造データベースの構造図である。 カメラ情報データベースの構造図である。 計画・実撮影情報データベースの構造図である。 リンク関連情報データベースの構造図である。 物理画像データベースの構造図である。 グラフ構造を持つ地物を示す図である。 実施の形態による地理情報関連付き画像データ管理システムにおける手順を説明するフローチャートである。 実施の形態による地理情報関連付き画像データ管理システムにおける手順を説明するフローチャートである。 実施の形態による地理情報関連付き画像データ管理システムにおける手順を説明するフローチャートである。 実施の形態による地理情報関連付き画像データ管理システムにおける手順を説明するフローチャートである。 地図情報関連付け画像データ表示システムの構成図である。 地図情報関連付け画像データ表示システムの表示画面例である。 地図情報関連付け画像データ表示システムの表示画面の注記オーバレイ表示例である。 地図情報関連付け画像データ表示システムの表示画面例である。 地図情報関連付け画像データ表示システムの画像検索のフローチャートである。 地理情報関連付き画像データ表示システム１００をより具体的にした構成図である。 撮影位置及び対応する画像を同時表示する説明図である。 切り出し画像データのより具体的な構成を説明図である。 物理画像データベースのより具体的な構成を説明する説明図である。 本実施の形態の間引きと、撮影位置の表示、切り出しデータの登録の説明図である。 進行方向印表示手段を説明する説明図である。 注記データの画像への表示を説明する説明図である。

符号の説明

１０ 地理座標関連付き画像データ管理システム
２０ 画像撮影サブシステム
２１ 車両（移動手段）
２２ 画像センサ
２３ ハイブリッド型位置センサ
２４ 画像データ収集手段
２５ 位置データ収集手段
３０ 画像データ編集サブシステム
３１ 地図データ表示手段
３２ 画像データ表示手段
３３ リンク始終点通過時刻登録手段
３４ 画像間引き手段
４０ 画像データ管理サブシステム
４１ 撮影計画手段
４２ 撮影情報取り込み手段
４３ 管理手段
４４ データ抽出手段
５０ 記憶装置
５０ａ 画像情報データベース
５０ｂ 物理画像データベース
５１ グラフ構造データベース
５２ カメラ情報データベース
５３ 計画・実撮影情報データベース
５４ リンク関連情報データベース
５５ 収集画像データベース
５６ 収集画像属性情報データベース
１００ 地理情報関連付き画像データ表示システム
１０１ 地図表示手段
１０２ 撮影位置表示手段
１０３ 撮影画像表示手段
１０４ 経路探索連動手段
１０５ 画像検索手段
１０６ 記憶装置
１０８ 地図データ
ｄ０ 撮影計画情報
ｄ１ 収集画像データ
ｄ２ 収集画像属性情報
ｄ３ 実撮影結果情報
ｆ１ 一次撮影情報インポートファイル
ｆ２ 二次撮影情報インポートファイル
ｆ３ 撮影情報エクスポートファイル
ｆ４ 切り出し画像データ

Claims (18)

1. 移動体に全周囲撮影カメラ、ＧＰＳを有するハイブリット型の位置センサを搭載して進行路を移動したときに一定時間毎に撮影し、前記位置センサの情報を基にして得られた撮影位置、全周囲撮影カメラの撮影中心方向、撮影年月日及び撮影時間帯と共に得た複数の全周囲画像情報の中から撮影地点の全周囲画像を第１の全周囲画像として抽出し、この第１の全周囲画像を、所定の表示範囲でコンピュータグラフィックで画面に表示すると共に、前記撮影地点の範囲を含む地図とを前記画面に連動表示する地理情報関連付き画像データ表示システムにおいて、
   前記地図上の前記進行路のＩＤ番号と該進行路の両端のノードのＩＤコードと進行路の始点、終点の座標及び方向を有するベクトル情報とを含むリンク情報を有する路線ネットワーク並びに、該路線ネットワークにおける前記第１の全周囲画像と、該第１の全周囲画像毎に前記撮影位置と前記撮影中心方向と前記進行路における撮影順番と前記撮影位置に対応する前記進行路のＩＤ番号とを含む画像付属情報とが関連付けられて記憶され、かつ前記地図を記憶した記憶装置と、
   前記第１の全周囲画像毎の画像付属情報を読み込み、これらの画像付属情報に含まれる前記撮影位置をそれぞれ抽出し、これらを前記地図上の対応する位置に表示する手段と、
   前記地図上に前記撮影位置が指定されると、該指定された撮影位置を有する前記画像付属情報及び、該画像付属情報に関連付けている前記第１の全周囲画像を前記記憶装置から読み込む手段と、
   前記読み込まれた第１の全周囲画像を前記地図の表示領域とは異なる画像表示領域に第２の全周囲画像として前記所定の表示範囲で前記コンピュータグラフィックにより表示する画像表示手段と、
   連続表示の指示に伴って、前記読み込まれた画像付属情報の前記進行路のＩＤ番号を有する全ての画像付属情報の撮影順番を読み込み、これらの撮影順番に基づいて昇順又は逆順に、これらの画像付属情報に関連付けられている前記第１の全周囲画像を順次読み込んで、該読み込み毎にこれを前記画像表示領域に前記所定の表示範囲で前記コンピュータグラフィックにより第３の全周囲画像として連続表示させる撮像画像表示手段と、
   前記撮影順番が前記両端のいずれかの端の番号の場合は、前記撮像画像表示手段の連続表示を停止させ、該停止させたときに表示されている前記第３の全周囲画像を第４の全周囲画像とし、この第４の全周囲画像に関連付けられている前記画像付属情報の前記ＩＤ番号を有する前記進行路の前記いずれかの端の前記ノードのIDコードを検索し、このIDコードに関連するノードに接続する全て進行路のID番号を検索し、該検索したこれらの進行路の道路中心の方向を読み込む手段と、
   前記読み込んだ全ての進行路の道路中心の方向毎に、その方向と前記撮影中心方向とに基づいて前記第４の全周囲画像上における前記撮影中心方向からの、前記読み込んだ全ての進行路の道路中心の方向毎の方位を求め、前記第４の全周囲画像上に、これらの方位毎に前記進行路を選択させるための進行路選択ポリゴンの表示位置を道路上となる所定の高さで求め、これらの表示位置に前記進行路選択ポリゴンを前記第４の全周囲画像上に合成した第５の全周囲画像を得て、この第５の全周囲画像を前記所定の表示範囲で前記コンピュータグラフィックにより表示させる手段と、
   前記前記進行路選択ポリゴンが選択されたとき、該進行路選択ポリゴンに関連付けられた前記リンク情報の前記ＩＤ番号を有する画像付属情報を前記撮像画像表示手段に読み込みさせる手段と
   を有することを特徴とする地理情報関連付き画像データ表示システム。
2. 前記読み込まれた画像付属情報の撮影順番の撮影位置に関連する前記第１の全周囲画像が読み込まれる毎に、この撮影位置に該当する前記地図上の位置に、現在表示している前記第２、第３又は第４の全周囲画像の表示位置を知らせるための識別記号を表示する撮影位置表示手段と
   を有することを特徴とする請求項１記載の地理情報関連付き画像データ表示システム。
3. 前記記憶装置に記憶された前記第１の全周囲画像及び画像付属情報は、指定の領域、指定の撮影年月日・撮影時間帯又は指定の進行路の種別のいずれかの切り出し条件で前記複数の全周囲画像情報から抽出した第１の全周囲画像及び画像付属情報であることを特徴とする請求項１又は２記載の地理情報関連付き画像データ表示システム。
4. 前記第１の全周囲画像は、予め設定された視野方向の視野角の画像を繋げたパノラマ画像であり、
   前記画像表示領域に表示される前記第２、第３、第４又は第５の全周囲画像は、予め設定された視野方向の視野角の画像を繋げた第２、第３、第４又は第５のパノラマ画像であり、
   前記画像付属情報の撮影順番が前記進行路の前記両端のいずれかの端の番号を示している場合は前記ノードの位置にいると判定し、そのノードに関連する前記ノード情報を読み込み、これらのノード情報の前記ＩＤ番号の前記リンク情報の全ての進行路の方向を求める手段と、
   前記読み込んだこれらの進行路に該当する地図上の位置に、前記求めた方向に対応した矢印を表示する手段と、
   前記視野角の画像を繋げた第２、第３、第４又は第５のパノラマ画像の前記所定の表示範囲に対応した角度を中心角とした扇型ポリゴンの中心を前記矢印同士の交点にして、前記地図上に表示することで視野方向を前記扇型ポリゴンの中心軸が示す方向から知らせる手段と
   を有することを特徴とする請求項１乃至３のいずれか一項に記載の地理情報関連付き画像データ表示システム。
5. 前記進行路選択矢印ポリゴン及び前記扇型ポリゴンは、透過処理が施されていることを特徴とする請求項１又は４記載の地理情報関連付き画像データ表示システム。
6. 前記記憶装置に記憶された前記第１の全周囲画像は、
   前記撮影年月日、撮影日時帯が付加され、
   前記記憶装置に記憶された画像付属情報は、
   前記前記撮影位置と前記撮影中心方向と前記進行路における撮影順番と前記撮影位置に対応する前記進行路のＩＤ番号と前記撮影年月日と撮影日時帯とが関連付けられ、
   予め設定されている一定距離間隔毎に、この距離毎の座標地点に最も近接する撮影位置を有する前記第１の全周囲画像及び画像付属情報を、前記前記撮影年月日、撮影日時帯、前記進行路のＩＤをキーとして抽出して前記記憶手段に記憶する手段と
   を有することを特徴とする請求項１乃至５のいずれか一項に記載の地理情報関連付き画像データ表示システム。
7. 前記記憶装置の前記地図は、地物及び注記データを含み、該注記データは地物に座標で関連付けられており、
   前記注記データ毎に、該注記データの座標に最も近い前記撮影位置を有する画像付属情報を前記記憶装置から検索して、この注記データと関連付けて記憶する手段と、
   この画像付属情報が引き当てられたとき、この画像付属情報の前記全周囲画像にこの画像付属情報の注記データを重ね表示させる手段と
   を有する請求項１乃至６のいずれか一項に記載の地理情報関連付き画像データ表示システム。
8. 前記注記データは、前記表示した第２、第３、第４又は第５の全周囲画像に関連する前記画像付属情報の撮影位置から前記注記データまでの方位を求め、この方位でかつ予め設定されている目線高さに前記重ね表示する
   ことを特徴とする請求項７に記載の地理情報関連付き画像データ表示システム。
9. 前記第２、第３、第４又は第５の全周囲画像の表示は、前記引き当てられた画像付属情報に関連する全周囲画像をそのまま表示する単純表示或いは、この全周囲画像を、前記撮影中心から任意の方向で、かつ所定の視野角で撮影した画像をコンピュータグラフィックで表示するカメラパラメータ指定表示を行うことを特徴とする請求項１乃至８のいずれか一項に記載の地図情報関連付け画像データ表示システム。
10. 移動体に全周囲撮影カメラ、ＧＰＳを有するハイブリット型の位置センサを搭載して進行路を移動したときに一定時間毎に撮影し、前記位置センサの情報を基にして得られた撮影位置、全周囲撮影カメラの撮影中心方向、撮影年月日及び撮影時間帯と共に得た複数の全周囲画像情報の中から撮影地点の全周囲画像を第１の全周囲画像として抽出し、この第１の全周囲画像を、所定の表示範囲でコンピュータグラフィックで画面に表示すると共に、前記撮影地点の範囲を含む地図とを前記画面に連動表示するための地理情報関連付き画像データ表示のプログラムにおいて、
    コンピュータに、
    前記地図上の前記進行路のＩＤ番号と該進行路の両端のノードのＩＤコードと進行路の始点、終点の座標及び方向を有するベクトル情報とを含むリンク情報及び前記ノードに繋がる前記進行路のＩＤ番号を含むノード情報を有する路線ネットワーク並びに、該路線ネットワークにおける前記第１の全周囲画像と、該第１の全周囲画像毎に前記撮影位置と前記撮影中心方向と前記進行路における撮影順番と前記撮影位置に対応する前記進行路のＩＤ番号とを含む画像付属情報とを関連付けて記憶手段に記憶すると共に、かつ前記地図を記憶する手段、
    前記第１の全周囲画像毎の画像付属情報を読み込み、これらの画像付属情報に含まれる前記撮影位置をそれぞれ抽出し、これらを前記地図上の対応する位置に表示する手段、
    前記地図上に前記撮影位置が指定されると、該指定された撮影位置を有する前記画像付属情報及び、該画像付属情報に関連付けている前記第１の全周囲画像を前記記憶装置から読み込む手段、
    前記読み込まれた第１の全周囲画像を前記地図の表示領域とは異なる画像表示領域に第２の全周囲画像として前記所定の表示範囲で前記コンピュータグラフィックにより表示する画像表示手段、
    連続表示の指示に伴って、前記読み込まれた画像付属情報の前記進行路のＩＤ番号を有する全ての画像付属情報の撮影順番を読み込み、これらの撮影順番に基づいて昇順又は逆順に、これらの画像付属情報に関連付けられている前記第１の全周囲画像を順次読み込んで、該読み込み毎にこれを前記画像表示領域に前記所定の表示範囲で前記コンピュータグラフィックにより第３の全周囲画像として連続表示させる撮像画像表示手段、
    前記撮影順番が前記両端のいずれかの端の番号の場合は、前記撮像画像表示手段の連続表示を停止させ、該停止させたときに表示されている前記第３の全周囲画像を第４の全周囲画像とし、この第４の全周囲画像に関連付けられている前記画像付属情報の前記ＩＤ番号を有する前記進行路の前記いずれかの端の前記ノードのIDコードを検索し、このIDコードに関連するノードに接続する全て進行路のID番号を検索し、該検索したこれらの進行路の道路中心の方向を読み込む手段、
    前記読み込んだ全ての進行路の道路中心の方向毎に、その方向と前記撮影中心方向とに基づいて前記第４の全周囲画像上における前記撮影中心方向からの、前記読み込んだ全ての進行路の道路中心の方向毎の方位を求め、前記第４の全周囲画像上に、これらの方位毎に前記進行路を選択させるための進行路選択ポリゴンの表示位置を道路上となる所定の高さで求め、これらの表示位置に前記進行路選択ポリゴンを前記第４の全周囲画像上に合成した第５の全周囲画像を得て、この第５の全周囲画像を前記所定の表示範囲で前記コンピュータグラフィックにより表示させる手段、
    前記前記進行路選択ポリゴンが選択されたとき、該進行路選択ポリゴンに関連付けられた前記リンク情報の前記ＩＤ番号を有する画像付属情報を前記撮像画像表示手段に読み込みさせる手段
    としての機能させるための地理情報関連付き画像データ表示のプログラム。
11. 前記コンピュータに、
    前記読み込まれた画像付属情報の撮影順番の撮影位置に関連する前記第１の全周囲画像が読み込まれる毎に、この撮影位置に該当する前記地図上の位置に、現在表示している前記第２、第３又は第４の全周囲画像の表示位置を知らせるための識別記号を表示する撮影位置表示手段
    としての機能させるための請求項１０記載の地理情報関連付き画像データ表示のプログラム。
12. 前記記憶装置に記憶された前記第１の全周囲画像及び画像付属情報は、
    指定の領域、指定の撮影年月日・撮影時間帯又は指定の進行路の種別のいずれかの切り出し条件で前記複数の全周囲画像情報から抽出した第１の全周囲画像及び画像付属情報であることを特徴とする請求項１０又は１１記載の地理情報関連付き画像データ表示のプログラム。
13. 前記第１の全周囲画像は、予め設定された視野方向の視野角の画像を繋げたパノラマ画像であり、
    前記コンピュータに、
    前記画像表示領域に表示される前記第２、第３、第４又は第５の全周囲画像は、予め設定された視野方向の視野角の画像を繋げた第２、第３、第４又は第５のパノラマ画像であり、
    前記画像付属情報の撮影順番が前記進行路の前記両端のいずれかの端の番号を示している場合は前記ノードの位置にいると判定し、そのノードに関連する前記ノード情報を読み込み、これらのノード情報の前記ＩＤ番号の前記リンク情報の全ての進行路の方向を求める手段、
    前記読み込んだこれらの進行路に該当する地図上の位置に、前記求めた方向に対応した矢印を表示する手段、
    前記視野角の画像を繋げた第２、第３、第４又は第５のパノラマ画像の前記所定の表示範囲に対応した角度を中心角とした扇型ポリゴンの中心を前記矢印同士の交点にして、前記地図上に表示することで視野方向を前記扇型ポリゴンの中心軸が示す方向から知らせる手段
    としての機能させるための請求項１０乃至１２のいずれか一項に記載の地理情報関連付き画像データ表示のプログラム。
14. 前記コンピュータに、
    前記進行路選択矢印ポリゴン及び前記扇型ポリゴンは、透過処理を施させる手段
    としての機能させるための請求項１０又は１３記載の地理情報関連付き画像データ表示のプログラム。
15. 前記記憶装置に記憶された前記第１の全周囲画像は、
    前記撮影年月日、撮影日時帯が付加され、
    前記記憶装置に記憶された画像付属情報は、
    前記前記撮影位置と前記撮影中心方向と前記進行路における撮影順番と前記撮影位置に対応する前記進行路のＩＤ番号と前記撮影年月日と撮影日時帯とが関連付けられ、
    前記コンピュータに、
    予め設定されている一定距離間隔毎に、この距離毎の座標地点に最も近接する撮影位置を有する前記第１の全周囲画像及び画像付属情報を、前記前記撮影年月日、撮影日時帯、前記進行路のＩＤをキーとして抽出して前記記憶手段に記憶する手段
    としての機能させるための請求項１０乃至１４のいずれか一項に記載の地理情報関連付き画像データ表示のプログラム。
16. 前記記憶装置の前記地図は、地物及び注記データを含み、該注記データは地物に座標で関連付けられており、
    前記コンピュータに、
    前記注記データ毎に、該注記データの座標に最も近い前記撮影位置を有する画像付属情報を前記記憶装置から検索して、この注記データと関連付けて記憶する手段、
    この画像付属情報が引き当てられたとき、この画像付属情報の前記全周囲画像にこの画像付属情報の注記データを重ね表示させる手段
    としての機能させるための請求項１０乃至１５のいずれか一項に記載の地理情報関連付き画像データ表示のプログラム。
17. 前記コンピュータに、
    前記表示した第２、第３、第４又は第５の全周囲画像に関連する前記画像付属情報の撮影位置から前記注記データまでの方位を求め、この方位でかつ予め設定されている目線高さに前記重ね表示する手段
    としての機能させるための請求項１６に記載の地理情報関連付き画像データ表示のプログラム。
18. 前記コンピュータに、
    前記第２、第３、第４又は第５の全周囲画像の表示は、
    前記引き当てられた画像付属情報に関連する全周囲画像をそのまま表示する単純表示
    或いは、
    この全周囲画像を、前記撮影中心から任意の方向で、かつ所定の視野角で撮影した画像をコンピュータグラフィックで表示するカメラパラメータ指定表示を行うこと
    であることを特徴とする請求項１０乃至１７のいずれか一項に記載の地図情報関連付け画像データ表示のプログラム。