JP2003287434A - 画像情報検索システム - Google Patents

Abstract

(57)【要約】 【課題】 画像中の対象物の属性、データ等を、その対
象物等のＣＧ画像化と共に、対象物にに対する指示によ
って検索表示する。 【解決手段】 検索すべき通路等の実際上の走行等によ
って撮影取得した周囲の状況映像を映像データベース化
して映像データベース部３に保存記録し、またこの状況
映像中の各種の対象物を部品としてＣＧ画像化し、ＣＧ
データベース化してＣＧデータベース部７に保存記録す
る。また対象物夫々に関する名称、位置、属性その他の
属性データを対象物属性データベース部８に格納する。
状況映像あるいはＣＧ画像中に表示されている対象物
と、対象物属性データベース部８内の属性データとを検
索条件の指示によって、相互に検索し、その検索結果を
表示する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、例えば車両ナビゲ
ーションシステムにおける走行地点、任意地点等の周囲
状況の検索、また道路・河川管理機関等における管内の
道路・河川その他の管理維持に際する所定地点での周囲
状況の実態把握等を簡単に行えるようにした画像情報検
索システムに関するものである。

【０００２】

【従来の技術】近時、自動車等による走行に際しナビゲ
ーションシステムで表示される地図検索の案内に従うこ
とで目的地に容易に到達できる等の利便性の故に数多く
の車両にカーナビゲーションが搭載されるようになって
いる。また一般に提供されているナビゲーションシステ
ムには、ＧＰＳによる位置検索で自らの位置を表示され
た地図上にほぼ正確にプロットできるようにしてあると
共に、地図上には各種設備、設置されている信号機その
他が表示され、システムによっては鳥瞰図を表示できる
ようになっている。

【０００３】一方、道路・河川等を管理する道路・河川
管理事務所では管内の道路等の実態を把握し、その適切
な管理を図るため本出願人が提案している例えば特許第
３０９９１０３号による道路・河川等の現況ビデオ検索
装置が使用されている。この検索装置では、実際に道路
等を走行することで逐次撮影して得られた道路の周囲状
況に関する動画像・連続した静止画像等を、その任意地
点におけるものとして表示することで直ちに検索できる
ようにすると共に、その地点における各種施設の状況、
管理用各種施設図・記録その他をも関連表示できるよう
にしたものである。

【０００４】

【発明が解決しようとする課題】ところが上述した従来
のナビゲーションシステムにおける検索対象は、例えば
自車の位置、周囲の施設、目的地等を地図上に平面的あ
るいは立体的に表示するのみであり、地図情報そのもの
である。そのためカーナビゲーションの走行案内にあっ
ては、例えば斜交・錯綜している複雑な交差点での進行
方向の指示は、地図情報と実際の状況との対比が走行し
ながらの短時間では困難なために進行方向を誤ることが
多々あるものである。

【０００５】また現況ビデオ検索装置で動画像等を検索
するとしても、画角と方向が限られるため、その道路に
おける全体情報の把握は困難であり、しかも個々の対象
物の位置とそのデータが正確に得られないために、総合
的な道路の付帯施設・設備等の管理には十分なものでは
なかった。

【０００６】そこで本発明は叙上のような従来存した諸
事情に鑑み創出されたもので、道路・河川その他の各種
通路における実際状況の動画像・連続静止画像等の状況
映像が有する三次元情報を、地図・航空写真等の地域図
における位置情報と関連付け、三次元化するのであり、
その際、三次元情報中で認識抽出される各種対象物をＣ
Ｇ画像として再構成し、状況映像に含まれる各種対象物
のデータベースを構築することで、検索対象を地図上に
表示するのみならず画像内にも表示し、しかも画像内の
或いはCG生成された三次元情報中の対象物における例え
ば名称・位置・属性・それらの組合せその他のデータに
よる検索を可能とするように拡張するのであり、それら
の各種の検索、表示を可能にする画像情報検索システム
を提供することを目的とする。

【０００７】

【課題を解決するための手段】上述した目的を達成する
ため、本発明にあっては、検索すべき通路状況を当該通
路を移動しながら撮影することによって状況映像を取得
して表示し、状況映像内の対象物と、対象物に予め作
成、登録させておいた属性データとを相互に検索表示で
きるようにしたことにある。また、検索すべき通路状況
を当該通路を移動しながら撮影することによって状況映
像を取得して表示する一方、この状況映像中に撮影され
ている各種の対象物をＣＧ（コンビュータグラフィック
ス）画像化して表示しておき、状況映像内あるいはＣＧ
画像内の対象物と、対象物に予め作成、登録させておい
た属性データとを相互に検索表示できるようにしたこと
にある。あるいは、検索すべき通路状況を当該通路を移
動しながら撮影することによって状況映像を取得し、こ
の状況映像中に撮影されている各種の対象物をＣＧ画像
化して表示する一方、当該通路の地図あるいは航空写真
を表示しておき、ＣＧ画像内、地図あるいは航空写真内
の対象物と、対象物に予め作成、登録させておいた属性
データとを相互に検索表示できるようにしたことにあ
る。また通路は、道路、河川、海路、地底路、軌道、空
路等であり、また状況映像は動画像あるいは連続静止画
像のものとし、更にリアルタイム映像、予め取得作成し
た記録映像の少なくともいずれかとし、また表示された
状況映像の地点位置を地図あるいは航空写真上に表示す
ると共に、地点位置の緯度・経度・高度あるいは緯度・
経度のみ、基準地から距離、地点名称（道路の起点から
の距離、地図上の二次元座標あるいは三次元座標、ある
指定点からの距離の数値、地図あるい航空写真上の任意
の一点の２次元座標、道路の地点名、地図上の地名の名
称その他）の少なくともいずれかの索引情報を備えてい
るものとすることができる。状況映像を保存記録する映
像データベース部３と、状況映像をＣＧ画像化するＣＧ
作成部４，５と、ＣＧ画像化されたデータを保存記録す
るＣＧデータベース部７と、映像データベース部３内の
状況映像及びＣＧデータベース部７内のＣＧ画像両者を
対応させる位置あわせ同期部９と、ＣＧデータベース部
７内に記録されているＣＧ画像における各種対象物の属
性データを保存記録する対象物属性データベース部８
と、検索方法、検索対象を指定する検索指定部１０と、
状況映像、ＣＧ画像、検索結果を表示する表示装置１５
とを備えて成る。表示装置１５は、状況映像表示域３
１、地図域３２、ＣＧ画像域３３を区画表示し、状況映
像を表示する状況映像表示域３１内における表示映像
と、ＣＧ画像を表示するＣＧ画像域３３内におけるＣＧ
画像とは相互に対応し、また地図あるいは航空写真を表
示する地図域３２内における地図あるいは航空写真上の
地点に対応しているものとできる。また状況映像におけ
る表示に、地点が対応するように同期したＣＧ画像と同
一地点、同一視角のＣＧ画像を並べて、あるいは位置と
対象物とが合致するように重ねて同時にあるいは選択に
より単独で表示し、ＣＧ画像内で表示された対象物を直
接に選択指定することで、その対象物の属性やデータを
画面に表示し、あるいは同時に地点の緯度、経度を表示
するようにすることができる。状況映像内における対象
物の動きに、地点を含むように同期して動くようにＣＧ
画像を自由視点で表示し、あるいは状況映像内の対象物
の位置をＣＧ画像内に表示し、あるいは選択によって同
期せずにＣＧ画像を単独で自由視点で表示し、ＣＧ画像
内の対象物を直接に選択指定を指定することで、その対
象物の属性やデータを画面に表示するようにすることが
できる。状況映像内あるいはＣＧ画像内の対象を指定す
ることで、距離・面積・体積を計測し、それらを画面に
表示するようにすることができる。状況映像をＣＧ画像
と同様に、状況映像内における視点を変更して表示し、
あるいはＣＧ画像を状況映像と同様に扱い、両者を区別
なく検索対象とし、あるい検索の入り口とすることがで
きる。状況映像で表示された地点の動きに同期して表示
される地図あるいは航空写真をＣＧ画像と並べてあるい
は重ねて表示することができる。検索指定部１０は検索
方法、検索対象を指定するのであり、状況映像表示域３
１、地図域３２、ＣＧ画像域３３の少なくともいずれか
で対象物の一部または複数を含む検索条件を指定してそ
れらの条件を満足する対象物を検索できるようにしてあ
る。また検索指定部１０は検索方法、検索対象を指定す
るのであり、別に取得した新規映像を比較対象として、
その新規映像と同一の場所で撮影した映像データベース
部３内の状況映像、あるいはＣＧデータベース部７内の
ＣＧ画像を検索対象とし、更には地図あるいは航空写真
上の位置を検索対象とすることができる。別に取得した
新規映像のデータは映像データベース部３内の状況映像
あるいはＣＧデータベース部７内のＣＧ画像と比較し、
対応させることで、新規映像のデータは状況映像データ
あるいＣＧ画像から三次元座標を取得し、取得された座
標により映像データベース部３内の状況映像を更新し、
映像データベース部３に更新データとして記録保存する
更新映像データ部１６を備えることができ、更新データ
は、座標を同じくする並列データとして並列表示あるい
は切り替え表示とすることができる。状況映像内で表示
されている移動体画像を削除し、削除された部分の移動
体に隠されていた空白部分の映像は他の映像フレームか
ら三次元的に貼り付けて補完し、表示するようにした映
像補完部１７を備えることができる。状況映像内で表示
されている対象物の陰部分のみを抽出し、陰部分の明る
さ、色温度を周囲と同じ程度にして周囲との境界を目立
たなくするようにした映像補完部１７を備えることがで
きる。状況映像内の対象物と、その属性データとを電気
通信回線あるいはＷｅｂ（Ｗｏｒｌｄ ｗｉｄｅ ｗｅ
ｂ）を介して検索表示できるようにし、また映像データ
ベース部３、ＣＧ作成部４，５、ＣＧデータベース部
７、位置あわせ同期部９、対象物属性データベース部
８、検索指定部１０、表示装置１５の少なくとも一部は
電気通信回線あるいはＷｅｂを介して接続構成されてい
るものとできる。更に状況映像、ＣＧ画像、各種の対象
物及びその対象物に関する各種の属性データ、地図デー
タ、地図あるいは航空写真上の地点位置における検索の
ための索引情報、状況映像作成のための制作過程及び制
作過程における各種データその他の各種情報を電気通信
回線を通じて提供ないし取得可能なものとする。また表
示された状況映像には、実際の状況での距離・面積・体
積を計測可能とする一定間隔のグリットを視覚的にある
いは非視覚的に重ねて表示してあるものとすることがで
きる。

【０００８】以上のように構成された本発明に係る画像
情報検索システムにおいて、例えば道路等の各種通路に
おいての実際上の状況映像と、これをＣＧ画像化したＣ
Ｇ画像との対比、状況映像・ＣＧ画像両者内の各種の対
象物、更には地図・航空写真上の地点等を相互に検索さ
せ、また対象物に関する各種の属性データ等を表示さ
せ、例えばカーナビゲーションシステムとして走行中の
実景と状況映像との対比による走行案内を円滑にさせ、
また道路等の管理においての各種の管理情報等を迅速に
取得させる。検索指定部１０による検索は、種々な検索
条件の指定を可能にしており、例えば各種の地点索引、
対象物の属性データ等によるものとさせ、それに対応し
た地点、対象物が存在している映像データベース部３
内、ＣＧデータベース部７内等に記録保存されている映
像フレーム、画像フレームを単独あるいは複数で表示さ
せる。状況映像表示域３１によって表示される状況映
像、ＣＧ画像域３３によって表示されるＣＧ画像内にお
いての自由視点の変更は、その変更された視点において
の対象物の属性データ等を利用して、変更された視点か
らの対象物像を含む新たな状況映像、ＣＧ画像を生成さ
せ、多様な状況把握、管理情報等の取得を可能にさせ
る。状況映像内、ＣＧ画像内の対象の指定による距離・
面積・体積の計測は、通路管理機関における管理のため
の任意の通路部位の形態等を画面上で予め把握させ、例
えば現場における保守・点検等の各種作業の迅速化を図
らせる。映像データベース部３内に記録保存されている
状況映像フレーム、ＣＧデータベース部７内に記録保存
されているＣＧ画像フレームは、それらの間での比較対
照を可能にさせ、また新たに取得した状況映像との比較
対照後の更新映像データ部１６による更新を可能にさせ
る。映像補完部１７による状況映像、ＣＧ画像等の補完
修正は、状況映像、ＣＧ画像内に存する各種の車両の如
き移動体画像を削除させ、また対象物に付随する陰部分
等を消去させ、通路における余分なものが存在しない原
始状況の状況映像、ＣＧ画像を生成させる。状況映像内
の対象物の属性データを電気通信回線、Ｗｅｂを介して
検索表示することで、通路、各種対象物その他に関連す
る各種情報の逐次更新された最新データを利用者に提供
させ得るものとし、またこれらを制作する映像データベ
ース部３、ＣＧ作成部４，５、ＣＧデータベース部７、
位置あわせ同期部９、対象物属性データベース部８、検
索指定部１０、表示装置１５の少なくとも一部を電気通
信回線あるいはＷｅｂを介して接続構成することで遠隔
地相互、異時的にでもデータ更新の作業等を円滑にさ
せ、また利用者には最新データを即時に取得可能にさせ
る。また電気通信回線を通じた各種情報の提供ないし取
得は、日々に変化する通路に関連する各種情報を最新の
ものとして更新しておくことで、利用者に最新情報を逐
次入手可能にさせる。状況映像中に重ねて表示される視
覚的、非視覚的なグリット４６は、状況映像中の各地点
間の距離、高さ、対象物その他の大きさ等の計測を目視
可能にさせ、あるいは自動的な計算によって求めさせ得
る。

【０００９】

【発明の実施の形態】以下、図面を参照して本発明の実
施の形態を説明するに、本発明による画像情報検索シス
テムは、検索すべき通路、すなわち道路、河川、海路、
地底路、軌道、空路その他の自動車、船舶、航空機等の
各種移動体、更には人間が移動する交通往来等のために
設けられている通路の実際の状況を上り、下りで走行・
航行等によって撮影取得することで記録保存した動画像
・連続静止画像、及び生成されたＣＧ（コンビュータグ
ラフィックス）画像を検索するのである。動画像、連続
静止画像、ＣＧ画像等は、実際の通路における現時点で
あるリアルタイムのものあるいは予め記録したもの、あ
るいは生成したＣＧ画像であり、それらの状況映像中で
検索した視点位置を地図上に示し、あるいはそれらの画
像中に示し、さらに状況映像内の対象物を名称・位置・
属性・及び属性の組み合わせ等の属性データで指定する
ことで表示するのであり、これらの概略を図によって説
明すると次の通りである。

【００１０】図に示される符号１はリアルタイム映像取
得部であり、通路における現時点で取得した状況映像を
視点位置でカメラによって取得し、それをデジタル化し
て映像データベース部３へ送るようになっている。また
この映像データベース部３では、前もって記録した通路
の状況映像を記録作成し、保存する記録映像データ取得
部２からも所定の映像が送られるようになっている。

【００１１】映像データベース部３では、取得された状
況映像における夫々の映像の基準位置を示す何らかの検
索のための例えば通路基点からのキロ標、経度・緯度更
には必要があれば標高等の数値索引、通路等における地
点の名称等の名称索引等の各種の索引情報を持ってお
り、これらが状況映像に関連付けられている。そしてそ
れらの索引情報は、地図・航空写真データベース部６に
おける地図、及び航空写真の座標と最終的に結合するよ
うになっており、こうすることで状況映像は位置情報を
獲得するものとしてある。

【００１２】一方、映像データベース部３における状況
映像は例えば３ＤＣＧ（３次元コンピュータグラフィッ
ク：三次元ＣＧ ｔｈｒｅｅ ｄｉｍｅｎｓｉｏｎａｌ
ｃｏｍｐｕｔｅｒ ｇｒａｐｈｉｃｓ）化、あるいは
二次元画像化のようにＣＧ画像化されるもので、そのた
めの作業者の手作りによる手動操作でＣＧ画像化するＣ
Ｇ手動作成部４、あるいは自動的にＣＧ化するＣＧ自動
作成部５が設けられている。これらのＣＧ作成部４，５
では、状況映像中の存する各種対象物をデータベース化
するのであり、その対象物例を挙げれば次のようなもの
である。 (a) 人と人以外の区別 (b) 車と車以外の区別 (c) 人以外の移動物体と静止物体の区別 ・移動物体として：車両、軽車両、静止物体の移動、そ
の他予期せぬもの ・静止物体として：道路標識、道路表示、道路設備、工
事案内等 ・静止物体として：看板、電柱、樹木、大地、山、海、
川、太陽、月、その他天体、雲等 ・建築物として：ガソリンスタンド、整備工場、コンビ
ニエンスストア、警察署等 (d) 移動物体の速度ベクトル、加速度ベクトルの計測を
属性として付加 (e) 人と移動物体の未来予測 (f) 天候、路面状況（気温、路面温度、路面摩擦係数等
の情報取得） 等である。

【００１３】すなわち、例えば道路映像中で認識、特定
される対象物は、道路面・道路標識・案内標識・街路灯
・道路標示・ガードレール・街路樹その他の道路付帯設
備、ビル・住宅・店舗・看板その他の道路周辺構築物で
あり、対象物に関する属性データは、これらの道路付帯
設備、道路周辺構築物の設置点に関係して撮影取得した
それらの映像・この映像に関連するデータ・関連設計図
・関連工事履歴を含んでいるものとしてもよいのであ
る。更に、宿泊施設・観光ポイント・店舗等がそれらを
撮影取得した映像を含むこともできる。

【００１４】その作成方法は、地図・航空写真データベ
ース部６における地図・航空写真と状況映像とを重ね合
わせて、状況映像と同じ視点となるように判断してＣＧ
画像を作成するのであり、このようにして作成したＣＧ
画像は状況映像と完全に重なるものであり、またこのよ
うに重ねることが特徴であり、重要でもある。そのため
例えば表示画面において、状況映像の表示域とＣＧ画像
の表示域とがいずれか一方のみとされることがあり、い
ずれか一方のみが表示されていても、それは外見的なも
ので、実質的には重ねられているにすぎないものであ
る。なおＣＧ自動作成部５にあっては、ＣＧ手動作成部
４における手動操作を自動で行う機能を有しており、例
えば本出願人が既に出願している特願平１１−９７５６
２号（特開２０００−２９５６１１）、特願２０００−
１９０７２５による情報変換システムによるものとして
あり、ＰＲＭ（Ｐａｒｔｓ Ｒｅｃｏｎｓｔｒｕｃｔｉ
ｎＭｅｔｈｏｄ）と称している。

【００１５】すなわち、対象物に関して取得した対象物
情報をこの対象物に対応して予め登録されている情報コ
ードに変換し、その情報コードを送信あるいは出力する
情報コード変換装置と、この情報コード変換装置からの
情報コードが受信あるいは入力されることで、この情報
コードに対応して予め登録されている再現対象物情報に
変換する再現変換装置とを備えて成り、その情報コード
変換装置は、各種対象物の位置を、取得した画像上で場
情報データベースを基礎として分析する場分析用相関関
数演算手段と、この場分析用相関関数演算手段の演算結
果から座標コードデータベースを基礎として分析して画
像中の最適な座標を生成する最適座標生成手段と、また
取得した画像内における分析から画像中の各種対象物の
輪郭処理等を行なう前処理手段と、この前処理手段にて
得られた輪郭データ等、場分析用相関関係演算手段にて
得られた場データ、最適座標生成手段にて得られた最適
座標データ等を基礎にして配列コードに変換すると共
に、前記部品庫データベース内における対象物データと
取得認識した対象物情報とを比較対照・選択して、配列
コードと組合せられた情報コードを生成する部品検索用
相関関数演算手段とを備えている情報変換システムによ
る。

【００１６】あるいは所要の対象物に関する情報を入力
する情報入力手段と、予め作成した各種対象物ないしそ
の部分およびそれらの属性等に関する情報と、それらの
情報をそれぞれコード化したデータとを蓄積してデータ
ベースを形成した第１の部品庫と、前記情報入力手段に
入力された情報と前記第１の部品庫に蓄積された情報と
を比較対照して対応する情報に関するデータを選択して
出力する情報コード変換装置と、前記第１の部品庫と同
様にデータベースを形成した第２の部品庫と、前記情報
コード変換装置から出力されたデータを前記第２の部品
庫に蓄積されたデータと比較対照して対応する対象物を
再現する情報を選択すると共に、この対象物を再現する
情報に基づいて所要の出力手段により対象物を再現出力
する情報再現変換装置とから構成して成り、その情報コ
ード変換装置は、情報入力手段により入力された対象物
に関する情報について、その位置を画像上で場情報のデ
ータベースを基礎として分析する場分析用相関関数演算
手段と、この場分析用相関関数演算手段の演算結果から
座標コードのデータベースを基礎として分析して画像中
の最適な座標を生成する最適座標生成手段と、画像内に
おける分析から画像中の各種対象物の輪郭処理等を行う
前処理手段と、配列コードを生成すると共にこの配列コ
ードと組合せられる情報コードを生成する部品検索用相
関関数演算手段とを備え、前記部品検索用相関関数演算
手段は、前記前処理手段により得られた輪郭等のデー
タ、場分析用相関関係演算手段にて得られた場データ、
および最適座標生成手段により得られた最適座標データ
等を、それぞれ基礎にして配列コードに変換すると共
に、前記第１の部品庫内のデータベースに蓄積された情
報と入力された対象物の情報とを比較対照し、一致する
情報を選択し、この選択された情報にそれぞれ対応する
と共に前記配列コードと組合せられた情報コードを生成
するように構成して成る情報変換システムによる。

【００１７】これらのＣＧ作成部４，５によって作成さ
れたＣＧ化された全体画像は、状況映像中にある各種の
対象物につき、個々の対象物毎に作成するＣＧ画像の部
品の集合として構成され、作成されたＣＧ画像は、ＣＧ
データベース部７に記憶され、保存される。また対象物
の各種データは、対象物属性データベース部８に保存さ
れ、対象物毎に分類し、個々の部品に属性を持たせるこ
とが可能となり、個々の部品夫々の検索を対象物の名
称、属性、属性の組合せ等の属性データ、更にはその位
置座標等によって可能にし、状況映像と対応させて、あ
るいは映像の中に表示できるようにしてある。

【００１８】またリアルタイム映像取得部１あるいは記
録映像データ取得部２によって取得される動画・連続静
止画等による状況映像は、撮影時には既に状況映像の各
フレーム毎に座標が付いており、あるいは地図内の一点
と対応するコードが付してあり、更にＣＧ画像作成時に
状況映像の各フレームと対応されている。そのため地
図、状況映像、ＣＧ画像はデータとしては完全に一体化
しているので、常に対応関係があることになり、常に対
応して表示できる。これは位置あわせ同期部９によって
三者は完全に一体化するようにしてあり、それを表示コ
ントロール部１４に送ることによって、目的にあった表
示の形式に構成され、ディスプレーの如き表示装置１５
によって表示可能となるようにしてある。なお地図、状
況映像、ＣＧ画像の三者は区別されずに全く同じように
扱うことができ、状況映像について説明することは、他
のＣＧ画像、地図についても同じような説明が可能であ
るので、本実施の形態においては特に必要がない限り、
状況映像について説明される。特に状況映像とＣＧ画像
とは重ね合わせられるようになっており、状況映像上の
対象物の特定、例えば表示装置１５におけるマウスポイ
ンター等による対象物、輪郭その他の指示はＣＧ画像上
においても同様な指示となるのである。

【００１９】更に、リアルタイム映像取得部１あるいは
検索画像入力部１２によって新たに取り込まれた新規の
状況映像は、映像データベース部３でデータベース化さ
れ、更新される状況映像のデータとして更新映像データ
部１６に保存されるようにしてある。更新に際し、画像
一致技術で映像検索を行い、対応関係が求められること
で、新規に取り込んだ状況映像データはその座標を旧状
況映像から受け取ることができ、またＣＧ画像と画像一
致技術で比較すれは、ＣＧ画像にはフレームの制約がな
いので、連続的座標と比較して、新座標を取得すること
ができる。座標を取得した新規の状況映像は旧の状況映
像の更新という意味を持つので、新旧の状況映像を対比
することもでき、例えば夏期と冬期とにおいて異なる状
況映像を並列表示したり、切り替え表示したりすること
ができるのである。

【００２０】また状況映像内の各種の対象物を認識でき
ていることで、映像データベース部３に連繋した移動体
抽出部１８によって状況映像内の移動体画像のみを抽出
することができ、そのため、例えば静止物以外のモノを
移動体画像と定義して抽出もできるし、移動体画像その
ものを認識して、抽出することもできる。このように抽
出した移動体画像を状況映像から削除することで、移動
体が存在しない画像を作成することができる。ただその
ままでは、移動体画像を削除した後では該当部分が空白
状に残るために、映像補完部１７によってその空白部分
である移動体に隠されていた部分を補完するようにして
いる。この映像補完部１７では、移動体抽出部１８によ
って抽出削除した削除部分は移動体の性質から常に移動
しているので、その削除部分の、例えば道路面画像の座
標は既に既知であることを利用し、その座標部分を他の
映像の道路面が出ているフレームから、道路面を三次元
的に切り取り、空白部分に三次元的に貼り付けることで
補完するのである。

【００２１】取得する状況映像において、例えば通路す
なわち道路を管理する管理機関等によって管理する場合
に、通路周囲に陰影がある場合に、その陰影部分は黒く
落ちて見にくく、管理上に不都合が生じることがある。
そこで、陰部分のみ、照度と色温度を補正して、周囲と
同じ見え方になるようにすることができ、もちろんテク
スチャー（ｔｅｘｔｕｒｅ：表面のきめ、特質等）の特
徴を失わないように、陰部分の全域で同じ補正処理を行
い、陰部分と周囲の境界を目立たなくすることで、管理
しやすくするのである。すなわちこの陰影補完処理プロ
セスにつき、図２を参照して説明すると、映像画像入力
され（２１）、スペクトル分析、輝度による切り取りに
よって陰影部分を抽出し（２２）、テクスチャーを保存
するためにその分析を行い保存する（２３）。その分析
によって陰影部分の色温度は周囲と異なることでその基
準色温度を抽出し（２４）、また周囲色温度を抽出し
（２５）、それらの色温度差を検出して補正の対象とす
る。次いで陰影部分を三次元として周囲の色温度と強度
とに補完し（２６）、補正済み映像信号を出力するので
ある（３０Ａ）。なお撮影時間帯の異なる同一地点の映
像等により、陰影部分の情報を他から取得できる場合に
は、補正情報を持つフレームを選択し（２７）、画像を
切り取り（２８）、その画像を貼り付けることで補完す
る（２９）のであり、これによって補正済み映像信号を
出力するのである（３０Ｂ）。

【００２２】またＣＧ画像はその性質から、状況映像を
自由視点で表示できるのであり、しかも本発明において
は、動画による状況映像とＣＧ画像とは完全に重なるか
ら、ＣＧ画像に状況映像を貼り付けることが可能であ
り、そのときに状況映像はいわば三次元化されたという
ことができ、この三次元化された状況映像はＣＧ画像と
同じ原理で、視点も自由に変更できるのである。すなわ
ち図４に示すように表示されている状況映像に関連して
表示される例えば地図と共に視点変更制御域３３Ａにお
ける視点変更のための矢印状のアイコンのクリック等の
選択指示によって視点変更ができるようになっている。

【００２３】なお状況映像では視点位置による死角とな
る部分があるので、全ての視点で三次元表示ができるわ
けではないが、視点位置である撮影のためのカメラが移
動することで、静止対象物については三次元化可能であ
るから、他の視点からのテクスチャーをＣＧ画像として
貼り付けることができることで、視角の変更はかなりの
範囲で可能となるのである。

【００２４】次に検索につき説明すると、表示装置１５
によって表示される夫々の区域内におけるマウスポイン
ター等によるクリックの選択指示で検索し、表示できる
ようにしてある。すなわち表示装置１５における表示画
面では、図に示すようにリアルタイムのあるいは予め取
得した状況映像が動画像あるいは連続静止画像として表
示される状況映像表示域３１、地図を表示する地図域３
２、ＣＧ画像を表示するＣＧ画像域３３、検索対象物の
内容を表示する検索結果表示域３４、検索地の索引情報
例えば緯度・経度、基点からのキロ標、区間距離表示等
を表示する索引情報検索域３５、夏期・冬期等の種別、
路線選択、地名検索、例えば走行に伴い逐次表示される
状況映像における動画像・連続静止画像の前進、後退・
早送り前進・早送り後退・一時停止・再生速度あるいは
表示地点をスライド調整するスライダー式クリックボタ
ン等を表示している操作域３６、地点における全周囲を
表示させたり（「３６０度」）、３ＤＣＧを表示させた
り、通路の上り・下りの切替等を選択する表示制御域３
７、通路等の始点・終点を呼び出す呼出域３８、体積・
距離・面積等の計測用の計測指示域３９、印刷指示域４
０が区画表示され、また検索対象を具体的に指示する具
体的検索指示域４０Ａが設けられており、これらに対す
る操作は画面上で移動するポインターに対する例えばマ
ウス・クリック操作によって指示、制御できるようにし
てある。

【００２５】なおこの表示装置１５における画面の配置
例は、これに限定されず、その区画大きさ、夫々の表示
域の位置その他は任意に変更でき、また特に検索・表示
態様が異なることに対応して状況映像表示域３１、ＣＧ
画像域３３がいずれか一方のみとされたり、地図域３２
を表示しないものとしたりすることもある。もとより状
況映像表示域３１、ＣＧ画像域３３がいずれか一方とさ
れる場合には、これらによる状況映像あるいはＣＧ画像
は実質的に重ねられているから、それを切り替え表示す
るようにしてもよいのである。

【００２６】またその検索においては、映像と映像の比
較による検索をも可能とし、比較画像としての検索画像
を何らかの手段（手段は選ばない）で直接外部からの映
像（映像データベース部３、ＣＧデータベース部７等に
存在しない映像）を入力し、それを比較画像として扱う
検索画像入力部１２で取得し、次に更新映像データ部１
６で、映像の検索条件から直接に映像データベース部３
内を検索して一致映像を求める。

【００２７】一方、通常の映像検索において、作業者が
検索の方法や対象を指定するための操作部分として、検
索指定部１０等を備えている。

【００２８】検索においてはその目的や手法別に処理が
分けられる。映像そのもの、映像そのものによる検索、
映像検索部１３で処理される。

【００２９】映像による映像の検索以外に、映像内及び
ＣＧ画像内の対象物を直接クリックする検索の場合や属
性を直接名称等で指定して検索する場合は、対象物の認
識を必要としない場合は映像検索部１３を通さずに、も
しはじめに対象物の認識を必要とする場合は、映像検索
部１２により対象物を認識した後、直接に属性検索部１
１に入る。

【００３０】なお映像同士の比較である映像検索は、映
像データベース部３に蓄積保存されている各種の映像同
士、あるいはシステム外から取り入れた映像とを、更新
映像データ部１６で比較するのである。例えば映像デー
タベース部３に保存されている全ての映像同士の対比で
あり、これによっての新旧の同一地点の映像の変更部分
を抽出したり、更新要否の判断をしたり、また例えばあ
る道路における事故現場の写真を外部から検索画像入力
部１２に取り入れるとき、その事故現場地点が不明であ
るとき、事故現場の状況撮影の映像と蓄積されている映
像データとを対比し、事故現場の地点の特定を行えるよ
うにしているのである。具体的には、事故現場の撮影映
像（静止画、動画を問わない）を装置内に取り込み、被
比較映像と同じプロセスで視点の変更を含め例えばＣＧ
画像化することで映像内の対象物の形状と相対座標を生
成し、これを比較映像から生成したＣＧ画像とを比較す
ることで、三次元同士の比較となって検索を可能にして
いるのである。なおこれは、動画像においても同様に可
能である。

【００３１】更に具体的に説明すると、画像内の対象物
をクリック等で指定して検索する場合には、状況映像と
ＣＧ画像とが完全に重なった状態で状況映像のみを表示
することとなっていても、例えば実際にクリックするの
は状況映像表示域３１内における表示された状況映像中
の対象物であっても、効果として状況映像の背後にある
ＣＧ画像中の各部品をクリックしていることになる。す
なわちこれは、状況映像は元々は二次元であっても、三
次元画像表示されることになるＣＧ画像等と同じに扱い
得ることによるのである。

【００３２】また属性検索部１１による属性指定の検索
では、ＣＧ画像域３３に表示される各部品は状況映像表
示域３１に表示される対象物に対応しているので、クリ
ックによって対象物を指定すると、検索指定部１０を介
して検索対象物に対応する映像・ＣＧ画像部品・属性を
検出し、位置あわせ同期部９、表示コントロール部１
４、表示装置１５によって表示することができるのであ
る。また、属性を指定した場合は、対象物属性データベ
ース部８により、その属性を持つ部品をＣＧ画像域３３
内で検出できるので、その部品及びその部品に重なって
表示されている状況映像表示域３１における状況映像中
の対象物を表示できるのである。更には対象物の属性が
対象物属性データベース部８に保存されているので、複
数の属性の組み合わせ、優先順位等の複合で検索を指定
することも可能となっている。

【００３３】別に取り込んだ新規な映像を指定して、映
像データベース部３内に蓄積保存されている映像を検索
するに際しては、前記検索のために別に取り込んだ映像
を比較基準として、映像の視点位置や画角が異なってい
ても、同じ場所で撮影した映像と同一対象物が映ってい
る映像とを複数の三次元対象物から構成される三次元の
映像として捉えて比較すれば、映像データベース部３中
から対応する映像を検索、抽出し、その映像と対応を付
けて検索した映像を表示できるのである。

【００３４】このとき、映像データベース部３内の映像
は位置あわせ同期部９で三次元化されており、状況映像
と重なるＣＧ画像と完全に対応が付けられるから、取り
込んだ比較基準映像をＣＧ手動作成部４またはＣＧ自動
作成部５でＣＧ画像化し、画像内の複数の静止した対象
物の三次元的位置関係を求め、その位置関係と同じ位置
関係を持つ状況映像あるいはＣＧ画像を検索、抽出する
ことで映像を検索できるのである。あるいは例えば比較
基準映像（別に取り込んだ映像）をＭＰＥＧ７で記述し
て他の属性で絞り込んだ後、あるいは直接に映像データ
ベース部３内の映像もＭＰＥＧ７で記述し、映像データ
ベース部３に保存しておくことで、その後、比較基準映
像と同じ記述を持つ状況映像を映像データベース部３内
で検索することによって対応を求めれば検索が完了する
のである。もとより、当然に対応が求まれば位置座標が
取得され、状況映像表示域３１内における状況映像の表
示、ＣＧ画像域３３内のＣＧ画像の表示夫々が可能とな
り、いずれも表示できることになるのである。

【００３５】また図１に示すように、以上のように構成
される画像情報検索システムをインターネット等の通信
回線を利用して検索できるようにすることも可能であ
る。すなわち図に示すように、以上のように構成される
画像情報検索システム本体を、サーバー側データ送受信
部４５と共にサーバー側主装置とし、検索指定部１０に
相当する検索端末４１、表示装置１５の相当する表示端
末４２を備え、データ送受信端末４３を有するインター
ネット端末装置を用意しておき、このインターネット端
末装置におけるデータ送受信端末４３、上記サーバー側
データ送受信部４５を経由してサーバー側主装置と各種
情報を送受信できるようにするのである。

【００３６】すなわち実際上の状況映像、これをＣＧ画
像化したＣＧ画像、各種の対象物及びその対象物に関す
る各種の属性データ、地図データ、地図あるいは航空写
真上の地点位置における検索のための索引情報、更には
状況映像作成のための制作過程及び制作過程における各
種データその他の各種情報を電気通信回線（有線、無線
を問わない）あるいはＷｅｂ（Ｗｏｒｌｄ ｗｉｄｅ
ｗｅｂ）を通じて提供し、また取得できるようにするこ
とができる。そのため、例えば配信元においては各種情
報を逐次に更新しながら最新情報のものとしてサーバー
上に格納しておき、そのサーバーから各種情報をＷｅｂ
上に提供し、Ｗｅｂで結合することで最新の情報データ
を配信可能なものとするのである。

【００３７】また本発明システム内の各機能をＷｅｂの
配信で結合して全体システムを構築することも可能なも
のである。例えば本発明システムを構成する前記映像デ
ータベース部３、ＣＧ作成部４，５、ＣＧデータベース
部７、位置あわせ同期部９、対象物属性データベース部
８、検索指定部１０、表示装置１５の少なくとも一部を
電気通信回線あるいはＷｅｂを介して接続構成するので
あり、これによって、状況映像内の通路及び通路に関す
る情報、関連する対象物及びその属性データその他を電
気通信回線、Ｗｅｂを介して更新し、検索表示するので
ある。

【００３８】すなわちこうすることで、例えば道路、河
川、海路、地底路、軌道、空路等である通路に関連する
各種情報の最新データへの逐次更新作業を行うに際して
も、作業者相互等が遠隔地でも、あるいは時間が異なっ
ていても円滑に作業させることができ、しかも簡易に逐
次更新させ、配信可能とさせることとなって、それを利
用者に即時に提供させ得るものとできる。

【００３９】更に図９には別の実施の形態が示されてお
り、表示装置１５における状況映像表示域３１内の状況
映像にグリット４６をメッシュ状に視覚的にあるいは非
視覚的に重ね合わせて表示したものであり、このグリッ
ト４６は状況映像内にＣＧによって空間にブロックを積
んだように一定の単位長さの間隔で実際の映像上での一
定距離、一定高さを表示するようにしたのであり、映像
が一点に収束される場合にはその間隔が一定比率で狭ま
るように表示される。例えば図示のように状況映像の撮
影位置から一定距離の前方に仮想の矩形の標準距離位置
線を表示し、その四辺から一定間隔毎に適当な単位長さ
の幅方向、高さ方向、進行方向に沿うグリット４６を格
子状に表示するものとし、それによって、道路上の距
離、対象物その他の各種物体における面積、体積等の計
測を目視あるいは自動的な計算によって簡単に行うこと
ができると共に、対象物に対する視点変更位置の具体的
な設定をも簡易に行わせることができる。なおこのグリ
ット４６は、状況映像表示域３１内における状況映像上
に重ねて表示する場合に限らず、ＣＧ画像域３３内にお
けるＣＧ画像上に表示することも可能であることは勿論
である。

【００４０】グリット４６の作成は、進行方向の空間の
うち、例えば道路幅を規定する位置から垂直上方の所定
高さの領域、この高さで道路の進行方向に少なくとも所
定距離分に亘り並行に沿う天井面の領域、及びその位置
に至る距離分に亘る側壁面の領域、更に各領域の所定距
離分の前方の位置において車両等に垂直な縦の壁面の如
き領域を規定すると共に、当該各領域に対し、図９に示
す複数の所定の実寸毎の四角い枠を格子状の線で囲うＣ
Ｇによって画像表示するものである。またグリットサイ
ズ（格子状の各四角い枠の実寸上のサイズ）の間隔は任
意に設定できるようにしておくと共に、上述の各領域
に、車両前方の仮想的なある一点に向って所定距離分に
亘り並行に収束するＣＧによる３次元のグリット４６を
生成して状況映像上に合成出力するようにし、設定後の
グリットサイズに関するデータによって映像上で、グリ
ット４６が視覚的なものであれば、ある地点間の距離、
面積、体積、対象物等の大きさ等を目視で計測でき、ま
た非視覚的なものであれば例えば自動計算手段によって
それらを計測し、表示できるようにしてある。

【００４１】なおこのようなグリット４６表示は、その
原理において、車両に積載されたカメラ位置と道路面及
びその付帯物との関係につき、そのスケールを拡大し、
航空機に積載されたカメラと地上面及びその上の立体構
造物との関係に置き換えることができるのであり、道
路、河川、海路、地底路、軌道、空路等のいずれにも適
用できるのは勿論である。

【００４２】次に画像検索、属性検索、その他の検索の
具体的な手順のいくつかを説明するに、本実施の形態に
おける画像情報検索システムおいては、対象である各種
通路における実際に走行したときの周囲の状況を連続的
に撮影した状況映像を、その視点であるカメラ位置とカ
メラの画角情報等をＣＧ画像化して、その映像を再現で
きる情報を映像データベース部３に記録しており、また
ＣＧ画像内の対象物はその属性やデータを即時に表示で
きるよう一意に定められる識別子を持っていることを前
提に以下の処理を行うのである。

【００４３】例えば経度・緯度、キロ標等に基づく位置
情報と関連して検索する場合には、以下の手順による。 (1) 表示装置１５に表示された状況映像表示域３１、地
図域３２、ＣＧ画像域３３内における当該通路のリアル
タイム動画像あるいは記録した動画像（どちらも静止画
を含む）より対象物をクリックする。 (2) 対象物がクリックされた画像のフレームよりカメラ
の位置、画角等を取得する。 (3) 映像データベース部３より対象物の選択に使用され
たフレームと同一の位置、画角の画像を生成する。 (4) 選択された表示域３１，３２，３３内のクリックさ
れた画面上の位置情報より、ＣＧ画像内のその場所の対
象物を検索する。 (5) 検索により得られた対象物の識別子を取得する。 (6) 識別子に一致する属性、データ等を検索結果表示域
３４に表示する。

【００４４】また対象物の属性を検索する場合には、以
下の手順による（図７参照）。 (1) 表示装置１５に表示された状況映像表示域３１、地
図域３２、ＣＧ画像域３３内における当該通路のリアル
タイム動画像あるいは記録した動画像（どちらも静止画
を含む）より対象物をクリックする。 (2) 検索により得られた対象物の識別子を取得する。 (3) 識別子に一致する属性、データ等を検索結果表示域
３４に表示する。

【００４５】また対象物を自由視点によって変更表示
し、検索する場合には、以下の手順による（図４参
照）。 (1) 映像データベース部３内の状況映像を表示し、同時
にその状況映像のフレームのカメラ位置と画角情報とに
より、ＣＧ画像化した映像データベース部３内のＣＧ画
像を同一地点、同一画角で生成し表示する。 (2) 状況映像より得られた位置情報によって、状況映像
の位置をＣＧ画像域３３内におけるＣＧ画像内に視点変
更制御域３３Ａにおけるアイコン指示によってマーカ表
示する。 (3) 状況映像表示域３１内における状況映像の再生に合
わせ、ＣＧ画像も地点、画角情報より生成を繰り返す。 (4) 自由視点の機能が選択されることにより、ＣＧ画像
域３３で表示されたＣＧ画像内を自由に移動し、自由な
視点でＣＧ画像内を移動でき、視点を変えたＣＧ画像が
同時に生成される。 (5) ＣＧ画像内の移動により生成されたＣＧ画像内のの
対象物をクリックする。 (6) 検索により得られた対象物の識別子を取得する。 (7) 識別子に一致する属性、データ等を検索結果表示域
３４に表示する。

【００４６】また状況映像内で表示されている地点にお
ける対象の距離、面積、体積を計算し表示する場合に
は、以下の手順による（図５参照）。 (1) 当該通路のリアルタイム動画像あるいは記録した動
画像（どちらも静止画を含む）を状況映像表示域３１に
表示しておき、計測指示域３９における距離・面積・体
積の機能を選択した上で、地点その他の対象を必要回ク
リックする。 (2) 対象がクリックされた画像のフレームより視点であ
るカメラの位置、画角等を取得する。 (3) ＣＧデータベース部７によって、対象の指定に使用
されたフレームと同一の位置、画角の画像を生成する。 (4) 選択されたフレーム内のクリックされた画面上の位
置情報によってＣＧ画像内のその場所の対象を特定す
る。距離の場合は２カ所の指定された点と交点をもつＣ
Ｇ画像内の面の１点と他の１点とする。面積・体積の場
合は指定された複数の点により構成される３次元内の面
と３次元内の３次元多角形とする。 (5) 指定された対象の距離、面積、体積を計算し表示す
る。

【００４７】またＣＧ画像内で表示されている地点にお
ける対象の距離、面積、体積を計算し表示する場合に
は、以下の手順による（図６参照）。 (1) 当該通路のＣＧ画像をＣＧ画像域３３に表示してお
き、計測指示域３９における距離・面積・体積の機能を
選択した上で、地点その他の対象を必要回クリックす
る。 (2) ＣＧデータベース部７によって、対象の指定に使用
されたフレームと同一の位置、画角の画像を生成して、
その映像を表示する。 (3) 選択されたフレーム内のクリックされたＣＧ画像の
画面上の位置情報によって対象を特定する。距離の場合
は２カ所の指定された点と交点をもつＣＧ画像内の面の
１点と他の１点とする。面積・体積の場合は指定された
複数の点により構成される３次元内の面と３次元内の３
次元多角形とする。 (4) 指定された対象の距離、面積、体積を計算し表示す
る。

【００４８】また状況映像における視点を変更表示し、
ＣＧ画像も同様に扱うことで検索対象にし、あるいは検
索の入り口とする場合には、以下の手順による（図４参
照）。この場合、連続した映像より得られた空間情報の
映像をテクスチャーとして蓄積すると共に、このテクス
チャーは、視点位置と画角とを指定することによって、
その位置から見た画像を表示できるよう画像処理を行う
ことを前提に記録されているのである。 (1) 当該通路のリアルタイム動画像あるいは記録した動
画像（どちらも静止画を含む）において、カメラ位置の
変更を選択する。 (2) 指定された変更を、量、現在のカメラ位置、画角よ
り変更量を計算する。 (3) 蓄積されたテクスチャーを、変更量によって画像変
換して画像内に張り付ける。 (4) これを繰り返し表示する。

【００４９】また状況映像、ＣＧ画像、地図等を重ねて
表示する場合には、以下の手順による。 (1) 当該通路のリアルタイム動画像あるいは記録した動
画像（どちらも静止画を含む）の画像の再生によって、
カメラ位置、画角の変化情報をＣＧ画像を表示するＣＧ
画像域３３に、同様に地図を地図域３２に送る。 (2) 送られた変化情報より、ＣＧデータベース部７によ
ってＣＧ画像を指定された変化情報を基に指定された方
法、すなわち並べてあるいは重ねて生成し、表示する。 (3) 一方、送られた変化情報から得られた地図位置情報
によって地図域３２内に地図データベースの当該地点を
指定された方法、すなわち並べてあるいは重ねて表示す
る。 (4) (1) から(4) の内容を繰り返し表示する。

【００５０】また映像データベース部３、ＣＧデータベ
ース部７内における共通する対象物を検索する場合に
は、以下の手順によるもので、例えば「現在地の次の交
差点から５０メートル以内にあるコンビニを見つけよ」
とする場合につき説明する（図８参照）。 (1) 検索指定部１０で入力された検索内容を属性検索部
１１に送る。例えばその検索内容は、検索条件入力域４
０Ａで複合属性検索あるいはＡＩ検索を選択し、次の指
定をクリックすることとし、指定の第１としての対象物
を「交差点」、指定の第２の対象物を「コンビニ」、指
定の第３の検索方向を「進行方向そのまま」、指定の第
４の属性距離範囲を「５０メートル」、指定の第５の表
示対象を「コンビニ」、指定の第６の表示方法を「全
て」とする。 (2) 属性検索部１１及び対象物属性データベース部８に
よって該当するコンビニエンストアを指定された範囲で
検索する。 (3) 表示コントロール部１４に検索結果を送り、当該地
点での状況映像を状況映像表示域３１に、ＣＧ画像をＣ
Ｇ画像域３３に、地点周囲の地図を地図域３２に、その
属性データを検索結果表示域３４に表示する。

【００５１】

【発明の効果】本発明は以上のように構成されており、
これがために、道路・河川その他の各種通路における実
際状況の動画像・連続静止画像等の状況映像が有する三
次元情報を、地図・航空写真等の地域図における位置情
報と関連付けることができ、その際、三次元情報中で認
識抽出される各種対象物をＣＧ部品によるＣＧ画像化し
て再構成し、状況映像に含まれる各種対象物のデータベ
ースを構築することで、検索対象を地図上に表示するの
みならず、三次元情報中の対象物における例えば名称・
属性・それらの組合せその他のデータまでに検索、表示
可能にすることができる。

【００５２】そしてまた、状況映像を検索信号として、
同種のあるいは同じような対象物が映っている映像をデ
ータベースから検索することができ、しかも従来に比
し、対応する状況映像を簡単に検索できるので、全映像
を位置座標に合わせた状態で自動的に簡単に更新できる
のである。

【００５３】そればかりでなく、道路管理上で不都合で
あった状況映像内の日陰の部分の領域を周囲と同じ明る
さと色温度で表示でき、的確な管理情報の取得に役立て
ることができ、更に同様に、道路管理上で不都合であっ
た車両等の移動体を状況映像から削除し、その空白部分
を他の映像から情報を取得して貼り付けることで車両の
ない道路面を表示でき、道路管理面での原始情報を獲得
できるのである。

【００５４】また動画像あるいは連続静止画像を従来に
比し２次元から３次元に拡張したことで計測が自由にな
り、同一フレームの状況映像内での更には連続する複数
のフレームをまたぐ三次元計測が可能となり、多種にわ
たる検索条件の組合せによる検索を可能にするのであ
る。しかも地図技術、ＣＧ画像技術等を組み合わせて有
効に利用することにより、検索方法が大幅に拡張され、
名称・属性等の組み合わせで、複雑な条件の検索が可能
である。

【００５５】更にはＣＧ画像を基準にすることで、撮影
時の映像の揺れ・回転等を修正することができる利点も
得られるのである。

【００５６】一方、車両等に搭載するカーナビゲーショ
ンシステムとするとき、実際に走行している地点におけ
る周囲の実際上の状況映像、ＣＧ画像を表示できるの
で、走行中の周囲状況、すなわち地図のみでは得られな
い実際情景との対比を容易にし、例えば錯綜、複雑な都
市部での交差点その他で方向等を誤ることがないのであ
る。

【００５７】また状況映像内の対象物と、その属性デー
タとを電気通信回線あるいはＷｅｂを介して検索表示で
きるように、例えば映像データベース部３、ＣＧ作成部
４，５、ＣＧデータベース部７、位置あわせ同期部９、
対象物属性データベース部８、検索指定部１０、表示装
置１５の少なくとも一部は電気通信回線あるいはＷｅｂ
を介して接続構成することで、各種情報の最新データへ
の逐次更新作業を遠隔地相互間でも、異時的にでも円滑
に行うことができ、しかも簡易に逐次更新させることで
即時に提供させ得るばかりでなく、利用者は最新データ
を入手できるのである。

【００５８】更に状況映像、属性データ、地図データ、
索引情報、更には状況映像作成のための制作情報等を電
気通信回線を通じて提供ないし取得できるようにし、こ
れらが更新されることで、利用者は、日々に変化する通
路に関連する各種情報を最新のものとして逐次入手可能
なものである。

【図面の簡単な説明】

【図１】本発明の実施の形態を示すブロック図である。

【図２】同じく陰影補完処理プロセスを説明するチャー
ト図である。

【図３】同じく表示装置における画面配置例の正面図で
ある。

【図４】同じく対象物のデータを表示すると共に自由視
点の変更指示域が表示された画面例である。

【図５】同じく対象の体積、距離、面積等を状況映像表
示域内における指定によって計測する場合の画面例であ
る。

【図６】同じく対象の体積、距離、面積等をＣＧ画像域
内における指定によって計測する場合の画面例図であ
る。

【図７】同じくＣＧ画像域内の対象物によって、その属
性、位置、データ等を表示した画面例である。

【図８】同じくデータベース部内における対象物を検索
し、表示した場合の画面例である。

【図９】同じく表示区域内に表示された映像・画像にグ
リットを重ねて表示した場合の画面例である。

【符号の説明】

１…リアルタイム映像取得部 ２…記録映像デ
ータ取得部 ３…映像データベース部 ４…ＣＧ手動作
成部 ５…ＣＧ自動作成部 ６…地図・航空
写真データベース部 ７…ＣＧデータベース部 ８…対象物属性
データベース部 ９…位置あわせ同期部 １０…検索指定
部 １１…属性検索部 １２…検索画像
入力部 １３…映像検索部 １４…表示コン
トロール部 １５…表示装置 １６…更新映像
データ部 １７…映像補完部 １８…移動体抽
出部 ２１…映像画像入力 ２２…陰影抽出 ２３…テクスチャー分析保存 ２４…基準色温
度抽出 ２５…周囲色温度抽出 ２６…３Ｄ陰影
補完 ２７…補正情報を持つフレーム選択 ２８…画像切り
取り ２９…画像貼り付け補完 ３０Ａ…補正映
像出力 ３０Ｂ…補正映像出力 ３１…状況映像表示域 ３２…地図域 ３３…ＣＧ画像域 ３３Ａ…視点変
更制御域 ３４…検索結果表示域 ３５…索引情報
検索域 ３６…操作域 ３７…表示制御
域 ３８…呼出域 ３９…計測指示
域 ４０…印刷指示域 ４０Ａ…検索条
件入力域 ４１…検索端末 ４２…表示端末 ４３…データ送受信端末 ４５…サーバー
側データ送受信部 ４６…グリット

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） Ｇ０６Ｔ 17/40 Ｇ０６Ｔ 17/40 Ｇ 17/50 17/50 Ｇ０８Ｇ 1/0969 Ｇ０８Ｇ 1/0969 Ｆターム(参考） 2F029 AA02 AC13 AC14 5B050 AA06 BA07 BA08 BA11 BA17 BA18 CA07 CA08 DA02 EA09 EA20 EA24 EA27 EA30 FA02 FA05 FA13 FA19 GA08 5B057 AA13 AA16 BA02 BA24 BA26 CA08 CA12 CA16 CB01 CB08 CB12 CB16 CC01 CE08 CE11 CE16 CH08 CH18 DA07 DA16 DB02 DB06 DB09 DC09 5B075 ND20 ND23 NR02 NR20 PQ02 PQ13 UU14 UU40 5H180 AA01 CC04 FF22 FF27 FF32 FF38

Claims (24)

【特許請求の範囲】
1. 【請求項１】 検索すべき通路状況を当該通路を移動し
   ながら撮影することによって状況映像を取得して表示
   し、状況映像内の対象物と、対象物に予め作成、登録さ
   せておいた属性データとを相互に検索表示できるように
   したことを特徴とする画像情報検索システム。
2. 【請求項２】 検索すべき通路状況を当該通路を移動し
   ながら撮影することによって状況映像を取得して表示す
   る一方、この状況映像中に撮影されている各種の対象物
   をＣＧ（コンビュータグラフィックス）画像化して表示
   しておき、状況映像内あるいはＣＧ画像内の対象物と、
   対象物に予め作成、登録させておいた属性データとを相
   互に検索表示できるようにしたことを特徴とする画像情
   報検索システム。
3. 【請求項３】 検索すべき通路状況を当該通路を移動し
   ながら撮影することによって状況映像を取得し、この状
   況映像中に撮影されている各種の対象物をＣＧ画像化し
   て表示する一方、当該通路の地図あるいは航空写真を表
   示しておき、ＣＧ画像内、地図あるいは航空写真内の対
   象物と、対象物に予め作成、登録させておいた属性デー
   タとを相互に検索表示できるようにしたことを特徴とす
   る画像情報検索システム。
4. 【請求項４】 通路は、道路、河川、海路、地底路、軌
   道、空路等である請求項１乃至３のいずれかに記載の画
   像情報検索システム。
5. 【請求項５】 状況映像は動画像あるいは連続静止画像
   のものとしてある請求項１乃至４のいずれかに記載の画
   像情報検索システム。
6. 【請求項６】 状況映像はリアルタイム映像、予め取得
   作成した記録映像の少なくともいずれかとしてある請求
   項１乃至５のいずれかに記載の画像情報検索システム。
7. 【請求項７】 表示された状況映像の地点位置を地図あ
   るいは航空写真上に表示すると共に、地点位置の緯度・
   経度・高度あるいは緯度・経度のみ、基準地から距離、
   地点名称の少なくともいずれかの索引情報を備えている
   請求項１乃至６のいずれかに記載の画像情報検索システ
   ム。
8. 【請求項８】 状況映像を保存記録する映像データベー
   ス部と、状況映像をＣＧ画像化するＣＧ作成部と、ＣＧ
   画像化されたデータを保存記録するＣＧデータベース部
   と、映像データベース部内の状況映像及びＣＧデータベ
   ース部内のＣＧ画像両者を対応させる位置あわせ同期部
   と、ＣＧデータベース部内に記録されているＣＧ画像に
   おける各種対象物の属性データを保存記録する対象物属
   性データベース部と、検索方法、検索対象を指定する検
   索指定部と、状況映像、ＣＧ画像、検索結果を表示する
   表示装置とを備えて成ることを特徴とする画像情報検索
   システム。
9. 【請求項９】 表示装置は、状況映像表示域、地図域、
   ＣＧ画像域を区画表示し、状況映像を表示する状況映像
   表示域内における表示映像と、ＣＧ画像を表示するＣＧ
   画像域内におけるＣＧ画像とは相互に対応し、また地図
   あるいは航空写真を表示する地図域内における地図ある
   いは航空写真上の地点に対応している請求項８に記載の
   画像情報検索システム。
10. 【請求項１０】 状況映像における表示に、地点が対応
    するように同期したＣＧ画像と同一地点、同一視角のＣ
    Ｇ画像を並べて、あるいは位置と対象物とが合致するよ
    うに重ねて同時にあるいは選択により単独で表示し、Ｃ
    Ｇ画像内で表示された対象物を直接に選択指定すること
    で、その対象物の属性やデータを画面に表示し、あるい
    は同時に地点の緯度、経度を表示するようにしてある請
    求項１乃至９のいずれかに記載の画像情報検索システ
    ム。
11. 【請求項１１】 状況映像内における対象物の動きに、
    地点を含むように同期して動くようにＣＧ画像を自由視
    点で表示し、あるいは状況映像内の対象物の位置をＣＧ
    画像内に表示し、あるいは選択によって同期せずにＣＧ
    画像を単独で自由視点で表示し、ＣＧ画像内の対象物を
    直接に選択指定を指定することで、その対象物の属性や
    データを画面に表示するようにしてある請求項１乃至１
    ０のいずれかに記載の画像情報検索システム。
12. 【請求項１２】 状況映像内あるいはＣＧ画像内の対象
    を指定することで、距離・面積・体積を計測し、それら
    を画面に表示するようにしてある請求項１乃至１１のい
    ずれかに記載の画像情報検索システム。
13. 【請求項１３】 状況映像をＣＧ画像と同様に、状況映
    像内における視点を変更して表示し、あるいはＣＧ画像
    を状況映像と同様に扱い、両者を区別なく検索対象と
    し、あるい検索の入り口とする請求項１乃至１２に記載
    の画像情報検索システム。
14. 【請求項１４】 状況映像で表示された地点の動きに同
    期して表示される地図あるいは航空写真をＣＧ画像と並
    べてあるいは重ねて表示するようにしてある請求項１乃
    至１３に記載の画像情報検索システム。
15. 【請求項１５】 検索指定部は検索方法、検索対象を指
    定するのであり、状況映像表示域、地図域、ＣＧ画像域
    の少なくともいずれかで対象物の一部または複数を含む
    検索条件を指定してそれらの条件を満足する対象物を検
    索できるようにしてある請求項８乃至１４のいずれかに
    記載の画像情報検索システム。
16. 【請求項１６】 検索指定部は検索方法、検索対象を指
    定するのであり、別に取得した新規映像を比較対象とし
    て、その新規映像と同一の場所で撮影した映像データベ
    ース部内の状況映像、あるいはＣＧデータベース部内の
    ＣＧ画像を検索対象とし、更には地図あるいは航空写真
    上の位置を検索対象としている請求項８乃至１５のいず
    れかに記載の画像情報検索システム。
17. 【請求項１７】 別に取得した新規映像のデータは映像
    データベース部内の状況映像あるいはＣＧデータベース
    部内のＣＧ画像と比較し、対応させることで、新規映像
    のデータは状況映像データあるいＣＧ画像から三次元座
    標を取得し、取得された座標により映像データベース部
    内の状況映像を更新し、映像データベース部に更新デー
    タとして記録保存する更新映像データ部を備えている請
    求項１乃至１６のいずれかに記載の画像情報検索システ
    ム。
18. 【請求項１８】 更新データは、座標を同じくする並列
    データとして並列表示あるいは切り替え表示とする請求
    項１７に記載の画像情報検索システム。
19. 【請求項１９】 状況映像内で表示されている移動体画
    像を削除し、削除された部分の移動体に隠されていた空
    白部分の映像は他の映像フレームから三次元的に貼り付
    けて補完し、表示するようにした映像補完部を備える請
    求項１乃至１８のいずれかに記載の画像情報検索システ
    ム。
20. 【請求項２０】 状況映像内で表示されている対象物の
    陰部分のみを抽出し、陰部分の明るさ、色温度を周囲と
    同じ程度にして周囲との境界を目立たなくするようにし
    た映像補完部を備える請求項１乃至１９のいずれかに記
    載の画像情報検索システム。
21. 【請求項２１】 状況映像内の対象物と、その属性デー
    タとを電気通信回線あるいはＷｅｂを介して検索表示で
    きるようにした請求項１乃至２０のいずれかに記載の画
    像情報検索システム。
22. 【請求項２２】 映像データベース部、ＣＧ作成部、Ｃ
    Ｇデータベース部、位置あわせ同期部、対象物属性デー
    タベース部、検索指定部、表示装置の少なくとも一部は
    電気通信回線あるいはＷｅｂを介して接続構成されてい
    る請求項８乃至２１のいずれかに記載の画像情報検索シ
    ステム。
23. 【請求項２３】 状況映像、ＣＧ画像、各種の対象物及
    びその対象物に関する各種の属性データ、地図データ、
    地図あるいは航空写真上の地点位置における検索のため
    の索引情報、状況映像作成のための制作過程及び制作過
    程における各種データその他の各種情報を電気通信回線
    を通じて提供ないし取得可能なものとしてある請求項１
    乃至２２のいずれかに記載の画像情報検索システム。
24. 【請求項２４】 表示された状況映像には、実際の状況
    での距離・面積・体積を計測可能とする一定間隔のグリ
    ットを視覚的にあるいは非視覚的に重ねて表示してある
    請求項１乃至２３のいずれかに記載の画像情報検索シス
    テム。