JP2003067407A

JP2003067407A - 車載情報検索機器及び情報検索方法

Info

Publication number: JP2003067407A
Application number: JP2001254686A
Authority: JP
Inventors: Kenji Tokura; 健治都倉; Yuichi Mimura; 裕一三村; Masaki Wakesu; 昌樹分須
Original assignee: Clarion Co Ltd
Current assignee: Faurecia Clarion Electronics Co Ltd
Priority date: 2001-08-24
Filing date: 2001-08-24
Publication date: 2003-03-07

Abstract

(57)【要約】【課題】操作負担を低減すると共に、リアルタイムの
画像から取得したい情報を容易、的確に検索、取得でき
る車載情報機器を提供する。【解決手段】車両外に出現する文字情報を含む画像、
或いは車両内に出現する文字情報を含む画像を取得する
画像取得装置１と、この画像取得装置１で取得した画像
から文字情報を切り出す文字切り出し装置６と、切り出
した文字情報から文字テキストを認識する文字認識装置
７と、この文字認識装置７で認識した文字テキストを用
いてこの文字に関連する情報を検索、取得する情報機器
９とを備えたことを特徴とする。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像情報から文字
情報を切り出し、文字情報から文字テキストを認識し
て、その文字テキストに関連する情報を検索、取得する
車載情報検索機器及び情報検索方法に関する。

【０００２】

【従来の技術】車両に搭載されるナビゲーションを代表
とする各種情報機器は、近年、汎用的に使われている。
この種の情報機器は、各種情報を保有するデータ部と、
このデータ部にキーワードを入力し、このキーワードに
関連する情報の検索、取得を行う検索部と、データ部か
ら検索、取得した情報を表示する表示部とを備えて構成
されている。ところで、従来、情報機器の操作は、メニ
ューによる階層構造のボタンを選ぶことによってメニュ
ーを選択し、目的の操作を実現していたが、この操作で
は、操作者の操作負担が大きい。

【０００３】そこで、操作者の操作負担を低減するた
め、ディスプレイを用いたＧＵＩ（グラフィックユーザ
ーインターフェイス）を備えたものが提案されている。

【０００４】しかし、ＧＵＩを用いたメニュー形式でキ
ーワードを入力する場合、例えば固有名詞や人名・特殊
な用語等のキーワードを選択するとき、非常に多くのメ
ニュー構造（階層構造）が必要になる。従って、希望す
るキーワードに到達するまでに多くの時間を必要とする
という問題がある。

【０００５】これに対し、操作者の操作負担を低減する
ため、音声認識、音声合成を用いた対話型の操作手段を
備えたものが提案されている。

【０００６】しかし、音声認識にて認識させようとした
場合、音声認識の辞書をメニュー構造毎に準備する必要
があると同時に、それらの語彙数を増やすことによって
実質的に認識の遷移状態が増えて認識率の低下を招くと
いう問題がある。

【０００７】また、音声認識した情報を元に検索を行う
場合、例えば、漢字の情報であれば、その漢字のままで
あったほうが検索の効率が高くなる。しかし、音声認識
を用いて入力する場合、一度人間が漢字情報を音読した
後、音声認識し、再度かな漢字変換を行う必要が生じ
る。そのために、読み上げ間違い、音声認識間違い、か
な漢字変換間違いが重畳して生じる可能性があり、特に
固有名詞等の入力に関しては困難がつきまとうという問
題がある。

【０００８】

【発明が解決しようとする課題】一般的に、オフィス等
での利用であれば、キーボードを用いることによって情
報検索のための入力が可能であるが、車両内で使用され
る情報機器では、キーボードの設置場所やキー操作に両
手が必要であること等により、操作性が悪くなると共
に、車の運転中は操作を行うことができない。安全な場
所に移動した後にキー操作することは可能であるが、そ
こに移動するまでの間、忘却、間違い、運転への集中欠
如等の問題が生じる。

【０００９】そこで、本発明の目的は、上述した従来の
技術が有する課題を解消し、情報検索に当たり、操作負
担を低減することができる車載情報検索機器及び情報検
索方法を提供することにある。

【００１０】

【課題を解決するための手段】請求項１記載の発明は、
車両に設置され、車両外に出現する文字情報を含む画
像、或いは車両内に出現する文字情報を含む画像を取得
する画像取得手段と、この画像取得手段で取得した画像
から文字情報を切り出す切り出し手段と、この切り出し
た文字情報から文字テキストを認識する文字認識手段
と、この文字認識手段で認識した文字テキストを用いて
この文字に関連する情報を検索、取得する手段とを備え
たことを特徴とする。

【００１１】請求項２記載の発明は、請求項１記載のも
のにおいて、前記画像取得手段で取得した画像を表示す
るタッチパネルディスプレイを備え、前記切り出し手段
は前記タッチパネルにタッチ指示を行った場合、タッチ
された部分の近傍に表示された画像から文字情報を切り
出すことを特徴とする。

【００１２】請求項３記載の発明は、請求項１又は２記
載のものにおいて、前記画像取得手段で取得した画像を
表示するタッチパネルディスプレイと、画像保持タイミ
ング指定スイッチとを備え、画像保持タイミング指定ス
イッチにより指定された時にのみ画像情報がタッチパネ
ルディスプレイに表示されることを特徴とする。

【００１３】請求項４記載の発明は、請求項３記載のも
のにおいて、前記画像保持タイミング指定スイッチによ
り指定された場合、画像メモリー装置のメモリーに保持
された画像が、タッチパネルディスプレイに表示される
ことを特徴とする。

【００１４】請求項５記載の発明は、請求項４記載のも
のにおいて、前記画像メモリー装置は、前記画像取得手
段で取得した画像を常に上書きし、画像保持タイミング
指定スイッチからの指定タイミングが入力された時点で
上書きを中止し、この時点での画像データを保存する構
成を備えることを特徴とする。

【００１５】請求項６記載の発明は、請求項４記載のも
のにおいて、前記画像メモリー装置は、前記画像保持タ
イミング指定スイッチの指定タイミングが入力された時
点から画像保持を開始する構成を備えることを特徴とす
る。

【００１６】請求項７記載の発明は、請求項１乃至６の
いずれかに記載のものにおいて、前記画像取得手段が車
両に固定されていることを特徴とする。

【００１７】請求項８記載の発明は、請求項１乃至６の
いずれかに記載のものにおいて、前記画像取得手段が車
両に移動自在に設置されていることを特徴とする。

【００１８】請求項９記載の発明は、車両に設置された
画像取得手段によって、車両外に出現する文字情報を含
む画像、或いは車両内に出現する文字情報を含む画像を
取得する画像取得過程と、この画像取得過程で取得した
画像から文字情報を切り出す切り出し過程と、この切り
出した文字情報から文字テキストを認識する文字認識過
程と、この文字認識過程で認識した文字テキストを用い
てこの文字に関連する情報を検索、取得する過程とを備
えたことを特徴とする。

【００１９】請求項１０記載の発明は、請求項９記載の
ものにおいて、前記画像取得過程で取得した画像をタッ
チパネルディスプレイに表示する過程を備え、前記切り
出し過程は前記タッチパネルにタッチ指示を行った場
合、タッチされた部分の近傍に表示された画像から文字
情報を切り出すことを特徴とする。

【００２０】請求項１１記載の発明は、請求項９又は１
０記載のものにおいて、前記画像取得手段が車両に固定
されていることを特徴とする。

【００２１】請求項１２記載の発明は、請求項９又は１
０記載のものにおいて、前記画像取得手段が車両に移動
自在に設置されていることを特徴とする。

【００２２】

【発明の実施の形態】図１は、本発明の一実施形態を示
すブロック図である。

【００２３】図１において、１００は車載情報機器を示
す。この車両情報機器１００は画像取得装置（カメラ）
１を備え、このカメラ１は、車両内から車両外に向けて
運転者の前方視線をカバーする領域の画像を取得する。

【００２４】このカメラ１は、車両内に固定してもよ
く、車両内に移動自在に設置してもよい。カメラ１が自
由に移動できる構成を備えた場合、このカメラ１によっ
て車両内に持ち込まれた、例えば観光地施設名、電話番
号、住所等の各種文字情報を含んだ雑誌等から映像を容
易に取得可能に構成される。

【００２５】このカメラ１からの画像情報は、常時、タ
ッチパネルディスプレイ２と画像メモリー装置３に送ら
れる。カメラ１からの画像情報は、タッチパネルディス
プレイ２に、リアルタイムに表示してもよいし、或いは
指定した時にのみ、画像情報を、タッチパネルディスプ
レイ２に表示してもよい。

【００２６】ここでは、指定時にのみタッチパネルディ
スプレイ２に表示する形態が採用されている。指定時以
外は、タッチパネルディスプレイ２を、ＴＶや、カーナ
ビゲーション等のディスプレイに共用できるからであ
る。

【００２７】このタッチパネルディスプレイ２に、カメ
ラ１からの画像情報を表示する指定（タイミング）は、
画像保持タイミング指定スイッチ４から出力される。す
なわち、操作者は、例えば車両の走行中に、運転者の前
方視線をカバーする領域に、情報検索したい文字情報を
含む実像が出現した場合、この画像保持タイミング指定
スイッチ４を押す。カメラ１は、車両内から車両外に向
けて運転者の前方視線をカバーする領域の画像を取得す
るものであるから、画像保持タイミング指定スイッチ４
が押されると、画像メモリー装置３のメモリーに保持さ
れた画像が、タッチパネルディスプレイ２に表示され
る。

【００２８】ここで、画像メモリー装置３は、カメラ１
により取得した画像を１フレーム分の画像データ毎に常
に上書きし、画像保持タイミング指定スイッチ４からの
指定タイミングが入力された時点で上書きを中止し、こ
の時点での画像データを保存する構成を備える。この場
合、画像メモリー装置３のメモリーには常に１フレーム
分の画像が保存されるから、例えば車両運転中に運転者
が取得したいと思った瞬間に、運転者の視界に入った画
像に最も近い画像を取得できる。しかし、この場合、画
像メモリー装置３は常に電力を必要とする。

【００２９】或いは、画像メモリー装置３は、画像保持
タイミング指定スイッチ４の指定タイミングが入力され
た時点から画像保持を開始する構成を備えてもよい。こ
の場合、指定タイミングが入力された時点で画像保持が
開始されるため、画像メモリー装置３に保持される画像
は、指定タイミングが入力された時点より１フレーム分
だけ遅れる。しかし、この場合、画像メモリー装置３の
稼働時にのみ電力が消費されるため、省エネが図られ
る。

【００３０】ついで、タッチパネルディスプレイ２に表
示された文字情報が、文字切り出し位置指示５によって
切り出される。この指示５はタッチパネルディスプレイ
２に表示された画像へのタッチ指示による。

【００３１】このタッチ指示があると、タッチ位置近傍
に存在する文字情報を含む画像が、文字切り出し装置６
によって切り出される。この文字切り出し装置６によっ
て切り出された画像は、文字認識装置７に送られ、この
文字認識装置７では、切り出した文字情報を含む画像か
ら文字テキストを認識する。

【００３２】そして、認識された文字テキストは、文字
情報一時記憶装置８に一時的に保持され、ここから情報
機器９に送られる。この情報機器９は、各種情報を格納
したデータベースを保有し、上記文字テキストは、デー
タベースにおける情報検索用のキーワードとして利用さ
れる。

【００３３】以下では、車両外にレストラン名称が記載
された広告の載った看板があり、車両運転中にそのレス
トラン名称を取得し、そのレストランの所在地等の関連
情報を検索、取得する手順について説明する。

【００３４】上記カメラ１は、車両内から車両外に向け
て運転者の前方の視線領域をカバーするように撮像範囲
が設定されており、システムが起動されている状態にお
いては常に映像を取得する機能を持っている。

【００３５】このカメラ１の出力は、タッチパネルディ
スプレイ２と画像メモリー装置３に常時出力される。こ
のカメラ１は、撮像範囲が移動、拡大及び縮小できる機
能を有してもよい。この場合、操作者の必要に応じて撮
像範囲を移動、拡大及び縮小することにより、操作者が
希望する範囲、大きさの画像を容易に取得できる。

【００３６】タッチパネルディスプレイ２は、カメラ１
により取得された画像を入力として表示する機能と、画
面上にタッチした場合、タッチした画面上の座標情報を
出力するタッチパネルとしての機能を有する。

【００３７】車両運転中に、取得したい文字情報、例え
ばレストラン名称が記載された広告の載った看板が運転
者の前方視界に入った場合、画像保持タイミング指定ス
イッチ４を押す。すると、スイッチオン時のタイミング
がタッチパネルディスプレイ２と画像メモリー装置３に
伝えられる。

【００３８】ここで、画像保持タイミング指定スイッチ
４は音声認識機能を備えてもよい。この場合、タイミン
グの指定指示が、例えば「取得」といった適当な音声コ
マンドに対応される。従って、音声コマンドを発声した
時点でスイッチが入るため、スイッチを押す操作を省略
できる。

【００３９】この画像メモリー装置３は、画像保持タイ
ミング指定スイッチ４の指定タイミングで１フレーム分
の画像情報を保持する機能と、この保持画像をタッチパ
ネルディスプレイ２に出力する機能と、該保持画像を文
字切り出し装置６に出力する機能とを有している。

【００４０】スイッチオンの指定タイミング以降、タッ
チパネルディスプレイ２には、そのタイミングで取得さ
れ、画像メモリー装置３に一時的に記憶された、情報検
索したい文字情報を含む画像情報が表示される。

【００４１】ここで、画像メモリー装置３は、上述した
ように、カメラ１により取得した画像を１フレーム分の
画像データ毎に常に上書きし、画像保持タイミング指定
スイッチ４からの指定タイミングが入力された時点で上
書きを中止し、この時点での画像データを保存する構成
を備える。

【００４２】すなわち、本実施形態では、車両運転中に
運転者が、レストラン名称等の記載された広告を見つけ
た場合、この広告が運転者の視界内にある時点で、画像
保持タイミング指定スイッチ４を操作することによっ
て、レストランの名称等が記載された広告を含む画像
が、画像メモリー装置３に保持され、その画像が、タッ
チパネルディスプレイ２に表示される。

【００４３】運転者は、タッチパネルディスプレイ２の
画面上に表示された画像のうち、レストランの名称等が
表示された看板の位置をタッチすることにより、切り出
し位置指示５を行うことができる。

【００４４】この指示５が出されると、レストランの名
称等の文字情報を含む領域内の一点のタッチ位置座標が
文字切り出し装置６に出力される。

【００４５】この文字切り出し装置６は、画像メモリー
装置３から１フレーム分の画像情報を入力する機能と、
タッチパネルディスプレイ２からタッチされたポイント
の画面上の位置座標情報データを入力として持つ機能を
有し、指定された位置近傍に存在する文字情報を画像と
して切り出す機能を有する。

【００４６】この文字切り出し装置６は、レストランの
名称等の広告を含む映像と、タッチ指示されたレストラ
ンの名称等が含まれる領域内の一点の位置座標情報とか
ら、レストランの名称等を文字映像情報として切り出
す。そして、この切り出された文字情報は、文字認識装
置７に出力される。

【００４７】この文字認識装置７は、文字切り出し装置
６によって切り出された文字映像情報から文字テキスト
を認識する機能を持つ。この文字認識装置７では、レス
トランの名称等の文字情報を含む映像情報が、文字テキ
ストの情報として認識される。そして、認識されたレス
トラン名称等の文字テキスト情報は文字情報一時記憶装
置８に記憶保持される。

【００４８】この文字情報一時記憶装置８はメモリーを
備えて構成され、このメモリーに保持された文字テキス
トは、文字情報一時記憶装置８を介して、検索等を行う
キーワードとして情報機器９へ受け渡される。文字情報
一時記憶装置８に２語以上の情報を保持できる構成とす
れば、一つの画像から２つ以上の情報を取得して、それ
を保持することが可能である。

【００４９】つぎに、図２を参照し、文字切り出し装置
６における文字切り出し、及び文字認識装置７における
文字認識の手順について説明する。文字認識は、光学的
文字認識方法に従う。Ｓ１〜Ｓ６は、文字切り出しのス
テップを示し、Ｓ７〜Ｓ１１は、文字認識のステップを
示す。

【００５０】以下、図３又は図４に示すように、指示位
置に「１２３−４５６７」の文字情報が存在するものと
して説明する。

【００５１】まず、画像メモリー装置３に保持された１
フレーム分の画像が、初期値として与えられる所定の閾
値を用いて黒、白に２値化される（Ｓ１）。続いて、指
示された位置に文字情報があるという前提で、「１２３
−４５６７」の文字列全体の輪郭が推定される。すなわ
ち、図３に示すように、タッチ位置Ｘを中心に投影円が
設定され、円周方向へ上記２値化された画像データが投
影され、黒の現れる数が積算される。そして、最も投影
量が多い方向が、「１２３−４５６７」の文字列の方向
と仮定される（Ｓ２）。

【００５２】この文字列の方向は、例えば横書きの文字
の場合には水平方向に、縦書きの文字の場合には垂直方
向に相当するが、看板の設置位置とカメラ１との位置関
係から文字列の方向が斜めになることがあり得る。この
時点では文字が縦書きか横書きかの判断はつかない。

【００５３】そこで、文字列方向（最も黒の投影量が多
い方向）が水平方向になるように推定傾斜角θ分だけ、
映像情報が回転される（Ｓ３）。

【００５４】続いて、図４に示すように、タッチ位置Ｘ
から文字列の範囲が推定される。ここでは、タッチ位置
Ｘの濃淡情報から急激に濃淡情報が変化する位置までを
文字列範囲Ｌとして推定する。すなわち、タッチ位置Ｘ
における座標周辺の対象文字列の黒を水平方向（Ｘ方
向）と垂直方向（Ｙ方向）とに投影し（Ｓ４）、Ｙ方向
に投影された投影値が急激に変化したところを垂直方向
の文字列高さＨとする（Ｓ５）。そして、水平方向に並
ぶ文字の周期性から文字を切り分け、この周期性がとぎ
れるまでの範囲を文字列範囲Ｌとする（Ｓ６）。

【００５５】これによって、「１２３−４５６７」の各
数字（文字）の高さＨと文字列範囲Ｌとが決定され、文
字列の内、「１」、「２」、「３」、「−」、「４」、
「５」、「６」、「７」の各文字が切り分けられる。

【００５６】この段階では、映像上の文字認識をするべ
き文字情報が含まれる画像としての文字の切り出し範囲
が上記文字高さＨと文字列範囲Ｌとから特定される。こ
の切り出された範囲内に存在する映像情報に対して、つ
ぎの文字認識の手順（Ｓ７〜Ｓ１１）が行われる。

【００５７】この文字認識では、パターンマッチングに
よる方法で最も簡単な鋳型マッチングによる方法が用い
られる。この鋳型マッチングによる方法は、文字認識装
置７が参照比較パターンとして保有する文字映像情報
と、実際の上記画像情報とをメッシュ状に分解し、その
間で相関処理を行い、最も相関値の高い文字をその文字
と認識する方法である。

【００５８】まず、文字認識装置７が参照比較パターン
として保有する文字映像情報と、実際の上記画像情報と
をメッシュ状に分解し（Ｓ７）、このメッシュ化された
画像情報と参照比較パターンの文字映像情報との間で相
関処理が行われる（Ｓ８）。画像情報には縦書きと横書
きがあり得るので、参照比較パターンの文字映像情報を
９０度回転させ、回転させた参照比較パターンと画像情
報との相関処理が行われ（Ｓ９）、縦書きの場合と横書
きの場合について、最も相関値の高い文字がその文字と
して認識される（Ｓ１０）。

【００５９】この段階で文字情報を取得できなかった場
合、画像メモリー装置３から入力される最初の映像にお
いて濃淡の２値化を行う際の閾値を少し変えて、上述の
手順（Ｓ１〜Ｓ１０）を繰り返す。なお、事前に設定さ
れた処理を繰り返した段階でも文字情報を認識できなか
った場合、上述の手順を中止し、その趣旨を例えば映像
や音声を用いて運転者に伝える。

【００６０】そして、認識された文字は文字テキスト情
報として文字情報一時記憶装置８に記憶され（Ｓ１
１）、上記文字画像情報内にある文字数だけ上述の手順
（Ｓ７〜Ｓ１１）が繰り返される（Ｓ１２）。

【００６１】ここで、文字認識のための切り出し法の一
例として、画像内で文字情報を含む画像部分の１点の位
置をタッチする場合の例を示したが、文字認識させたい
範囲をタッチパネル上で指定する方法を用いてもよい。
この場合、文字認識させたい範囲を正確に指定できるの
で、文字列が明確になる。

【００６２】文字範囲を映像情報として切り出した後、
文字テキストとして認識する場合（Ｓ７〜Ｓ１０）、こ
こでは鋳型マッチング法を示したが、例えば交差や点と
いった特徴である文字を構成する線分の特徴を用いて認
識する方法を用いてもよい。この場合、鋳型マッチング
法と比べて認識確率が向上する。

【００６３】本実施形態では、レストラン名称等の記載
された広告の画像を含む画像情報から、位置を指定し
て、その位置近傍からレストラン名称の文字列が含まれ
る画像部分のみを切り出され、この画像に対してパター
ンマッチングから文字認識することで、レストラン名称
等を文字テキストとして認識し、このデータは文字情報
一時記憶装置８に記憶される。

【００６４】この文字情報一時記憶装置に記憶されたレ
ストラン名称等を含む文字テキスト情報は、情報機器９
に受け渡されて、取得したい情報が検索される。検索
は、車両内のデータベース、または、情報機器９と通信
によって接続される車両外のデータベースを用いて行わ
れる。

【００６５】図５は、車両内の情報機器９に設置された
データベースを用いて検索する場合のフローチャートを
示している。

【００６６】例えば取得された情報がレストラン名称で
ある場合、そのレストラン名称をデータベースのキーワ
ード（検索語）として検索が行われる（Ｓ２１）。一般
的なデータベースにおいて、一つのデータに対する適当
なキーワードは、例えば施設名、住所、データベース、
業種名等の検索条件ごとに分類されているため、この検
索条件の指定があれば追加する（Ｓ２２）。

【００６７】この検索条件で分類されたデータ内にキー
ワードと同じものがある場合、このキーワードに対して
検索が行われる。また、検索条件で分類されたデータ内
にキーワードと同じものがない場合、検索条件を追加し
て再検索を行うか、もしくはデータベース内に保有する
全ての情報に対してキーワードが含まれているかを探し
て、このキーワードが含まれているデータ全体の該当項
目数が出力される（Ｓ２３〜Ｓ２５）。

【００６８】そして、Ｓ２６では、キーワードの「該当
項目数はこれで良いか？」が判断され、絞り込みが十分
である場合、この該当項目数の検索結果を表示或いは音
声にて読み上げる（Ｓ２７）。

【００６９】キーワードの該当項目数において、絞り込
みが足りない場合、Ｓ２２に戻り、検索条件を追加して
再検索が行われる。この再検索する場合は、既に画像メ
モリー装置３に保持記憶されている画像情報から、例え
ばレストラン名称が記載された広告上にある別のキーワ
ード（例えば電話番号等）を含む画像を切り出し、この
切り出した文字映像情報を文字テキスト情報として取得
し、この文字テキスト情報を上記文字情報一時記憶装置
８に記憶保持させ、この文字テキストを再検索の絞り込
みキーワードとして追加する。

【００７０】なお、車両外に設置されたデータベースを
用いて検索が行われる場合、取得した画像から得られた
キーワードが、情報機器９から通信によって車両外に設
置されたデータベースに送付され、このキーワードによ
る情報検索を終了した時点で、検索結果が通信にて情報
機器９に送付される。ここで、情報機器９はナビゲーシ
ョンシステムのデータベースと共有して情報を検索、取
得してもよい。この場合、ナビゲーションシステムのデ
ータベースと共有することにより、検索対象の位置や内
容を取得することができる。

【００７１】また、情報機器９がインターネットにアク
セスできる構成を備えても良い。この場合、取得した画
像から得た文字情報をインターネット上にある検索サー
ビスに入力して、検索対象に関連するホームページのア
ドレスを取得し、このホームページを表示する。

【００７２】本実施形態では、情報検索に当たって、操
作者が、画像保持タイミング指定スイッチ４を押すこと
により、画像を取得するタイミングを指定し、タッチパ
ネルディスプレイ２の画面上に表示された画像をタッチ
することにより、文字情報を含む映像部分を切り出す指
示を行うだけでよい。

【００７３】従って、従来のように何度ものステップを
踏んでデータを入力する必要がなく、検索に要する操作
負荷を低減させることができる。

【００７４】カメラ１は、車両に設置され、車両外に出
現する文字情報を含む画像、或いは車両内に出現する文
字情報を含む画像を取得するものであるから、必要な文
字情報を、簡単な操作でリアルタイムに取得できる。

【００７５】タッチパネルディスプレイ２の画面上に表
示された画像内にある文字情報を含む画像部分のみを切
り出し、この切り出した文字映像情報から文字テキスト
情報を認識して、この文字テキストをデータベースのキ
ーワードとして、キーワードに適応する情報を検索、取
得するから、従来のように音声認識、かな漢字変換等の
煩雑な手続きを踏む必要がなくなり、情報の検索、取得
を容易にそして的確に実行することができる。

【００７６】画像情報は既に画像メモリー装置３に保持
してあるから、キーワードを増やして再検索する場合、
例えば、広告上の別のキーワード（電話番号等）を、本
テキスト情報として取得して再検索の際の絞り込み語と
して加えることが容易になる等の効果が得られる。

【００７７】

【発明の効果】本発明では、情報検索に当たり操作負担
を低減すると共にリアルタイムの画像から取得したい情
報を容易、的確に検索、取得できる。

【図面の簡単な説明】

【図１】本発明による車載情報検索機器の一実施形態を
示すブロック図である。

【図２】文字切り出し、文字認識を行う手順を示すフロ
ーチャートである。

【図３】取得した画像を二値化して示す図である。

【図４】映像情報を回転させて示す図である。

【図５】情報検索の手順を示すフローチャートである。

【符号の説明】

１画像取得装置２タッチパネルディスプレイ３画像メモリー装置４画像保持タイミングスイッチ５文字切り出し装置６文字認識装置７文字情報一時記憶装置８情報機器

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号ＦＩテーマコート゛(参考）Ｇ０６Ｋ 9/32 Ｇ０６Ｋ 9/32 Ｇ０６Ｔ 1/00 ３３０Ｇ０６Ｔ 1/00 ３３０ＺＧ０８Ｇ 1/0969 Ｇ０８Ｇ 1/0969 (72)発明者分須昌樹東京都文京区白山５丁目35番２号クラリオン株式会社内Ｆターム(参考） 2F029 AA02 5B029 BB02 CC28 EE04 EE08 5B057 AA16 BA02 CA12 CA16 DA06 DB02 5B075 KK07 NK02 PP04 PP10 PP22 PQ02 PQ04 UU40 5H180 AA01 CC04 EE01 FF32

Claims

【特許請求の範囲】

【請求項１】車両に設置され、車両外に出現する文字
情報を含む画像、或いは車両内に出現する文字情報を含
む画像を取得する画像取得手段と、この画像取得手段で
取得した画像から文字情報を切り出す切り出し手段と、
この切り出した文字情報から文字テキストを認識する文
字認識手段と、この文字認識手段で認識した文字テキス
トを用いてこの文字に関連する情報を検索、取得する手
段とを備えたことを特徴とする車載情報検索機器。
【請求項２】前記画像取得手段で取得した画像を表示
するタッチパネルディスプレイを備え、前記切り出し手
段は前記タッチパネルにタッチ指示を行った場合、タッ
チされた部分の近傍に表示された画像から文字情報を切
り出すことを特徴とする請求項１記載の車載情報検索機
器。
【請求項３】前記画像取得手段で取得した画像を表示
するタッチパネルディスプレイと、画像保持タイミング
指定スイッチとを備え、画像保持タイミング指定スイッ
チにより指定された時にのみ画像情報がタッチパネルデ
ィスプレイに表示されることを特徴とする請求項１又は
２記載の車載情報検索機器。
【請求項４】前記画像保持タイミング指定スイッチに
より指定された場合、画像メモリー装置のメモリーに保
持された画像が、タッチパネルディスプレイに表示され
ることを特徴とする請求項３記載の車載情報検索機器。
【請求項５】前記画像メモリー装置は、前記画像取得
手段で取得した画像を常に上書きし、画像保持タイミン
グ指定スイッチからの指定タイミングが入力された時点
で上書きを中止し、この時点での画像データを保存する
構成を備えることを特徴とする請求項４記載の車載情報
検索機器。
【請求項６】前記画像メモリー装置は、前記画像保持
タイミング指定スイッチの指定タイミングが入力された
時点から画像保持を開始する構成を備えることを特徴と
する請求項４記載の車載情報検索機器。
【請求項７】前記画像取得手段が車両に固定されてい
ることを特徴とする請求項１乃至６のいずれかに記載の
車載情報検索機器。
【請求項８】前記画像取得手段が車両に移動自在に設
置されていることを特徴とする請求項１乃至６のいずれ
かに記載の車載情報検索機器。
【請求項９】車両に設置された画像取得手段によっ
て、車両外に出現する文字情報を含む画像、或いは車両
内に出現する文字情報を含む画像を取得する画像取得過
程と、この画像取得過程で取得した画像から文字情報を
切り出す切り出し過程と、この切り出した文字情報から
文字テキストを認識する文字認識過程と、この文字認識
過程で認識した文字テキストを用いてこの文字に関連す
る情報を検索、取得する過程とを備えたことを特徴とす
る情報検索方法。
【請求項１０】前記画像取得過程で取得した画像をタ
ッチパネルディスプレイに表示する過程を備え、前記切
り出し過程は前記タッチパネルにタッチ指示を行った場
合、タッチされた部分の近傍に表示された画像から文字
情報を切り出すことを特徴とする請求項９記載の情報検
索方法。
【請求項１１】前記画像取得手段が車両に固定されて
いることを特徴とする請求項９又は１０記載の情報検索
方法。
【請求項１２】前記画像取得手段が車両に移動自在に
設置されていることを特徴とする請求項９又は１０記載
の情報検索方法。