JP5045980B2 - 情報伝送システム、移動体の制御装置、移動体の制御方法、及び、プログラム - Google Patents

Description

本発明は、移動規則が設定されたフィールド、例えば交通規則が設定された道路上での利用が可能な情報伝送システム、移動体の制御装置、移動体の制御方法、及び、プログラムに関する。

予め設定された交通規則や道路情報を車両に伝送するシステムとして、ＩＴＳ（Intelligent Transport Systems）が知られている。このＩＴＳとは、最先端の情報通信技術を用いて、人と道路と車両とを情報でネットワークすることにより、交通事故や渋滞などといった道路交通問題の解決を目的に構築する新しい交通システムのことであり、このシステムにより、交通渋滞等によって無駄に費やされていた燃料消費量を大幅に削減することができると期待されている。

そこで、上記のＩＴＳのような新交通システムにおいては、最寄りの道路インフラ（交通信号機等の）から車両に対して、たとえば、信号機の情報（赤から青に変わる残り時間情報等）を送り、車両側で、その残り時間の長短に応じてアイドリングストップを行うべきか否かを判断させることが考えられている。このようにすると、長時間の停車が見込まれる場合にだけ、アイドリングストップを実行するようにできる。その結果、上記の不都合（燃料消費の悪化、発進のもたつき等）を解消できる。

さて、最寄りの道路インフラから車両に対して情報を伝達する方法としては、たとえば、以下のようなものが考えられる。

まず、考えられる第一の方法は、無線電波を利用する方法である。すなわち、交通信号機等に送信機と無線アンテナ（ビーコン）を設置し、そのアンテナからの送信電波を車両に搭載された受信器で受信するという無線電波を用いた情報伝達方法である（例えば特許文献１参照）。

特開２００３−１１８４９８号公報（第５―６頁、図６）

しかしながら、この無線通信による方法では、ビーコンを設置するためのインフラの整備を新たに行う必要がある他、このシステムに対応するために車両自体が特別な受信機を備えなければならないこと、また使用する周波数帯の割り当て、混信を避ける上での対処等で普及に至るまでには様々な問題が予想されるという欠点がある。

本発明はこのような問題点に鑑みてなされたものであり、既に備えられている道路設備や普及している撮像装置を用いることにより、莫大な費用を発生させることなく、さらに混信や干渉にも強い情報伝送システム、移動体の制御装置、移動体の制御方法、及び、プログラムを提供することにある。

請求項１記載の発明は、移動規則が設定されたフィールド上に複数存在する光源と、当該フィールドを移動する移動体とともに移動する撮像装置とからなる情報伝送システムであって、前記光源は、移動規則を取得する取得手段と、この取得手段によって取得された移動規則を、当該光源の輝度を変調するためのデータに符号化する符号化手段と、この符号化手段によって符号化された移動規則に基づいて当該光源の輝度を変調する輝度変調手段とを備え、前記撮像装置は、時系列的に連続して撮像した撮像領域より、前記輝度変調手段により輝度変調された輝度領域を検出する検出手段と、この検出手段によって検出された輝度領域が複数の場合、これらの輝度領域の前記撮像領域に対する大きさ又は前記撮像領域上に存在する位置の少なくとも一方に基づいて、当該撮像装置とこれら輝度領域との距離を把握し、前記移動規則に復号すべき輝度領域を選択する選択手段と、この選択手段によって選択された輝度領域から前記移動規則へ復号する復号手段と、前記検出手段によって検出された輝度領域の前記撮像領域に対する大きさ又は前記撮像領域上に存在する位置の少なくとも一方と、前記復号手段により復号された移動規則と、に基づいて前記移動体の走行の開始及び停止を制御する制御手段とを備えることを特徴とする。
請求項２記載の発明は、上記請求項１記載の発明において、前記移動規則は前記光源が点灯する点灯色の種類に応じて前記移動体の走行の開始及び停止を指示するものであるとともに、時系列を伴って周期的に変化するものであり、前記取得手段が取得する前記移動規則には、この周期的に変化するタイミング情報が含まれることを特徴とする。
請求項３記載の発明は、上記請求項２記載の発明において、前記撮像装置は、前記検出手段によって検出された輝度領域の前記撮像領域に対する大きさ又は前記撮像領域上に存在する位置の少なくとも一方に基づいて、当該撮像装置と前記光源との距離を演算する距離演算手段を更に備え、前記制御手段は、前記復号手段により復号された移動規則と、前記距離演算手段によって演算された当該撮像装置と前記光源との距離とに基づいて、前記移動体の走行の開始及び停止を制御することを特徴とする。
請求項４記載の発明は、上記請求項３記載の発明において、前記撮像装置は、当該撮像装置を伴って移動する移動体が現在走行中か現在停止中かの情報を取得する情報取得手段と、この情報取得手段によって取得された情報と前記距離演算手段によって演算された当該撮像装置と前記光源との距離とに基づいて、前記移動体と前記光源との将来的距離を予測する予測手段とを更に備え、前記制御手段は、前記検出手段によって検出された輝度領域の前記撮像領域に対する大きさ又は前記撮像領域上に存在する位置の少なくとも一方と、前記復号手段により復号された移動規則と、に加え更に前記予測手段によって予測された将来的距離に基づいて前記移動体の走行の開始及び停止を制御することを特徴とする。
請求項５記載の発明は、上記請求項１乃至４の何れかに記載の発明において、前記撮像装置は、前記復号手段により復号された移動規則に基づく情報を表示する表示手段を更に備えることを特徴とする。
請求項６記載の発明は、上記請求項１乃至５の何れかに記載の発明において、前記移動体は前記フィールドを移動するための駆動手段を備え、前記制御手段は、前記駆動手段を制御する駆動制御手段を含むことを特徴とする。
請求項７記載の発明は、撮像手段と、この撮像手段による撮像領域から、移動規則が設定されたフィールドにおける移動規則を変調して発光する光源の輝度領域を検出する検出手段と、この検出手段によって検出された輝度領域が複数の場合、これらの輝度領域の前記撮像領域に対する大きさ又は前記撮像領域上に存在する位置の少なくとも一方に基づいて、自己とこれら輝度領域との距離を把握し、前記移動規則に復号すべき輝度領域を選択する選択手段と、この選択手段によって選択された輝度領域から前記移動規則へ復号する復号手段と、前記検出手段によって検出された輝度領域の前記撮像領域に対する大きさ又は前記撮像領域上に存在する位置の少なくとも一方と、前記復号手段により復号された移動規則と、に基づいて自身が備えられた移動体の走行の開始及び停止を制御する制御手段とを備えることを特徴とする。
請求項８記載の発明は、上記請求項７記載の発明において、前記移動規則は前記光源が点灯する点灯色の種類に応じて前記移動体の走行の開始及び停止を指示するものであるとともに、時系列を伴って周期的に変化するものであり、前記復号手段が復号する前記移動規則には、この周期的に変化するタイミング情報が含まれ、前記検出手段によって検出された輝度領域の前記撮像領域に対する大きさ又は前記撮像領域上に存在する位置の少なくとも一方に基づいて、当該装置と前記光源との距離を演算する距離演算手段を更に備え、 前記制御手段は、前記復号手段により復号された移動規則と、前記距離演算手段によって演算された当該装置と前記光源との距離とに基づいて、前記移動体の走行の開始及び停止を制御することを特徴とする。
請求項９記載の発明は、上記請求項８記載の発明において、当該装置が備えられた移動体が現在走行中か現在停止中かの情報を取得する情報取得手段と、この情報取得手段によって取得された情報と前記距離演算手段によって演算された当該装置と前記光源との距離とに基づいて、前記移動体と前記光源との将来的距離を予測する予測手段とを更に備え、 前記制御手段は、前記検出手段によって検出された輝度領域の前記撮像領域に対する大きさ又は前記撮像領域上に存在する位置の少なくとも一方と、前記復号手段により復号された移動規則と、に加え更に前記予測手段によって予測された将来的距離に基づいて前記移動体の走行の開始及び停止を制御することを特徴とする。
請求項１０記載の発明は、上記請求項７乃至９の何れかに記載の発明において、前記移動体は前記フィールドを移動するための駆動手段を備え、前記制御手段は、前記駆動手段を制御する駆動制御手段を含むことを特徴とする。
請求項１１記載の発明は、上記請求項７乃至１０の何れかに記載の発明において、前記復号手段により復号された移動規則に基づく情報を表示する表示手段を更に備えることを特徴とする。
請求項１２記載の発明は、撮像部の撮像領域から、移動規則が設定されたフィールドにおける移動規則を変調して発光する光源の輝度領域を検出する検出ステップと、この検出ステップにて検出された輝度領域が複数の場合、これらの輝度領域の前記撮像領域に対する大きさ又は前記撮像領域上に存在する位置の少なくとも一方に基づいて、自己とこれら輝度領域との距離を把握し、前記移動規則に復号すべき輝度領域を選択する選択ステップと、この選択ステップにて選択された輝度領域から前記移動規則へ復号する復号ステップと、前記検出ステップにて検出された輝度領域の前記撮像領域に対する大きさ又は前記撮像領域上に存在する位置の少なくとも一方と、前記復号ステップにて復号された移動規則と、に基づいて前記撮像部が備えられた移動体の走行の開始及び停止を制御する制御ステップとを含むことを特徴とする。
請求項１３記載の発明は、コンピュータを、撮像部の撮像領域から、移動規則が設定されたフィールドにおける移動規則を変調して発光する光源の輝度領域を検出する検出手段、この検出手段によって検出された輝度領域が複数の場合、これらの輝度領域の前記撮像領域に対する大きさ又は前記撮像領域上に存在する位置の少なくとも一方に基づいて、自己とこれら輝度領域との距離を把握し、前記移動規則に復号すべき輝度領域を選択する選択手段、この選択手段によって選択された輝度領域から前記移動規則へ復号する復号手段、前記検出手段によって検出された輝度領域の前記撮像領域に対する大きさ又は前記撮像領域上に存在する位置の少なくとも一方と、前記復号手段により復号された移動規則と、に基づいて前記撮像部が備えられた移動体の走行の開始及び停止を制御する制御手段として機能させることを特徴とする。

本発明によれば、既に備えられている交通信号機等の道路設備を利用でき、且つ、車両側の手段にも、広く普及している撮像装置を利用することができ、その結果、莫大な費用を発生させることなく、さらに混信や干渉にも強い情報伝送システム、移動体の制御装置、移動体の制御方法、及び、プログラムを提供することができる。

以下、最良の実施形態を、図面を参照しながら説明する。なお、周知の手法、周知の手順、周知のアーキテクチャおよび周知の回路構成等（以下「周知事項」）についてはその細部にわたる説明を避けるが、これは説明を簡潔にするためであって、これら周知事項のすべてまたは一部を意図的に排除するものではない。

（第１の実施形態）
図１は、第１の実施形態の利用状態を示す概念図である。この図において、移動規則が定められたフィールドとして、例えば交通規則が設定された道路を走行中の移動体、すなわち、車両１の任意位置（フロントウィンドウ上部など）には、進行方向の画像を撮像可能な撮像装置２が取り付けられている。破線で示す範囲は、撮像装置２の撮像画角である。

車両１の進行方向前方には、道路インフラの一つであるＬＥＤ式信号機３０、３１が設置されている。なお、灯数は代表例である。車両用交通信号機の多くは三灯式であるが、右左折や直進等の補助灯を含む多灯式（四灯式など）であってもよい。また、灯火の配列方向も横方向に限らず、たとえば、縦に配列されたものであってもよい。本明細書では横配列の三灯式を例にするが、これは説明の便宜である。

車両１に近いＬＥＤ式信号機３０の各灯具を赤灯３００、黄灯３０１、青灯３０２ということにする。同様に、車両１から遠いＬＥＤ式信号機３１の各灯具を赤灯３００、黄灯３０１、青灯３０２ということにする。なお、図示の例では、車両１に近いＬＥＤ式信号機３０の赤灯３００が点灯し、車両１から遠いＬＥＤ式信号機３１の黄灯３０１が点灯しているものとする。

後述するように、これらの点灯中の灯具（赤灯３００、黄灯３０１）は、見た目に分からない程度のスピードで点滅を繰り返しており、その点滅パターンによって、ＬＥＤ式信号機の名前（あるいは位置座標等そのＬＥＤ式信号機を個別識別できる情報）や現在の点灯色及び点灯残り時間等の信号機情報を送出している。

車両１に搭載された撮像装置２は、後でも詳しく説明するように、ＣＣＤやＣＭＯＳなどの二次元イメージセンサを用いて、撮影画角内の画像を撮像し、その画像に点灯中の灯具（赤灯３００、黄灯３０１）の画像が含まれている場合に、その点滅パターンからＬＥＤ式信号機３０、３１の信号機情報を再生し、その再生情報に従って、たとえば、アイドリングストップ等の車両制御、または、カーナビゲーション制御等に必要な制御情報を生成して出力する。

図２は、ＬＥＤ式信号機３０、３１と撮像装置２を含む全体的なシステム構造図である。この図において、ＬＥＤ式信号機３０、３１は、各々、ＬＥＤ式信号機の名前（あるいは位置座標、交差点名等そのＬＥＤ式信号機を個別識別できる情報）や現在の点灯色及び点灯残り時間等のＬＥＤ式信号機固有の点灯情報を記憶するメモリ３０５と、このメモリ３０５に記憶された点灯情報を読み出して輝度変化パターンを生成する送出情報生成部３０４と光源（ＬＥＤ式信号機３０及び３１の赤灯３００、黄灯３０１、青灯３０２に相当）３００〜３０２とを備える。

メモリ３０５は、ＬＥＤ式信号機の名前（あるいは位置座標、交差点名等そのＬＥＤ式信号機を個別識別できる情報）や現在の点灯色及び点灯残り時間等のＬＥＤ式信号機固有の点灯情報を記憶するが、これらの情報は国土交通省道路局とネットワークを結ぶことにより書き換えるようにしてよい。

送出情報生成部３０４は、まず、１及び０でコード化されたＬＥＤ式信号機固有の点灯情報のｉ番目のビットを取り出し、そのビット値を判定し、論理信号１であれば不図示のパターンデータメモリから第１パターン系列（たとえば、“１１０１０”）を取り出し、論理信号０であればパターンデータメモリから第２パターン系列（たとえば、“００１０１”）を取り出し、これらの第１パターン系列、第２パターン系列を光源に出力する。点灯中の光源は、論理信号１の区間で発光し、論理信号０の区間で消灯するという動作を行い、最終的に時系列的な輝度変化パターンを持つ光Ｐを出力する。

たとえば、送信すべきＬＥＤ式信号機固有の点灯情報が「０１０１１０００・・・・」というビット列でコード化されている場合、
ｉビット＝０
ｉ＋１ビット＝１
ｉ＋２ビット＝０
ｉ＋３ビット＝１
ｉ＋４ビット＝１
ｉ＋５ビット＝０
ｉ＋６ビット＝０
ｉ＋７ビット＝０
となるので、
ｉビット＝第１パターン系列
ｉ＋１ビット＝第２パターン系列
ｉ＋２ビット＝第１パターン系列
ｉ＋３ビット＝第２パターン系列
ｉ＋４ビット＝第２パターン系列
ｉ＋５ビット＝第１パターン系列
ｉ＋６ビット＝第１パターン系列
ｉ＋７ビット＝第１パターン系列
というように第１パターン系列、第２パターン系列を順次出力する。

したがって、ＬＥＤ式信号機固有の点灯情報は、時系列的な輝度変化パターンを持つ光Ｐとして光源３０１〜３０２より出力されることになる。

車両１に搭載された撮像装置２は、全体を制御するＣＰＵ２０、ＣＣＤやＣＭＯＳなどからなる二次元イメージセンサーを含む撮像処理部２１、信号検出／復号処理部２２、応用処理部２３及び運転・走行関連装置２４などを備える。

図３は、ＬＥＤ式信号機３０、３１の光源から送出されるデータフォーマットの一例図である。このデータ４は、現点灯データブロック４１、次点灯ブロック４２、次々点灯データブロック４３を時系列に沿って順次出力される構成となっている。各ブロックは、次点灯ブロック４２を代表例として説明すると、検出用プリアンブル部４１０、順序部４１１、点灯色部４１２、点灯時間部４１３、フラグ部４１４、輝度補正用情報部４１５の六つのサブブロックから構成されている。

図４（ａ）〜（ｃ）は、順序部４１１、点灯色部４１２及び点灯時間部４１３のデータテーブル図である。このテーブルに示すように、順序部４１１に設定されるデータが“００”のときは、そのデータブロックが現点灯データブロック４１であることを示し、“０１”のときは、次点灯データブロック４２であることを示し、“１０”または“１１”のときは、未使用であることを示している。また、点灯色部４１２に設定されるデータについては “０００”のときは赤色点灯、“００１”のときは赤色点滅、“０１０”のときは黄色点灯、“０１１”のときは黄色点滅、“１００”のときは青色点灯、“１０１”のときは青色点滅、“１１０”または“１１１”のときは、そのデータブロックが未使用ブロックであることが設定されている。また、点灯時間部４１３は、現点灯の残り時間（たとえば、０ｘ７ｆであれば残り点灯時間１２７秒または７ｆであれば１２７秒以上）を示している。

ちなみに、「現点灯」、「次点灯」及び「次々点灯」の３つが組みになっているのは、「現在が青色点灯の時に、次の赤色点灯で何秒待つか」まで予測できるようにするためである。また、プリアンブルは、２次元イメージデータの時系列から、目的信号領域を捕捉するためのビットパターンであり、擬似乱数として良好な特性を持つような符号が選択される。本実施形態では、一例として“１１１０１００”の７ビットとしているがこれに限定されない。パターンを長くすれば（７ビット以上にすれば）、微弱信号に対する耐性を強くすることができるが、パターン検出のオーバヘッドが増えるので、微弱信号耐性とオーバヘッドの双方を勘案して適切なパターン長を設定すればよい。

フラグ部４１４は、順序部４１１〜フラグ部４１４の並びの中にプリアンブル部４１０のデータと一致することがあり得るため、これを排除するために設けられている。プリアンブル部４１０のデータと、順序部４１１〜フラグ部４１４のデータとが一致してしまった場合、フラグ部４１４に“１”を立てることにより、プリアンブルパターンと一致しないようにしている。

また、最後の輝度補正用情報部４１５は、上記のデータフォーマットにより輝度変調され、点滅する場合において、積分輝度のちらつきなどを排除することを目的とした１／０バランス（Ｏｎ／Ｏｆｆバランス）のために付加されるビットである。これにより、データブロックごとの輝度積分値を一定に制御する。

この輝度補正パターンは、「１の個数並び」、「０の個数並び」という１／０境界位置が変化するだけの単純なパターンである。

この輝度補正ビットにより、ＬＥＤ式信号機の出力は１／２Ｄｕｔｙのパルス駆動になったときに、通常の輝度レベルを満たせばよいように調整される。

図５は、車両１に設けられた撮像装置２の構成図である。この図において、撮像装置２の撮像部２１１は、たとえば、ＣＣＤやＣＭＯＳなどのイメージセンサーで構成されており、光学レンズ部２１２を介して取り込まれた被写体の像を電気的なフレーム画像信号に変換し、キャプチャ画像クロック信号ＰＣＫに同期した周期でキャプチャ画像バッファ２１３に出力する。ＣＰＵ２０は、計時部２０１を備えており、撮像装置２の全体動作を制御するものである。その制御内容の詳細としては、キャプチャ画像バッファ２１３に取り込まれたフレーム画像をそのまま表示バッファ２１４に送り、液晶ディスプレイ２１５等の表示部に表示させる処理や、表示バッファ２１４に取り込まれた画像を不図示の画像メモリにキャプチャする処理などを行う。また、特に以下の処理を行う点に特徴がある。

すなわち、ＣＰＵ２０は、タイミングジェネレータ２１０からのキャプチャクロック信号ＰＣＫに同期してキャプチャ画像バッファ２１３に取り込まれたフレーム画像を、そのフレーム画像ごとに、フレーム時系列バッファ２２０の各プレーンに順次に格納する。ここで、フレーム時系列バッファ２２０は、いずれも１枚のフレーム画像のサイズに相当する記憶容量を持つ第１プレーンから第ｎプレーンまでを備えており、プレーン数ｎは少なくとも、ＬＥＤ式信号機３０、３１におけるパターン系列のビット数Ｎに対応する。たとえば、前記の例示では第１及び第２のパターン系列のビット数が５ビット（Ｎ＝５）であるため、フレーム時系列バッファ２２０のプレーン数ｎは少なくとも第１プレーンから第５プレーンまでの５プレーンとなる。以下、説明の便宜上、各パターン系列のビット数Ｎを５ビットにするとともにプレーン数ｎも５とすることにする。

第１プレーンから第５プレーンへのフレーム画像の書き込み順は以下の通りである。
１番目のフレーム画像＝第１プレーン
２番目のフレーム画像＝第２プレーン
３番目のフレーム画像＝第３プレーン
４番目のフレーム画像＝第４プレーン
５番目のフレーム画像＝第５プレーン
６番目のフレーム画像＝第１プレーン
７番目のフレーム画像＝第２プレーン
８番目のフレーム画像＝第３プレーン
９番目のフレーム画像＝第４プレーン
１０番目のフレーム画像＝第５プレーン

このように順次第１プレーンから第５プレーンまでの書き込み動作をサイクリックに行う。

ＣＰＵ２０は、各プレーンへの書き込み順を制御（実際はバッファポインタｎの値を制御）するとともに、並行して、各プレーンに書き込まれたフレーム画像の中から時系列的な輝度変化パターンを持つ画素領域を抽出し、その輝度変化パターンを二値化等作業用バッファ２２２で二値化したり、相関度評価画像バッファ２２１で相関度評価したりする処理、及び、その二値化されたデータと、パターンデータメモリ２２３に保持されている基準パターン系列とを比較し、上記第１のパターン系列と一致した場合には論理信号１を発生し、一方、上記第２のパターン系列と一致した場合には論理信号０を発生して、それらの論理信号を、更新要求リスト２２４０、リストエントリ２２４１及びビットバッファ２２４２からなるデータリストメモリ２２４に格納するという処理を実行する。また、撮像装置２の液晶ディスプレイ２１５は、ＬＥＤ式信号機３０、３１による発光領域（光源）を含めた被写体像を表示し、さらに、必要であれば、その表示領域の特定部分にこの発光領域に関する情報を吹き出しなどの図形を模してオーバラップ表示する。なお、基準画像バッファ２２５は、車両１の走行振動に伴う撮影ブレ補正のためのものである。すなわち、フレーム時系列バッファ２２０に格納されている各フレーム画像と基準画像バッファ２２５に保存されている基準フレーム画像との間の動き量をなくす方向に各フレーム画像を水平移動することにより、車両１の走行振動に伴う撮影ブレを補正するためのものである。

以上の各部は、図２の構成における撮像処理部２１及び信号検出／復号処理部２２に相当する。本実施形態では、これらの各部に加えて、さらに、動き系列ベクトルバッファ２２６、応用処理部２３及び運転・走行関連装置２４を含む。

応用処理部２３は、撮像処理部２１及び信号検出／復号処理部２２によって再生された情報、すなわち、ＬＥＤ式信号機３０、３１の信号機情報（現在の点灯色や点灯残り時間等の情報並びに必要であれば信号機を個別識別するための情報）に従って、たとえば、アイドリングストップ等の車両制御、または、カーナビゲーション制御等に必要な制御情報を生成して、運転・走行関連装置２４に出力する。

運転・走行関連装置２４は、たとえば、エンジン等の駆動系制御装置２４０、ブレーキ等の制動系制御装置２４１、車速度や操舵情報の検出装置２４２、及び、表示や発音等による運転者への報知装置２４３などを含み、これら各装置からの所要の信号を応用処理部２３に出力しつつ、応用処理部２３からの情報を取り込み、その情報に従って、たとえば、アイドリングストップ等の車両制御、または、カーナビゲーション制御等を実行する。

図６は、車両１の運転席から見た進行方向視界図である。この図において、フロントウィンドウ１１を透して進行方向の視界が開けており、この視界内には、進行方向前方直近の交差点５０と遠方の交差点５１及びそれらの交差点に設置された二つの信号機３０、３１が入っている。破線で示す矩形１１０は、この車両に設けられている撮像装置２の撮影範囲を表しており、この撮影範囲には、少なくとも、二つのＬＥＤ式信号機３０、３１の各光源（ＬＥＤ式信号機３０及び３１の赤灯３００、黄灯３０１、青灯３０２）が含まれている。

冒頭の従来技術で説明したフォトダイオードベースの受信器による変調信号の検出限界は高々１０ｍ〜２０ｍ程度であったが、本実施形態の撮像装置２では、それよりも遠距離（１００ｍ程度）の検出性能を得ることができる。このことについて説明する。

今、撮像装置２の撮影仰角（図１において破線で記された範囲）を２２度とする。この仰角では、例えば１０ｍ幅道路の停止線で停止中に、その道路の対面側に位置する高さ５ｍのＬＥＤ式信号機を捉えられることができる角度に相当する。撮像装置２の検出範囲１１０が検出角度で２２度×２２度となるように光学系を調整する。また、センサＳ／Ｎ比とこの画角にあわせて、適切なレンズの明るさ（Ｆナンバー）を考慮する。

次に、センサ（撮像部２１１のＣＣＤやＣＭＯＳ）の解像度であるが、高速通信のためには、本方式のビットレートを上げることが望ましく、それには、ＣＣＤやＣＭＯＳの全画素読み出しの周期を早くすることが効果的である。なおかつ、二次元センサが捉えた画像を人に見せる必要がなく、画像の質は問われない。そこで、実用的な改造を満たしながらもフレームレートを十分早くできるように、比較的低画素が望ましい。

たとえば、現在一般的なＶＧＡ（６４０×４８０ドット）のセンサでは、読み出し速度３０ｆｐｓ（フレーム／秒）は一般的に達成されている。これらの限界は主にカメラからのデータ転送の帯域幅にあるあるため、ほぼこの読み出し帯域幅を現在でも達成容易な速度であるとして、６４０×４８０×３０＝９２１６０００ドット／秒となる。

このドットデータ読み出しの帯域幅を、６０×６０ドットのセンサに対して利用すれば、９２１６０００／（６０×６０）≒２５６０ｆｐｓまでのデータが読み出せるということになる。本実施の形態においてはフレームレートを２５００ｆｐｓ、シャッタ速度を０．４ミリ秒として動作するものとする。

図７は、撮像部２１１と赤灯３００、黄灯３０１、青灯３０２との距離がそれぞれＡ、Ｂ、Ｃであったときの撮像部２１１にて撮像される赤灯３００、黄灯３０１、青灯３０２の輝度変調領域を示すものである。同図において、距離Ａを１１ｍ、撮像部２１１からみた赤灯３００、黄灯３０１、青灯３０２の水平からの仰角αが１．５６°とした場合、そのときに撮像される赤灯３００、黄灯３０１、青灯３０２は、直径ａ（約４．２ドット）の範囲２１１０で取得することができる。距離Ｂを５０ｍ、撮像部２１１からみた赤灯３００、黄灯３０１、青灯３０２の水平からの仰角βが０．３４°とした場合、そのときに撮像される赤灯３００、黄灯３０１、青灯３０２は、直径ｂ（約０．９ドット）の範囲２１１１で取得することができる。また、距離Ｃを１００ｍ、撮像部２１１からみた赤灯３００、黄灯３０１、青灯３０２の水平からの仰角γが０．１７°とした場合、そのときに撮像される赤灯３００、黄灯３０１、青灯３０２は、直径ｃ（約０．５ドット）の範囲２１１２で取得することができる。

すなわち、この結果によれば、車両１とＬＥＤ式信号機３０，３１との距離を大まかに把握することもできるので、例えば、ＬＥＤ式信号機３０，３１から、そのＬＥＤ式信号機の進行方向にある車両停止線上における、輝度変調領域が撮像領域に占める割合や位置に関する情報を変調して赤灯３００、黄灯３０１、青灯３０２を発光させるようにすると、車両１とＬＥＤ式信号機３０，３１との将来的な位置関係を車両１側で予測することも可能である。

図８は、図１のＬＥＤ式信号機３０、３１における赤灯３００、黄灯３０１、青灯３０２の発光制御フローを示す図である。このフローにおいては、まず、データブロック４（図３における現点灯データブロック４１、次点灯データブロック４２、次々点灯データブロック４３）に対応する情報をメモリ３０５から取り出し（ステップＳ１）、図３の順序部４１１、点灯色部４１２、点灯時間部４１３の各サブブロックデータを生成する（ステップＳ２）。

次いで、これらのサブブロックのビットパターン列が、検出用プリアンブル部４１０のビットパターン列のプリアンブルパターンと同一のビットパターンを含むか否かを判定し（ステップＳ３）、含んでいる場合は、検出用プリアンブル部４１０のビットパターン列のプリアンブルパターンを“１１１０１００”から“１０１０１０１”に変更し（ステップＳ４）、含んでいない場合は、フラグ部４１４のビットデータを０にする（ステップＳ５）。

次いで、このプリアンブルパターンをサブブロックの先頭に付加し（ステップＳ６）、順序部４１１、点灯色部４１２、点灯時間部４１３、及び、フラグ部４１４からなるビットパターン列の“１”、“０”のバランスを計算して、輝度補正用情報部４１５に設定されるビットパターンを生成する（ステップＳ７）。

次いで、出力キューの空きを判定し（ステップＳ８）、空きでなければ空きになるまで待機すると共に、空きがあれば、現点灯の発光駆動キューへ出力（ステップＳ８）した後、再びステップＳ１以降を繰り返す。

これにより、ＬＥＤ式信号機３０、３１の赤灯３００、黄灯３０１、青灯３０２から送信されるデータフォーマット（図３参照）の１に“点灯”を、ビット０に“消灯”を対応させた光Ｐが送出される。

図９は、アイドリングストップ処理のフローチャートを示す図である。このフローチャートは、車速０（つまり、車両１においてエンジンは駆動していて停車状態）を、図５の運転・走行関連装置２４のエンジン等駆動系装置２４０、車速度・操舵情報２４２からの情報が入力されることにより検知してフローチャートを開始する。まず、撮像部２１１にて撮像されたイメージを時系列的に連続して読み出し、もっとも距離の近いＬＥＤ式信号機の光源（赤灯３００、黄灯３０１、青灯３０２）に対応する輝度変調領域を取り出す（ステップＳ１０）。

図１０は、輝度変調領域の取り出し概念図である。この図において、（ａ）に示すように、撮影画像２１１３にいくつかのＬＥＤ式信号機画像３０〜３２が含まれている場合、路面が平坦かつ直線で、且つ、各ＬＥＤ式信号機の高さが同じであることを、図５の運転・走行関連装置２４のエンジン等駆動系装置２４０、車速度・操舵情報２４２からの情報から入手する（例えば、エンジンへの負担と車速度・操舵履歴とから判断する）。この条件においては、最も近い位置のＬＥＤ式信号機は、撮影画像２１１３の一番上に位置するＬＥＤ式信号機３０となる。したがって、（ｂ）に示すような輝度変調領域を抽出した画像２１１４においては、ＬＥＤ式信号機画像３０の光源に対応する輝度変調領域が２１１５、ＬＥＤ式信号機画像３１の光源に対応する輝度変調領域が２１１６となり、結果として、ＬＥＤ式信号機画像３０が、取り出すべき輝度変調領域となる。

次いで、この輝度変調領域から受信される輝度変化を連続撮像することにより、図３のデータフォーマットに対応するビットパターン列を取得、対応するデータフォーマットに復号し、この復号されたデータフォーマットに含まれる点灯色部４１２に設定されているビットパターンより、当該光源が赤灯３００かどうか判定する（ステップＳ１１）。赤灯３００でなければ、エンジンを定常処理（エンジンを駆動させた状態）に進み（ステップＳ１９）、赤灯３００であれば、点灯時間部４１３に設定されたビットパターンを読み込むことにより、赤灯３００の点灯残り時間が第１の所定時間（たとえば、３０秒）以上であるか否かを判定する。赤灯３００の点灯残り時間が第１の所定時間を越えない場合は、定常処理（ステップＳ１９）に進み、一方、赤灯３００の点灯残り時間が第１の所定時間を越える場合は、アイドリングストップを行うために以下の処理を実行する。

すなわち、音や表示によって運転者へアイドリングストップを開始する旨の警告を発し（ステップＳ１３）、アイドリングストップを実行する（ステップＳ１４）。なお、このとき、必要に応じてギヤ位置をニュートラルや発進用ギヤ位置に入れたり、また、サイドブレーキを効かせたりしてもよい。

次に、赤灯３００の点灯残り時間が第２の所定時間（たとえば５秒）になったか否かの判定（ステップＳ１５）を行い、この残り時間が第２の所定時間を下回ったときには、運転者への告知を行うと共に、エンジンを再始動（ステップＳ１６）してから定常処理（ステップＳ１９）に進む。

以上の説明では、アイドリングストップへの適用を例にしたが、これに限定されない。たとえば、カーナビゲーションに適用してもよい。

図１１は、カーナビゲーションシステムへの適用例を示す図である。この図において、車両１のダッシュボードには図５の液晶ディスプレイ２１５として、カーナビゲーションのディスプレイを対応させており、そのディスプレイには、撮像装置２で撮影された車両１の進行方向前方画像２１６と共に、同画像に含まれるＬＥＤ式信号機３０の光源（青灯３０２）に対応する輝度変調領域からの情報が所定のエリア２１７に文字（たとえば“残り４秒”）で表示されている。

このように、アイドリングストップのみならず、カーナビゲーションのディスプレイ装置３５を利用して、ＬＥＤ式信号機からの情報を視覚化して表示することにより、運転者に対して早期の発進準備態勢をとらせるようにでき、もたつきのないスムーズな発進を促して、交通の円滑な流れを促進することができる。

以上のとおりであるから、本実施形態によれば、以下の効果を得ることができる。
（１）最寄りのＬＥＤ式信号機からの情報に従って、車両が停止すべき時間を正確に把握し、アイドリングストップを自動的または半自動的に行うことができるようになる。このため、機械的な条件（サイドブレーキを引いて停止した等）でアイドリングストップを行った場合のような、不適切なアイドリングストップ（とそれに伴う再始動）による環境への負担（ＣＯ２排出など）軽減並びにバッテリ等の車両への負担を低減することができる。

（２）半自動または自動でアイドリングストップを行わない場合でも、運転者に的確にアイドリングストップの判断情報を提示することができる。

（３）半自動や自動で再始動を行わない場合でも、的確にユーザにエンジン再始動の情報を提示できる。

（４）ＬＥＤ式信号機からの情報の送信を信号灯光源の輝度変化を伴う発光、この情報の受信を撮像デバイスによる撮像で実現しているので、電波による送受信において指摘される混信や干渉の心配が無く、複数のＬＥＤ式信号機からの情報をも混信なく捕捉・弁別することができる。

なお、以上の実施形態に限定されることなく、その技術思想の範囲内において様々な発展例や変形例を含むことはもちろんであり、たとえば、以下のようにしてもよい。

（第２の実施形態：検出範囲の異なるセンサの組み合わせ）
図１２は、第２の実施形態の概念図である。この第２の実施形態では、上下に配置された二つの撮像部６１、６２を備え、これら二つの撮像部６１、６２の合成水平・垂直画角を上記の実施形態と同様の２２度×２２度としている。上に位置する撮像部６１の水平・垂直画角は２０度×１２度（６０ドット×２０ドットに相当）であり、下に位置する撮像部６２の水平・垂直画角は１０度×１０度（５０ドット×５０ドットに相当）である。上に位置する撮像部６１の検出範囲６１０にＬＥＤ式信号機３０が入り、下に位置する撮像部６２の検出範囲６２０にＬＥＤ式信号機３１が入るようになっている。この構成の場合、特に中央部（下に位置するセンサ６２の検出範囲６２０）は１０度×１０度で前記の実施形態と同じ精細度なら、およそ、３０×３０ドットになるところを、５０ドット×５０ドットのように細かくしている。これで、中央部のドット被覆の角度は、およそ１．７倍、つまり、被覆面積の細かさとしては２．７倍になり、その分限界距離が伸びることになる。なおかつ、処理すべきドット数としてみると、６０×２０＋５０×５０＝３，７００であり、６０×６０＝３，６００とほとんど同じである。

なお、個々の検出画像の一座標は、両者の撮像部のドット位置を算出後、全体の統一の二次元座標系に変換する手段を持ち、統一的な位置関係に直される。

（第３の実施形態：撮像センサのステレオ化による距離情報の併用）
また、距離について、前記の実施形態では、検出領域の上側＝より近いＬＥＤ式信号機という処理で行っていたが、道路の起伏によっては誤検出もありうる。また、ＬＥＤ式信号機の運行情報をもとにした最適条件は、距離が正確にわかれば、より最適な運転支援が可能になる。

図１３は、第３の実施形態の概念図である。この第３の実施形態では、演算装置７０、第１撮像部７１、及び、第２撮像部７２用いてステレオ視処理を行うことで、ＬＥＤ式信号機３０、３１までの正確な距離を算出できるようにしている。これにより、停止時のアイドリングストップだけでなく、ＬＥＤ式信号機３０、３１までの距離と点灯タイミングを考慮した最適な運転制御、または運転参考情報の提示が可能になる。

図１４は、第３の実施の形態の車両１に設けられた演算装置７０、第１撮像部７１、及び、第２撮像部７２の接続及び回路構成図である。上記１の実施の形態と同じ処理を行う回路部については同じ番号を付しその説明は省略するが、同図において、第１撮像部７１の撮像部７１１は、たとえば、ＣＣＤやＣＭＯＳなどのイメージセンサーで構成されており、光学レンズ部７１２を介して取り込まれた被写体の像を電気的なフレーム画像信号に変換し、キャプチャ画像クロック信号ＰＣＫ１に同期した周期でキャプチャ画像バッファ７１３に出力する。また、タイミングジェネレータ２１０からのキャプチャクロック信号ＰＣＫ１に同期したＣＰＵ２００からの制御に基づいて、キャプチャ画像バッファ７１３に取り込まれたフレーム画像を、そのフレーム画像ごとに、フレーム時系列バッファ７１５の各プレーンに順次に格納する。

更にＣＰＵ２００は、各プレーンに書き込まれたフレーム画像の中から時系列的な輝度変化パターンを持つ画素領域を抽出し、その輝度変化パターンを二値化等作業用バッファ７１７で二値化したり、相関度評価画像バッファ７１６で相関度評価したりする処理、及び、その二値化されたデータと、パターンデータメモリ２２３に保持されている基準パターン系列とを比較し、上記第１のパターン系列と一致した場合には論理信号１を発生し、一方、上記第２のパターン系列と一致した場合には論理信号０を発生して、それらの論理信号を、更新要求リスト７１８１、リストエントリ７１８２及びビットバッファ７１８３からなるデータリストメモリ７１８に格納するという処理を実行する。

第２の撮像部７２の撮像部７１２についても動作は上記第１の撮像部７１と同様である。ただし処理については、タイミングジェネレータ２１０からのキャプチャクロック信号ＰＣＫ２に同期し、上記第１の撮像部７１と独立して行われる。

距離演算部２０２は上記キャプチャ画像バッファ７１３と８１３、または、フレーム画像バッファ７１５と８１５、または、二値化作業バッファ７１６と８１６、もしくは、動きベクトル系バッファ７１９と８１９に一時記憶された画像（プレーン）を合成するバッファを内蔵し、光源（青灯３０２〜赤灯３００における点灯している光源）を捕らえた輝度変調領域の互いの中心位置から、車両１とＬＥＤ式信号機３０、３１までの距離を演算する回路部である。

図１５は距離演算部２０２の処理内容を説明するものであり、（ａ）は、光源までの距離がかなりあるケース、（ｂ）は、光源までの距離があまりないケースを例示するものである。（ａ）において、それぞれの撮像部７１１、８１１で捕らえた光源３００〜３０２は同じ光源であることが送信されたデータフォーマットから判別される。その際、同時にこれらの光源がキャプチャされた画像全体において中心に近い位置にあることが、合成された画像２０２において互いの中心位置間の距離、すなわち視差Ｌ１から判定される。

一方（ｂ）においては、光源３００〜３０２はキャプチャされた画像全体において中心から遠く、合成された画像２０２において互いの中心位置間の距離、すなわち視差Ｌ２が上記Ｌ１よりも距離があることから判定される。

なお、車両１とＬＥＤ式信号機３０、３１までの距離を演算するケースにおいては、この他
（ア）運転・走行関連装置２４から取得した情報（移動しているか、あるいは、停止しているか）と光源とが連動して動くか否かで、道路上に設置された指標（ＬＥＤ式信号機３０、３１）の光源か、もしくは、前方車両のブレーキランプ、ハザードランプかを判断する。
（イ）信号機の光源の直径は規格上、サイズが統一されているので、上記の図第１の実施の形態（図７）の処理内容を応用し、デフォルトでＣＰＵ２００に記憶された正規の信号機光源の直径と、撮像部７１１、７１２で捕らえた光源直径とを比較する。
等、様々な要因を考慮させることで演算することができるので、これらの情報を総合的に勘案して車両１とＬＥＤ式信号機３０、３１までの距離を演算する。

図１６は、第３の実施形態の処理フローを示す図である。このフローでは、まず、撮像部７１、７２がＬＥＤ式信号機の光源に対応する輝度変調領域を検出することでスタートする。そして、上記図１４、図１５を用いて詳述した手法で、距離演算部２０２にて２つの撮像部７１、７２の視差より、ＬＥＤ式信号機との距離算出、運転・走行関連装置２４から取得した現走行速度からＬＥＤ式信号機への到達時間予測を行う（ステップＳ２０）。次いで、到達予測時間に所定のマージンを加えた時間と、本青灯の残り時間とを比較し、本青灯の残り時間が第３の所定時間以上であればフローを終了する一方、本青灯の残り時間が第３の所定時間以下であれば、停止が近いことを運転者へ告知し（ステップＳ２２）、運転者の操作の有無判定（ステップＳ２３）を経て、運転者の操作が無い場合は、運転・走行関連装置２４のエンジン等駆動系装置２４０、制御系装２４２へ制御（ステップＳ２４）を行った後、フローを終了する。

このようにすると、前方のＬＥＤ式信号機について赤灯点灯までの時間を予測することができ、自動的なクルーズコントロールができるようになる。

（第４の実施形態：ナビゲーションルートの動的変更への適用）
また、ナビゲーション経路中のかなり先の信号機で長い停止が予想される場合には、その信号への到達距離（到達時間）を勘案して、選択可能な別の経路があれば、その経路へ動的にルート変更するようにしてもよい。

図１７は、第４の実施形態を示す図である。なお、第４の実施の形態においては、車両１は、上記第３の実施の形態にて説明したシステム（演算装置７０、撮像部７１、及び、７２）を搭載しているものとする。同図において、車両１の本来の進行ルート５３には、二つのＬＥＤ式信号機３０、３１が設置されており、ＬＥＤ式信号機３０を車両１の撮像部７１、７２がこのＬＥＤ式信号機３０が撮像すると、そのデータフォーマット（点灯色部４１２、点灯時間部４１３）から「青灯３０２点灯、残り時間１０秒・・・・」という情報が同時に検出され、同時に、ＬＥＤ式信号機３１についても、そのデータフォーマット（点灯色部４１２、点灯時間部４１３）から「青灯３０２点灯、残り時間５秒・・・・」という情報が同時に検出されたとする。この場合、車両１に搭載された撮像装置７１、７２は、検出結果から「ＬＥＤ式信号機３１への到達が１１秒後で且つ同信号機での待ち時間が２９秒である」ことを予測でき、この場合、車両１の本来の進行ルート４７の迂回ルート５０が存在するときには、この迂回ルート５０への変更を案内することができる。

図１８は、第４の実施形態の具体的な動作を示すフローチャートである。このフローチャートにおいては、車両１に搭載された演算装置７０の応用処理部２３はナビゲーションシステムを内蔵し、当初のルートとして、上記図１７におけるルート５３が設定されているものとする。まず、上記図１７において、ＬＥＤ式信号機３１の光源を車両１の撮像部７１、７２が捕捉すると、演算装置７０の距離演算部２０２は、撮像部７１、７２で捕らえた画像における視差より、その捕捉した時点でのＬＥＤ式信号機３１までの距離を演算する（ステップＳ３０）。

次にＣＰＵ２００は、運転・走行関連装置２４から情報を取得することにより、その捕捉した時点での、ＬＥＤ式信号機３１に到達する到達時間Ｔ１を予測し（ステップＳ３１）、一方、ＬＥＤ式信号機３１の光源（輝度変調領域）であるところの青灯３０２〜赤灯３００に含まれている点灯色部４１２、点灯時間部４１３のデータから、その点灯色で点灯維持される点灯残り時間Ｔ２を取得する（ステップＳ３２）。そして、この捕捉した光源が青灯３０２か否か判断する（ステップＳ３３）。青灯３０２の点灯であると判断した場合、この青灯３０２の点灯残り時間Ｔ２と到達時間Ｔ１とを比較し（ステップＳ３４）、点灯残り時間Ｔ２が到達時間Ｔ１よりも短い場合は、車両１がＬＥＤ式信号機３１に到達する頃には黄灯３０１、もしくは赤灯３００が点灯することになるので、次のステップＳ３６に移行するが、点灯残り時間Ｔ２が到達時間Ｔ１よりも長い場合は、到達当初のルートでナビゲート出力する（ステップＳ４６）。

一方、ステップＳ３３において、青灯３０２の点灯でないと判断した場合は、黄灯３０１、赤灯３００であるため、点灯残り時間Ｔ２と到達時間Ｔ１とを比較し（ステップＳ３５）、点灯残り時間Ｔ２が到達時間Ｔ１よりも十分短い場合は、車両１がＬＥＤ式信号機３１に到達する頃には青灯３０２が点灯することになるので、次のステップＳ３６に移行するが、点灯残り時間Ｔ２が到達時間Ｔ１よりも十分長い場合は、到達当初のルートでナビゲート出力する（ステップＳ４６）。

ステップＳ３６は、車両１がＬＥＤ式信号機３１に到達する時点で車両１が「信号待ち状態」となることが予測される場合の処理を示すものである。この場合、演算装置７０は、ＬＥＤ式信号機３１の光源よりも更に大きい（面積の広い）変調領域、すなわち信号機光源を捕捉したか否かを判断する。すなわちこの判断は、図１７を用いて説明すると、ＬＥＤ式信号機３１の前のＬＥＤ式信号機３０を捕捉したか否かを示すものである。

ステップＳ３０〜Ｓ３５の処理によるＬＥＤ式信号機の光源捕捉の後（もしくはほぼ同時）に更に大きい（面積の広い）光源捕捉した場合は、すなわち、上記図１７において、ＬＥＤ式信号機３０の光源を車両１の撮像部７１、７２が捕捉すると、演算装置７０の距離演算部２０２は、撮像部７１、７２で捕らえた画像における視差より、その捕捉した時点でのＬＥＤ式信号機３０までの距離を演算する（ステップＳ３７）。

次にＣＰＵ２００は、運転・走行関連装置２４から情報を取得することにより、その捕捉した時点での、ＬＥＤ式信号機３０に到達する到達時間Ｔ３を予測し（ステップＳ３８）、一方、ＬＥＤ式信号機３０の光源（輝度変調領域）であるところの青灯３０２〜赤灯３００に含まれている点灯色部４１２、点灯時間部４１３のデータから、その点灯色で点灯維持される点灯残り時間Ｔ４を取得する（ステップＳ３９）。そして、この捕捉した光源が青灯３０２か否か判断する（ステップＳ４０）。青灯３０２の点灯であると判断した場合、この青灯３０２の点灯残り時間Ｔ４と到達時間Ｔ３とを比較し（ステップＳ４１）、点灯残り時間Ｔ４が到達時間Ｔ３よりも短い場合は、車両１がＬＥＤ式信号機３０に到達する頃には黄灯３０１、もしくは赤灯３００が点灯することになるので、迂回ルートは無いものと判断し、到達当初のルートでナビゲート出力する（ステップＳ４６）。逆に点灯残り時間Ｔ４が到達時間Ｔ３よりも長い場合は、ＬＥＤ式信号機３０に到達した場合であっても、当初のルートで直進せずに、迂回ルートを走行できる可能性があることから、ナビゲーションシステムに問い合わせ、道路情報の取得処理を行う（ステップＳ４３）。

一方、ステップＳ４０において、青灯３０２の点灯でないと判断した場合は、黄灯３０１、もしくは、赤灯３００であるため、点灯残り時間Ｔ４と到達時間Ｔ３とを比較し（ステップＳ４２）、点灯残り時間Ｔ４が到達時間Ｔ３よりも十分長い場合は、車両１がＬＥＤ式信号機３０に到達しても赤灯３００が点灯することになるので、迂回ルートは無いものと判断し、到達当初のルートでナビゲート出力する（ステップＳ４６）。逆に、点灯残り時間Ｔ４が到達時間Ｔ３よりも短い場合は、車両１がＬＥＤ式信号機３０に到達した時点で青灯３０２が点灯することになるので、当初のルートで直進せずに、迂回ルートを走行できる可能性があることから、ナビゲーションシステムに問い合わせ、道路情報の取得処理を行う（ステップＳ４３）。

ステップＳ４３にて道路情報の取得処理を行い、迂回ルートが存在する場合、すなわち図１７においてルート５４が存在する場合は、例えば、液晶ディスプレイ２１５に出力する等により迂回ルートがあることをドライバーに知らせる（ステップＳ４５）。

このように、第４の実施の形態によれば、ナビゲーション経路中のかなり先の信号機で長い停止が予想されるときに、その信号への到達距離（到達時間）を勘案し、選択可能な別の経路（迂回ルート）があれば、その経路へのルート変更を通知することができる。

（第５の実施形態）
また、以上の各実施形態では、ＬＥＤ式信号機の光源の輝度変化を車両１の撮像装置２、７１、７２に伝達するように構成しているが、これに限らず、たとえば、車両間での通信に適用して安全走行のための情報取得や車両の制御を行うようにしてもよい。本第５の実施形態では、例えば、自己の車両の前方の車両が制動をかけ、これによりブレーキランプが点灯した場合、その点灯されたブレーキランプの輝度変調領域を検出することにより、自己の車両における報知内容に反映させる例を挙げる。

図１９は、第５の実施形態の概念図である。この図において、今、自己の車両１の前方に遠近２台の車両７、８が走行しており、自車の近くに位置する車両７は隣接車線５５を走行中で、自車の遠方に位置する車両８は自車の走行車線５６を走行中であるものとする。

このとき、これら二台の車両７、８のブレーキランプ７０１、８０１が点灯したとすると、車両１を運転するドライバーは、ブレーキランプ７０１、８０１の点灯を目視しただけでは、それが緊急制動によるものか、減速によるものかが区別できないが、二台の車両７、８のブレーキランプ７０１、８０１にＬＥＤ光源を用いると共に、それら二台のドライバーによる車両７、８のブレーキの踏み込み速度や強さをデータに変換しブレーキランプ７０１、８０１の点灯を輝度変調させ、一方、車両１では撮像装置７１、７２でブレーキランプ７０１、８０１を撮像することによりそのブレーキの踏み込み速度や強さを取得し、報知する場合を以下に詳述する。

図２０は、第５の実施形態における車両７、８で処理されるブレーキランプ７０１、８０１の点灯処理のフローチャートを示す図である。
図２１は、車両１で処理される制御フローチャートを示す図である。
まず、図２０のブレーキランプ７０１、８０１の点灯処理のフローチャートにおいては、車両７、または８のドライバーのブレーキ操作を検出することにより処理がスタートする。この時、ブレーキ踏圧を符号化し、変調データとする（ステップＳ５０）、そして、この変調されたデータでブレーキランプを点灯するよう制御し（ステップ５１）、通常処理に復帰する。

一方、図２１にて示すように車両１の制御フローチャートは、車両７、もしくは８のブレーキランプ７０１、または８０１が点灯し、この点灯した光源を撮像部７１、７２にて捕捉して変調データを取得することによりスタートする。このとき、車両１とブレーキランプ７０１、または、８０１と車両１との距離を第４の実施の形態で詳述したように視差に基づいて演算し（ステップＳ６０）、同時に、図２にて送信されたブレーキ踏圧や、運転・走行関連装置２４から取得した情報に基づいて、光源捕捉した時点で車両７、もしくは８と車両１とが接触するか否か、また接触する場合にはその時間を予測し（ステップＳ６１）、その予測結果を出力して（ステップＳ６２）、通常処理に復帰する。

なお、ステップＳ６２において出力される予測結果とは、例えば、
（カ）長距離での急ブレーキの場合には、単に運転者への告知にとどめる。
（キ）中距離で中程度のブレーキまたは隣接車線での急ブレーキの場合には、ドライバーへの告知に加えて、運転・走行関連装置２４への加速の抑制を行う。
（ク）弱いブレーキ踏圧であるが車間距離が短い、または、強いブレーキ踏圧だが、車間距離が比較的開いている場合、ドライバーへの告知と共に運転・走行関連装置２４に対し強制制動を行う。
等が考えられるが、これらは道路の状況や走行状態により様々なケースが考えられるので、本実施の形態では省略する。

なお、具体的な出力の方法を例示するとすれば、図１９に示すように、フロントウィンドウ枠に設けられた警告灯１２〜１４を点灯したり、警告音を発したりして、いち早く運転者に報知するケースが考えられる。これにより、前方車両のブレーキ操作に応じて、また、前方車両との距離に応じて、ドライバーが操作する車両に適切な対応をとらせることができる。

なお、本実施形態においては、各車両が独立して光源を点灯することになるが、この場合、光源を捕捉する撮像部の処理は、捕捉した光源に含まれる変調データについて、常に変調位相ＰＬＬ処理を行い、周期的に位相を変更して個別に取得することで対応させるようにする。

図２２は、位相調整の概念図である。この図において、２５００フレーム／秒で捕捉した光源から変調データの読み出しを行うとき、プリアンブルパターン分の枚数のフレームについて、（ａ）のように位相を調整する。具体的な処理としては（ｂ）のフローチャートに示すよう７ビット分フレームキャプチャして格納し（ステップＳ７０）、相関度評価を行い（ステップＳ７１）、その評価結果に従って信号が検出されたか否かを判定する（ステップＳ７２）。そして、信号が検出された場合は、ビット数分フレームキャプチャして変調データをデコードし（ステップＳ７３）、その後、位相を２π／３だけ進める（ステップＳ７４）。一方、検出されない場合でも、位相を２π／３だけ進める（ステップＳ７４）。

このようにすれば、時分割的に光源捕捉、及び、デコード処理を可能にすることができる。なお、本実施の形態では、ＬＥＤ式信号機に設置された光源と、車両に設置された撮像装置を例に説明したが、これに限らず光源を街灯や広告灯、道路案内等の指標に設置してもよく、撮像装置は、歩行者が携帯する電子機器に設置されていてもよい。

第１の実施形態の利用状態を示す概念図である。 ＬＥＤ式信号機３０、３１と撮像装置２を含む全体的なシステム構造図である。 ＬＥＤ式信号機３０、３１の光源から送出されるデータフォーマットの一例図である。 ＬＥＤ式信号機の光源から送出されるデータフォーマットにおけるデータテーブルの図であり、（ａ）は順序部、（ｂ）は点灯色部、（ｃ）は点灯時間部のデータテーブルを示す。 車両に設けられた撮像装置２の構成図である。 車両の運転席から見た進行方向視界図である。 各距離における光源の検出画素サイズを示す図である。 ＬＥＤ式信号機の発光制御フローチャートを示すである。 アイドリングストップ処理のフローチャートを示す図である。 信号機光源の取り出し概念図であり、（ａ）は撮像された画像データ、（ｂ）は輝度変調領域が抽出された画像データである。 カーナビゲーションシステムへの適用例を示す図である。 第２の実施形態の概念図であり、（ａ）は利用状態、（ｂ）は車両の運転席から見た進行方向視界図である。 第３の実施形態の概念図である。 第３の実施形態における車両に設けられた撮像装置、演算装置の接続及び回路構成である。 距離演算部の処理内容を説明する図であり、（ａ）は信号機との距離が遠い場合、（ｂ）は信号機との距離が近い場合を示す図である。 第３の実施形態の処理フローチャートを示す図である。 第４の実施形態を示す図である。 第４の実施形態の動作フローチャートを示す図である。 第５の実施形態の概念図である。 第５の実施形態におけるブレーキランプ点灯処理のフローチャートを示す図である。 第５の実施形態における自車側の制御フローチャートを示す図である。 位相調整の概念図である。

符号の説明

１ 車両
２、６１、６２、７１、７２ 撮像部
１２、１３、１４ 警告灯
２０ ＣＰＵ
２１ 撮像処理部
２２ 信号検出／復号処理部
２３ 応用処理部
２４ 運転・走行関連装置
３０、３１ ＬＥＤ式信号機
４１ 現点灯データブロック
４２ 次点灯データブロック
４３ 次々点灯データブロック
５０、５１、５５、５６ 道路
７０ 演算装置
１１０ 撮影範囲
２０２ 距離演算部
２１１ 撮像部
２１５ 液晶ディスプレイ
２４０ エンジン等駆動系装置
２４１ 制御系装
２４２ 車速度、操舵情報
２４３ 運転手への表示・発音装置
３００ 青灯
３０１ 黄灯
３０２ 赤灯
３０３ メモリ
３０４ 送出情報生成部
４１０ 検出用プリアンブル部
４１１ 順序部
４１２ 点灯色部
４１３ 点灯時間部
４１４ フラグ部
４１５ 輝度補正用情報部
７０１、８０１ ブレーキランプ
２１１０、２１１１、２１１２ 輝度変調領域
２１１３ 撮影画像
２１１４ 輝度変調領域を抽出した画像

Claims (13)

1. 移動規則が設定されたフィールド上に複数存在する光源と、当該フィールドを移動する移動体とともに移動する撮像装置とからなる情報伝送システムであって、
   前記光源は、
   移動規則を取得する取得手段と、
   この取得手段によって取得された移動規則を、当該光源の輝度を変調するためのデータに符号化する符号化手段と、
   この符号化手段によって符号化された移動規則に基づいて当該光源の輝度を変調する輝度変調手段とを備え、
   前記撮像装置は、
   時系列的に連続して撮像した撮像領域より、前記輝度変調手段により輝度変調された輝度領域を検出する検出手段と、
   この検出手段によって検出された輝度領域が複数の場合、これらの輝度領域の前記撮像領域に対する大きさ又は前記撮像領域上に存在する位置の少なくとも一方に基づいて、当該撮像装置とこれら輝度領域との距離を把握し、前記移動規則に復号すべき輝度領域を選択する選択手段と、
   この選択手段によって選択された輝度領域から前記移動規則へ復号する復号手段と、
   前記検出手段によって検出された輝度領域の前記撮像領域に対する大きさ又は前記撮像領域上に存在する位置の少なくとも一方と、前記復号手段により復号された移動規則と、に基づいて前記移動体の走行の開始及び停止を制御する制御手段と
   を備えることを特徴とする情報伝送システム。
2. 前記移動規則は前記光源が点灯する点灯色の種類に応じて前記移動体の走行の開始及び停止を指示するものであるとともに、時系列を伴って周期的に変化するものであり、
   前記取得手段が取得する前記移動規則には、この周期的に変化するタイミング情報が含まれることを特徴とする請求項１に記載の情報伝送システム。
3. 前記撮像装置は、
   前記検出手段によって検出された輝度領域の前記撮像領域に対する大きさ又は前記撮像領域上に存在する位置の少なくとも一方に基づいて、当該撮像装置と前記光源との距離を演算する距離演算手段を更に備え、
   前記制御手段は、前記復号手段により復号された移動規則と、前記距離演算手段によって演算された当該撮像装置と前記光源との距離とに基づいて、前記移動体の走行の開始及び停止を制御することを特徴とする請求項２に記載の情報伝送システム。
4. 前記撮像装置は、
   当該撮像装置を伴って移動する移動体が現在走行中か現在停止中かの情報を取得する情報取得手段と、
   この情報取得手段によって取得された情報と前記距離演算手段によって演算された当該撮像装置と前記光源との距離とに基づいて、前記移動体と前記光源との将来的距離を予測する予測手段とを更に備え、
   前記制御手段は、前記検出手段によって検出された輝度領域の前記撮像領域に対する大きさ又は前記撮像領域上に存在する位置の少なくとも一方と、前記復号手段により復号された移動規則と、に加え更に前記予測手段によって予測された将来的距離に基づいて前記移動体の走行の開始及び停止を制御することを特徴とする請求項３に記載の情報伝送システム。
5. 前記撮像装置は、
   前記復号手段により復号された移動規則に基づく情報を表示する表示手段を更に備えることを特徴とする請求項１乃至４の何れかに記載の情報伝送システム。
6. 前記移動体は前記フィールドを移動するための駆動手段を備え、
   前記制御手段は、前記駆動手段を制御する駆動制御手段を含むことを特徴とする請求項１乃至５の何れかに記載の情報伝送システム。
7. 撮像手段と、
   この撮像手段による撮像領域から、移動規則が設定されたフィールドにおける移動規則を変調して発光する光源の輝度領域を検出する検出手段と、
   この検出手段によって検出された輝度領域が複数の場合、これらの輝度領域の前記撮像領域に対する大きさ又は前記撮像領域上に存在する位置の少なくとも一方に基づいて、自己とこれら輝度領域との距離を把握し、前記移動規則に復号すべき輝度領域を選択する選択手段と、
   この選択手段によって選択された輝度領域から前記移動規則へ復号する復号手段と、
   前記検出手段によって検出された輝度領域の前記撮像領域に対する大きさ又は前記撮像領域上に存在する位置の少なくとも一方と、前記復号手段により復号された移動規則と、に基づいて自身が備えられた移動体の走行の開始及び停止を制御する制御手段と
   を備えることを特徴とする移動体の制御装置。
8. 前記移動規則は前記光源が点灯する点灯色の種類に応じて前記移動体の走行の開始及び停止を指示するものであるとともに、時系列を伴って周期的に変化するものであり、
   前記復号手段が復号する前記移動規則には、この周期的に変化するタイミング情報が含まれ、
   前記検出手段によって検出された輝度領域の前記撮像領域に対する大きさ又は前記撮像領域上に存在する位置の少なくとも一方に基づいて、当該装置と前記光源との距離を演算する距離演算手段を更に備え、
   前記制御手段は、前記復号手段により復号された移動規則と、前記距離演算手段によって演算された当該装置と前記光源との距離とに基づいて、前記移動体の走行の開始及び停止を制御することを特徴とする請求項７に記載の移動体の制御装置。
9. 当該装置が備えられた移動体が現在走行中か現在停止中かの情報を取得する情報取得手段と、
   この情報取得手段によって取得された情報と前記距離演算手段によって演算された当該装置と前記光源との距離とに基づいて、前記移動体と前記光源との将来的距離を予測する予測手段とを更に備え、
   前記制御手段は、前記検出手段によって検出された輝度領域の前記撮像領域に対する大きさ又は前記撮像領域上に存在する位置の少なくとも一方と、前記復号手段により復号された移動規則と、に加え更に前記予測手段によって予測された将来的距離に基づいて前記移動体の走行の開始及び停止を制御することを特徴とする請求項８に記載の移動体の制御装置。
10. 前記移動体は前記フィールドを移動するための駆動手段を備え、
    前記制御手段は、前記駆動手段を制御する駆動制御手段を含むことを特徴とする請求項７乃至９の何れかに記載の移動体の制御装置。
11. 前記復号手段により復号された移動規則に基づく情報を表示する表示手段を更に備えることを特徴とする請求項７乃至１０の何れかに記載の移動体の制御装置。
12. 撮像部の撮像領域から、移動規則が設定されたフィールドにおける移動規則を変調して発光する光源の輝度領域を検出する検出ステップと、
    この検出ステップにて検出された輝度領域が複数の場合、これらの輝度領域の前記撮像領域に対する大きさ又は前記撮像領域上に存在する位置の少なくとも一方に基づいて、自己とこれら輝度領域との距離を把握し、前記移動規則に復号すべき輝度領域を選択する選択ステップと、
    この選択ステップにて選択された輝度領域から前記移動規則へ復号する復号ステップと、
    前記検出ステップにて検出された輝度領域の前記撮像領域に対する大きさ又は前記撮像領域上に存在する位置の少なくとも一方と、前記復号ステップにて復号された移動規則と、に基づいて前記撮像部が備えられた移動体の走行の開始及び停止を制御する制御ステップと
    を含むことを特徴とする移動体の制御方法。
13. コンピュータを、
    撮像部の撮像領域から、移動規則が設定されたフィールドにおける移動規則を変調して発光する光源の輝度領域を検出する検出手段、
    この検出手段によって検出された輝度領域が複数の場合、これらの輝度領域の前記撮像領域に対する大きさ又は前記撮像領域上に存在する位置の少なくとも一方に基づいて、自己とこれら輝度領域との距離を把握し、前記移動規則に復号すべき輝度領域を選択する選択手段、
    この選択手段によって選択された輝度領域から前記移動規則へ復号する復号手段、
    前記検出手段によって検出された輝度領域の前記撮像領域に対する大きさ又は前記撮像領域上に存在する位置の少なくとも一方と、前記復号手段により復号された移動規則と、に基づいて前記撮像部が備えられた移動体の走行の開始及び停止を制御する制御手段
    として機能させることを特徴とするプログラム。
    

Images