JP2018139120A - 情報処理システム - Google Patents

Abstract

【課題】複数のセンサが接続された情報処理装置において、確実にセンサ情報を処理できるようにする。
【解決手段】ステレオカメラ１０２、周辺カメラ１０４及コントローラ１０１を有する情報処理システムは、複数のセンサと、複数のセンサ各々に接続された複数のバス２１、２２と、複数のバスの調停を行う調停部と、複数のセンサごとの優先度を判定する優先度判定部と、を備える。調停部は、優先度判定部の判定結果に応じて複数のバスの調停を行うことを特徴とする。
【選択図】図２

Description

本発明は、情報を処理するシステムに関する。

本技術分野の背景技術として、特許文献１がある。この公報には、「複数のデバイスが同一バス上で接続される情報処理装置において、バスにどのようなデバイスが接続されても、デバイス間のバスの使用における優先順位を適切に決定し、デバイス間のデータ転送を十分に行なうことを保証する。バス調停手段１１０は、既存デバイス１０２および拡張デバイス１０５がそれぞれバス使用要求信号１０３，１１３を通じてバス調停手段１１０にバス１０１の使用を要求した場合に、優先順位決定手段１０９が、既存デバイス情報格納手段１０４と拡張デバイス情報格納手段１０７から得られるデバイス情報に基づき決定した優先順位に従い、既存デバイス１０２および拡張デバイス１０５のうちの１つを選択し、バス１０１の使用権を与える。」と記載されている（要約参照）。

特開平５−５３９７５号公報

複数のセンサが接続された情報処理装置において、確実にセンサ情報を処理できるようにすることである。従来の技術では、あらかじめ決められた優先度の情報に基づき情報を伝達することができる。しかしながら、複数のセンサが接続されており、優先度が状況によって時々刻々と変化する場合、本当に必要なセンサの情報を確実に伝送することはできなかった。

上記課題を解決するために、本願で開示された発明のうち簡単なものの概要を簡単に説明すれば次の通りである。
（１）複数のセンサと、前記複数のセンサ各々に接続された複数のバスと、前記複数のバスの調停を行う調停部と、前記複数のセンサごとの優先度を判定する優先度判定部と、を備え、前記調停部は前記優先度判定部の判定結果に応じて前記複数のバスの調停を行うことを特徴とする情報処理システムである。

複数のセンサが接続された装置において、危険状態などセンサの状況に合わせて適切かつ確実に実時間で処理することができる。また、センサの状態によって柔軟に優先するセンサを変更することで、一部センサが不調または天候状況などによって性能を発揮できない時にも他のセンサを使用できるため、ロバスト性が向上する。

本発明に係る情報処理システム全体の構成例を示す図である。 複数のバスを用いて優先度に応じた各部の調停を行うための第一の構成例を示す図である。 複数のバスを用いて優先度に応じた各部の調停を行うための第二の構成例を示す図である。 複数のバスを用いて優先度に応じた各部の調停を行うための第三の構成例を示す図である。 ステレオカメラの詳細構成と調停部との対応を示す図である。 自車の環境や周辺環境によってバス優先度を変える例を示す図である。

以下、実施例を図面を用いて説明する。

本実施例１では、複数のセンサ信号を処理する情報処理システムについて説明する。近年、ステレオカメラなど複数の撮像部（カメラ）を用いて歩行者や車両などの移動体を検出する移動体検出装置が実用化されている。カメラは車両の前方を監視するものや、車両の周辺、後方を監視するものまで複数取り付けられていることがある。ここでそれぞれの役割ついて述べる。前方のカメラは、約１００ｍまでの障害物や先行車の有無を検知する前方監視センサとして機能すると共に、距離や相対速度を測定し自動ブレーキや先行車に追随する機能のセンサとしても使用される。周辺のカメラは、停車時の駐車支援のための周辺監視センサとして使用される。例えば、車両の後方に取り付けられたカメラの映像を車室内など運転手が見える位置にディスプレイを設置し、そのディスプレイに後方の映像を映す。運転手は目視では見えづらい死角をディスプレイで確認することが出来る。車を制御するための前方のカメラと運転支援のためのカメラといったように、各カメラはセンサとしてそれぞれに役割があり、これらを同一プラットフォームで実現しようとした場合、状況に応じて処理の優先度が異なることとなる。本発明はこのような状況においても制御を担うカメラを優先して処理できるようバスなどの通信線の優先度を可変する仕組みを提供するものである。

図１は本発明に係る情報処理システム全体の構成例である。図１に示す情報処理システムは、各センサから情報を受信および各センサの制御を行うコントローラ１０１と、前方１００ｍくらいまでを監視するステレオカメラ１０２と、自車と他車間の通信や自車と道路等に設置された通信機器との通信（Ｃ２Ｘ（Ｃａｒ ｔｏ Ｘ）通信）を行うＣ２Ｘモジュールである通信部１０３と、自車両近傍を撮影して得た映像を運転者から見える位置に設置されたディスプレイに出力し、また入力された映像に対して画像処理することで障害物や移動物体を検知する機能を持つ周辺カメラ１０４と、地図情報とＧＰＳ受信情報を用いて自車の現在位置を地図上に表示しユーザにより設定された目的地まで誘導する機能を持つナビゲーションシステム１０５と、各カメラにより得られた映像やナビゲーションシステム１０５による地図情報、コントローラ情報等を表示するディスプレイ１０６と、を適宜用いて構成され、これら１０１から１０６までの各部はバス１を介して互いに接続されている。ここで、バス１は図１では１本で示しているが、優先度に応じて各モジュールの優先度にしたがって処理するために次に示すとおり複数本存在している。

本実施例１の特徴であるバス優先度の調停方法について具体的に示す。図２は、複数のバスを用いて優先度に応じた各部の調停を行うための第一の構成例であり、ここではステレオカメラ１０２と周辺カメラ１０４との間での調停を例にとって説明する。。

コントローラ１０１は互いにバス２０を介して接続されたＣＰＵ２０１、メモリ２０２、アドレス変換部２０３、メモリ２０４を含む、一般的な構成を有し、更に、優先度判定部２０５及び調停部２０６を備える。この調停部２０６とバス２１を介して接続されたメモリ２０７及び第１センサ２０８が周辺カメラ１０４に対応し、調停部２０５とバス２２を介して接続されたメモリ２０９及び第２センサ２１０がステレオカメラ１０２に対応する。

優先度判定部２０５は、各センサからの情報に基づき優先度を判定するものであり、例えば、第２センサ２０９から衝突可能性のある障害物を検知したとの情報を受けると、第１センサ２０７からの情報も踏まえ、前者を優先度のより高いものと判定する。調停部２０６は、優先して接続すべきバスにアクセスするように調停するものであり、先の例であれば、優先度判定部２０５からの判定結果に基づき、優先して接続すべきバス２２にアクセスして、メモリ２０８から所望の映像等を読み出してディスプレイ１０６への表示がなされる。この際、例えばＣＰＵからみたアドレスの上位ビットに優先度を割り当て、調停部２０６ではこの優先度に応じてバスへのアクセス制御を行う。

このように、複数のバスを有し、優先度判定部２０５が各センサからの情報に基づいて優先度を判定し、判定結果に基づいて、調停部２０６が最適なバスにアクセスするように調停し、その先のメモリから適宜必要な情報を読み出すようにすることで、状況の変化に応じて適切なセンサ情報の伝送並びに必要情報のユーザへの表示が可能となる。

なお、図２においては、センサが２つの場合を例にとって説明したがこれに限られるものではなく、通信部１０３から得られる他車や道路に関する情報に対するセンサや自車の速度を監視する車速監視センサ、自車の進行方向を監視する進行方向監視センサなど、図１に示されていない他のセンサがあってもよく、各センサに対応したバスを設ければ、同様に適用可能である。また、本実施例では、メモリ２０７及び第１センサ２０８が周辺カメラ１０４に対応し、調停部２０５とバス２２を介して接続されたメモリ２０９及び第２センサ２１０がステレオカメラ１０２に対応するものとして説明したが、これに限られず、何らかの複数のセンサがあるシステムに対して適用可能である。なお、以下に説明する他の実施例においても同様である。

本実施例２は、実施例１に加えさらに確実に特定のセンサの情報を優先することができる情報処理システムの実施例である。図３を用いて詳細に説明する。なお、実施例１と同様の構成については実施例１を援用するものとして記載を省略し、異なる構成を主として説明する。

図３は、複数のバスを用いて優先度に応じた各部の調停を行うための第二の構成例であり、実施例１の構成に加え、バス３０を第２センサ２１０と調停部２０６に新たに設ける。このバス３０は画像データなどの大容量のデータではなく、他のセンサと共有しない専用バスである。この専用バスで第２センサ２１０からの結果によって優先度を更新することで遅延なく優先度を変更することができ、自社の前方の障害物や先行車の有無を検知するセンサとして特に重要なセンサの情報を、障害物に衝突する直前に他のセンサの処理に割り込まれることなく確実に伝送し制御することが可能となる。 なお、ここでは専用バス３０を第２センサ２１０と調停部２０６に設けた例を示したが、これに限られず、予め特に重要性が高いと判断されるセンサに対して適宜適用可能である。

本実施例３は、センサが故障や環境の影響で正しく動作できない状態かどうか判定する診断部を備え、正しく動作できないと診断した場合、別のセンサを優先させることで、システム全体のロバスト性を向上させた情報処理システムの例である。図４を用いて詳細に説明する。なお、実施例１、２と同様の構成については実施例１、２を適宜援用するものとして記載を省略し、異なる構成を主として説明する。

図４は、複数のバスを用いて優先度に応じた各部の調停を行うための第三の構成例であり、実施例２の構成に加え、診断部４０１を新たに加え、診断部４０１は第２センサ２１０とバス３０に接続されている。診断部４０１は、第２センサ２１０の異常を検知した場合、調停部２０６に対してセンサ処理異常を通知し、調停部２０６は第２センサ２１０からの優先度要求を棄却し、他のセンサを優先するようにする。こうすることで、例えばセンサが故障している時、他のセンサで一部機能を代替することができるため、システム全体として信頼性が向上する。

なお、診断部４０１によりセンサの異常を検知した場合にはディスプレイ１０６による表示や図示しない音声出力部による音声によりユーザに知らせるようにしてもよく、通信部１０３により外部に異常情報を送信するようにしてもよい。また、本実施例では第２センサ２に診断部４０１を接続した例を示したが、これに限られず、他のセンサにもセンサ毎に適宜用いてもよく、複数のセンサに対して一の診断部を接続するようにしても構わない。

本実施例４は、ステレオカメラを用いた情報処理システムのより具体的な例であって、ステレオカメラの衝突判定を行う機能部からの指示でバスの優先度を決定することで、少ない回路で効率よく優先度を変更する例である。

図５は、ステレオカメラ１０２の詳細構成と調停部２０６との対応を主として示した構成例である。ステレオカメラ１０２は、同時刻に撮像された複数の画像上における歩行者などの同一対象物（立体物）の位置ずれ（視差）をテンプレートマッチングにより算出し、算出した視差をもとに対象物（立体物）の距離を計測できるものであり、複数の画像を得るべく、第１の撮像部であるカメラ５０１と、第２の撮像部であるカメラ５０２とを備える。さらに、ステレオカメラ１０２は、カメラ５０１とカメラ５０２から出力された画像を用いて距離画像を生成する距離画像生成部５０３と、生成された距離画像に基づいて立体物を検出し、その位置・距離等に基づいて衝突判定を行う立体物検出部５０４と、一時記憶領域であるＲＡＭ２０９、プログラムや各種初期値を格納するＲＯＭ５０５と、ブレーキなどの制御系やユーザにカメラの認識状態を通知するための通信手段である外部ＩＦ５０６と、を適宜用いて構成される。

ここで、立体物検出部５０４は、例えば生成された距離画像の道路に対して垂直方向の距離のヒストグラムを求め、そのピーク値を算出して、立体物の位置や自車からの距離を検出するものであり、検出された立体物（障害物）と自車との距離の近さなどから衝突判定を行う。

本システムにおいて、衝突判定結果は特に重要な情報であるため、より効率よく優先度変更を行うべく、立体物検出部５０４と調停部２０６との間にバス３０を設けておくことで、バス３０経由ですぐに立体物検出部５０４より障害物との距離が近いとの情報を受けることができ、この場合には、図示しない優先度判定部によりバスの優先度を変更し、調停部２０６はすぐにステレオカメラ１０２のバスを優先するように調停することが可能となる。

なお、本実施例では、ステレオカメラの場合を例にとって説明したが、これに限られず、例えば単眼カメラを用いた場合には、その構成のうち、既知の手法により障害物との衝突判定を行う画像処理部を、立体物検出部５０４に替えて配置して、システムを構成しても構わない。

本実施例５は、自車の環境や周辺環境によって、優先度を柔軟に変えていく例である。図６はその一例を示したものであり、図６（ａ）では車速が３０ｋｍ／ｈ未満で前方監視カメラが故障している場合には周辺監視カメラを優先した状態で固定し周辺監視カメラからの映像を表示部に表示するようにし、車速が３０ｋｍ／ｈ以上で前方監視カメラが故障している場合には前方監視カメラ以外の他の各種センサからの情報に基づき優先度を適宜変更しながら表示部へ表示するようにする。このように、車速や故障情報に応じて優先度を適宜固定したり変更したりすることで、よりユーザに利便性の高い表示の切り替えが可能となる。

ここでは、前方監視カメラが故障の場合を例に記載したが、これに限られず、故障中のセンサが無い場合には、図６（ｂ）のように、車速が３０ｋｍ／ｈ未満の場合には周辺監視カメラ優先に固定して周辺監視カメラからの映像を表示し、車速が３０ｋｍ／ｈ以上の場合には前方監視カメラを優先して設定しながらも優先度は固定させずに適宜変更するようにしても構わない。また、車速といった自車の環境のみならず、周辺環境に応じた初期設定も可能であり、例えば、通信手段１０３により、自車周辺の道路状況を含む情報を受信した場合にはこの情報に応じて優先的にアクセスされるバスの固定等を切り替えるようにしてもよく、例えば進行路上に落下物がある等の情報を受けた場合には、衝突可能性のある障害物の方向を捉える前方監視カメラを優先した状態で固定するなどしても構わない。

なお、本発明は上記した各実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。また、同趣旨の範囲内で、各実施例を適宜組合せることも可能である。
また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、フラッシュメモリなどのメモリ、または、メモリーカードなどのストレージに置くことができる。
また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

１ バス
１０１ コントローラ
１０２ ステレオカメラ
１０３ 通信部
１０４ 通信カメラ
１０５ ナビゲーションシステム
１０６ ディスプレイ

Claims (10)

1. 複数のセンサと、
   前記複数のセンサ各々に接続された複数のバスと、
   前記複数のバスの調停を行う調停部と、
   前記複数のセンサごとの優先度を判定する優先度判定部と、を備え、
   前記調停部は前記優先度判定部の判定結果に応じて前記複数のバスの調停を行うことを特徴とする情報処理システム。
2. 請求項１記載の情報処理システムであって、
   さらに、前記センサの異常有無を診断する診断部を備え、
   前記調停部は、前記診断部により異常があると診断されたセンサ以外のセンサを優先するように調停することを特徴とする情報処理システム。
3. 請求項１又は２記載の情報処理システムであって、
   前記複数のセンサとして、自車の前方を監視する前方監視センサと自車の周辺を監視する周辺監視センサとを少なくとも備えることを特徴とする情報処理システム。
4. 請求項３記載の情報処理システムであって、
   前記調停部は、
   自車が所定の車速以上で進行している場合には、前記前方監視センサの接続されているバスを優先するように調停し、
   自車が所定の速度未満で進行している場合には、前記周辺監視センサの接続されているバスを優先するように調停することを特徴とする情報処理システム。
5. 請求項４記載の情報処理システムであって、
   前記調停部は、前記診断部が前記前方監視センサに異常があると診断した場合、前記車速によらず、前記周辺監視センサの接続されているバスを優先するように調停することを特徴とする情報処理システム。
6. 請求項１乃至５のいずれかに記載の情報処理システムであって、
   さらに、自車周辺の道路状況を含む情報を受信する通信手段を備え、
   前記優先度判定部は、前記通信手段が受信した情報に基づいて、前記複数のセンサのうち、自車の進行路上に衝突可能性のある障害物の方向を捉えるセンサのバスを優先するように判定し、
   前記調停部は、前記優先度判定部により前記優先するように判定されたセンサのバスを優先するように調停することを特徴とする情報処理システム。
7. 請求項３乃至６のいずれかに記載の情報処理システムであって、
   前記前方監視センサは単眼カメラであり、
   さらに、前記単眼カメラからの画像を処理して障害物を検出し前記障害物と自車との距離を計測可能な画像処理部を備え、
   前記画像処理部による計測結果に基づき障害物の距離が近いと判断された場合には、前記調停部は前記単眼カメラの画像データと前記障害物の検出結果が格納されているメモリのバスを優先するように調停することを特徴とする情報処理システム。
8. 請求項７記載の情報処理システムであって、
   さらに、映像を表示する表示部を備え、
   前記画像処理部による計測結果に基づき障害物の距離が近いと判断された場合には、前記調停部により優先するように調停されたバスのメモリから前記単眼カメラの画像データを読み出して前記表示部に表示することを特徴とする情報処理システム。
9. 請求項３乃至６のいずれかに記載の情報処理システムであって、
   前記前方監視センサはステレオカメラであり、
   さらに、前記ステレオカメラが取得する左右画像から画素毎の距離を求める距離画像生成部と、
   前記距離画像生成部により生成された距離画像の道路に対して垂直方向の距離のヒストグラムを求め、そのピーク値を算出するヒストグラムピーク検出処理部と、を備え、
   前記ヒストグラムピーク検出処理部によるヒストグラムピーク検出結果が自車進行路に対して近い距離のピークを持つ場合には、前記調停部は前記ステレオカメラの画像データと距離画像が格納されているメモリのバスを優先するように調停することを特徴とする情報処理システム。
10. 請求項９記載の情報処理システムであって、
    さらに、映像を表示する表示部を備え、
    前記画像処理部による計測結果に基づき障害物の距離が近いと判断された場合には、前記調停部により優先するように調停されたバスのメモリから前記ステレオカメラの画像データを読み出して前記表示部に表示することを特徴とする情報処理システム。

Images