JP7195787B2 - 車載電子制御装置 - Google Patents

Description

本発明は、車載電子制御装置に関する。

自動車等の車両にはカメラが設置され、カメラで撮像された画像データに基づいて自動運転支援などを行う車載電子制御装置が普及している。

このような車載電子制御装置では、カメラで撮像された画像データをJPEG などの画像フォーマットに変更する前の、すなわちローデータのままの画像データとして制御部へ取り込んでいる。これにより、制御部は、複数センサによる認識処理を統合して、認識精度の向上やリアルタイム性能の向上を図っている。他方で、ローデータを制御部へ入力する場合は、カメラと制御部の間でローデータを転送するため、例えば、４Ｋカメラで３０ｆｐｓの非圧縮ローデータの場合、数百ＭＢ／ｓｅｃの伝送帯域が必要となる。そのため、高価なケーブル、高価な通信トランシーバＬＳＩや通信コントローラＬＳＩをカメラと制御部のインターフェースとして用いることとなる。さらに、カメラは、８Ｋなどより高解像度化に向けた開発が進んでいる。

特許文献１には、低解像度の全体画像を送信した後に部分画像を送信することで伝送容量を小さくする装置が記載されている。

特開２００６－３３７９３号公報

特許文献１では、走行する車両から撮像された画像データは考慮されておらず、画像データの伝送帯域を削減することができない。

本発明の第１の態様による車載電子制御装置は、車両に搭載されるものであって、立体物を検知するセンサと、前記車両が走行した場合に、前記センサで前記立体物が検知された検知時刻から所定時間を経過した撮像時刻における前記立体物の位置を求める制御部と、前記撮像時刻に前記立体物を撮像した画像データを前記制御部へ出力する撮像装置と、を備え、前記センサは、レーダであり、前記検知時刻と、前記検知時刻における前記レーダに対する前記立体物の位置を表す第１の座標とを、前記制御部へ出力し、前記制御部は、前記レーダから入力された前記検知時刻と前記第１の座標に基づいて、前記撮像時刻における前記立体物の位置を求めて、前記撮像時刻と、前記撮像時刻における前記撮像装置に対する前記立体物の位置を表す第２の座標とを、前記撮像装置へ出力し、前記撮像装置は、前記制御部から入力された前記撮像時刻と前記第２の座標を用いて、前記立体物を撮像する。
本発明の第２の態様による車載電子制御装置は、車両に搭載されるものであって、立体物を検知するセンサと、前記センサによる前記立体物の検知結果と前記車両の移動量とを比較して、前記立体物が移動体であるか否かを判定する制御部と、前記立体物を撮像した画像データを前記制御部へ出力する撮像装置と、を備え、前記撮像装置は、前記制御部による前記立体物が移動体であるか否かの判定結果に応じて、前記画像データを前記制御部へ出力する送信間隔を設定する。
本発明の第３の態様による車載電子制御装置は、車両に搭載されるものであって、立体物を撮像するとともに前記立体物に対する第１の認識処理を行う撮像装置と、前記撮像装置で撮像された前記立体物の画像データに基づいて前記立体物に対する第２の認識処理を行う制御部と、を備え、前記撮像装置は、前記第１の認識処理により、前記車両の走行に伴って複数の前記立体物を認識し、認識した複数の前記立体物の各々に対して固有の識別番号を設定することで、各立体物の認識結果を前記識別番号により管理し、前記制御部は、撮像時刻と、複数の前記立体物のうちいずれかの立体物に対して設定された前記識別番号とを、前記撮像装置に通知し、前記撮像装置は、前記制御部より前記撮像時刻および前記識別番号が通知された場合に、前記撮像時刻における複数の前記立体物の撮像画像から当該識別番号に対応する前記立体物の高解像度の部分画像を生成し、生成した前記部分画像に基づく画像データを前記制御部へ出力し、前記制御部は、前記撮像装置から入力された前記画像データに基づいて、前記第２の認識処理を行う。

本発明によれば、走行する車両から撮像された画像データの伝送において、伝送帯域を削減することができ、高価なケーブルや高価な通信部品を必要とせず、システムコストを削減できる。

第１の実施形態における車載電子制御装置を搭載した車両の構成を示すブロック図である。 走行する車両から標識を認識する例を示す図である。 レーダおよびカメラとのデータの流れを示す図である。 第１の実施形態における認識処理のフローチャートである。 第１の実施形態における標識認識の相対座標算出と単眼カメラ向け座標変換の例を示す図である。 第１の実施形態の標識認識の相対座標算出と単眼カメラ向け座標変換処理を示すフローチャートである。 第１の実施形態の単眼カメラ向けの画像幅の指定の例を示す図である。 第１の実施形態のカメラ画像の距離と画素幅のテーブルの例を示す図である。 第１の実施形態の単眼カメラによる画像切出しを説明する図である。 第１の実施形態の単眼カメラによる画像切出しの処理を示すフローチャートである。 ステレオカメラの原理を説明する図である。 第１の実施形態の標識認識の相対座標算出とステレオカメラ向け座標変換の例を示す図である。 第１の実施形態のステレオカメラ向けの画像幅の指定の例を示す図である。 第１の実施形態のステレオカメラによる画像切出しを説明する図である。 第１の実施形態のステレオカメラによる画像切出しの処理を示すフローチャートである。 第２の実施形態における車載電子制御装置を搭載した車両の構成を示すブロック図である。 第２の実施形態における相対座標算出と座標変換の例を示す図である。 第２の実施形態における座標変換の処理を示すフローチャートである。 第３の実施形態におけるカメラにより認識された例を示す図である。 第３の実施形態における車載電子制御装置を搭載した車両の構成を示すブロック図である。 第３の実施形態における認識管理テーブルの例を示す図である。 第３の実施形態におけるカメラによる切出し画像生成の処理を示すフローチャートである。

［第１の実施形態]
以下、第１の実施形態について図面を参照して説明する。
第１の実施形態では、カメラ３と制御部２の間のローデータの伝送帯域をどのように削減するかという課題に対し、カメラ３以外のセンサの情報、例えばレーダ４を用いて、必要なデータを特定して、伝送帯域を削減する車載電子制御装置について説明する。

図１は、第１の実施形態における車載電子制御装置１を搭載した車両の構成を示すブロック図である。車載電子制御装置１は、制御部２、カメラ３、レーダ４を備える。カメラ３は、高解像度の撮像装置であり、ステレオカメラでも単眼カメラのいずれでもよい。レーダ４は、フロントレーダ、サイドレーダのどちらか一方、または両方のいずれでもよい。また、レーダは例として挙げているカメラ３以外のセンサであればよく、ミリ波レーダに限定されず、ライダーとしても構わない。

制御部２は、センサインターフェース部１１、統合認識部１２、解析部１３、経路計画部１４から構成される。制御部２には、車速、舵角、ヨーレートなどの車両情報が入力される。

センサインターフェース部１１は、カメラ３やレーダ４との入出力を行う。カメラ３からはローデータを出力し、切出した部分画像が制御部２のグローバル座標系のどこに相当するかをカメラ座標変換部３２にて計算する。例えば、部分画像でステレオカメラから距離と角度を出力すると、カメラ座標の角度の方向と距離からグローバル座標系での場所を算出できる。単眼カメラで距離情報がない場合は、カメラ３から方向を出力するが、距離は出力しないので、グローバル座標系上で一意に場所の特定はできない。レーダ４は検知後のオブジェクトデータを出力し、レーダ座標変換部３３にてオブジェクトデータをレーダ４の座標系から制御部２のグローバル座標系に変換する。カメラ時刻座標計算部３１は、後述するように車両座標系をカメラ３の座標系に変換する。

統合認識部１２は、認識部４１にて認識処理を行う。認識部４１は、全体画像を認識する全体認識部４２と部分画像を認識する部分認識部４３から構成される。機械学習を用いた認識を行う。部分認識部４３は、高解像度の部分画像を用いて、文字認識などを行うもので、ＤＮＮ（Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を用いて構成してもよい。全体認識部４２は、全体画像の認識処理を行うが、カメラ３の全体画像の認識結果とレーダ４の認識結果の座標系をどちらもグローバル座標系に共通化することで、レーダ４のオブジェクト情報を用いて、カメラ３の認識精度を高めることが行われる。

解析部１３は、地図情報とレーダ４の認識結果や、認識部４１の認識結果の座標情報をマッピングするローカルダイナミックマップ（ＬＤＭ）４４と、カメラ３で高解像度データとして切出すデータの選択の車両座標系の座標と時刻を計算する立体物計算部４５から構成される。
経路計画部１４は経路計算部４６にてＬＤＭ４４を元に安全領域計算と経路計算を行い、算出されたこれらの情報は自動運転支援に用いられる。

図２は、走行する車両１０から標識を認識する例を示す図である。標識は、速度規制や解除を示す本標識５５、５７と本標識５５、５７の条件を表す補助標識５４、５６から構成される。補助標識５４、５６は文字や矢印などの記号を含んでおり、文字認識を正確に行わないと判断できない。例えば、補助標識５４と５６において、普通車がどちらに属するかを判定するには、“大貨等・三輪けん引を除く”を正確に認識できなければならない。このため、遠距離での正確な文字認識が、高解像度の４Ｋカメラや８Ｋカメラが必要となる理由の一つとなっている。

補助標識５４、５６の文字認識の判定には高解像度の画像が必要だが、山やガードレールなど背景部分は高解像度が必要なわけではない。そこで、詳細認識向けの高解像度の限定領域の画像と、画面全体の情報として解像度を下げた低解像度の全体画像か、フレームレートを下げた高解像度の全体画像のいずれかにする。これにより、常に通常フレームレートで、高解像度の全体画像のデータ伝送量に比べて、データ伝送量を削減することができる。

図２に示すように、走行している車両１０に搭載されているレーダ４が時刻Ｔにおいて、距離ｄ１［ｍ］、角度θ１の方向で何らかの遠方立体物を検知したとする。車両１０は、自車速Ｙ［ｋｍ／ｈ］で進むので、カメラ３は、時刻Ｔ＋ΔＴで、角度φ１、または距離ｄ２［ｍ］の位置で遠方立体物を捉えられると予測される。その為、カメラ３に事前にＴ＋ΔＴの時刻に、角度φ１、または距離ｄ２［ｍ］の画像を切り出すよう制御部２からカメラ３に要求を出しておくと、カメラ３はＴ＋ΔＴの時刻になったときに、全体画像と該当の部分画像のみを切出した高解像度画像とを制御部２に転送する。ここで図２では角度φ１と記載しているが、カメラ３と図面上の座標系が異なる場合は、カメラ３の座標系に合わせた角度でカメラ３に通知する必要がある。制御部２内では、例えば、ＤＮＮ（Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を含む認識部４１があり、そこに高解像度の部分画像を入力し、文字認識を行う。

このように制御部２に入力されるレーダ４などの他センサの情報を用いて、カメラ３の画像の切出し位置を指定するので、例えば、カメラ３よりも検知距離の長いレーダ４で、カメラ３では検知できない距離、時点の情報を利用し、制御部２からカメラ３に通知しておくことで、カメラ３で有効な画像が取得できる時点で直ちに高解像度の部分画像の切り出しを行うことができる。

図３は、レーダ４およびカメラ３とのデータの流れを示す図である。この図を基に、図２で示した標識認識の処理について説明する。
まず、レーダ４にて、遠方の立体物をレーダ４の座標系で（時刻Ｔ、角度θ１、距離ｄ１）６１で検知し、出力する。この検知結果が制御部２に入力され、レーダ座標変換部３３にて、グローバル座標系（座標系１とも呼ぶ）に変換され、（時刻Ｔ、座標系１（ｘ１、ｙ１、ｚ１））６２として出力され、解析部１３の立体物計算部４５に入力される。

カメラ３が十分な解像度で立体物を判別できる領域をカメラ３の有効領域と呼ぶとすると、立体物計算部４５にて、カメラ３の有効領域に立体物が現れる時刻と位置を計算する。ＣＡＮ経由で制御部２に入力される車速、舵角、ヨーレートなどの自車の挙動を示す車両情報６０と、レーダ４の車両座標系の情報の時刻Ｔ、座標系１（ｘ１、ｙ１、ｚ１）６２を用いて、カメラ３のフレームレートの間隔に合わせて複数の時刻と座標系１の座標が計算される。ここでは、（時刻Ｔ＋ΔＴ、識別子ＩＤ＝１、座標系１（ｘ２、ｙ２、ｚ２））６３を複数点のうちの最初の点の座標とする。

カメラ時刻座標計算部３１にて、車両座標系からカメラ３の座標系（時刻Ｔ＋ΔＴ、角度φ１、距離ｄ２）６４に変換する。角度は極座標系の角度を示し、距離はカメラ３からの距離を示す。ステレオカメラなどの距離を取り扱えるカメラ３向けには、距離情報も併せて出力する。時間情報に関しては、時刻で通知してもよいし、フレーム番号で通知してもよい。

カメラ３がステレオカメラのような視差を用いて距離を取り扱えるカメラ３とすると、時間、角度、距離から画像変換切出部２１で、高解像度の画像の切出し６５と、小容量の全体画像を作成する。小容量の全体画像とは、画像をダウンコンバートして低解像度の全体画像でもよいし、特定のフレームを間引きし、低フレームレートの高解像度の全体画像のデータのいずれでもよい。

カメラ３から出力されたローデータの画像は、カメラ座標変換部３２にて、車両座標系に変換される。切出画像６５は、車両座標系に変換され、（時刻Ｔ＋ΔＴ、座標系１（ｘ２、ｙ２、ｚ２））６６として扱われる。そして、切出し画像部は認識部４１の部分認識部４３にて認識処理が行われ、本標識または補助標識の認識並びに識別が行われる。

図４は、第１の実施形態における認識処理のフローチャートである。
図４において、処理Ｓ１、Ｓ３～Ｓ６、Ｓ９～Ｓ１０は、制御部２の処理であり、処理Ｓ２はレーダ４の処理であり、処理Ｓ７～Ｓ８はカメラ３の処理である。

処理Ｓ１では、一定時間が経過したか判別し、一定時間が経過すると、処理Ｓ２、処理Ｓ８へ進む。処理Ｓ２では、レーダ４から時刻Ｔにて、レーダ４から遠方の標識候補を含む一つまたは複数の立体物の検知座標が制御部２に出力される。また、処理Ｓ８では、カメラ３からローデータの小容量全体画像の画像データと高解像度切出画像の画像データが制御部２に出力される。
処理Ｓ２で、レーダ４からの検知座標が出力されると、処理Ｓ３では、制御部２内のレーダ座標変換部３３にて、レーダ４での検知座標からグローバル座標系の座標に座標変換される。その後、処理Ｓ４へ進む。

処理Ｓ４では、レーダ４の方がカメラ３より遠距離の検知が出来るので、カメラ３で立体物を有効画像として扱える時刻、例えば、該当立体物の画像の幅が特定のピクセル数となるのは、レーダ４での検知時刻（Ｔ）より時間が進んでからとなる。立体物計算部４５では、車速、舵角、ヨーレートから車両挙動を計算し、処理Ｓ３でグローバル座標系に座標変換したレーダ４での立体物の検知座標に基づいて、予めシステムで定めたカメラ３が有効画像として扱える領域に、該当立体物が入る時刻（Ｔ＋ΔＴ）とそのときの座標（ｘ２、ｙ２、ｚ２）をグローバル座標系上で計算する。

次に処理Ｓ５では、カメラ時刻座標計算部３１で、処理Ｓ４で計算した時刻（Ｔ＋ΔＴ）における立体物の座標（ｘ２、ｙ２、ｚ２）をグローバル座標系からカメラ座標系に座標変換を行う。例えば、カメラ３が極座標であれば、極座標への変換を行う。ステレオカメラのように距離を取り扱える場合は、カメラ３からの距離も計算する。

次の処理Ｓ６では、カメラ３で取り扱える情報にも依存するが、制御部２からカメラ３に対し、処理Ｓ４で計算した時刻（Ｔ＋ΔＴ）の時刻情報と、処理Ｓ５でグローバル座標系からカメラ座標系に座標変換した時刻（Ｔ＋ΔＴ）における立体物の座標情報（角度、距離）とを出力する。時刻は絶対時刻で定めてもよいし、フレーム番号でもよい。

カメラ３では、処理Ｓ７において、カメラ３の画像変換切出部２１により、制御部２から受け取った、時刻情報と座標情報を用いて、立体物を撮像して、座標近傍部分の高解像度画像の切出しを行う。さらに、全体画像の低解像度化や、フレームレートを下げ、データ容量を削減した全体画像を生成する。

次に、処理Ｓ８では、時刻情報を付加した小容量全体画像と、時刻情報と座標情報を付加した高解像度切出画像とをカメラ３から制御部２に出力する。なお、カメラ３は必ずしも撮像領域の全ての画像を全体画像として出力しなくてもよい。立体物の近傍部分を切出した高解像度の切出画像よりも少なくとも広い範囲を撮像した画像であれば、全体画像として出力することが可能である。
制御部２では、処理Ｓ９で、カメラ座標変換部３２により、受け取った切出画像に関し、グローバル座標系に座標変換する。

そして、次の処理Ｓ１０で、制御部２の認識部４１は、全体認識部４２で全体画像の認識、部分認識部４３では切出し画像の認識を行う。部分認識部４３では、例えば、補助標識の文字認識など、立体物の矩形認識やレーンとは異なる種類の認識を行ってもよい。

（単眼カメラの場合の座標変換）
第１の実施形態において、レーダ４のレーダ座標系、制御部２のグローバル座標系、カメラ３のカメラ座標系の座標変換について、単眼カメラの場合を例に、図５～図１０を参照して説明する。

図５は、レーダ４による標識の検知情報を用いて、時刻（Ｔ＋ΔＴ）で標識とカメラ３の相対座標を算出し、単眼カメラのカメラ座標系へ変換する例を示している。

まず、レーダ４のレーダ座標系で、自車両から時刻Ｔ、距離（ｄ１）、角度（θ１）で標識を検知したと仮定する。レーダ座標変換部３３にて、レーダ座標系からグローバル座標系に変換される。制御部２は、自車両の時刻Ｔのグローバル座標は把握しているので、変換された相対座標（ｘ１、ｙ１、ｚ１）を用いて標識の座標（ｘ、ｙ、ｚ）をプロットすることができる。自車両は、車両情報の例えば、車速Ｖや加速度αを用いて、時刻Ｔ＋ΔＴの座標を計算することができる。標識の座標（ｘ、ｙ、ｚ）と時刻Ｔ＋ΔＴの自車両の座標から相対座標（ｘ２、ｙ２、ｚ２）を算出する。このとき、時刻Ｔ＋ΔＴでは、自車両と標識の相対座標での距離よりカメラ３が検知できる領域にあるとする。

そして、グローバル座標系の相対座標（ｘ２、ｙ２、ｚ２）をカメラ座標系に変換すると、時刻Ｔ＋ΔＴで角度φ１の方向で表される。

図６は、図５で示した単眼カメラのカメラ座標系について、その座標変換処理を示すフローチャートである。図４で示したフローチャートの立体物計算部４５による処理Ｓ４を詳細に示したものである。

処理Ｓ３では、図４において前述したように、制御部２内のレーダ座標変換部３３にて、レーダ４での検知座標（時刻Ｔ、距離ｄ１、角度θ１）からグローバル座標系の座標（時刻Ｔ、対自車両相対座標（ｘ１、ｙ１、ｚ１））に座標変換される。
図６に示す次の処理Ｓ４－１では、時刻Ｔにおいて、自車両の位置に対自車両相対座標（ｘ１、ｙ１、ｚ１）を加算して、標識座標（ｘ、ｙ、ｚ）を計算する。

そして、処理Ｓ４－２では、自車両の車両情報（車速、加速度、操舵角等）から、ある時刻における自車両の位置を予測する。標識座標（ｘ、ｙ、ｚ）は固定であるので、カメラ３の検知距離を例えば、１００ｍとすると、標識の座標から半径１００ｍの地点に入る予想時刻を算出することができる。この時刻をＴ＋ΔＴとする。時刻をカメラ３のフレーム周期に正規化することもできる。

次の処理Ｓ４－３では、時刻Ｔ＋ΔＴが定められると、自車両の位置は車両情報から予測できるので、自車両の予測座標と、固定の標識座標の差分をとり、時刻Ｔ＋ΔＴでの相対座標（ｘ２、ｙ２、ｚ２）を算出する。

処理Ｓ５では、時刻Ｔ＋ΔＴでの対車両相対座標（ｘ２、ｙ２、ｚ２）が求められているので、カメラ座標系への座標変換を行なうことにより、時刻Ｔ＋ΔＴ、角度φ１を算出する。

（単眼カメラの場合の切り出す画像の幅）
次に、第１の実施形態において、カメラ３で切り出す画像の幅ｗ’をどのように定めるかについて説明する。
図７は、第１の実施形態の単眼カメラ向けの画像幅の指定の例を示す図である。図７に示すように、レーダ４が時刻Ｔに、距離ｄ、角度θ１で検知した標識（立体物）の幅がｗであると仮定する。カメラ３は時刻Ｔ＋ΔＴで標識（立体物）を検知する場合、レーダ４とカメラ３では、検知した時刻が異なるので、標識（立体物）への角度、距離だけでなく、幅ｗ’も異なる。

立体物の幅が決まっている場合、カメラ画像の距離と幅（ピクセル数）の関係をテーブルとして表すことができる。図８は、カメラ画像の距離と画素幅のテーブルの例を示す図である。図８に示すように、ある固定の標識の幅を定めた場合、距離に応じた画像幅のピクセル数を示している。このテーブルより距離を基に参照し、適切な距離がテーブルになければ線形補間をして算出する。別の手段として、レーダ４の幅とレーダ距離、カメラ距離の関係から次式（１）に基づいて算出してもよい。
Ｗｃ＝Ｗｒ × (Ｄｒ／Ｄｃ) × Ｋ … 式（１）
ここで、Ｗｃ：カメラ幅、Ｗｒ：レーダ幅、Ｄｒ：レーダ距離、Ｄｃ：カメラ距離、Ｋ：係数である。
カメラ時刻座標計算部３１により、図８に示したテーブルを参照し、または式（１）でカメラの画像での幅ｗ’を算出する。

（単眼カメラの場合の画像の切り出し）
第１の実施形態において、単眼カメラでどのように画像を切り出すかについて説明する。
図９は、単眼カメラによる画像切出しを説明する図である。制御部２から、切出画像の情報として、時刻Ｔ＋ΔＴ、角度φ１、距離ｄ２、幅ｗ’、識別子ＩＤ＝１の情報を受け取る。画像取得処理部２０にて、全体画像を毎フレーム生成する。画像変換切出部２１では、低解像度の全体画像、または一部のフレームのみ使用した間引きフレームによる全体画像に加え、切出し画像を生成する。単眼カメラは距離情報を有しないため、距離情報は使用しない。制御部２からの指示に従い、時刻Ｔ＋ΔＴの全体画像に対し、角度φ１、幅ｗ’で切出し画像を生成する。

図１０は、単眼カメラによる画像切出しの処理を示すフローチャートである。このフローチャートは図４の処理Ｓ７の詳細を示す。
制御部２は、処理Ｓ６で、図４で述べたと同様に、切出画像の情報として、時刻Ｔ＋ΔＴ、識別子ＩＤ＝１、角度φ１、距離ｄ２、幅ｗ’の情報を出力する。

次に、処理Ｓ７－１で、画像取得処理部２０にて、毎フレーム全体画像を生成し、これを出力する。次の処理Ｓ７－２で、画像変換切出部２１では、時刻Ｔ＋ΔＴの全体画像に対し、角度φ１、幅ｗ’で切出し画像を生成する。そして、処理Ｓ７－３で、小容量の全体画像として、画像をダウンコンバートした全体画像を毎フレーム生成するか、もしくは、一部のフレームのみ使用した間引きフレームでの全体画像を生成する。次の処理Ｓ８で、処理Ｓ７－２で生成した高解像度の切出画像と、処理Ｓ７－３で生成した小容量全体画像をカメラ３から出力する。

（ステレオカメラの場合の座標変換）
第１の実施形態において、レーダ４のレーダ座標系、制御部２のグローバル座標系、カメラ３のカメラ座標系の座標変換について、ステレオカメラの場合を例に、図１１～図１８を参照して説明する。

図１１はステレオカメラの原理を説明する図である。左右のカメラ３の撮像面の位置ずれ（視差）を基に、画面全体で距離分布画像を生成する。距離Ｄは式（２）で算出する。
Ｄ＝Ｂ × f ／ Ｚ … 式（２）
ここで、Ｄ：距離、Ｂ：カメラの基線長、ｆ：カメラ焦点距離、Ｚ：撮像面の位置ずれ、である。

図１２は、標識のレーダ４の検知情報を用いて、時刻（Ｔ＋ΔＴ）での標識とカメラ３の相対座標を算出し、ステレオカメラのカメラ座標系へ変換する例を示している。図５で示した単眼カメラとは、カメラ３で標識の距離を扱う点が異なる。

まず、レーダ４のレーダ座標系で、時刻Ｔ、距離（ｄ１）、角度（θ１）で標識を検知したと仮定する。レーダ座標変換部３３にて、レーダ座標系からグローバル座標系に変換される。制御部２は、自車両の時刻Ｔのグローバル座標は把握しているので、変換された相対座標（ｘ１、ｙ１、ｚ１）を用いて標識の座標（ｘ、ｙ、ｚ）をプロットすることができる。自車両は、車両情報の例えば、車速Ｖや加速度αを用いて、時刻Ｔ＋ΔＴの座標を計算することができる。標識の座標（ｘ、ｙ、ｚ）と時刻Ｔ＋ΔＴの自車両の座標から相対座標（ｘ２、ｙ２、ｚ２）を算出する。このとき、時刻Ｔ＋ΔＴでは、自車両と標識の相対座標での距離よりカメラ３が検知できる領域にあるとする。

そして、グローバル座標系の相対座標（ｘ２、ｙ２、ｚ２）をカメラ座標系に変換すると、時刻Ｔ＋ΔＴで角度φ１の方向で表される。ステレオカメラは画素単位での距離を示す視差画像を有しており、画素単位で距離がわかる。そこで、画像の角度φ１の部分と視差画像を重ねることにより、距離（ｄ２）の部分画像を導出することができる。

（ステレオカメラの場合の切り出す画像の幅）
第１の実施形態のシステムにおいて、ステレオカメラで切り出す画像の幅ｗ’をどのように定めるかについて説明する。
図１３は、第１の実施形態のステレオカメラ向けの画像幅の指定の例を示す図である。 図１３に示すように、レーダ４が時刻Ｔに、距離ｄ、角度θ１で検知した標識（立体物）の幅がｗであると仮定する。カメラ３は時刻Ｔ＋ΔＴで標識（立体物）を検知する場合、レーダ４とカメラ３では、検知した時刻が異なるので、標識（立体物）への角度、距離だけでなく、幅ｗ’も異なる。

立体物の幅が決まっている場合、図８に示したようにカメラ画像の距離と幅（ピクセル数）の関係をテーブルとして表すか、式（１）のように、レーダ４の幅とレーダ距離、カメラ距離の関係から算出してもよい。カメラ時刻座標計算部３１により、図８に示したテーブルを参照し、または式（１）でカメラの画像での幅ｗ’を算出する。

（ステレオカメラの場合の画像の切り出し）
第１の実施形態において、ステレオカメラで距離を考慮して、どのように画像を切り出すかについて説明する。
図１４は、第１の実施形態のステレオカメラによる画像切出しを説明する図である。制御部２から、切出画像の情報として、時刻Ｔ＋ΔＴ、角度φ１、距離ｄ２、幅ｗ’、識別子ＩＤ＝１の情報を受け取る。画像取得処理部２０にて、全体画像を毎フレーム生成する。視差画像を視差画像生成部２００にて毎フレーム生成する。

画像変換切出部２１では、低解像度の全体画像、または一部のフレームのみ使用した間引きフレームでの全体画像に加え、切出し画像を生成する。時刻Ｔ＋ΔＴの全体画像と視差画像を使用する。距離探索部２１０にて、角度φ１の領域のうち、距離ｄ２となる部分を探索し、一致した点を中心に幅ｗ’の領域とする。距離探索部で、距離ｄ２、幅ｗ’の領域を全体画像から切り出すことで、切出し画像を生成する。

図１５は、ステレオカメラによる画像切出しの処理を示すフローチャートである。このフローチャートは図４の処理Ｓ７の詳細を示す。
制御部２は、処理Ｓ６で、図４で述べたと同様に、切出画像の情報として、時刻Ｔ＋ΔＴ、識別子ＩＤ＝１、角度φ１、距離ｄ２、幅ｗ’の情報を出力する。

次に、処理Ｓ７－１０で、画像取得処理部２０にて、全体画像と、視差画像生成部２００にて視差画像を毎フレーム生成し、出力する。次の処理Ｓ７－１１で、画像変換切出部２１では、距離探索部２１０にて、時刻Ｔ＋ΔＴの視差画像に対し、角度φ１で距離ｄ２となる範囲を探索し、領域を見つける。そして、処理Ｓ７－１２で、この領域に対し、幅をｗ’として、全体画像から切出し画像を生成する。次の処理Ｓ７－１３で、小容量の全体画像として、画像をダウンコンバートした全体画像を毎フレーム生成するか、もしくは、一部のフレームのみ使用した間引きフレームでの全体画像を生成する。そして、処理Ｓ８で、処理Ｓ７－１２で生成した高解像度の切出画像と、処理Ｓ７－１３で生成した小容量全体画像をカメラ３から出力する。
以上のように、単眼カメラの場合は、特定の時刻Ｔ＋ΔＴに、角度φ１と幅ｗ’の切出し画像、ステレオカメラの場合は、更に距離ｄ２も含めた切出し画像を生成する。

第１の実施形態によれば、走行する車両から撮像された画像データの伝送において、伝送帯域を削減することができ、高価なケーブルや高価な通信部品を必要とせず、システムコストを削減できる。

［第２の実施形態]
第２の実施形態では、第１の実施形態に対し、レーダ４で検知した立体物が移動体か静止物かを判定し、移動体と静止物でカメラ３から切出す画像の大きさや送信間隔を変える例について説明する。
レーダ４の初期認識の立体物を一定の時間追跡し、自車の車速、舵角、ヨーレート等の車両情報と比較することにより、該当する立体物が自車の移動量に応じた座標移動であれば静止物、自車の移動量と異なる移動を行う場合は移動体と判定することができる。

移動体の場合、カメラ３での切出し画像では、該当する立体物の移動量を踏まえて切出し画像を生成する。画像サイズを大きくするなどマージンを含めてもよい。静止物は、自車の移動のみとなるため、画像サイズに対するマージンは少なくてよい。カメラ３から制御部２への切出し画像の送信間隔も移動体は送信間隔を短く、静止物の切出し画像の送信間隔は長くしてよい。例えば、移動体は毎フレーム切り出すが、静止物は数フレームに１回でよい。

図１６は、第２の実施形態における車載電子制御装置１を搭載した車両の構成を示すブロック図である。第１の実施形態と同一箇所には同一の符号を付してその説明を省略する。
第１の実施形態と異なり、認識部４１内に、移動体静止物判定部７１を設ける。移動体静止物判定部７１では、レーダ４の検知結果をトラッキングし、自車の移動情報との差分から移動体、静止物の判定を行い、移動体は自車に対する相対速度と方向を算出する。
立体物計算部４５は、移動体、静止物それぞれで切出し画像の送信間隔を定め、移動体の場合は、移動の相対速度と方向から切り出す角度と距離を算出する。

カメラ時刻座標計算部３１は、車両座標系からカメラ座標系に座標変換を行い、カメラ３に出力する。カメラ３には時刻、識別子、角度、距離、幅を指示情報７６として送信する。
カメラ３は、小容量の全体画像と、制御部２からの指示情報７６に従って、切り出した高解像度画像とを送信する。第１の実施形態と同じく、単眼カメラでは角度、ステレオカメラでは角度、距離情報を用いて切出画像を生成する。

図１７は、第２の実施形態における相対座標算出と座標変換の例を示す図である。図１７を参照して、立体物が移動体か静止物を判定し、自車両に対する相対座標を算出する動作について説明する。図１７では、レーダ４の立体物の検知情報を用いて、移動体かどうかを判断し、時刻（Ｔ＋ΔＴ）での立体物とカメラ３の相対座標を算出し、カメラ座標系へ変換する例を示している。

まず、レーダ４のレーダ座標系で、立体物情報をレーダ４のサンプリング周期で複数回取得しておく。例えば、時刻Ｔの前に、時刻Ｔ’、Ｔ”で立体物の相対座標を取得しておく。そして、時刻Ｔ’、Ｔ”、Ｔの情報を用いて、移動体かどうかを判定し、時刻Ｔ＋ΔＴの相対位置を予測する。

レーダ座標変換部３３にて、レーダ４で検知した時刻Ｔ’、Ｔ”、Ｔの立体物の座標をレーダ座標系からグローバル座標系に変換する。制御部２は、各時刻の自車両のグローバル座標を把握しているので、相対座標、例えば、時刻Ｔの相対座標（ｘ１、ｙ１、ｚ１）を用いて、自車両の座標と立体物の座標をグローバル座標系にプロットできる。同じように、時刻Ｔ’、Ｔ”の立体物の座標をグローバル座標系にプロットできる。時刻Ｔ’、Ｔ”または時刻Ｔ”、Ｔからベクトルｖ、あるいは単位時間当たりのベクトルを算出でき、これにより時刻Ｔ＋ΔＴの立体物のグローバル座標系の座標を求める。

車両情報（車速Ｖ、加速度α）を用いて自車両の時刻Ｔ＋ΔＴのグローバル座標系の座標を算出するので、時刻Ｔ＋ΔＴの立体物と自車両の座標から相対座標（ｘ３、ｙ３、ｚ３）を算出できる。時刻Ｔ＋ΔＴの自車両に対する立体物の相対座標がわかれば、カメラ時刻座標計算部３１でカメラ座標系へ座標変換を行うと、角度φ２が得られる。

図１８は、第２の実施形態における座標変換の処理を示すフローチャートである。図１７の立体物が移動体か静止物を判定し、自車両に対する相対座標を算出する動作を示す。第１の実施形態で示した図４のフローチャートにおいて、立体物計算部４５での処理Ｓ４に移動体用の処理が追加されたものである。なお、その他の処理は、図４で示したフローチャートと同様の処理を行う。

図１８の処理Ｓ３において、レーダ座標変換部３３は、レーダ４で検知した立体物が、移動体か静止物であるかどうかを判定するために、レーダ４が検知した時々刻々の結果をグローバル座標系の座標算出を行なう。このため、繰り返し処理を行っている。例として、時刻Ｔ’、Ｔ”、Ｔの情報を使用する。制御部２内のレーダ座標変換部３３にて、時刻Ｔ’、Ｔ”、Ｔのレーダ座標系の自車両から立体物への相対座標からグローバル座標系の相対座標に座標変換される。

自車両の位置に関して、各時刻Ｔ’、Ｔ”、Ｔのグローバル座標系の座標情報を有している。そこで、次の処理Ｓ４－１０では、自車両から立体物への相対座標から自車両の座標の差分をとると、立体物のグローバル座標系の座標を算出する。時刻Ｔ’の座標（Ｘａ、Ｙａ、Ｚａ）、時刻Ｔ” の座標（Ｘｂ、Ｙｂ、Ｚｂ）、時刻Ｔの座標（Ｘｃ、Ｙｃ、Ｚｃ）を算出する。

次に、処理Ｓ４－１１で、立体物計算部４５にて、例として挙げた時刻３点Ｔ’、Ｔ”、Ｔの座標のうち、２点の座標を用いて、座標の差分と時間差分から単位時間当たりの移動ベクトルｖ→を求める。
移動ベクトルｖ→がゼロのときは静止物、ゼロでないときは移動体となる。処理Ｓ４－１２で、移動体のときは毎フレーム、静止物のときは数フレームに１回のようにカメラ３への指示の送信間隔を長くするよう、送信間隔計算を行なう。

自車両の車両情報（車速、加速度、操舵角等）と、立体物の単位時間の移動ベクトルから、車両と立体物の座標が予測できる。処理Ｓ４－１３で、カメラ３の検知距離を例えば、１００ｍとすると、予測した立体物の座標から半径１００ｍの地点に入る車両の予想時刻を算出する。この時刻をＴ＋ΔＴとする。時刻をカメラ３のフレーム周期に正規化することもできる。

次に、処理Ｓ４－１４で、時刻Ｔ＋ΔＴを定めると、自車両の位置は車両情報から予測でき、自車両の予測座標と、単位時間の移動ベクトルｖ→から立体物の座標が予測できるので、それらの座標から差分をとり、自車両と立体物の相対座標（ｘ３、ｙ３、ｚ３）を計算する。

そして、処理Ｓ５で、カメラ時刻座標計算部３１にて、時刻Ｔ＋ΔＴの相対座標（ｘ３、ｙ３、ｚ３）をカメラ座標系に座標変換し、角度φ２、距離ｄ２を得る。
図１８のフローチャートでは省略しているが、時刻Ｔ＋ΔＴの後、送信間隔に従って、立体物計算部４５で自車両と立体物の相対座標を計算し、カメラ時刻座標計算部３１にて、カメラ座標系の座標変換を行なう。

第２の実施形態によれば、走行する車両から撮像された画像データの伝送において、移動体と静止物でカメラ３から切出す画像の大きさや送信間隔を変えるので、制御部２との間の伝送帯域を削減することができ、高価なケーブルや高価な通信部品を必要とせず、システムコストを削減できる。

［第３の実施形態]
第１の実施形態、第２の実施形態では、カメラ３の切出画像に対し、カメラ３以外のレーダ４などのセンサの情報を用いて必要なデータを特定した。第３の実施形態では、カメラ３以外のセンサの情報を使用せず、カメラ３で切出画像を選択する。

図１９は、カメラ３により認識された例を示す。カメラ３で認識した全ての立体物を制御部２に送信すると数が多いため、選択を行う。例えば、内容が識別できていないが標識らしき立体物８１、レーンに進入してくる車両８２や、新規に検知した歩行者８７をカメラ３側で選別し、識別ＩＤと時刻、極座標の角度φや、ステレオカメラ３では更に立体物の距離の情報を切出し画像に付加して、制御部２に送信する。制御部２から送信するようカメラ３に指示があった立体物に関して、例えば、標識らしき立体物８１、レーンに進入してくる車両８２は、継続してカメラ３から切出画像を送信する。このように、カメラ３で選択した画像、制御部２から要求のあった画像を切出して、カメラ３から制御部２に切出し画像を送信する。

図２０は、第３の実施形態における車載電子制御装置１を搭載した車両の構成を示すブロック図である。第１の実施形態と同一箇所には同一の符号を付してその説明を省略する。
第１の実施形態、第２の実施形態と異なる点は、カメラ３自体も認識処理を行うので、カメラ認識部２２と認識管理テーブル２３を設けていることと、カメラ３と制御部２どちらも、カメラ３から出力する認識ＩＤを基に管理をすることである。制御部２からカメラ３にＩＤを指定することにより、車両が走行して立体物が移動されていても、カメラ３はカメラ認識部２２による立体物の追跡（トラッキング）により、正確な立体物の位置を把握して、指定されたＩＤに対応する立体物の画像データを送信することができる。

図２１は認識管理テーブル２３の例を示す図である。認識管理テーブル２３は、フレーム番号２３１、認識ＩＤ２３２、角度２３３、距離２３４、画面座標２３５、画面サイズ２３６を保存する。そして、毎フレームで認識管理テーブル２３内のデータを更新する。図２１では、変化が分かるように、Ａ→Ｂと記述したが、実際は、フレーム番号１００のフレームは“Ａ”のデータのみ、フレーム番号１０１のフレームは“Ｂ”のデータのみ記載される。認識ＩＤ＝８７は、フレーム番号１０１のフレームで初めて認識管理テーブル２３に登録される場合を示す。また、車両が走行している場合は、毎フレームで認識管理テーブル２３の情報の内容が変わる。

図２２は、カメラ３による切出し画像生成の処理を示すフローチャートである。
処理Ｓ２０では、制御部２から切出画像の要求として、時刻Ｔ、認識ＩＤ＝８１、８２がカメラ３に通知される。次の処理Ｓ２１で、カメラ３内の画像取得処理部２０で、制御部２から要求があった全体画像と視差画像を毎フレーム生成し、カメラ認識部２２へ出力する。そして、処理Ｓ２２で、カメラ認識部２２にて、トラッキングなど立体物の認識処理を行う。処理Ｓ２３で、認識処理の結果に基づいて、認識管理テーブル２３の内容を毎フレーム更新する。カメラ認識部２２は立体物を認識処理して認識管理テーブル２３を更新しているので、走行している車両から立体物８１や車両８２の位置を特定できる。

処理Ｓ２４で、制御部２から時刻Ｔ、認識ＩＤの指定があり、時刻が指定された時刻Ｔになると、処理Ｓ２５へ進み、画像変換切出し部で、認識管理テーブル２３の情報を元に、画面座標、画面サイズで立体物の切出し画像を生成する。

処理Ｓ２６では、小容量の全体画像として、画像をダウンコンバートした全体画像を毎フレーム生成するか、もしくは、一部のフレームのみ使用した間引きフレームでの全体画像を生成する。以下、制御部２から時刻Ｔ、認識ＩＤの指定がある毎に、処理Ｓ２４以下の処理を繰り返す。そして、処理Ｓ２７において、処理Ｓ２５で生成された高解像度の切出画像と、処理Ｓ２６で生成された小容量全体画像を認識ＩＤを付加してカメラ３から出力する。制御部２は、高解像度の部分画像のうち、認識部４１の部分認識部４３の認識処理のために継続して必要かどうかを判断する。以下、処理Ｓ２０で述べたように、制御部２は、継続して認識処理が必要と判断した場合に、切出画像の要求として、部分画像データの認識ＩＤをカメラに通知する。

第３の実施形態によれば、走行する車両から撮像された画像データの伝送において、カメラ３で認識した全ての立体物を制御部２へ逐次送信する必要がなくなるので、制御部２との間の伝送帯域を削減することができ、高価なケーブルや高価な通信部品を必要とせず、システムコストを削減できる。

以上説明した実施形態によれば、次の作用効果が得られる。
（１）車載電子制御装置１は、立体物を検知するセンサ（レーダ４）と、車両が走行した場合に、センサで立体物が検知された時刻から経過した所定時刻における立体物の位置を求める制御部２と、上記位置における所定時刻に、立体物を撮像した画像データを制御部２へ出力する撮像装置（カメラ３）とを備えた。これにより、走行する車両から撮像された画像データの伝送において、伝送帯域を削減することができ、高価なケーブルや高価な通信部品を必要とせず、システムコストを削減できる。

（２）立体物を撮像する撮像装置（カメラ３）と撮像装置（カメラ３）で撮像された立体物の画像データに基づいて認識処理を行う制御部２とを備えた車載電子制御装置１において、撮像装置（カメラ３）は、車両の走行に伴って立体物を認識し、認識した立体物の画像データを対応する識別番号により管理し、制御部２より識別番号が通知された場合に、識別番号に対応する立体物の高解像度の部分画像を生成し、生成した画像データおよび識別番号を制御部２へ出力し、制御部２は、認識処理に必要な画像データの識別番号を撮像装置（カメラ３）に通知する。これにより、走行する車両から撮像された画像データの伝送において、伝送帯域を削減することができ、高価なケーブルや高価な通信部品を必要とせず、システムコストを削減できる。

本発明は、上記の実施形態に限定されるものではなく、本発明の特徴を損なわない限り、本発明の技術思想の範囲内で考えられるその他の形態についても、本発明の範囲内に含まれる。また、上述の実施形態を組み合わせた構成としてもよい。

１・・・車載電子制御装置
２・・・制御部
３・・・カメラ
４・・・レーダ
１０・・・車両
１１・・・センサインターフェース部
１２・・・統合認識部
１３・・・解析部
１４・・・経路計画部
２０・・・画像取得処理部
２１・・・画像変換切出部
２３・・・認識管理テーブル
３１・・・カメラ時刻座標計算部
３２・・・カメラ座標変換部
３３・・・レーダ座標変換部
４１・・・認識部
４２・・・全体認識部
４３・・・部分認識部
４４・・・ローカルダイナミックマップ（ＬＤＭ）
４５・・・立体物計算部
４６・・・経路計算部
７１・・・移動体静止物判定部

Claims (10)

1. 車両に搭載される車載電子制御装置であって、
   立体物を検知するセンサと、
   前記車両が走行した場合に、前記センサで前記立体物が検知された検知時刻から所定時間を経過した撮像時刻における前記立体物の位置を求める制御部と、
   前記撮像時刻に前記立体物を撮像した画像データを前記制御部へ出力する撮像装置と、を備え、
   前記センサは、レーダであり、前記検知時刻と、前記検知時刻における前記レーダに対する前記立体物の位置を表す第１の座標とを、前記制御部へ出力し、
   前記制御部は、前記レーダから入力された前記検知時刻と前記第１の座標に基づいて、前記撮像時刻における前記立体物の位置を求めて、前記撮像時刻と、前記撮像時刻における前記撮像装置に対する前記立体物の位置を表す第２の座標とを、前記撮像装置へ出力し、
   前記撮像装置は、前記制御部から入力された前記撮像時刻と前記第２の座標を用いて、前記立体物を撮像する車載電子制御装置。
2. 請求項１に記載の車載電子制御装置において、
   前記レーダは、所定の時間間隔で前記立体物の検知を複数回行い、
   前記制御部は、前記レーダによる複数回の前記立体物の検知結果と前記車両の移動量とを比較して、前記立体物が移動体であるか否かを判定し、
   前記撮像装置は、前記制御部による前記立体物が移動体であるか否かの判定結果に応じて、前記画像データを前記制御部へ出力する送信間隔を設定する車載電子制御装置。
3. 車両に搭載される車載電子制御装置であって、
   立体物を検知するセンサと、
   前記センサによる前記立体物の検知結果と前記車両の移動量とを比較して、前記立体物が移動体であるか否かを判定する制御部と、
   前記立体物を撮像した画像データを前記制御部へ出力する撮像装置と、を備え、
   前記撮像装置は、前記制御部による前記立体物が移動体であるか否かの判定結果に応じて、前記画像データを前記制御部へ出力する送信間隔を設定する車載電子制御装置。
4. 請求項２または３に記載の車載電子制御装置において、
   前記撮像装置は、前記制御部により前記立体物が移動体であると判定された場合には、前記画像データを前記制御部へ出力する送信間隔を短くし、前記制御部により前記立体物が静止物であると判定された場合には、前記画像データを前記制御部へ出力する送信間隔を長くする車載電子制御装置。
5. 請求項１から請求項３までのいずれか一項に記載の車載電子制御装置において、
   前記撮像装置が前記制御部へ出力する前記画像データはローデータである車載電子制御装置。
6. 請求項１から請求項３までのいずれか一項に記載の車載電子制御装置において、
   前記撮像装置は、前記立体物を撮像した部分画像と、前記部分画像よりも広い範囲を撮像した前記部分画像よりも低解像度または低フレームレートの全体画像とを生成し、生成した前記部分画像および前記全体画像にそれぞれ基づく前記画像データを前記制御部へ出力する車載電子制御装置。
7. 請求項１から請求項３までのいずれか一項に記載の車載電子制御装置において、
   前記制御部は、前記撮像装置より出力された前記画像データに基づいて前記立体物を認識する車載電子制御装置。
8. 車両に搭載される車載電子制御装置であって、
   立体物を撮像するとともに前記立体物に対する第１の認識処理を行う撮像装置と、
   前記撮像装置で撮像された前記立体物の画像データに基づいて前記立体物に対する第２の認識処理を行う制御部と、を備え、
   前記撮像装置は、前記第１の認識処理により、前記車両の走行に伴って複数の前記立体物を認識し、認識した複数の前記立体物の各々に対して固有の識別番号を設定することで、各立体物の認識結果を前記識別番号により管理し、
   前記制御部は、撮像時刻と、複数の前記立体物のうちいずれかの立体物に対して設定された前記識別番号とを、前記撮像装置に通知し、
   前記撮像装置は、前記制御部より前記撮像時刻および前記識別番号が通知された場合に、前記撮像時刻における複数の前記立体物の撮像画像から当該識別番号に対応する前記立体物の高解像度の部分画像を生成し、生成した前記部分画像に基づく画像データを前記制御部へ出力し、
   前記制御部は、前記撮像装置から入力された前記画像データに基づいて、前記第２の認識処理を行う車載電子制御装置。
9. 請求項８に記載の車載電子制御装置において、
   前記撮像装置が前記制御部へ出力する前記画像データはローデータである車載電子制御装置。
10. 請求項８または請求項９に記載の車載電子制御装置において、
    前記撮像装置は、前記部分画像と、前記部分画像よりも広い範囲を撮像した前記部分画像よりも低解像度または低フレームレートの全体画像とを生成し、生成した前記部分画像および前記全体画像にそれぞれ基づく前記画像データを前記制御部へ出力する車載電子制御装置。

Images