WO2020196676A1 - 画像処理装置、車両制御装置、および方法、並びにプログラム - Google Patents

Abstract

位置信頼度が低いオブジェクトを拡大表示オブジェクトとした２次元マップやサラウンドビュー画像を生成する装置、方法を提供する。車両の周囲を撮影するカメラの撮影画像を入力して、車両周囲のオブジェクトを含む２次元マップを生成するデータ処理部を有する。データ処理部は、位置信頼度が低いオブジェクトについてオブジェクト周囲に広がる拡大領域を設定した拡大表示オブジェクトを含む２次元マップやサラウンドビュー画像を生成する。データ処理部は、予め規定した像高しきい値以上の像高を有するオブジェクトを位置信頼度が低いオブジェクトと判定し、像高しきい値以上の像高を有さないオブジェクトを位置信頼度が高いオブジェクトと判定する。

Description

画像処理装置、車両制御装置、および方法、並びにプログラム

　本開示は、画像処理装置、車両制御装置、および方法、並びにプログラムに関する。具体的には例えば車両に取り付けたカメラの撮影画像から様々な障害物を検出し、安全な走行を実現する画像処理装置、車両制御装置、および方法、並びにプログラムに関する。

　近年、車両周辺をカメラ撮影画像で確認しながら自動駐車を行わせるソフトウェアプログラムである自動駐車アプリケーションを搭載した車両が多く利用されている。
　自動駐車アプリケーションで使用される車載カメラは一般的に、魚眼レンズ等を備えた画角が１８０度程度の広角カメラである。車両の周辺４か所に搭載された車載カメラ映像を合成することによって、自車の３６０°の周辺画像を取得して、画像から全周囲の障害物を検出する。

　自動駐車アプリケーションは、例えば、車載カメラによって得られた画像から、車両周辺の駐車枠や障害物（車両・歩行者・縁石・車止めなど）のオブジェクトの位置を解析し、解析位置情報に基づいてメモリ上のマップにこれらのオブジェクトを配置し、車両が障害物に接触せずに正確に駐車枠内に駐車できるように走行ルートを決定して車両を走行させる制御を実行する。

　しかし、車両に搭載したカメラが高温状態、あるいは低温状態になると、カメラのレンズに歪みが発生する。この結果いわゆるレンズ像高特性が変化し、画像中のオブジェクト撮影位置にずれが発生する。このような画像を用いたオブジェクト位置解析を行うと正確な位置データが得られないという問題が発生する。

　なお、温度変化による誤差発生画像の補正処理を行う構成を開示した従来技術として、例えば特許文献１（特開２００９－２５０７８５号公報）がある。
　この特許文献１は、複眼レンズを用いて被写体までの距離を計測する構成において、２つのレンズの間隔に相当する基線長の変化を計測して、計測された基線長変化量に基づいて被写体距離の補正を行う構成を開示している。

　しかし、この文献に記載の手法は、複眼レンズを用いて被写体距離を計測する構成に特化した手法であり、複眼レンズではない車載カメラの撮影画像の補正には適用できない。

特開２００９－２５０７８５号公報

　本開示は、車両に搭載したカメラのレンズが温度変化により歪みが発生した場合でも、撮影画像内のオブジェクトに対する車両の接触や衝突を防止して安全に走行することを可能とした画像処理装置、車両制御装置、および方法、並びにプログラムを提供することを目的とする。

　本開示の第１の側面は、
　車両の周囲を撮影するカメラの撮影画像を入力して、車両周囲のオブジェクトを含む２次元マップを生成するデータ処理部を有し、
　前記データ処理部は、
　前記２次元マップ内のオブジェクト中、位置信頼度が低いオブジェクトについてオブジェクト周囲に広がる拡大領域を設定した拡大表示オブジェクトを含む２次元マップを生成する画像処理装置にある。

　さらに、本開示の第２の側面は、
　車両の周囲を撮影するカメラの撮影画像を入力して、車両周囲のオブジェクトを含む２次元マップを生成するデータ処理部と、
　前記データ処理部の生成した２次元マップを参照して走行ルートを決定して車両を走行させる制御を実行する車両制御部を有し、
　前記データ処理部は、
　前記２次元マップ内のオブジェクト中、位置信頼度が低いオブジェクトについてオブジェクト周囲に広がる拡大領域を設定した拡大表示オブジェクトを含む２次元マップを生成し、
　前記車両制御部は、
　前記２次元マップに配置された拡大表示オブジェクトに接触しない走行ルートを選択して車両を走行させる制御を実行する車両制御装置にある。

　さらに、本開示の第３の側面は、
　画像処理装置において実行する画像処理方法であり、
　前記画像処理装置は、車両の周囲を撮影するカメラの撮影画像を入力して、車両周囲のオブジェクトを含む２次元マップを生成するデータ処理部を有し、
　前記データ処理部が、
　前記２次元マップ内のオブジェクト中、位置信頼度が低いオブジェクトについてオブジェクト周囲に広がる拡大領域を設定した拡大表示オブジェクトを含む２次元マップを生成する画像処理方法にある。

　さらに、本開示の第４の側面は、
　車両制御装置において実行する車両制御方法であり、
　前記車両制御装置は、
　車両の周囲を撮影するカメラの撮影画像を入力して、車両周囲のオブジェクトを含む２次元マップを生成するデータ処理部と、
　前記データ処理部の生成した２次元マップを参照して走行ルートを決定して車両を走行させる制御を実行する車両制御部を有し、
　前記データ処理部が、
　前記２次元マップ内のオブジェクト中、位置信頼度が低いオブジェクトについてオブジェクト周囲に広がる拡大領域を設定した拡大表示オブジェクトを含む２次元マップを生成し、
　前記車両制御部が、
　前記２次元マップに配置された拡大表示オブジェクトに接触しない走行ルートを選択して車両を走行させる制御を実行する車両制御方法にある。

　さらに、本開示の第５の側面は、
　画像処理装置において画像処理を実行させるプログラムであり、
　前記画像処理装置は、車両の周囲を撮影するカメラの撮影画像を入力して、車両周囲のオブジェクトを含む２次元マップを生成するデータ処理部を有し、
　前記プログラムは、前記データ処理部に、
　前記２次元マップ内のオブジェクト中、位置信頼度が低いオブジェクトについてオブジェクト周囲に広がる拡大領域を設定した拡大表示オブジェクトを含む２次元マップを生成させるプログラムにある。

　さらに、本開示の第６の側面は、
　車両制御装置において車両制御処理を実行させるプログラムであり、
　前記車両制御装置は、
　車両の周囲を撮影するカメラの撮影画像を入力して、車両周囲のオブジェクトを含む２次元マップを生成するデータ処理部と、
　前記データ処理部の生成した２次元マップを参照して走行ルートを決定して車両を走行させる制御を実行する車両制御部を有し、
　前記プロクラムは、前記データ処理部に、
　前記２次元マップ内のオブジェクト中、位置信頼度が低いオブジェクトについてオブジェクト周囲に広がる拡大領域を設定した拡大表示オブジェクトを含む２次元マップを生成させ、
　前記車両制御部に、
　前記２次元マップに配置された拡大表示オブジェクトに接触しない走行ルートを選択して車両を走行させる制御を実行させるプログラムにある。

　なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。

　本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

　本開示の一実施例の構成によれば、位置信頼度が低いオブジェクトを拡大表示オブジェクトとした２次元マップやサラウンドビュー画像を生成する装置、方法が実現される。
　具体的には、例えば、車両の周囲を撮影するカメラの撮影画像を入力して、車両周囲のオブジェクトを含む２次元マップを生成するデータ処理部を有する。データ処理部は、位置信頼度が低いオブジェクトについてオブジェクト周囲に広がる拡大領域を設定した拡大表示オブジェクトを含む２次元マップやサラウンドビュー画像を生成する。データ処理部は、予め規定した像高しきい値以上の像高を有するオブジェクトを位置信頼度が低いオブジェクトと判定し、像高しきい値以上の像高を有さないオブジェクトを位置信頼度が高いオブジェクトと判定する。
　これらの構成により、位置信頼度が低いオブジェクトを拡大表示オブジェクトとした２次元マップやサラウンドビュー画像を生成する装置、方法が実現される。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。

サラウンドビューカメラシステムの概要について説明する図である。 カメラ撮影画像の変換処理の概要について説明する図である。 カメラ撮影画像の変換処理の概要について説明する図である。 カメラ撮影画像の変換処理の概要について説明する図である。 画像中のオブジェクト撮影位置にずれが発生する現象について説明する図である。 温度変化に伴うレンズ歪みの発生と像高のずれ量との相関について説明する図である。 温度変化に伴う像高のずれ量の発生状態を示すグラフについて説明する図である。 本開示の画像処理装置が実行する処理のシーケンスについて説明するフローチャートを示す図である。 本開示の２次元マップ（／サラウンドビュー画像）の具体例について説明する図である。 本開示の２次元マップ（／サラウンドビュー画像）の具体例について説明する図である。 本開示の２次元マップ（／サラウンドビュー画像）の具体例について説明する図である。 本開示の画像処理装置が実行する処理のシーケンスについて説明するフローチャートを示す図である。 本開示の２次元マップ（／サラウンドビュー画像）の具体例について説明する図である。 本開示の２次元マップ（／サラウンドビュー画像）の具体例について説明する図である。 本開示の画像処理システム（車両制御システム）の構成例について説明する図である。 本開示の画像処理システム（車両制御システム）のデータ処理装置の構成例について説明する図である。 本開示の画像処理システム（車両制御システム）のハードウェア構成例について説明する図である。

　以下、図面を参照しながら本開示の画像処理装置、車両制御装置、および方法、並びにプログラムの詳細について説明する。なお、説明は以下の項目に従って行う。
　１．サラウンドビューカメラシステムの概要について
　２．カメラ撮影画像の変換処理、および温度変化によるレンズ歪みとオブジェクト位置検出精度の低下について
　３．本開示の画像処理装置が実行する処理のシーケンスについて
　４．２次元マップを自動運転に利用する処理例について
　５．その他の実施例について
　６．画像処理システム（車両制御システム）の構成例について
　７．画像処理システム（車両制御システム）のハードウェア構成例について
　８．本開示の構成のまとめ

　　［１．サラウンドビューカメラシステムの概要について］
　まず、最近の車両に備えられたサラウンドビューカメラシステムの概要について説明する。

　図１は、サラウンドビューカメラシステムの概要について説明する図である。図の左に示す図は、サラウンドビューカメラシステムを備えた車両１０を示している。車両１０は、前後左右の４か所にカメラを装着している。図に示す前方カメラ１１、後方カメラ１２、左側面カメラ１３、右側面カメラ１４である。

　これらの各カメラは、例えば、魚眼レンズ等の広角レンズを持つカメラであり、より広い広角エリアを撮影できる。例えば、図に示す点線領域が各カメラの撮影領域であり、これらの４つのカメラの撮影画像を画像処理することで、車両上部から観察した画像を生成することができる。

　図１右側に示す画像は、画像処理の結果、生成される表示画像の例である。これを、運転席表示部に表示する。なお、この表示画像の中心の車両は仮想的なデータであり、カメラの撮影画像から取得されるものではない。
　車の周囲の画像が、４つのカメラによって撮影された画像に基づく画像処理によって生成された画像であり、この中心に自車両の画像を貼り合わせることで、あたかも上空から車両を観察したと同様の画像が生成される。

　この車上部からの仮想的な観察画像は「サラウンドビュー画像」、または「俯瞰画像」、あるいは「鳥瞰画像」等と呼ばれる。
　ドライバ（運転者）は、この画像を運転席のモニタ（表示部）を介して確認することが可能であり、車両の周囲の障害物等を確認しながら、安全な走行、例えばバック、あるいは駐車等の運転操作を行うことができる。

　また、ドライバ（運転者）に運転操作を行わせることなく、カメラ撮影画像を用いて車両周辺状況を自動解析して自動運転による駐車を行う自動駐車アプリケーションも利用されている。
　自動駐車アプリケーションは、例えば、上述した「サラウンドビュー画像」を解析して駐車枠や障害物（車両・歩行者・縁石・車止めなど）のオブジェクトの位置を判別する。さらに、判別した各オブジェクト位置をメモリ上のマップ＝「２次元マップ」に配置し、車両が障害物に接触せずに正確に駐車枠内に駐車できるように車両を制御して自動走行を行い、所定の駐車位置に車両を駐車させる。

　しかし、例えば、車両搭載カメラが高温状態、あるいは低温状態になるとカメラのレンズに歪みが発生する。この結果いわゆるレンズ像高特性が変化し、画像中のオブジェクト撮影位置にずれが発生する。

　このようなオブジェクト位置にずれが発生した画像を見ながら運転者が運転すると、障害物に接触する可能性がある。
　また、自動駐車アプリケーションも、オブジェクト位置を誤って検出し、自動運転の実行時に障害物に接触する可能性がある。

　　［２．カメラ撮影画像の変換処理、および温度変化によるレンズ歪みとオブジェクト位置検出精度の低下について］
　次に、カメラ撮影画像の変換処理、および温度変化によるレンズ歪みとオブジェクト位置検出精度の低下について説明する。

　まず、図２以下を参照してカメラ撮影画像の変換処理の概要について説明する。
　図１を参照して説明したように、車両１０には例えば前後左右の４方向を撮影するカメラが装着されており、これら４台のカメラ画像を合成して車両上部から観察した画像、すなわち、「サラウンドビュー画像」を生成することができる。

　各カメラは魚眼レンズ等の広角レンズを持つカメラであり、より広い広角エリアを撮影できる。例えば、図１に示す点線領域が各カメラの撮影領域であり、これらの４つのカメラの撮影画像を画像処理することで、車両上部から観察した画像を生成することができる。

　以下では、まず、各カメラの撮影画像とその変換処理について説明する。基本的には、各カメラの撮影画像と変換処理は同様の方法で実行される。以下では、代表例として、車両１０の後部に備えられた後方カメラ１２の撮影画像と変換処理例について説明する。
　後方カメラ１２は、例えば魚眼レンズ等の広角レンズを備えた広角レンズカメラであり、車両後方の広い領域の画像を撮影することができる。

　図２に示す例では、後方カメラ１２は、車両１０の後方の路面上のオブジェクトを撮影する。ここではオブジェクトとして垂直ポール３０を示している。この撮影画像が車両１０内の画像処理装置に入力され、画像処理装置において画像補正処理が実行され、車両上部から肉眼で見たと同様の画像（サラウンドビュー画像）が生成され、例えば運転席のモニタに表示される。

　なお、車両１０が利用するデータとしては、サラウンドビュー画像や、２次元マップ、自動運転制御用データ（高精細マップ等）の車両の周辺空間データがある。
　サラウンドビュー画像とは、複数の撮像装置からの複数の画像を合成したものであり、車両の周辺を表した画像である。鳥瞰画像はサラウンドビュー画像に含まれる。２次元マップは、車両周辺のオブジェクトの位置情報を含むデータである。２次元マップは、オブジェクトのサイズ情報や、車両からオブジェクトまでの距離情報を含んでもよい。高精細マップは、車両周辺の３次元空間を表すマップである。自動運転制御用データは、自動運転制御に用いられるデータで、高精細マップを含んでもよい。
　ここでは、車両の運転者に提示される表示用データとして、サラウンドビュー画像や２次元マップが用いられるとする。表示用データとして、高精細マップ等の自動運転制御用のデータを用いてもよい。また、走行制御用データは、車両の走行を制御するためのデータである。走行制御用データとして、高精細マップ等の自動運転制御用のデータや２次元マップが用いられる。
　以下の説明中の「サラウンドビュー画像」や、「２次元マップ」の記載は利用する画像の一例であり、「サラウンドビュー画像」の代わりに、「２次元マップ」を用いてもよいし、「２次元マップ」の代わりに「サラウンドビュー画像」を用いてもよい。
　また「サラウンドビュー画像」と「２次元マップ」の合成画像を用いてもよい。
　以下の説明中の記載「２次元マップ（／サラウンドビュー画像）」は、いずれの画像を用いてもよいことを意味する。また、２次元マップには２次元画像も含む。
　また、「自動運転制御用データ（高精細マップ等）」は、「サラウンドビュー画像」や、「２次元マップ」をベースに高精細化して生成する画像を用いてもよい。

　なお、前述したように、後方カメラ１２は、例えば魚眼レンズ等の広角レンズを備えた広角レンズカメラであり、車両後方の広い領域の画像を撮影することができる。
　ただし、広角レンズを用いて撮影される画像には歪みが発生する。

　具体的な歪みの例について図３以下を参照して説明する。
　図３に示すように、格子状の線が描かれた路面上の車両１０後方に多数の垂直ポール３０が林立した状態を後方カメラ１２が撮影するものとする。垂直ポール３０は、図２に示す垂直ポール３０と同様のポールであり、路面２０に対して垂直に立てられたポールである。
　これら多数の垂直ポール３０が林立した車両１０後方の画像を、広角レンズを備えた後方カメラ１２が撮影する。

　図４（１）が、撮影画像である。図４（１）に示すように、撮影画像上の路面の格子パターンは湾曲した歪みを有する。また、垂直ポール３０は、画像の周辺に近づくほど傾いて見える。
　これは、広角レンズを用いた撮影によって発生する画像の歪みである。

　図４（２）は、図４（１）の画像に対する歪み補正と、視点変換を行って生成した補正画像としての俯瞰画像である。
　画像処理装置は、上部から肉眼で観察したと同様の画像（俯瞰画像）を補正画像として生成する。
　車両の前後左右に備えられた４台のカメラで撮影された画像の俯瞰画像を生成して合成することで、先に図１を参照して説明したサラウンドビュー画像を生成することができる。

　しかし、カメラのレンズは、高温状態、あるいは低温状態になると歪みが発生する。この結果、いわゆるレンズ像高特性が変化し、画像中のオブジェクト撮影位置にずれが発生する。

　この現象について、図５以下を参照して説明する。
　図５（１）は、図４（１）を参照して説明したと同様、広角レンズを備えた後方カメラ１２が撮影した撮影画像である。
　この撮影画像上に後方カメラ１２のレンズ、すなわちカメラレンズ５０を重ねて示している。

　カメラのレンズは、例えばガラス、プラスチック等の材料が用いられる。ガラスレンズを利用した場合は温度変化による膨張、収縮率が小さいため、レンズ歪みの発生は無視できるレベルであるが、プラスチックレンズの場合、温度変化に伴う膨張、収縮率が大きく、大きなレンズ歪みが発生する。
　このレンズ歪みによる被写体撮影位置の位置ずれを示す指標として像高（Ｉｍａｇｅ　ｈｅｉｇｈｔ）ずれがある。

　像高（Ｉｍａｇｅ　ｈｅｉｇｈｔ）とは、光学系の評価面上で像位置を光軸からの距離で表した値である。
　レンズ歪みの発生に伴い、像高にもずれが発生し、結果としてカメラによって撮影されるオブジェクトの位置がずれることになる。このずれた画像に基づいてオブジェクト距離や位置を算出してオブジェクトを配置した２次元マップやサラウンドビュー画像を生成すると、実際とは異なる位置にオブジェクトが配置された２次元マップやサラウンドビュー画像が生成されてしまう。

　像高ずれは、レンズ歪みの大きさに伴って発生するが、温度変化に伴って発生するレンズ歪みは、レンズ内周領域では比較的小さく、外周領域において大きくなる傾向がある。
　図５（１）に示すように、レンズの中心領域に近い内周領域５１は、温度変化によるレンズ歪みが小さい領域である。
　一方、図５（１）に示すように、レンズの外周領域５２は、温度変化によるレンズ歪みが大きい領域である。
　この内周領域５１と外周領域５２を区分するラインを領域区分ライン６１として示している。

　図５（２）は、図５（１）に示すカメラ撮影画像を補正して生成した俯瞰画像である。この俯瞰画像において、領域区分ライン６１は、図５（１）に示す内周領域５１と外周領域５２を区分する領域区分ライン６１に対応するラインである。

　領域区分ライン６１の内側の領域が図５（１）に示す内周領域５１、すなわちレンズ中心部を介して撮影された画像領域に対応する。この領域にあるオブジェクトは、撮影画像位置の位置ずれが少なく、高精度の位置解析が可能となる。

　一方、領域区分ライン６１の外側の領域が図５（１）に示す外周領域５２、すなわちレンズ外周領域を介して撮影された画像領域に対応する。この領域にあるオブジェクトは、撮影画像位置の位置ずれが大きくなり、高精度の位置解析が困難となる。
　すなわち、この外周領域の撮影オブジェクトは、画像を用いた位置解析結果の信頼度が低いオブジェクトとなる。

　温度変化に伴うレンズ歪みの発生と像高のずれ量には相関がある。
　図６を参照して、温度変化に伴うレンズ歪みの発生と像高のずれ量との相関について説明する。
　前述したように、像高（Ｉｍａｇｅ　ｈｅｉｇｈｔ）とは、光学系の評価面上で像位置を光軸からの距離で表した値である。例えば、図６に示すような値が設定される。
　例えば、レンズ中心を像高＝０（ｄｅｇ）として、最外周部を像高＝２００（ｄｅｇ）とする。

　図７は、温度変化に伴う像高のずれ量の発生状態を示すグラフである。
　図７に示すグラフは、横軸に図６に示す像高（ｄｅｇ）、縦軸に像高のずれ量（ｄｅｇ）を設定したグラフであり、カメラ（レンズ）の温度変化による像高ずれの変化を示している。

　例えば、温度が常温、すなわち、温度＝２５度の場合、レンズ内周～外周、いずれの位置においてもレンズ歪みが少なく、像高のずれ量≒０であり、この温度での撮影画像のオブジェクトは撮影画像位置のずれがなく、高精度なオブジェクト位置の解析が可能となる。具体的には、撮影画像に基づいて生成した俯瞰画像内のオブシォクトは正しい位置に表示される。

　しかし、例えば温度＝５０度の場合、レンズ内周部では、像高ずれ量≒０であるが、レンズ外周部では、レンズ歪みが大きくなり、像高ずれ量が大きくなる。例えば、像高＝２００の位置、すなわちレンズのほぼ外周位置では像高のずれ量≒１（ｄｅｇ）となる。
　また、例えば温度＝７０度の場合、レンズ内周部では、像高ずれ量≒０であるが、レンズ外周部では、レンズ歪みがさらに大きくなり、像高ずれ量も大きくなる。例えば、像高＝２００の位置、すなわちレンズのほぼ外周位置では像高のずれ量≒１．７（ｄｅｇ）となる。

　このように像高ずれが大きいと、撮影画像に基づいて生成した俯瞰画像内のオブシォクトは正しい位置からずれた位置に表示される。

　レンズ歪みは、低温でも発生する。例えば温度＝０度の場合、レンズ内周部では、像高ずれ量≒０であるが、レンズ外周部では、レンズ歪みが大きくなり、像高ずれ量が大きくなる。例えば、像高＝２００の位置、すなわちレンズのほぼ外周位置では像高のずれ量≒－０．５（ｄｅｇ）となる。
　また、例えば温度＝７－２０度の場合、レンズ内周部では、像高ずれ量≒０であるが、レンズ外周部では、レンズ歪みがさらに大きくなり、像高ずれ量も大きくなる。例えば、像高＝２００の位置、すなわちレンズのほぼ外周位置では像高のずれ量≒－１．１（ｄｅｇ）となる。

　なお、温度変化に伴うレンズ歪み特性や像高特性は、カメラ構成やレンズによって異なるものである。
　本開示の画像処理装置は、例えば、車両に搭載したカメラについて、予め測定済みの特性情報（温度変化に伴うレンズ歪み特性や像高特性）を記憶部に格納し、記憶部に格納した特性情報を用いて、以下に説明する理を実行する。

　　［３．本開示の画像処理装置が実行する処理のシーケンスについて］
　次に、本開示の画像処理装置が実行する処理のシーケンスについて説明する。
　図８は、本開示の画像処理装置が実行する処理のシーケンスについて説明するフローチャートを示す図である。
　なお、図８に示すフローチャートに従った処理は、画像処理装置の記憶部に格納されたプログラムに従って、プログラム実行機能を有するＣＰＵ等を備えたデータ処理部の制御の下で実行可能である。
　以下、図８に示すフローの各ステップの処理について、順次、説明する。

　　（ステップＳ１０１）
　まず、ステップＳ１０１において、撮像部（カメラ）が画像を撮影する。例えば図１に示す車両１０に搭載されたカメラ１１～１４が画像を撮影する。

　なお、撮像部（カメラ）は、魚眼レンズ等の広角レンズを備えたカメラであり、例えば図４（１）や図５（１）に示す撮影画像を撮影する。

　　（ステップＳ１０２）
　次に、ステップＳ１０２において、ステップＳ１０１で撮像部（カメラ）が撮影した画像からのオブジェクト検出処理を実行し、オブジェクトを検出する。また、併せて画像中のオブジェクトの位置、オブジェクトの大きさが検出される。オブジェクト検出処理により、検出された未処理オブジェクト、すなわち、このフローに従った処理が実行されていない未処理オブジェクトＩＤが設定される。
　各オブジェクトには個別のＩＤが設定され、記憶部に記録される。

　　（ステップＳ１０３）
　次に、ステップＳ１０３において、各オブジェクトの距離、像高を算出する。この処理は、既存の手法で実行される。
　なお、これらの値の算出は、撮影画像に基づいて実行されるので、像高ずれの大きな領域では高精度の算出処理が実行できないことになる。

　　（ステップＳ１０４）
　次に、ステップＳ１０４において、画像を撮影したカメラ各々に備えられた温度センサから、各カメラの温度情報を取得する。

　　（ステップＳ１０５）
　次に、ステップＳ１０５において、温度センサから取得したカメラの温度が、予め規定したしきい値温度範囲内にあるか否かを判定する。
　しきい値温度範囲は、予め設定したしきい値温度範囲である。

　例えばしきい値温度範囲＝１０℃～３０°とする。このしきい値温度範囲は、レンズ歪みが少なく像高ずれ量も小さい温度範囲に設定される。

　先に図７に示すグラフを参照して説明したように、２５度近辺では、レンズ歪みが少なく像高ずれ量も小さく、この近辺の温度範囲をしきい値温度範囲とする。
　なお、このしきい値温度範囲は、利用するカメラやレンズの特性に応じて最適範囲を設定して利用することが好ましい。

　ステップＳ１０５の判定がＹｅｓ、すなわち、温度センサから取得したカメラの温度が予め規定したしきい値温度範囲内にあると判定した場合は、ステップＳ１１０に進む。
　この場合は、カメラやレンズが常温状態にある場合であり、レンズ歪みが小さく、レンズ外周でも大きな像高ずれが発生していないと判定される場合である。

　一方、ステップＳ１０５の判定がＮｏ、すなわち、温度センサから取得したカメラの温度が予め規定したしきい値温度範囲内（所定の第１の閾値と所定の第２の閾値の間）にないと判定した場合は、ステップＳ１０６に進む。
　この場合は、カメラやレンズが所定の第１の閾値よりも高温である高温状態、あるいは所定の第２の閾値よりも低温である低温状態にある場合であり、レンズ歪みが大きく、レンズ外周で大きな像高ずれが発生している可能性がある場合である。第１の閾値は第２の閾値より大きい。ただ、第１の閾値と第２の閾値を同じ値にしてもよい。

　　（ステップＳ１０６）
　ステップＳ１０５で、判定がＮｏ、すなわち、温度センサから取得したカメラの温度が予め規定したしきい値温度範囲内にないと判定した場合は、ステップＳ１０６に進む。

　前述したように、この場合は、カメラやレンズが高温状態、あるいは低温状態にある場合であり、レンズ歪みが大きく、レンズ外周で大きな像高ずれが発生している可能性がある場合である。

　この場合は、ステップＳ１０６において、画像内のオブジェクト（未処理オブジェクト）を順次、選択して、オブジェクト像高と、予め規定された像高しきい値との比較処理を実行する。
　なお、ステップＳ１０６～Ｓ１１０の処理は、画像内のオブジェクト（未処理オブジェクト）について、順次、繰り返し、あるいは並列に実行する。

　像高しきい値は、例えば、図５や図６に示す領域区分ライン６１に対応する像高として設定すればよい。
　すなわち、図５に示す温度変化に伴うレンズ歪みや像高ずれが小さい内周領域５１と、温度変化に伴うレンズ歪みや像高ずれが大きい外周領域５２との境界である領域区分ライン６１に対応する像高を像高しきい値とする。
　例えば、図６に示す例では、
　像高しきい値≒９０（ｄｅｇ）
　である。

　なお、この像高しきい値、すなわち、内周領域５１と外周領域５２との境界である領域区分ライン６１に対応する像高は、カメラやレンズによって異なるものである。画像処理装置は、車両に備えられたカメラやレンズに対応する像高しきい値をあらかじめ取得し記憶部に格納しておく。画像処理装置は、この格納データを用いて、ステップＳ１０６の処理を実行する。

　　（ステップＳ１０７）
　次に、画像処理装置は、ステップＳ１０７において、画像から選択したオブジェクトの像高が規定の像高しきい値以上であるか否かを判定する。
　選択オブジェクトの像高が規定の像高しきい値以上である場合は、ステップＳ１０８に進む。
　これは、選択オブジェクトが領域区分ライン６１の外側のオブジェクトである場合の処理である。

　一方、オブジェクトの像高が規定の像高しきい値以上でない場合は、ステップＳ１１０に進む。
　これは、選択オブジェクトが領域区分ライン６１の内側のオブジェクトである場合の処理である。

　　（ステップＳ１０８）
　ステップＳ１０７において、選択オブジェクトの像高が規定の像高しきい値以上であると判定した場合、すなわち、選択オブジェクトが領域区分ライン６１の外側のオブジェクトである場合は、ステップＳ１０８に進む。

　この場合、画像処理装置は、ステップＳ１０８において、選択オブジェクトの属性情報としての位置信頼度を低信頼度に設定する。
　この位置信頼度が低信頼度とする属性情報は、記憶部にオブジォクトＩＤに対応付けて記録される。

　　（ステップＳ１０９）
　次に、画像処理装置はステップＳ１０９において、
　位置信頼度が低信頼度とされたオブジェクトの大きさを拡大する処理、またはオブジェクトの周囲に信頼度に応じた幅／大きさの領域を注意領域として設定する処理を実行する。

　これは、具体的には、図９（２）に示す拡大表示オブジェクト７１や、図１０（３）に示す注意領域表示オブジェクト７３の表示データの生成処理である。
　この表示データについては後段で詳細に説明する。

　　（ステップＳ１１０）
　一方、ステップＳ１０７において、選択オブジェクトの像高が規定の像高しきい値以上でないと判定した場合、すなわち、選択オブジェクトが領域区分ライン６１の内側のオブジェクトである場合は、ステップＳ１１０に進む。

　また、ステップＳ１０５における判定がＹｅｓ、すなわち、温度センサから取得したカメラの温度が予め規定したしきい値温度範囲内にあると判定した場合も、ステップＳ１１０に進む。この場合は、カメラやレンズが常温状態にある場合であり、レンズ歪みが小さく、レンズ外周でも大きな像高ずれが発生していないと判定される場合である。

　これらの場合は、画像処理装置は、ステップＳ１１０において、選択オブジェクトの属性情報としての位置信頼度を高信頼度に設定する。
　この位置信頼度が高信頼度とする属性情報は、記憶部にオブジォクトＩＤに対応付けて記録される。
　ステップＳ１０８とステップＳ１１０の処理によって、すべてのオブジェクトに位置信頼度情報が設定される。

　　（ステップＳ１１１）
　最後に、画像処理装置は、ステップＳ１１１において、各オブジェクトを配置した２次元マップ（／サラウンドビュー画像）を生成して表示する。
　例えば、運転席のモニタに表示する。
　なお、ステップＳ１１１の処理の後は、ステップＳ１０１に戻り、処理を繰り返す。

　ステップＳ１１１において生成する表示画像の例について図９を参照して説明する。
　図９には、以下の２つの画像表示例を示している。
　（１）従来の２次元マップ（／サラウンドビュー画像）
　（２）本開示の２次元マップ（／サラウンドビュー画像）

　（１）従来の２次元マップ（／サラウンドビュー画像）は、車両後方のポールがすべて実際の大きさを反映した画像として表示される。
　なお、画像内に示す領域区分ライン６１は、表示データではなく、参考のために示したラインである。

　領域区分ライン６１は、先に図５を参照して説明した領域区分ライン６１に相当する。すなわち、領域区分ライン６１は、図５を参照して説明した内周領域５１と外周領域５２を区分する領域区分ライン６１に相当するラインである。

　領域区分ライン６１の内側はレンズ中心部を介して撮影された画像領域に対応する。この領域にあるオブジェクトは、撮影画像位置の位置ずれが少なく、高精度の位置解析が可能となる。
　一方、領域区分ライン６１の外側は、レンズ外周領域を介して撮影された画像領域に対応する。この領域にあるオブジェクトは、撮影画像位置の位置ずれが大きくなり、高精度の位置解析が困難となる。

　すなわち、この外周領域のオブジェクトは、この図９（１）に示す俯瞰画像の表示位置に確実に存在するとは言えない信頼度が低いオブジェクトとなる。
　このような位置信頼度の低いオブジェクトをこのまま表示し、運転者がこの表示画像を見ながら車両を運転する場合、運転者は、表示画像を踏まえてオブジェクト（ポール）に接触しないようにオブジェクト（ポール）に対して十分な間隔をあけて運転したつもりであっても、実際に、はオブジェクト（ポール）に接触したりオブジェクト（ポール）に接触しそうになるほど近くを通過したりという結果になる危険性がある。

　このような危険を回避するための表示画像が、図９（２）に示す、
　（２）本開示の２次元マップ（／サラウンドビュー画像）
　である。
　この画像は、図８に示すフローに従って生成される画像である。

　図９（２）に示す画像において、領域区分ライン６１の内側領域、すなわち、レンズ中心部を介して撮影された画像領域に対応する内側領域のオブジェクト（ポール）は、（１）に示す従来画像と同様の表示処理がなされた通常表示オブジェクト７２である。通常表示オブジェクト７２は、実際のオブジェクトの大きさを反映した画像として表示される。

　これらの通常表示オブジェクト７２は、図８に示すフローのステップＳ１１０の処理が実行されたオブジェクトである。
　すなわち、ステップＳ１１０において、オブジェクトの位置信頼度が高信頼度に設定されたオブジェクトである。

　ステップＳ１１０の処理、すなわち位置信頼度が高信頼度の設定がなされるオブジェクトは、ステップＳ１０７において、選択オブジェクトの像高が規定の像高しきい値以上でないと判定されたオブジェクトである。すなわち領域区分ライン６１の内側のオブジエクトであり、これらのオブジェクトは、俯瞰画像に含まれるオブジェクトがそのまま表示される。

　一方、図９（２）に示す画像において、領域区分ライン６１の外側領域、すなわち、レンズ外周部を介して撮影された画像領域に対応する外側領域のオブジェクト（ポール）は、俯瞰画像に含まれるオブジェクトの実物大ではなく、撮影画像から得られるオブジェクトの大きさを拡大した拡大表示オブジェクト７１として表示する。

　これらのオブジェクトは、図８に示すフローのステップＳ１０８～Ｓ１０９の処理が実行されたオブジェクトである。
　すなわち、ステップＳ１０８において、オブジェクトの位置信頼度が低信頼度に設定され、ステップＳ１０９において、オブジェクトの大きさを拡大する処理が実行されたオブジェクトである。

　ステップＳ１０８～Ｓ１０９の処理、すなわち位置信頼度が低信頼度の設定がなされ、拡大処理が実行されるオブジェクトは、ステップＳ１０７において、選択オブジェクトの像高が規定の像高しきい値以上であると判定されたオブジェクト、すなわち領域区分ライン６１の外側のオブジエクトである。これらのオブジェクトについては、撮影画像から取得されるオブジェクト大きさをそのままではなく、オブジェクトを拡大して表示する。

　このように、位置信頼度が低いオブジェクトについては、拡大表示した画像を運転席のモニタに表示する。運転者は、拡大表示されたオブジェクト（ポール）に接触しないように車両を移動させる。結果として、実際のオブジェクト位置が俯瞰画像内の拡大されていないオブジェクト（ポール）の位置からずれていた場合でも、車両を実際のオブジェクト（ポール）に接触させることなく車両を安全に移動させることができる。

　なお、図８に示すフローにおいて、ステップＳ１０５の判定がＹｅｓ、すなわち、カメラ温度が温度しきい値範囲内である場合は、外周領域のオブジェクトについての拡大表示はなされず、図９（１）に示す従来画像と同様の画像が表示されることになる。
　この場合は外周領域のオブジェクトも像高ずれの発生が少なく、正しい位置にオブジェクトを表示することが可能であるからである。

　なお、低信頼度のオブジェクトの表示態様としては、図９（２）に示す拡大表示に限らない。例えば、図１０に示すように、オブジェクトの周囲に注意領域を重ねて表示するといった様々な表示が可能である。

　また、拡大表示等の対象となるオブジェクトは、位置信頼度が低信頼度と判定されたオブジェクトであるが、図９や図１０に示す領域区分ライン６１は、車両の進行に従って移動することになる。
　従って、過去の撮影画像において領域区分ライン６１の内側領域で検出されたオブジェクト（位置信頼度が高信頼度）は、その後の車両の進行に伴い領域区分ライン６１の外側になったとしても、位置信頼度が高信頼度の設定を維持することが可能であり、このようなオブジェクトについては拡大表示や注意表示等を行う必要がない。

　図１１を参照して具体例について説明する。
　図１１は、車両が緩やかに右方向にカーブして前進移動する状態を示している。時間ｔ１～ｔ２にかけて大きく右カーブしている。

　図１１に示す通常表示オブジェクト８１は、時間ｔ２において領域区分ライン６１（ｔ２）の外側の外周領域にあるが、この通常表示オブジェクト８１は、時間ｔ１における車両のほぼ正面方向に存在する。
　従って、通常表示オブジェクト８１は、時間ｔ１における車両の前方カメラの撮影画像の領域区分ライン６１（ｔ１）の内側領域に存在していたことになり、この時点で、すでに図８に示すフローのステップＳ１１０の処理が実行され、位置信頼度が高信頼度として判定済みのオブジェクトとして記憶部に登録されたオブジェクトとなる。

　このようなオブジェクト、すなわち位置信頼度が高信頼度として判定済みのオブジェクトは、その後の車両の進行により、領域区分ライン６１の外側の外周領域に位置することになっても位置解析済みのオブジェクトとして、拡大表示の対象とはしない。すなわち、ステップＳ１０８～Ｓ１０９の処理は実行されない。

　　［４．２次元マップを自動運転に利用する処理例について］
　次に、２次元マップを自動運転に利用する処理例について説明する。

　先に説明した図８に示すフローでは、最終のステップＳ１１１において、各オブジェクトを配置した２次元マップ（／サラウンドビュー画像）を生成して表示する処理を行っていた。
　すなわち、例えば、２次元マップ（／サラウンドビュー画像）を運転席のモニタに表示し、運転者が２次元マップ（／サラウンドビュー画像）を見てオブジェクトに接触しないように運転を行うための表示画像を生成する処理シーケンスであった。

　図８に示すフローのステップＳ１０１～Ｓ１１０の処理によって生成される２次元マップは、このように運転者の運転に利用可能であるのみならず、自動運転用のデータとしての利用も可能である。

　図１２に示すフローチャートは、２次元マップを自動運転に利用する処理シーケンスを説明するフローチャートである。
　図１２に示すフローについて説明する。

　図１２に示すフローにおけるステップＳ１０１～Ｓ１１０の処理は、先に図８を参照して説明したフローのステップＳ１０１～Ｓ１１０の処理と同じ処理である。
　最終ステップＳ１２１のみが異なる。
　すなわち、図１２に示すフローは、図８に示すフローのステップＳ１１１を、図１２のステップＳ１２１に置き換えたフローである。
　ステップＳ１２１の処理について説明する。

　　（ステップＳ１２１）
　ステップＳ１２１では、各オブジェクトを配置した２次元マップ（走行制御用）に基づいて車両の走行制御を実行する。車両の走行制御には、自動運転走行が含まれる。高精細マップ等の自動運転制御用データが、走行制御用データとして用いられてもよい。この場合、高精細マップ等の自動運転制御用データは、各オブジェクトの３次元空間における位置やサイズ、距離の情報や、信頼度に基づいて設定された注意領域の情報を含む。

　このとき利用する走行制御用の２次元マップは、図９（２）、図１０、図１１を参照して説明したような２次元マップである。
　すなわち、位置信頼度が低信頼度のオブジェクトについては大きさの拡大や、周囲に信頼度に応じた幅／大きさの領域を注意領域として設定したオブジェクトに基づいた２次元マップである。

　車両の自動走行を実行する車両制御部は、この走行制御用の２次元マップを利用して、拡大されたオブジェクト、あるいはオブジェクトと注意領域に接触しないルートを選択して走行する制御を実行する。
　この結果、位置信頼度が低信頼度のオブジェクトの位置ずれが発生していたとしても、車両制御部は、オブジェクト拡大表示領域に侵入しないルートを走行する制御を実行する。この結果、位置信頼度が低信頼度のオブジェクトに接触する可能性を大きく低減させた走行ルート選択により、安全な自動走行を実現することができる。

　　［５．その他の実施例について］
　次に、その他の実施例について説明する。
　先に図９（２）、図１０を参照して説明したオブジェクト表示例では、領域区分ライン６１を境界としてオブジェクトの表示態様を通常表示、または拡大表示の２種類の表示態様を切り替える構成としていた。

　すなわち、領域区分ライン６１の内側の内周領域に位置するオブジェクトを位置信頼度が高信頼度であるオブジェクト、外側の外周領域に位置するオブジェクトを位置信頼度が低信頼度であるオブジェクトと判定する。内周領域に位置している位置信頼度が高信頼度であるオブジェクトについては実際のオブジェクトサイズを反映した表示とし、外周領域に位置している位置信頼度が低信頼度であるオブジェクトについては実際のオブジェクトサイズを大きく拡大した拡大表示や注意領域表示を行う構成としていた。

　位置信頼度が低信頼度であるオブジェクトの表示態様は、この他の表示態様も可能である。
　例えば、レンズの温度特性で位置ずれの方向が決まっているのであれば、図１３に示すように、そのずれ方向にのみ拡大するオブジェクト表示を行う構成としてもよい。

　例えば、高温時のレンズの温度特性は、レンズ光軸を中心に放射状に広がる変化を見せる傾向がある。温度特性によって被写体の撮像位置のずれる方向が事前に分かっている場合は、図１３に示すようにずれる方向のみに拡大して表示してもよい。

　さらに、通常表示と拡大表示の２種類の表示ではなく、例えば、図１４に示すように、拡大率を順次変更する設定としたオブジェクト表示を行う設定としてもよい。
　すなわち、位置信頼度の値に応じて拡大率を変更して表示する処理を行うものである。

　レンズ中心に近い撮影画像領域は位置信頼度が高いので、通常表示、すなわちオブジェクトの実物大をそのまま反映した表示を行う。
　先に図７を参照して説明したように、像高ずれ量はレンズ中心から離間する距離に応じて徐々に拡大する。
　図１４に示す表示画像（２次元マップ（／サラウンドビュー画像））は、この像高ずれ量に応じて、オブジェクトの拡大率を変更してオブジェクトを表示した例である。

　このように像高ずれ量、すなわち位置信頼度の変化に応じてオブジェクトの拡大率を変更してオブジェクトを表示する構成としてもよい。

　その他、例えば位置信頼度に応じて異なる色でオブジェクトを表示する構成としてもよい。例えば、
　位置信頼度が高信頼度のオブジェクトは、緑色で表示、
　位置信頼度が中信頼度のオブジェクトは、黄色で表示、
　位置信頼度が低信頼度のオブジェクトは、赤色で表示、
　このような表示態様である。

　また実際のオブジェクトの形状の外側に位置信頼度に応じて異なる大きさの枠を表示する構成としてもよい。
　位置信頼度が高信頼度のオブジェクトは、小さい枠を表示、
　位置信頼度が中信頼度のオブジェクトは、中程度の枠を表示、
　位置信頼度が低信頼度のオブジェクトは、大きな枠を表示、
　例えば、このような表示態様である。

　なお、上述した複数の表示態様を任意に組み合わせて表示データを生成してもよい。

　　［６．画像処理システム（車両制御システム）の構成例について］
　次に、上述の処理を実行する本開示の画像処理システム（車両制御システム）１００の構成例について、図１５を参照して説明する。
　本開示の画像処理装置１００は、先に図８を参照して説明したフローに従って位置信頼度の低いオブジェクトに対して拡大等の画像処理を実行した２次元マップを生成して表示用の２次元マップ（／サラウンドビュー画像）として表示部に表示する処理を実行する。

　さらに、このような２次元マップを生成する画像処理装置は車両制御システム１００の一構成要素として利用される。
　図１５は、画像処理装置と車両制御装置の両機能を有する画像処理システム（車両制御システム）１００の構成例を示すブロック図である。

　図１５に示す画像処理システム（車両制御システム）１００は、図１を参照して説明した車両１０と同様、車両の前後左右の各方向を撮影する４つのカメラ、すなわちサラウンドビューカメラシステムを有する。

　図１５に示す画像処理システム（車両制御システム）１００は、例えば車両の内部に設けられる装置である。図に示すように、画像処理システム（車両制御システム）１００は、制御部１０１、車両制御装置１０２、表示装置１０３、入力部１０４、記憶部１０５、通信部１０６、車両情報取得部１０７、データ処理装置１１０、さらに、車両の前後左右に備えられた４台のカメラ１２１Ｆ～１２１Ｂと、各カメラに装着された温度センサ１３１Ｆ～Ｂを有する。
　なお、表示装置１０３や、データ処理装置１１０、４台のカメラ１２１Ｆ～１２１Ｂ等の要素は、それぞれ個別の独立した筐体を持つ個別の装置として構成することも可能である。

　４台のカメラ１２１Ｆ～１２１Ｂは、図１を参照して説明した車両１０と同様、車両の前後左右の各方向を撮影する４つのカメラであり、サラウンドビュー画像を生成するためのカメラである。カメラＦ，１２１Ｆは前方向撮影カメラであり、カメラＬ，１２１Ｌは左方向撮影カメラであり、カメラＲ，１２１Ｒは右方向撮影カメラであり、
カメラＢ，１２１Ｂは後方向方撮影カメラである。
　これらの各カメラは、例えば、魚眼レンズ等の広角レンズを持つカメラであり、より広い領域、すなわち広角エリアを撮影できる。
　これらの各カメラ１２１Ｆ～１２１Ｂには、個別に温度センサ１３１Ｆ～Ｂが備えられている。

　データ処理装置１１０は、これら４台のカメラの撮影画像を入力して、先に図１を参照して説明した２次元マップや、あるいは、車両と車両の周囲を表す、車両の上方の視点からの画像（サラウンドビュー画像）を生成して、表示装置１０３に表示する。また、走行制御用データとして２次元マップを用いる場合は、２次元マップを車両制御装置１０２に提供する。

　なお、データ処理装置１１０の生成する２次元マップ（／サラウンドビュー画像）は、先に説明した図８や図１２に示すフローチャートに従った処理によって生成される２次元マップである。
　すなわち、カメラに装着された温度センサの検出津温度が予め規定した温度範囲にない場合には、レンズ外周部のオブジェクト、すなわち位置信頼度が低信頼度のオブジェクトを拡大表示、または注意喚起する表示を実行する。
　具体的には、例えば先に図９（２）、図１０、図１１、図１３、図１４を参照して説明した２次元マップ（／サラウンドビュー画像）を生成する。

　表示装置１０３は運転席のドライバが観察できる位置に備えられた例えば液晶表示装置等のディスプレイを持つ表示部である。
　この表示装置１０３に、データ処理装置１１０が生成した２次元マップ（／サラウンドビュー画像）が表示される。

　例えば、位置信頼度が低いオブジェクトが拡大された画像が運転席のモニタに表示される。運転者は、拡大表示されたオブジェクト（ポール）に接触しないように車両を移動させる。結果として、実際のオブジェクト位置が俯瞰画像内の拡大されていないオブジェクト（ポール）の位置からずれていた場合でも、車両を実際のオブジェクト（ポール）に接触させることなく車両を安全に移動させることができる。

　さらに、データ処理装置１１０が生成した２次元マップ（／サラウンドビュー画像）は、車両制御装置１０２にも入力される。
　車両制御装置１０２は、ステアリング操作や車両の加減速等の車両の自動運転制御を実行する。

　車両制御装置１０２は、データ処理装置１１０が生成した２次元マップ、すなわち、例えば位置信頼度が低いオブジェクトが拡大された、あるいは、注意領域が設定された２次元マップを制御用の２次元マップとして参照して走行ルートを決定して、車両を自動走行させる。

　車両制御装置１０２は、２次元マップを用いて、２次元マップにおける拡大されたオブジェクトや、オブジェクトと設定された注意領域に接触しないルートを選択して走行する制御を実行する。
　この結果、位置信頼度が低信頼度のオブジェクトの位置ずれが発生していたとしても、車両制御部は、オブジェクト拡大表示領域に侵入しないルートを走行する制御を実行する。この結果、位置信頼度が低信頼度のオブジェクトに接触する可能性を大きく低減させた走行ルート選択により、安全な自動走行を実現することができる。

　入力部１０４は、例えば、ユーザの操作可能なスイッチや操作部によって構成される。なお、表示装置１０３上に表示されるＵＩ（ユーザインタフェース）画面のタッチパネル等も入力部１０４として機能する。
　記憶部１０５は、例えばハードディスク等の大容量記憶装置の他、リムーバブルメディア、ＲＡＭ、ＲＯＭ等の様々な構成からなるデータ記憶手段である。

　通信部１０６は、例えばＷｉ－Ｆｉ、４Ｇ，ＬＴＥ，ブルートゥース（登録商標）等の様々な通信手段の少なくともいずれかの手段を適用して外部の装置、例えば、サーバや、ユーザのスマホ等のユーザ端末等の外部装置との通信を行う。
　車両情報取得部１０７は、例えばハンドル、アクセル、ブレーキ等、車両走行時にドライバによって操作される操作部の操作情報を取得する。さらに、センサ等の検出情報を取得する構成としてもよい。

　制御部１０１は、画像処理システム（車両制御システム）１００内で実行される様々な処理の制御を行う。なお、制御部１０１は、例えばＣＰＵ等のプログラム実行機能を持つデータ処理部を有し、例えば記憶部１０５に格納されたプログラムに従って画像処理システム（車両制御システム）１００内で実行される様々な処理の制御を行う。
　なお、図１５に示す各装置、各構成部は、複数の装置や構成部を１つの装置や構成部として構成してもよい。また、図１５に示す各装置、各構成部は、車両等の移動体に構成される。

　データ処理装置１１０の詳細構成例を図１６に示す。
　図１６に示すように、データ処理装置１１０は、物体認識部２０１、物体距離算出部２０２、信頼度算出部２０３、表示データ作成部２０４、走行制御用データ作成部２０５を有する。

　物体認識部２０１は、撮像部（カメラ）が撮影した画像からオブジェクト検出を実行し、認識結果としてのオブジェクトの位置情報（画像上の座標）とオブジェクトのサイズ（大きさ）情報を生成する。
　物体距離算出部２０２は、撮像部（カメラ）や撮像部が搭載されている自車両から検出オブジェクトまでの距離を算出する。
　信頼度算出部２０３は、温度センサからカメラの温度と物体距離算出部からオブジェクトの情報（位置、距離）を取得する。併せて、オブジェクトのサイズ情報を取得してもよい。カメラの温度と予め規定したしきい値との比較結果に応じて、物体距離算出部２０２の算出したオブジェクトの情報（位置、距離、サイズ等）の信頼度を算出する。

　表示データ作成部２０４は、物体認識部２０１が生成したオブジェクト位置情報（画像上座標）と、物体距離算出部２０２の生成した検出オブジェクトの距離と、信頼度算出部２０３の生成したオブジェクトの情報（位置、距離、サイズ等）の信頼度に基づいて、表示用データを作成する。表示用データは、オブジェクトの位置、距離、サイズを示すとともに、信頼度に基づいて設定される注意領域の情報を有する２次元マップでもよい。
　また、表示用データとしては、オブジェクトの情報（位置、距離、サイズ）と、信頼度に基づいて、撮像画像中の物体領域が拡大した拡大処理後の画像データでもよい。また、２次元マップを撮像画像に重畳させたものでもよい。また、表示用データは、信頼度に基づいて修正したオブジェクトの情報（位置、距離、サイズ等）を示すマークを撮像画像に重畳して生成された画像データでもよい。

　走行制御用データ作成部２０５は、物体認識部２０１が生成したオブジェクト位置情報（画像上座標）と、物体距離算出部２０２の生成した検出オブジェクトの距離と、信頼度算出部２０３の生成したオブジェクトの情報（位置、距離、サイズ等）の信頼度を取得する。走行制御用データ作成部２０５は、物体認識部２０１が生成したオブジェクト位置情報（画像上座標）と、物体距離算出部２０２の生成した検出オブジェクトの距離と、信頼度算出部２０３の生成したオブジェクトの情報（位置、距離、サイズ等）の信頼度に基づいて、走行制御用データを作成する。走行制御用データは、オブジェクトの位置、距離、サイズを示すとともに、信頼度に基づいた注意領域の情報を有する２次元マップでもよい。また、走行制御用データは、各オブジェクトの３次元空間における位置やサイズ、距離の情報や、信頼度に基づいて設定された注意領域の情報を含む３次元空間の情報である高精細マップでもよい。走行制御用データは、高精細マップと異なる種類の自動運転制御用データでもよい。
　また、走行制御用データ作成部２０５は、走行制御用データ（高精細マップ含む）を作成する際に、カメラで撮像された撮像画像を用いてもよいし、また、レーダ―、超音波、ＬｉＤＡＲ等のカメラ以外のセンサからのデータを用いて走行制御用データを作成してもよい。

　上述の例では、表示データ作成部２０４、走行制御用データ作成部２０５は、それぞれのブロックにおいて２次元マップを作成するように説明した。しかし、表示データ作成部２０４で作成した２次元マップを、走行制御用データ作成部２０５で用いるようにしてもよい、また、走行制御用データ作成部２０５で作成した２次元マップを、表示データ作成部２０４で用いるようにしてもよい。
　走行制御用データ作成部２０５で２次元マップを作成する際には、先に高精細マップを生成し、その後で、ある平面に高精細マップを投影することで、２次元マップを作成してもよい。

　　［７．画像処理システム（車両制御システム）のハードウェア構成例について］
　次に、上述した処理を実行する画像処理システム（車両制御システム）１００のハードウェア構成例について図１７を参照して説明する。

　図１７は、画像処理システム（車両制御システム）１００として適用可能なハードウェアの一構成例を示す図である。
　図１７に示す構成について説明する。
　ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）３０１は、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）３０２、または記憶部３０８に記憶されているプログラムに従って各種の処理を実行するデータ処理部として機能する。例えば、上述した実施例において説明したシーケンスに従った処理を実行する。ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）３０３には、ＣＰＵ３０１が実行するプログラムやデータなどが記憶される。これらのＣＰＵ３０１、ＲＯＭ３０２、およびＲＡＭ３０３は、バス３０４により相互に接続されている。

　ＣＰＵ３０１はバス３０４を介して入出力インタフェース３０５に接続され、入出力インタフェース３０５には、各種スイッチ、キーボード、タッチパネル、マウス、マイクロフォン、さらに、センサ、カメラ、ＧＰＳ等の状況データ取得部などよりなる入力部３０６、ディスプレイ、スピーカなどよりなる出力部３０７が接続されている。

　なお、図には、撮像部（カメラ）３２１と、温度センサ３２２を入力部３０６の構成要素として示している。さらに、表示部３２３を出力部３０７の構成要素として示している。

　ＣＰＵ３０１は、入力部３０６から入力される指令や状況データ等を入力し、各種の処理を実行し、処理結果を例えば出力部３０７に出力する。
　入出力インタフェース３０５に接続されている記憶部３０８は、例えばハードディスク等からなり、ＣＰＵ３０１が実行するプログラムや各種のデータを記憶する。通信部３０９は、インターネットやローカルエリアネットワークなどのネットワークを介したデータ通信の送受信部として機能し、外部の装置と通信する。

　入出力インタフェース３０５に接続されているドライブ３１０は、磁気ディスク、光ディスク、光磁気ディスク、あるいはメモリカード等の半導体メモリなどのリムーバブルメディア３１１を駆動し、データの記録あるいは読み取りを実行する。

　　［８．本開示の構成のまとめ］
　以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。

　なお、本明細書において開示した技術は、以下のような構成をとることができる。
　（１）　車両の周囲を撮影するカメラの撮影画像を入力して、車両周囲のオブジェクトを含む２次元マップを生成するデータ処理部を有し、
　前記データ処理部は、
　前記２次元マップ内のオブジェクト中、位置信頼度が低いオブジェクトについてオブジェクト周囲に広がる拡大領域を設定した拡大表示オブジェクトを含む２次元マップを生成する画像処理装置。

　（２）　前記２次元マップは、車両上部から観察した画像であるサラウンドビュー画像である（１）に記載の画像処理装置。

　（３）　前記データ処理部は、
　オブジェクトの像高に基づいて、オブジェクトの位置信頼度を判定する（１）または（２）に記載の画像処理装置。

　（４）　前記データ処理部は、
　予め規定した像高しきい値以上の像高を有するオブジェクトを位置信頼度が低いオブジェクトと判定する（１）～（３）いずれかに記載の画像処理装置。

　（５）　前記データ処理部は、
　予め規定した像高しきい値以上の像高を有するオブジェクトを位置信頼度が低いオブジェクトと判定して、オブジェクト周囲に広がる拡大領域を設定した拡大表示オブジェクトとして前記２次元マップ上に配置し、
　前記像高しきい値以上の像高を有さないオブジェクトを位置信頼度が高いオブジェクトと判定して、オブジェクト周囲に広がる拡大領域を設定しない通常表示オブジェクトとして前記２次元マップ上に配置する（１）～（４）いずれかに記載の画像処理装置。

　（６）　前記データ処理部は、
　前記２次元マップからなるサラウンドビュー画像を表示部に出力する（１）～（５）いずれかに記載の画像処理装置。

　（７）　前記データ処理部は、
　前記２次元マップを、自動運転を実行する車両制御部に出力する（１）～（６）いずれかに記載の画像処理装置。

　（８）　前記車両制御部は、
　前記２次元マップに配置された拡大表示オブジェクトに接触しない走行ルートを選択して車両を走行させる制御を実行する（１）～（７）いずれかに記載の画像処理装置。

　（９）　前記データ処理部は、
　位置信頼度が低いオブジェクトについて、オブジェクト周囲に広がる注意領域を設定した注意領域設定オブジェクトを含む２次元マップを生成する（１）～（８）いずれかに記載の画像処理装置。

　（１０）　前記データ処理部は、
　位置信頼度に応じて異なる拡大率を持つ拡大表示オブジェクトを含む２次元マップを生成する（１）～（９）いずれかに記載の画像処理装置。

　（１１）　前記データ処理部は、
　位置信頼度に応じて異なる色で表示されたオブジェクトを含む２次元マップを生成する（１）～（１０）いずれかに記載の画像処理装置。

　（１２）　前記データ処理部は、
　位置信頼度に応じて異なる大きさの枠で囲まれたオブジェクトを含む２次元マップを生成する（１）～（１１）いずれかに記載の画像処理装置。

　（１３）　車両の周囲を撮影するカメラの撮影画像を入力して、車両周囲のオブジェクトを含む２次元マップを生成するデータ処理部と、
　前記データ処理部の生成した２次元マップを参照して走行ルートを決定して車両を走行させる制御を実行する車両制御部を有し、
　前記データ処理部は、
　前記２次元マップ内のオブジェクト中、位置信頼度が低いオブジェクトについてオブジェクト周囲に広がる拡大領域を設定した拡大表示オブジェクトを含む２次元マップを生成し、
　前記車両制御部は、
　前記２次元マップに配置された拡大表示オブジェクトに接触しない走行ルートを選択して車両を走行させる制御を実行する車両制御装置。

　（１４）　画像処理装置において実行する画像処理方法であり、
　前記画像処理装置は、車両の周囲を撮影するカメラの撮影画像を入力して、車両周囲のオブジェクトを含む２次元マップを生成するデータ処理部を有し、
　前記データ処理部が、
　前記２次元マップ内のオブジェクト中、位置信頼度が低いオブジェクトについてオブジェクト周囲に広がる拡大領域を設定した拡大表示オブジェクトを含む２次元マップを生成する画像処理方法。

　（１５）　車両制御装置において実行する車両制御方法であり、
　前記車両制御装置は、
　車両の周囲を撮影するカメラの撮影画像を入力して、車両周囲のオブジェクトを含む２次元マップを生成するデータ処理部と、
　前記データ処理部の生成した２次元マップを参照して走行ルートを決定して車両を走行させる制御を実行する車両制御部を有し、
　前記データ処理部が、
　前記２次元マップ内のオブジェクト中、位置信頼度が低いオブジェクトについてオブジェクト周囲に広がる拡大領域を設定した拡大表示オブジェクトを含む２次元マップを生成し、
　前記車両制御部が、
　前記２次元マップに配置された拡大表示オブジェクトに接触しない走行ルートを選択して車両を走行させる制御を実行する車両制御方法。

　（１６）　画像処理装置において画像処理を実行させるプログラムであり、
　前記画像処理装置は、車両の周囲を撮影するカメラの撮影画像を入力して、車両周囲のオブジェクトを含む２次元マップを生成するデータ処理部を有し、
　前記プログラムは、前記データ処理部に、
　前記２次元マップ内のオブジェクト中、位置信頼度が低いオブジェクトについてオブジェクト周囲に広がる拡大領域を設定した拡大表示オブジェクトを含む２次元マップを生成させるプログラム。

　（１７）　車両制御装置において車両制御処理を実行させるプログラムであり、
　前記車両制御装置は、
　車両の周囲を撮影するカメラの撮影画像を入力して、車両周囲のオブジェクトを含む２次元マップを生成するデータ処理部と、
　前記データ処理部の生成した２次元マップを参照して走行ルートを決定して車両を走行させる制御を実行する車両制御部を有し、
　前記プロクラムは、前記データ処理部に、
　前記２次元マップ内のオブジェクト中、位置信頼度が低いオブジェクトについてオブジェクト周囲に広がる拡大領域を設定した拡大表示オブジェクトを含む２次元マップを生成させ、
　前記車両制御部に、
　前記２次元マップに配置された拡大表示オブジェクトに接触しない走行ルートを選択して車両を走行させる制御を実行させるプログラム。

　また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

　なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

　以上、説明したように、本開示の一実施例の構成によれば、位置信頼度が低いオブジェクトを拡大表示オブジェクトとした２次元マップやサラウンドビュー画像を生成する装置、方法が実現される。
　具体的には、例えば、車両の周囲を撮影するカメラの撮影画像を入力して、車両周囲のオブジェクトを含む２次元マップを生成するデータ処理部を有する。データ処理部は、位置信頼度が低いオブジェクトについてオブジェクト周囲に広がる拡大領域を設定した拡大表示オブジェクトを含む２次元マップやサラウンドビュー画像を生成する。データ処理部は、予め規定した像高しきい値以上の像高を有するオブジェクトを位置信頼度が低いオブジェクトと判定し、像高しきい値以上の像高を有さないオブジェクトを位置信頼度が高いオブジェクトと判定する。
　これらの構成により、位置信頼度が低いオブジェクトを拡大表示オブジェクトとした２次元マップやサラウンドビュー画像を生成する装置、方法が実現される。

　　１０　車両
　　１１～１４　カメラ
　　２０　路面
　　３０　垂直ポール
　　６１　領域区分ライン
　　７１　拡大表示オブジェクト
　　７２　通常表示オブジェクト
　　７３　注意領域表示オブジェクト
　　８１　通常表示オブジェクト
　１００　画像処理システム（車両制御システム）
　１０１　制御部
　１０２　車両制御装置
　１０３　表示装置
　１０４　入力部
　１０５　記憶部
　１０６　通信部
　１０７　車両情報取得部
　１１０　データ処理装置
　１１１　表示画像生成部
　１２１Ｌ～Ｂ　カメラ
　１３１Ｌ～Ｂ　温度センサ
　３０１　ＣＰＵ
　３０２　ＲＯＭ
　３０３　ＲＡＭ
　３０４　バス
　３０５　入出力インタフェース
　３０６　入力部
　３０７　出力部
　３０８　記憶部
　３０９　通信部
　３１０　ドライブ
　３１１　リムーバブルメディア
　３２１　撮像部
　３２２　温度センサ
　３２３　表示部

Claims (17)

1. 　車両の周囲を撮影するカメラの撮影画像を入力して、車両周囲のオブジェクトを含む２次元マップを生成するデータ処理部を有し、
   　前記データ処理部は、
   　前記２次元マップ内のオブジェクト中、位置信頼度が低いオブジェクトについてオブジェクト周囲に広がる拡大領域を設定した拡大表示オブジェクトを含む２次元マップを生成する画像処理装置。
2. 　前記２次元マップは、車両上部から観察した画像であるサラウンドビュー画像である請求項１に記載の画像処理装置。
3. 　前記データ処理部は、
   　オブジェクトの像高に基づいて、オブジェクトの位置信頼度を判定する請求項１に記載の画像処理装置。
4. 　前記データ処理部は、
   　予め規定した像高しきい値以上の像高を有するオブジェクトを位置信頼度が低いオブジェクトと判定する請求項１に記載の画像処理装置。
5. 　前記データ処理部は、
   　予め規定した像高しきい値以上の像高を有するオブジェクトを位置信頼度が低いオブジェクトと判定して、オブジェクト周囲に広がる拡大領域を設定した拡大表示オブジェクトとして前記２次元マップ上に配置し、
   　前記像高しきい値以上の像高を有さないオブジェクトを位置信頼度が高いオブジェクトと判定して、オブジェクト周囲に広がる拡大領域を設定しない通常表示オブジェクトとして前記２次元マップ上に配置する請求項１に記載の画像処理装置。
6. 　前記データ処理部は、
   　前記２次元マップからなるサラウンドビュー画像を表示部に出力する請求項１に記載の画像処理装置。
7. 　前記データ処理部は、
   　前記２次元マップを、自動運転を実行する車両制御部に出力する請求項１に記載の画像処理装置。
8. 　前記車両制御部は、
   　前記２次元マップに配置された拡大表示オブジェクトに接触しない走行ルートを選択して車両を走行させる制御を実行する請求項１に記載の画像処理装置。
9. 　前記データ処理部は、
   　位置信頼度が低いオブジェクトについて、オブジェクト周囲に広がる注意領域を設定した注意領域設定オブジェクトを含む２次元マップを生成する請求項１に記載の画像処理装置。
10. 　前記データ処理部は、
    　位置信頼度に応じて異なる拡大率を持つ拡大表示オブジェクトを含む２次元マップを生成する請求項１に記載の画像処理装置。
11. 　前記データ処理部は、
    　位置信頼度に応じて異なる色で表示されたオブジェクトを含む２次元マップを生成する請求項１に記載の画像処理装置。
12. 　前記データ処理部は、
    　位置信頼度に応じて異なる大きさの枠で囲まれたオブジェクトを含む２次元マップを生成する請求項１に記載の画像処理装置。
13. 　車両の周囲を撮影するカメラの撮影画像を入力して、車両周囲のオブジェクトを含む２次元マップを生成するデータ処理部と、
    　前記データ処理部の生成した２次元マップを参照して走行ルートを決定して車両を走行させる制御を実行する車両制御部を有し、
    　前記データ処理部は、
    　前記２次元マップ内のオブジェクト中、位置信頼度が低いオブジェクトについてオブジェクト周囲に広がる拡大領域を設定した拡大表示オブジェクトを含む２次元マップを生成し、
    　前記車両制御部は、
    　前記２次元マップに配置された拡大表示オブジェクトに接触しない走行ルートを選択して車両を走行させる制御を実行する車両制御装置。
14. 　画像処理装置において実行する画像処理方法であり、
    　前記画像処理装置は、車両の周囲を撮影するカメラの撮影画像を入力して、車両周囲のオブジェクトを含む２次元マップを生成するデータ処理部を有し、
    　前記データ処理部が、
    　前記２次元マップ内のオブジェクト中、位置信頼度が低いオブジェクトについてオブジェクト周囲に広がる拡大領域を設定した拡大表示オブジェクトを含む２次元マップを生成する画像処理方法。
15. 　車両制御装置において実行する車両制御方法であり、
    　前記車両制御装置は、
    　車両の周囲を撮影するカメラの撮影画像を入力して、車両周囲のオブジェクトを含む２次元マップを生成するデータ処理部と、
    　前記データ処理部の生成した２次元マップを参照して走行ルートを決定して車両を走行させる制御を実行する車両制御部を有し、
    　前記データ処理部が、
    　前記２次元マップ内のオブジェクト中、位置信頼度が低いオブジェクトについてオブジェクト周囲に広がる拡大領域を設定した拡大表示オブジェクトを含む２次元マップを生成し、
    　前記車両制御部が、
    　前記２次元マップに配置された拡大表示オブジェクトに接触しない走行ルートを選択して車両を走行させる制御を実行する車両制御方法。
16. 　画像処理装置において画像処理を実行させるプログラムであり、
    　前記画像処理装置は、車両の周囲を撮影するカメラの撮影画像を入力して、車両周囲のオブジェクトを含む２次元マップを生成するデータ処理部を有し、
    　前記プログラムは、前記データ処理部に、
    　前記２次元マップ内のオブジェクト中、位置信頼度が低いオブジェクトについてオブジェクト周囲に広がる拡大領域を設定した拡大表示オブジェクトを含む２次元マップを生成させるプログラム。
17. 　車両制御装置において車両制御処理を実行させるプログラムであり、
    　前記車両制御装置は、
    　車両の周囲を撮影するカメラの撮影画像を入力して、車両周囲のオブジェクトを含む２次元マップを生成するデータ処理部と、
    　前記データ処理部の生成した２次元マップを参照して走行ルートを決定して車両を走行させる制御を実行する車両制御部を有し、
    　前記プロクラムは、前記データ処理部に、
    　前記２次元マップ内のオブジェクト中、位置信頼度が低いオブジェクトについてオブジェクト周囲に広がる拡大領域を設定した拡大表示オブジェクトを含む２次元マップを生成させ、
    　前記車両制御部に、
    　前記２次元マップに配置された拡大表示オブジェクトに接触しない走行ルートを選択して車両を走行させる制御を実行させるプログラム。

Images