[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP5829980B2 - 路側物検出装置 - Google Patents

路側物検出装置 Download PDF

Info

Publication number
JP5829980B2
JP5829980B2 JP2012138141A JP2012138141A JP5829980B2 JP 5829980 B2 JP5829980 B2 JP 5829980B2 JP 2012138141 A JP2012138141 A JP 2012138141A JP 2012138141 A JP2012138141 A JP 2012138141A JP 5829980 B2 JP5829980 B2 JP 5829980B2
Authority
JP
Japan
Prior art keywords
roadside object
search range
line
edge
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012138141A
Other languages
English (en)
Other versions
JP2014002608A (ja
Inventor
嘉修 竹前
嘉修 竹前
章弘 渡邉
章弘 渡邉
史也 一野
史也 一野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Toyota Central R&D Labs Inc
Original Assignee
Toyota Motor Corp
Toyota Central R&D Labs Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp, Toyota Central R&D Labs Inc filed Critical Toyota Motor Corp
Priority to JP2012138141A priority Critical patent/JP5829980B2/ja
Priority to CN201280073243.7A priority patent/CN104520894A/zh
Priority to EP12879593.7A priority patent/EP2863358A4/en
Priority to US14/402,197 priority patent/US9676330B2/en
Priority to PCT/JP2012/077808 priority patent/WO2013190719A1/ja
Publication of JP2014002608A publication Critical patent/JP2014002608A/ja
Application granted granted Critical
Publication of JP5829980B2 publication Critical patent/JP5829980B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/593Depth or shape recovery from multiple images from stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00Input parameters relating to infrastructure
    • B60W2552/25Road altitude
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • G06T2207/10021Stereoscopic video; Stereoscopic image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20048Transform domain processing
    • G06T2207/20061Hough transform
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256Lane; Road marking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261Obstacle
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Signal Processing (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Mechanical Engineering (AREA)

Description

本発明は、複数の撮影画像を用いて路側物を検出する路側物検出装置に関する。
車載されたカメラで撮影した白線を利用して車線からの逸脱防止などの様々な運転支援を行う技術が知られている。白線が検出されない場合や白線の検出精度を向上させるために、縁石や歩道帯縁を検出して白線の手がかりとする場合がある(例えば、特許文献1参照。)。特許文献1には、カメラからの距離に応じて縁石の側面部の長さの増減と路面に平行な平行部の長さの増減が変わることを利用して縁石を検出する画像認識装置が開示されている。
特開2007−018037号公報
しかしながら、特許文献1に開示された画像認識装置では、車両から比較的遠い縁石の検出が困難になるという問題がある。
図26(a)は、撮影された遠方の縁石と近傍の縁石を示す図の一例であり、図26(b)は図26(a)の写真を模式的に示す図の一例である。車両の左側に縁石が存在し、側面部がやや影になって撮影されている。側面部及び路面に平行な平行部の長さは、遠方に行くほど短くなるので、特許文献1に記載された検出方法では遠方の縁石ほど検出が困難になる。
本発明は、上記課題に鑑み、遠方の縁石等の路側物も検出可能な路側物検出装置を提供することを目的とする。
本発明は、複数の撮影画像を用いて路側物を検出する路側物検出装置であって、複数の前記撮影画像を解析して、自車両からの距離が閾値未満の近傍領域における撮影対象の高さ情報を検出する高さ情報検出手段と、前記近傍領域の高さ情報から路側物により生じる路面の高さの変化を検出する高さ変化検出手段と、前記高さの変化が検出された位置を前記路側物の特徴点に決定し、前記特徴点を道路モデルに従って自車両からの距離が前記閾値以上の遠方領域に外挿する特徴点外挿手段と、前記特徴点外挿手段が前記特徴点を外挿して得られる仮想線に基づいて前記路側物の探索範囲を設定し、前記探索範囲から前記遠方領域の前記路側物を検出する路側物検出手段と、を有し、前記路側物検出手段は、前記近傍領域の前記路側物を含むテンプレート画像を切り出し、前記テンプレート画像により前記探索範囲にテンプレートマッチングを施すことで、前記遠方領域の前記路側物を検出することを特徴とする。
遠方の縁石等の路側物も検出可能な路側物検出装置を提供することができる。
路側物検出装置による路側物の検出を概略的に説明する図の一例である。 路側物検出装置を含む運転支援システムの概略構成図の一例である。 カメラコンピュータの機能ブロック図の一例である。 路側物検出装置の動作点順を説明するフローチャート図の一例である。 フィルタ処理の一例を示す図である。 視差の探索を説明する図の一例である。 等角フィッティングによるサブピクセル視差の求め方の一例を示す図である。 路面領域の推定を説明する図の一例である。 道路座標系と平面座標系等を説明する図の一例である。 段差の検出を説明する図の一例である。 走路パラメータの推定を説明する図の一例である。 探索範囲の設定を説明する図の一例である。 エッジ線分検出部がエッジ線分を検出する手順を示すフローチャート図の一例である。 カメラコンピュータの機能ブロック図の一例である(実施例2)。 路側物検出装置が画像から縁石や歩道帯縁を検出する手順を示すフローチャート図の一例である(実施例2)。 テンプレートマッチングの処理手順を説明するフローチャート図の一例である。 テンプレートマッチングを説明する図の一例である。 カメラコンピュータの機能ブロック図の一例である(実施例3)。 路側物検出装置が画像から縁石や歩道帯縁を検出する手順を示すフローチャート図の一例である(実施例3)。 白線の検出を模式的に説明する図の一例である。 探索範囲設定部による探索範囲の設定を説明する図の一例である。 エッジ線分検出部がエッジ線分を検出する手順を示すフローチャート図の一例である。 カメラコンピュータの機能ブロック図の一例である(実施例4)。 路側物検出装置が画像から縁石や歩道帯縁を検出する手順を示すフローチャート図の一例である(実施例4)。 探索範囲設定部による探索範囲の設定を説明する図の一例である 撮影された遠方の縁石と近傍の縁石を示す図の一例である(従来図)。
以下、本発明を実施するための形態について図面を参照しながら実施例を挙げて説明する。
図1は、路側物検出装置による路側物の検出を概略的に説明する図の一例である。まず、路側物検出装置は、ステレオカメラで車両の進行方向を撮影し、三次元情報を取得する。三次元情報は画面の全体から取得され得るが、路側物検出装置は近傍領域のみの路面構造を推定する。近傍領域のみの画像を使用するのは、遠方になるほど視差の誤差を含みやすくなるためである。
路側物検出装置は、三次元情報又は路面構造を利用して、近傍領域から高さ方向に一定以上の段差がある特徴点を検出する。例えば、画像データを水平方向に走査し、縁石と見なせる段差を検出する。図のA点のように縁石上の画素とB点のように縁石以外の画素では高さが異なっているので、縁石が形成する段差を検出することができる。
縁石の段差による特徴点は、1つの水平方向の走査で3点検出される(図の"×"マーク)。なお、歩道が縁石と同じ高さになる歩道縁帯の場合は2点の段差が検出される。
この段差の位置(座標)を道路モデルに適用すれば、道路モデルの係数(走路パラメータ)を求めることができる。なお、道路モデルは、道路の形状を数式とその係数で表す道路形状の表現形式である。道路モデルが定まれば、三次元情報が検出されていない遠方の画像において、道路モデルを外挿することで、縁石がある範囲を推定できる。道路モデルの外挿とは、道路モデルの式により定まる点を遠方領域で算出することをいう。この点の集まりは線になるが、本実施例ではこの線を仮想線と称する。
近傍領域と同様に、遠方領域の画像では縁石の段差がエッジとして検出されることが期待できる。そこで、仮想線を水平方向に左右に移動することで、エッジの探索範囲を設定する。路側物検出装置はこの探索範囲から縁石のエッジを検出する(図の三角のマーク)。
縁石があれば3本、歩道帯縁があれば2本のほぼ平行な直線が検出されるはずである。よって、路側物検出装置はエッジを直線に変換するなどして、エッジから線分を抽出する。そして、3本のほぼ平行な直線が水平方向の一定距離内に検出された場合に縁石を、2本のほぼ平行な直線が水平方向の一定距離内に検出された場合に歩道帯縁をそれぞれ検出する。
このように、正確な距離情報が得られる近傍領域の三次元情報を利用することで、遠方の縁石又は歩道帯縁の検出精度を向上させることができる。
〔構成例〕
図2は、路側物検出装置100を含む運転支援システム500の概略構成図の一例を示す。運転支援システム500は、CAN(Controller Area Network)バスなどの車載LANを介して互いに接続された路側物検出装置100、運転支援ECU(Electronic Control Unit)200及び作動デバイス300を有している。
路側物検出装置100は、後述する走路パラメータに加え、障害物までのターゲット情報などを運転支援ECU200に送信する。運転支援ECU200は走路パラメータやターゲット情報に基づき運転支援の必要性を判断し、作動デバイス300に作動を要求する。作動デバイス300は例えば、メータパネルの警報装置、電動パワーステアリング装置、及び、ブレーキアクチュエータなどである。
走路パラメータは、例えば、道路の曲率(半径)、道路の車線幅、車線内での自車両の横位置、道路に対する自車両のヨー角等、である。運転支援ECU200は、車載LANに接続された他のECU、又は、センサーが検出した情報(例えば、車輪速、操舵角、ヨーレート等)を用いて運転支援を行う。走路パラメータを用いた運転支援としては、LDW(Lane Departure Warning)やLKA(Lane Keeping Assist)などが知られている。LDWは、横位置、ヨー角及び車速から車線を逸脱するおそれがある場合に警報音や振動などで運転者に注意喚起する運転支援をいう。LKAは、自車両が車線内の目標走行線を走行するように、電動パワーステアリング装置を制御してステアリングシャフトに操舵トルクを加えたり、車輪毎の制動やエンジン出力を制御する運転支援形態である。目標走行線を走行するように操舵トルク、又は、車輪毎の制動やエンジン出力を制御する以外に、車線から逸脱するおそれがある際に車線を維持するように制御するLKAもある。このように、白線を検出することで多様な運転支援が可能になる。なお、本実施例では走路パラメータは白線から検出することができ、白線の検出が困難な場合は縁石や歩道帯縁から検出することができる。
また、ターゲット情報は、例えば、距離情報、相対速度、及び、方位(横位置)である。運転支援ECU200は、方位(横位置)から衝突のおそれがある障害物を抽出し、距離情報と相対速度から計算されたTTC(Time To Collision)が所定値以下になると警報音を吹鳴したり減速するなどの運転支援を行う。
路側物検出装置100は、右カメラ11、左カメラ12、及び、カメラコンピュータ13を有している。右カメラ11と左カメラ12で1つのステレオカメラである。ステレオカメラは、例えば、光軸を車両前方に向けてルームミラーに配置されるが、ルーフトップなど別の場所に配置することもできる。右カメラ11と左カメラ12は、所定間隔(基線長)、離間して配置されている。右カメラ11と左カメラ12はそれぞれCCD又はCMOS、裏面照射CMOSなどの個体撮像素子を有している。右カメラ11と左カメラ12は輝度情報だけを取得するモノクロのカメラでも、カラーのカメラでもよい。
右カメラ11と左カメラ12は、それぞれほぼ同時に車両前方の所定範囲を周期的に撮影する。路面に白線が標示されている場合、画像には縁石(又は歩道帯縁)及び白線が撮影されている。なお、白線とは、路面標示の一例に過ぎない。白線と表現した場合、白い色の線に限られず有彩色の線状標示、点線、破線、ボッツドッツ及びキャッツアイなどを含む。
カメラコンピュータ13は、CPU、ROM、RAM、CANコントローラ、入出力I/F、及び、その他の一般的な回路を備えたコンピュータである。カメラコンピュータ13は、後述するように、歪み補正・平行化、段差の検出、走路パラメータの推定、及び、遠方領域の線分の検出などを行う。
〔カメラコンピュータの機能について〕
図3は、カメラコンピュータ13の機能ブロック図の一例を示す。カメラコンピュータ13は、ステレオ画像取得部21、歪補正・平行化部22、エッジ抽出部23、視差検出部24、路面検出部25、路面構造推定部26、段差判定部27、走路パラメータ推定部28、探索範囲設定部29、及び、エッジ線分検出部30を有する。
これらの各機能は、図4のフローチャート図に示す路側物検出装置100の動作の中で機能する。以下、図4に基づきこれらの各機能を順番に説明する。なお、図4の手順は、左右一対の画像が撮影される毎に繰り返し実行される。
<S10 画像データの取得>
ステレオ画像取得部21は、右カメラ11が周期的に撮影した画像及び左カメラ12が周期的に撮影した画像の画像データをそれぞれ取得し、バッファなどに記憶する。
<S20 歪補正・平行化>
歪補正・平行化部22は、予め取得してあるカメラの外部パラメータ、及び、内部パラメータを用いて左右の画像の歪みを補正し、平行化する。内部パラメータは、例えば右カメラ11と左カメラ12それぞれのレンズの歪みや歪曲収差、撮像素子の歪み、焦点距離などをいう。レンズの歪みは、例えば、レンズの設計値に基づき生成された補正変換テーブルを参照して、画像データを補正することで低減される。歪曲収差は半径方向の歪曲収差のモデルを用いたパラメータ推定に基づき画像データを補正することで低減される。
外部パラメータは、例えばカメラの取り付け位置と向きを数値化したものである。左右のカメラの取り付け位置(例えば高さ)及び向き(ピッチ、ロール、ヨー)にはわずかな違いがあるので、右カメラ11と左カメラ12の光軸も完全に高さが一致しかつ平行とならない場合がある。このため、この外部パラメータの違いによって、例えば、右カメラ11と左カメラ12の撮像系が光軸を中心に相対的に回転する場合がある。このような回転を低減するため、ステレオカメラでは、出荷前に車両メーカなどによりキャリブレーションされている。キャリブレーションでは、右カメラ11と左カメラ12でそれぞれ歪み校正用のチャートを撮影する。校正用のチャートは、市松模様状に正方形の白マスと黒マスが反転した格子が描かれている。例えば、左カメラ12の画像の白黒のマスに、右カメラ11の画像の白黒のマスが一致するように、画素同士の対応関係を特定する。対応関係はテーブルに登録され、例えば右カメラ11の全画素に対応づけて、補正前の画素位置がどの画素位置に変換されるかが設定されている。
図では、内部パラメータと外部パラメータに基づく左右の画像の歪み補正及び平行化するためのデータをルックアップテーブル31としている。このように、歪補正及び平行化することで効率的な視差の探索が可能になる。
図5(a)は、平行化された右カメラ11の画像データと左カメラ12の画像データの一例を示す図である。本実施形態では、道路座標系として、車幅方向をX軸、車高方向をY軸、及び、進行方向をZ軸とする。座標P(X,Y,Z)は左カメラ12の画素Plと右カメラ11の画素Prにそれぞれ映る。
<S30 視差算出>
視差を検出する際には、画素Plに画素Prが対応することを探索する。2つの画像が平行化されていることが分かっているので、路側物検出装置100は、水平方向と平行にのみ画像データを探索すればよい。
なお、視差探索は、歪補正・平行化部22が平行化した左右の画像データに対し行ってもよいが、エッジ強調処理を行ってから視差探索することで探索が容易になる。そこで、エッジ抽出部23は左右の画像からエッジを抽出する。エッジ抽出のフィルタは各種知られているが、例えばsobelフィルタを使用する。
図5(b)はフィルタ処理の結果の一例を示す図である。元の画像には、白線、ガードレール、及び、木々などが撮影されているが、フィルタ処理により、右カメラ11と左カメラ12の画像は白線、ガードレール又は木々の端部が強調された(図では白い画素で示されている)画像になる。
図6(a)は、視差の探索を説明する図の一例である。ここでは右の画像データの画素に着目して、左の画像データから右の画像データと一致する(相関性が最も高い又は一定以上の相関性を有する)領域を特定する。視差算出部27は、着目している画素を含む領域(以下、ウィンドウという)毎に、SAD(Sum of Absolute Difference)又はSSD(Sum of Squared Differences)を計算する。SADは画素毎の画素値の差の絶対値の合計であり、SSDは画素毎の画素値の差の二乗和である。いずれも小さいほど、ウィンドウに含まれる画像の一致度が高いことを意味する。
図示するように、(x、y)の画素に着目している場合、(x、y)の画素を中心とする矩形のウィンドウを生成し、右の画像からも(x、y)の画素を中心とするウィンドウを生成する。視差算出部27は、左の画像のウィンドウと右の画像のウィンドウでSAD又はSSDを算出すると、右の画像のウィンドウの全体を右に1ピクセル(画素)ずらしてSAD又はSSDを算出することを繰り返す。つまり、平行化されているため、右の画像においてウィンドウをy軸方向にずらすことなく、1ピクセルずつx方向にずらせばよい。
図6(b)はx方向のずらし量(視差)とSADの関係の一例を示す。ずらし量に対しSADが極小値を示している。いくつかの極小値のうち最小値を示す画素のずらし量が、右の画像で着目した画素(x、y)における視差である。
x方向の探索範囲は予め定められているものとする。しかし、視差算出部27は、右の画像のx方向の全ての画素に対してSAD又はSSDを求めてもよいし、探索範囲を定めずにSAD又はSSDが閾値以下の極小値を示した場合に、SAD又はSSDの算出を打ち切ってもよい。前者では最も確かな視差を求めることでき、後者ではある程度確からしい視差を効率的に求めることができる。
なお、上記のように輝度画像から視差を求めてもよい。また、エッジ画像と輝度画像の両方から視差を求めてもよい。エッジ画像と輝度画像の両方を用いた場合、SAD又はSSDが極小となる画素のずらし量の平均を視差とするか、又は、エッジ画像と輝度画像に重み付けして視差を決定する。こうすることで、より正確に視差を求めることができる。
視差算出部27は、画素単位の整数視差に加え、サブピクセル視差を算出する。サブピクセル視差の求め方には、等角フィッティングやパラボラフィッティングなどが知られている。
また、視差は画面の全体で取得されてもよいし、近傍領域でのみ使用されることを考慮して近傍領域のみで取得されてもよい。
図7は等角フィッティングによるサブピクセル視差の求め方の一例を示す図である。図7では図6(b)のSADが最小値となる視差と、その前後のSAD値が示されている。SADが最小値になる視差のSAD値をc、最小値より視差が小さい側のSAD値をa、視差が大きい側のSAD値をb、とする。a=bであれば、SADが最小値になる視差がサブピクセル単位の視差である。図示するようにa>bの場合、サブピクセル視差SPは最小値となる視差より、大きい値となる。a<bの場合はこの逆になる。等角フィッティングでは、SADが最小値になる視差に対し、サブピクセル視差SPを以下のようにして求める。
a>bの場合 SP=(a−b)/2(a−b)
a≦bの場合 SP=−(b−c)/2(b−c)
視差算出部27は、整数視差とサブピクセル視差SPの和を注目画素の視差に決定する。このように画素単位で視差が求められると、画素単位で画素に映っている物までの距離を算出することができる。
<S40 路面推定>
路面検出部25は、視差画像から路面の構造を推定する。このため、まず、画像から路面の領域だけを推定する。なお、路面の領域とは、縁石や歩道帯縁などの歩行者が走行する領域と、車両が走行する車道を区別することなく、立体物がない平坦な領域であれば路面の領域とする。
図8は、路面領域の推定を説明する図の一例である。図8では、画像に視差情報を重畳して表している。視差に輝度を対応づけ画像データと重畳することで、同じ視差の画素は同程度の輝度になるように加工されている。
画像に立体物が撮影されている場合、立体物までの距離はその立体物において同程度なので視差も同程度となる。これに対し、路面は遠方になるほど視差が大きくなるので、y方向の視差はy値に応じて異なる。よって、画像のy座標の下端から上方に走査して(図の矢印)、視差の違いが所定値内の画素が連続する場合は、立体物と判定できる。視差の違いが所定値内の画素が連続しない場合、路面(の視差)であると判定する。なお、所定値とは、本実施例ではサブピクセル単位の視差を検出しているので、1ピクセル未満とすることができる。
図示する矢印にて走査した場合、歩道や縁石を含め路面を走査中は視差が徐々に大きくなるので路面であると判定される。先行車両の走査を開始すると、視差の変化が所定値内に収まるので立体物と判定される。
<S50 路面構造の推定>
路面構造推定部26は、車両に対し近傍領域のみの視差情報を用いて路面構造の推定を行う。近傍領域のみの画像データを用いることで、誤差が含まれやすい遠方の視差情報を用いることなく路面構造を推定できる。近傍領域とは、視差情報の精度に信頼性がある領域であり、ステレオカメラの品質や設計に依存する。また、日中と夜間の違い、又は、晴天と雨天の違い等により視差情報の精度が影響される場合、ある車両に搭載された同一のステレオカメラであっても、近傍領域が一定とはならない場合がある。したがって、近傍領域は視差情報の精度が閾値以上のある領域(画像のy座標の下端から所定画素数)に対し、条件が悪化した場合を考慮して所定のマージンを設けた領域(つまり、視差情報の精度が閾値以上のある領域よりもやや狭い領域)である。また、照度センサなどにより日中か夜間かを検出し、また、レインセンサなどにより天候を検出して、近傍領域を可変に設定してもよい。こうすることで、視差情報の精度に影響を与える状況に応じて、最大限、遠方までの視差情報を利用することができる。
まず、路面構造推定部26は、視差情報を利用して、近傍領域の路面までの距離Dを算出する。
D=(f×B)/(Δd)
fはレンズの焦点距離、Bは基線長、Δdは視差(画素数×撮像素子の画素ピッチ)である。
また、図9(a)に示すように道路座標系を取る。レンズの中心を原点として、左から右の水平方向をX軸、車両の高さ方向をY軸、車両の進行方向をZ軸とする。また、画像内の点の座標系である平面座標系は、原点が道路座標系のZ軸上にあり、X軸に平行なx軸、Y軸に平行なy軸を有する座標系であるとする。焦点距離fが無視できるほどレンズから像までの距離が長い場合、距離Dにある物体の高さY、横位置Xは以下の式から求められる。
X=xD/f
Y=−yD/f
X、Yが分かればDが分かっているのでZを求めることができる。これにより路面のY座標が得られるので、Z軸方向の路面の構造を定式化することができる。
図9(b)は路面構造の定式化を説明する図の一例である。路面は一般には平坦であり、また、元々の特殊な地形を除けば道路設計上の勾配の上限は法令などで定められている。したがって、一次間数や二次関数で近似することができる。路面構造は、断面曲率をa、ピッチをb、カメラ高さをcとすると例えば下記の式で表される。
Y=a×Z+b×Z+c …(1)
距離DをZに、距離Dから求めたYを式(1)に代入し、最小二乗法などを用いることで、a、b、cを決定することができる。なお、回帰的に係数を求めることができれば、最小二乗法の他、ニュートン法、ガウスニュートン法などを用いてもよい。
<S60 段差検出>
段差判定部27は、路面(縁石、歩道帯縁と車道の区別がされていない)から段差を検出する。ここまでの処理により路面と推定された領域の画素では、距離D、高さY、及び、横位置Xが求められている。また、路面構造が求められている。
段差判定部27は、路面構造と高さYの少なくとも一方を用いて、段差を検出する。3次元情報の高さYを直接用いてもよいが、3次元情報はばらついている場合がある。このため、式(1)等のように路面構造により求めた高さYを用いることが好適となる。しかしながら、3次元情報の高さYを直接用いて段差を検出することも可能である。
図10は段差の検出を説明する図の一例である。図10(a)では、y座標の値が一定の画素に対し、x方向に矢印線(以下、走査水平ラインという)が描画されている。段差判定部27は、高さYが求められているy方向の領域において、走査水平ラインに沿って走査し、高さYを読み出す。
図10(b)は画素と段差を対応づけて説明する図の一例である。図10(b)は路面の左側に歩道帯縁があるので、点A、点Bの高さYは同程度である。点Bから点Dの画素は歩道帯縁の段差の側面部に相当するので、高さYは点Bと点Dの間の値を取る。点D以降の例えば点Eの高さYは車道となるのでX座標に関係なくほぼ一定となる。なお、点Bから点Dの高さYは模式的に示したものに過ぎず、点Cの高さは点Bの高さY以下、点Dの高さY以上であればよい。
したがって、段差判定部27は、点Bの高さYと点Dの高さYが異なることから、段差を検出する(段差があると判定する)。なお、段差の高さは例えば道路構造例により定められているので、その値を参考に段差の閾値(例えば、15cm)を設定する。この値は、国や地域に応じて変更できる。
よって、段差判定部27は、走査水平ラインに沿って左から右に高さYを読み出し、高さYが閾値程度低下した場合、又は、走査水平ラインと逆方向に沿って右から左に高さYを読み出し、高さYが閾値程度上昇した場合、段差を検出する。なお、走査水平ラインの走査範囲は画像の中央より左側などに限定してもよく、こうすることで処理負荷を抑制し段差の検出速度を向上できる。
また、縁石や歩道帯縁の段差は、路面からほぼ90度に立ち上がっているので、高さYが変化するX軸方向の範囲を例えば、10cm〜30cm程度に制限してもよい。こうすることで、縁石や歩道帯縁がないが物が置かれている場所から段差を検出してしまうことを抑制できる。
段差判定部27は、点B、点Dを特徴点として特定する。よって、1つの走査水平ラインに対し2つの特徴点が特定される。これらの特徴点の距離D(Z)、高さY、及び、横位置Xは明かになっている。
図10(c)は縁石の場合の画素と段差を対応づけて説明する図の一例である。縁石の場合、縁石よりも画像の端に近い領域は車道と同じ高さYとなる。よって、点F、点Eの高さYは同程度である。その後、点Aで高さYは急に大きくなり、点Bまで同程度の高さYを維持する。点B以降の高さは図10(b)と同様である。
したがって、段差判定部27は、走査水平ラインに沿って左から右に高さYを読み出した場合に高さYが閾値程度増大し、さらに走査水平ラインに沿って左から右に高さYを読み出した場合に高さYが閾値程度減少した場合、段差を検出する。走査水平ラインと逆方向に沿って走査する場合も同様である。なお、縁石の場合、高さYの増大又は減少の一方のみから段差を検出してもよい。
段差判定部27は、点A、点B、点Dを特徴点として特定する。よって、縁石の場合、1つの走査水平ラインに対し3つの特徴点が特定される。
また、縁石や歩道帯縁の断面形状は90度に側面部が立ち上がる場合が多いが、90度以上の緩やかな角度で立ち上がったり、90度未満の鋭角で立ち上がる場合でも、高さYから段差を検出することができる。その他、縁石や歩道帯縁の断面形状は限定されない。また、縁石や歩道帯縁にキャッツアイが埋設されていてもよい。
<S70 走路パラメータの推定>
走路パラメータ推定部28は、道路モデルを設定し道路モデルの係数を決定することで走路の走路パラメータを推定する。道路はクロソイド曲線やBスプラインモデルに基づき設計されることが多い。縁石や歩道帯縁は道路に沿って配置されるので、特徴点も道路モデルに沿って検出されていると予想できる。
図11は走路パラメータの推定を説明する図の一例である。例えば、歩道帯縁の場合、走査水平ライン毎に2点の特徴点が検出されている。走路パラメータ推定部28はこれらの特徴点からそれぞれ道路モデルの係数を推定する。係数の推定にはいくつか方法がある。例えば、道路モデルの式を用いて、複数の特徴点の座標を代入し、最小二乗法により道路モデルの係数を特定する方法や、カルマンフィルタやパーティクルフィルタ等の最尤値推定手法を用いて、係数を推定する方法がある。係数が求められば道路モデルに基づき走路パラメータが求められる。
道路モデルの一例として例えば以下のように定義する。
X=X+θ×Z+0.5×c×Z …(2)
は、Z=ゼロにおいて、XZ平面の原点から特徴点までの距離である。θは、右カメラ11又は左カメラ12の光軸と縁石又は歩道帯縁とのなす角(車両のヨー角)である。θは正面方向に対し右向きを正とする。cは道路の曲率である。cはXZ平面の定義から左カーブで負、右カーブで正となる。式(2)によれば、xを起点に、ヨー角によるずれを補正し(車両が右向きのヨーを有する場合、白線は左方向に傾斜して撮影されるのでその分を補正する)、曲率cをzの二乗で作用させている。
走路パラメータ推定部28は、式(2)にXZ平面の特徴点の座標(X、Z)を代入し、最小二乗法でθとcを求める。これにより、走路パラメータの内、ヨー角θと道路の曲率c(半径R)を求めることができる。また、幅員Wは、任意のZ座標における左側の白線(白線がある場合は白線で、なければ左側の縁石等の特徴点)から、右側の白線(白線がある場合は白線で、なければ右側の縁石等の特徴点)までの距離から求められる。車線内の自車両の位置は、例えばレーンの中央位置をゼロ(基準)にして、W/2−Xoにより表すことができる。このように、縁石や歩道帯縁から走路パラメータを求めることができる。
<S80 探索範囲の設定>
探索範囲設定部29は、係数が決定された道路モデルを用いてエッジの探索範囲を設定する。エッジの探索範囲とは、遠方領域の縁石や歩道帯縁のエッジを探索するための画像処理範囲である。
図12は、探索範囲の設定を説明する図の一例である。走路パラメータ推定部28により、近傍領域の特徴点から所定の道路モデルの走路パラメータが決定されている。探索範囲設定部29は、まず、決定された走路パラメータを用いて、遠方領域の任意のZにおけるXを算出する。これにより、縁石や歩道帯縁の特徴点を遠方領域に外挿した仮想線41が得られる。
探索範囲設定部29は、仮想線に対称又は非対称に仮想線を所定距離、平行移動して探索範囲を設定する。仮想線41は2本の直線の間に存在するようになる。例えば、直線道路では、仮想線41をX軸方向の正方向と負方向(左側と右側)に所定距離、平行に移動することで2つの探索範囲線42,43を設定する。正方向の探索範囲線43から負方向の探索範囲線42までがエッジの探索範囲である。
また、前方で道路がカーブしているため、画面のy軸方向に対し縁石等が傾きを持っている場合は、仮想線41を仮想線41に対し斜め上と斜め下に所定距離、平行に移動することで2つの探索範囲線42,43を設定する。また、前方で道路がカーブしているため、画面のx軸方向に対し略平行な縁石等が撮影されている場合は、仮想線41を仮想線41に対し上方向と下方向に所定距離、平行移動して探索範囲を設定する。なお、仮想線41と探索範囲線42までの距離、仮想線41と探索範囲線43までの距離は、等しくても(対称)、等しくなくてもよい(非対称)。
歩道帯縁の場合、特徴点から2本の仮想線41が得られ、縁石の場合は3本の仮想線41が得られる。このため、1本の特徴点の仮想線毎に探索範囲をそれぞれ設定した場合、探索範囲を設定するために仮想線の数×2本の線分を設定する。
また、探索範囲設定部29は、X値が最も大きい仮想線41に対し、X値が大きくなる方向に探索範囲線43を設定し、X値が最も小さい仮想線41に対し、X値が小さくなる方向に探索範囲線42を設定してもよい。こうすることで、縁石のように3つの特徴点の仮想線41が検出されても、探索範囲の設定のためには2本の探索範囲線42,43を設定すればよいことになる。
<S90 エッジ線分の検出>
エッジ線分検出部30は、探索範囲からエッジ線分を検出する。すでにエッジ抽出部がエッジを抽出しているので、探索範囲のエッジは検出されている。これらのエッジには、近傍領域の特徴部と連続したエッジが含まれているので、エッジ線分検出部30は近傍領域の特徴部と連続したエッジ線分を検出する。
図13(a)は、エッジ線分検出部30がエッジ線分を検出する手順を示すフローチャート図の一例である。
まず、エッジ線分検出部30は、探索範囲のエッジを読み出す(S301)。
エッジ線分検出部30は、エッジにハフ変換を施す(S302)。このハフ変換は線分の検出を目的とするので、確率的ハフ変換であることが好ましい。確率的ハフ変換により検出される線分は端点を有し、また、同じ端点を通過する線分は1つだけである。なお、ハフ変換で線分を検出するのでなく、例えば2点のエッジを通過する一次関数を求め、該一次関数上にある他のエッジを特定していくことで、線分を検出してもよい。
次に、エッジ線分検出部30は一定以上の長さの線分を抽出する(S303)。一定以上の長さの線分とは、遠方領域をある程度カバーする程度の長さ(例えば、10〜30メートル)である。エッジ線分は、Z方向に途切れていてもよく、Z方向の直線に載る(傾きも切片も同じ)複数のエッジ線分の長さが一定以上の長さであればよい。
エッジ線分検出部30は、一定以上の長さの線分が、水平方向(X方向)の一定距離内に2本又は3本あるか否かを判定する(S304)。また、一定以上の長さの線分がほぼ平行であることを条件に加えてもよい。この場合の一定距離とは、縁石又は歩道帯縁の特徴点がある範囲なので例えば数十cm(50cm〜100cm)とすればよい。
図13(b)は一定以上の長さの線分の数と、縁石又は歩道帯縁の判定の一例を示す図である。2本ある場合には、歩道帯縁の特徴点である可能性が高く、3本ある場合には縁石の特徴点である可能性が高い。このようにして、遠方領域の縁石又は歩道帯縁を検出することができる。
したがって、エッジ線分検出部30は、2本のエッジ線分を検出した場合、歩道帯縁を検出し、3本のエッジ線分を検出した場合、縁石を検出する(S305)。
なお、一定以上の長さの線分が1本しかない場合に、縁石又は歩道帯縁の特徴点であると判定してもよい。しかし、誤検知とならないように、さらに条件を加えることが好ましい。例えば近傍領域の特徴点の傾きと、一定以上の長さの線分の傾きが一致する場合にのみ、縁石又は歩道帯縁の特徴点であると判定する。
また、一定以上の長さの線分が4本以上あった場合、近傍領域の特徴点の数から絞り込むことができる。例えば、近傍領域の特徴点が3つなら、一定以上の長さの線分のうち、傾きが最も異なっている線分、又は、近傍領域と遠方領域の境界で近傍領域の特徴点から最も遠くにある線分を排除する。
このようにして遠方領域の縁石又は歩道帯縁が検出されることで、遠方領域の走路パラメータが決定される。よって、例えば、遠方領域の白線が検出されない場合でも、遠方領域の走路パラメータを決定でき、運転支援ECUは走路パラメータに基づき運転支援することが可能となる。
以上説明したように、本実施例の路側物検出装置100は、近傍領域の精度が高い視差情報を用いて段差を検出し、段差の特徴点を遠方領域に外挿することで、遠方領域の縁石や歩道帯縁の検出精度を向上できる。
実施例1では探索範囲のエッジから線分を検出して縁石や歩道帯縁を検出したが、本実施例では特徴点が外挿された領域にテンプレートマッチングを施して縁石や歩道帯縁を検出する路側物検出装置100について説明する。
図14は、本実施例のカメラコンピュータ13の機能ブロック図の一例を示す。図14においてすでに説明した機能の説明は省略し主要部について説明する。図14のカメラコンピュータ13は、テンプレートマッチング部32を有している。テンプレートマッチング部32は、近傍領域の縁石の画像からテンプレート画像を作成し、探索範囲の画像とテンプレートマッチングする。
図15は、路側物検出装置100が画像から縁石や歩道帯縁を検出する手順を示すフローチャート図の一例である。図15では実施例1のステップS90の処理がテンプレートマッチングに置き換わっている。
<S92 テンプレートマッチング>
図16はテンプレートマッチングの処理手順を説明するフローチャート図の一例であり、図17はテンプレートマッチングを説明する図の一例である。
テンプレートマッチング部32は、近傍領域の縁石を含む画像(輝度画像)を切り出してテンプレート画像を作成する(S401)。切り出す範囲は、少なくとも縁石の側面部を含むことが好ましい。なお、縁石では、歩道帯縁と異なり歩道側にも特徴点があるので特徴点を含むように切り出すことが好ましい。これらの特徴点は図10(b)(c)から明らかなので、テンプレートマッチング部32は、最適化されたサイズでテンプレート画像を切り出すことができる。一方、歩道帯縁の場合に切り出す画像のサイズを変える必要性は低いので、歩道帯縁か縁石かに関わらず切り出すサイズは共通にしてよい。例えば、テンプレート画像の横のサイズは特徴点BDの間隔の2倍程度、縦のサイズはそれと同程度かやや小さくする。
テンプレートマッチング部32は、好ましくは、近傍領域のうち車両から最も遠方の領域からテンプレート画像を切り出す。遠方領域の縁石や歩道帯縁に類似したテンプレート画像を切り出しやすくなるためである。
なお、近傍領域が固定されており、車両から最も遠方の領域からテンプレート画像を切り出す場合、テンプレート画像のサイズも同程度となるはずなので、特徴点に基づき切り出す画像を決定するのでなく、予めテンプレート画像のサイズを定めておくことができる。
また、テンプレート画像は輝度画像としているが、エッジ画像からテンプレート画像を切り出してもよい。
次に、テンプレートマッチング部32は、道路モデルを外挿して得られた仮想線41を中心に、遠方領域の探索範囲の画像にテンプレートマッチングを施す(S402)。仮想線41は、遠方領域の縁石や歩道帯縁の特徴点又はその近くに存在する可能性が高い。そこで、テンプレートマッチング部32は、遠方領域の仮想線41を中心にテンプレート画像でテンプレートマッチングを施す。テンプレートマッチングは画像で行われるので、仮想線41は平面座標系に変換されている。なお、テンプレートマッチングは、探索範囲のうち自車両からの距離が近い部分から行う。例えば、探索範囲を遠方方向にいくつかのグループに分け、グループ単位でテンプレートマッチングを行う。
テンプレートマッチング部32は、グループ内で画素をずらしながら探索する毎に類似度を算出する。類似度は例えばSADやSSDの逆数である。
次に、テンプレートマッチング部32は、グループ内の探索範囲で最大の類似度を特定し、その値が閾値以上か否かを判定する(S403)。
類似度が閾値以上の場合(S403のYes)、テンプレートマッチング部32は最もよい類似度が得られたテンプレート画像の位置に縁石があると決定する(S404)。テンプレート画像では特徴点が得られているので、テンプレート画像と同サイズの探索領域の画像において、対応する画素に特徴点があると推定することができる。または、テンプレート画像と同サイズの探索領域の画像からエッジを検出しても特徴点の位置を特定できる。
テンプレートマッチング部32は、縁石があると判定した画像を切り出して新たなテンプレート画像に設定する(S405)。
テンプレートマッチング部32は新しいテンプレート画像を用いて、探索範囲の次のグループの領域にステップS20以下の処理を繰り返す。遠方領域では、縁石や歩道帯縁は徐々に小さくなるので、テンプレート画像の外縁を削除するなどして徐々にテンプレート画像を小さくしてもよい。
このように、遠方領域の縁石又は歩道帯縁の位置を特定しながらテンプレート画像を切り替え、遠方の縁石又は歩道帯縁の特定を繰り返すので、検出対象の縁石又は歩道帯縁と類似した画像をテンプレート画像に設定できる。よって、遠方領域の縁石又は歩道帯縁の検出精度を向上できる。
本実施例では白線を利用して遠方領域の縁石又は歩道帯縁を検出する路側物検出装置100について説明する。
図18は、本実施例のカメラコンピュータ13の機能ブロック図の一例を示す。図18においてすでに説明した機能の説明は省略し主要部について説明する。図18のカメラコンピュータ13は、白線検出部33を有している。白線検出部33は、縁石又は歩道帯縁側の白線を検出する。また、エッジ線分検出部30は実施例1のカメラコンピュータも有していたが、本実施例のエッジ線分検出部30は、エッジ線分を検出すると共に白線との平行度や白線との距離を評価して縁石や歩道帯縁の特徴点が形成するエッジ線分を特定する。
図19は、路側物検出装置100が画像から縁石や歩道帯縁を検出する手順を示すフローチャート図の一例である。図19では新たにステップS100の白線検出処理が追加されている。また、ステップS80,S90の処理は白線を利用したものとなるので実施例1と異なっている。
<S100 白線検出>
白線検出部33は、右カメラ11又は左カメラ12が撮影した画像から白線を検出する。ステレオカメラの場合、どちらか一方のカメラの画像から白線を検出してもよく、右カメラ11と左カメラ12の画像の共通領域から白線を検出してもよい。
図20は、白線の検出を模式的に説明する図の一例である。白線検出部33は、エッジ画像又は輝度画像から白線を検出する。図20では、画像データ(平面座標系の白線)を模式的に示している。白線検出部33は、エッジ抽出部23が抽出したエッジのうち、エッジ強度が閾値以上の画素を特定する。図20では左右の白線のそれぞれで、道路の輝度から白線の輝度に変化するエッジと、白線の輝度から道路の輝度に変化するエッジが求められている。なお、道路の中央には白線がないと推定して、白線の検出領域を画像の右側の一部と左側の一部にそれぞれ制限してもよい。これにより、カメラコンピュータ13の処理負荷を低減できる。
白線検出部33は、画面の下から上にエッジ強度が閾値以上の画素を探索する。白線が直線でも画像には「ハ」の字状(下方の間隔が広く、上方の間隔が広い2本の直線状)に撮影されるので、それまで探索した複数のエッジを延長して探索を繰り返す。白線が存在すれば、左右の白線のそれぞれで画面の下から上方向にエッジが得られる。このエッジは、実線の白線が良好に撮影されていれば連続して検出され、点や破線であれば、間隔を置いて検出される。
白線検出部33は、ほぼ連続してエッジが検出されるか否か、又は、検出されない場合にはエッジの間隔が等間隔か否かなどを判定することで、エッジが白線の一部と推定できる否かを判定する。エッジが白線の一部であると判定した場合、左右それぞれの2本のエッジ線の幅を一般的な白線の幅と比較するなどして白線でないものを削除することで、左右にそれぞれ白線を検出する。なお、必ずしも左右に白線があるとは限らず、どちらかの白線しか検出されない場合がある。本実施例では、少なくとも縁石又は歩道帯縁側の白線を検出する。白線検出部33は、道路座標系と平面座標系の対応式を用いて、白線エッジをXZ平面にて表すことができる。
<S80 探索範囲の設定>
図21は、探索範囲設定部29による探索範囲の設定を説明する図の一例である。縁石よりも車道側に白線が標示されている。縁石又は歩道帯縁はこの白線よりも歩道側にあるはずである。
探索範囲設定部29は、外挿された仮想線41を平行移動して探索範囲線42,43を設定するが、この時、探索範囲線43が白線を越えないように探索範囲を再設定(修正)する。例えば、車道側の探索範囲線43が白線よりも歩道側になるように、平行移動すればよい。これにより、縁石や歩道帯縁を含んだまま、探索範囲を狭めることができ、エッジ線分の検出時間を短縮できる。
<S90 エッジ線分の検出>
エッジ線分検出部30は、探索範囲からエッジ線分を検出し、そのエッジ線分と白線を比較して縁石や歩道帯縁の特徴点のエッジ線分を絞り込む。
図22は、エッジ線分検出部30がエッジ線分を検出する手順を示すフローチャート図の一例である。図22では新たにステップS311の処理が追加されている。
エッジ線分検出部30は、ステップS303で検出された一定以上の長さの線分から、さらに以下のエッジ線分を抽出する(S311)。
・白線との平行度が閾値以上
・白線との距離が所定範囲内
平行度を求めるため、白線に一次関数を適用して最小二乗法などで関数化する。エッジ線分は直線なので、エッジ線分と白線の傾きを比較することで平行度を特定できる。また、白線との距離は、エッジ線分上の任意の点から引いたエッジ線分に垂直な線が白線と交わる点を求め、エッジ線分上の点との2点間の距離として求めることができる。
平行度の閾値は、例えば5〜10度程度とする。また、白線が探索される所定範囲は、近傍領域の白線と縁石又は歩道帯縁との距離から設定される。すなわち、近傍領域において白線と縁石又は歩道帯縁との距離が50cmであれば、これにマージンを加え例えば60cmとする。
エッジ線分検出部30は、このようにして特定した2本又は3本のエッジ線分を縁石又は歩道帯縁の特徴点から形成されるエッジ線分であると判定する。
このように、本実施例の路側物検出装置100は、縁石側の白線を利用して、遠方領域の縁石又は歩道帯縁の検出精度を向上できる。
本実施例では先行車両を利用して遠方領域の縁石又は歩道帯縁を検出する路側物検出装置100について説明する。
図23は、本実施例のカメラコンピュータ13の機能ブロック図の一例を示す。図23においてすでに説明した機能の説明は省略し主要部について説明する。図23のカメラコンピュータ13は、先行車検出部34を有している。先行車検出部34は、自車両に先行して走行している先行車を検出する。また、探索範囲設定部29は探索範囲が先行車よりも歩道側になるように探索範囲線を再設定する。
図24は、路側物検出装置100が画像から縁石や歩道帯縁を検出する手順を示すフローチャート図の一例である。図24では新たにステップS110の先行車検出処理が追加されている。また、ステップS80の処理は先行車を利用したものとなるので実施例1と異なっている。
<S110 先行車の検出>
先行車検出部34は予め用意されているテンプレートを用いて、画像中の先行車両を検出する。また、オプティカルフローを利用してもよい。例えば、画素値の変化が連続的ないくつかのグループにグループ分けして、路面に対しゼロより大きい速度で移動し、自車両の前方にあるグループは先行車両であると推定する。また、先行車をミリ波などのレーダ装置で検出してもよいが、先行車の横位置の検出精度は画像から求めた場合の方が高いことが多い。
先行車検出部34は、先行車までの距離と横位置を対応づけて記録する。距離を検出することで、先行車が遠方領域を走行していることを確認できる。また、先行車検出部34は、過去の数フレームの距離と横位置を記録しておく。これにより、先行車の軌跡を求めることができる。
<S80 探索範囲の設定>
図25は、探索範囲設定部29による探索範囲の設定を説明する図の一例である。先行車が走行しているが、縁石又は歩道帯縁は先行車よりも歩道側にあるはずである。
探索範囲設定部29は、仮想線41を平行移動して探索範囲を設定するが、この時、探索範囲線43が先行車に重ならないように探索範囲を再設定する。例えば、車道側の探索範囲線43が先行車よりも歩道側になるように、平行移動すればよい。これにより、縁石や歩道帯縁を含んだまま、探索範囲を狭めることができ、エッジ線分の検出時間を短縮できる。
ステップS90のエッジ線分の検出方法は実施例1と同様である。また、先行車の過去の横位置が所定長以上の長さを有する場合、横位置の軌跡を白線とみなし、実施例3と同様に平行度や距離を判定してもよい。
このように、本実施例の路側物検出装置100は、先行車を利用して、遠方領域の縁石又は歩道帯縁の検出精度を向上できる。
以上説明したように、本実施形態の路側物検出装置100は、遠方の縁石や歩道帯縁の特徴点を精度よく検出でき、白線が検出されない場合の走路パラメータの取得を可能とすることができる。また、白線の検出の手がかりとすることも可能となる。
なお、以上では、実施例を分けて説明したが、実施例1〜4はその内の2つ以上を適宜組み合わせて適用できる。また、縁石や歩道帯縁の検出方法を実施例により説明したが、本発明は上記実施例に限定されるものではなく、本発明の範囲内で種々の変形及び改良が可能である。
11 右カメラ
12 左カメラ
13 カメラコンピュータ
21 ステレオ画像取得部
22 歪補正・平行化部
23 エッジ抽出部
24 視差算出部
25 路面検出部
26 路面構造推定部
27 段差判定部
28 走路パラメータ推定部
29 探索範囲設定部
30 エッジ線分検出部
32 テンプレートマッチング部
33 白線検出部
34 先行車検出部
100 白線検出装置

Claims (6)

  1. 複数の撮影画像を用いて路側物を検出する路側物検出装置であって、
    複数の前記撮影画像を解析して、自車両からの距離が閾値未満の近傍領域における撮影対象の高さ情報を検出する高さ情報検出手段と、
    前記近傍領域の高さ情報から路側物により生じる路面の高さの変化を検出する高さ変化検出手段と、
    前記高さの変化が検出された位置を前記路側物の特徴点に決定し、前記特徴点を道路モデルに従って自車両からの距離が前記閾値以上の遠方領域に外挿する特徴点外挿手段と、
    前記特徴点外挿手段が前記特徴点を外挿して得られる仮想線に基づいて前記路側物の探索範囲を設定し、前記探索範囲から前記遠方領域の前記路側物を検出する路側物検出手段と、を有し、
    前記路側物検出手段は、前記近傍領域の前記路側物を含むテンプレート画像を切り出し、前記テンプレート画像により前記探索範囲にテンプレートマッチングを施すことで、前記遠方領域の前記路側物を検出することを特徴とする路側物検出装置。
  2. 前記路側物検出手段は、
    前記仮想線を、該仮想線に対し対称又は非対称になるように所定の距離だけ平行移動することで前記路側物の前記探索範囲を設定する探索範囲設定手段と、
    前記探索範囲のエッジを検出し、前記エッジから1つ以上の線分を生成し、前記線分の数及び長さの少なくともいずれかに基づき前記遠方領域にある前記路側物の前記特徴点から生成された前記線分を特定する線分特定手段と、を有する、
    ことを特徴とする請求項1記載の路側物検出装置。
  3. 複数の前記撮影画像の少なくとも1つから、自車両が走行する車線を区分する車線区分標示を検出する車線区分標示検出手段を有し、
    前記路側物検出手段は、
    前記仮想線を、前記仮想線と進行方向に対し左側の車線区分標示との間で前記仮想線から離間する方向に平行移動すると共に、前記方向と反対方向に前記仮想線を該仮想線から離間する方向に所定の距離だけ平行移動することで前記路側物の前記探索範囲を設定する探索範囲設定手段と、
    前記探索範囲のエッジを検出し、前記エッジから1つ以上の線分を生成し、前記線分の数及び長さの少なくともいずれかに基づき前記遠方領域にある前記路側物の前記特徴点から生成された前記線分を特定する線分特定手段と、を有する、
    ことを特徴とする請求項1記載の路側物検出装置。
  4. 少なくとも先行車両の横位置と共に該先行車両を検出する先行車両検出手段を有し、
    前記路側物検出手段は、
    前記仮想線を、前記仮想線と前記先行車両との間で前記仮想線から離間する方向に平行移動すると共に、前記方向と反対方向に前記仮想線を該仮想線から離間する方向に所定の距離だけ平行移動することで前記路側物の前記探索範囲を設定する探索範囲設定手段と、
    前記探索範囲のエッジを検出し、前記エッジから1つ以上の線分を生成し、前記線分の数及び長さの少なくともいずれかに基づき前記遠方領域にある前記路側物の前記特徴点から生成された前記線分を特定する線分特定手段と、を有する、
    ことを特徴とする請求項1記載の路側物検出装置。
  5. 前記路側物検出手段は、前記探索範囲のうち自車両に近い領域からテンプレートマッチングを行い、前記近傍領域の前記テンプレート画像により前記遠方領域の前記路側物を検出した場合、検出した前記路側物を含む領域を新たな前記テンプレート画像に設定し、前記探索範囲のうち次に自車両に近い領域からテンプレートマッチングを行う、ことを特徴とする請求項1に記載の路側物検出装置。
  6. 前記線分特定手段は、前記遠方領域にある前記路側物の前記特徴点から生成された前記線分が2本の場合は歩道帯縁があると推定し、3本の場合は縁石があると推定する、
    ことを特徴とする請求項2、3、4いずれか1項記載の路側物検出装置。
JP2012138141A 2012-06-19 2012-06-19 路側物検出装置 Active JP5829980B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2012138141A JP5829980B2 (ja) 2012-06-19 2012-06-19 路側物検出装置
CN201280073243.7A CN104520894A (zh) 2012-06-19 2012-10-26 路旁物检测装置
EP12879593.7A EP2863358A4 (en) 2012-06-19 2012-10-26 DEVICE FOR DETECTING OBJECTS AT THE ROAD BORDER
US14/402,197 US9676330B2 (en) 2012-06-19 2012-10-26 Roadside object detection apparatus
PCT/JP2012/077808 WO2013190719A1 (ja) 2012-06-19 2012-10-26 路側物検出装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012138141A JP5829980B2 (ja) 2012-06-19 2012-06-19 路側物検出装置

Publications (2)

Publication Number Publication Date
JP2014002608A JP2014002608A (ja) 2014-01-09
JP5829980B2 true JP5829980B2 (ja) 2015-12-09

Family

ID=49768336

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012138141A Active JP5829980B2 (ja) 2012-06-19 2012-06-19 路側物検出装置

Country Status (5)

Country Link
US (1) US9676330B2 (ja)
EP (1) EP2863358A4 (ja)
JP (1) JP5829980B2 (ja)
CN (1) CN104520894A (ja)
WO (1) WO2013190719A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11145063B2 (en) 2017-09-19 2021-10-12 Subaru Corporation Image processing apparatus

Families Citing this family (59)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012131474A1 (en) * 2011-03-29 2012-10-04 Jura Trade, Limited Method and apparatus for generating and authenticating security documents
DE102012112104A1 (de) * 2012-12-11 2014-06-12 Conti Temic Microelectronic Gmbh Verfahren und vorrichtung zur befahrbarkeitsanalyse
DE102014210411A1 (de) * 2013-09-06 2015-03-12 Robert Bosch Gmbh Verfahren und Steuer- und Erfassungseinrichtung zum Plausibilisieren einer Falschfahrt eines Kraftfahrzeugs
JP5874756B2 (ja) * 2014-02-07 2016-03-02 トヨタ自動車株式会社 区画線検出システム及び区画線検出方法
JP2015179368A (ja) * 2014-03-19 2015-10-08 株式会社日本自動車部品総合研究所 走行区画線認識装置及び走行区画線認識プログラム
US9443163B2 (en) * 2014-05-14 2016-09-13 Mobileye Vision Technologies Ltd. Systems and methods for curb detection and pedestrian hazard assessment
JP6412934B2 (ja) * 2014-05-28 2018-10-24 京セラ株式会社 物体検出装置、物体検出装置を設置した車両およびプログラム
KR102159355B1 (ko) * 2014-06-13 2020-09-23 현대모비스 주식회사 차량자동제어방법 및 차량자동제어장치
JP6046666B2 (ja) * 2014-06-24 2016-12-21 トヨタ自動車株式会社 走路境界推定装置及び走路境界推定方法
JP6295859B2 (ja) * 2014-07-08 2018-03-20 株式会社デンソー 車載システム、情報処理装置、及びプログラム
JP6357050B2 (ja) * 2014-08-19 2018-07-11 日野自動車株式会社 運転支援システム
DE102014014662A1 (de) * 2014-09-19 2016-03-24 Mekra Lang North America, Llc Anzeigeeinrichtung für Fahrzeuge, insbesondere Nutzfahrzeuge
KR20160054825A (ko) * 2014-11-07 2016-05-17 현대모비스 주식회사 주행 가능 공간 판단 장치 및 방법
JP6548893B2 (ja) * 2014-11-18 2019-07-24 日立オートモティブシステムズ株式会社 走行路認識装置及びそれを用いた走行支援システム
KR102384175B1 (ko) * 2015-07-29 2022-04-08 주식회사 만도모빌리티솔루션즈 차량의 카메라 장치
MX370052B (es) * 2015-08-04 2019-11-29 Nissan Motor Dispositivo de deteccion de escalon y metodo de deteccion de escalon.
JP6477340B2 (ja) * 2015-08-04 2019-03-06 日産自動車株式会社 道路境界検出装置、自己位置推定装置及び道路境界検出方法
CA2994645C (en) 2015-08-04 2019-05-07 Nissan Motor Co., Ltd. Step detection device and step detection method
JP6462544B2 (ja) * 2015-09-17 2019-01-30 株式会社東芝 推定装置、方法及びプログラム
JP6618767B2 (ja) * 2015-10-27 2019-12-11 株式会社デンソーテン 画像処理装置および画像処理方法
KR101755870B1 (ko) * 2015-10-28 2017-07-19 현대자동차주식회사 차선의 오인식 정보를 보정하는 방법
DE102016201304A1 (de) * 2016-01-28 2017-08-03 Robert Bosch Gmbh Vorrichtung und Verfahren zum Erfassen eines Randsteins in einer Umgebung eines Fahrzeugs sowie System zur Randsteinkontrolle für ein Fahrzeug
EP3416132B1 (en) 2016-02-08 2021-06-16 Ricoh Company, Ltd. Image processing device, object recognition device, device control system, and image processing method and program
JP6544257B2 (ja) * 2016-02-09 2019-07-17 株式会社リコー 情報処理システム、情報処理方法及び情報処理プログラム
JP6662449B2 (ja) * 2016-03-09 2020-03-11 株式会社ニコン 検出装置、検出システム、検出方法、及び検出プログラム
EP3217374A1 (en) * 2016-03-10 2017-09-13 Volvo Car Corporation Method and system for estimating a boundary of a road technical field
JP6723079B2 (ja) 2016-06-08 2020-07-15 日立オートモティブシステムズ株式会社 物体距離検出装置
RU2742222C2 (ru) * 2016-07-12 2021-02-03 Ниссан Мотор Ко., Лтд. Способ управления движением транспортного средства и устройство управления движением транспортного средства
US10558222B2 (en) * 2016-07-21 2020-02-11 Mobileye Vision Technologies Ltd. Navigating a vehicle using a crowdsourced sparse map
CN109643367B (zh) * 2016-07-21 2023-08-08 御眼视觉技术有限公司 用于自主车辆导航的众包和分发稀疏地图以及车道测量的方法、系统和可读介质
US9990728B2 (en) * 2016-09-09 2018-06-05 Adobe Systems Incorporated Planar region guided 3D geometry estimation from a single image
JP6794243B2 (ja) * 2016-12-19 2020-12-02 日立オートモティブシステムズ株式会社 物体検出装置
JP6740116B2 (ja) * 2016-12-23 2020-08-12 株式会社Zmp 移動車両
US11273830B2 (en) * 2017-06-15 2022-03-15 Hitachi Astemo, Ltd. Vehicle control device
WO2019031137A1 (ja) 2017-08-07 2019-02-14 日立オートモティブシステムズ株式会社 路側物検出装置、路側物検出方法及び路側物検出システム
JP6960827B2 (ja) * 2017-11-08 2021-11-05 フォルシアクラリオン・エレクトロニクス株式会社 路面領域検出装置
JP6923472B2 (ja) * 2018-03-23 2021-08-18 ヤンマーパワーテクノロジー株式会社 障害物検知システム
US20200049513A1 (en) * 2018-08-10 2020-02-13 Delphi Technologies, Llc Positioning system
JP7134780B2 (ja) * 2018-08-13 2022-09-12 日立Astemo株式会社 ステレオカメラ装置
EP3620332B1 (en) * 2018-09-05 2021-03-10 Volvo Car Corporation Driver assistance system and method for vehicle flank safety
EP3859273B1 (en) * 2018-09-30 2023-09-06 Great Wall Motor Company Limited Method for constructing driving coordinate system, and application thereof
US10735716B2 (en) * 2018-12-04 2020-08-04 Ford Global Technologies, Llc Vehicle sensor calibration
US10915762B1 (en) 2018-12-07 2021-02-09 Waymo Llc Sidewalk detection for pedestrian behavior modeling
JP7203586B2 (ja) * 2018-12-14 2023-01-13 株式会社デンソーテン 画像処理装置および画像処理方法
CN109815879B (zh) * 2019-01-18 2021-05-07 北京地平线机器人技术研发有限公司 目标检测方法、装置和电子设备
US11370329B2 (en) * 2019-02-27 2022-06-28 Toyota Jidosha Kabushiki Kaisha Control apparatus of vehicle seat
US11238604B1 (en) * 2019-03-05 2022-02-01 Apple Inc. Densifying sparse depth maps
JP7167834B2 (ja) * 2019-04-24 2022-11-09 中西金属工業株式会社 障害物・段差検知システム、及び移動体の注意喚起システム
JP7156218B2 (ja) * 2019-09-06 2022-10-19 トヨタ自動車株式会社 運転支援装置
KR102255924B1 (ko) * 2019-09-27 2021-05-25 주식회사 서울로보틱스 레인을 검출하는 차량 및 방법
CN110654381B (zh) 2019-10-09 2021-08-31 北京百度网讯科技有限公司 用于控制车辆的方法和装置
JP2021103132A (ja) * 2019-12-25 2021-07-15 株式会社ジェイテクト 位置関係検出システム
JP7380196B2 (ja) * 2019-12-25 2023-11-15 株式会社ジェイテクト 位置関係検出装置
JP7225149B2 (ja) * 2020-02-25 2023-02-20 日立Astemo株式会社 処理装置
JP7482054B2 (ja) * 2020-02-27 2024-05-13 フォルシアクラリオン・エレクトロニクス株式会社 画像処理装置及び画像処理方法
US11634124B2 (en) * 2020-08-26 2023-04-25 Carvi Inc. Method of recognizing median strip and predicting risk of collision through analysis of image
US11741718B2 (en) * 2021-05-18 2023-08-29 Hitachi Astemo, Ltd. Light interference detection during vehicle navigation
JP7568579B2 (ja) 2021-05-21 2024-10-16 株式会社Soken 縁石検出装置
JP7356690B1 (ja) * 2023-05-31 2023-10-05 株式会社レグラス 作業車両の走行制御装置

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07271978A (ja) 1994-03-29 1995-10-20 Toshiba Corp 画像処理装置
JP3866328B2 (ja) * 1996-06-06 2007-01-10 富士重工業株式会社 車両周辺立体物認識装置
JPH10307627A (ja) * 1997-05-07 1998-11-17 Fuji Heavy Ind Ltd 自律走行作業車の作業境界検出装置及び倣い走行制御装置
JPH1114376A (ja) 1997-06-20 1999-01-22 Nissan Motor Co Ltd 車両用走行路検出装置
JP3920535B2 (ja) * 2000-06-12 2007-05-30 株式会社日立製作所 車両検出方法及び車両検出装置
JP2002189075A (ja) * 2000-12-20 2002-07-05 Fujitsu Ten Ltd 道路上方静止物検知方法
JP4635746B2 (ja) 2005-07-05 2011-02-23 株式会社豊田中央研究所 画像認識装置
JP4835201B2 (ja) * 2006-02-27 2011-12-14 トヨタ自動車株式会社 立体形状検出装置
JP4801821B2 (ja) * 2007-09-21 2011-10-26 本田技研工業株式会社 道路形状推定装置
JP4775391B2 (ja) * 2008-03-18 2011-09-21 株式会社デンソー 障害物検出装置
US8605947B2 (en) * 2008-04-24 2013-12-10 GM Global Technology Operations LLC Method for detecting a clear path of travel for a vehicle enhanced by object detection
US8803966B2 (en) * 2008-04-24 2014-08-12 GM Global Technology Operations LLC Clear path detection using an example-based approach
US8751154B2 (en) * 2008-04-24 2014-06-10 GM Global Technology Operations LLC Enhanced clear path detection in the presence of traffic infrastructure indicator
JP2010020476A (ja) * 2008-07-09 2010-01-28 Nissan Motor Co Ltd 物体検出装置及び物体検出方法
JP5074365B2 (ja) * 2008-11-28 2012-11-14 日立オートモティブシステムズ株式会社 カメラ装置
JP5441549B2 (ja) 2009-07-29 2014-03-12 日立オートモティブシステムズ株式会社 道路形状認識装置
JP5475138B2 (ja) * 2010-09-08 2014-04-16 トヨタ自動車株式会社 移動物予測装置、仮想可動物予測装置、プログラム、移動物予測方法、及び仮想可動物予測方法
US8791806B2 (en) * 2011-11-28 2014-07-29 Trimble Navigation Limited Real-time detection of hazardous driving
JP2013142972A (ja) 2012-01-10 2013-07-22 Toyota Motor Corp 走行路認識装置
JP2013161190A (ja) 2012-02-02 2013-08-19 Toyota Motor Corp 物体認識装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11145063B2 (en) 2017-09-19 2021-10-12 Subaru Corporation Image processing apparatus

Also Published As

Publication number Publication date
EP2863358A4 (en) 2016-07-06
WO2013190719A1 (ja) 2013-12-27
EP2863358A1 (en) 2015-04-22
US9676330B2 (en) 2017-06-13
JP2014002608A (ja) 2014-01-09
US20150165972A1 (en) 2015-06-18
CN104520894A (zh) 2015-04-15

Similar Documents

Publication Publication Date Title
JP5829980B2 (ja) 路側物検出装置
JP5880703B2 (ja) 車線区分標示検出装置、運転支援システム
JP3862015B2 (ja) 車載用レーダ装置
US10755116B2 (en) Image processing apparatus, imaging apparatus, and device control system
JP4676373B2 (ja) 周辺認識装置、周辺認識方法、プログラム
EP2767927B1 (en) Road surface information detection apparatus, vehicle device control system employing road surface information detection apparatus, and carrier medium of road surface information detection program
JP4930046B2 (ja) 路面判別方法および路面判別装置
RU2636120C2 (ru) Устройство обнаружения трехмерных объектов
JP5561064B2 (ja) 車両用対象物認識装置
EP1403615B1 (en) Apparatus and method for processing stereoscopic images
CN104899554A (zh) 一种基于单目视觉的车辆测距方法
WO2017159056A1 (ja) 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム
JP2017054296A (ja) 走行支援装置及び走行支援方法
JP2013250907A (ja) 視差算出装置、視差算出方法及び視差算出用プログラム
JP6753134B2 (ja) 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及び画像処理プログラム
KR20180092765A (ko) 탑뷰 영상을 이용한 차선인식 장치 및 방법
JP2007264712A (ja) 車線検出装置
JP6733302B2 (ja) 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム
JP2015148887A (ja) 画像処理装置、物体認識装置、移動体機器制御システム及び物体認識用プログラム
JP2013161190A (ja) 物体認識装置
KR102629639B1 (ko) 차량용 듀얼 카메라 장착 위치 결정 장치 및 방법
JP2020126304A (ja) 車外物体検出装置
KR102681321B1 (ko) 듀얼 카메라를 이용하여 거리를 계산하는 고속도로 주행지원 시스템의 성능 평가 장치와 그 방법
JP7486556B2 (ja) 区画線認識装置
KR102588013B1 (ko) 듀얼 카메라를 이용하여 거리를 계산하는 적응형 크루즈 컨트롤 시스템의 성능 평가 장치와 그 제어 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140807

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150714

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150914

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20151006

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20151023

R151 Written notification of patent or utility model registration

Ref document number: 5829980

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250