JP2018147353A - Intersection detecting apparatus, measuring vehicle, intersection detecting program, and data management apparatus - Google Patents
Intersection detecting apparatus, measuring vehicle, intersection detecting program, and data management apparatus Download PDFInfo
- Publication number
- JP2018147353A JP2018147353A JP2017043751A JP2017043751A JP2018147353A JP 2018147353 A JP2018147353 A JP 2018147353A JP 2017043751 A JP2017043751 A JP 2017043751A JP 2017043751 A JP2017043751 A JP 2017043751A JP 2018147353 A JP2018147353 A JP 2018147353A
- Authority
- JP
- Japan
- Prior art keywords
- intersection
- area
- road surface
- candidate
- candidate area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013523 data management Methods 0.000 title claims description 12
- 238000001514 detection method Methods 0.000 claims description 85
- 238000005259 measurement Methods 0.000 claims description 61
- 238000011144 upstream manufacturing Methods 0.000 claims description 37
- 238000013507 mapping Methods 0.000 claims description 11
- 239000000284 extract Substances 0.000 claims description 3
- 238000000034 method Methods 0.000 description 41
- 238000012545 processing Methods 0.000 description 22
- 238000010586 diagram Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 9
- 238000012805 post-processing Methods 0.000 description 8
- 238000006073 displacement reaction Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 238000007796 conventional method Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000007688 edging Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
Images
Landscapes
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Road Repair (AREA)
Abstract
Description
本発明は、路面が映った画像から交差点の範囲を検出する技術に関するものである。 The present invention relates to a technique for detecting a range of an intersection from an image showing a road surface.
路線ごとに路面の健全度を診断するためのシステムを路面性状計測システムという。
路面性状計測システムでは、路面が映った路面画像が用いられ、道路のひび割れ、わだち掘れ及び平坦性が計測される。
路面性状計測は、国、都道府県または市区町村といった道路管轄者ごとに行われる。つまり、国道の計測と県道の計測と市道の計測は異なる道路管轄者によって行われる。
そのため、異なる道路管轄者によって管理される複数の道路が交差する交差点を計測対象から除外しなければならない場合がある。
その場合、道路管轄者は目視によって路面画像から交差点の範囲を特定しており、交差点を特定するための作業に多くの労力および時間が費やされている。
A system for diagnosing road soundness for each route is called a road surface property measurement system.
In the road surface property measurement system, a road surface image showing the road surface is used, and cracks, rutting and flatness of the road are measured.
The road surface property measurement is performed for each road administrator such as a country, a prefecture, or a municipality. That is, national road measurement, prefectural road measurement, and city road measurement are performed by different road authorities.
Therefore, there may be a case where an intersection where a plurality of roads managed by different road authorities intersect is excluded from the measurement target.
In that case, the road administrator identifies the range of the intersection from the road image by visual observation, and much labor and time are spent on the work for identifying the intersection.
特許文献1には、走行路面性状を示すデータから路面性状値の分布を得るための技術が開示されている。
目視によって路面画像から交差点の範囲を特定するには多くの労力および時間がかかってしまう。 It takes a lot of labor and time to specify the range of the intersection from the road image by visual observation.
本発明は、路面が映っている画像から交差点の範囲を自動で検出できるようにすることを目的とする。 It is an object of the present invention to enable automatic detection of an intersection range from an image showing a road surface.
本発明の交差点検出装置は、
道路の路面が映っている路面画像から、前記路面に引かれている側線を検出する側線検出部と、
検出された側線が途切れている領域である候補領域を前記路面画像から検出する候補領域検出部と、
検出された候補領域が交差点を含んだ交差点領域であるか判定する交差点領域判定部と、
検出された候補領域が前記交差点領域であると判定された場合、検出された候補領域から交差点が位置する交差点範囲を特定する交差点範囲特定部とを備える。
The intersection detection device of the present invention is
A side line detection unit that detects a side line drawn on the road surface from a road surface image showing a road surface;
A candidate area detection unit that detects a candidate area that is an area where the detected side line is interrupted from the road surface image; and
An intersection area determination unit that determines whether the detected candidate area is an intersection area including an intersection;
When it is determined that the detected candidate area is the intersection area, an intersection range specifying unit that specifies an intersection range where the intersection is located from the detected candidate area is provided.
本発明によれば、路面が映っている画像から交差点の範囲を自動で検出することができる。 According to the present invention, an intersection range can be automatically detected from an image showing a road surface.
実施の形態および図面において、同じ要素および対応する要素には同じ符号を付している。同じ符号が付された要素の説明は適宜に省略または簡略化する。図中の矢印はデータの流れ又は処理の流れを主に示している。 In the embodiments and the drawings, the same reference numerals are assigned to the same elements and corresponding elements. Description of elements having the same reference numerals will be omitted or simplified as appropriate. The arrows in the figure mainly indicate the flow of data or the flow of processing.
実施の形態1.
路面が映っている画像から交差点の範囲を自動で検出するための形態について、図1から図18に基づいて説明する。
An embodiment for automatically detecting the range of an intersection from an image showing a road surface will be described with reference to FIGS.
***構成の説明***
図1に基づいて、交差点検出装置100の構成を説明する。
交差点検出装置100は、プロセッサ901とメモリ902と補助記憶装置903と入出力インタフェース904といったハードウェアを備えるコンピュータである。これらのハードウェアは、信号線を介して互いに接続されている。
*** Explanation of configuration ***
Based on FIG. 1, the structure of the
The
プロセッサ901は、演算処理を行うIC(Integrated Circuit)であり、他のハードウェアを制御する。例えば、プロセッサ901は、CPU(Central Processing Unit)、DSP(Digital Signal Processor)、またはGPU(Graphics Processing Unit)である。
メモリ902は揮発性の記憶装置である。メモリ902は、主記憶装置またはメインメモリとも呼ばれる。例えば、メモリ902はRAM(Random Access Memory)である。メモリ902に記憶されたデータは必要に応じて補助記憶装置903に保存される。
補助記憶装置903は不揮発性の記憶装置である。例えば、補助記憶装置903は、ROM(Read Only Memory)、HDD(Hard Disk Drive)、またはフラッシュメモリである。補助記憶装置903に記憶されたデータは必要に応じてメモリ902にロードされる。
The
The
The
入出力インタフェース904は入力装置および出力装置が接続されるポートである。例えば、入出力インタフェース904はUSB端子であり、入力装置はキーボードおよびマウスであり、出力装置はディスプレイである。USBはUniversal Serial Busの略称である。
The input /
交差点検出装置100は、ソフトウェアで実現される要素である側線検出部110と候補領域検出部120と交差点領域判定部130と交差点範囲特定部140と交差点範囲強調部150とを備える。
The
補助記憶装置903には、側線検出部110と候補領域検出部120と交差点領域判定部130と交差点範囲特定部140と交差点範囲強調部150とを実現する交差点検出プログラムが記憶されている。交差点検出プログラムは、メモリ902にロードされて、プロセッサ901によって実行される。
さらに、補助記憶装置903にはOS(Operating System)が記憶されている。OSの少なくとも一部は、メモリ902にロードされて、プロセッサ901によって実行される。
つまり、プロセッサ901は、OSを実行しながら、交差点検出プログラムを実行する。
交差点検出プログラムを実行して得られるデータは、メモリ902、補助記憶装置903、プロセッサ901内のレジスタまたはプロセッサ901内のキャッシュメモリといった記憶装置に記憶される。
The
Further, the
That is, the
Data obtained by executing the intersection detection program is stored in a storage device such as the
メモリ902はデータを記憶する記憶部191として機能する。但し、他の記憶装置が、メモリ902の代わりに、又は、メモリ902と共に、記憶部191として機能してもよい。
入出力インタフェース904は、ディスプレイに画像などを表示する表示部192として機能する。また、入出力インタフェース904は、入力を受け付ける受付部およびデータを出力する出力部として機能する。
The
The input /
交差点検出装置100は、プロセッサ901を代替する複数のプロセッサを備えてもよい。複数のプロセッサは、プロセッサ901の役割を分担する。
The
交差点検出プログラムは、磁気ディスク、光ディスクまたはフラッシュメモリ等の不揮発性の記憶媒体にコンピュータ読み取り可能に記憶することができる。不揮発性の記憶媒体は、一時的でない有形の媒体である。 The intersection detection program can be stored in a computer-readable manner in a non-volatile storage medium such as a magnetic disk, an optical disk, or a flash memory. A non-volatile storage medium is a tangible medium that is not temporary.
***動作の説明***
交差点検出装置100の動作は交差点検出方法に相当する。また、交差点検出方法の手順は交差点検出プログラムの手順に相当する。
*** Explanation of operation ***
The operation of the
図2に基づいて、交差点検出方法を説明する。
ステップS110において、側線検出部110は、路面画像から側線を検出する。
路面画像は、道路の路面が映っている画像である。
側線は、道路の長さ方向に沿って路面に引かれている線である。
Based on FIG. 2, the intersection detection method will be described.
In step S110, the side
The road surface image is an image showing the road surface of the road.
A side line is a line drawn on the road surface along the length direction of the road.
ステップS120において、候補領域検出部120は、路面画像から候補領域を検出する。
候補領域は、検出された側線が途切れている領域である。
In step S120, the candidate
The candidate area is an area where the detected side line is interrupted.
ステップS130において、交差点領域判定部130は、検出された候補領域毎に候補領域が交差点領域であるか判定する。
交差点領域は、交差点を含んだ領域である。
In step S130, the intersection
The intersection area is an area including the intersection.
ステップS140において、交差点範囲特定部140は、交差点領域である候補領域毎に候補領域から交差点範囲を特定する。
交差点範囲は、交差点が位置する範囲である。
In step S140, the intersection
The intersection range is a range where the intersection is located.
ステップS150において、表示部192は、交差点範囲が強調された状態で路面画像を表示する。 In step S150, the display unit 192 displays the road surface image in a state where the intersection range is emphasized.
次に、ステップS110からステップS150までのそれぞれの詳細を説明する。
図3に基づいて、側線検出処理(S110)を説明する。
ステップS111において、側線検出部110は、路面画像から白線を検出する。
路面画像は、記憶部191に予め記憶されているものとする。
Next, each detail from step S110 to step S150 is demonstrated.
The side line detection process (S110) will be described based on FIG.
In step S111, the side
The road surface image is stored in the storage unit 191 in advance.
以下に、ステップS111の詳細を説明する。
図4に示すように、路面画像200に映っている路面には側線201、横断歩道202および停止線203といった白線が引かれている。側線201の種類にはサイドライン、センタラインおよび車線分離線などがある。
側線検出部110は、側線201、横断歩道202および停止線203といった白線を路面画像200から検出する。
具体的には、側線検出部110は、路面画像200から輝度閾値よりも高い輝度を有する部分を白線として検出する。つまり、側線検出部110は、路面画像200のそれぞれの画素の輝度に基づいて路面画像200を二値化することによって、路面画像200から白線を検出する。
Details of step S111 will be described below.
As shown in FIG. 4, white lines such as a
The side
Specifically, the side
例えば、輝度閾値は以下のようにして算出してもよい。
まず、側線検出部110は、路面画像200のそれぞれの画素の輝度に基づいて、図5に示すようなヒストグラム210を生成する。
そして、側線検出部110は、生成されたヒストグラム210に基づいて輝度閾値211を決定する。図5において、輝度閾値211は、上位Xパーセントの境界となる輝度である。Xパーセントは予め決められた割合である。
For example, the luminance threshold value may be calculated as follows.
First, the side
Then, the side
図3に戻り、ステップS112を説明する。
ステップS112において、側線検出部110は、ステップS111で検出された白線から、道路の長さ方向に沿って引かれている白線を選択する。選択された白線が側線201である。
Returning to FIG. 3, step S112 will be described.
In step S112, the side
側線検出処理(S110)によって側線が検出される。側線は道路の長さ方向に沿って路面に引かれている線である。言い換えると、側線は道路の進行方向と平行に引かれている白線である。道路の進行方向とは道路において車両が進む方向である。 A side line is detected by the side line detection process (S110). A side line is a line drawn on the road surface along the length direction of the road. In other words, the side line is a white line drawn parallel to the traveling direction of the road. The traveling direction of the road is the direction in which the vehicle travels on the road.
側線検出処理(S110)において、側線検出部110は、白線および側線を従来技術によって検出しても構わない。
In the side line detection process (S110), the side
図6に基づいて、候補領域検出処理(S120)を説明する。
ステップS121において、候補領域検出部120は、道路の長さ方向に沿って路面画像を参照する。
具体的には、候補領域検出部120は、図7において矢印の方向に路面画像200を1ラインずつ参照する。
Based on FIG. 6, the candidate area detection process (S120) will be described.
In step S121, the candidate
Specifically, the candidate
ステップS122において、候補領域検出部120は、側線が途切れたか判定する。
側線が途切れた場合、処理はステップS123に進む。
側線が途切れずに路面画像を参照し終えた場合、候補領域検出処理(S120)は終了する。
例えば、図7において、側線201はラインR1で途切れる。そのため、候補領域検出部120は、ラインR1の次のラインを参照したときに、側線201がラインR1で途切れたと判定する。
In step S122, the candidate
If the side line is interrupted, the process proceeds to step S123.
When the reference to the road surface image is finished without the side line being interrupted, the candidate area detection process (S120) ends.
For example, in FIG. 7, the
ステップS123において、候補領域検出部120は、側線が途切れた箇所から路面画像の参照を続ける。
In step S123, the candidate
ステップS124において、候補領域検出部120は、側線が再び現れたか判定する。
側線が再び現れた場合、処理はステップS125に進む。
側線が再び現れずに路面画像を参照し終えた場合、候補領域検出処理(S120)は終了する。
例えば、図7において、側線201はラインR2で再び現れる。そのため、候補領域検出部120は、ラインR2を参照したときに、側線201がラインR2で再び現れたと判定する。
In step S124, the candidate
If the side line appears again, the process proceeds to step S125.
When the reference to the road image is finished without the side line appearing again, the candidate area detection process (S120) ends.
For example, in FIG. 7, the
ステップS125において、候補領域検出部120は、候補領域情報を生成し、生成された候補領域情報を記憶部191に記憶する。
候補領域情報は、候補領域を示す情報である。
候補領域は、側線が途切れている領域である。具体的には、候補領域は、側線が途切れた箇所から側線が再び現れた箇所までの領域である。
例えば、図7において、候補領域CはラインR1からラインR2までの領域であり、候補領域情報はラインR1とラインR2とを示す情報である。
ステップS125の後、処理はステップS121に進み、候補領域検出部120は側線が再び現れた箇所から路面画像の参照を続ける。
In step S125, the candidate
The candidate area information is information indicating a candidate area.
The candidate area is an area where the side line is interrupted. Specifically, the candidate area is an area from a location where the side line is interrupted to a location where the side line appears again.
For example, in FIG. 7, the candidate area C is an area from the line R1 to the line R2, and the candidate area information is information indicating the line R1 and the line R2.
After step S125, the process proceeds to step S121, and the candidate
候補領域検出処理(S120)によって、1つ以上の候補領域が検出され、候補領域毎に候補領域情報が生成される。 One or more candidate areas are detected by the candidate area detection process (S120), and candidate area information is generated for each candidate area.
図8に基づいて、交差点領域判定処理(S130)を説明する。
ステップS131において、交差点領域判定部130は、未選択の候補領域情報を1つ選択する。
ステップS132からステップS136までの説明において、候補領域情報はステップS131で選択された候補領域情報を意味し、候補領域はステップS131で選択された候補領域情報が示す候補領域を意味する。
Based on FIG. 8, an intersection area | region determination process (S130) is demonstrated.
In step S131, the intersection
In the description from step S132 to step S136, the candidate area information means the candidate area information selected in step S131, and the candidate area means the candidate area indicated by the candidate area information selected in step S131.
ステップS132において、交差点領域判定部130は、候補領域情報に基づいて、候補領域の長さを算出する。算出される長さは、道路の長さ方向における候補領域の長さである。例えば、図9において、候補領域Cの長さは、ラインR1からラインR2までの長さLである。
そして、交差点領域判定部130は、候補領域の長さが長さ許容範囲に含まれるか判定する。長さ許容範囲は予め決められた範囲である。例えば、長さ許容範囲は8メートル以上25メートル以下である。8メートルは2車線に相当する長さであり、25メートルは3車線に相当する長さである。
候補領域の長さが長さ許容範囲に含まれる場合、処理はステップS133に進む。
候補領域の長さが長さ許容範囲に含まれない場合、交差点領域判定部130は、候補領域が交差点領域でないと判定する。この場合、処理はステップS135に進み、候補領域情報がステップS135で削除される。これにより、交差点に対応する長さを有さない領域が交差点の候補領域から除外される。例えば、側線がかすれたために側線が途切れている領域が交差点の候補領域から除外される。
In step S132, the intersection
Then, the intersection
If the length of the candidate area is included in the allowable length range, the process proceeds to step S133.
If the length of the candidate area is not included in the allowable length range, the intersection
ステップS133において、交差点領域判定部130は、候補領域に横断歩道が有るか判定する。
具体的には、交差点領域判定部130は以下のように判定を行う。
まず、交差点領域判定部130は、候補領域から上流領域と下流領域とを抽出する。上流領域は道路の進行方向における上流側(入口側)の領域であり、下流領域は道路の進行方向における下流側(出口側)の領域である。
次に、交差点領域判定部130は、上流領域に横断歩道が有るか判定する。さらに、交差点領域判定部130は、下流領域に横断歩道が有るか判定する。具体的には、交差点領域判定部130は、白とグレーとの縞模様が有るか判定する。横断歩道は従来技術によって検出することが可能である。横断歩道が有る場合、交差点領域判定部130は、横断歩道が位置する範囲を示す情報を候補領域情報に追加する。
そして、上流領域と下流領域との少なくともいずれかに横断歩道が有る場合、交差点領域判定部130は、候補領域に横断歩道が有ると判定する。
また、上流領域と下流領域とのいずれにも横断歩道が無い場合、交差点領域判定部130は、候補領域に横断歩道が無いと判定する。
In step S133, the intersection
Specifically, the intersection
First, the intersection
Next, the intersection
If there is a pedestrian crossing in at least one of the upstream area and the downstream area, the intersection
When there is no pedestrian crossing in either the upstream region or the downstream region, the intersection
例えば、図10において、上流領域UpはラインR1からラインR1’までの領域であり、下流領域LoはラインR2’からラインR2までの領域である。
上流領域Upおよび下流領域Loは、道路の長さ方向において抽出長r1を有する。抽出長r1は、横断歩道202の幅Wに対応する長さである。抽出長r1は予め決められている。
上流領域Upにおいて、横断歩道202は、ラインV1からラインV2までの範囲に位置している。下流領域Loにおいて、横断歩道202は、ラインV3からラインV4までの範囲に位置している。したがって、候補領域Cに横断歩道202が有る。
For example, in FIG. 10, the upstream region Up is a region from the line R1 to the line R1 ′, and the downstream region Lo is a region from the line R2 ′ to the line R2.
The upstream area Up and the downstream area Lo have an extraction length r1 in the road length direction. The extraction length r <b> 1 is a length corresponding to the width W of the
In the upstream region Up, the
図8に戻り、ステップS133の説明を続ける。
候補領域に横断歩道が有る場合、交差点領域判定部130は、候補領域が交差点領域であると判定する。この場合、処理はステップS136に進む。
候補領域に横断歩道が無い場合、処理はステップS134に進む。
Returning to FIG. 8, the description of step S133 is continued.
When there is a pedestrian crossing in the candidate area, the intersection
If there is no pedestrian crossing in the candidate area, the process proceeds to step S134.
ステップS134において、交差点領域判定部130は、候補領域に対応する直前領域に停止線が有るか判定する。候補領域に対応する直前領域は、候補領域の直前に位置する領域である。
具体的には、交差点領域判定部130は以下のように判定を行う。
まず、交差点領域判定部130は、候補領域に対応する直前領域を路面画像200から抽出する。
そして、交差点領域判定部130は、直前領域に停止線が有るか判定する。具体的には、交差点領域判定部130は、側線に対して垂直な白線が有るか判定する。
In step S134, the intersection
Specifically, the intersection
First, the intersection
Then, the intersection
例えば、図11において、直前領域FはラインR1’’からラインR1までの領域であり、直前領域Fは道路の長さ方向において抽出長r2を有する。直前領域Fには、停止線203が有る。
For example, in FIG. 11, the immediately preceding region F is a region from the line R1 ″ to the line R1, and the immediately preceding region F has an extraction length r2 in the road length direction. A
図8に戻り、ステップS134の説明を続ける。
候補領域に対応する直前領域に停止線が有る場合、交差点領域判定部130は候補領域が交差点領域であると判定する。この場合、処理はステップS136に進む。
候補領域に対応する直前領域に停止線が無い場合、交差点領域判定部130は候補領域が交差点領域でないと判定する。この場合、処理はステップS135に進む。
Returning to FIG. 8, the description of step S134 is continued.
If there is a stop line in the immediately preceding area corresponding to the candidate area, the intersection
If there is no stop line in the immediately preceding area corresponding to the candidate area, the intersection
ステップS135において、交差点領域判定部130は、候補領域情報を削除する。
これにより、交差点に該当しない領域が交差点の候補領域から除外される。
In step S135, the intersection
As a result, the area that does not correspond to the intersection is excluded from the candidate areas for the intersection.
ステップS136において、交差点領域判定部130は、未選択の候補領域情報が有るか判定する。
未選択の候補領域情報が有る場合、処理はS131に進む。
未選択の候補領域情報が無い場合、交差点領域判定処理(S130)は終了する。
In step S136, the intersection
If there is unselected candidate area information, the process proceeds to S131.
If there is no unselected candidate area information, the intersection area determination process (S130) ends.
交差点領域判定処理(S130)によって、交差点領域でない候補領域を示す候補領域情報が削除され、交差点領域である候補領域を示す候補領域情報が残る。 By the intersection area determination process (S130), candidate area information indicating a candidate area that is not an intersection area is deleted, and candidate area information indicating a candidate area that is an intersection area remains.
図12に基づいて、交差点範囲特定処理(S140)を説明する。
ステップS141において、交差点範囲特定部140は、未選択の候補領域情報を1つ選択する。
ステップS142からステップS147の説明において、候補領域情報はステップS141で選択された候補領域情報を意味し、候補領域はステップS141で選択された候補領域情報が示す候補領域を意味する。また、上流領域は候補領域の中の上流側の領域を意味し、下流領域は候補領域の中の下流側の領域を意味する。
Based on FIG. 12, the intersection range specifying process (S140) will be described.
In step S141, the intersection
In the description from step S142 to step S147, the candidate area information means the candidate area information selected in step S141, and the candidate area means the candidate area indicated by the candidate area information selected in step S141. The upstream area means an upstream area in the candidate area, and the downstream area means a downstream area in the candidate area.
ステップS142において、交差点範囲特定部140は、候補領域情報から、横断歩道が位置する範囲を示す情報を取得する。そして、交差点範囲特定部140は、取得された情報に基づいて、横断歩道が上流領域と下流領域とのいずれに有るか判定する。
横断歩道が上流領域と下流領域との両方に有る場合、処理はステップS143に進む。
横断歩道が上流領域に有るが下流領域に無い場合、処理はステップS144に進む。
横断歩道が上流領域に無いが下流領域に有る場合、処理はステップS145に進む。
横断歩道が上流領域と下流領域とのいずれにも無い場合、処理はステップS146に進む。
In step S142, the intersection
If the pedestrian crossing is in both the upstream area and the downstream area, the process proceeds to step S143.
If the pedestrian crossing is in the upstream area but not in the downstream area, the process proceeds to step S144.
If the pedestrian crossing is not in the upstream area but is in the downstream area, the process proceeds to step S145.
If there is no pedestrian crossing in either the upstream area or the downstream area, the process proceeds to step S146.
ステップS143において、交差点範囲特定部140は、上流領域に有る横断歩道から下流領域に有る横断歩道までの領域を特定する。特定された領域が交差点範囲である。具体的には、交差点範囲は、上流領域に有る横断歩道の下流側の端から下流領域に有る横断歩道の上流側の端までの領域である。交差点範囲特定部140は、交差点範囲を示す情報を候補領域に追加する。
図13において、交差点範囲204は、ラインV2からラインV3までの領域である。
In step S143, the intersection
In FIG. 13, an
ステップS144において、交差点範囲特定部140は、上流領域に有る横断歩道から候補領域の下流側の端までの領域を特定する。特定された領域が交差点範囲である。具体的には、交差点範囲は、上流領域に有る横断歩道の下流側の端から候補領域の下流側の端までの領域である。交差点範囲特定部140は、交差点範囲を示す情報を候補領域に追加する。
図14において、交差点範囲204は、ラインV2からラインR2までの領域である。
In step S144, the intersection
In FIG. 14, an
ステップS145において、交差点範囲特定部140は、候補領域の上流側の端から下流領域に有る横断歩道までの領域を特定する。特定された領域が交差点範囲である。具体的には、交差点範囲は、候補領域の上流側の端から下流領域に有る横断歩道の上流側の端までの領域である。交差点範囲特定部140は、交差点範囲を示す情報を候補領域に追加する。
図15において、交差点範囲204は、ラインR1からラインV3までの領域である。
In step S145, the intersection
In FIG. 15, an
ステップS146において、交差点範囲特定部140は、候補領域を交差点範囲として特定する。交差点範囲特定部140は、交差点範囲を示す情報を候補領域に追加する。
図16において、交差点範囲204は、ラインR1からラインR2までの領域である。
In step S146, the intersection
In FIG. 16, an
ステップS147において、交差点範囲特定部140は、未選択の候補領域情報が有るか判定する。
未選択の候補領域情報が有る場合、処理はステップS141に進む。
未選択の候補領域情報が無い場合、交差点範囲特定処理(S140)は終了する。
In step S147, the intersection
If there is unselected candidate area information, the process proceeds to step S141.
If there is no unselected candidate area information, the intersection range specifying process (S140) ends.
交差点範囲特定処理(S140)によって、候補領域毎に交差点範囲が特定され、候補領域毎に交差点範囲を示す情報が候補領域情報に追加される。 By the intersection range specifying process (S140), an intersection range is specified for each candidate region, and information indicating the intersection range is added to the candidate region information for each candidate region.
図17に基づいて、交差点範囲強調処理(S150)を説明する。
ステップS151において、交差点範囲強調部150は、未選択の候補領域情報を1つ選択する。
ステップS152およびステップS153の説明において、候補領域情報はステップS151で選択された候補領域情報を意味し、候補領域はステップS151で選択された候補領域情報が示す候補領域を意味する。
Based on FIG. 17, the intersection range enhancement process (S150) will be described.
In step S151, the intersection
In the description of step S152 and step S153, the candidate area information means the candidate area information selected in step S151, and the candidate area means the candidate area indicated by the candidate area information selected in step S151.
ステップS152において、交差点範囲強調部150は、候補領域情報から、交差点範囲を示す情報を取得する。そして、交差点範囲強調部150は、取得された情報が示す交差点範囲に対して強調加工を行う。
強調加工は、交差点範囲を強調する加工である。例えば、強調加工は、網掛け、縁取り、色付け等の加工である。
In step S152, the intersection
Emphasis processing is processing that emphasizes the intersection range. For example, the emphasis processing is processing such as shading, edging, and coloring.
ステップS153において、交差点範囲強調部150は、未選択の候補領域情報が有るか判定する。
未選択の候補領域情報が有る場合、処理はステップS151に進む。
未選択の候補領域情報が無い場合、処理はステップS154に進む。
In step S153, the intersection
If there is unselected candidate area information, the process proceeds to step S151.
If there is no unselected candidate area information, the process proceeds to step S154.
ステップS151からステップS153までの処理によって、路面画像は、交差点範囲が強調された状態の画像に加工される。 By the processing from step S151 to step S153, the road surface image is processed into an image in a state where the intersection range is emphasized.
ステップS154において、表示部192は、交差点範囲が強調された状態の路面画像をディスプレイに表示する。
例えば、表示部192は、図18に示すような路面画像200をディスプレイに表示する。図18において、交差点範囲204は、網掛け及び縁取りによって強調されている。
In step S154, the display unit 192 displays a road surface image in a state where the intersection range is emphasized on the display.
For example, the display unit 192 displays a
交差点検出方法によって、路面画像から交差点範囲が検出され、交差点範囲が強調された状態で路面画像が表示される。 By the intersection detection method, the intersection range is detected from the road surface image, and the road surface image is displayed in a state where the intersection range is emphasized.
***実施の形態1の効果***
路面画像から交差点範囲を検出し、交差点範囲が強調された状態で路面画像を表示することができる。
*** Effects of
An intersection range can be detected from the road surface image, and the road surface image can be displayed in a state where the intersection range is emphasized.
***他の構成***
路面画像の画素に緯度経度のような位置情報が付されている場合、交差点検出装置100は、交差点範囲の位置情報を特定および出力してもよい。
*** Other configurations ***
When position information such as latitude and longitude is attached to the pixels of the road surface image, the
実施の形態2.
交差点検出装置100を備えるシステムについて、図19から図22に基づいて説明する。
Embodiment 2. FIG.
A system including the
図19に基づいて、路面性状計測システム300の構成を説明する。
路面性状計測システム300は、計測車両310とデータ管理装置340と交差点検出装置100とを備える。
Based on FIG. 19, the structure of the road surface
The road surface
計測車両310は、マッピング計測ユニット320と路面性状計測ユニット330とを備える。計測車両310に搭載されたマッピング計測ユニット320は、MMS(モービルマッピングシステム)と呼ばれる。
マッピング計測ユニット320は、MMS計測データ342を取得するための機器群である。MMS計測データ342は道路地図の作成に必要なデータである。
路面性状計測ユニット330は、路面性状計測データ341を取得するための機器群である。路面性状計測データ341は路面性状の検査に必要なデータである。
MMS計測データ342および路面性状計測データ341は計測時刻を含んでいる。計測時刻とは、データを得るための計測が行われた時刻である。
The measurement vehicle 310 includes a mapping measurement unit 320 and a road surface property measurement unit 330. The mapping measurement unit 320 mounted on the measurement vehicle 310 is called an MMS (Mobile Mapping System).
The mapping measurement unit 320 is a device group for acquiring the
The road surface property measurement unit 330 is a device group for acquiring road surface
データ管理装置340は、路面性状計測データ341とMMS計測データ342とMMS後処理データ343とを管理するコンピュータである。データ管理装置340は、プロセッサと記憶装置と入出力インタフェースといったハードウェアを備える。記憶装置はメモリおよび補助記憶装置の総称である。
データ管理装置340は、以下のようなデータ処理をプロセッサによって実行する。処理されたデータは記憶装置に記憶される。
データ管理装置340は、路面性状計測データ341に含まれる複数のライン画像を繋ぎ合わせて路面画像を生成する。ライン画像とは、路面を細い幅で撮影して得られた画像である。
データ管理装置340は、MMS計測データ342に対する後処理を行ってMMS後処理データ343を生成する。MMS計測データ342とMMS後処理データ343とを総称してマッピング計測データという。
データ管理装置340は、路面性状計測データ341とMMS計測データ342とMMS後処理データ343とを、それぞれの計測時刻を用いて、互いに関連付ける。
データ管理装置340は、互いに関連付けられた路面性状計測データ341およびMMS後処理データ343(またはMMS計測データ342)を入出力インタフェースを介して出力する。
The
The
The
The
The
The
データ管理装置340から出力された路面性状計測データ341およびMMS後処理データ343(またはMMS計測データ342)は、交差点検出装置100に入力される。
Road surface
交差点検出装置100は、路面性状計測データ341に含まれる路面画像を用いて、実施の形態1における交差点検出方法を実行する。
The
図20に基づいて、マッピング計測ユニット320の構成を説明する。
マッピング計測ユニット320は、受信機321とレーザスキャナ322とカメラ323とIMU324とを備える。
受信機321は、測位衛星から発信される測位信号を受信する。受信機321によって得られるデータを測位観測データという。
レーザスキャナ322は、道路周辺にレーザ光を照射して道路周辺の地物に対する相対距離および相対方位を計測する。レーザスキャナ322によって得られるデータを地物距離方位データという。
カメラ323は道路周辺を撮影する。カメラ323によって得られる画像を撮影画像という。
IMU324は慣性計測装置の略称である。IMU324は、計測車両310の角速度および加速度を計測する。IMU324によって得られるデータを慣性計測データという。
MMS計測データ342は、測位観測データと地物距離方位データと撮影画像と慣性計測データとを含む。
Based on FIG. 20, the structure of the mapping measurement unit 320 will be described.
The mapping measurement unit 320 includes a
The
The
The
The
図21および図22に基づいて、路面性状計測ユニット330の構成を説明する。
路面性状計測ユニット330は、レーザスキャナ331(図21参照)とラインカメラ332(図21参照)とレーザ照明333(図21参照)と変位計334(図22参照)とを備える。
レーザスキャナ331は、路面の各地点に向けてレーザ光を照射して路面の各地点に対する相対距離および相対方位を計測する。レーザスキャナ331によって得られるデータを路面距離方位データという。
ラインカメラ332は、路面を細い幅で1ラインずつ撮影する。ラインカメラ332によって得られる画像をライン画像という。路面画像は、複数のライン画像を繋ぎ合わせることによって得られる画像である。
変位計334は路面との距離を計測する。変位計334によって得られるデータを路面距離データという。
Based on FIG. 21 and FIG. 22, the structure of the road surface property measurement unit 330 is demonstrated.
The road surface property measuring unit 330 includes a laser scanner 331 (see FIG. 21), a line camera 332 (see FIG. 21), a laser illumination 333 (see FIG. 21), and a displacement meter 334 (see FIG. 22).
The
The
The
***実施の形態の補足***
実施の形態において、交差点検出装置100の機能はハードウェアで実現してもよい。
図23に、交差点検出装置100の機能がハードウェアで実現される場合の構成を示す。
交差点検出装置100は処理回路990を備える。処理回路990はプロセッシングサーキットリともいう。
処理回路990は、側線検出部110と候補領域検出部120と交差点領域判定部130と交差点範囲特定部140と交差点範囲強調部150とを実現する専用の電子回路である。
例えば、処理回路990は、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ロジックIC、GA、ASIC、FPGAまたはこれらの組み合わせである。GAはGate Arrayの略称であり、ASICはApplication Specific Integrated Circuitの略称であり、FPGAはField Programmable Gate Arrayの略称である。
*** Supplement to the embodiment ***
In the embodiment, the function of the
FIG. 23 shows a configuration when the function of the
The
The
For example, the
交差点検出装置100は、処理回路990を代替する複数の処理回路を備えてもよい。複数の処理回路は、処理回路990の役割を分担する。
The
交差点検出装置100の機能は、ソフトウェアとハードウェアとの組み合わせで実現してもよい。つまり、一部の機能がソフトウェアで実現され、残りの機能がハードウェアで実現されてもよい。
The function of the
実施の形態は、好ましい形態の例示であり、本発明の技術的範囲を制限することを意図するものではない。実施の形態は、部分的に実施してもよいし、他の形態と組み合わせて実施してもよい。フローチャート等を用いて説明した手順は、適宜に変更してもよい。 The embodiments are exemplifications of preferred forms and are not intended to limit the technical scope of the present invention. The embodiment may be implemented partially or in combination with other embodiments. The procedure described using the flowchart and the like may be changed as appropriate.
100 交差点検出装置、110 側線検出部、120 候補領域検出部、130 交差点領域判定部、140 交差点範囲特定部、150 交差点範囲強調部、191 記憶部、192 表示部、200 路面画像、201 側線、202 横断歩道、203 停止線、204 交差点範囲、210 ヒストグラム、211 輝度閾値、300 路面性状計測システム、310 計測車両、320 マッピング計測ユニット、321 受信機、322 レーザスキャナ、323 カメラ、324 IMU、330 路面性状計測ユニット、331 レーザスキャナ、332 ラインカメラ、333 レーザ照明、334 変位計、340 データ管理装置、341 路面性状計測データ、342 MMS計測データ、343 MMS後処理データ、901 プロセッサ、902 メモリ、903 補助記憶装置、990 処理回路。
DESCRIPTION OF
Claims (14)
検出された側線が途切れている領域である候補領域を前記路面画像から検出する候補領域検出部と、
検出された候補領域が交差点を含んだ交差点領域であるか判定する交差点領域判定部と、
検出された候補領域が前記交差点領域であると判定された場合、検出された候補領域から交差点が位置する交差点範囲を特定する交差点範囲特定部と
を備える交差点検出装置。 A side line detection unit that detects a side line drawn on the road surface from a road surface image showing a road surface;
A candidate area detection unit that detects a candidate area that is an area where the detected side line is interrupted from the road surface image; and
An intersection area determination unit that determines whether the detected candidate area is an intersection area including an intersection;
An intersection detection apparatus comprising: an intersection range specifying unit that specifies an intersection range where an intersection is located from the detected candidate area when it is determined that the detected candidate area is the intersection area.
請求項1に記載の交差点検出装置。 The intersection detection device according to claim 1, wherein the side line detection unit detects a white line from the road surface image, and selects a white line drawn along a length direction of the road as the side line from the detected white line. .
請求項2に記載の交差点検出装置。 The intersection detection device according to claim 2, wherein the side line detection unit detects a portion having a luminance higher than a luminance threshold from the road surface image as a white line.
請求項3に記載の交差点検出装置。 The intersection detection device according to claim 3, wherein the side line detection unit generates a histogram based on a luminance of each pixel of the road surface image, and determines the luminance threshold based on the generated histogram.
請求項1に記載の交差点検出装置。 The candidate area detection unit refers to the road surface image along the length direction of the road, and detects, as the candidate area, an area from a location where the side line is interrupted to a location where the side line appears again. The intersection detection apparatus described in 1.
請求項1に記載の交差点検出装置。 The intersection detection device according to claim 1, wherein the intersection area determination unit determines that the candidate area is not the intersection area when the length of the candidate area is not included in the allowable length range.
請求項1または請求項6に記載の交差点検出装置。 7. The intersection area determination unit determines whether the candidate area includes a pedestrian crossing, and determines that the candidate area is the intersection area when the candidate area includes a pedestrian crossing. The intersection detection apparatus described in 1.
請求項7に記載の交差点検出装置。 The intersection area determination unit extracts an upstream area that is an upstream area and a downstream area that is a downstream area from the candidate area, and there is a pedestrian crossing in at least one of the upstream area and the downstream area. The intersection detection device according to claim 7, wherein when the pedestrian crossing is present in at least one of the upstream region and the downstream region, it is determined that the candidate region includes a pedestrian crossing.
請求項7に記載の交差点検出装置。 The intersection area determination unit determines whether there is a stop line in the immediately preceding area located immediately before the candidate area. If the candidate area does not include a crosswalk but has a stop line in the immediately preceding area, the candidate area The intersection detection apparatus according to claim 7, wherein the intersection detection area is determined to be the intersection area.
前記候補領域の中の上流側の領域である上流領域と前記候補領域の中の下流側の領域である下流領域との両方に横断歩道が有る場合、前記上流領域に有る横断歩道から前記下流領域に有る横断歩道までの領域を前記交差点範囲として特定し、
前記上流領域に横断歩道が有るが前記下流領域に横断歩道が無い場合、前記上流領域に有る横断歩道から前記候補領域の下流側の端までの領域を前記交差点範囲として特定し、
前記上流領域に横断歩道が無いが前記下流領域に横断歩道が有る場合、前記候補領域の上流側の端から前記下流領域に有る横断歩道までの領域を前記交差点範囲として特定し、
前記上流領域と前記下流領域とのいずれにも横断歩道が無い場合、前記候補領域を前記交差点範囲として特定する
請求項1に記載の交差点検出装置。 The intersection range specifying part is:
When there is a pedestrian crossing in both the upstream region that is the upstream region in the candidate region and the downstream region that is the downstream region in the candidate region, the downstream region from the pedestrian crossing in the upstream region The area up to the pedestrian crossing in is specified as the intersection range,
If there is a pedestrian crossing in the upstream area but there is no pedestrian crossing in the downstream area, the area from the pedestrian crossing in the upstream area to the downstream end of the candidate area is specified as the intersection range,
When there is no pedestrian crossing in the upstream area but there is a pedestrian crossing in the downstream area, the area from the upstream end of the candidate area to the pedestrian crossing in the downstream area is specified as the intersection range,
The intersection detection device according to claim 1, wherein when there is no pedestrian crossing in any of the upstream region and the downstream region, the candidate region is specified as the intersection range.
請求項1に記載の交差点検出装置。 The intersection detection apparatus according to claim 1, further comprising a display unit that displays the road surface image in a state where the intersection range is emphasized.
検出された側線が途切れている領域である候補領域を前記路面画像から検出する候補領域検出部と、
検出された候補領域が交差点を含んだ交差点領域であるか判定する交差点領域判定部と、
検出された候補領域が前記交差点領域であると判定された場合、検出された候補領域から交差点が位置する交差点範囲を特定する交差点範囲特定部
としてコンピュータを機能させるための交差点検出プログラム。 A side line detection unit that detects a side line drawn on the road surface from a road surface image showing a road surface;
A candidate area detection unit that detects a candidate area that is an area where the detected side line is interrupted from the road surface image; and
An intersection area determination unit that determines whether the detected candidate area is an intersection area including an intersection;
An intersection detection program for causing a computer to function as an intersection range identification unit that identifies an intersection range where an intersection is located from a detected candidate area when it is determined that the detected candidate area is the intersection area.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017043751A JP6742262B2 (en) | 2017-03-08 | 2017-03-08 | Intersection detector |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017043751A JP6742262B2 (en) | 2017-03-08 | 2017-03-08 | Intersection detector |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018147353A true JP2018147353A (en) | 2018-09-20 |
JP6742262B2 JP6742262B2 (en) | 2020-08-19 |
Family
ID=63591356
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017043751A Expired - Fee Related JP6742262B2 (en) | 2017-03-08 | 2017-03-08 | Intersection detector |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6742262B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114509060A (en) * | 2020-11-16 | 2022-05-17 | 丰田自动车株式会社 | Map generation device, map generation method, and computer program for map generation |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2023133773A (en) * | 2022-03-14 | 2023-09-27 | トヨタ自動車株式会社 | Stop line detection device |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0674778A (en) * | 1992-08-26 | 1994-03-18 | Mitsubishi Electric Corp | Navigation system for mobile |
JP2002031528A (en) * | 2000-07-14 | 2002-01-31 | Asia Air Survey Co Ltd | Space information generating device for mobile mapping |
JP2008275381A (en) * | 2007-04-26 | 2008-11-13 | Mitsubishi Electric Corp | On-vehicle navigation device |
JP2009096274A (en) * | 2007-10-16 | 2009-05-07 | Nissan Motor Co Ltd | White line detector, parking and stop assist device, and white line detection method |
WO2015141267A1 (en) * | 2014-03-18 | 2015-09-24 | 富士通株式会社 | Road surface state measurement method, road surface deterioration site identification method, information processing device, and program |
JP2016004521A (en) * | 2014-06-19 | 2016-01-12 | 富士重工業株式会社 | Steering assist control device |
JP2016217084A (en) * | 2015-05-26 | 2016-12-22 | 株式会社日立システムズ | Road surface condition measurement system, road surface condition measurement method and road surface condition measurement program |
-
2017
- 2017-03-08 JP JP2017043751A patent/JP6742262B2/en not_active Expired - Fee Related
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0674778A (en) * | 1992-08-26 | 1994-03-18 | Mitsubishi Electric Corp | Navigation system for mobile |
JP2002031528A (en) * | 2000-07-14 | 2002-01-31 | Asia Air Survey Co Ltd | Space information generating device for mobile mapping |
JP2008275381A (en) * | 2007-04-26 | 2008-11-13 | Mitsubishi Electric Corp | On-vehicle navigation device |
JP2009096274A (en) * | 2007-10-16 | 2009-05-07 | Nissan Motor Co Ltd | White line detector, parking and stop assist device, and white line detection method |
WO2015141267A1 (en) * | 2014-03-18 | 2015-09-24 | 富士通株式会社 | Road surface state measurement method, road surface deterioration site identification method, information processing device, and program |
JP2016004521A (en) * | 2014-06-19 | 2016-01-12 | 富士重工業株式会社 | Steering assist control device |
JP2016217084A (en) * | 2015-05-26 | 2016-12-22 | 株式会社日立システムズ | Road surface condition measurement system, road surface condition measurement method and road surface condition measurement program |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114509060A (en) * | 2020-11-16 | 2022-05-17 | 丰田自动车株式会社 | Map generation device, map generation method, and computer program for map generation |
Also Published As
Publication number | Publication date |
---|---|
JP6742262B2 (en) | 2020-08-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11609101B2 (en) | Image processing apparatus, image processing method, computer program and computer readable recording medium | |
JP6739613B2 (en) | Map data difference extraction device, map data difference extraction method, and map data difference extraction program | |
US10275661B2 (en) | Image processing apparatus, image processing method, and computer program product | |
US10872247B2 (en) | Image feature emphasis device, road surface feature analysis device, image feature emphasis method, and road surface feature analysis method | |
EP2955664A1 (en) | Traffic lane boundary line extraction apparatus, traffic lane boundary line extraction method, and program | |
JP6487283B2 (en) | Point cloud data processing device, point cloud data processing method, program, and recording medium | |
JP7276446B2 (en) | Road surface inspection device, road surface inspection method, and program | |
US20100259609A1 (en) | Pavement marker recognition device, pavement marker recognition method and pavement marker recognition program | |
JP7195185B2 (en) | Road surface condition measuring device, road surface condition measuring system, road surface condition measuring method, and road surface condition measuring program | |
JP2007234019A (en) | Vehicle image area specifying device and method for it | |
JP6678267B1 (en) | Road defect detecting device, road defect detecting method, and road defect detecting program | |
CN113167742B (en) | Point inspection support device, point inspection support method, and recording medium for concrete structure | |
CN114387268A (en) | Bolt looseness detection method and device | |
JPWO2020261567A5 (en) | ||
JP2022051770A (en) | Map generation system, map generation method and map generation program | |
JP2016018371A (en) | On-vehicle system, information processing apparatus, and program | |
TW201938414A (en) | Lane line detection method | |
JP6894361B2 (en) | Crack direction identification method, crack direction identification device, crack direction identification system and program on concrete surface | |
JP6742262B2 (en) | Intersection detector | |
Dhiman et al. | Road surface distress detection in disparity space | |
TWI588444B (en) | Pavement detecting method, pavement detecting device and pavement detecting system | |
JP7378893B2 (en) | Map generation device, map generation method, and map generation program | |
JP7340434B2 (en) | Reinforcement inspection system, reinforcement inspection method, and reinforcement inspection program | |
Nasrallah et al. | Positioning and detection of rigid pavement cracks using GNSS data and image processing | |
JP7539819B2 (en) | Image measurement device, image measurement method, and image measurement program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190407 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200324 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200414 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200611 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200630 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200728 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6742262 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |