[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP7323716B2 - 画像処理装置および画像処理方法 - Google Patents

画像処理装置および画像処理方法 Download PDF

Info

Publication number
JP7323716B2
JP7323716B2 JP2022530019A JP2022530019A JP7323716B2 JP 7323716 B2 JP7323716 B2 JP 7323716B2 JP 2022530019 A JP2022530019 A JP 2022530019A JP 2022530019 A JP2022530019 A JP 2022530019A JP 7323716 B2 JP7323716 B2 JP 7323716B2
Authority
JP
Japan
Prior art keywords
identification
image
class
processing
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022530019A
Other languages
English (en)
Other versions
JPWO2021250934A1 (ja
Inventor
拓紀 茂泉
宏治 土井
健 永崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Astemo Ltd
Original Assignee
Hitachi Astemo Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Astemo Ltd filed Critical Hitachi Astemo Ltd
Publication of JPWO2021250934A1 publication Critical patent/JPWO2021250934A1/ja
Application granted granted Critical
Publication of JP7323716B2 publication Critical patent/JP7323716B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Description

本開示は、画像処理装置および画像処理方法に関する。
従来から物体検出装置、物体検出方法およびプログラムに関する発明が知られている(下記特許文献1を参照)。特許文献1は、検出部と、非線形処理部と、を備える物体検出装置を開示している(同文献、要約、請求項1、第0006段落)。検出部は、撮影画像から1つ以上の物体候補領域を検出する。非線形処理部は、少なくとも前記物体候補領域を含む前記撮影画像の一部または全部を、前記物体候補領域内の物体の姿勢と該物体までの距離とを同時に推定するニューラルネットワークに入力する。また、非線形処理部は、該ニューラルネットワークの出力を用いて、少なくとも前記物体までの距離の情報を含む物体情報を出力する。
特許文献1に記載された従来の物体検出装置は、車載カメラで撮影された撮影画像を元に撮影範囲内に存在する物体を検出し、少なくとも検出した物体までの距離の情報を含む物体情報を出力する。物体検出装置が検出する物体として、当該物体検出装置が搭載された自車両の周辺に存在する他車両、歩行者、自転車やバイクなどの二輪車、信号機、標識、電柱、看板などの路側設置物など、自車両の走行の妨げになり得る障害物が例示されている(同文献、第0008段落)。
上記物体検出装置の検出機能による物体候補領域の検出は、車載カメラの撮影画像上で、検出の対象となる物体の大きさに相当する走査矩形を用いて物体の有無を判断することを基本とする(同文献、第0021段落)。そして、走査矩形内の画像領域に対し、画像特徴量を算出し、予め学習した識別器を用いて、走査矩形内に他車両があるか否かを判別するか、他車両らしさを示す尤度を出力する(同文献、第0022段落)。
特開2019‐008460号公報
上記物体検出装置のように、走査矩形内に検出する物体があるか否かを判別する識別器には、たとえば、車両とそれ以外の物体を判別する2クラス識別器や、車両と歩行者とそれ以外の物体など、複数の物体を一度に判別する多クラス識別器がある。しかし、先進運転支援システム(Advanced Driver Assistance System:ADAS)や自動運転システム(Automated Driving System:ADS)の発展にともなって、識別対象の種別はさらに増加する傾向にある。
撮像装置の画像から識別対象の物体を識別する画像処理において、識別対象の種別の増加に対応するには、たとえば、多数の識別器を併用したり、各々の識別器の階層を増加させたりして、識別精度を向上させる必要がある。しかし、識別器の数や、識別器の階層を増加させると、物体の識別処理の負荷が増加して処理時間が必要な時間内に収まらなくなるおそれがある。
本開示は、画像から複数の識別対象を識別する画像処理の処理負荷の低減と識別精度の向上が可能な画像処理装置および画像処理方法を提供する。
本開示の一態様は、撮像装置によって撮影された画像に対して多クラス識別処理を行って複数の種別の識別対象を識別する多クラス識別部と、前記多クラス識別処理により識別された前記識別対象を追跡対象とする画像追跡を行って前時刻の前記画像に基づく後時刻の前記画像における前記追跡対象の予測位置を算出する追跡処理部と、前記後時刻の前記画像の前記予測位置に対して前記追跡対象の前記種別に応じた2クラス識別処理を行って前記追跡対象の前記種別を識別する識別部と、を有することを特徴とする画像処理装置である。
本開示の上記一態様によれば、画像から複数の識別対象を識別する画像処理の処理負荷の低減と識別精度の向上が可能な画像処理装置および画像処理方法を提供することができる。
本開示に係る画像処理装置の一実施形態を示すブロック図。 本開示に係る画像処理方法の一実施形態を示すフロー図。 本開示に係る画像処理方法の一実施形態を示すフロー図。
以下、図面を参照して本開示の画像処理装置および画像処理方法の実施形態を説明する。
図1は、本開示に係る画像処理装置の一実施形態を示すブロック図である。本実施形態の画像処理装置IPAは、たとえば、撮像装置IDによって撮影された画像から複数の種別の識別対象を識別する装置である。より具体的には、画像処理装置IPAは、たとえば、車両に搭載され、単眼カメラやステレオカメラなどの撮像装置IDによって撮影された画像から、車両の周囲の複数の異なる物体を識別する装置である。なお、撮像装置IDによって撮影される画像は特に限定されず、たとえば、カラー画像または濃淡画像などを適宜選択することができる。
図1に示す例において、撮像装置IDは、車両に搭載されたステレオカメラである。画像処理装置IPAは、たとえば、CPUなどの処理装置を含む処理部100と、ROMやRAMなどの記憶装置を含む記憶部200と、その記憶部200に記憶されて処理部100によって実行されるコンピュータ・プログラムと、を備えている。また、図示を省略するが、画像処理装置IPAは、たとえば、信号の入出力を行う入出力部を備えている。
画像処理装置IPAの処理部100は、たとえば、信号処理部110と、認識処理部150とを有している。信号処理部110は、たとえば、画像取得部111と、視差算出部112とを含む。認識処理部150は、たとえば、第1認識処理部120と、第2認識処理部130と、出力処理部140とを含む。第1認識処理部120は、たとえば、画像領域選択部121と、多クラス識別部122とを含む。第2認識処理部130は、たとえば、追跡処理部131と、識別部132とを含む。識別部132は、たとえば、複数の2クラス識別部132a,132bを含む。
処理部100の各部は、たとえば、記憶部200に記憶されたコンピュータ・プログラムを処理部100によって実行することによって実現される処理部100の機能ブロックである。これら処理部100の各部は、たとえば、それぞれ専用の処理装置によって実現されてもよく、複数の機能ブロックが一つの処理装置によって実現されてもよい。また、記憶部200は、たとえば、一種または多種の複数の記憶装置によって構成してもよく、一つの記憶装置によって構成してもよい。
なお、図1に示す例において、画像処理装置IPAは記憶部200を含んでいるが、画像処理装置IPAは外部の記憶部200に接続されていてもよい。また、図1に示す例において、画像処理装置IPAは外部の撮像装置IDに接続されているが、画像処理装置IPAは撮像装置IDを含んでもよい。また、図1に示す例において、識別部132は、2つの2クラス識別部132a,132bを有しているが、3以上の2クラス識別部を有してもよい。
画像処理装置IPAが撮像装置IDによって撮影された画像から識別する識別対象202は、たとえば、予め記憶部200に記憶されている。識別対象202は、画像処理装置IPAが搭載された自車両の周囲の他車両、歩行者、移動体、障害物、道路、道路標示、道路標識、および信号などの複数の種別を含む。さらに、画像処理装置IPAの識別対象である他車両は、たとえば、自転車などの軽車両、原動機付き自転車、自動二輪車、軽自動車、普通自動車、大型自動車、バス、トラックなど、複数の種別を含んでもよい。さらに、他車両は、たとえば、先行車、後続車、対向車、横断車両、右折車両、左折車両など、自車両に対する位置、姿勢、進行方向、速度、加速度、および角速度などに基づく種別を含んでもよい。
次に、図2Aおよび図2Bを参照して、図1に示す画像処理装置IPAの動作とともに、本開示に係る画像処理方法の一実施形態を説明する。図2Aおよび図2Bは、図1に示す画像処理装置IPAを用いた本実施形態の画像処理方法IPMのフロー図である。
撮像装置IDは、たとえば、所定の周期および所定の撮像時間で画像を撮影する。画像処理装置IPAは、撮像装置IDによって所定の周期で撮影された各画像を、図2Aに示す画像処理方法IPMによって処理する。画像処理装置IPAは、図2Aに示す画像処理方法IPMを開始すると、まず画像取得処理P1を実行する。
画像取得処理P1において、画像取得部111は、たとえば、撮像装置IDから画像を取得して、記憶部200に画像情報201の一部として記憶させる。なお、画像情報201は、たとえば、撮像装置IDがステレオカメラである場合、右カメラによって撮影した右画像と、左カメラによって撮影した左画像のそれぞれの画像情報を含む。
また、画像取得処理P1において、視差算出部112は、たとえば、右画像と左画像を入力として、右画像内の特定の領域に類似する左画像内の領域を探索して視差を求める処理を行う。視差算出部112は、この処理を右画像の全領域に対して行うことで視差画像を出力する。視差算出部112は、視差画像を画像情報201の一部として、記憶部200に記憶させる。
次に、画像処理装置IPAは、たとえば、画像領域の選択処理P2を実行する。画像領域の選択処理P2において、画像処理装置IPAは、撮像装置IDによって撮影された画像から複数の種別の識別対象のいずれかが含まれる可能性がある画像領域を選択する。より具体的には、第1認識処理部120は、たとえば、視差算出部112の出力である視差画像を、視差算出部112または記憶部200に記憶された画像情報201から取得する。
画像領域の選択処理P2において、画像領域選択部121は、たとえば、視差画像を入力とし、視差画像中の互いに隣接しかつ互いに近似する視差をグルーピングして、グルーピングした視差を囲む矩形枠を生成する。また、画像領域選択部121は、生成した矩形枠の縦横の大きさが所定の大きさ以上の矩形枠を、複数の種別の識別対象のいずれかが含まれる可能性がある画像領域として選択する。
画像領域選択部121は、選択した画像領域の位置情報すなわち視差画像上の座標と、縦横の大きさである縦幅と横幅を、識別対象を含む可能性のある画像領域203として出力して記憶部200に記憶させる。ここで、画像領域選択部121は、たとえば、視差画像から複数の画像領域を選択した場合、各々の画像領域に対して1からn(自然数)までの識別番号Nを付与し、記憶部200に画像領域203として記憶させる。
なお、画像領域選択部121は、たとえば、矩形枠の縦横比などによって、矩形枠で囲まれた視差画像の画像領域に含まれる可能性がある識別対象の種別を推定し、特定の種別の識別対象を含む可能性がある画像領域のみを選択してもよい。なお、撮像装置IDが単眼カメラである場合、画像領域選択部121は、単眼カメラの画像から複数の種別の識別対象のいずれかが含まれる可能性がある画像領域を選択してもよい。
この場合、画像領域選択部121は、たとえば、車両に搭載されたミリ波レーダによる物体の検知結果を、画像領域の選択に使用してもよい。また、画像領域選択部121は、たとえば、撮像装置IDの画像の特定の領域を予め指定し、その領域に対して任意の大きさのウィンドウを用いたラスタスキャンを行うことで、複数の種別の識別対象のいずれかが含まれる可能性がある画像領域を選択してもよい。
次に、多クラス識別部122は、たとえば、多クラス識別処理の処理対象とする画像領域の識別番号Nを、N=1に設定する処理P3を実行する。さらに、多クラス識別部122は、撮像装置IDによって撮影された画像に対して多クラス識別処理を行って複数の種別の識別対象を識別する多クラス識別処理P4を行う。
より具体的には、多クラス識別処理P4において、多クラス識別部122は、たとえば、画像領域選択部121によって選択された画像領域から複数の種別の識別対象を識別する。多クラス識別部122は、たとえば、前述の選択処理P2で選択された識別番号Nが1からnまでの各々の画像領域に対して、順次、多クラス識別処理P4を実行する。
多クラス識別処理P4は、たとえば、登録数判定処理P4aと、多クラス識別処理P4bと、種別判定処理P4cと、種別候補登録処理P4d,P4eと、インクリメント処理P4fとを有している。多クラス識別部122は、まず、登録数判定処理P4aにおいて、後述する追跡処理P6aにおける追跡対象の登録数が上限数未満であるか否かを判定する。
多クラス識別部122は、たとえば、登録数判定処理P4aにおいて、登録数が上限数未満ではない(NO)、すなわち登録数が上限数に達していると判定すると、多クラス識別処理P4b以降の処理を実行せず、次の処理P5へ進む。一方、多クラス識別部122は、たとえば、登録数判定処理P4aにおいて、登録数が上限数未満である(YES)と判定すると、多クラス識別処理P4bを実行する。
多クラス識別部122は、たとえば、多クラス識別処理P4bにおいて、画像領域から識別対象202として記憶部200に記憶された複数の種別の識別対象を識別する。多クラス識別部122は、たとえば、画像領域選択部121によって選択されて記憶部200に記憶された画像領域203と、記憶部200に記憶された多クラス識別学習データ204との類似性を評価する。
多クラス識別学習データ204は、たとえば、識別対象である自動車の画像と、自動二輪車の画像と、その他の物体の画像をそれぞれ多数入力して機械学習を行った学習データである。すなわち、多クラス識別部122は、複数の種別の識別対象を入力して機械学習を行った多クラス識別学習データ204を用いて多クラス識別処理を行う。
より具体的には、本実施形態において、多クラス識別部122は、たとえば、少なくとも第1の種別の識別対象としての自動車と、第2の種別の識別対象としての自動二輪車とが入力されて機械学習が行われた多クラス識別学習データ204を用いて、多クラス識別処理を行う。本実施形態では、多クラス識別処理P4bにおける識別対象の種別が、たとえば、自動車と自動二輪車の二種である場合を説明するが、識別対象の種別およびその数は、特に限定されない。
多クラス識別部122は、たとえば、多クラス識別処理P4bにおいて、画像領域203と多クラス識別学習データ204との類似性の評価値を算出する。具体的には、多クラス識別部122は、たとえば、第1の種別の識別対象(i)を自動車とし、第2の種別の識別対象(ii)を自動二輪車とした多クラス識別学習データ204と、画像領域203との類似性の評価値を算出する。次に、多クラス識別部122は、この類似性の評価値に基づいて、画像領域203に存在する識別対象の種別の判定処理P4cを実行する。
この判定処理P4cにおいて、多クラス識別部122は、たとえば、上記類似性の評価値が所定のしきい値以上である場合に、画像領域203に存在する識別対象の種別を識別する。より具体的には、多クラス識別部122は、たとえば、画像領域203と、第1の種別の識別対象(i)である自動車との類似性の評価値が所定のしきい値以上である場合、画像領域203から第1の種別の識別対象(i)である自動車とその位置情報を識別する。さらに、多クラス識別部122は、当該画像領域203から識別した第1の種別の識別対象(i)である自動車に登録番号を付与して、追跡対象および種別候補205として記憶部200に登録する処理P4dを実行する。
また、上記判定処理P4cにおいて、多クラス識別部122は、たとえば、画像領域203と、第2の種別の識別対象(ii)である自動二輪車との類似性の評価値が所定のしきい値以上である場合、画像領域203から第2の種別の識別対象(ii)である自動二輪車とその位置情報を識別する。さらに、多クラス識別部122は、当該画像領域203から識別した第2の種別の識別対象(ii)である自動二輪車に登録番号を付与して、追跡対象および種別候補205として記憶部200に登録する処理P4eを実行する。多クラス識別部122は、たとえば、処理P4dまたは処理P4eの終了後、インクリメント処理P4fを実行する。
また、上記判定処理P4cにおいて、多クラス識別部122は、たとえば、画像領域203と、第1および第2の種別の識別対象(i),(ii)との類似性の評価値が所定のしきい値未満である場合に、当該画像領域203に識別対象が含まれないことを識別する。この場合、多クラス識別部122は、たとえば、インクリメント処理P4fを実行する。
インクリメント処理P4fにおいて、多クラス識別部122は、たとえば、次の多クラス識別処理P4の処理対象となる画像領域203の識別番号Nを、N+1にインクリメントする。多クラス識別部122は、たとえば、インクリメントされた画像領域203の識別番号Nが、前述の選択処理P2で選択された画像領域203の数nを超えるまで、前述の処理P4aから処理P4fまでを含む多クラス識別処理P4を繰り返し実行する。
前述の選択処理P2で選択されたすべての画像領域203に対する多クラス識別処理P4の終了後、追跡処理部131は、たとえば、後述する識別処理P6における処理対象となる追跡対象の登録番号Rを1に設定する処理P5を実行する。さらに、追跡処理部131は、記憶部200に追跡対象および種別候補205として登録された追跡対象の予測位置を算出するとともに、その追跡対象の種別を確定する識別処理P6を実行する。
追跡処理部131は、たとえば、前述の種別候補登録処理P4d,P4eで記憶部200に追跡対象および種別候補205として登録された登録番号Rが1からm(自然数)までの各々の追跡対象に対して、順次、識別処理P6を実行する。識別処理P6は、たとえば、追跡処理P6aと、種別候補判定処理P6bと、2クラス識別処理P6c,P6hと、種別判定処理P6d,P6iと、登録処理P6e,P6jと、予測位置算出処理P6f,P6kと、登録削除処理P6gと、インクリメント処理P6lとを有している。
追跡処理部131は、まず、追跡処理P6aにおいて、多クラス識別処理P4により識別された識別対象を追跡対象とする画像追跡を行って、前時刻の画像に基づく後時刻の画像における追跡対象の予測位置を算出する。追跡処理部131は、たとえば、前回時刻における追跡対象の位置情報に基づいて今回時刻における追跡対象の予測位置を算出する。
追跡処理部131は、追跡処理P6aにおいて、たとえば、前回時刻における追跡対象の画像をテンプレートとして今回時刻における追跡対象をテンプレートマッチングによって探索する手法や、追跡対象の領域内の各画素の移動量をオプティカルフローなどによって推定する手法を用いる。そして、追跡処理部131は、前回時刻における追跡対象の位置と過去の追跡対象の移動量から今回時刻の追跡対象の動き予測を行う。
また、追跡処理部131は、たとえば、種別候補判定処理P6bにおいて、記憶部200に登録された追跡対象および種別候補205を参照し、多クラス識別処理P4で識別された追跡対象の種別が、第1の種別(i)である自動車と、第2の種別(ii)である自動二輪車のどちらであるかを判定する。
種別候補判定処理P6bにおいて、追跡処理部131により追跡対象の種別が第1の種別(i)の自動車であると判定されると、識別部132は、後時刻の画像の予測位置に対して、追跡対象の種別に応じた2クラス識別処理を行って追跡対象の種別を識別する。より具体的には、識別部132は、第1の種別(i)の識別対象に対応する2クラス識別部132aを用いた2クラス識別処理P6cを行う。
2クラス識別部132aは、記憶部200に記憶された2クラス識別学習データ206を用い、識別対象の予測位置とその周辺に対して2クラス識別処理を行って、追跡対象の種別を識別する。ここで、2クラス識別学習データ206は、画像処理装置IPAの複数の種別の識別対象のうちの一の種別である第1の種別の識別対象(i)すなわち自動車と、それ以外の識別対象の画像を多数入力して機械学習を行った自動車用の2クラス識別学習データである。
2クラス識別処理P6cにおいて、2クラス識別部132aは、たとえば、追跡対象の予測位置およびその周辺の画像領域と、2クラス識別学習データ206との類似性の評価値を算出する。次に、2クラス識別部132aは、種別判定処理P6dを実行する。種別判定処理P6dにおいて、2クラス識別部132aは、たとえば、上記類似性の評価値が所定のしきい値以上である場合に、追跡対象の種別が、第1の種別の識別対象(i)すなわち自動車であることを判定し、登録処理P6eを実行する。
この登録処理P6eにおいて、2クラス識別部132aは、たとえば、追跡対象の種別として、第1の種別の識別対象(i)である自動車を記憶部200の出力情報208に登録する。また、登録処理P6eにおいて、2クラス識別部132aは、追跡対象の予測位置を、第1の種別の識別対象(i)である自動車の位置として記憶部200の出力情報208に登録する。次に、2クラス識別部132aは、たとえば、予測位置算出処理P6fを実行する。
この予測位置算出処理P6fにおいて、2クラス識別部132aは、たとえば、前回時刻における追跡対象の位置情報と、今回時刻における追跡対象の位置情報との差分を求め、その差分をフレーム撮像間隔で除算することで、追跡対象の移動速度を算出する。さらに、2クラス識別部132aは、たとえば、今回時刻における追跡対象の位置情報と、追跡対象の移動速度に基づいて、次回時刻における追跡対象の予測位置を算出する。ここで算出された追跡対象の予測位置は、たとえば、次回時刻の追跡処理P6aにおいて用いられる。
また、前述の種別判定処理P6dにおいて、たとえば、上記類似性の評価値が所定のしきい値未満である場合に、2クラス識別部132aは、追跡対象が、第1の種別の識別対象(i)である自動車以外のその他の種別の識別対象または背景であることを判定し、登録削除処理P6gを実行する。登録削除処理P6gにおいて、2クラス識別部132aは、たとえば、記憶部200に登録された追跡対象および種別候補205を削除する。
また、前述の種別候補判定処理P6bにおいて、追跡処理部131によって追跡対象の種別が、第2の種別(ii)の自動二輪車であると判定されると、識別部132は、後時刻の画像の予測位置に対して、追跡対象の種別に応じた2クラス識別処理を行って追跡対象の種別を識別する。より具体的には、識別部132は、第2の種別(ii)に対応する2クラス識別部132bを用いた2クラス識別処理P6hを行う。
2クラス識別部132bは、記憶部200に記憶された2クラス識別学習データ207を用い、識別対象の予測位置とその周辺に対して2クラス識別処理を行って、追跡対象の種別を識別する。ここで、2クラス識別学習データ207は、画像処理装置IPAの複数の種別の識別対象のうちの一の種別である第2の種別の識別対象(ii)すなわち自動二輪車と、それ以外の識別対象の画像を多数入力して機械学習を行った自動二輪車用の2クラス識別学習データである。なお、2クラス識別学習データ206と、2クラス識別学習データ207は、異なる機械学習の手法により学習してもよい。
2クラス識別処理P6hにおいて、2クラス識別部132bは、たとえば、追跡対象の予測位置およびその周辺の画像領域と、2クラス識別学習データ207との類似性の評価値を算出する。次に、2クラス識別部132bは、種別判定処理P6iを実行する。種別判定処理P6iにおいて、2クラス識別部132bは、たとえば、上記類似性の評価値が所定のしきい値以上である場合に、追跡対象の種別が、第2の種別の識別対象(ii)すなわち自動二輪車であることを判定し、登録処理P6jを実行する。
この登録処理P6jにおいて、2クラス識別部132bは、たとえば、追跡対象の種別として、第2の種別(ii)の識別対象である自動二輪車を記憶部200の出力情報208に登録する。また、登録処理P6jにおいて、2クラス識別部132bは、追跡対象の予測位置を、第2の種別の識別対象(ii)である自動二輪車の位置として記憶部200の出力情報208に登録する。次に、2クラス識別部132bは、たとえば、予測位置算出処理P6kを実行する。
この予測位置算出処理P6kにおいて、2クラス識別部132bは、たとえば、前回時刻における追跡対象の位置情報と、今回時刻における追跡対象の位置情報との差分を求め、その差分をフレーム撮像間隔で除算することで、追跡対象の移動速度を算出する。さらに、2クラス識別部132bは、たとえば、今回時刻における追跡対象の位置情報と、追跡対象の移動速度に基づいて、次回時刻における追跡対象の予測位置を算出する。ここで算出された追跡対象の予測位置は、たとえば、次回時刻の追跡処理P6aにおいて用いられる。
また、前述の種別判定処理P6iにおいて、たとえば、上記類似性の評価値が所定のしきい値未満である場合に、2クラス識別部132bは、追跡対象が、第2の種別の識別対象(ii)である自動二輪車以外のその他の種別の識別対象または背景であることを判定し、登録削除処理P6gを実行する。登録削除処理P6gにおいて、2クラス識別部132bは、たとえば、記憶部200に登録された追跡対象および種別候補205を削除する。
前述の予測位置算出処理P6f,P6kまたは登録削除処理P6gの終了後、追跡処理部131は、たとえば、インクリメント処理P6lを実行する。このインクリメント処理P6lにおいて、追跡処理部131は、たとえば、次回の識別処理P6の処理対象となる追跡対象および種別候補205の登録番号RをR+1にインクリメントする。追跡処理部131は、たとえば、インクリメントされた追跡対象および種別候補205の登録番号Rが、多クラス識別処理P4で登録された追跡対象および種別候補205の数mを超えるまで、前述の追跡処理P6aからインクリメント処理P6lまでを含む識別処理P6を繰り返し実行する。
識別処理P6の終了後、追跡対象の予測位置および種別は、図1に示すように、第2認識処理部130または記憶部200から出力情報208として出力処理部140へ出力される。出力処理部140は、たとえば、ADSやADASなどを構成する車両制御装置へ出力情報208を出力することで、自動運転や高度運転支援における信号の生成処理において出力情報208が利用される。
以下、本実施形態の画像処理装置IPAとそれを用いた画像処理方法IPMの作用を説明する。
近年、車載カメラなどの撮像装置IDやレーダなどの外界認識センサを用いたADASやADSが注目を集めている。撮像装置IDの画像から識別対象の物体を識別する画像処理において、識別対象の種別の増加に対応するには、たとえば、多数の識別器を併用したり、各々の識別器の階層を増加させたりして、識別精度を向上させる必要がある。しかし、識別器の数や、識別器の階層を増加させると、物体の識別処理の負荷が増加して処理時間が必要な時間内に収まらなくなるおそれがある。
本実施形態の画像処理装置IPAは、前述のように、多クラス識別部122と、追跡処理部131と、識別部132とを有している。多クラス識別部122は、撮像装置IDによって撮影された画像に対して多クラス識別処理P4を行って複数の種別の識別対象を識別する。追跡処理部131は、多クラス識別処理P4により識別された識別対象を追跡対象とする画像追跡を行って前時刻の画像に基づく後時刻の画像における追跡対象の予測位置を算出する。識別部132は、後時刻の画像の予測位置に対して追跡対象の種別に応じた2クラス識別処理P6c,P6hを行って追跡対象の種別を識別する。
また、本実施形態の画像処理方法IPMは、撮像装置IDによって撮影された画像に対して多クラス識別処理P4を行って複数の種別の識別対象を識別する。さらに、画像処理方法IPMは、多クラス識別処理P4により識別された識別対象を追跡対象とする画像追跡を行って前時刻の画像に基づく後時刻の画像における追跡対象の予測位置を算出する。
そして、画像処理方法IPMは、後時刻の画像の予測位置に対して追跡対象の種別に応じた2クラス識別処理P6c,P6hを行って追跡対象の種別を識別する。
上記本実施形態の画像処理装置IPAおよび画像処理方法IPMによれば、画像から複数の識別対象を識別する画像処理の処理負荷の低減と識別精度の向上が可能になる。より具体的には、本実施形態の画像処理装置IPAおよび画像処理方法IPMによれば、多クラス識別器のみ、または、2クラス識別器のみを用いて画像から複数の識別対象を識別する場合と比較して、画像処理の処理負荷の低減が可能になる。
その理由は、多クラス識別部122による多クラス識別処理と、識別部132による2クラス識別処理を併用することで、多クラス識別処理のみを用いる場合と比較して、多クラス識別処理の階層を浅くして、処理負荷を低減することができるためである。このように、多クラス識別処理の階層を浅くすることで、多クラス識別処理の識別精度が低下しても、多クラス識別処理で識別した識別対象を追跡対象とし、その追跡対象に2クラス識別処理を行うことで、識別精度の向上が可能になる。
また、多クラス識別処理P4により識別された識別対象を追跡対象とし、後時刻の画像の追跡対象の予測位置に対して追跡対象の種別に応じた2クラス識別処理を行うことで、2クラス識別処理を極めて限定された画像領域に対してのみ、種別を限定して行うことができる。これにより、2クラス識別処理の処理量を低減して処理負荷を低減するとともに、多クラス識別処理の誤認識を判別して、複数の種別の識別対象の識別精度を向上させることが可能になる。
また、本実施形態の画像処理装置IPAにおいて、多クラス識別部122は、複数の種別の識別対象を入力して機械学習を行った多クラス識別学習データ204を用いて多クラス識別処理P4を行う。この構成により、画像から複数の種別の識別対象を識別する多クラス識別処理を、機械学習の結果に基づいて精度よく行うことができる。
また、本実施形態の画像処理装置IPAにおいて、多クラス識別部122は、少なくとも第1の種別の識別対象(i)と第2の種別の識別対象(ii)とが入力されて機械学習が行われた多クラス識別学習データ204を用いて多クラス識別処理P4を行う。この構成により、画像に含まれる複数の種別の識別対象の中から、第1の種別の識別対象(i)と第2の種別の識別対象(ii)とを精度よく判別することが可能になる。
また、本実施形態の画像処理装置IPAにおいて、第1の種別の識別対象(i)は自動車であり、第2の種別の識別対象(ii)は自動二輪車である。この構成により、画像に含まれる複数の種別の識別対象の中から、第1の種別の識別対象(i)である自動車と、第2の種別の識別対象(ii)である自動二輪車とを精度よく判別することが可能になる。
また、本実施形態の画像処理装置IPAにおいて、識別部132は、複数の2クラス識別部132a,132bを有している。また、複数の2クラス識別部132a,132bは、それぞれ、複数の種別のうちの一の種別の識別対象を入力して機械学習を行った2クラス識別学習データ206,207を用いて、2クラス識別処理を行う。この構成により、2クラス識別部132aと2クラス識別部132bの各々によって、複数の種別のうちの一の種別の識別対象であるか否かを精度よく判定することが可能になる。
また、本実施形態の画像処理装置IPAにおいて、2クラス識別部132a,132bの数は、多クラス識別部122によって識別する種別の数と等しい。より具体的には、本実施形態の画像処理装置IPAにおいて、多クラス識別部122は、第1の種別の識別対象(i)と第2の種別の識別対象(ii)の二つの種別を識別し、識別部132は、二つの2クラス識別部132a,132bを有している。この構成により、多クラス識別部122で識別されたすべての種別の識別対象に対して2クラス識別処理を行って、識別対象の種別の識別精度を向上させることができる。
また、本実施形態の画像処理装置IPAは、画像から複数の種別の識別対象のいずれかが含まれる可能性がある画像領域を選択する画像領域選択部121を有している。そして、多クラス識別部122は、画像領域選択部121によって選択された画像領域から複数の種別の識別対象を識別する。この構成により、多クラス識別部122による多クラス識別処理を限定された画像領域のみに対して行うことができ、多クラス識別処理の処理量を削減して、処理負荷を低減することができる。
以上説明したように、本実施形態によれば、画像から複数の識別対象を識別する画像処理の処理負荷の低減と識別精度の向上が可能な画像処理装置IPAおよび画像処理方法IPMを提供することができる。
以上、図面を用いて本開示に係る画像処理装置および画像処理方法の実施形態を詳述してきたが、具体的な構成はこの実施形態に限定されるものではなく、本開示の要旨を逸脱しない範囲における設計変更等があっても、それらは本開示に含まれるものである。
121 画像領域選択部
122 多クラス識別部
131 追跡処理部
132 識別部
132a 2クラス識別部
132b 2クラス識別部
204 多クラス識別学習データ
206 2クラス識別学習データ
207 2クラス識別学習データ
ID 撮像装置
IPA 画像処理装置
IPM 画像処理方法
P4 多クラス識別処理
P6c 2クラス識別処理
P6h 2クラス識別処理

Claims (8)

  1. 撮像装置によって撮影された画像に対して多クラス識別処理を行って複数の種別の識別対象を識別する多クラス識別部と、
    前記多クラス識別処理により識別された前記識別対象を追跡対象とする画像追跡を行って前時刻の前記画像に基づく後時刻の前記画像における前記追跡対象の予測位置を算出する追跡処理部と、
    前記後時刻の前記画像の前記予測位置に対して前記追跡対象の前記種別に応じた2クラス識別処理を行って前記追跡対象の前記種別を識別する識別部と、
    を有することを特徴とする画像処理装置。
  2. 前記多クラス識別部は、複数の前記種別の前記識別対象を入力して機械学習を行った多クラス識別学習データを用いて前記多クラス識別処理を行うことを特徴とする請求項1に記載の画像処理装置。
  3. 前記多クラス識別部は、少なくとも第1の種別の前記識別対象と第2の種別の前記識別対象とが入力されて機械学習が行われた前記多クラス識別学習データを用いて前記多クラス識別処理を行うことを特徴とする請求項2に記載の画像処理装置。
  4. 前記第1の種別の前記識別対象は自動車であり、前記第2の種別の前記識別対象は自動二輪車であることを特徴とする請求項3に記載の画像処理装置。
  5. 前記識別部は、複数の2クラス識別部を有し、
    複数の前記2クラス識別部は、それぞれ、複数の前記種別のうちの一の前記種別の前記識別対象を入力して機械学習を行った2クラス識別学習データを用いて、前記2クラス識別処理を行うことを特徴とする請求項1に記載の画像処理装置。
  6. 前記2クラス識別部の数は、前記多クラス識別部によって識別する前記種別の数と等しいことを特徴とする請求項5に記載の画像処理装置。
  7. 前記画像から複数の前記種別の前記識別対象のいずれかが含まれる可能性がある画像領域を選択する画像領域選択部を有し、
    前記多クラス識別部は、前記画像領域選択部によって選択された前記画像領域から複数の前記種別の前記識別対象を識別することを特徴とする請求項1に記載の画像処理装置。
  8. 撮像装置によって撮影された画像に対して多クラス識別処理を行って複数の種別の識別対象を識別し、
    前記多クラス識別処理により識別された前記識別対象を追跡対象とする画像追跡を行って前時刻の前記画像に基づく後時刻の前記画像における前記追跡対象の予測位置を算出し、
    前記後時刻の前記画像の前記予測位置に対して前記追跡対象の前記種別に応じた2クラス識別処理を行って前記追跡対象の前記種別を識別することを特徴とする画像処理方法。
JP2022530019A 2020-06-11 2021-02-05 画像処理装置および画像処理方法 Active JP7323716B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020101500 2020-06-11
JP2020101500 2020-06-11
PCT/JP2021/004261 WO2021250934A1 (ja) 2020-06-11 2021-02-05 画像処理装置および画像処理方法

Publications (2)

Publication Number Publication Date
JPWO2021250934A1 JPWO2021250934A1 (ja) 2021-12-16
JP7323716B2 true JP7323716B2 (ja) 2023-08-08

Family

ID=78847176

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022530019A Active JP7323716B2 (ja) 2020-06-11 2021-02-05 画像処理装置および画像処理方法

Country Status (4)

Country Link
JP (1) JP7323716B2 (ja)
CN (1) CN115769253A (ja)
DE (1) DE112021002170T5 (ja)
WO (1) WO2021250934A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002133421A (ja) 2000-10-18 2002-05-10 Fujitsu Ltd 移動物体認識方法及び装置
WO2019220622A1 (ja) 2018-05-18 2019-11-21 日本電気株式会社 画像処理装置、システム、方法及びプログラムが格納された非一時的なコンピュータ可読媒体

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6833630B2 (ja) 2017-06-22 2021-02-24 株式会社東芝 物体検出装置、物体検出方法およびプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002133421A (ja) 2000-10-18 2002-05-10 Fujitsu Ltd 移動物体認識方法及び装置
WO2019220622A1 (ja) 2018-05-18 2019-11-21 日本電気株式会社 画像処理装置、システム、方法及びプログラムが格納された非一時的なコンピュータ可読媒体

Also Published As

Publication number Publication date
JPWO2021250934A1 (ja) 2021-12-16
CN115769253A (zh) 2023-03-07
WO2021250934A1 (ja) 2021-12-16
DE112021002170T5 (de) 2023-03-02

Similar Documents

Publication Publication Date Title
Khammari et al. Vehicle detection combining gradient analysis and AdaBoost classification
US10055652B2 (en) Pedestrian detection and motion prediction with rear-facing camera
US11527078B2 (en) Using captured video data to identify pose of a vehicle
US8305431B2 (en) Device intended to support the driving of a motor vehicle comprising a system capable of capturing stereoscopic images
JP6626410B2 (ja) 自車位置特定装置、自車位置特定方法
EP2575078B1 (en) Front vehicle detecting method and front vehicle detecting apparatus
WO2015163078A1 (ja) 外界認識装置
JP2022517940A (ja) ポットホール検出システム
CN105825185A (zh) 车辆防碰撞预警方法及装置
JP2009237898A (ja) 画像認識装置
Padmaja et al. A novel design of autonomous cars using IoT and visual features
JP6468568B2 (ja) 物体認識装置、モデル情報生成装置、物体認識方法、および物体認識プログラム
Cheng et al. A vehicle detection approach based on multi-features fusion in the fisheye images
CN113435237A (zh) 物体状态识别装置、识别方法和识别用程序以及控制装置
JP2023511454A (ja) 車両走行路内のデブリの検出
CN107220632B (zh) 一种基于法向特征的路面图像分割方法
Kim et al. An intelligent and integrated driver assistance system for increased safety and convenience based on all-around sensing
CN115171371A (zh) 一种协作式道路交叉口通行方法及装置
Aditya et al. Collision detection: An improved deep learning approach using SENet and ResNext
Premachandra et al. Road intersection moving object detection by 360-degree view camera
CN111976585A (zh) 基于人工神经网络的投射信息识别装置及其方法
Bălănescu et al. Intersection detection based on mono-camera sensor
JP7323716B2 (ja) 画像処理装置および画像処理方法
Hsu et al. Developing an on-road obstacle detection system using monovision
CN116416585A (zh) 使用来自二维图像的信息改进三维数据关联的系统和方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221108

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230704

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230727

R150 Certificate of patent or registration of utility model

Ref document number: 7323716

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150