JP5635770B2 - 障害物検出装置 - Google Patents
障害物検出装置 Download PDFInfo
- Publication number
- JP5635770B2 JP5635770B2 JP2009291761A JP2009291761A JP5635770B2 JP 5635770 B2 JP5635770 B2 JP 5635770B2 JP 2009291761 A JP2009291761 A JP 2009291761A JP 2009291761 A JP2009291761 A JP 2009291761A JP 5635770 B2 JP5635770 B2 JP 5635770B2
- Authority
- JP
- Japan
- Prior art keywords
- detected
- shape
- detection
- unit
- person
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Description
一方、モーションベースでは、車両の真後ろのしゃがみ込んだ子供など、ほとんど動かない物に対しては動きがないため検出できないという問題がある。
また、テクスチャベースの検出は画像全体を対象にスキャンすると演算コストがかかるという問題がある。
図2は、車載カメラの配置例を示す図である。
また、テクスチャベースの検出対象物体である人認識は人の立ち形状かあるいはしゃがみ込み形状もしくは倒れ形状を想定して所定の領域内を識別していく。
換言すれば、本障害物検出装置100は、車載カメラ101の画像で障害物検出を行う場合に、モーションベース検出と非モーション(テクスチャ)ベース検出とを組み合わせて用いる。
さらに、障害物検出装置100は、非モーションベース検出では人の形状によって検出の優先順位を設けて、画像上で優先度の高い形状が検出された領域より被写体距離が遠方に相当する領域の障害物検出は行わないものとすることを特徴としている。
車載カメラ101は、CCDやCMOSイメージセンサ等の撮像デバイスを含むデジタル監視カメラが適用され、撮像したデジタル画像データをフレームメモリ102に出力する。
車載カメラ101は、時間的に連続する画像を取り込む画像取得部として機能する。
車載カメラ101で取得された画像は、車内に配置されたモニタ112に表示される。
検出部120は、非モーションベース検出機能において、画像の任意の所定領域、たとえば図2に示すように車両幅CW分の後ろのみを対象とする。なお、車載カメラ101が車両CARのフロント(F)側に配置される場合には、車両幅CWの前のみを対象とする。
検出部120は、モーションベース検出機能において、画像の所定領域より広い範囲、具体的には車両幅CWより広い範囲を検出対象とする。
検出部120は、非モーションベース検出機能において、検出対象物体の立ち形状およびしゃがみ込み形状を検出対象とする。
そして、非モーションベース検出機能において、優先側の形状が検出されない領域は非優先側の形状を検出対象とし、非優先側の形状を検出した場合は、検出した領域より被写体距離が遠方に相当する領域は検出を行わない。
この場合、非モーションベース検出機能において、検出対象物体のしゃがみ込み形状より立ち形状を優先して検出し、優先側の立ち形状を検出した場合は、検出した領域より被写体距離が遠方に相当する領域は検出を行わない。
そして、非モーションベース検出機能において、優先側の立ち形状が検出されない領域は非優先側のしゃがみ込み形状を検出対象とし、非優先側のしゃがみ込み形状を検出した場合は、検出した領域より被写体距離が遠方に相当する領域は検出を行わない。
この場合、非モーションベース検出機能においては、立ち形状およびしゃがみ込み形状が検出されない領域はこの倒れ形状を検出対象とし、倒れ形状を検出した領域より被写体距離が遠方に相当する領域は検出を行わない。
また、非モーションベース検出機能においては、画像の領域によって各形状の検出の大きさ(領域)に制限を持たせている。
モーションベース検出機能は、この所定の形状を画面上の領域に応じて可変させる可変機能を有している。
移動物体検出部104は、フレームメモリ102の現フレームデータと背景画像メモリ103の前フレームメモリを基に、移動物体の有無を検出する。
移動物体検出部104は、たとえばオプティカルフロー算出により移動物体の判定を行い、判定結果を座標抽出部105に出力する。
設定する領域として、車両幅CW内の車両CARの後部領域、またはさらに車両幅CW領域外の車両CARの後部領域を設定する。
領域パラメータ設定部106は、後部領域を車両後部(R)に近い近領域NA、それより若干遠い中領域MA、および相対的に遠い遠領域FAに区分けして設定可能である。
領域パラメータ設定部106は、設定情報をHOG特徴量算出部107に出力する。
シフト(SIFT)特徴量と同じく局所領域における輝度の勾配方向をヒストグラム化したものである。
シフト特徴量は、特徴点周りの勾配に関して勾配ヒストグラムを求めるのに対し、HOGは一定領域に対して勾配ヒストグラムを求める。
まず、各ピクセルから輝度の勾配強度m、方向θを求める。
次に、N×Nのピクセルを1セル、0°〜180°を20°ずつ9方向に分割し、1セルごとに輝度勾配ヒストグラムを作成する。
次に、各セルにおいて作成したヒストグラムを3×3セルを1ブロックとして正規化を行う。正規化はブロックを1セルずつずらしながら全領域に対し行う。
以上により特徴量を得る。
SVM識別部108は、人を検出した(人として認識した)場合には、表示メモリ109に矩形座標を設定する。
図4は、図3における立ち人物判定処理を示すフローチャートである。
図5は、図3におけるしゃがみ込み人物判定処理を示すフローチャートである。
図6(A)および(B)は、車両幅領域外の動いている立ち人物を検出する場合の状態を示す図である。
図7(A)および(B)は、車両幅領域外の動いている立ち人物の動きを検出し、矩形枠による注意表示を行う場合の状態を示す図である。
図8(A)〜(C)は、車両幅領域内において近領域で動いている立ち人物を検出する場合の状態を示す図である。
図9(A)〜(C)は、車両幅領域内において遠領域で動いている立ち人物を検出する場合の状態を示す図である。
図10(A)〜(C)は、車両幅領域内において近領域でしゃがみ込んでいる人物を検出する場合の状態を示す図である。
この初期状態において、車載カメラ101により車両CARの後部(R)側の撮像画像を取り込む。この撮像画像は、1フレーム分の現画像データとしてフレームメモリ102に記憶される。この現フレームデータは背景画像メモリ103および検出部120の移動物体検出部104および領域パラメータ設定部106に供給される。背景画像メモリ103においては、フレームメモリ102によるフレームデータが前フレームデータとして記憶される。
次に、検出部120の移動物体検出部104が、フレームメモリ102の現フレームデータと背景画像メモリ103の前フレームメモリを基に、たとえば図7(A)に示すように、オプティカルフロー算出を行う(ST2)。
移動物体検出部104は、オプティカルフロー算出結果に基づいて、移動物体MOBJの判定を行い(ST3)、判定結果を座標抽出部105に出力する。
移動物体を検出したとの判定結果を受けると、座標検出部105は、検出した物体に相当する矩形座標を算出し(ST4)、表示メモリ109にその矩形座標を設定する(ST5)。
そして、座標有無認識部110が、表示メモリ109に矩形座標があるか否かを識別し、その結果をモニタ駆動部111に報知される。
モニタ駆動部110では、座標有無認識部110により矩形座標ありの情報を受けると、矩形座標に相当するモニタ112の画面に、図7(B)に示すように、たとえば赤色の矩形枠SFをスーパーインポーズする(重ね合わせる)。
本実施形態において、非モーションベース検出においては、検出対象物体の優先する形状を人の立ち形状とし、非優先の形状をしゃがみ込形状としている。
したがって、非モーションベース検出機能において、検出対象物体のしゃがみ込み形状より立ち形状を優先して検出し(ST6)、優先側の立ち形状を検出した場合は、検出した領域より被写体距離が遠方に相当する領域は検出を行わない。
検出対象物体である立ち形状の人が検出されると、固定抽出領域に相当する矩形座標の設定が行われる(ST7)。
立ち形状の検出対象物体である人を認識するにあたって、検出部120において、領域パラメータ設定部106が、図4に示すフローのように、後部領域を車両後部(R)に近い近領域NA、それより若干遠い中領域MA、および相対的に遠い遠領域FAに区分けして設定する
すなわち、図8(B)に示すように、HOG特徴量算出部107において、検出対象物体である人の立ち形状のHOG特徴量算出処理を行い、SVM識別部108で、HOG特徴量算出部107で算出された特徴量を基にしてパターン認識により検出対象物体DOBJである人の検出(判定)を行う(ST61)。
SVM識別部108は、人を検出した(人として認識した)場合には、表示メモリ109に矩形座標を設定する(ST62)。
モニタ駆動部110では、座標有無認識部110により矩形座標ありの情報を受けると、矩形座標に相当するモニタ112の画面に、図8(C)に示すように、たとえば赤色の矩形枠SFをスーパーインポーズする(重ね合わせる)。
この場合も、HOG特徴量算出部107において、検出対象物体である人の立ち形状のHOG特徴量算出処理を行い、SVM識別部108で、HOG特徴量算出部107で算出された特徴量を基にしてパターン認識により検出対象物体DOBJである人の検出(判定)を行う(ST63)。
SVM識別部108は、人を検出した(人として認識した)場合には、表示メモリ109に矩形座標を設定する(ST64)。
モニタ駆動部110では、座標有無認識部110により矩形座標ありの情報を受けると、矩形座標に相当するモニタ112の画面に、たとえば赤色の矩形枠SFをスーパーインポーズする(重ね合わせる)。
すなわち、図9(B)に示すように、HOG特徴量算出部107において、検出対象物体である人の立ち形状のHOG特徴量算出処理を行い、SVM識別部108で、HOG特徴量算出部107で算出された特徴量を基にしてパターン認識により検出対象物体DOBJである人の検出(判定)を行う(ST65)。
SVM識別部108は、人を検出した(人として認識した)場合には、表示メモリ109に矩形座標を設定する(ST66)。
モニタ駆動部110では、座標有無認識部110により矩形座標ありの情報を受けると、矩形座標に相当するモニタ112の画面に、図9(C)に示すように、たとえば赤色の矩形枠SFをスーパーインポーズする(重ね合わせる)。
この場合も、非優先側のしゃがみ込み形状を検出した場合は、検出した領域より被写体距離が遠方に相当する領域は検出を行わない。
検出対象物体である立ち形状の人が検出されると、固定抽出領域に相当する矩形座標の設定が行われる(ST9)。
しゃがみ込み形状の検出対象物体である人を認識するにあたって、検出部120において、領域パラメータ設定部106が、図5に示すフローのように、後部領域を車両後部(R)に近い近領域NA、それより若干遠い中領域MA、および相対的に遠い遠領域FAに区分けして設定する
すなわち、図10(B)に示すように、HOG特徴量算出部107において、検出対象物体である人のしゃがみ込み形状のHOG特徴量算出処理を行い、SVM識別部108で、HOG特徴量算出部107で算出された特徴量を基にしてパターン認識により検出対象物体DOBJである人の検出(判定)を行う(ST81)。
SVM識別部108は、人を検出した(人として認識した)場合には、表示メモリ109に矩形座標を設定する(ST82)。
モニタ駆動部110では、座標有無認識部110により矩形座標ありの情報を受けると、矩形座標に相当するモニタ112の画面に、図10(C)に示すように、たとえば赤色の矩形枠SFをスーパーインポーズする(重ね合わせる)。
この場合も、HOG特徴量算出部107において、検出対象物体である人のしゃがみ込み形状のHOG特徴量算出処理を行い、SVM識別部108で、HOG特徴量算出部107で算出された特徴量を基にしてパターン認識により検出対象物体DOBJである人の検出(判定)を行う(ST83)。
SVM識別部108は、人を検出した(人として認識した)場合には、表示メモリ109に矩形座標を設定する(ST84)。
モニタ駆動部110では、座標有無認識部110により矩形座標ありの情報を受けると、矩形座標に相当するモニタ112の画面に、たとえば赤色の矩形枠SFをスーパーインポーズする(重ね合わせる)。
すなわち、HOG特徴量算出部107において、検出対象物体である人のしゃがみ込み形状のHOG特徴量算出処理を行い、SVM識別部108で、HOG特徴量算出部107で算出された特徴量を基にしてパターン認識により検出対象物体DOBJである人の検出(判定)を行う(ST85)。
SVM識別部108は、人を検出した(人として認識した)場合には、表示メモリ109に矩形座標を設定する(ST86)。
モニタ駆動部110では、座標有無認識部110により矩形座標ありの情報を受けると、矩形座標に相当するモニタ112の画面に、図10C)に示すように、たとえば赤色の矩形枠SFをスーパーインポーズする(重ね合わせる)。
そして、座標有無認識部110が、表示メモリ109に矩形座標があるか否かを識別し(ST10)、その結果をモニタ駆動部111に報知される。
モニタ駆動部110では、座標有無認識部110により矩形座標ありの情報を受けると、矩形座標に相当するモニタ112の画面に、図7(B)、図8(C)、図9(C)、図10(C)に示すように、たとえば赤色の矩形枠SFをスーパーインポーズする(ST1)。
なお、倒れ形状についても同様の検出処理が行われる。
また、テクスチャベースの検出対象物体である人認識は人の立ち形状かあるいはしゃがみ込み形状を想定して所定の領域内を識別していく。
したがって、本実施形態によれば、以下の効果を得ることができる。
また、車両幅の外も検査対象とすることで、将来的に車両幅内に入り込んで衝突するおそれがある物体も適切に検出することができる。
また、車両幅内はテクスチャベースでも検出するので、子供の絵描きなどしゃがみ込んでほとんど動かない物体あるいは立ったまま静止している人物であっても人のしゃがみ込み形状あるいは人の立ち形状の認識をかけるので、モーションベースで検出できない静止物体であっても車両幅内という危険な領域を確実に検出できる。
また、この時車両幅のみをスキャンするので、演算コストを低減することができる。
Claims (6)
- 時間的に連続する画像を取り込む画像取得部と、
前記画像について主に動体を検出するモーションベース検出部と、
前記画像について主に静物を検出する非モーションベース検出部と、を有し、
前記非モーションベース検出部は、
前記画像の任意の所定領域において、検出対象物体の立ち形状およびしゃがみ込み形状を検出対象に、いずれかを優先して検出し、優先側の形状を検出した場合は、検出した領域より被写体距離が遠方に相当する領域は検出を行わず、
前記モーションベース検出部は、
前記画像の前記所定領域より広い範囲を検出対象とする
障害物検出装置。 - 前記非モーションベース検出部は、
前記優先側の形状が検出されない領域は前記非優先側の形状を検出対象とし、当該非優先側の形状を検出した場合は、検出した領域より被写体距離が遠方に相当する領域は検出を行わない
請求項1に記載の障害物検出装置。 - 前記非モーションベース検出部は、
検出対象物体の倒れ形状を検出対象とし、
前記立ち形状および前記しゃがみ込み形状が検出されない領域は当該倒れ形状を検出対象とし、当該倒れ形状を検出した領域より被写体距離が遠方に相当する領域は検出を行わない
請求項1または2に記載の障害物検出装置。 - 前記非モーションベース検出部は、
前記画像の領域によって前記各形状の検出の大きさに制限を持たせている
請求項1から3のいずれか一に記載の障害物検出装置。 - 前記非モーションベース検出部は、
前記非モーションベース検出部による検出結果が未検出であった場合、検出処理を行なって、検出した物体が所定の形状をしていれば人と判定する
請求項1から3のいずれか一に記載の障害物検出装置。 - 前記非モーションベース検出部は、
前記所定の形状を前記画像上の領域に応じて可変させる可変機能を有する
請求項5に記載の障害物検出装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009291761A JP5635770B2 (ja) | 2009-12-24 | 2009-12-24 | 障害物検出装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009291761A JP5635770B2 (ja) | 2009-12-24 | 2009-12-24 | 障害物検出装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011134034A JP2011134034A (ja) | 2011-07-07 |
JP5635770B2 true JP5635770B2 (ja) | 2014-12-03 |
Family
ID=44346709
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009291761A Active JP5635770B2 (ja) | 2009-12-24 | 2009-12-24 | 障害物検出装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5635770B2 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5980105B2 (ja) * | 2012-11-22 | 2016-08-31 | 住友建機株式会社 | コンベア巻き込まれ防止機能を有する舗装機械 |
TWI680747B (zh) | 2014-11-12 | 2020-01-01 | 日商新力股份有限公司 | 資訊處理裝置、資訊處理方法及資訊處理程式 |
JP7032287B2 (ja) * | 2018-11-21 | 2022-03-08 | 住友建機株式会社 | ショベル |
CN109495683B (zh) * | 2018-11-30 | 2021-08-03 | 努比亚技术有限公司 | 一种间隔拍摄方法、设备及计算机可读存储介质 |
JP7080947B2 (ja) * | 2020-09-30 | 2022-06-06 | 住友建機株式会社 | ショベル |
CN112183476B (zh) * | 2020-10-28 | 2022-12-23 | 深圳市商汤科技有限公司 | 一种障碍检测方法、装置、电子设备以及存储介质 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002150295A (ja) * | 2000-11-09 | 2002-05-24 | Oki Electric Ind Co Ltd | 物体検出方法及び物体検出装置 |
JP4322913B2 (ja) * | 2006-12-19 | 2009-09-02 | 富士通テン株式会社 | 画像認識装置、画像認識方法および電子制御装置 |
JP4623135B2 (ja) * | 2008-05-08 | 2011-02-02 | 株式会社デンソー | 画像認識装置 |
-
2009
- 2009-12-24 JP JP2009291761A patent/JP5635770B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2011134034A (ja) | 2011-07-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5635770B2 (ja) | 障害物検出装置 | |
JP4437714B2 (ja) | 車線認識画像処理装置 | |
US20160191795A1 (en) | Method and system for presenting panoramic surround view in vehicle | |
US20130286205A1 (en) | Approaching object detection device and method for detecting approaching objects | |
JP4173902B2 (ja) | 車両周辺監視装置 | |
JP6127659B2 (ja) | 運転支援装置及び運転支援方法 | |
JP2007310705A (ja) | 車両周辺監視装置 | |
JPWO2007077682A1 (ja) | 車両及びレーンマーク検出装置 | |
WO2014061342A1 (ja) | 情報処理システム、情報処理方法及びプログラム | |
JP2007334751A (ja) | 車両周辺監視装置 | |
JP2008052517A (ja) | 交通量計測方法および交通量計測装置 | |
JP2015009646A (ja) | 運転支援装置 | |
JP4853444B2 (ja) | 移動物体検出装置 | |
JP4644273B2 (ja) | 車両周辺監視装置 | |
JP5697587B2 (ja) | 車両火災検出装置 | |
CN106415662A (zh) | 车辆周围监视装置 | |
JP2012252501A (ja) | 走行路認識装置及び走行路認識用プログラム | |
JP2015162165A (ja) | 物体検出装置、及び、物体検出システム | |
JP4704998B2 (ja) | 画像処理装置 | |
JP2008230358A (ja) | 表示装置 | |
JP2012169826A (ja) | 画像処理装置、画像表示システム及び画像処理方法 | |
JP5559121B2 (ja) | 対象物種別判定装置 | |
JP4627305B2 (ja) | 車両周辺監視装置、車両周辺監視方法、及び車両周辺監視用プログラム | |
KR101998256B1 (ko) | 이동물체 감지 시스템 및 방법 | |
JP2010015235A (ja) | 歩行者検出装置及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20121115 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130530 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130702 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130902 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140204 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140403 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140924 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20141017 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5635770 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |