JP6779699B2 - 画像処理装置、情報処理方法及びプログラム - Google Patents
画像処理装置、情報処理方法及びプログラム Download PDFInfo
- Publication number
- JP6779699B2 JP6779699B2 JP2016153072A JP2016153072A JP6779699B2 JP 6779699 B2 JP6779699 B2 JP 6779699B2 JP 2016153072 A JP2016153072 A JP 2016153072A JP 2016153072 A JP2016153072 A JP 2016153072A JP 6779699 B2 JP6779699 B2 JP 6779699B2
- Authority
- JP
- Japan
- Prior art keywords
- estimation
- region
- image processing
- result
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Description
このような画像中の人物の数を計測する方法としては、人体検出手段によって検出した人物の数を計数する方法(特許文献1)がある。以下、この方法を「検出ベース人数推定法」と呼ぶ。また、機械学習によって得た認識モデルを用いて、画像の所定の領域に映る人数を直接推定する方法(非特許文献1)も提案されている。以下、この方法を「回帰ベース人数推定法」と呼ぶ。
回帰ベース人数推定法は、人が高密度で存在する場合や所定の大きさより小さく映る場合においては、検出ベース人数推定法よりも高精度に人数を推定できる。一方、回帰ベース人数推定法は、人がまばらに存在し、かつ、所定の大きさ以上で映る場合においては、人数推定精度は検出ベース人数推定法に劣る。
本発明は、複数の人数推定法を組み合わせて、画像中の特定物体の数をより高精度に推定することを目的とする。
図1は、画像処理装置100のハードウェア構成の一例を示す図である。
画像処理装置100は、ハードウェア構成として、CPU10と、メモリ11と、ネットワークI/F12と、表示装置13と、入力装置14と、を含む。CPU10は、画像処理装置100の全体の制御を司る。メモリ11は、CPU10が処理に利用するデータ、プログラム等を記憶する。入力装置14は、マウス、又はボタン等であり、ユーザの操作を画像処理装置100に入力する。表示装置13は、液晶表示装置等であり、CPU10による処理の結果等を表示する。ネットワークI/F12は、画像処理装置100をネットワークに接続するインタフェースである。CPU10がメモリ11に記憶されたプログラムに基づき処理を実行することにより、後述する図2の画像処理装置100の機能構成及び後述する図3のフローチャートの処理が実現される。
画像処理装置100は、機能構成として、画像取得部101、領域決定部102、第1推定部103、第2推定部104、人数統合部105、表示部106を含む。
画像取得部101は、人数を推定する対象となる画像を取得する。
領域決定部102は、検出ベース人数推定を実施する領域と、回帰ベース人数推定を実施する領域と、を決定する。以下、検出ベース人数推定を実施する領域を検出領域、回帰ベース人数推定を実施する領域を回帰領域という。
第1推定部103は、検出領域に対して、検出ベース人数推定を実施する。検出ベース人数推定は、特定物体の検出処理の一例である。また、画像中の人は、特定物体の一例である。
第2推定部104は、回帰領域に対して、回帰ベース人数推定を実施する。回帰ベース人数推定は、所定の領域ごとに特定物体の数を推定する回帰処理の一例である。
人数統合部105は、第1推定部103による人数推定結果と、第2推定部104による人数推定結果と、を統合する。
表示部106は、人数統合部105により統合した人数推定結果を、表示装置13に表示する。
S201において、画像取得部101は、人数を推定する対象となる画像を取得する。画像取得部101は、CMOSセンサやCCDセンサ等の固体撮像素子から画像を取得してもよいし、ハードディスク等のメモリ11から画像を取得してもよい。
S202において、領域決定部102は、検出領域と、回帰領域と、を決定する。領域の決定には任意の方法を取ってよい。
例えば一つ目の方法は、領域決定部102が検出領域と回帰領域との両方とも、画像全体とする方法である。
二つ目の方法は、領域決定部102が検出領域と人数推定とを実施する領域の両方を、ユーザの明示的に設定操作に基づき設定する方法である。領域決定部102は、例えば、表示装置13、及び入力装置14等を介したユーザの領域の設定操作に基づき、検出領域と人数推定とを実施する領域の両方を決定する。
画像上の人体の大きさは、ユーザが入力装置14を用いて明示的に領域決定部102に与えてもよい。例えば、ユーザが、画像上の複数の地点における人体の平均的な大きさを教示することで、領域決定部102は、画像上の任意の地点における人体の平均的な大きさを補間により推定することができる。
また、領域決定部102は、画像上の人体の大きさを、統計処理により自動で推定してもよい。例えば、領域決定部102は、所定の学習画像群に対して画像全体に人体検出処理を行い、人体の位置を示す人体枠の集合を取得する。画像上の座標(x,y)における人体枠の大きさをsとしたとき、sは、x、y及び未知の1個以上のパラメータによって表せると仮定する。例えば、s=ax+by+cと仮定する。この例では、未知のパラメータはa、b及びcである。領域決定部102は、所定の学習画像群から取得した人体枠の集合を用いて、未知のパラメータを、例えば最小二乗法等の統計処理により求めることができる。領域決定部102は、この方法により、人が小さく映るために人体検出が失敗する領域における人体の大きさも推定することができる。
領域の決定はこれらに限定されるものではない。例えば、領域決定部102は、三つ目の方法と四つ目の方法とを組み合わせ、人体の大きさと人の密集度との両方を考慮して領域を決定するようにしてもよい。また、領域決定部102は、検出領域を画面全体とし、回帰領域を三つ目の方法と四つ目の方法との内の少なくとも一方を用いて決定するようにしてもよい。領域決定部102は、一つ目の方法から四つ目の方法までの方法を任意に組み合わせて検出領域と回帰領域とを設定するようにしてもよい。また、領域決定部102は、時間帯や状況に応じて動的に領域を変化させてもよい。
ここで、第1推定部103は、S202において求められた人体の大きさの推定値を利用して、画像の大きさの変更範囲を限定することで、照合パターンの照合回数を減らし、計算量を削減してもよい。
次いで、第1推定部103は、検出された人体の数を数え上げ、推定人数を得る。
第2推定部104は、小領域のサイズと人のサイズとの比率がほぼ一定となるように制約を加えることで、回帰器の精度向上を図ることもできる。第2推定部104は、S202で求められた人体の大きさの推定値を利用することで、小領域のサイズに対する人体のサイズがほぼ同一になるように、画像上で異なるサイズの小領域をとることができる。図6(b)に回帰領域の分割例を示す。この例では、回帰領域320を異なるサイズの小領域520で分割している。分割された小領域520はそれぞれリサイズを経て固定サイズの小画像に変形され、回帰器に入力される。
回帰ベース人数推定については、非特許文献1を参照することができる。
検出領域と回帰領域とに重複がない場合、人数統合部105は、第1推定部103による人数推定結果と、第2推定部104による人数推定結果と、の両方を合計することで、統合後の人数推定結果を得ることができる。
検出領域と回帰領域とに重複がある場合の統合例について以下に詳述する。
人数統合部105は、入力画像のうち、検出領域のみが設定されている領域に対しては、検出ベース人数推定の結果を統合後の推定人数とする。
また、人数統合部105は、入力画像のうち、回帰領域のみが設定されている領域に対しては、回帰ベース人数推定の結果を統合後の推定人数とする。
また、人数統合部105は、入力画像のうち、検出領域と回帰領域との両方が設定されている領域に対しては、双方の人数推定の結果を用いた任意の式を用いて、統合後の推定人数を算出する。人数統合部105は、式として、例えば推定人数の合計値を取る式、推定人数のうち小さい方を取る式、推定人数のうち大きい方を取る式、推定人数の平均を取る式、又は任意の重みによる重みづけ平均を取る式を用いることができる。
例として、図7に、回帰ベース人数推定時に分割した小領域601を示す。小領域601に対する回帰ベース人数推定の結果は6人であったとする。また、検出ベース人数推定によって得られた人体枠のうち、その重心が小領域600に含まれる人体枠の数が4であったとする。その人体枠を図7の611、612、613、614に示す。人数統合部105は、小領域601に対する検出ベース人数推定の推定人数は、4人とみなす。
人数統合部105が二つの推定人数のうち小さい方を取る場合、統合後の推定人数は4人となる。人数統合部105が二つの推定人数のうち大きい方を取る場合、統合後の推定人数は6人となる。人数統合部105が二つの推定人数の平均を取る場合、統合後の推定人数は5人となる。人数統合部105が二つの推定人数を、回帰ベース人数推定の結果と検出ベース人数推定の結果とを3:5の重みで重みづけ平均をとる場合、統合後の推定人数は4.75人となる。
まず、表示部106は、画像全体の統合後の人数推定結果を表示する。この際、表示部106は、S202にて設定された検出領域及び回帰領域を画像上に明示してもよい。また、表示部106は、S203において推定された検出領域における人数推定結果と、S204において推定された回帰領域における人数推定結果とをそれぞれ表示してもよい。
また、表示部106は、画像の位置ごとに推定人数が分かるように、より詳細な表示を行ってもよい。その方法の例を以下に示す。
一つ目の表示方法は、統合後の推定人数と等しい数の人体枠を画像上に重畳表示する方法である。図8(a)を用いて説明する。例えばS205において、図7の小領域601の推定人数を5人とした場合を考える。この場合、小領域601に対する検出ベース人数推定による推定人数は4人であったので、人体枠が1人分足りない。表示部106は、小領域601内のランダムな位置を選んで、不足する分の人体枠を重畳(ここでは枠701)することで、推定人数と等しい数の人体枠を画像上に重畳表示できる。この際、人体枠の大きさを、S202で述べた方法で推定することで、表示部106は、自然な大きさの人体枠を重畳できる。逆に、検出ベース人数推定結果が、統合後の推定人数を上回る場合は、表示部106は、ランダムに人体枠を選んで削除する処理を必要回数行えばよい。
三つ目の表示方法は、画像の場所によって異なる表示を行う方法である。例えば、表示部106は、人体枠が所定の大きさよりも大きく表示される領域においては、一つ目の表示方法を用い、それ以外の領域においては、二つ目の表示方法を用いる。三つ目の表示方法の処理は、画像の位置に応じて画像に対して異なる表示処理を行う一例である。
四つ目の表示方法は、人数によって異なる表示を行う方法である。例えば、表示部106は、推定人数が所定の値よりも小さい領域においては、一つ目の表示方法を用い、それ以外の領域においては、二つ目の表示方法を用いる。四つ目の表示方法の処理は、画像の特定物体の数に応じて画像に対して異なる表示処理を行う一例である。
三つ目の表示方法や四つ目の表示方法をとることにより、例えば、人が密集している領域に対しては、図8(b)のような表示を行い、人が密集していない領域に対しては、図8(a)のような表示を行うことができる。したがって、ユーザは、人が密集している領域において、人が何人いるか速やかに把握することができる。
検出ベース人数推定に用いる人体検出器及び回帰ベース人数推定に用いる回帰器は、共に既存の深層学習の手法を用いて学習してもよい。この際、CPU10は、人体検出器と回帰器とが、同一の畳込み層を共有する構成にしてもよい。構成例を図9に示す。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給する。そして、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読み出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
よって、複数の人数推定法を組み合わせて、画像中の特定物体の数をより高精度に推定することができる。
11 メモリ
100 画像処理装置
Claims (26)
- 画像の第1の領域に対し、特定物体の検出処理を施すことで前記第1の領域の特定物体の数を推定する第1の推定手段と、
前記画像の第2の領域に対し、所定の領域ごとに特定物体の数を推定する回帰処理を施すことで前記第2の領域の特定物体の数を推定する第2の推定手段と、
前記第1の推定手段による推定の結果と前記第2の推定手段による推定の結果とを統合する統合手段と、
を有する画像処理装置。 - 前記画像の全体を前記第1の領域、及び前記第2の領域と決定する領域決定手段を更に有する請求項1記載の画像処理装置。
- ユーザの設定操作に基づいて前記第1の領域と前記第2の領域とを決定する領域決定手段を更に有する請求項1記載の画像処理装置。
- 前記画像の特定物体の大きさに基づいて前記第1の領域と前記第2の領域との内の少なくとも一方を決定する領域決定手段を更に有する請求項1記載の画像処理装置。
- 前記領域決定手段は、前記特定物体の大きさを推定し、推定した前記特定物体の大きさに基づいて前記第1の領域と前記第2の領域との内の少なくとも一方を決定する請求項4記載の画像処理装置。
- 前記画像の特定物体の密集度に基づいて前記第1の領域と前記第2の領域との内の少なくとも一方を決定する領域決定手段を更に有する請求項1記載の画像処理装置。
- 前記領域決定手段は、動体、又は動きベクトルに基づいて前記密集度を推定し、推定した前記密集度に基づいて前記第1の領域と前記第2の領域との内の少なくとも一方を決定する請求項6記載の画像処理装置。
- 前記統合手段は、前記第1の推定手段による推定の結果と前記第2の推定手段による推定の結果とを合計することで統合する請求項1乃至7の何れか1項記載の画像処理装置。
- 前記統合手段は、前記第1の領域と前記第2の領域とに重複している領域がない場合、前記第1の推定手段による推定の結果と前記第2の推定手段による推定の結果とを合計することで統合する請求項8記載の画像処理装置。
- 前記統合手段は、前記第1の領域と前記第2の領域とに重複している領域がある場合、前記第1の領域のみの領域に対しては前記第1の推定手段による推定の結果を統合後の特定物体の数とし、前記第2の領域のみの領域に対しては前記第2の推定手段による推定の結果を統合後の特定物体の数とし、前記重複している領域に対しては前記第1の推定手段による推定の結果と前記第2の推定手段による推定の結果とに基づいて統合後の特定物体の数を求めることで統合する請求項1乃至7の何れか1項記載の画像処理装置。
- 前記統合手段は、前記重複している領域に対しては前記第1の推定手段による推定の結果と前記第2の推定手段による推定の結果とを合計することで統合後の特定物体の数を求める請求項10記載の画像処理装置。
- 前記統合手段は、前記重複している領域に対しては前記第1の推定手段による推定の結果と前記第2の推定手段による推定の結果とに基づいて小さい方の値とすることで統合後の特定物体の数を求める請求項10記載の画像処理装置。
- 前記統合手段は、前記重複している領域に対しては前記第1の推定手段による推定の結果と前記第2の推定手段による推定の結果とに基づいて大きい方の値とすることで統合後の特定物体の数を求める請求項10記載の画像処理装置。
- 前記統合手段は、前記重複している領域に対しては前記第1の推定手段による推定の結果と前記第2の推定手段による推定の結果とに基づいて平均をとることで統合後の特定物体の数を求める請求項10記載の画像処理装置。
- 前記統合手段は、前記重複している領域に対しては前記第1の推定手段による推定の結果と前記第2の推定手段による推定の結果とに基づいて重みづけ平均をとることで統合後の特定物体の数を求める請求項10記載の画像処理装置。
- 前記統合手段は、前記画像の位置、又は特定物体の密集度に基づいて前記重みづけを変化させる請求項15記載の画像処理装置。
- 前記統合手段による統合の結果、求められた前記画像の特定物体の数を表示する表示手段を更に有する請求項1乃至16の何れか1項記載の画像処理装置。
- 前記表示手段は、前記第1の領域と前記第2の領域とを更に表示する請求項17記載の画像処理装置。
- 前記表示手段は、前記第1の推定手段による推定の結果と前記第2の推定手段による推定の結果とを更に表示する請求項17又は18記載の画像処理装置。
- 前記表示手段は、前記所定の領域ごとに前記所定の領域に存在する特定物体の数の枠を前記所定の領域に重畳して表示する請求項17記載の画像処理装置。
- 前記表示手段は、前記所定の領域ごとに前記所定の領域に存在する特定物体の数を前記所定の領域に重畳して表示する請求項17記載の画像処理装置。
- 前記表示手段は、前記所定の領域ごとに前記所定の領域に存在する特定物体の数に応じた表示処理を行う請求項17記載の画像処理装置。
- 前記表示手段は、前記画像の位置、又は特定物体の数に応じて前記画像に対して異なる表示処理を行う請求項17記載の画像処理装置。
- 前記特定物体は、人、人以外の動物、微生物、車の何れかである請求項1乃至23の何れか1項記載の画像処理装置。
- 画像処理装置が実行する情報処理方法であって、
画像の第1の領域に対し、特定物体の検出処理を施すことで前記第1の領域の特定物体の数を推定する第1の推定ステップと、
前記画像の第2の領域に対し、所定の領域ごとに特定物体の数を推定する回帰処理を施すことで前記第2の領域の特定物体の数を推定する第2の推定ステップと、
前記第1の推定ステップによる推定の結果と前記第2の推定ステップによる推定の結果とを統合する統合ステップと、
を含む情報処理方法。 - コンピュータを、請求項1乃至24の何れか1項記載の画像処理装置の各手段として機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016153072A JP6779699B2 (ja) | 2016-08-03 | 2016-08-03 | 画像処理装置、情報処理方法及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016153072A JP6779699B2 (ja) | 2016-08-03 | 2016-08-03 | 画像処理装置、情報処理方法及びプログラム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020173083A Division JP6995960B2 (ja) | 2020-10-14 | 2020-10-14 | 画像処理装置、画像処理方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018022340A JP2018022340A (ja) | 2018-02-08 |
JP6779699B2 true JP6779699B2 (ja) | 2020-11-04 |
Family
ID=61165731
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016153072A Active JP6779699B2 (ja) | 2016-08-03 | 2016-08-03 | 画像処理装置、情報処理方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6779699B2 (ja) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7102054B2 (ja) * | 2018-02-09 | 2022-07-19 | 株式会社大一商会 | 遊技機 |
JP7106296B2 (ja) | 2018-02-28 | 2022-07-26 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
SG10201802673VA (en) * | 2018-03-29 | 2019-10-30 | Nec Asia Pacific Pte Ltd | Method and system for integration and automatic switching of crowd estimation techniques |
SG10201802668QA (en) | 2018-03-29 | 2019-10-30 | Nec Asia Pacific Pte Ltd | Method and system for crowd level estimation |
JP2020170252A (ja) * | 2019-04-01 | 2020-10-15 | キヤノン株式会社 | 画像処理装置、情報処理方法及びプログラム |
JP7418966B2 (ja) * | 2019-04-02 | 2024-01-22 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
JP7118934B2 (ja) | 2019-09-04 | 2022-08-16 | 株式会社東芝 | 物体数推定装置、物体数推定方法、および物体数推定プログラム |
JP7433864B2 (ja) * | 2019-11-27 | 2024-02-20 | キヤノン株式会社 | 画像処理装置、画像処理方法、およびプログラム |
JP7370840B2 (ja) * | 2019-12-09 | 2023-10-30 | キヤノン株式会社 | 画像処理装置、画像処理方法、コンピュータプログラム及び記憶媒体 |
JP7101445B2 (ja) * | 2020-01-27 | 2022-07-15 | 株式会社大一商会 | 遊技機 |
JP7491260B2 (ja) | 2021-04-26 | 2024-05-28 | トヨタ自動車株式会社 | 人検出装置、人検出方法及び人検出用コンピュータプログラム |
JP7547415B2 (ja) | 2022-06-22 | 2024-09-09 | キヤノン株式会社 | 情報処理装置、情報処理方法及びプログラム |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH03195922A (ja) * | 1989-12-25 | 1991-08-27 | Mitsubishi Electric Corp | 混雑度検出装置 |
-
2016
- 2016-08-03 JP JP2016153072A patent/JP6779699B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2018022340A (ja) | 2018-02-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6779699B2 (ja) | 画像処理装置、情報処理方法及びプログラム | |
US20190333241A1 (en) | People flow analysis apparatus, people flow analysis system, people flow analysis method, and non-transitory computer readable medium | |
JP6793151B2 (ja) | オブジェクトトラッキング装置、オブジェクトトラッキング方法およびオブジェクトトラッキングプログラム | |
EP3241151B1 (en) | An image face processing method and apparatus | |
JP6024658B2 (ja) | 物体検出装置、物体検出方法及びプログラム | |
JP2015528614A5 (ja) | ||
CN108140291A (zh) | 烟雾检测装置、方法以及图像处理设备 | |
JP2018180619A (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP2017129567A5 (ja) | ||
US11915430B2 (en) | Image analysis apparatus, image analysis method, and storage medium to display information representing flow quantity | |
JP2019114821A (ja) | 監視システム、装置、方法およびプログラム | |
JP2013161405A5 (ja) | 被写体判定装置、被写体判定方法及びプログラム | |
CN110211021B (zh) | 图像处理装置、图像处理方法和存储介质 | |
JP4818285B2 (ja) | 混雑滞留検知システム | |
US9478032B2 (en) | Image monitoring apparatus for estimating size of singleton, and method therefor | |
JP2015148895A (ja) | 物体数分布推定方法 | |
JP6995960B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP7190871B2 (ja) | 画像解析装置、画像解析方法、及びプログラム | |
JP7418966B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP7309392B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP2018197945A (ja) | 障害物検出装置および障害物検出方法 | |
JP2022033169A (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP7370840B2 (ja) | 画像処理装置、画像処理方法、コンピュータプログラム及び記憶媒体 | |
JP5990042B2 (ja) | 通過人数推定方法及びコンピュータプログラム | |
JP2021047538A (ja) | 画像処理装置、画像処理方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190719 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200903 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200915 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201014 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6779699 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |