[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP2018045302A - 情報処理装置、情報処理方法及びプログラム - Google Patents

情報処理装置、情報処理方法及びプログラム Download PDF

Info

Publication number
JP2018045302A
JP2018045302A JP2016177789A JP2016177789A JP2018045302A JP 2018045302 A JP2018045302 A JP 2018045302A JP 2016177789 A JP2016177789 A JP 2016177789A JP 2016177789 A JP2016177789 A JP 2016177789A JP 2018045302 A JP2018045302 A JP 2018045302A
Authority
JP
Japan
Prior art keywords
data
groups
learning
information processing
dictionary
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016177789A
Other languages
English (en)
Other versions
JP6794197B2 (ja
JP2018045302A5 (ja
Inventor
野村 修
Osamu Nomura
修 野村
優和 真継
Masakazu Matsugi
優和 真継
伊藤 嘉則
Yoshinori Ito
嘉則 伊藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2016177789A priority Critical patent/JP6794197B2/ja
Publication of JP2018045302A publication Critical patent/JP2018045302A/ja
Publication of JP2018045302A5 publication Critical patent/JP2018045302A5/ja
Application granted granted Critical
Publication of JP6794197B2 publication Critical patent/JP6794197B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

【課題】認識用辞書を生成するための学習処理用データを効率良く生成できるようにする。【解決手段】複数のカメラから取得した画像の特徴量を、互いに類似した特徴量から構成される複数のデータグループに分割する。そして、前記分割されたデータグループ間の類似度を算出して、前記算出した類似度に応じて前記分割されたデータグループを統合して統合データグループを生成する。次に、統合データグループから一部のデータを抽出して、認識用の辞書を生成するための学習処理用のデータの一部を構成する部分データセットを決定する。【選択図】図2

Description

本発明は、特に、認識処理などに用いられる辞書の学習処理用データを生成するために用いて好適な情報処理装置、情報処理方法及びプログラムに関する。
従来、類似するデータセットをクラスタリングし、かつ各クラスタ(集合)に含まれるデータ数に偏りが生じないようにクラスタリングを実行する方法が、特許文献1に開示されている。
特開2009−87057号公報
Cewu Lu, Jianping Shi and Jiaya Jia, Abnormal Event Detection at 150 FPS in MATLAB, IEEE ICCV, 2013. Y. Wang, S. Parthasarathy and S. Tatikonda, Locality Sensitive Outlier Detection. ICDE, 2011.
近年では、例えば画像認識処理などにおいて機械学習が用いられることが多い。特許文献1に記載の技術は、データベースにおけるデータセットのクラスタリングを想定したものであり、複数の異なる学習処理用データを用いて機械学習を実行し、それぞれのデータセットに対応した複数の認識用辞書を生成する場合は想定していない。そのため、認識用辞書を生成する場合においては、この技術を適用できない。
本発明は前述の問題点に鑑み、認識用辞書を生成するための学習処理用データを効率良く生成できるようにすることを目的としている。
本発明に係る情報処理装置は、異なる条件で取得した複数のデータ群を、前記複数のデータ群に係る個々のデータの特徴に基づいてそれぞれ複数のグループに分割する分割手段と、前記分割手段によって分割されたグループ間の統合適正度を算出する算出手段と、前記算出手段によって算出された統合適正度に応じて前記分割されたグループを統合データグループとして統合する統合手段と、前記統合手段によって統合された統合データグループからデータを抽出して、認識用の辞書を生成するための学習処理用のデータのセットを決定する決定手段と、を有することを特徴とする。
本発明によれば、認識用辞書を生成するための学習処理用データを効率良く生成することができる。
実施形態に係る情報処理装置のハードウェア構成例を示すブロック図である。 第1の実施形態において、学習処理用データセットを決定する全体的な処理手順の一例を示すフローチャートである。 複数のカメラが設置されている様子を説明するための図である。 認識処理および学習処理が実行されるシステム構成例を示す図である。 各カメラのデータ群を分割してグループ化する処理を説明するための図である。 類似度を算出してデータを統合する処理を説明するための図である。 部分データセットを決定する処理を説明するための図である。 部分データセットを決定する処理を説明するための図である。 他のPCからデータを取得する概要を説明するための図である。 他のPCから部分辞書を取得する概要を説明するための図である。 第2の実施形態において、学習処理用データセットを決定する全体的な処理手順の一例を示すフローチャートである。 各PCに保存されているデータグループを説明するための図である。 他のPCからデータを取得する概要を説明するための図である。 第3の実施形態において、学習処理用データセットを決定する全体的な処理手順の一例を示すフローチャートである。 第3の実施形態において認識処理を行う概要を説明するための図である。 第4の実施形態において、学習処理用データセットを決定する全体的な処理手順の一例を示すフローチャートである。
(第1の実施形態)
以下、図面を参照しながら本発明の第1の実施形態について説明する。本実施形態は、機械学習処理において使用されるデータセット(以下、学習処理用データセット)を決定する方法を説明するものであり、特に画像の認識処理を例として説明する。
図1は、本実施形態に係る情報処理装置100のハードウェア構成例を示すブロック図である。
図1において、情報処理装置100は、CPU101、RAM102、記憶装置103、画像表示装置104、ROM105、通信I/F106および入力装置108を備えており、各構成はメインバス109により接続されている。
CPU101は、情報処理装置100全体を制御し、後述する各処理を実行する。RAM102は、ROM105に格納されたプログラムを実行する際のワークエリアを有し、さらには、各処理で処理されたデータを一時的に保持する。記憶装置103は例えばハードディスクドライブ(HDD)などであり、データを保持するためのものである。
画像表示装置104は、記憶装置103などに記憶されたデータを表示するためのものである。ROM105は、本実施形態に係る処理を実行するためのプログラム等を格納する。通信I/F106は、外部装置との間でデータのやり取りを行うためのI/Fであり、無線接続であっても有線接続であってもよい。入力装置108は例えばキーボードやマウスなどであり、ユーザが操作することによって入力情報が入力される。
続いて、本実施形態における学習処理用データセットの決定方法が適用される認識処理に関して、学習処理を含めて説明する。本実施形態で想定する認識処理では、図3に示すように第1のカメラ301〜第6のカメラ306が設置され、それぞれのカメラによって取得した画像から、画像ごとに異常行動を検出するものである。
また、本実施形態では、異常行動を検出する認識処理として、非特許文献1に記載されている正常モデルを用いた異常行動検知処理を想定しているものとする。異常行動検知処理では、カメラより取得した画像を正常モデルの学習処理用画像として用い、異常行動検知処理を実行する際に参照する辞書を生成する。また、学習処理においては、画像に対して特徴抽出処理を実行し、抽出された特徴量を用いて辞書の生成処理を実行する。ここで、辞書を生成する際には、学習処理用画像に含まれる特徴量を正常モデルとして学習するため、異常行動検出処理の実行時には、辞書として学習された正常モデルと類似しない特徴量を有する画像または画像の一部を異常として検出する。
また、学習処理用画像のそれぞれに含まれる特徴量は、撮像された状況により様々に変化し得る。例えば、歩行または走行の違いなど画像中の人物の動作が異なるだけでもその特徴量は変化するため、それぞれが異なる正常モデルとして学習される可能性がある。したがって、生成する辞書は複数の正常モデルを網羅して定義する必要が有り、具体的にはそれぞれ異なる正常モデルを定義した部分辞書より構成される。なお非特許文献1に記載の方法では、部分辞書は特徴量を近似し得る基底ベクトルの組み合わせによって定義され、さらに複数の部分辞書によって1つのカメラより取得された学習処理用画像群に対応する辞書が構成されるものとしている。
図4には、本実施形態における認識処理および学習処理が実行されるシステム構成例を示す。
図4に示すシステム構成では、前述の第1のカメラ301〜第6のカメラ306がそれぞれ第1のPC(パーソナルコンピュータ)401〜第6のPC406と接続されている。また、第1のPC401〜第6のPC406は、ネットワーク410上で接続されており、PCクラスタを構成している。また、図1に示す情報処理装置100が、ネットワーク410を介して第1のPC401〜第6のPC406と接続されている。第1のカメラ301〜第6のカメラ306は、それぞれ所定の撮像領域の画像を取得する。そして、取得した画像はそれぞれ第1のPC401〜第6のPCに保存され、前述した認識処理(異常行動検知処理)および学習処理が実行される。
なお、取得した画像を保存し、さらに認識処理および学習処理を実行する装置は、前述したPCクラスタを構成するものに限らない。例えばクラウド計算機、カメラ内の装置、スマートフォンなどのモバイル機器等であってもよく、これらを組み合わせたものであってもよい。
図2は、本実施形態において、情報処理装置100により学習処理用データセットを決定する全体的な処理手順の一例を示すフローチャートである。
まず、S201において、CPU101は、異なる条件で取得した複数のデータ群をそれぞれデータグループに分割してグループ化する。
次に、S202において、CPU101は、分割されたデータグループ間の類似度を算出する。そして、S203において、CPU101は、各データグループ間の類似度に応じて複数のデータグループを統合して、統合データグループを決定する。さらに、S204において、CPU101は、前記統合データグループから一部のデータを抽出して、認識用辞書を生成するための学習処理用データセットの一部を構成する部分データセットを決定する。
なお、本実施形態においてS201で取得されるデータ群は、後述するように画像群から抽出した特徴量群とする。また、前記のデータ群、データグループ、学習処理用データセット、部分データセットなどの定義の詳細については後述する。
続いて、図2に示したフローチャートに沿って、情報処理装置100により学習処理用データセットの決定処理がどのように実行されるかについて詳細に説明する。まず、前述したように、第1のカメラ301〜第6のカメラ306において学習処理に用いる画像が取得され、これらの画像が第1のPC401〜第6のPC406に保存される。
この際、前述したように本実施形態における学習処理は正常モデルに対応する辞書を生成するため、学習処理に用いる画像には、正常状態のみが記録されているものとする。また、一般的に認識処理の精度を確保するためには、学習処理に用いる画像は大量に必要なことが知られている。本実施形態では、カメラごとに1万枚の正常状態のみが記録された画像を取得し、第1のPC401〜第6のPC406は、それぞれ1万枚の画像を保持しているものとする。
第1のPC401〜第6のPC406では、まず、前述したように各画像に対してそれぞれ特徴抽出処理が実行される。本実施形態では、非特許文献1に示す方法で、画像の横方向、縦方向および時間方向の3方向それぞれで輝度勾配を算出する。そして、それぞれの画素位置における3方向の輝度勾配を要素としてベクトルを構成し、さらに前記ベクトルをPCAにより次元削減したベクトルを特徴量として算出する。なお、非特許文献1に記載の方法では、画像をピラミッド画像化し、さらに各画像の所定の領域ごとに前記特徴量を算出しているが、本実施形態においては、画像ごとに画像全体に対して前記輝度勾配算出処理を実行して特徴量を算出するものとする。ただし、特徴量の算出方法はこれに限ったものでは無く、非特許文献1に記載の方法により算出してもよく、その他の方法で特徴量を算出するものであっても構わない。また、本実施形態では、特徴量としてベクトルを算出しているが、画像の特徴を表現し得るものであればどのような特徴量を用いてもよい。
続いて、抽出した特徴量に対して、情報処理装置100は、図2に示した処理を実行する。ここで、それぞれのカメラで取得した1万枚の画像から抽出した特徴量の集合をデータ群と呼ぶ。したがって、データ群はカメラの台数に対応して複数個存在することとなる。
まず、S201では、CPU101は、通信I/F106を介して第1のPC401〜第6のPC406からそれぞれデータ群を取得する。そして、取得したそれぞれのデータ群に対して、データグループに分割する。ここで、データグループは、それぞれの特徴量が類似している個々のデータ(特徴量)より構成される。本実施形態では、データグループにグループ化する具体的な処理として、K-meansに代表されるクラスタリング処理を実行する。本処理を実行することにより、それぞれのデータ群は、互いに類似した特徴量から構成される複数のデータグループに分割される。なお、クラスタリング処理の手法に関しては、K-meansに限らずその他の手法を用いてもよい。
本実施形態では、分割されるデータグループ数が事前に決定されているものとする。例えば図5に示すように、各データ群がそれぞれ3個のデータグループに分割されるものとする。なお、各データグループに記載されている数字は、各データグループに含まれるデータ数(画像数)を表わしている。
続いて、S202において、CPU101は、類似度の算出処理を実行する。前述したようにこの処理では、各データグループ間の類似度を算出するが、データグループを統合しても良いかの目安となる統合適正度として類似度を算出する。
学習処理においては、データを多数用いると、学習処理結果(すなわち生成された辞書)の汎化性能を向上させることが知られている。本実施形態の場合、学習に用いる部分データセットは、それぞれが一つの正常モデル(すなわち生成される部分辞書)に対応しており、多数のデータを用いる場合には、当該正常モデルに含まれ得るデータを使用することが望ましい。この場合、当該正常モデルに含まれ得るデータ(画像)としては、抽出された特徴量同士が類似していることが一つの指標と成り得る。
そこで本実施形態では、統合適正度の指標となる類似度を算出するために、S201で実行したクラスタリング処理において算出されるクラスタ中心を用い、クラスタ中心間距離の算出処理を実行する。ここで、クラスタ中心は、それぞれのデータグループに含まれる特徴量を平均したものであるため、それぞれのクラスタ中心の距離を算出することにより、データグループ同士の類似度を評価することが可能となる。
本実施形態の場合、クラスタ中心間距離は、クラスタ中心となる特徴量ベクトル差分のL2ノルムとして算出される。さらに、データグループ同士の類似度は前記クラスタ間中心距離の逆数として算出される。なお、データグループ間の類似度を算出する方法は前述したものに限られない。例えばそれぞれのデータグループに含まれる特徴量を量子化した後、そのヒストグラムを算出し、データグループ間の類似度をヒストグラムインターセクションとして算出する方法を用いてもよい。もしくは、データグループ間の類似度として、データグループ間のジャッカール指数を算出するものであってもよい。
続いてS203では、CPU101は、統合処理を実行する。統合処理では、前述したようにS202で算出したデータグループの類似度に対して、事前に設定した閾値を参照し、閾値以上の類似度を有するデータグループの組み合わせを判別し、それらを統合データグループとして定義する。
例えば図5に示したデータグループにグループ化された場合は、図6に示すように、データグループa,a',a”のそれぞれの間で類似度が閾値以上であるものとする。そこで、データグループa,a',a”を統合したデータグループの組み合わせ(a,a',a”)を統合データグループと定義する。同様に、データグループの組み合わせ(b,b')、(c,c',c”)、(d,d',d”)、(e,e')、(h,h')をそれぞれ統合データグループと定義する。一方、データグループf,g,iに関しては、類似度が閾値以上となる他のデータグループが存在しないため、統合データグループとしては定義されない。
続いてS204において、CPU101は、サンプリング処理を実行する。サンプリング処理では、前述したように定義された統合データグループに関して、その統合データグループに含まれるデータ数(特徴量数)と、事前に設定された閾値とを比較する。そして、閾値よりも多いデータを有する統合データグループに対してサンプリング処理を実行する。
例えば、閾値が10,000と設定されている場合、図7Aに示すように、統合データグループ(a,a',a”)に含まれるデータ数は21,000であり、閾値を超えている。そこで、統合データグループ(a,a',a”)から、10,000個のデータ(特徴量)をサンプリング処理により抽出して、学習処理に用いるデータセットの一部を構成する部分データセットAとして設定する。ここでサンプリング処理としては、統合データグループからランダムにデータを抽出するものとする。なお、サンプリング処理に関しては、前記手法に限定するものでは無く、どのような手法を用いてもよい。また、図7Bに示すように、に統合データグループ(h,h')に含まれるデータ数は15,000であり、閾値を超えている。そこで、同様に統合データグループ(h,h')から、10,000個のデータ(特徴量)をサンプリング処理により抽出して、部分データセットHとして設定する。なお、本実施形態では、データ数の閾値とサンプリング処理により抽出するデータ数を同一としているが、それぞれ異なる値を設定しても構わない。
一方、図7Aおよび図7Bに示すように、統合データグループ(b,b')、(c,c',c”)、(d,d',d”)、(e,e')に関しては、それぞれに含まれるデータ数が閾値を超えない(所定値以下である)ことからサンプリング処理は実行されない。この場合、これらの統合データグループは、それぞれそのまま学習処理に用いるデータセットの一部を構成する部分データセットB、C、D、Eと設定される。また、統合データグループとして定義されていないデータグループf,g,iは、それぞれがそのまま学習処理に用いるデータセットの一部を構成する部分データセットF、G、Iと設定される。
以上のように情報処理装置100で部分データセットが決定されると、第1のPC401〜第6のPC406では、部分データセットを組み合わせた学習用データセットを用いて、前述した学習処理を実行する。本実施形態の場合は、例えば第1のカメラ301に対応する辞書は、第1のカメラ301によって取得された画像内のデータ群中のデータグループを含む部分データセットA、B、Cより構成される学習用データセットを用いて生成される。
まず、学習処理を実行する前に、情報処理装置100は、部分データセットの情報を第1のPC401〜第6のPC406に通知する。この通知結果に伴い、第1のPC401〜第6のPC406は、他のPCに保存されたデータグループを参照するため、ネットワーク410を介してデータを取得する。図8には、第1のPC401がネットワーク410を経由して第2のPC402に保持されたデータグループa'、c'と、第3のPC403に保持されたデータグループa”、b'、c”とを取得する状況を示している。
一方、第2のカメラ302に対応する辞書A、C、Dは、部分データセットA、C、Dより構成される学習用データセットを用いて生成される。このとき、部分データセットA,Cに対応する辞書については、第1のPC401により辞書A,B,Cが生成されるため、生成しなくてもよい。したがって、第2のPC402は、第2のカメラ302に対応する辞書に関しては、部分データセットDに対してのみ学習処理を実行して部分辞書Dのみを生成すればよい。そして、部分データセットA、Cに対応する部分辞書A、Cを、第1のPC401からネットワーク410を介して取得すればよい。図9には、第2のPC402がネットワーク410を経由して、第1のPC401から部分データセットA、Cに対応する部分辞書A、Cを取得する状況を示している。
以上のように、既に生成されている辞書については、他のPCから取得し、まだ生成されていない辞書については、上述した手順で学習処理を行って辞書を生成する。このように第1のPC401〜第6のPC405は、それぞれ辞書を生成するか、もしくは他のPCから辞書を取得する。
なお、非特許文献1に記載されている学習方法を前記学習用データセットに対して適用する場合は、学習処理において部分データセットの区別はせずに、学習用データセット全体に対して学習処理を適用して基底ベクトルの組み合わせを算出する。一方、その他の手法を用いて学習処理を行ってもよい。例えば、各学習用データセットを構成する部分データセットごとに基底ベクトルの組み合わせを算出するものであってもよい。
以上説明した学習用データセットの決定方法に関して、それぞれの処理内容の意図を以下で説明する。本実施形態では、図3に示すように複数のカメラより構成されるシステムにおいて、カメラごとに認識処理用の辞書を学習により生成することを想定している。この時、システムにおいて各カメラが撮像する位置は異なるため、取得される画像の内容も異なることとなり、各カメラにおける認識処理において必要となる辞書も異なるものが必要とされると考えられる。したがって、一般的には各カメラが取得した画像群それぞれを独立に用いて学習処理を実行し、それぞれのカメラに対応した辞書を生成することが考えられる。
ここで、各カメラが取得した学習処理用の画像群には、頻繁に発生する正常状態(以下、基本正常状態)と、発生頻度が少ない特殊正常状態とが含まれている。また、基本正常状態に相当する画像数は、頻繁に発生することから非常に多く存在し、また逆に特殊正常状態に相当する画像数は少ないことが一般的である。前述したようにS201において、各カメラが取得した画像から抽出した特徴量(データ群)に対してクラスタリング処理を実行した場合、例えば図5に示したデータグループa,a',a”,h,h',iが基本正常状態に相当する特徴量から構成される。一方、データグループb,b',c,c',c”,d,d',d”,e,e',f,g,iが特殊正常状態に相当する特徴量から構成される。
一方、例えばカメラの設置場所および撮像領域の状況が似ている場合、それぞれのカメラにより取得された画像中のデータ群のデータグループの類似度が高くなる可能性が考えられる。特に、基本正常状態に関しては、頻繁に発生する正常状態であることからも、類似度が高いデータグループの組み合わせが多く発生する可能性がある。このように類似度が高いデータグループに関しては、それぞれ独立に学習処理を実行したとしても、類似度が高い辞書が生成されることが予想される。
学習処理は、一般的にデータ量が膨大なことから演算コストが非常に高く、類似した辞書をそれぞれのカメラに対応して個別に算出することはコスト上無駄が多いと考えられる。そこで、本実施形態で説明したように、類似度が高いデータグループの組み合わせに関しては、それらを統合した上でデータをサンプリングし、データ量を削減した上で学習処理を実行し、辞書を生成する。生成した辞書は、それぞれのカメラ両方で使用することができるため、それぞれのカメラで辞書を算出する場合に比べてシステム全体としての演算コストを削減することが可能となる。
一方、特殊正常状態に関しては、発生頻度が少ないことから、各データグループに含まれるデータ量が少ないことが予想される。一般的に少ないデータ量で学習処理を実行した場合、認識精度が低くなることが知られている。これに対して本実施形態では、他のカメラにより取得されたデータの中で、類似度が高い特殊正常状態に属するデータグループを統合することで学習処理に用いるデータ量を増やすことができる。このため、特殊正常状態における認識精度を向上させることができる。
以上説明したように本実施形態によれば、演算コストを削減しつつ、さらにデータ量を増やして認識精度を向上させることが可能となる。
(第2の実施形態)
以下、図面を参照しながら本発明の第2の実施形態について説明する。本実施形態に係る情報処理装置の内部構成は図1と同様であるため、説明は省略する。本実施形態の学習処理用データセットの決定方法は、図10に示すように、S204の処理の代わりにS1001で、データを取得するコストを考慮して統合データグループから一部のデータを抽出して部分データセットを決定する点で第1の実施形態と異なる。以下、第1の実施形態と異なる点についてのみ説明を行う。
図10は、本実施形態において、学習処理用データセットを決定する全体的な処理手順の一例を示すフローチャートである。まず、図10のS201〜S203までの処理は、図2と同様であるため、説明を省略する。
続いて、S1001においては、統合データグループに含まれるデータ数に加えて、データを転送するコストを考慮してデータを抽出し、部分データセットを決定する。例えば図11に示すように、第1のPC401〜第6のPC402において、それぞれデータグループが保存されているものとする。また、第1の実施形態と同様に統合データグループ(a,a',a”)に含まれるデータ数が21,000であり、事前に設定された閾値が10,000であるものとする。
ここで、第1の実施形態では、統合データグループを構成するデータグループを区別すること無く、ランダムにデータを抽出して部分データセットAを設定した。これに対して本実施形態では、統合データグループからデータを抽出する際に、学習処理を実行する際のデータを転送するコストがより低いデータグループを優先して抽出する。
例えば、第1のPC401が部分データセットAを用いて学習処理を実行する際に、統合データグループ(a,a',a”)中のデータグループaは、第1のPC401に保持されているため、他のPCからデータを取得する必要がない。これに対してデータグループa',a”に関しては、他のPCからデータを取得する必要があるため、データを転送するコストが発生する。
そこで本実施形態では、統合データグループからデータを抽出する際に、PCクラスタのネットワーク構成と、データの所在位置の情報とに基づいて、データを転送するコストが低くなるようにデータを選択する。図6に示す例の場合は、第1のPC401に保持されているデータグループaの7000個分のデータを優先して選択し、残りの3000個分のデータをデータグループa',a”の中からランダムに抽出する。S1001では、データグループaに属するすべてのデータと、データグループa',a”の中からランダムに抽出したデータとを合わせて部分データセットAとして設定する。
また別の例として、図12に示すようにPCクラスタが複数のネットワーク1201〜1203から構成されており、データ転送容量に差がある場合について説明する。図12においては、データ転送容量が大きいネットワーク1201、1202と、データ転送容量が小さいネットワーク1203とによりシステムが構成されている。図12に示す例の場合、第1のPC401がデータグループa”に属するデータを取得するためには、データ転送容量が低いネットワーク1203を経由してデータを取得する必要がある。そのため、データグループa'に属するデータを転送するコスト以上にコストが多く発生する。
そこでS1001では、まず、第1のPC401に保持されているデータグループaを優先して選択し、続いてデータグループa'を優先して選択する。つまり図6に示す例の場合は、まず第1のPC401に保持されているデータグループaの7000個分のデータを優先して選択する。そして、残りの3000個分のデータについては、データグループa'からランダムに抽出する。したがって、データグループa”からはデータは選択されない。その結果、S1001では、データグループaに属するすべてのデータと、データグループa'の中からランダムに抽出したデータとを組み合わせて部分データセットAとして決定する。
また、学習処理を実行する装置がクラウド計算機であり、かつ図10に示す処理をクラウド計算機が行う場合は、ネットワークの構成を特定することが困難であり、データの転送コストを正確に見積もることは困難である。このため、本実施形態をクラウド計算機に適用する場合は、事前に平均的なデータの転送コストの情報を予め取得しておくことが好ましい。
以上のように本実施形態によれば、演算コストを削減しつつ、かつデータ量を増やして認識精度を向上させ、さらにデータの転送コストの増大を防止することが可能となる。
(第3の実施形態)
以下、図面を参照しながら本発明の第3の実施形態を説明する。本実施形態に係る情報処理装置の内部構成は図1と同様であるため、説明は省略する。本実施形態における学習処理用データセットの決定方法は、図13に示すようにS201〜S203の処理の代わりに後述するS1301〜S1303の処理が実行される。以下、第1の実施形態と異なる点についてのみ説明を行う。
図13は、本実施形態において、学習処理用データセットを決定する全体的な処理手順の一例を示すフローチャートである。
図13のS1301においては、CPU101は、あるカメラから取得したデータ群(本実施形態では、図14に示すデータ群αとする)を用いて、非特許文献1に示した学習処理を実行し、部分辞書J、K、Lから構成される辞書を生成する。非特許文献1に記載の方法で部分辞書を生成する工程では、データ群に含まれるデータ(特徴量)が、各部分辞書によって定義される正常モデルに対応してデータグループj,k,lに分割される。このとき、生成された部分辞書(基底ベクトル組)とそれぞれのデータとの残差値が算出される。
続いてS1302においては、CPU101は、生成された部分辞書J、K、Lを用いて、別のカメラにより取得されたデータ群βに対して、認識処理(異常行動検知処理)を実行する。この処理では、第1の実施形態におけるS202の統合適正度を算出する工程に相当する。すなわち、S1302では、入力されたデータが正常または異常のどちらかを識別し、正常と識別された場合は当該データが認識処理で参照した部分辞書の正常モデルに含まれることを意味する。そして、その際に算出される残差値は、当該データが正常モデルとどの程度異なるのかを表わしている。このように残差値は、当該データを、正常モデル(すなわち部分辞書)を学習により生成する際に分割されたデータグループと、同一の学習用データセットとして統合しても良いかどうかの指標の一つとなる。
例えば図14に示すように、データ群βは、各部分辞書J、K、Lによって、それぞれの部分辞書によって定義されるデータグループj',k',l'と、さらにどの部分辞書の正常モデルにも当てはまらない残りのデータグループgとに分割される。なお、図14中のデータβにおけるカッコ内の数値は、各データグループに含まれるデータの残差値の平均値(残差平均値)を示している。データグループgに関しては、部分辞書J,K,Lのどの正常モデルによっても表現(近似)され得ないため、残差平均値は表記されていない。
続いてS1303では、CPU101は、統合適正度が高いデータグループ同士を統合データグループとして定義する。ここで統合適正度は、S1302において算出された各データグループにおける残差平均値を閾値と比較することにより算出される。図14に示す例では、残差平均値の閾値を0.5と設定した場合、閾値より低い残差平均値を有するデータグループjとj'、およびデータグループkとk'は統合データグループとして設定される。一方、閾値より高い残差平均値を有するlとl'は統合データグループとしては設定されない。以上のように統合データグループが設定された以降の処理に関しては、第1及び第2の実施形態と同様である。
また、例えば、データ群βのデータグループj'、k'に対応する部分辞書は、既にデータ群αを用いた学習により生成された部分辞書J、K,により正常モデルとして表現されており、そのまま流用することができる。また、データグループl'およびgに関しては、PCでは、対応する部分辞書LおよびGを改めて学習により生成する必要がある。また、前述したようにデータグループ間の統合適正度が判明していることから、該当するデータグループを第1及び第2の実施形態と同様にサンプリングし、PC側で改めて学習により部分辞書を生成してもよい。さらに本実施形態の方法と第1の実施形態の方法とを組み合わせてもよい。
(第4の実施形態)
以下、図面を参照しながら本発明の第4の実施形態を説明する。本実施形態に係る情報処理装置の内部構成は図1と同様であるため、説明は省略する。本実施形態における学習処理用データセットの決定方法では、図15に示すように、図2の処理に加えて、S1501およびS1502の処理が追加されている。以下、第1の実施形態と異なる点についてのみ説明する。
図15は、本実施形態において、学習処理用データセットを決定する全体的な処理手順の一例を示すフローチャートである。
S1501においては、CPU101は、S204で生成された学習処理用データセットを用いて学習処理を行い、辞書を生成する。辞書を生成する方法は、第1の実施形態で第1のPC401〜第6のPCで行った方法と同様の方法で行う。
次に、S1502において、CPU101は、学習結果として生成された辞書の検証を実行する。そして、認識処理の性能が所定の精度を有しているか否かを判定する。認識処理の性能が所定の精度を有していない場合は、S201に戻って、学習用データセットを変更するようにする。
具体的には、S1502では検証用データに対しては、事前にGround Truthとして正常および異常それぞれのラベルが付けられており、認識処理結果がラベルと一致するかどうかにより、Equal Error Rate(EER)を算出する。続いて、算出したEERを事前に設定した要求精度(例えば80%)と比較し、要求精度に満たない辞書がある場合は、S201に戻り、その辞書に係る部分データセットの組合せを変更する。
具体的な変更方法としては、例えばS201及びS202では処理を同じとし、S203で統合データグループの組み合わせを変更して再度学習処理用データセットを決定する。その場合には、例えば前回用いた学習処理用データセットから統合適正度の低いデータグループを外す方法が考えられる。
また、他の変更方法として、S201においてグループ化を再度実行してもよい。この場合は、S201の処理において、全ての処理を再度実行してもよく、一部のデータ群または一部のデータグループのみを再グループ化するようにしてもよい。また、S201において、クラスタリング処理におけるクラスタの初期値を変更したり、分割するクラスタ数を変更したりして再実行してもよい。学習処理用データセットの再設定に関しては、前述した方法以外にも、それぞれの部分的な処理を変更して組み合わせる等の多数の組み合わせが考えられる。
また、本実施形態では、学習処理用データセットを第1の実施形態の手順で生成する例について説明したが、第2または第3の実施形態の手順で生成する例で適用してもよい。例えば第2の実施形態の方法で学習処理用データセットを生成する場合は、要求精度に満たない辞書がある場合に、前回はデータ転送コストに基づいて優先したデータグループの優先順位を変更して学習処理用データセットを設定するなどの方法を用いてもよい。
以上説明したように本実施形態によれば、学習結果の検証結果を基にして、学習処理用データセットを決定するため、より適切な学習処理用データセットを決定することが可能となる。
(第5の実施形態)
以下、図面を参照しながら本発明の第5の実施形態を説明する。本実施形態に係る情報処理装置の内部構成は図1と同様であるため、説明は省略する。本実施形態における学習処理用データセットの決定方法では、図2のS202の処理が第1の実施形態と異なっている。以下、第1の実施形態と異なる点についてのみ説明する。
S202では、CPU101は、各カメラが撮像する領域が類似しているものを事前に把握しておき、その撮像領域の属性情報を参照して類似度を決定する。データ群を取得した状況により、データ群に含まれるデータの特徴はある程度特定される。本実施形態では、類似した状況において取得されたデータ群同士は、類似したデータを有すると予想されることに基づいている。
例えば図3に示す例では、第2のカメラ302と第3のカメラ303は異なる地点の交差点を撮像し、第4のカメラ304と第6のカメラ306は異なる地点の横断歩道を撮像しているものとする。この時、事前にそれぞれのカメラに対応して、取得される属性情報としてそれぞれ"交差点"および"横断歩道"が設定される。本実施形態の場合、S202において、この属性情報を参照することにより、同じ属性を有するデータグループ間の類似度を1とし、異なる属性を有するデータグループ間の類似度を0とする。
そして、次のS203では、CPU101は、類似度の閾値を例えば0.5と設定することにより統合データグループを定義する。なお、以降の処理は、図2の処理と同様に実行される。
上述した説明では、それぞれのデータ群に対して一種類の属性を設定しているが、各データ群に対して複数の属性情報を設定してもよい。例えば、"駅"、"道路"、"信号"などの複数の属性情報を組み合わせてデータ群に設定してもよい。この場合は、各属性情報を0または1のビットで表わし、それを組み合わせたビット列によって各データ群の属性を表現することができる。この場合は、例えばデータ群の類似度を属性情報のビット列のハミング距離として算出することができる。
また、本実施形態と第1または第2の実施形態とを組み合わせてもよい。この場合、例えば第1または第2の実施形態で算出した類似度に対して、属性情報が一致した場合に所定の重み係数を乗算するなどの方法が考えられる。
また、本実施形態と第3の実施形態とを組み合わせてもよい。この場合、前述した手順で属性情報による類似度を算出し、さらに図13のS1303において算出される残差値に対して、属性が一致した場合に所定の重み係数を乗算するなどの手法が考えられる。また、前述した第4の実施形態と本実施形態とを組み合わせてもよい。
以上本実施形態で説明したように、データを取得した状況に関する情報を属性情報としてデータ群に付与することにより、それを参照してデータグループの類似度を算出することが可能となる。結果として、本実施形態で説明した学習処理用データセットの決定方法を用いることにより、演算コストを削減し、またさらにデータ不足に起因する過学習等の問題を防ぐことが可能となる。
(その他の実施形態)
前述した実施形態では、情報処理装置100において学習処理用データセットを決定したが、図1のハードウェア構成を有する第1のPC401〜第6のPC406の何れかが学習処理用データセットを決定するようにしてもよい。
また、前述した実施形態においては、処理対象とするデータを画像として説明したが、例えば音声や、または振動センサ等によって取得される機械装置のデータなど、数値化されて演算対象となり得るものであれば、その他のものであってもよい。また、前述した実施形態においては、認識処理として非特許文献1に記載の方法を例に挙げて説明したが、その他の方法で認識処理をおこなってもよい。例えば、非特許文献2に記載のハッシュ関数を用いた認識処理アルゴリズムを用いてもよい。
また、前述した実施形態においては、データ群をカメラにより取得された画像の特徴量の集合として定義したが、各画像中の部分領域の特徴量の集合をデータ群としてもよい。例えば非特許文献1に記載の方法では、カメラにより取得された画像よりピラミッド画像を生成し、さらに各画像中の部分領域を切り出した部分画像を要素とするデータの集合をデータ群としており、同様に処理を実行してもよい。また、画像はカメラによって取得されたものに限らず、例えばComputer Graphics として生成されたものであってもよい。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
101 CPU

Claims (10)

  1. 異なる条件で取得した複数のデータ群を、前記複数のデータ群に係る個々のデータの特徴に基づいてそれぞれ複数のグループに分割する分割手段と、
    前記分割手段によって分割されたグループ間の統合適正度を算出する算出手段と、
    前記算出手段によって算出された統合適正度に応じて前記分割されたグループを統合データグループとして統合する統合手段と、
    前記統合手段によって統合された統合データグループからデータを抽出して、認識用の辞書を生成するための学習処理用のデータのセットを決定する決定手段と、
    を有することを特徴とする情報処理装置。
  2. 前記決定手段は、前記統合データグループのデータの数が所定値を超える場合に、当該統合データグループから一部のデータを抽出することを特徴とする請求項1に記載の情報処理装置。
  3. 前記決定手段は、前記学習処理用のデータを転送する転送コストに基づいて前記統合データグループから抽出するデータを決定することを特徴とする請求項2に記載の情報処理装置。
  4. 前記算出手段は、前記統合適正度として前記分割されたグループ間の類似度を算出することを特徴とする請求項1〜3の何れか1項に記載の情報処理装置。
  5. 前記算出手段は、さらに前記複数のデータ群に係る属性情報に基づいて前記統合適正度を算出することを特徴とする請求項4に記載の情報処理装置。
  6. 前記複数のデータ群は、それぞれ複数のカメラから取得した画像の特徴量であることを特徴とする請求項1〜5の何れか1項に記載の情報処理装置。
  7. 前記分割手段は、前記データ群を用いて学習処理を行って辞書を生成することによって前記複数のグループに分割し、
    前記算出手段は、前記生成した辞書に基づいた認識処理を行うことにより前記統合適正度を算出することを特徴とする請求項6に記載の情報処理装置。
  8. 前記決定手段によって決定された学習処理用のデータのセットを用いて学習処理を行い、当該セットに係る辞書を生成する生成手段と、
    前記生成手段によって生成された辞書を検証する検証手段と、
    をさらに有することを特徴とする請求項1〜7の何れか1項に記載の情報処理装置。
  9. 異なる条件で取得した複数のデータ群を、前記複数のデータ群に係る個々のデータの特徴に基づいてそれぞれ複数のグループに分割する分割工程と、
    前記分割工程において分割されたグループ間の統合適正度を算出する算出工程と、
    前記算出工程において算出された統合適正度に応じて前記分割されたグループを統合データグループとして統合する統合工程と、
    前記統合工程において統合された統合データグループからデータを抽出して、認識用の辞書を生成するための学習処理用のデータのセットを決定する決定工程と、
    を有することを特徴とする情報処理方法。
  10. コンピュータを請求項1〜8の何れか1項に記載の情報処理装置の各手段として機能させるためのプログラム。
JP2016177789A 2016-09-12 2016-09-12 情報処理装置、情報処理方法及びプログラム Active JP6794197B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016177789A JP6794197B2 (ja) 2016-09-12 2016-09-12 情報処理装置、情報処理方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016177789A JP6794197B2 (ja) 2016-09-12 2016-09-12 情報処理装置、情報処理方法及びプログラム

Publications (3)

Publication Number Publication Date
JP2018045302A true JP2018045302A (ja) 2018-03-22
JP2018045302A5 JP2018045302A5 (ja) 2019-10-24
JP6794197B2 JP6794197B2 (ja) 2020-12-02

Family

ID=61694845

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016177789A Active JP6794197B2 (ja) 2016-09-12 2016-09-12 情報処理装置、情報処理方法及びプログラム

Country Status (1)

Country Link
JP (1) JP6794197B2 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020119877A (ja) * 2019-01-23 2020-08-06 東芝ライテック株式会社 照明装置および照明システム
JP2020149080A (ja) * 2019-03-11 2020-09-17 三菱電機インフォメーションシステムズ株式会社 データ抽出装置、データ抽出方法及びデータ抽出プログラム
JPWO2020255299A1 (ja) * 2019-06-19 2020-12-24
US11200643B2 (en) 2018-12-21 2021-12-14 Canon Kabushiki Kaisha Image processing apparatus, image processing method and storage medium for enhancing resolution of image
WO2022219820A1 (ja) * 2021-04-16 2022-10-20 三菱電機ビルソリューションズ株式会社 エレベーターのモータの異常検出システム
JP2022182155A (ja) * 2021-05-27 2022-12-08 ソフトバンク株式会社 情報処理装置、情報処理方法およびプログラム
JP7547845B2 (ja) 2020-08-04 2024-09-10 オムロン株式会社 生成ユニット、データセット生成装置、合成画像生成方法、および合成画像生成プログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007325277A (ja) * 2006-06-05 2007-12-13 Fuji Xerox Co Ltd 協調フレームワークのサポートシステム、監視ビデオのマイニングのサポート方法、及びプログラム
JP2011059810A (ja) * 2009-09-07 2011-03-24 Nippon Soken Inc 画像認識システム
JP2015021824A (ja) * 2013-07-18 2015-02-02 三菱電機株式会社 類識別フィルタ生成装置及び目標類識別装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007325277A (ja) * 2006-06-05 2007-12-13 Fuji Xerox Co Ltd 協調フレームワークのサポートシステム、監視ビデオのマイニングのサポート方法、及びプログラム
JP2011059810A (ja) * 2009-09-07 2011-03-24 Nippon Soken Inc 画像認識システム
JP2015021824A (ja) * 2013-07-18 2015-02-02 三菱電機株式会社 類識別フィルタ生成装置及び目標類識別装置

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11200643B2 (en) 2018-12-21 2021-12-14 Canon Kabushiki Kaisha Image processing apparatus, image processing method and storage medium for enhancing resolution of image
JP2020119877A (ja) * 2019-01-23 2020-08-06 東芝ライテック株式会社 照明装置および照明システム
JP7326772B2 (ja) 2019-01-23 2023-08-16 東芝ライテック株式会社 照明装置
JP2020149080A (ja) * 2019-03-11 2020-09-17 三菱電機インフォメーションシステムズ株式会社 データ抽出装置、データ抽出方法及びデータ抽出プログラム
JPWO2020255299A1 (ja) * 2019-06-19 2020-12-24
JP7231027B2 (ja) 2019-06-19 2023-03-01 日本電信電話株式会社 異常度推定装置、異常度推定方法、プログラム
JP7547845B2 (ja) 2020-08-04 2024-09-10 オムロン株式会社 生成ユニット、データセット生成装置、合成画像生成方法、および合成画像生成プログラム
WO2022219820A1 (ja) * 2021-04-16 2022-10-20 三菱電機ビルソリューションズ株式会社 エレベーターのモータの異常検出システム
JP7517597B2 (ja) 2021-04-16 2024-07-17 三菱電機ビルソリューションズ株式会社 エレベーターのモータの異常検出システム
JP2022182155A (ja) * 2021-05-27 2022-12-08 ソフトバンク株式会社 情報処理装置、情報処理方法およびプログラム

Also Published As

Publication number Publication date
JP6794197B2 (ja) 2020-12-02

Similar Documents

Publication Publication Date Title
JP6794197B2 (ja) 情報処理装置、情報処理方法及びプログラム
US10936911B2 (en) Logo detection
US9824296B2 (en) Event detection apparatus and event detection method
CN110853033B (zh) 基于帧间相似度的视频检测方法和装置
CN110431560B (zh) 目标人物的搜索方法和装置、设备和介质
JP2022023887A (ja) 外観検索のシステムおよび方法
US9002069B2 (en) Social media event detection and content-based retrieval
CN111815577B (zh) 安全帽佩戴检测模型处理方法、装置、设备和存储介质
WO2016054779A1 (en) Spatial pyramid pooling networks for image processing
JP6432162B2 (ja) 画像照合方法、画像照合装置、モデルテンプレート生成方法、モデルテンプレート生成装置、およびプログラム
US9563822B2 (en) Learning apparatus, density measuring apparatus, learning method, computer program product, and density measuring system
CN110765860A (zh) 摔倒判定方法、装置、计算机设备及存储介质
US20140126830A1 (en) Information processing device, information processing method, and program
US11049256B2 (en) Image processing apparatus, image processing method, and storage medium
JP6997369B2 (ja) プログラム、測距方法、及び測距装置
JP5936561B2 (ja) 画像における外観及びコンテキストに基づく物体分類
US20130022244A1 (en) Image processing apparatus and image processing method
KR20220076398A (ko) Ar장치를 위한 객체 인식 처리 장치 및 방법
JP2015111339A (ja) 画像検索システム、画像検索装置、検索サーバ装置、画像検索方法、及び画像検索プログラム
CN108596079B (zh) 手势识别方法、装置及电子设备
US9424484B2 (en) Feature interpolation
CN112528903B (zh) 人脸图像获取方法、装置、电子设备及介质
JP6911995B2 (ja) 特徴抽出方法、照合システム、およびプログラム
US10853972B2 (en) Apparatus for processing image and method thereof
JP5894492B2 (ja) 画像処理装置、画像検索装置及びプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190911

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190911

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200717

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200728

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200918

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201013

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201111

R151 Written notification of patent or utility model registration

Ref document number: 6794197

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151