[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

KR101708547B1 - 사상(事象) 검출 장치 및 사상 검출 방법 - Google Patents

사상(事象) 검출 장치 및 사상 검출 방법 Download PDF

Info

Publication number
KR101708547B1
KR101708547B1 KR1020150012577A KR20150012577A KR101708547B1 KR 101708547 B1 KR101708547 B1 KR 101708547B1 KR 1020150012577 A KR1020150012577 A KR 1020150012577A KR 20150012577 A KR20150012577 A KR 20150012577A KR 101708547 B1 KR101708547 B1 KR 101708547B1
Authority
KR
South Korea
Prior art keywords
data
identifier
acquired
identifiers
clusters
Prior art date
Application number
KR1020150012577A
Other languages
English (en)
Other versions
KR20150107599A (ko
Inventor
시앙 루안
후추안 루
잉 장
Original Assignee
오므론 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 오므론 가부시키가이샤 filed Critical 오므론 가부시키가이샤
Publication of KR20150107599A publication Critical patent/KR20150107599A/ko
Application granted granted Critical
Publication of KR101708547B1 publication Critical patent/KR101708547B1/ko

Links

Images

Classifications

    • G06K9/46—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2433—Single-class perspective, e.g. one-against-all classification; Novelty detection; Outlier detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G06N5/046—Forward inferencing; Production systems
    • G06N5/047—Pattern matching networks; Rete networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G06V10/507—Summing image-intensity values; Histogram projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B23/00—Alarms responsive to unspecified undesired or abnormal conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/467—Encoded features or binary features, e.g. local binary patterns [LBP]
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19613—Recognition of a predetermined image pattern or behaviour pattern indicating theft or intrusion
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G08B21/0407—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis
    • G08B21/043—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis detecting an emergency event, e.g. a fall
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G08B21/0438—Sensor means for detecting
    • G08B21/0476—Cameras to detect unsafe condition, e.g. video cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computational Linguistics (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Burglar Alarm Systems (AREA)

Abstract

제1의 데이터를 취득하는 제1의 데이터 취득 수단과, 복수의 식별기와, 상기 제1의 데이터에 대응하는 특징량을 취득하고, 취득한 특징량의 분류처가 되는 복수의 클러스터를 생성하고, 상기 특징량을 상기 복수의 클러스터 중의 어느 하나에 분류하는 특징량 분류 수단과, 각 클러스터에 분류된 특징량을 각각 이용하여, 상기 복수의 식별기를 학습시키는 학습 수단과, 제2의 데이터를 취득하는 제2의 데이터 취득 수단과, 상기 제2의 데이터에 대응하는 특징량을, 상기 학습시킨 복수의 식별기에 입력하고, 각 식별기로부터 식별 결과를 취득하는 식별 수단과, 상기 취득한 식별 결과에 의거하여, 상기 제2의 데이터에 인식 대상의 사상이 포함되는지의 여부를 판정하는 판정 수단을 갖는다.

Description

사상(事象) 검출 장치 및 사상 검출 방법{EVENT DETECTION APPARATUS AND EVENT DETECTION METHOD}
본 발명은, 입력된 데이터에 의거하여, 이상사상(異常事象)의 발생 유무를 판정하는 사상 검출 장치에 관한 것이다.
근래, 시큐리티에의 관심이 높아짐에 의해, 감시 카메라의 보급이 진행되어 있다. 감시 카메라는, 어떠한 이상 사태를 감시하는 목적으로 설치되지만, 모든 영상을 리얼타임으로 사람이 감시하는 것은 현실적이 아니다. 그래서, 영상에 비치고 있는 내용에 의거하여, 어떠한 이상한 사상이 포함되는 신(이상(異常) 신)과, 그렇지 않은 신(정상 신)을 자동적으로 식별하는 방법에 관해, 연구가 진행되고 있다. 이상한 사상이란, 통상의 상태에서는 일어나지 않는 사상이고, 예를 들면, 교통사고의 발생이나, 플랫폼으로부터의 전락(轉落), 수상한 자의 침입, 피간호인의 전도(轉倒)나 졸도(卒倒) 등이다.
영상에 포함되는 사상을 검출하는 경우, 당해 사상을 미리 학습시켜 두고, 영상으로부터 취득한 정보와 매칭시켜서 평가한다는 수법이 일반적으로 이용된다.
예를 들면, 특허 문헌 1에 기재된 의심 행동 검지 시스템에서는, 감시 대상자의 이동 궤적을 정상 패턴과 이상 패턴으로 나누어서 학습시켜서, 취득한 이동 궤적과 학습 정보를 대비시킴으로써 대상자의 행동을 식별하고 있다.
일본 특개2012-128877호 공보
특허 문헌 1에 기재된 시스템은, 인간의 이동 궤적에 의거하여, 정상 패턴을 일탈한 행동을 검출할 수 있다. 그러나, 당해 시스템은, 특정한 공간 내에서 이동하는 사람의 이동 궤적에 의거하여 이상 판정을 행하고 있기 때문에, 인물의 이동 궤적에 근거하지 않는 판정은 행할 수가 없다. 예를 들면, 고령자의 배회를 검출할 수는 있지만, 방범 카메라의 영상으로부터, 억지로 열린 금고가 존재하는 것을 검출할 수는 없다.
이 문제는, 인간의 이동 궤적 이외의 특징량을 취득하고, 특징량끼리를 비교함으로써 해결할 수 있다고도 생각된다. 그러나, 학습 결과에 의거하여 정상 신과 이상 신을 식별하려고 한 경우, 각각 충분한 수의 학습 데이터를 준비하지 않으면 안 된다. 충분한 수의 학습 데이터를 준비할 수 없는 경우, 정상 신과 이상 신을 식별할 때의 정밀도가 낮아져 버리기 때문이다.
그러나, 현실에는, 이상 신에 포함되는 사상은, 사고 등, 발생하면 안 되는 사상인 것이 많고, 실제로 사상을 발생시켜서 학습시키는 것이 곤란한 경우가 많다.
또한, 한마디로 정상 신이나 이상 신이라고 말하여도, 실제는 특징이 다른 다양한 신이 있다. 이 때문에, 각각 특징이 다른 복수의 신을 1개의 「정상(이상) 신」으로 간주하여 버리면, 인식 정밀도가 나빠진다는 문제가 있다. 예를 들면, 플랫폼으로부터의 사람의 전락(轉落)을 검지하고 싶은 경우, 열차의 진입 중, 진출 중, 승객이 플랫폼에 체류하고 있는 상태, 플랫폼에 승객이 없는 상태 등, 수많은 정상 신이 존재하기 때문에, 이들을 개별적으로 정의하는 것이 곤란한 경우가 많다.
본 발명은 상기한 과제를 고려하여 이루어진 것으로, 입력된 데이터에 의거하여 이상사상의 발생 유무를 판정하는 사상 검출 장치로서, 미리 정상이나 이상의 패턴을 정의하여 학습을 행하게 할 필요가 없는 사상 검출 장치를 제공하는 것을 목적으로 한다.
상기 과제를 해결하기 위해, 본 발명의 제1의 양태에 관한 사상 검출 장치는,
제1의 데이터를 취득하는 제1의 데이터 취득 수단과, 복수의 식별기와, 상기 제1의 데이터에 대응하는 특징량을 취득하고, 취득한 특징량의 분류처(分類先)가 되는 복수의 클러스터를 생성하고, 상기 특징량을 상기 복수의 클러스터 중의 어느 하나에 분류하는 특징량 분류 수단과, 각 클러스터에 분류된 특징량을 각각 이용하여, 상기 복수의 식별기를 학습시키는 학습 수단과, 제2의 데이터를 취득하는 제2의 데이터 취득 수단과, 상기 제2의 데이터에 대응하는 특징량을, 상기 학습시킨 복수의 식별기에 입력하고, 각 식별기로부터 식별 결과를 취득하는 식별 수단과, 상기 취득한 식별 결과에 의거하여, 상기 제2의 데이터에 인식 대상의 사상이 포함되는지의 여부를 판정하는 판정 수단을 갖는 것을 특징으로 한다.
제1의 데이터란, 학습용의 데이터이고, 전형적으로는 화상이지만, 이것으로 한정되지 않는다. 제1의 데이터는, 경험상, 정상사상을 많이 포함하고 있다고 추정할 수 있는 데이터라면 좋다. 즉, 제1의 데이터는, 반드시 정상사상만이 포함되어 있는 데이터일 필요는 없고, 다소의 이상사상이 혼재하고 있어도 좋다. 물론, 이상사상이 포함되지 않은 데이터가 있으면, 그것을 이용하는 것이 바람직하다.
또한, 특징량 분류 수단은, 입력된 제1의 데이터로부터 특징량을 추출하고, 취득한 특징량을, 복수의 클러스터에 분류하는 수단이다. 특징량은, 데이터 전체에 대응하는 것이라도 좋고, 데이터의 일부만에 대응하는 것이라도 좋다.
학습 수단은, 각 클러스터에 분류된 특징량을 이용하여, 클러스터마다 각각 대응하는 식별기를 학습시키는 수단이다. 식별기란, 입력된 정보를 기계 학습의 결과에 의거하여 클래스 나누는 수단이고, 예를 들면, 서포트 백터 머신(SVM) 등을 이용할 수 있다.
또한, 제2의 데이터는, 이상사상의 판정을 행하는 대상이 되는 입력 데이터이고, 전형적으로는 화상이지만, 이것으로 한정되지 않는다. 식별 수단은, 제2의 데이터로부터 취득한 특징량을, 학습 완료의 각 식별기에 입력하고, 각 식별기로부터 식별 결과를 취득한다. 이에 의해, 입력된 데이터가, 각 클러스터에 대해 어느 정도 가까운지 라는 정보를 얻을 수 있다. 그리고, 판정 수단이, 당해 식별 결과에 의거하여, 제2의 데이터에 인식 대상의 사상이 포함되는지를 판정한다. 입력 데이터로부터 취득한 특징량이 각 클러스터로부터 먼 경우, 학습에 이용한 데이터 내에서 발생하고 있던 사상과는 다른 사상이 발생하고 있음을 추정할 수 있기 때문에, 이상사상이 일어나고 있다고 판단할 수 있다.
또한, 상기 식별기는, 단(單)클래스 식별기이고, 상기 판정 수단은, 각 식별기로부터 취득한 인식 오차의 합을 스코어로서 구하고, 상기 스코어에 의거하여, 상기 제2의 데이터에 인식 대상의 사상이 포함되는지의 여부를 판정하는 것을 특징으로 하여도 좋다.
단클래스 식별기란, 단일한 클래스에 대한 적합도를 구하는 식별기이다. 구체적으로는, 특징량을 입력하면, 대응하는 클러스터에 대한 오차(인식 오차)를 값으로 출력한다.
이상사상이 일어나고 있는지의 여부의 판정에는, 이와 같이, 각 식별기로부터 취득한 인식 오차의 합을 이용하는 것이 바람직하다. 인식 오차의 합이 크다는 것은, 학습에 이용한 데이터 내에서 발생하고 있던 사상과는 크게 동떨어진 사상이 일어나고 있음을 추정할 수 있기 때문이다.
또한, 상기 판정 수단은, 각 식별기로부터 취득한 인식 오차에 대해 무게 부여를 행하고 나서 스코어링을 행하는 것을 특징으로 하여도 좋다.
각 클러스터를 구성하는 특징량에 치우침이 있는 경우, 올바르게 이상사상의 판정이 행할 수 없을 우려가 있다. 그래서, 인식 오차에 대한 무게를 클러스터마다 부여하고 나소 스코어링을 행함으로써, 판정 정밀도를 향상시킬 수 있다.
또한, 상기 판정 수단은, 식별기에 대응하는 클러스터에 속하는 샘플의 수가 많을수록, 당해 식별기가 출력하는 인식 오차에 대해 보다 큰 무게를 부여하는 것을 특징으로 하여도 좋고, 상기 판정 수단은, 식별기에 대응하는 클러스터에 속하는 샘플의 분산이 작을수록, 당해 식별기가 출력하는 인식 오차에 대해 보다 큰 무게를 부여하는 것을 특징으로 하여도 좋다.
클러스터에 대한 무게는, 당해 클러스터에 속하는 샘플의 수나 분산에 의거하여 행하면 좋다. 예를 들면, 클러스터에 속하는 샘플의 수가 적은 경우, 대응하는 식별기가 충분히 학습되지 않은 것이 생각되기 때문에, 샘플 수가 많은 경우와 비교하여, 당해 식별기에 대한 무게를 작게 하는 것이 바람직하다. 또한, 클러스터에 속하는 샘플의 분산이 작은 경우, 당해 클러스터는 특정한 사상을 잘 나타낸 클러스터인 것이 생각되기 때문에, 분산이 큰 경우와 비교하여, 대응하는 식별기에 대한 무게를 크게 하는 것이 바람직하다.
또한, 상기 제1의 데이터 및 제2의 데이터는, 화상인 것을 특징으로 하여도 좋다.
본 발명에 관한 사상 검출 장치는, 화상에 인식 대상의 사상이 포함되는지를 판정하는 장치에 알맞게 적용할 수 있다.
또한, 입력 데이터로서 화상을 이용하는 경우, 특징량은, 화소에 대응하는 특징량의 집합이라도 좋고, 국소 영역에 대응하는 특징량의 집합이라도 좋다. 또한, 화상 전체에 대응하는 특징량이라도 좋고, 화상의 일부에만 대응하는 특징량이라도 좋다.
또한, 상기 특징량은, 3D-LBP인 것을 특징으로 하여도 좋다.
LBP(Local Binary Pattern)란, 주목 화소와, 주목 화소의 부근에 있는 화소와의 관계를 바이너리 패턴으로 나타낸 것이고, 3D-LBP란, LBP를 시간 방향으로 확장한 것이다. 동화상에 포함되는 사상을 검출하는 경우, 3D-LBP를 특징량으로서 알맞게 이용할 수 있다.
또한, 본 발명의 제2의 양태에 관한 사상 검출 장치는,
데이터를 취득하는 데이터 취득 수단과, 복수의 식별기와, 상기 취득한 데이터에 대응하는 특징량을, 상기 복수의 식별기에 입력하고, 각 식별기로부터 식별 결과를 취득하는 식별 수단과, 상기 취득한 식별 결과에 의거하여, 상기 취득한 데이터에 인식 대상의 사상이 포함되는지의 여부를 판정하는 판정 수단을 가지며, 상기 복수의 식별기는, 학습용의 데이터로부터 취득한 특징량으로서, 복수의 클러스터에 분류된 특징량을 각각 이용하여, 당해 클러스터마다 학습된 식별기인 것을 특징으로 하여도 좋다.
이와 같이, 본 발명의 제2의 양태에 관한 사상 검출 장치는, 제1의 양태에 관한 사상 검출 장치로부터, 식별기를 학습시키기 위한 구성을 생략한 것으로서 특정할 수도 있다.
또한, 본 발명은, 상기 수단의 적어도 일부를 포함하는 사상 검출 장치로서 특정할 수 있다. 또한, 본 발명은, 상기 사상 검출 장치가 실행하는 사상 검출 방법으로서 특정할 수도 있다. 또한, 본 발명은, 상기 사상 검출 장치에 상기 사상 검출 방법을 실행시키는 프로그램으로서 특정할 수도 있다. 상기 처리나 수단은, 기술적인 모순이 생기지 않는 한에 있어서, 자유롭게 조합시켜서 실시할 수 있다.
본 발명에 의하면, 입력된 데이터에 의거하여 이상사상의 발생 유무를 판정하는 사상 검출 장치로서, 미리 정상이나 이상의 패턴을 정의하여 학습을 행하게 할 필요가 없는 사상 검출 장치를 제공할 수 있다.
도 1은 실시 형태에 관한 화상 처리 장치의 시스템 구성도.
도 2는 LBP에 의한 특징량의 산출 방법을 설명하는 도면.
도 3은 3D-LBP에 의한 특징량의 산출 방법을 설명하는 도면.
도 4는 식별기를 학습시키는 처리를 설명하는 도면.
도 5는 이상사상의 발생 유무를 판정하는 처리를 설명하는 도면.
도 6은 식별기를 학습시키는 처리의 플로 차트.
도 7은 이상사상의 발생 유무를 판정하는 처리의 플로 차트.
(시스템 구성)
이하, 본 발명의 바람직한 실시 형태에 관해 도면을 참조하면서 설명한다.
제1의 실시 형태에 관한 화상 처리 장치는, 카메라 등의 수단을 이용하여 동화를 취득하고, 당해 취득한 동화에 의거하여, 이상사상이 발생하고 있는지의 여부를 판정하는 장치이다. 도 1은, 본 실시 형태에 관한 화상 처리 장치(10)의 시스템 구성도이다.
화상 처리 장치(10)는, 화상 취득부(11), 특징량 취득부(12), 식별부(13), 이상사상 판정부(14), 출력부(15)로 구성된다.
화상 취득부(11)는, 장치의 외부로부터 화상을 취득하는 수단이고, 전형적으로는, 디지털 카메라나 디지털 비디오 카메라와 그 인터페이스로 이루어진다. 이후, 화상이란, 동화를 구성하는 각 프레임에 대응하는 화상인 것으로 한다. 또한, 화상 취득부(11)는, 반드시 카메라를 통하여 화상을 취득할 필요는 없고, 예를 들면, 장치의 외부에서 유선 또는 무선 네트워크를 통하여 화상을 취득하여도 좋다. 또한, 디스크드라이브나 플래시 메모리 등의 기억 장치에 기억된 화상을 취득하도록 하여도 좋다.
특징량 취득부(12)는, 화상 취득부(11)가 취득한 화상에 대응하는 특징량을 취득하는 수단이다. 구체적으로는, 취득한 화상을 구성하는 전 화소에 대응하는 특징량의 집합을 취득하다. 또한, 특징량 취득부(12)가 취득하는 특징량은, 일부의 화소만에 대응하는 특징량의 집합이라도 좋고, 국소 영역에 대응하는 특징량의 집합이라도 좋다. 또한, 특징량 취득부(12)가 취득하는 특징량은, 1매의 화상에 대응하는 것이라도 좋고, 후술하는 바와 같이, 동화(복수 프레임이 연속한 화상)에 대응하는 것이라도 좋다.
식별부(13)는, 복수의 단클래스 식별기를 포함하고 있고, 입력된 화상과, 각 식별기가 식별 대상으로 하는 클래스와의 오차(이하, 식별 오차)를 출력하는 수단이다. 식별부(13)가 갖는 식별기는, 단일한 클래스와의 오차를 출력하는 단클래스 식별기인 것이 바람직하다. 예를 들면, One-Class SVM(http://rvlasveld.github.io/blog/2013/07/12/introduction-to-one-class-support-vector-machines/)이나, SVDD(Support Vector Data Description) 등을 알맞게 이용할 수 있다. 각 식별기를 학습하는 방법, 및, 식별 오차의 이용 방법에 관해서는 후술한다.
이상사상 판정부(14)는, 식별부(13)가 출력한 식별 오차(즉, 각 식별기에 의해 출력된 복수의 식별 오차)에 의거하여, 입력 화상에 이상사상이 포함되어 있는지의 여부를 판정하는 수단이다. 이상사상이란, 통상의 상태에서는 발생하지 않는 사상이고, 전형적으로는, 사람의 졸도나 전락, 교통사고의 발생, 경비 상태에 있는 공간에의 침입 등이 있지만, 다른 사상이라도 좋다. 예를 들면, 제조 라인에서의 불량품의 발생 등을 이상사상으로 하여도 좋다.
또한, 출력부(15)는, 유저에 대해 정보를 제시하는 수단이다. 전형적으로는, 액정 디스플레이와 그 제어 수단으로 구성된다. 또한, 출력부(15)는, 유저에 대해 정보를 전달할 수 있으면, 디스플레이 이외의 수단이라도 좋다. 예를 들면, 음성을 출력하는 장치라도 좋고, 전자 메일이나 인스턴트 메시지 등을 송신하기 위한 통신 장치라도 좋다.
화상 취득부(11), 특징량 취득부(12), 식별부(13), 이상사상 판정부(14)의 기능은, 제어 프로그램을 CPU 등의 처리 장치가 실행함에 의해 실현된다. 또한, 당해 기능은, ASIC(Application Specific Integrated Circuit) 등에 의해 실현되어도 좋고, 이들의 조합에 의해 실현되어도 좋다.
(특징량의 취득)
본 실시 형태에 관한 화상 처리 장치(10)가 행하는 처리는, 입력된 화상을 이용하여 식별기를 학습시키는 페이즈와, 학습 완료의 식별기를 이용하여, 입력 화상의 이상 판정을 행하는 페이즈의 2개의 페이즈로 나눠진다. 어느 페이즈에서도, 입력 화상에 대응하는 특징량을 취득하고, 당해 특징량을 이용하여 처리를 행한다. 우선, 입력 화상으로부터 특징량을 취득하는 방법에 관해 설명한다. 또한, 특징량의 취득 방법에는 몇 가지의 방법이 있지만, 여기서는, 3D-LBP를 예로 들어 설명한다.
우선, 3D-LBP의 기본이 되는 LBP에 관해 설명한다. LBP(Local Binary Pattern)란, 주목 화소와, 주목 화소의 부근에 있는 화소와의 관계를 바이너리 패턴으로 나타낸 것이다. 도 2는, LBP에 의한 특징량의 산출 방법을 설명하는 도면이다. 부호 201은, 입력 화상의 일부를 절출(切出)한, 3화소×3화소의 사이즈를 갖는 영역이고, 중앙의 흑색으로 표시한 화소가 처리 대상의 화소(주목 화소)이다.
여기서는, 주목 화소의 부근에 있는 8개의 화소의 휘도치가, 주목 화소에 대해 밝은지 어두운지를 나타내는 패턴을 생성한다. 구체적으로는, 휘도치가 5 미만이면 0을, 5 이상이면 1을 준다. 이 결과, 부호 202와 같은 패턴이 생성된다. 이와 같이 하여 생성한 바이너리값을 좌상(左上)부터 차례로 나열하여, 8비트의 값(LBP값)을 생성한다.
그리고, 화소마다 산출한 LBP값을 비트마다 전 화소분 적산하고, 히스토그램을 생성한다. 이 결과, 부호 203에 나타내는 바와 같은 히스토그램을 얻을 수 있다. 이 히스토그램(203)(즉 8차원의 벡터)이, 화상 전체에 대응하는 특징량이 된다.
이상에 설명한 특징량은, 1매의 정지화상에 대응하는 특징량이다. 3D-LBP는, LBP를 시간 방향으로 확장한 것이고, 동화의 프레임 사이의 움직임을 가(加)한 특징량이다. 도 3을 참조하면서 설명한다. 도 3에서는, 화상의 횡방향을 X축, 종방향을 Y축, 시간축 방향을 T축으로서 나타내고 있다.
도 3(A)에 도시한 평면(301)은, 어느 시각에서의 동화의 프레임에 대응하는 화상을 도시한 것이다. 즉, 평면(301)에 대응하는 히스토그램(311)은, 전술한 LBP에 의한 히스토그램(203)과 등가(等價)이다.
한편, 평면(302)는, Y축방향의 좌표가 동일한 화소, 시간축 방향으로 나열한 평면이다. 평면(301)과 비교하면, 축이 다를 뿐이고, LBP값의 취득 방법 및 히스토그램의 생성 방법은, 전술한 방법과 동일하다. 즉, 평면(302)에 대응하는 히스토그램 312는, 히스토그램(311)과 마찬가지로, 8차원의 벡터가 된다.
또한, 평면(303)은, X축방향의 좌표가 동일한 화소를, 시간축 방향으로 나열한 평면이다. 평면(301)과 비교하면, 축이 다를 뿐으로, LBP값의 취득 방법 및 히스토그램의 생성 방법은, 전술하는 방법과 동일하다. 평면(303)에 대응하는 히스토그램(313)은, 히스토그램(311)과 마찬가지로, 8차원의 벡터가 된다.
이와 같이, 3D-LBP에서는, 시간축을 이용하여 3개의 평면을 정의하고, 3개의 히스토그램을 생성한 다음, 당해 히스토그램을 연결함으로써 하나의 특징량으로 한다. 각 히스토그램은, 8차원의 벡터이기 때문에, 3D-LBP에 의해 생성된 특징량은, 24차원의 벡터가 된다. 이 24차원의 벡터가, 평면(301 내지 303)의 3매의 평면에 대응하는 특징량이 된다.
또한, 본 예에서는 3매의 평면에 대응하는 특징량을 하나 산출하였지만, 평면의 위치를 어긋내면서 복수개의 특징량을 취득하도록 하여도 좋다. 이 경우, 24차원의 벡터의 조(組)가, 어느 프레임에서의 특징량이 된다.
또한, 본 예에서는 3D-LBP에 의한 특징량의 산출 방법을 설명하였지만, 특징량을 산출하는 방법으로는, 어떤 것을 이용하여도 좋다. 예를 들면, 프레임 사이로의 물체의 움직임을 벡터로 나타낸 지표치(광학 플로)를 이용하여도 좋고, 프레임마다 특징량을 산출하고, 복수 프레임분의 특징량의 집합을 이용하여도 좋다. 정지화(靜止畵)에 대응하는 특징량은, 예를 들면, SIFT(Scale-Invariant Feature Transform)나 SURF(Speed Up Robust Features), HOG(Histogram of Oriented Gradient)라는, 기지(旣知)의 것을 이용할 수 있다.
(식별기의 학습)
다음에, 식별부(13)가 갖는 식별기를 학습시키는 방법에 관해 설명한다.
전술한 바와 같이, 본 실시 형태에서는, 식별기로서 단클래스 식별기를 이용한다. 단클래스 식별기는, 어느 클래스에 대한 일치도를 판정할 수 있는 식별기이다.
도 4는, 식별기의 학습에 관해 설명하는 도면이다. 본 실시 형태에서는, 식별부(13)가, 이하에 설명하는 각 스탭을 실행함에 의해 식별기의 학습을 행한다.
(1) 학습용의 화상을 취득하고, 특징량을 구한다
우선, 학습용의 화상으로서, 이상사상이 발생하지 않든지, 이상사상이 발생하고 있지만, 그 비율이 적다고 추정되는 상태의 화상을 취득하고, 당해 화상에 대응하는 특징량을 취득한다. 또한, 본 실시 형태에서는, 3D-LBP에 의해 특징량을 구한다. 따라서, 학습용의 화상은, 동화로부터 취득된 프레임 화상이다. 또한, 본 실시 형태에서는, 복수의 동화로부터 화상을 취득하고, 특징량을 취득한다. 본 스탭에 의해, 24차원의 벡터로 표시된 특징량이, 각 동화에 대해 복수개 취득된다.
(2) 취득한 특징량을 분류한다
다음에, 취득한 복수의 특징량에 대응하는 복수의 클러스터를 생성하고, 특징량을 각 클러스터에 분류한다. 클러스터링의 수법에는, 예를 들면, K평균법(K-means)이나, 스펙트럴 클러스터링 등, 임의의 수법을 이용할 수 있다. 또한, 클러스터링 수법을 이용하지 않고, 취득한 특징량 중으로부터, N조의 샘플을 랜덤하게 선택하고, N개의 클러스터에 분류하도록 하여도 좋다.
또한, 클러스터링은 반드시 자동으로 행할 필요는 없고, 클러스터의 수나 종류를 미리 설정하도록 하여도 좋다. 예를 들면, 정상적인 사상이 복수 패턴 있는 것을 알고 있는 경우, 당해 복수의 패턴에 대응하는 클러스터를 정의하고, 어느 하나의 패턴에 분류되도록 하여도 좋다.
도 4의 예에서는, 학습용 화상으로부터 추출된 복수의 특징량이, 4개의 특징량 클러스터(이하, 단지 「클러스터」)에 분류된다.
(3) 분류된 특징량을 이용하여, 식별기를 학습시킨다
다음에, 각 클러스터에 분류된 특징량을 이용하여, 각각의 클러스터에 대응하는 식별기를 학습시킨다. 본 예는, 얻어진 특징량에 대응하는 클러스터가 4개인 경우의 예이기 때문에, 4개의 식별기를 이용한다.
이와 같이 하여 학습된 식별기는, 입력 데이터와 각 클러스터와의 오차를 식별할 수 있게 된다. 예를 들면, 특징량 클러스터(1)에 사상(A)이 대응시켜져 있는 경우, 식별기(1)는, 입력된 데이터와, 사상(A)과의 유사도를 수치로 출력할 수 있도록 된다. 클러스터링을 자동으로 행하는 경우, 클러스터와 특정한 사상은 연관시켜져 있지 않을 가능성이 있지만, 적어도, 학습에 이용한 화상 내에서 발생하고 있던 사상과의 유사도를 판정할 수는 있다.
(이상사상의 판정)
다음에, 학습 완료의 식별기를 이용하여, 취득한 화상에 이상사상이 포함되는지의 여부를 판정하는 방법에 관해 설명한다.
도 5는, 이상사상의 판정에 관해 설명하는 도면이다. 본 실시 형태에 관한 화상 처리 장치는, 이하에 설명하는 각 스탭을 실행함에 의해 이상사상의 판정을 행한다.
(1) 입력 화상(식별 대상의 화상)를 취득하고, 특징량을 구한다
식별 대상의 화상이란, 이상사상이 발생하고 있는지의 여부가 불명한 화상이다. 여기서는, 학습시에 이용한 방법과 같은 방법을 이용하여, 화상에 대응하는 특징량을 취득한다.
(2) 취득한 특징량을 각 식별기에 입력하고, 식별 오차를 취득한다
다음에, 취득한 특징량을 복수의 식별기에 각각 입력한다. 이에 의해, 입력 화상과, 각 식별기에 대응하는 클러스터와의 식별 오차를 얻을 수 있다. 여기서는, 식별기(i)가 출력한 식별 오차를 Ei로 한다.
(3) 복수의 식별 오차에 의거하여, 이상사상의 발생을 추정한다
식별기가 출력한 식별 오차가 큰 경우, 학습시에 발생하고 있던 사상과 다른 사상이 발생하고 있을 가능성이 크다고 말할 수 있다. 따라서 각 식별기가 출력한 식별 오차에 의거하여, 이상사상의 발생을 추정할 수 있다.
구체적으로는, 식별 오차(Ei)의 총합이 임계치(T)보다도 큰 경우, 즉, ΣEi≥T인 경우에, 이상사상이 발생하고 있다고 판정한다. 식별기가 출력한 식별 오차의 합이 크다는 것은, 취득한 특징량이 어느 클러스터로부터도 먼 위치에 있는 것을 나타내고 있다. 즉, 학습시에 발생하고 있던 사상과 다른 사상이 발생하고 있을 가능성이 큰 것을 추정할 수 있다.
또한, 본 예에서는, 각 식별기가 출력한 식별 오차를 그대로 가산하였지만, 각 식별 오차에 무게를 부여하도록 하여도 좋다. 예를 들면, 식별기(i)가 출력하는 식별 오차를 Ei, 이에 대응하는 무게를 Wi로 하고, 무게를 곱한 식별 오차의 총합이 임계치(T)보다도 큰 경우, 즉, ΣEiWi≥T인 경우에, 이상사상이 발생하고 있다고 판정하도록 하여도 좋다.
여기서, 식별 오차에 무게를 부여하는 방법에 관해 설명한다.
무게의 대소는, 대응하는 클러스터가 어느 정도의 신뢰도를 갖고 있든지에 의해 결정하는 것이 바람직하다. 예를 들면, 당해 클러스터에 속하는 샘플의 수가 적을수록 무게를 작게 하고, 샘플의 수가 클수록 무게를 크게 하여도 좋다. 샘플 수가 적은 클러스터는, 이상사상의 판정에 이용하는 것이 적합하지 않는다고 생각되기 때문이다. 또한, 클러스터에 속하는 샘플의 분산이 클수록 무게를 작게 하고, 분산이 작을수록 무게를 크게 하여도 좋다. 분산이 큰 경우, 클러스터가 특정한 사상과 깊게 대응시켜져 있지 않고, 신뢰도가 낮다고 생각되기 때문이다.
(처리 플로 차트)
음에, 이상에 설명하는 기능을 실현하기 위한 처리 플로 차트에 관해 설명한다.
도 6은, 본 실시 형태에 관한 화상 처리 장치(10)가 행하는 처리 중, 식별기의 학습을 행하는 처리의 플로 차트이다. 당해 처리는, 유저의 조작(예를 들면, 학습의 시작을 지시하는 조작)에 의해 시작된다.
우선, 스탭 S11에서, 화상 취득부(11)가, 학습용의 화상을 취득한다. 본 실시 형태에서는, 도시하지 않은 카메라를 이용하여 화상을 촬상하지만, 통신 수단을 통하여 화상을 취득하여도 좋고, 기억 수단에 기억되어 있는 화상을 취득하여도 좋다. 또한, 3D-LBP에 의해 특징량을 취득하는 경우, 전후 수프레임분의 화상이 필요해지기 때문에, 미리 필요한 수의 프레임분의 화상을 취득하도록 하여도 좋다.
다음에, 스탭 S12에서, 특징량 취득부(12)가, 취득한 화상에 대응하는 특징량을 취득한다. 본 실시 형태에서는, 3D-LBP를 이용하여 특징량을 취득하지만, 특징량을 취득하는 방법은 전술한 바와 같이 특히 한정되지 않는다. 또한, 특징량의 취득은, 화상을 구성하는 전 화소에 대해 행하여도 좋고, 화상의 특징을 잘 나타내고 있는 영역이나 화소가 있는 경우, 당해 영역이나 화소에 대해서만 행하여도 좋다.
스탭 S13에서는, 특징량 취득부(12)가, 스탭 S12에서 취득한 특징량을 클러스터링한다. 클러스터링의 수법은 전술한 바와 같이 특히 한정되지 않는다.
이상에 설명한 처리에 의해, 화상에 대응하는 특징량이 복수의 클러스터에 분류된 상태가 된다.
스탭 S14에서는, 식별부(13)가, 각 클러스터에 분류된 특징량을 이용하여, 각 클러스터에 각각 대응하는 식별기의 학습을 행한다.
또한, 도 6에 도시한 처리는, 학습을 위해 필요한 충분한 양의 데이터를 얻기 위해, 반복하여 실행되도록 하여도 좋다. 또한, 당해 처리는, 유저의 조작 이외에 의해 시작되도록 하여도 좋다. 예를 들면, 전회의 실행으로부터 소정의 시간이 경과할 때마다 자동적으로 시작되도록 하여도 좋다. 또한, 유저의 조작 등에 의해, 추가로 하나 내지 복수의 데이터를 판독하여, 새로운 학습을 행하게 하도록 하여도 좋다.
도 7은, 본 실시 형태에 관한 화상 처리 장치(10)가 행하는 처리 중, 이상사상의 판정을 행하는 처리의 플로 차트이다. 당해 처리는, 화상 처리 장치(10)가 기동 중이고, 식별기의 학습이 완료되어 있는 경우에 반복하여 실행된다.
스탭 S21 및 스탭 S22의 처리는, 취득한 화상이, 평가 대상의 화상이라는 점을 제외하고, 스탭 S11 및 스탭 S12의 처리와 동등하기 때문에 상세한 설명은 생략한다.
스탭 S23에서는, 식별부(13)가, 특징량 취득부(12)에 의해 취득된 특징량을, 각 식별기에 입력한다.
다음에, 스탭 S24에서, 식별부(13)가, 각 식별기로부터 출력된 식별 오차를 취득하고, 모든 식별 오차를 합계함으로써 스코어를 산출한다.
그리고, 스탭 S25에서, 이상사상 판정부(14)가, 산출한 스코어가 임계치 이상인 지의 여부를 판정하고, 임계치 이상이었던 경우, 이상사상이 발생햐였다고 판정하고, 스탭 S26에 천이한다. 임계치 미만이었던 경우는, 스탭 S21로 되돌아와, 소정의 시간만큼 대기한 후에 처리를 반복한다.
스탭 S26은, 이상사상 판정부(14)가, 출력부(15)를 통하여, 이상사상을 검지한 취지를 유저에게 통지하는 스탭이다. 출력부(15)가 디스플레이인 경우, 화면 표시에 의해 통지를 행하여도 좋고, 음성 출력이나 데이터 통신이 가능한 수단을 갖고 있는 경우, 음성이나 전자 데이터(인스턴트 메시지나 전자 메일 등)에 의해 통지를 행하여도 좋다.
이상 설명한 바와 같이, 본 실시 형태에 관한 화상 처리 장치는, 화상에 대응하는 특징량을 취득하고 나서 클러스터링을 행하고, 각 클러스터에 대응하는 식별기를 학습에 의해 생성하고 나서, 식별 오차에 의거하여 이상사상의 발생 유무를 판정한다. 즉, 미리 정상/이상이 정의된 신을 학습시키는 것이 아니고, 대부분이 통상 일어날 수 있는 사상인 것으로 추정되는 복수의 신을 학습시키고 나서, 당해 신으로부터의 괴리(乖離)를 판정함으로써, 이상사상이 발생한 것을 추정한다. 이와 같이 함으로써, 이상사상에 대응하는 학습 데이터를 다수 준비하지 않으면 안 된다는, 종래의 수법에서의 과제를 해결할 수 있다. 또한, 정상사상이 복수종류 있고, 또한 사전에 정의하기 어려운 경우라도, 인식 정밀도를 확보할 수 있다.
(변형례)
상기한 실시 형태는 어디까지나 한 예이고, 본 발명은 그 요지를 일탈하지 않는 범위 내에서 적절히 변경하여 실시할 수 있다.
예를 들면, 실시 형태의 설명에서는, 식별기로서 단클래스 식별기를 이용하였지만, 식별기는, 반드시 단클래스 식별기일 필요는 없다. 예를 들면, 2항 분류를 행하는 바이너리 식별기라도 좋다.
또한, 특징량 취득부(12)가 취득하는 특징량은, 반드시 화상 전체에 대응하는 특징량일 필요는 없고, 화상에 포함되는 복수의 국소 영역에 대응하는 특징량의 집합이라도 좋다. 예를 들면, 화상을 16화소×16화소의 크기를 갖는 정방 영역으로 분할하고, 각각의 영역에 대응하는 특징량의 집합을 구하도록 하여도 좋다. 또한, 유사한 특징을 갖는 화소의 모임인 슈퍼 화소 단위로 특징량을 구하도록 하여도 좋다.
또한, 실시 형태의 설명에서는, 단일한 수법(3D-LPB)에 의해 특징량을 구하였지만, 복수의 수법에 의해 복수조의 특징량을 구하고, 그들 복수의 특징량을 결합한 것을 전체의 특징량으로서 이용하도록 하여도 좋다.
또한, 이상사상의 판정에 이용하는 임계치(T)에는, 고정치를 이용하여도 좋지만, 실제로 이상사상을 발생시켜서 캘리브레이션을 행하도록 하여도 좋다. 즉, 장치의 출력을 참조하면서, 당해 이상사상을 올바르게 검출할 수 있는 값으로 조정하여도 좋다.
또한, 실시 형태의 설명에서는, 분류처의 클러스터가, 어떤 신에 대응하는가의 정의는 행하고 있지 않지만, 몇 가지의 신에서 기지의 클러스터가 있는 경우, 당해 기지의 클러스터를 이용하여 분류를 행하도록 하여도 좋다.
또한, 실시 형태의 설명에서는, 동화를 대상으로 하여 이상사상의 판정을 행하였지만, 대상은 정지화라도 좋고, 음성이라도 좋다. 특징량을 산출할 수 있는 데이터라면, 대상은 어떤 것이라도 좋다.
또한, 실시 형태의 설명에서는, 학습용의 데이터와 평가용의 데이터를 제각기 입력하였지만, 학습용 데이터를 이용하여 학습을 행한 후, 당해 학습용 데이터를 재차 입력하여 이상사상의 판정을 행하여도 좋다.
10 : 화상 처리 장치
11 : 화상 취득부
12 : 특징량 취득부
13 : 식별부
14 : 이상사상 판정부
15 : 출력부

Claims (10)

  1. 제1의 데이터를 취득하는 제1의 데이터 취득 수단과,
    복수의 식별기와,
    상기 제1의 데이터에 대응하는 특징량을 취득하고, 상기 특징량을 복수의 클러스터로 분류하는 특징량 분류 수단과,
    각 클러스터로 분류된 특징량의 집합의 각각을, 각 클러스터에 각각 대응하는 복수의 식별기에 입력하여, 상기 복수의 식별기를 각각 학습시키는 학습 수단과,
    제2의 데이터를 취득하는 제2의 데이터 취득 수단과,
    상기 제2의 데이터에 대응하는 특징량을, 상기 학습시킨 복수의 식별기에 입력하고, 각 식별기로부터 식별 결과를 취득하는 식별 수단과,
    상기 취득한 식별 결과에 의거하여, 상기 제2의 데이터에 인식 대상의 사상이 포함되는지의 여부를 판정하는 판정 수단을 갖는 것을 특징으로 하는, 사상 검출 장치.
  2. 제1항에 있어서,
    상기 식별기는, 단클래스 식별기이고,
    상기 판정 수단은, 각 식별기로부터 취득한 인식 오차의 합을 스코어로서 구하고, 상기 스코어에 의거하여, 상기 제2의 데이터에 인식 대상의 사상이 포함되는지의 여부를 판정하는 것을 특징으로 하는 사상 검출 장치.
  3. 제2항에 있어서,
    상기 판정 수단은, 각 식별기로부터 취득한 인식 오차에 대해 무게 부여를 행하고 나서 스코어링을 행하는 것을 특징으로 하는 사상 검출 장치.
  4. 제3항에 있어서,
    상기 판정 수단은, 식별기에 대응하는 클러스터에 속하는 샘플의 수가 많을수록, 당해 식별기가 출력하는 인식 오차에 대해 보다 큰 무게를 부여하는 것을 특징으로 하는 사상 검출 장치.
  5. 제3항에 있어서,
    상기 판정 수단은, 식별기에 대응하는 클러스터에 속하는 샘플의 분산이 작을수록, 당해 식별기가 출력하는 인식 오차에 대해 보다 큰 무게를 부여하는 것을 특징으로 하는 사상 검출 장치.
  6. 제2항 내지 제5항 중 어느 한 항에 있어서,
    상기 제1의 데이터 및 제2의 데이터는, 화상인 것을 특징으로 하는 사상 검출 장치.
  7. 제6항에 있어서,
    상기 특징량은, 3D-LBP인 것을 특징으로 하는 사상 검출 장치.
  8. 취득한 데이터에, 인식 대상의 사상이 포함되는지의 여부를 판정하는 사상 검출 장치가 행하는 사상 검출 방법으로서,
    제1의 데이터를 취득하는 제1의 데이터 취득 스탭과,
    상기 제1의 데이터에 대응하는 특징량을 취득하고, 상기 특징량을 복수의 클러스터로 분류하는 특징량 분류 스탭과,
    각 클러스터로 분류된 특징량의 집합의 각각을, 각 클러스터에 각각 대응하는 복수의 식별기에 입력하여, 상기 복수의 식별기를 각각 학습시키는 학습 스탭과,
    제2의 데이터를 취득하는 제2의 데이터 취득 스탭과,
    상기 제2의 데이터에 대응하는 특징량을, 상기 학습시킨 복수의 식별기에 입력하고, 각 식별기로부터 식별 결과를 취득하는 식별 스탭과,
    상기 취득한 식별 결과에 의거하여, 상기 제2의 데이터에 인식 대상의 사상이 포함되는지의 여부를 판정하는 판정 스탭을 포함하는 것을 특징으로 하는 사상 검출 방법.
  9. 취득한 데이터에, 인식 대상의 사상이 포함되는지의 여부를 판정하는 사상 검출 장치에,
    제1의 데이터를 취득하는 제1의 데이터 취득 스탭과,
    상기 제1의 데이터에 대응하는 특징량을 취득하고, 상기 특징량을 복수의 클러스터로 분류하는 특징량 분류 스탭과,
    각 클러스터로 분류된 특징량의 집합의 각각을, 각 클러스터에 각각 대응하는 복수의 식별기에 입력하여, 상기 복수의 식별기를 각각 학습시키는 학습 스탭과,
    제2의 데이터를 취득하는 제2의 데이터 취득 스탭과,
    상기 제2의 데이터에 대응하는 특징량을, 상기 학습시킨 복수의 식별기에 입력하고, 각 식별기로부터 식별 결과를 취득하는 식별 스탭과,
    상기 취득한 식별 결과에 의거하여, 상기 제2의 데이터에 인식 대상의 사상이 포함되는지의 여부를 판정하는 판정 스탭을 실행시키는 것을 특징으로 하는 사상 검출 프로그램이 기록된 기억 매체.
  10. 취득한 데이터에, 인식 대상의 사상이 포함되는지의 여부를 판정하는 사상 검출 장치로서,
    데이터를 취득하는 데이터 취득 수단과,
    복수의 식별기와,
    상기 취득한 데이터에 대응하는 특징량을, 상기 복수의 식별기에 입력하고, 각 식별기로부터 식별 결과를 취득하는 식별 수단과,
    상기 취득한 식별 결과에 의거하여, 상기 취득한 데이터에 인식 대상의 사상이 포함되는지의 여부를 판정하는 판정 수단을 가지며,
    상기 복수의 식별기는,
    학습용의 데이터로부터 취득한 특징량을 복수의 클러스터로 분류한 결과 얻어지는, 클러스터마다의 특징량의 집합의 각각을 이용하여, 당해 클러스터마다 학습된 식별기인 것을 특징으로 하는, 사상 검출 장치.
KR1020150012577A 2014-03-14 2015-01-27 사상(事象) 검출 장치 및 사상 검출 방법 KR101708547B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JPJP-P-2014-051652 2014-03-14
JP2014051652A JP6299299B2 (ja) 2014-03-14 2014-03-14 事象検出装置および事象検出方法

Publications (2)

Publication Number Publication Date
KR20150107599A KR20150107599A (ko) 2015-09-23
KR101708547B1 true KR101708547B1 (ko) 2017-02-20

Family

ID=52544268

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150012577A KR101708547B1 (ko) 2014-03-14 2015-01-27 사상(事象) 검출 장치 및 사상 검출 방법

Country Status (5)

Country Link
US (1) US20150262068A1 (ko)
EP (1) EP2919153A1 (ko)
JP (1) JP6299299B2 (ko)
KR (1) KR101708547B1 (ko)
CN (1) CN104915632A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220053307A1 (en) * 2018-03-02 2022-02-17 Robert Bosch Gmbh Device, Particularly a Hand-Held Power Tool Management Device and Method for Monitoring and/or Managing a Plurality of Objects

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101436369B1 (ko) * 2013-06-25 2014-09-11 중앙대학교 산학협력단 적응적 블록 분할을 이용한 다중 객체 검출 장치 및 방법
WO2015182751A1 (ja) * 2014-05-30 2015-12-03 株式会社日立国際電気 監視システムおよびカメラ装置
CN106241533B (zh) * 2016-06-28 2018-10-30 西安特种设备检验检测院 基于机器视觉的电梯乘员综合安全智能监控方法
CN106241534B (zh) * 2016-06-28 2018-12-07 西安特种设备检验检测院 多人乘梯异常活动智能监控方法
JP2018032071A (ja) 2016-08-22 2018-03-01 株式会社クレスコ 検証装置、検証方法及び検証プログラム
JP2018055607A (ja) * 2016-09-30 2018-04-05 富士通株式会社 イベント検知プログラム、イベント検知装置、及びイベント検知方法
JP6905850B2 (ja) * 2017-03-31 2021-07-21 綜合警備保障株式会社 画像処理システム、撮像装置、学習モデル作成方法、情報処理装置
JP6968645B2 (ja) * 2017-10-02 2021-11-17 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP6844564B2 (ja) * 2018-03-14 2021-03-17 オムロン株式会社 検査システム、識別システム、及び学習データ生成装置
CN110472646B (zh) * 2018-05-09 2023-02-28 富士通株式会社 数据处理设备、数据处理方法及介质
JP7192873B2 (ja) * 2018-10-18 2022-12-20 富士通株式会社 情報処理プログラム、情報処理方法および学習装置
CN109885588B (zh) * 2019-01-23 2021-05-07 齐鲁工业大学 一种复杂事件检测方法及系统
KR20220074854A (ko) * 2019-08-28 2022-06-03 주식회사 소니 인터랙티브 엔터테인먼트 센서 시스템, 화상 처리 장치, 화상 처리 방법 및 프로그램
WO2021038749A1 (ja) 2019-08-28 2021-03-04 株式会社ソニー・インタラクティブエンタテインメント センサシステム、画像処理装置、画像処理方法およびプログラム

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005250771A (ja) * 2004-03-03 2005-09-15 Fuji Photo Film Co Ltd 対象物識別装置および方法並びにプログラム
JP4767595B2 (ja) * 2005-06-15 2011-09-07 パナソニック株式会社 対象物検出装置及びその学習装置
KR100745980B1 (ko) * 2006-01-11 2007-08-06 삼성전자주식회사 분류기 통합을 위한 스코어 합성 방법 및 장치
JP2008250908A (ja) * 2007-03-30 2008-10-16 Toshiba Corp 映像判別方法および映像判別装置
JP5048625B2 (ja) * 2008-10-09 2012-10-17 株式会社日立製作所 異常検知方法及びシステム
US8649594B1 (en) * 2009-06-04 2014-02-11 Agilence, Inc. Active and adaptive intelligent video surveillance system
JP2011223287A (ja) * 2010-04-09 2011-11-04 Sony Corp 情報処理装置、情報処理方法、及び、プログラム
KR101170676B1 (ko) * 2010-11-11 2012-08-07 고려대학교 산학협력단 얼굴 인식 기반의 얼굴 검색 시스템 및 그 방법
KR101287948B1 (ko) * 2011-12-13 2013-07-19 (주) 미디어인터랙티브 동작 인식 방법, 장치 및 이 방법을 수행하는 컴퓨터 판독 가능한 기록 매체
JP2012128877A (ja) 2012-03-19 2012-07-05 Toshiba Corp 不審行動検知システム及び方法
JP6131723B2 (ja) * 2012-11-26 2017-05-24 株式会社リコー 情報処理装置、情報処理方法、プログラムおよび記録媒体
CN103605362B (zh) * 2013-09-11 2016-03-02 天津工业大学 基于车辆轨迹多特征的运动模式学习及异常检测方法
KR102106135B1 (ko) * 2013-10-01 2020-05-04 한국전자통신연구원 행동 인식 기반의 응용 서비스 제공 장치 및 그 방법
KR101543105B1 (ko) * 2013-12-09 2015-08-07 현대자동차주식회사 보행자 인식 장치 및 그의 처리 방법과 이를 지원하는 차량

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220053307A1 (en) * 2018-03-02 2022-02-17 Robert Bosch Gmbh Device, Particularly a Hand-Held Power Tool Management Device and Method for Monitoring and/or Managing a Plurality of Objects
US11979800B2 (en) * 2018-03-02 2024-05-07 Robert Bosch Gmbh Device, particularly a hand-held power tool management device and method for monitoring and/or managing a plurality of objects

Also Published As

Publication number Publication date
CN104915632A (zh) 2015-09-16
US20150262068A1 (en) 2015-09-17
KR20150107599A (ko) 2015-09-23
JP6299299B2 (ja) 2018-03-28
EP2919153A1 (en) 2015-09-16
JP2015176283A (ja) 2015-10-05

Similar Documents

Publication Publication Date Title
KR101708547B1 (ko) 사상(事象) 검출 장치 및 사상 검출 방법
CN109154976B (zh) 通过机器学习训练对象分类器的系统和方法
US20220269996A1 (en) Information processing apparatus, information processing method, and storage medium
CN106372662B (zh) 安全帽佩戴的检测方法和装置、摄像头、服务器
CN102348128B (zh) 具有摄像机异常检测装置的监视用摄像机系统
US8619135B2 (en) Detection of abnormal behaviour in video objects
JP7272533B2 (ja) 知覚システムを評価するシステム及び方法
US8565484B2 (en) Forest fire smoke detection method using random forest classification
US9842269B2 (en) Video processing apparatus, video processing method, and recording medium
US10706502B2 (en) Monitoring system
US20170262723A1 (en) Method and system for detection and classification of license plates
JP6565600B2 (ja) アテンション検出装置及びアテンション検出方法
US20190392606A1 (en) Object detection device, object detection method, and object detection program
US11170512B2 (en) Image processing apparatus and method, and image processing system
JP5780979B2 (ja) 車両状態検出装置、車両挙動検出装置及び車両状態検出方法
US20150379364A1 (en) Object detection apparatus
US20200311440A1 (en) Image processing apparatus and image processing method for image analysis process
JP7074174B2 (ja) 識別器学習装置、識別器学習方法およびコンピュータプログラム
JP5917303B2 (ja) 移動体検出装置、移動体検出システム、および、移動体検出方法
US11917335B2 (en) Image processing device, movable device, method, and program
WO2016092783A1 (en) Information processing apparatus, method for processing information, discriminator generating apparatus, method for generating discriminator, and program
JP7099091B2 (ja) ナンバープレート認識装置、ナンバープレート認識方法およびプログラム
JP2018190132A (ja) 画像認識用コンピュータプログラム、画像認識装置及び画像認識方法
CN112597924A (zh) 电动自行车轨迹追踪方法、摄像机装置和服务器
US20240233328A1 (en) Non-transitory computer-readable recording medium, determination method, and information processing apparatus

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal