[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

WO2016002900A1 - 物体検出用方法および装置、ならびにコンピュータプログラム製品 - Google Patents

物体検出用方法および装置、ならびにコンピュータプログラム製品 Download PDF

Info

Publication number
WO2016002900A1
WO2016002900A1 PCT/JP2015/069187 JP2015069187W WO2016002900A1 WO 2016002900 A1 WO2016002900 A1 WO 2016002900A1 JP 2015069187 W JP2015069187 W JP 2015069187W WO 2016002900 A1 WO2016002900 A1 WO 2016002900A1
Authority
WO
WIPO (PCT)
Prior art keywords
candidate
information
cluster
object candidate
target object
Prior art date
Application number
PCT/JP2015/069187
Other languages
English (en)
French (fr)
Inventor
邦博 後藤
Original Assignee
株式会社デンソー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社デンソー filed Critical 株式会社デンソー
Priority to DE112015003089.1T priority Critical patent/DE112015003089T5/de
Priority to US15/322,815 priority patent/US20170151943A1/en
Priority to CN201580034978.2A priority patent/CN106471522A/zh
Publication of WO2016002900A1 publication Critical patent/WO2016002900A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/18—Conjoint control of vehicle sub-units of different type or different function including control of braking systems
    • B60W10/184—Conjoint control of vehicle sub-units of different type or different function including control of braking systems with wheel brakes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/20—Conjoint control of vehicle sub-units of different type or different function including control of steering systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/771—Feature selection, e.g. selecting representative features from a multi-dimensional feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2710/00—Output or target parameters relating to a particular sub-units
    • B60W2710/18—Braking system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2710/00—Output or target parameters relating to a particular sub-units
    • B60W2710/20—Steering systems

Definitions

  • the present invention relates to an apparatus and a computer program product for detecting an object to be detected existing around a vehicle.
  • Patent Document 1 there is an apparatus disclosed in Patent Document 1 as an example of an apparatus that executes such a method.
  • This apparatus obtains an index representing ease of detection when detecting the shape of an object to be detected.
  • the apparatus sets a threshold value for determining an object detected from the periphery of the vehicle as a detection target object so that the value of the index is low, that is, the shape of the detection target object is difficult to detect. Thereby, the detection rate of a detection target object can be improved.
  • Patent Document 1 uses the threshold value to determine whether an object detected from around the vehicle is a detection target object. For this reason, when the threshold value is set to be small, even a low-reliability target object that is detected from around the vehicle is easily determined to be a detection target object. For this reason, there is a possibility that the number of false detections for determining an object that is not a detection target object as a detection target object increases.
  • An aspect of the present disclosure provides an object detection method and apparatus that can cope with such problems, and a computer program product. That is, another aspect of the present disclosure aims to provide an object detection method and apparatus, and a computer program product that can detect an object to be detected around the host vehicle with higher accuracy.
  • the object detection apparatus is an object detection apparatus that detects a specific type of object existing around a vehicle as a detection target object.
  • the object detection apparatus includes an acquisition unit that repeatedly acquires information based on at least a position of at least one object candidate existing around the vehicle, which is a candidate for the detection target object. Further, each time the object detection apparatus obtains information on the at least one object candidate, the information on the at least one object candidate is determined in advance based on the relevance of the at least one object candidate to the detection target object.
  • a state transition unit that transitions the information of the at least one object candidate between the plurality of states by determining which of the plurality of states belongs to based on a predetermined state transition condition. ing.
  • the object detection device determines whether the at least one object candidate is the detection target object based on transition information indicating how the state associated with the at least one object candidate has changed.
  • a determination unit is provided for determining whether or not.
  • the computer program product is a computer-readable computer program product for detecting a specific type of object existing around a vehicle as a detection target object.
  • This computer program product is (1) a first step of repeatedly acquiring information based on at least a position of at least one object candidate existing around the vehicle, which is a candidate for the detection target object; (2) Each time the information on the at least one object candidate is obtained, the information on the at least one object candidate is determined in advance based on the relevance of the at least one object candidate to the detection target object.
  • the object detection method is an object detection method for detecting a specific type of object existing around a vehicle as a detection target object.
  • This object detection method (1) a first step of repeatedly acquiring information based on at least a position of at least one object candidate existing around the vehicle, which is a candidate for the detection target object; (2) Each time the information on the at least one object candidate is obtained, the information on the at least one object candidate is determined in advance based on the relevance of the at least one object candidate to the detection target object.
  • a plurality of information on at least one object candidate that is a candidate for a detection target object is predetermined based on the relevance of the at least one object candidate to the detection target object. Whether or not the at least one object candidate is a detection target object is determined based on transition information indicating how the state has been changed. Therefore, the first to third aspects of the present invention detect the detection target object with higher accuracy than the conventional configuration in which it is determined whether the detection object is the detection target object using a simple threshold. be able to.
  • FIG. 3 is a flowchart showing an example of a target object detection process executed by a CPU of the processing unit shown in FIG.
  • FIG. 2 is a diagram showing an example of a pedestrian candidate rectangle in a frame image taken by the camera shown in FIG.
  • the figure for demonstrating the 4th pedestrian candidate rectangular area put together as a cluster rectangular area, and the 1st identification information provided to the said cluster rectangular area.
  • the figure for demonstrating the 4th pedestrian candidate rectangular area put together as a cluster rectangular area, and the 2nd identification information provided to the said cluster rectangular area.
  • the figure for demonstrating the 4th pedestrian candidate rectangular area put together as a cluster rectangular area, and the 3rd identification information provided to the said cluster rectangular area.
  • the figure for demonstrating the 4th identification information provided to the four pedestrian candidate rectangular area put together as a cluster rectangular area, and the said cluster rectangular area.
  • surface which shows an example of the conditions for the tracking object cluster in a certain tracking state to change to another tracking state. It is a figure which shows an example of the state transition between several tracking states. It is a figure which shows an example of several cluster rectangular area
  • FIG. 13 It is a figure which shows an example of several cluster rectangular area
  • the object detection apparatus 1 is mounted on a vehicle V such as a passenger car.
  • the object detection device 1 has a function of detecting a specific type of object such as a pedestrian existing around the vehicle V as a detection target object.
  • the object detection apparatus 1 includes a processing unit 10, a camera 21 that forms, for example, an imaging unit, a plurality of sensors 22, and at least one control object 26.
  • One control object 26 is connected to the processing unit 10 so as to be communicable.
  • the camera 21 can capture an image of a predetermined detection area that is at least part of the periphery of the vehicle V, for example, set from the vehicle V along the traveling direction of the vehicle V.
  • the camera 21 can capture an image in a range including a region in front of the road on which the vehicle V travels and a predetermined region on both sides of the road front region.
  • the camera 21 is configured as a well-known camera that captures a frame image of the detection area at a preset cycle (for example, 30 frames per second (fps), that is, an imaging rate of 30 frames per second). Yes.
  • the camera 21 sends the periodically captured frame images to the processing unit 10.
  • the plurality of sensors 22 are known sensors that acquire position information and speed information of the vehicle V, position information and speed information (for example, relative speed information with respect to the vehicle V) of objects around the vehicle V (preceding vehicles, pedestrians, and the like). ) And the like are included.
  • the at least one control target 26 When the information about the detection target object is sent from the processing unit 10, the at least one control target 26 performs an operation for avoiding a collision between the detection target object and the vehicle V or an impact caused by the collision as necessary.
  • the control object 26 includes first and second actuators that operate the brake and the steering device of the vehicle V, respectively. Each of the first and second actuators operates the corresponding brake and steering device to avoid a collision with the detection target object, or even if the vehicle V collides with the detection target object, To alleviate the impact.
  • the processing unit 10 is configured as a computer circuit, for example, and includes a CPU 11 and a memory 12 such as a ROM and a RAM.
  • the memory 12 includes, for example, a non-transient storage medium that can be read by a computer, that is, a CPU.
  • the CPU 11 performs various processes such as a target object detection process, which will be described later, based on a program stored in the memory 12, that is, a program instruction PI.
  • the processing unit 10 performs a target object detection process shown in FIG.
  • the target object detection process detects a detection target object from the frame image captured by the camera 21.
  • the target object detection process it is determined whether or not the vehicle V may collide with the detected detection target object.
  • the target object detection process activates the control target 26.
  • this embodiment demonstrates the target object detection process which detects a pedestrian as a detection target object.
  • the target object detection process of the present embodiment is a process that is started when the vehicle V is turned on, for example, and then repeatedly executed.
  • the processing unit 10 When the target object detection process is started, the processing unit 10 first performs a pedestrian candidate extraction process and a clustering process as shown in FIG. 2 (S110 to S140). In this information acquisition process, the processing unit 10 acquires a frame image periodically captured by the camera 21 and periodically transmitted from the camera 21 (S110). Subsequently, the processing unit 10 performs a pop-up detection process based on the frame image acquired this time and at least one frame image acquired before this time (S120).
  • the processing unit 10 uses a technique described in, for example, Japanese Patent Application Laid-Open No. 2014-029604 in step S120. That is, the processing unit 10, among the plurality of frame images, currently obtained frame image (e.g., an I n) and at least one frame image than this previously acquired (I n-1, I n -2 ...) and with, the frame image I n, in a I n-1, I n- 2 ⁇ , extracts a plurality of feature points corresponding to each other. The processing unit 10 calculates an optical flow at each extracted feature point.
  • frame image e.g., an I n
  • I n-2 the frame image I n
  • the processing unit 10 calculates an optical flow at each extracted feature point.
  • the processing unit 10 determines whether there is at least one object having a probability that the vehicle V is projected to the predicted travel area (for example, ahead of the travel lane on the travel road) higher than a predetermined value. Judge whether or not.
  • the predicted travel area of the vehicle V can be estimated based on the frame image captured this time.
  • the processing unit 10 obtains angles at which, for example, a plurality of objects based on the optical flow enter the predicted travel region of the vehicle V. Then, the processing unit 10 obtains the probability that the plurality of objects will jump out into the predicted travel region of the vehicle V based on this angle.
  • the processing unit 10 corresponds to the frame image space obtained this time.
  • the at least one object in the set coordinate space is set as a pop-up object, and the position coordinates of the pop-out object are stored in the memory 12 as pop-out information in association with the identification information of the pop-out object.
  • the position coordinates of the pop-out object may be, for example, the coordinates of the entire rectangular area including the entire pop-out object, or the position coordinates of one representative feature point in the pop-out object.
  • the processing unit 10 identifies the types of objects included in the frame images I n , I n ⁇ 1 , I n ⁇ 2, ... Using a known pattern identification process and the like, and the identified type of object
  • the pop-up detection process used in step S120 described above can determine whether or not at least one object has popped out without specifying the type. Therefore, the pop-up detection process used in step S120 has an advantage that the pop-up detection process can be performed simply and at high speed.
  • the processing unit 10 detects a candidate for a detection target object, that is, an object that seems to be a pedestrian, from the frame image acquired this time, that is, the frame image sent from the camera 21 this time (S130).
  • the process of step S130 is performed using a plurality of rectangular areas (pedestrians) indicating a rectangular area including candidates for pedestrians that are detection target objects, using a detection method prepared in advance from the frame image obtained this time. Candidate rectangular area) is detected.
  • the processing unit 10 associates a group of pedestrian candidate rectangular regions having similar positions and / or sizes with each other in a large number of pedestrian candidate rectangular regions, and collects them into one representative cluster rectangular region (clustering) ( S140).
  • this learning pattern is stored in the memory 12 as a dictionary file in advance.
  • a characteristic image pattern based on the shape of the whole body including the upper body and lower body of the pedestrian is stored in the memory 12 as the dictionary file F1.
  • a characteristic image pattern based on the shape of the upper body of the pedestrian is stored in the memory 12 as the dictionary file F2.
  • a characteristic image pattern based on the shape of the lower body of the pedestrian is stored in the memory 12 as a dictionary file F3.
  • first to fourth detection methods are prepared in advance.
  • a pedestrian candidate rectangular area is detected from the frame image obtained this time using at least one of the dictionary files F1 to F3. Therefore, for example, as shown in FIG. 3, in the detection method according to the present embodiment, pedestrian candidate rectangular regions R1 (P1) to Rn (P1) detected corresponding to actual pedestrians P1 and P2 and The number of R1 (P2) to Rm (P2) is larger than the number of pedestrian candidate rectangular areas RW that are non-pedestrians, for example, erroneously set for trees and signs.
  • the dictionary files F1 to F3 are set with respective reliability levels relating to pedestrian detection. For example, the dictionary file F1 has the highest reliability level, the dictionary file F2 has the highest reliability level, and then the dictionary file.
  • the reliability is F3. In other words, a certain rectangular area obtained using the dictionary file F1 has a higher reliability of being a rectangular area corresponding to a pedestrian than a certain rectangular area obtained using the dictionary file F2.
  • the detection method according to the present embodiment after obtaining a plurality of cluster rectangular areas from a large number of pedestrian candidate rectangular areas, different identification information is given to each cluster rectangular area. That is, the detection method according to the present embodiment includes the following first to eighth steps.
  • a frame image acquired this time is scanned, that is, searched using a detection (search) rectangular window having a predetermined size.
  • scanning on the frame image acquired this time, that is, search can be performed using a plurality of search methods.
  • the first to third search methods SM1 to SM3 can be used as an example.
  • the first search method SM1 is a pedestrian candidate rectangular region obtained with respect to a frame image captured before the current frame image, for example, the previous frame image in the current frame image and its surroundings.
  • the detection rectangular window is moved by scanning by a predetermined pixel, and a pattern of pixel values in the detection rectangular window at each scanning position, that is, a feature pattern of an image in the detection rectangular window is obtained. .
  • the second search method SM2 is a frame image captured before the current frame image, for example, when the pop-out information is detected in the immediately preceding frame image by the process of step S120, On the position corresponding to the pop-out information and the surrounding area, the detection rectangular window is moved by scanning by a predetermined pixel, and the pattern of pixel values in the detection rectangular window at each scanning position, that is, the detection rectangle The feature pattern of the image in the window is obtained.
  • the third search method SM3 moves the rectangular window in the row direction and until it reaches the lower right corner from the upper left corner, which is the initial scanning position, on the currently acquired frame image. Scanning is performed while alternately moving predetermined pixels in the column direction, and a pattern of pixel values in the detection rectangular window at each scanning position, that is, a feature pattern of an image in the detection rectangular window is obtained.
  • each of the first to third search methods SM1 to SM3 respective reliability levels relating to pedestrian detection are set.
  • the first search method SM1 has the highest reliability level, and then the second search method SM2 is set.
  • the reliability of the third search method SM3 is the second highest. That is, a certain rectangular area obtained by using the first search method SM1 is more reliable as a rectangular area corresponding to a pedestrian than a certain rectangular area obtained by using the second search method SM2. ing.
  • the second step includes a feature pattern obtained for each scanning position of the detection rectangular window in the first step and a number of dictionary files included in at least one dictionary file among the plurality of dictionary files F1 to F3.
  • the similarity with the feature pattern is obtained. This similarity is also referred to as a score.
  • the second step uses the dictionary file F1 to obtain the similarity.
  • the fourth step obtains the similarity using the dictionary file F2.
  • detection rectangular windows at a plurality of scanning positions in which the degree of coincidence obtained in the second step is equal to or greater than a predetermined first threshold are set as pedestrian candidate rectangular regions.
  • the size of the detection rectangular window is set to a predetermined size.
  • the detection method according to the present embodiment is not limited to this and is different.
  • a rectangular window for size detection may be used.
  • the detection method according to the present embodiment performs the above first to third steps for each size detection rectangular window, so that a large number of detection rectangular windows are used as pedestrian candidate rectangular areas. Can be detected.
  • the detection method according to the present embodiment includes a group of pedestrian candidate rectangular regions whose positions and / or sizes are similar to each other in a large number of pedestrian candidate rectangular regions obtained in the third step. And a representative cluster rectangular area is selected from the associated pedestrian candidate rectangular areas. As a result, a large number of pedestrian candidate rectangular areas are grouped into a plurality of representative cluster rectangular areas (step S140).
  • the detection method includes, as a fifth step, the number of rectangular areas associated with the corresponding cluster rectangular area as first identification information, that is, likelihood-related information, for each cluster rectangular area. Is given (step S145).
  • FIG. 4 shows four pedestrian candidate rectangular areas R1 to R4 collected as a cluster rectangular area CR. That is, 4 which is the number of detected rectangular areas is given to the cluster rectangular area CR as the first identification information.
  • the similarity of each of the plurality of rectangular areas associated with each cluster rectangular area that is, the maximum value and the average value of the scores are obtained as the maximum score and the average score.
  • the maximum score and the average score are assigned as second identification information for the corresponding cluster rectangular area, that is, likelihood-related information (step S145).
  • the average score is used as the second identification information.
  • a rectangular area with a high score means that the area that actually includes a pedestrian is highly reliable.
  • FIG. 5 shows four pedestrian candidate rectangular regions R1 to R4 collected as the cluster rectangular region CR, and the scores (0.9, 0.1, -0.3, 0.2) of the pedestrian candidate rectangular regions R1 to R4. Show. That is, the maximum rectangular score 0.9 and the average score 0.225 are given to the cluster rectangular area CR as the second identification information.
  • the detection method according to the present embodiment is the largest of the plurality of dictionary files used when obtaining the similarity of each of the plurality of pedestrian candidate rectangular regions associated with each cluster rectangular region. Is added as third identification information for the corresponding cluster rectangular area, that is, likelihood related information (step S145).
  • FIG. 6 shows four pedestrian candidate rectangular regions R1 to R4 collected as a cluster rectangular region CR, and dictionary files (F1, F1, F2, F3) corresponding to the pedestrian candidate rectangular regions R1 to R4, respectively. Is shown. That is, the dictionary file F1 having the maximum reliability is assigned to the cluster rectangular area CR as the third identification information.
  • the detection method according to the present embodiment has the highest reliability among the search methods used when obtaining a plurality of candidate pedestrian rectangular areas associated with each cluster rectangular area as an eighth step.
  • the search method is assigned as fourth identification information for the corresponding cluster rectangular area, that is, likelihood-related information (S145).
  • FIG. 7 shows four pedestrian candidate rectangular regions R1 to R4 collected as a cluster rectangular region CR, and search methods (SM2, SM2, SM3, SM2) corresponding to the pedestrian candidate rectangular regions R1 to R4, respectively. Is shown. That is, the search method SM2 having the maximum reliability is assigned to the cluster rectangular area CR as the fourth identification information.
  • a plurality of known discriminators that can calculate the similarity are used. They can be used in combination.
  • each discriminator for example, a known support vector machine (SVM) can be used.
  • SVM support vector machine
  • a feature pattern of an image in the detection rectangular window for example, a well-known edge gradient histogram (HOG: Histograms of Oriented Edges), that is, a HOG feature amount, a Haar-like feature amount, or the like can be used. .
  • HOG Histograms of Oriented Edges
  • the processing unit 10 executes the detection method according to the present embodiment, and in step S140, the pedestrians whose positions and / or sizes are similar to each other in the large number of pedestrian candidate rectangular areas detected in step S140.
  • the groups of candidate rectangular areas are associated and clustered into one representative cluster rectangular area.
  • the processing unit 10 associates the position coordinates of the cluster rectangular area of each group in the coordinate space corresponding to the current frame image space with the first to fourth identification information, and stores the memory 12. (Step S145).
  • a plurality of grouped pedestrian candidate rectangular regions R11 indicated by broken line frames can be represented as one cluster rectangular region CR11 indicated by solid line frames.
  • a plurality of grouped pedestrian candidate rectangular regions R12 indicated by a broken line frame can be represented as one cluster rectangular region CR12 indicated by a solid line frame.
  • the processing unit 10 determines whether, for example, a plurality of cluster rectangular areas (detected clusters) detected in step S140 have a corresponding relationship with, for example, a plurality of cluster rectangular areas (tracking target clusters) currently being tracked. Is determined (step S150). Specifically, the processing unit 10 determines whether or not the coordinate position of each cluster rectangular area detected in step S140 is close to the coordinate position of any tracking target cluster in the plurality of tracking target clusters currently being tracked. A determination process is performed (S150).
  • step S150 When the result of the determination in step S150 is NO (step S150 ⁇ NO), the processing unit 10 adds a cluster rectangular area (new tracking target) to be a new tracking target among the plurality of cluster rectangular areas detected in step S140. Cluster). As a result of this determination, the current target object detection process, that is, the target object detection process for the current frame image shifts to the process of step S400.
  • step S400 the processing unit 10 sets the current tracking state of the new tracking target cluster to the new tracking state. Then, the processing unit 10 stores the new tracking state in the memory 12 as the tracking state of the new tracking target cluster in association with the identification information and the coordinate position of the new tracking target cluster. Next, the processing unit 10 returns to the process of step S110, and executes the processes of steps S110 to S330 based on the frame image sent from the camera 21.
  • step S150 determines that each cluster rectangular area detected in step S140 is the previous target object. It is determined that it corresponds to the tracking target cluster tracked in the detection process, that is, the target object detection process for the previous frame image. As a result of this determination, the current target object detection process proceeds to step S160.
  • the following three states are prepared as tracking states for the cluster rectangular area.
  • conditions for the tracking target cluster in each tracking state to transition to another tracking state are set in advance as shown in FIG. 9, for example, in the memory 12 and / or the target It is incorporated in the object detection processing program.
  • the likelihood that the pedestrian candidate corresponding to the cluster rectangular region in the tracking state A is actually a pedestrian is the highest, and then the pedestrian candidate corresponding to the cluster rectangular region in the tracking state B is The likelihood that the pedestrian candidate corresponding to the cluster rectangular area in the tracking state C is actually a pedestrian corresponding to the cluster rectangular area in the tracking state B is actually high. Is set lower than the likelihood of being a pedestrian. That is, the tracking state A, the tracking state B, and the tracking state C have the corresponding likelihoods of the tracking state A, the tracking state B, and the tracking state C in descending order.
  • the cluster rectangular area that was in the new tracking state in the previous target object detection process is the value of the first identification information (that is, the number of detected rectangular areas, Suppose N is greater than the first threshold TH1. At this time, it is determined that the cluster rectangular area that was in the new tracking state during the previous target object detection process has transitioned to tracking state A during the current target object detection process.
  • the cluster rectangular area that was in the tracking state A in the previous target object detection process has a value N of the first identification information larger than the second threshold value TH2 in the current target object detection process.
  • the value of the identification information of 2 (that is, average score, AS) is larger than the third threshold TH3
  • the value of the third identification information (that is, the dictionary file having the maximum reliability, F) is Assume that it is other than the dictionary file F3.
  • the cluster rectangular area that was in the tracking state A at the time of the previous target object detection process is still in the tracking state A (that is, the tracking state A is maintained) at the time of the current target object detection process. To be judged.
  • the assumed condition can be expressed as follows using a logical operator.
  • the cluster rectangular area that was in the tracking state A in the previous target object detection process has the first identification information value N equal to or lower than the second threshold value TH2 in the current target object detection process.
  • the value AS of the second identification information is equal to or smaller than the third threshold value TH3, or the value F of the third identification information is the dictionary file F3.
  • the assumed condition can be expressed as follows using a logical operator.
  • the cluster rectangular area corresponding to the cluster rectangular area that was in the tracking state A in the previous target object detection process does not exist in the current target object detection process. At this time, it is determined that the cluster rectangular area that was in the tracking state A during the previous target object detection process has transitioned to the tracking state C during the current target object detection process.
  • the cluster rectangular area that was in the tracking state B in the previous target object detection process has a value of the first identification information larger than the fourth threshold value TH4 in the current target object detection process, and the second identification information. Is greater than the fifth threshold TH5.
  • the condition that the value of the first identification information that is the above condition is larger than the fourth threshold value TH4 and the value of the second identification information is larger than the fifth threshold value TH5 is set as the tracking state A transition condition. .
  • the cluster rectangular area that was in the tracking state B in the previous target object detection process exists in the current target object detection process, but does not satisfy the tracking state A transition condition,
  • the cluster rectangular area that was in the tracking state B in FIG. 6 is determined to be in the tracking state B (that is, the tracking state B is maintained) even during the current target object detection process.
  • the cluster rectangular area corresponding to the cluster rectangular area that was in the tracking state B in the previous target object detection process does not exist in the current target object detection process. At this time, it is determined that the cluster rectangular area that was in the tracking state B during the previous target object detection process has transitioned to the tracking state C during the current target object detection process.
  • the cluster rectangular area that was in the tracking state C in the previous target object detection process is It is determined that the tracking state B has been transitioned during the target object detection process.
  • the cluster rectangular area corresponding to the cluster rectangular area that was in the tracking state C in the previous target object detection process does not exist in the current target object detection process.
  • the cluster rectangular area that was in the tracking state C at the time of the previous target object detection process is in the tracking state C (that is, the tracking state C is maintained) at the time of the current target object detection process. To be judged.
  • the new tracking state is a special state set in the new tracking target cluster when it is determined that the cluster rectangular area detected in step S140 is the new tracking target cluster.
  • the second threshold TH2 is set to a value larger than the first and fourth thresholds TH1 and TH4, and the fourth threshold TH4 is set to a value larger than the first threshold TH1. .
  • the third threshold value TH3 is set to a value larger than the fifth threshold value TH5.
  • the tracking target cluster in each tracking state is set to disappear when the corresponding predetermined condition is satisfied. In other words, when the tracking target cluster in each tracking state satisfies a corresponding predetermined condition, tracking for the tracking target cluster is terminated.
  • the cluster rectangular area that was in the new tracking state in the previous target object detection process has a value of the first identification information that is equal to or lower than the first threshold value TH1 in the current target object detection process. At this time, it is determined that the cluster rectangular area that was in the new tracking state at the time of the previous target object detection process has disappeared at the time of the current target object detection process.
  • the tracking state B or the tracking state C is used, and the target object detection process for the previous frame image is performed in the tracking state B. It is assumed that the cluster rectangular area determined to be in the tracking state B or the tracking state C in the current target object detection process. At this time, it is determined that the cluster rectangular area that was in the tracking state B at the time of the previous target object detection process has disappeared at the time of the current target object detection process.
  • the cluster rectangular area determined to be in the tracking state C in the target object detection process for the previous frame image is further in the tracking state C in the current target object detection process. At this time, it is determined that the cluster rectangular area that was in the tracking state C at the time of the previous target object detection process has disappeared at the time of the current target object detection process.
  • FIG. 10 is a diagram illustrating an example of state transition between the tracking states (new tracking state, tracking state A, tracking state B, tracking state C, and disappearance) described above.
  • the transition condition to the tracking state with the higher likelihood is severe, and the transition condition to the tracking state with the lower likelihood. Is set loosely.
  • the cluster rectangular area determined as the tracking state A in the target object detection process for the past two frame images is further in the tracking state A in the current target object detection process. That is, when the cluster rectangular area is determined to be in the tracking state A in the target object detection process for three frame images continuously, the pedestrian candidate corresponding to the cluster rectangular area is determined to be a pedestrian. (Refer to step S260 described later).
  • a condition that the cluster rectangular area is determined to be in the tracking state A that is, a pedestrian candidate based on the corresponding cluster rectangular area is determined as a pedestrian.
  • This condition (judgment condition) is set as a pedestrian determination condition.
  • 3 times which is the number of times the tracking state A is continued, is set as a threshold value in the target object detection process.
  • the transition to the higher likelihood can be made only one step at a time, while the transition to the lower likelihood is set to allow unlimited transition.
  • step S140 when a plurality of cluster rectangular areas are detected in step S140, the processing unit 10 executes the processes of steps S160 to S330 for each cluster rectangular area.
  • a target cluster rectangular area one cluster area in the plurality of cluster rectangular areas detected in step S140
  • steps S160 to S330 for this target cluster rectangular area will be described.
  • step S160 the processing unit 10 reads the first to fourth identification information of the target cluster rectangular area from the memory 12.
  • step S170 the processing unit 10 in the tracking target cluster corresponding to the target cluster rectangular area, the tracking state updated in step S250 described later in the previous target object detection process and stored in the memory 12, and the tracking thereof. The number of state continuations is read from the memory 12.
  • the processing unit 10 determines whether or not pop-out information is set for the target cluster rectangular area (step S210).
  • the processing unit 10 compares the position coordinates of the target cluster rectangular area with the position coordinates in the pop-out information of the pop-out object detected in step S120 and stored in the memory 12, and based on the comparison result, the target cluster It is determined whether or not there is a correlation between the position coordinates of the rectangular area and the pop-out object pop-out information stored in the memory 12.
  • the target object detection process is performed as a step described later. The process proceeds to S230.
  • the processing unit 10 determines that the pedestrian candidate corresponding to the target cluster rectangular area is a pop-out object. Then, the processing unit 10 changes the transition condition for changing the tracking state of the target cluster rectangular area and / or the pedestrian determination condition for the target cluster rectangular area (step S220).
  • the processing unit 10 when it is determined that the pedestrian candidate corresponding to the target cluster rectangular area is a pop-up object, the processing unit 10 performs a transition condition for changing the tracking state of the target cluster rectangular area and / or the target cluster rectangular area.
  • the pedestrian determination condition is changed so as to be looser than the current condition, that is, so as to be easily determined as a pedestrian (step S220).
  • the processing unit 10 changes the above-described first to fifth thresholds TH1 to TH5 to a small value or sets the threshold for the pedestrian determination condition to a predetermined value (three times). To a smaller value (step S220).
  • step S220 is executed only when an affirmative determination is made in the determination process of step S210. That is, if step S210 is affirmed in the target object detection process for the previous frame image and step S220 is executed, but step S210 is denied in the target object detection process for the current frame image.
  • the value of the transition condition for changing the tracking state of the target cluster rectangular area and / or the pedestrian determination condition for the target cluster rectangular area is the value before the change.
  • the processing unit 10 first to fourth identification information of the target cluster rectangular area read in step S160 and the tracking state of the tracking target cluster corresponding to the target cluster rectangular area read in step S170. Based on (that is, the previous tracking state), it is determined whether at least part of the first to fourth identification information of the target cluster rectangular area satisfies the transition condition in the previous tracking state (step S230). .
  • the processing unit 10 sets the transition condition (see FIG. 9) corresponding to the previous tracking state to the target cluster rectangular area. It is determined whether the first to third identification information or the first and second identification information are satisfied (step S230).
  • the transition condition (see FIG. 9) corresponding to the previous tracking state is set based on the first to third identification information of the target cluster rectangular area or the first and second identification information.
  • the present invention is not limited to the above. That is, in the present invention, the transition condition (see FIG. 9) corresponding to the previous tracking state can be set using at least one of the first to fourth identification information of the target cluster rectangular area. is there. Further, as the second identification information, a maximum score may be used instead of the average score.
  • the processing unit 10 determines the transition condition (see FIG. 9) corresponding to the previous tracking state as the first identification of the target cluster rectangular area. It is determined whether the information is satisfied (step S230).
  • step S230 When at least a part of the first to fourth identification information of the target cluster rectangular area does not satisfy the transition condition in the previous tracking state (NO as a result of determination in step S230), the target object detection process will be described later. The process proceeds to step S250. On the other hand, when at least a part of the first to fourth identification information in the target cluster rectangular area satisfies the transition condition in the previous tracking state (YES in the determination in step S230), the processing unit 10 The current tracking state of the cluster rectangular area is changed from the previous tracking state to the tracking state corresponding to the transition condition (step S240).
  • the processing unit 10 updates the number of continuations of the current tracking state of the target cluster rectangular area (step S250). That is, if the current tracking state of the target cluster rectangular area has not changed from the previous tracking state, the processing unit 10 increments the number of continuations of the tracking state of the target cluster rectangular area stored in the memory 12 by one. And update (step S250). On the other hand, if the current tracking state of the target cluster rectangular area has changed with respect to the previous tracking state, the processing unit 10 sets the number of continuations of the current tracking state to 1 and stores it in the memory 12 ( Step S250).
  • the number of continuations of the current tracking state of the target cluster rectangular area is a parameter representing the time during which the same tracking state is continued after the target cluster rectangular area transitions to a certain tracking state.
  • the processing unit 10 determines whether or not the pedestrian candidate corresponding to the target cluster rectangular area represents a pedestrian, the current tracking state of the target cluster rectangular area is the tracking state A, and A determination is made based on whether or not the number of continuations has reached the number threshold (three times) (step S260).
  • the processing unit 10 determines that the pedestrian candidate corresponding to the target cluster rectangular area is It is concluded that it represents a pedestrian (step S260).
  • the processing unit 10 concludes that the pedestrian candidate corresponding to the target cluster rectangular area does not represent a pedestrian (step S260).
  • the processing unit 10 determines that the determination as to whether or not the pedestrian candidate corresponding to the target cluster rectangular area is a pedestrian is undetermined (step S260).
  • step S260 determines whether it is concluded that the pedestrian candidate corresponding to the target cluster rectangular area is a pedestrian or does not represent a pedestrian (step S260). S330).
  • step S330 it is not concluded whether it is concluded that the pedestrian candidate corresponding to the target cluster rectangular area is a pedestrian or does not represent a pedestrian (determination in step S330) As a result, the processing unit 10 returns to the process of step S110, and executes the processes of steps S110 to S330 based on the frame image sent from the camera 21.
  • step S330 it is concluded whether or not it is concluded that the pedestrian candidate corresponding to the target cluster rectangular area is a pedestrian or does not represent a pedestrian (step S330).
  • step S330 the target object detection process proceeds to the process of step S350.
  • the processing unit 10 performs the processing in steps S160 to S330 for each of the plurality of target cluster rectangular areas corresponding to the plurality of cluster rectangular areas. Is running. That is, when it is concluded that the pedestrian candidate corresponding to at least one target cluster rectangular area is a pedestrian or not a pedestrian among the plurality of target cluster rectangular areas, When S350 is executed and it is not concluded whether or not a pedestrian candidate corresponding to at least one target cluster rectangular area is a pedestrian among the plurality of target cluster rectangular areas, the processing unit 10 The processing of S110 to S330 is executed.
  • step S350 when it is concluded that the plurality of pedestrian candidates corresponding to the plurality of target cluster rectangular areas are pedestrians as a result of the determination in step S330, the processing unit 10 is stored in the memory 12. Based on the position coordinates of the plurality of target cluster rectangular regions corresponding to the plurality of pedestrians, the pop-out object pop-out information, and the predicted travel region of the vehicle V, the processing unit 10 determines the priority order among the plurality of pedestrians. To do. For example, the processing unit 10 determines priorities among a plurality of pedestrians under the following conditions.
  • condition 2 when pop-out information is set in a plurality of target cluster rectangular areas corresponding to a plurality of pedestrians, position coordinates between the target cluster rectangular areas and prediction of the vehicle V From the relationship with the travel area, the priority order is determined in the order closest to the predicted travel area.
  • step S140 If only one cluster rectangular area is detected in step S140, the processing unit 10 executes the process of step S360 as it is.
  • the processing unit 10 obtains at least one position coordinate and / or speed information of each of the plurality of pedestrians based on the determined priority order. It outputs to the control object 26 (step S360), and complete
  • the processing unit 10 displays the position coordinates and / or speed information of the pedestrian as at least one control target. 26 (step S360), and the target object detection process is terminated.
  • the at least one control object 26 avoids a collision between the at least one pedestrian and the vehicle V, if necessary. Or the operation
  • the detected pedestrian speed information can be obtained by the processing unit 10 based on the frame image, and the speed information obtained by the sensor 22 can also be used.
  • the processing unit 10 does not perform the processes in steps S350 and S360. Then, the target object detection process is terminated.
  • the states of the four cluster rectangular areas CR21 to CR24 are detected. Tracking is implemented.
  • the tracking state of any one cluster rectangular area (target cluster rectangular area) in these four cluster rectangular areas CR21 to CR24 is, for example, as shown in FIG.
  • the target object detection process hereinafter referred to as the first detection process
  • a new state is entered, and at time 2, that is, in the second detection process, a transition is made to the tracking state A.
  • time 3 is sent from the camera 21 (time 3, 4,...)
  • the tracking state of the target cluster rectangular area is shown in FIG. 12 depending on whether or not the target cluster rectangular area satisfies the transition condition. Transition is shown.
  • FIG. 13 when four cluster rectangular areas CR31 to CR34 are detected from a certain frame image I1, pop-out information is set in the cluster rectangular area CR31 in the four cluster rectangular areas CR31 to CR34.
  • FIG. 14 An example of the state transition of the tracking state of the cluster rectangular area CR31 is shown in FIG.
  • the first detection process in the target object detection process (hereinafter referred to as the first detection process) at time 1, that is, when the target cluster rectangular area is detected for the first time,
  • the transition condition for transitioning the tracking state of the rectangular area CR1 and / or the pedestrian determination condition for the cluster rectangular area CR1 are changed, and each of them is handled based on the changed transition condition and / or the pedestrian determination condition.
  • State transition determination and / or pedestrian determination to be performed is executed. Similarly, at time 3 (third detection process), time 6 (sixth detection process), and time 7 (seventh detection process), a transition for changing the tracking state of the cluster rectangular region CR1 is performed. Conditions and / or pedestrian determination conditions for the cluster rectangular region CR1 are changed, and corresponding state transition determination and / or pedestrian determination are executed based on the changed transition conditions and / or pedestrian determination conditions, respectively. Is done. At other times 2, 4, and 5 (second detection process, second detection process, and fifth detection process), the state transition determination and the pedestrian are performed without changing the transition condition and the pedestrian determination condition. Judgment is performed.
  • the object detection device 1 described in detail above is a device that detects a specific type of object (for example, a pedestrian) around the vehicle V as a detection target object.
  • the processing unit 10 of the object detection apparatus 1 is information based on at least the position of at least one object candidate existing around the vehicle V that is a candidate for the detection target object (for example, the position and shape of at least one object). Based information) repeatedly.
  • the processing unit 10 determines that the information on the at least one object candidate is predetermined based on the relevance of the at least one object candidate to the detection target object.
  • the information of the at least one object candidate is transitioned between the plurality of states by determining which state belongs to the state based on a predetermined state transition condition.
  • the processing unit 10 determines whether the at least one object candidate is the detection target object based on transition information indicating how the state associated with the at least one object candidate has transitioned. Judging whether or not.
  • the object detection apparatus 1 determines whether information on at least one object candidate that is a candidate for a detection target object is between a plurality of states determined in advance based on the relevance of the at least one object candidate to the detection target object. Whether or not the at least one object candidate is a detection target object is determined based on the transition information indicating whether the transition has occurred. For this reason, the object detection apparatus 1 can detect the detection target object with higher accuracy than the conventional configuration in which it is determined whether or not the detection object is a detection target object using a simple threshold.
  • the processing unit 10 of the object detection apparatus 1 acquires a parameter value representing a duration time after the information of the at least one object candidate has transitioned to the first state in the plurality of states, and the parameter When the value reaches a predetermined transition determination value, the information of the at least one object candidate is transitioned to a second state other than the first state in the plurality of states.
  • the object detection device determines whether or not the parameter value indicating the duration after the information of at least one object candidate has transitioned to the first state in the plurality of states has reached a predetermined transition determination value. Can be one of the state transition conditions.
  • the processing unit 10 of the object detection device 1 acquires a parameter value representing a duration time after the information of the at least one object candidate has transitioned to a specific state in the plurality of states, and The fact that the value has reached a predetermined determination value is used as a determination condition.
  • the at least one object candidate is determined as the detection target object.
  • this object detection device 1 it can be reliably determined that the at least one object candidate is the detection target object based on a duration time after transition to a specific state.
  • the processing unit 10 of the object detection device 1 acquires pop-out information regarding whether or not the at least one object candidate pops out from the predicted travel region of the vehicle, and the pop-out information is the at least one The state transition condition or the determination condition is changed when the object candidate represents that the object candidate jumps out of the predicted traveling area of the vehicle.
  • the object detection device 1 sets the determination condition, for example, as the at least one The object can be changed so that the object is easily detected as the detection target object. For this reason, when the at least one object candidate pops out of the predicted travel region of the vehicle V, it can be quickly determined that the popping object candidate is a detection target object.
  • the camera 21 of the object detection device 1 repeatedly captures a frame image around the vehicle V and repeatedly transmits the captured frame image to the processing unit 10.
  • the processing unit 10 changes a predetermined search area on the frame image sent this time, and a plurality of candidates having image feature patterns similar to the plurality of feature patterns of the detection target object in the frame image. In the region, an object candidate cluster representing a group of candidate regions related to each other is obtained. Then, the processing unit 10 uses, as a part of the information of the at least one object candidate, the likelihood related information related to the likelihood representing the likelihood that the obtained object candidate cluster corresponds to the detection target object. Ask.
  • the processing unit 10 obtains the likelihood related information of the object candidate cluster which is information of the at least one object candidate, the likelihood related information of the object candidate cluster belongs to any state in the plurality of states. Is determined based on the predetermined state transition condition, and the object candidate cluster is transitioned between the plurality of states.
  • the processing unit 10 obtains the likelihood related information of the object candidate cluster which is information of the at least one object candidate, how the state associated with the object candidate cluster has changed Is determined whether the object candidate cluster corresponds to the detection target object.
  • the detection target in an object candidate cluster which is a group of a plurality of candidate regions having image feature patterns similar to and related to the feature pattern of the detection target object in a frame image. Transition information between the plurality of states of the object candidate cluster is obtained based on likelihood related information related to the likelihood representing the likelihood of being an object, and the object candidate cluster is detected based on the transition information. It is determined whether or not it corresponds to the target object. For this reason, the object detection apparatus 1 can detect the detection target object with higher accuracy than the conventional configuration in which it is determined whether the detection object is the detection target object using a simple threshold.
  • the processing unit 10 of the object detection device 1 uses the number of candidate areas grouped as the object candidate cluster as a part of the likelihood related information, and uses a plurality of grouped candidate object clusters.
  • the number of candidate areas and whether or not it is larger than a preset threshold are used as part of the state transition condition.
  • the processing unit 10 of the object detection device 1 obtains a score representing the degree of similarity of each of the plurality of candidate areas grouped as the object candidate cluster with respect to the feature pattern of the detection target object, and the plurality of candidate areas At least one of the maximum value and average value of each score is used as part of the likelihood-related information, and at least one of the maximum value and average value of the score is larger than a preset threshold value Is used as the state transition condition.
  • a plurality of feature patterns of the detection target object are held in a plurality of dictionary files for each type, and in the plurality of dictionary files, reliability values related to detection target object detection are set in advance as different values.
  • the processing unit 10 of the object detection device 1 stores the plurality of dictionary files, while the processing unit 10 of the object detection device 1 performs a predetermined search on the frame image sent this time. While changing the region, a plurality of candidate regions having image feature patterns similar to the plurality of feature patterns stored in any dictionary file in the plurality of dictionary files are obtained in the frame image, An object candidate cluster representing a group of candidate areas related to each other is obtained from the candidate areas.
  • the processing unit 10 of the object detection device 1 uses the likelihood-related information as information indicating which of the plurality of dictionary files is used when obtaining each of a plurality of candidate regions grouped as the object candidate cluster. Based on the likelihood related information obtained in the object candidate cluster, the transition information between the plurality of states of the object candidate cluster is obtained.
  • the processing unit 10 of the object detection apparatus 1 uses the search method in any one of a plurality of search methods representing how to move a predetermined search region on the frame image sent this time. While changing the search area, a plurality of candidate areas having image feature patterns similar to the plurality of feature patterns of the detection target object are obtained in the frame image, and the candidate areas are related to each other among the obtained candidate areas. An object candidate cluster representing a group of candidate areas is obtained.
  • the processing unit 10 of the object detection device 1 uses the likelihood-related information to indicate which of the plurality of search methods is used when obtaining each of a plurality of candidate regions grouped as the object candidate cluster. Based on the likelihood related information obtained in the object candidate cluster, the transition information between the plurality of states of the object candidate cluster is obtained.
  • the object detection apparatus 1 using the likelihood-related information described above detects the detection target object with higher accuracy than the conventional configuration in which it is determined whether the detection object is the detection target object using a simple threshold. be able to.
  • a plurality of object candidate clusters are obtained, and the processing unit 10 determines whether each of the plurality of object candidate clusters is the detection target object, and as a result of the determination, the plurality of object candidate clusters are determined.
  • the processing unit 10 selects the some object candidate clusters, and positions of the selected object candidate clusters. Based on the information, the priority order between the detection target objects corresponding to each of the selected object candidate clusters is determined.
  • At least one control target 26 mounted on the vehicle V executes processing for the detected plurality of target objects. Can do.
  • at least one control object 26 mounted on the vehicle V can efficiently process the detected plurality of target objects and perform processing for each of the plurality of detection target objects in parallel. It can run smoothly.
  • a pedestrian that is an example of a specific type of object is configured to be detected as a detection target object, but the present invention is not limited to this configuration, for example, a tree, a vehicle, etc.
  • An object of a type other than a pedestrian may be detected as a detection target object.
  • steps S110, S130, S140, and S145 in the process executed by the processing unit 10 in the above embodiment correspond to, for example, the acquisition unit in the present invention.
  • steps in the process executed by the processing unit 10 in the above embodiment are described.
  • the process of S120 corresponds to, for example, a pop-out information acquisition unit in the present invention.
  • steps S150, S160, S170, S210, S220, S230, and S240 in the process executed by the processing unit 10 correspond to, for example, the state transition unit in the present invention.
  • step S260 in the process executed by the processing unit 10 in the above embodiment corresponds to, for example, the determination unit in the present invention.
  • step S170 in the process executed by the processing unit 10 in the above embodiment corresponds to, for example, the parameter acquisition unit in the present invention.
  • step S140 in the process executed by the processing unit 10 in the above embodiment corresponds to, for example, the cluster part in the present invention
  • step S145 in the process executed by the processing unit 10 in the above embodiment is described in the present invention.
  • step S145 in the process executed by the processing unit 10 in the above embodiment is described in the present invention.
  • step S145 in the process executed by the processing unit 10 in the above embodiment is described in the present invention.
  • a related information calculation unit corresponds to, for example, a related information calculation unit.
  • the process of S170 in the above embodiment corresponds to the duration acquisition means referred to in the present invention
  • the processes of S210 and S220 in the above embodiment correspond to the condition change means referred to in the present invention.
  • the processing of S230 and S240 in the above embodiment corresponds to the object state transition means referred to in the present invention
  • the processing of S260, S330 and S360 in the above embodiment corresponds to the output means referred to in the present invention.
  • the first identification information (the number of rectangular areas associated with the corresponding cluster rectangular area), the second identification information (maximum or average score in the corresponding cluster rectangular area), the third identification The information (dictionary file having the maximum reliability) and the fourth identification information (search method having the maximum reliability) correspond to, for example, likelihood-related information in the present invention.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Biology (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Electromagnetism (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

　物体検出装置における状態遷移部は、少なくとも１つの物体候補の情報を求める毎に、前記少なくとも１つの物体候補の情報が、該少なくとも１つの物体候補の検出対象物体に対する関連性に基づいて予め定められた複数の状態における、何れの状態に属するかを、所定の状態遷移条件に基づいて判断することにより、前記少なくとも１つの物体候補の情報を、複数の状態間で遷移させる。そして、判断部は、前記少なくとも１つの物体候補に対して対応付けられた状態がどのように遷移してきたかを表す遷移情報に基づいて、該少なくとも１つの物体候補が前記検出対象物体であるか否かを判断する。

Description

物体検出用方法および装置、ならびにコンピュータプログラム製品
　本発明は、車両の周囲に存在する検出対象の物体を検出するための装置およびコンピュータプログラム製品に関する。
　車両の周囲に存在する歩行者等の検出対象の物体（target　object）を検出するための装置が多く提案されている。例えば、このような方法を実行する装置の一例として、特許文献１に開示された装置がある。この装置は、検出対象の物体の形状を検出するときの検出しやすさを表す指標を求める。該装置は、前記指標の値が低い、すなわち、検出対象物体の形状が検出しにくい、ほど、車両周囲から検出された物体を検出対象物体と判定するための閾値を小さく設定する。これにより、検出対象物体の検出率を向上させることができる。
特許４９３７０２９号公報
　上記特許文献１に開示された装置は、上記閾値を用いて、車両周囲から検出された物体が検出対象物体か否かを判断している。このため、該閾値が小さく設定されると、車両周囲から検出された、検出対象物体である信頼度が低い対象物であっても、検出対象物体である判定されやすくなる。このため、検出対象物体ではない物体を検出対象物体であると判定する誤検出が増える虞があった。
　本開示の一態様は、このような問題点に対処できる物体検出方法および装置、ならびにコンピュータプログラム製品を提供するものである。すなわち、本開示の他の態様は、自車両の周囲に存在する検出対象となる物体をより精度よく検出できるようにする物体検出方法および装置、ならびにコンピュータプログラム製品を提供することを狙いとしている。
　本発明の第1の態様に関わる物体検出装置は、車両の周囲に存在する特定の種別の物体を検出対象物体として検出する物体検出装置である。この物体検出装置は、前記検出対象物体の候補となる、前記車両の周囲に存在する少なくとも１つの物体候補の少なくとも位置に基づく情報を繰り返し取得する取得部を備えている。また、物体検出装置は、前記少なくとも１つの物体候補の情報を求める毎に、前記少なくとも１つの物体候補の情報が、該少なくとも１つの物体候補の前記検出対象物体に対する関連性に基づいて予め定められた複数の状態における、何れの状態に属するかを、所定の状態遷移条件に基づいて判断することにより、該少なくとも１つの物体候補の情報を、前記複数の状態間で遷移させる状態遷移部を備えている。さらに、物体検出装置は、前記少なくとも１つの物体候補に対して対応付けられた状態がどのように遷移してきたかを表す遷移情報に基づいて、該少なくとも１つの物体候補が前記検出対象物体であるか否かを判断する判断部を備えている。
　本発明の第２の態様に関わるコンピュータプログラム製品は、車両の周囲に存在する特定の種別の物体を検出対象物体として検出するためのコンピュータが読み取り可能なコンピュータプログラム製品である。このコンピュータプログラム製品は、コンピュータに、
（１）前記検出対象物体の候補となる、前記車両の周囲に存在する少なくとも１つの物体候補の少なくとも位置に基づく情報を繰り返し取得する第1のステップと、
（２）前記少なくとも１つの物体候補の情報を求める毎に、前記少なくとも１つの物体候補の情報が、該少なくとも１つの物体候補の前記検出対象物体に対する関連性に基づいて予め定められた複数の状態における、何れの状態に属するかを、所定の状態遷移条件に基づいて判断することにより、該少なくとも１つの物体候補の情報を、前記複数の状態間で遷移させる第２のステップと、
（３）前記少なくとも１つの物体候補の情報を求める毎に、該少なくとも１つの物体候補に対して対応付けられた状態がどのように遷移してきたかを表す遷移情報に基づいて、該少なくとも１つの物体候補が前記検出対象物体であるか否かを判断する第３のステップと、
をそれぞれ実行させる。
　本発明の第３の態様に関わる物体検出方法は、車両の周囲に存在する特定の種別の物体を検出対象物体として検出する物体検出方法である。この物体検出方法は、
（１）前記検出対象物体の候補となる、前記車両の周囲に存在する少なくとも１つの物体候補の少なくとも位置に基づく情報を繰り返し取得する第1のステップと、
（２）前記少なくとも１つの物体候補の情報を求める毎に、前記少なくとも１つの物体候補の情報が、該少なくとも１つの物体候補の前記検出対象物体に対する関連性に基づいて予め定められた複数の状態における、何れの状態に属するかを、所定の状態遷移条件に基づいて判断することにより、該少なくとも１つの物体候補の情報を、前記複数の状態間で遷移させる第２のステップと、
（３）前記少なくとも１つの物体候補の情報を求める毎に、該少なくとも１つの物体候補に対して対応付けられた状態がどのように遷移してきたかを表す遷移情報に基づいて、該少なくとも１つの物体候補が前記検出対象物体であるか否かを判断する第３のステップと、
を備えている。
　本発明の第１～第３の態様は、検出対象物体の候補となる少なくとも１つの物体候補の情報が、前記少なくとも１つの物体候補の前記検出対象物体に対する関連性に基づいて予め定められた複数の状態間をどのように遷移したかを表す遷移情報に基づいて、該少なくとも１つの物体候補が検出対象物体であるか否か判定している。このため、従来の、単純な閾値を用いて検出物体を検出対象物体か否か判断する構成と比べて、本発明の第１～第３の態様は、検出対象物体をより高精度に検出することができる。
本発明の実施の形態に関わる物体検出装置の概略構成を示すブロック図である。 図1に示す処理部のＣＰＵが実行する対象物体検出処理の一例を示すフローチャートである。 図1に示すカメラにより撮影されたフレーム画像中の歩行者候補矩形の一例を示す図である。 クラスタ矩形領域としてまとめられた４つの歩行者候補矩形領域、および前記クラスタ矩形領域に付与される第１の識別情報を説明するための図。 クラスタ矩形領域としてまとめられた４つの歩行者候補矩形領域、および前記クラスタ矩形領域に付与される第２の識別情報を説明するための図。 クラスタ矩形領域としてまとめられた４つの歩行者候補矩形領域、および前記クラスタ矩形領域に付与される第３の識別情報を説明するための図。 クラスタ矩形領域としてまとめられた４つの歩行者候補矩形領域、および前記クラスタ矩形領域に付与される第４の識別情報を説明するための図。 対象物体検出処理により得られたクラスタ矩形領域の例を示す図。 ある追跡状態にある追跡対象クラスタが他の追跡状態に遷移するための条件の一例を示す表。 複数の追跡状態間の状態遷移の一例を示す図である。 追跡対象となる複数のクラスタ矩形領域の一例を示す図である。 図１１に示す複数のクラスタ矩形領域の内の１つのターゲットクラスタ矩形領域の追跡状態の経時的な遷移を、そのターゲットクラスタ矩形領域において飛び出し情報が検出されていない場合について示す図。 追跡対象となる複数のクラスタ矩形領域の一例を示す図であり、その内の１つのターゲットクラスタ矩形領域において飛び出し情報が検出されている場合について示す図。 図１３に示すターゲットクラスタ矩形領域の追跡状態の経時的な遷移を、そのターゲットクラスタ矩形領域において飛び出し情報が検出されている場合について示す図。
　以下に本発明にかかる実施の形態を図面と共に説明する。
　［実施形態の構成］
　本発明の実施形態に関わる物体検出装置１は、例えば乗用車等の車両Ｖに搭載されている。この物体検出装置１は、車両Ｖの周囲に存在する歩行者等の特定の種別の物体を、検出対象物体（target object）として検出する機能を備えている。物体検出装置１は、図１に示すように、処理部１０と、例えば撮像部を構成するカメラ２１と、複数のセンサ２２と、少なくとも１つの制御対象２６とを備えており、カメラ２１および少なくとも１つの制御対象２６は、通信可能に処理部１０に接続されている。
　カメラ２１は、車両Ｖの周囲の少なくとも一部である、例えば、車両Ｖから当該車両Ｖの進行方向に沿って設定される所定の検出領域の画像を撮像可能になっている。本実施形態では、カメラ２１は、車両Ｖの走行する道路前方の領域、および道路前方領域の両側の所定領域を含む範囲の画像を撮像可能になっている。このカメラ２１は、上記検出領域のフレーム画像を、予め設定された周期（例えば、３０　frames　per　second　(ｆｐｓ)、すなわち、１秒間に３０フレームの撮像レート）で撮像する周知のカメラとして構成されている。カメラ２１は、周期的に撮像されたフレーム画像を処理部１０に送る。
　複数のセンサ２２は、車両Ｖの位置情報および速度情報を取得する公知のセンサ、車両Ｖの周囲の物体（先行車、歩行者等）の位置情報および速度情報（例えば、車両Ｖに対する相対速度情報）等を取得する公知のセンサを含んでいる。
　少なくとも１つの制御対象２６は、処理部１０から、検出対象物体に関する情報が送られてくると、必要に応じて、この検出対象物体と車両Ｖとの衝突を回避する動作、または衝突による衝撃を緩和させる動作を行うデバイスである。例えば、制御対象２６は、車両Ｖのブレーキおよび操舵装置をそれぞれ作動させる第１および第２のアクチュエータを含んでいる。第１および第２のアクチュエータはそれぞれ、対応するブレーキおよび操舵装置を作動させることで、検出対象物体との衝突を回避し、または万が一車両Ｖが検出対象物体に衝突した場合でも、その衝突の際の衝撃を緩和させる。
　処理部１０は、例えば、コンピュータ回路として構成されており、ＣＰＵ１１と、ＲＯＭ、ＲＡＭ等のメモリ１２とを備えている。このメモリ１２は、例えば、コンピュータ、すなわち、ＣＰＵ、が読み取り可能な非過渡的な記憶媒体を含んでいる。ＣＰＵ１１は、メモリ１２に格納されたプログラム、すなわち、プログラム命令ＰＩに基づいて、後述する対象物体検出処理等の各種処理を実施する。
　［本実施形態の処理］
　このように構成された物体検出装置１において、処理部１０は、図２に示す対象物体検出処理を実施する。対象物体検出処理は、カメラ２１により撮像されたフレーム画像から、検出対象物体を検出する。対象物体検出処理は、車両Ｖがこの検出された検出対象物体と衝突する虞があるか否か判断する。車両Ｖが検出対象物体と衝突する恐れがあると判断した場合に、対象物体検出処理は、制御対象２６を作動させる。
　なお、本実施形態は、検出対象物体として歩行者を検出する対象物体検出処理について説明する。本実施形態の対象物体検出処理は、例えば車両Ｖの電源が投入されると開始され、その後、繰り返し実施される処理である。
　対象物体検出処理を開始すると、処理部１０は、図２に示すように、まず、歩行者候補抽出処理およびクラスタリング処理を実施する（Ｓ１１０～Ｓ１４０）。この情報取得処理では、処理部１０は、カメラ２１により周期的に撮像され、該カメラ２１から周期的に送られてくるフレーム画像を取得する（Ｓ１１０）。続いて、処理部１０は、今回取得したフレーム画像、および今回よりも過去に取得した少なくとも１枚のフレーム画像に基づいて飛び出し検出処理を行う（Ｓ１２０）。
　この飛び出し検出方法として、処理部１０は、ステップＳ１２０において、例えば、特開２０１４－０２９６０４号公報に記載されている手法を用いる。すなわち、処理部１０は、複数のフレーム画像の内、今回取得したフレーム画像（例えば、Iｎとする）と、今回よりも過去に取得した少なくとも１枚のフレーム画像（Iｎ－１、Iｎ－２ ・・）とを用いて、該フレーム画像Iｎ、Iｎ－１、Iｎ－２ ・・中において、互いに対応する複数の特徴点を抽出する。処理部１０は、抽出した各特徴点におけるオプティカルフローを算出する。処理部１０は、算出したオプティカルフローに基づいて、車両Ｖの予測される走行領域（例えば、走行道路上の走行車線前方）に飛び出してくる確率が所定値よりも高い少なくとも１つの物体があるか否か判断する。なお、車両Ｖの予測される走行領域は、今回撮像されたフレーム画像に基づいて、推定することができる。
　例えば、処理部１０は、算出したオプティカルフローに基づいて、該オプティカルフローに基づく例えば複数の物体が車両Ｖの予測される走行領域に進入する角度を求める。そして、処理部１０は、この角度に基づいて、該複数の物体が車両Ｖの予測される走行領域に飛び出してくる確率を求める。
　この判断の結果、車両Ｖの予測される走行領域に飛び出してくる確率が所定値よりも高い少なくとも１つの物体があると判断された場合、処理部１０は、今回得られたフレーム画像空間に対応して設定された座標空間上における上記少なくとも１つの物体を飛び出し物体とし、この飛び出し物体の位置座標を、飛び出し情報として、該飛び出し物体の識別情報と対応付けてメモリ１２に記憶する。なお、上記飛び出し物体の位置座標は、該飛び出し物体全体を包含する例えば矩形領域全体の座標でもよいし、該飛び出し物体における代表する１つの特徴点の位置座標でもよい。
　なお、処理部１０は、公知のパターン識別処理等を用いて、フレーム画像Iｎ、Iｎ－１、Iｎ－２ ・・中に含まれる物体の種別を特定し、この特定した種別の物体に対して、オプティカルフローを用いて飛び出し判定を行うことも可能である。この点、上述したステップＳ１２０で用いられた飛び出し検出処理は、少なくとも１つの物体の飛び出しの有無を、その種別を特定することなく判断することができる。このため、ステップＳ１２０で用いられた飛び出し検出処理は、当該飛び出し検出処理を簡素かつ高速で行えるというメリットを有している。
　続いて、処理部１０は、今回取得したフレーム画像、すなわち、カメラ２１から今回送られてきたフレーム画像から、検出対象物体の候補、すなわち、歩行者らしい物体を検出する（Ｓ１３０）。このステップＳ１３０の処理は、今回得られたフレーム画像中から、予め用意された検出手法を用いて、検出対象物体である歩行者の候補が含まれる矩形の領域を示す多数の矩形領域（歩行者候補矩形領域）を検出する。
　そして、処理部１０は、多数の歩行者候補矩形領域において、互いに位置および／またはサイズが類似する歩行者候補矩形領域のグループを関連付け、１つの代表的なクラスタ矩形領域にまとめる（クラスタリングする）（Ｓ１４０）。
　なお、本実施形態では、検出対象物体である歩行者を含む多数のフレーム画像から、各フレーム画像中における歩行者を表す画素値のパターン、すなわち、フレーム画像中における歩行者の特徴的な画像パターンが予め学習されており、この学習パターンが予め辞書ファイルとしてメモリ１２に記憶されている。例えば、本実施形態では、歩行者の上半身および下半身を含む全身の形状に基づく特徴的な画像パターンが辞書ファイルＦ１としてメモリ１２に記憶されている。また、例えば、本実施形態では、歩行者の上半身の形状に基づく特徴的な画像パターンが辞書ファイルＦ２として、メモリ１２に記憶されている。さらに、本実施形態では、歩行者の下半身の形状に基づく特徴的な画像パターンが辞書ファイルＦ３として、メモリ１２に記憶されている。
　本実施形態では、第１～第４の検出手法が予め用意されている。本実施形態に関わる検出手法は、上記辞書ファイルＦ１～Ｆ３の内の少なくとも１つを用いて、今回得られたフレーム画像から歩行者候補矩形領域を検出している。このため、例えば、図３に示すように、本実施形態に関わる検出手法において、実際の歩行者Ｐ１およびＰ２に対応して検出された歩行者候補矩形領域Ｒ１（Ｐ１）～Ｒｎ（Ｐ１）およびＲ１（Ｐ２）～Ｒｍ（Ｐ２）の数は、非歩行者である例えば、樹木や標識に対して誤って設定された歩行者候補矩形領域ＲＷの数よりも、大きくなる。
　なお、辞書ファイルＦ１～Ｆ３には、歩行者検出に関するそれぞれの信頼度が設定されており、例えば、辞書ファイルＦ１が最も信頼度が高く、次いで辞書ファイルＦ２の信頼度が高く、次に辞書ファイルＦ３の信頼度となっている。つまり、辞書ファイルＦ１を用いて求められたある矩形領域は、辞書ファイルＦ２を用いて求められたある矩形領域よりも、歩行者に対応する矩形領域である信頼度が高くなっている。
　本実施形態に関わる検出手法は、多数の歩行者候補矩形領域から、複数のクラスタ矩形領域を求めた後、各クラスタ矩形領域に対して、異なる識別情報を付与している。すなわち、本実施形態に関わる検出手法は、以下の第１～第８のステップを含む。
　第１のステップは、予め定められたサイズの検出用（探索用）矩形ウインドウを用いて今回取得したフレーム画像上を走査、すなわち、探索する。なお、本実施形態では、今回取得したフレーム画像上の走査、すなわち、探索は、複数の探索方法を用いて行うことができる。
　例えば、本実施形態では、一例として、第１～第３の探索方法ＳＭ１～ＳＭ３を用いることができる。
　第１の探索方法ＳＭ１は、今回のフレーム画像における、該今回のフレーム画像よりも前に撮像されたフレーム画像、例えば、直前のフレーム画像、に対して得られた歩行者候補矩形領域およびその周辺の領域上において、検出用矩形ウインドウを所定ピクセルずつ移動させて走査するとともに、それぞれの走査位置における検出用矩形ウインドウ内の画素値のパターン、すなわち、検出用矩形ウインドウ内の画像の特徴パターンを求める。
　第２の探索方法ＳＭ２は、今回のフレーム画像よりも前に撮像されたフレーム画像、例えば、直前のフレーム画像において、ステップＳ１２０の処理により飛び出し情報が検出されていた場合、今回のフレーム画像における、飛び出し情報に対応する位置およびその周辺の領域上において、検出用矩形ウインドウを所定ピクセルずつ移動させて走査するとともに、それぞれの走査位置における検出用矩形ウインドウ内の画素値のパターン、すなわち、検出用矩形ウインドウ内の画像の特徴パターンを求める。
　第３の探索方法ＳＭ３は、検出用矩形ウインドウを、今回取得したフレーム画像上において、初期走査位置であるその左上のコーナー部から右下のコーナー部に到達するまで、矩形ウインドウを、行方向および列方向に所定ピクセルずつ交互に移動させながら走査するとともに、それぞれの走査位置における検出用矩形ウインドウ内の画素値のパターン、すなわち、検出用矩形ウインドウ内の画像の特徴パターンを求める。
　第１～第３の探索方法ＳＭ１～ＳＭ３には、歩行者検出に関するそれぞれの信頼度が設定されており、例えば、第１の探索方法ＳＭ１が最も信頼度が高く、次いで第２の探索方法ＳＭ２の信頼度が高く、次に第３の探索方法ＳＭ３の信頼度となっている。つまり、第１の探索方法ＳＭ１を用いて求められたある矩形領域は、第２の探索方法ＳＭ２を用いて求められたある矩形領域よりも歩行者に対応する矩形領域である信頼度が高くなっている。
　第２のステップは、第１のステップにおいて、検出用矩形ウインドウの走査位置毎にそれぞれ得られた特徴パターンと、上記複数の辞書ファイルＦ１～Ｆ３の内の少なくとも１つの辞書ファイルに含まれる多数の特徴パターンとの類似度を求める。なお、この類似度のことを、スコアともいう。
　例えば、検出用矩形ウインドウとして、歩行者全体を含むサイズの検出用矩形ウインドウを用いた場合、例えば、第２のステップは、辞書ファイルＦ１を用いて類似度を求めている。また、検出用矩形ウインドウとして、歩行者の上半身のサイズの検出用矩形ウインドウを用いた場合、例えば、第４のステップは、辞書ファイルＦ２を用いて類似度を求めている。
　第３のステップは、第２のステップにおいて求めた一致度が所定の第１の閾値以上であった複数の走査位置における検出用矩形ウインドウを、歩行者候補矩形領域とする。
　なお、上記第１～第３のステップ（ステップＳ１３０に対応）は、検出用矩形ウインドウのサイズを所定のサイズとしたが、本実施形態に関わる検出手法はこれに限定されるものではなく、異なるサイズの検出用矩形ウインドウを用いてもよい。この場合、本実施形態に関わる検出手法は、それぞれのサイズの検出用矩形ウインドウ毎に、上記第１～第３のステップを行うことにより、多数の検出用矩形ウインドウを、歩行者候補矩形領域として検出することができる。
　次いで、本実施形態に関わる検出手法は、第４のステップとして、第３のステップにおいて求められた多数の歩行者候補矩形領域において、互いに位置および／またはサイズが類似する歩行者候補矩形領域のグループを関連付け、関連付けられた歩行者候補矩形領域の中から、１つの代表的なクラスタ矩形領域を選択する。この結果、多数の歩行者候補矩形領域は、代表的な複数のクラスタ矩形領域にまとめられることになる（ステップＳ１４０）。
　そして、本実施形態に関わる検出手法は、第５のステップとして、各クラスタ矩形領域に対し、第１の識別情報、すなわち尤度関連情報として、対応するクラスタ矩形領域に関連付けられた矩形領域の数を付与する（ステップＳ１４５）。
　例えば、図４は、クラスタ矩形領域ＣＲとしてまとめられた４つの歩行者候補矩形領域Ｒ１～Ｒ４を示している。すなわち、このクラスタ矩形領域ＣＲには、検出矩形領域数である４が第１の識別情報として付与される。
　次いで、本実施形態に関わる検出手法は、第６のステップとして、各クラスタ矩形領域に関連付けられた複数の矩形領域それぞれの類似度、すなわちスコアの最大値および平均値を最大スコアおよび平均スコアとして求め、この最大スコアおよび平均スコアを、対応するクラスタ矩形領域に対する第２の識別情報、すなわち尤度関連情報として付与する（ステップＳ１４５）。なお、本実施形態では、平均スコアを第２の識別情報として用いる。
　スコアが高い矩形領域は、実際に歩行者が含まれている領域である信頼度が高いことを意味する。
　例えば、図５は、上記クラスタ矩形領域ＣＲとしてまとめられた４つの歩行者候補矩形領域Ｒ１～Ｒ４、および該歩行者候補矩形領域Ｒ１～Ｒ４それぞれのスコア（0.9、0.1、-0.3、0.2）を示している。すなわち、このクラスタ矩形領域ＣＲには、最大スコアである0.9および平均スコアである0.225が第２の識別情報として付与される。
　次いで、本実施形態に関わる検出手法は、第７のステップとして、各クラスタ矩形領域に関連付けられた複数の歩行者候補矩形領域それぞれの類似度を求める際に用いた複数の辞書ファイルの中で最大の信頼度を有する辞書ファイルを、対応するクラスタ矩形領域に対する第３の識別情報、すなわち尤度関連情報として付与する（ステップＳ１４５）。
　例えば、図６は、クラスタ矩形領域ＣＲとしてまとめられた４つの歩行者候補矩形領域Ｒ１～Ｒ４、および該歩行者候補矩形領域Ｒ１～Ｒ４それぞれに対応する辞書ファイル（Ｆ１、Ｆ１、Ｆ２、Ｆ３）を示している。すなわち、このクラスタ矩形領域ＣＲには、最大の信頼度を有する辞書ファイルＦ１が第３の識別情報として付与される。
　さらに、本実施形態に関わる検出手法は、第８のステップとして、各クラスタ矩形領域に関連付けられた複数の歩行者候補矩形領域をそれぞれ求める際に用いた探索方法の中で最大の信頼度を有する探索方法を、対応するクラスタ矩形領域に対する第４の識別情報、すなわち尤度関連情報として付与する（Ｓ１４５）。
　例えば、図７は、クラスタ矩形領域ＣＲとしてまとめられた４つの歩行者候補矩形領域Ｒ１～Ｒ４、および該歩行者候補矩形領域Ｒ１～Ｒ４それぞれに対応する探索方法（ＳＭ２、ＳＭ２、ＳＭ３、ＳＭ２）を示している。すなわち、このクラスタ矩形領域ＣＲには、最大の信頼度を有する探索方法ＳＭ２が第４の識別情報として付与される。
　なお、上記本実施形態に関わる検出手法において、カメラ２１により得られたフレーム画像毎に歩行者候補矩形領域を求める際には、上記類似度（スコア）を算出できる公知の識別器を例えば複数個組み合わせて用いることができる。この各識別器としては、例えば公知のサポートベクターマシーン（SVM:　Support　vector　machine）を用いることができる。また、検出用矩形ウインドウ内の画像の特徴パターンとしては、例えば、公知のエッジ勾配のヒストグラム（HOG:　Histograms　of　Oriented　Edges）、すなわち、HOG特徴量や、Haar-like特徴量等を用いることができる。
　上述したように、処理部１０は、本実施形態に関わる検出手法を実行することにより、ステップＳ１４０において、検出された多数の歩行者候補矩形領域において、互いに位置および／またはサイズが類似する歩行者候補矩形領域のグループを関連付け、１つの代表的なクラスタ矩形領域にクラスタリングしている。
　グループ毎にクラスタ矩形領域を決定すると、処理部１０は、今回のフレーム画像空間に対応する座標空間における各グループのクラスタ矩形領域の位置座標を、第１～第４の識別情報に関連付けてメモリ１２に記憶する（ステップＳ１４５）。
　例えば、図８に示すように、破線枠で示された、グループ化された複数の歩行者候補矩形領域Ｒ１１は、実線枠で示された、１つのクラスタ矩形領域ＣＲ１１として表すことができる。同様に、破線枠で示された、グループ化された複数の歩行者候補矩形領域Ｒ１２は、実線枠で示された、１つのクラスタ矩形領域ＣＲ１２として表すことができる。
　続いて、処理部１０は、ステップＳ１４０において検出した、例えば複数のクラスタ矩形領域（検出クラスタ）が、現在追跡している、例えば複数のクラスタ矩形領域（追跡対象クラスタ）と対応関係にあるか否かを判断する（ステップＳ１５０）。具体的には、処理部１０は、ステップＳ１４０において検出した各クラスタ矩形領域の座標位置が、現在追跡している複数の追跡対象クラスタにおける何れかの追跡対象クラスタの座標位置に近接する否かを判断する処理を行う（Ｓ１５０）。
　このステップＳ１５０の判断の結果がＮＯの場合（ステップＳ１５０→ＮＯ）、処理部１０は、ステップＳ１４０において検出した複数のクラスタ矩形領域の中に、新たな追跡対象となるクラスタ矩形領域（新追跡対象クラスタ）であると判断する。この判断の結果、今回の対象物体検出処理、すなわち、今回のフレーム画像に対する対象物体検出処理は、ステップＳ４００の処理に移行する。
　ステップＳ４００において、処理部１０は、新追跡対象クラスタの現在の追跡状態を新規追跡状態とする。そして、処理部１０は、新追跡対象クラスタの追跡状態として、新規追跡状態を、該新追跡対象クラスタの識別情報および座標位置に対応付けてメモリ１２に記憶する。次いで、処理部１０は、ステップＳ１１０の処理に戻り、カメラ２１から送られてくるフレーム画像に基づいて、ステップＳ１１０～Ｓ３３０の処理を実行する。
　一方、ステップＳ１５０において、第１の判断処理および第２の判断処理の両方ともＹＥＳの場合（ステップＳ１５０→ＹＥＳ）、処理部１０は、ステップＳ１４０において検出した各クラスタ矩形領域は、前回の対象物体検出処理、すなわち、前回のフレーム画像に対する対象物体検出処理、において追跡している追跡対象クラスタと対応していると判断する。この判断の結果、今回の対象物体検出処理は、ステップＳ１６０の処理に移行する。
　なお、図９に示すように、クラスタ矩形領域に対する追跡状態としては、上記初期追跡状態に加えて、予め次の３状態（追跡状態Ａ、追跡状態Ｂ、追跡状態Ｃ）が準備されている。そして、本実施形態では、各追跡状態にある追跡対象クラスタが他の追跡状態に遷移するための条件が、例えば、図９に示すように、予め設定され、例えばメモリ１２内、および／または対象物体検出処理のプログラム内に組み込まれている。新規追跡状態を除いた場合、追跡状態Ａのクラスタ矩形領域に対応する歩行者候補が実際に歩行者である尤度が最も高く、次いで、追跡状態Ｂのクラスタ矩形領域に対応する歩行者候補が実際に歩行者である尤度が高く、追跡状態Ｃのクラスタ矩形領域に対応する歩行者候補が実際に歩行者である尤度は、追跡状態Ｂのクラスタ矩形領域に対応する歩行者候補が実際に歩行者である尤度よりも低く設定されている。すなわち、追跡状態Ａ、追跡状態Ｂ、追跡状態Ｃは、その対応する尤度の順番は、高い順に、追跡状態Ａ、追跡状態Ｂ、追跡状態Ｃとなっている。
　図９に示すように、前回の対象物体検出処理において新規追跡状態であったクラスタ矩形領域は、今回の対象物体検出処理において、その第１の識別情報の値（すなわち、検出矩形領域の数、Ｎとする）が第１の閾値ＴＨ１よりも大きくなったと仮定する。このとき、前回の対象物体検出処理時において新規追跡状態であったクラスタ矩形領域は、今回の対象物体検出処理時においては、追跡状態Ａに遷移したと判断される。
　同様に、前回の対象物体検出処理において追跡状態Ａであったクラスタ矩形領域は、今回の対象物体検出処理において、その第１の識別情報の値Ｎが第２の閾値ＴＨ２よりも大きく、その第２の識別情報の値（すなわち、平均スコア、ＡＳとする）が第３の閾値ＴＨ３よりも大きく、かつその第３の識別情報の値（すなわち、最大の信頼度を有する辞書ファイル、Ｆ）が辞書ファイルＦ３以外であると仮定する。このとき、前回の対象物体検出処理時において追跡状態Ａであったクラスタ矩形領域は、今回の対象物体検出処理時においても、追跡状態Ａである（つまり、追跡状態Ａを維持している）と判断される。
　なお、図９に示すように、上記仮定した条件は、論理演算子を用いると次のように表すことができる。
Figure JPOXMLDOC01-appb-I000001
　ここで、論理演算子＆＆は、論理積を示し、論理演算子！＝は、両辺が等しくないことを示す。
　一方、前回の対象物体検出処理において追跡状態Ａであったクラスタ矩形領域は、今回の対象物体検出処理において、その第１の識別情報の値Ｎが第２の閾値ＴＨ２以下であるか、その第２の識別情報の値ＡＳが第３の閾値ＴＨ３以下であるか、あるいは、その第３の識別情報の値Ｆが辞書ファイルＦ３であると仮定する。このとき、前回の対象物体検出処理時において追跡状態Ａであったクラスタ矩形領域は、今回の対象物体検出処理時において、追跡状態Ｂに遷移したと判断される。
　なお、図９に示すように、上記仮定した条件は、論理演算子を用いると次のように表すことができる。
Figure JPOXMLDOC01-appb-I000002
　なお、論理演算子||は、論理和を示し、論理演算子＝＝は、両辺が等しいことを示す。
　また、前回の対象物体検出処理において追跡状態Ａであったクラスタ矩形領域に対応するクラスタ矩形領域が、今回の対象物体検出処理において、存在しないと仮定する。このとき、前回の対象物体検出処理時において追跡状態Ａであったクラスタ矩形領域は、今回の対象物体検出処理時において、追跡状態Ｃに遷移したと判断される。
　前回の対象物体検出処理において追跡状態Ｂであったクラスタ矩形領域は、今回の対象物体検出処理において、その第１の識別情報の値が第４の閾値ＴＨ４より大きく、かつその第２の識別情報の値が第５の閾値ＴＨ５より大きいと仮定する。このとき、前回の対象物体検出処理時において追跡状態Ｂであったクラスタ矩形領域は、今回の対象物体検出処理時において、追跡状態Ａに遷移したと判断される。なお、上記条件である第１の識別情報の値が第４の閾値ＴＨ４より大きく、かつその第２の識別情報の値が第５の閾値ＴＨ５より大きいという条件を、追跡状態Ａ遷移条件とする。
　また、前回の対象物体検出処理において追跡状態Ｂであったクラスタ矩形領域が、今回の対象物体検出処理においても存在するが、上記追跡状態Ａ遷移条件を満足しない場合、前回の対象物体検出処理時において追跡状態Ｂであったクラスタ矩形領域は、今回の対象物体検出処理時においても、追跡状態Ｂである（つまり、追跡状態Ｂを維持している）と判断される。
　一方、前回の対象物体検出処理において追跡状態Ｂであったクラスタ矩形領域に対応するクラスタ矩形領域が、今回の対象物体検出処理において、存在しないと仮定する。このとき、前回の対象物体検出処理時において追跡状態Ｂであったクラスタ矩形領域は、今回の対象物体検出処理時において、追跡状態Ｃに遷移したと判断される。
　前回の対象物体検出処理において追跡状態Ｃであったクラスタ矩形領域が、今回の対象物体検出処理においても存在する場合、前回の対象物体検出処理時において追跡状態Ｃであったクラスタ矩形領域は、今回の対象物体検出処理時において、追跡状態Ｂに遷移したと判断される。
　一方、前回の対象物体検出処理において追跡状態Ｃであったクラスタ矩形領域に対応するクラスタ矩形領域が、今回の対象物体検出処理において、存在しないと仮定する。このとき、前回の対象物体検出処理時において追跡状態Ｃであったクラスタ矩形領域は、今回の対象物体検出処理時においても、追跡状態Ｃである（つまり、追跡状態Ｃを維持している）と判断される。
　なお、新規追跡状態は、ステップＳ１４０で検出されたクラスタ矩形領域が新追跡対象クラスタであると判断された場合に、その新追跡対象クラスタに設定される特殊な状態である。
　なお、第２の閾値ＴＨ２は、第１および第４の閾値ＴＨ１およびＴＨ４よりも大きい値に設定され、また、第４の閾値ＴＨ４は、第１の閾値ＴＨ１よりも大きい値に設定されている。また、第３の閾値ＴＨ３は、第５の閾値ＴＨ５よりも大きい値に設定されている。
　また、図９に示すように、各追跡状態にある追跡対象クラスタは、対応する所定の条件を満たすと消滅するように設定されている。つまり、各追跡状態にある追跡対象クラスタは、対応する所定の条件を満たすと、該追跡対象クラスタに対する追跡が終了される。
　例えば、前回の対象物体検出処理において新規追跡状態であったクラスタ矩形領域が、今回の対象物体検出処理において、その第１の識別情報の値が第１の閾値ＴＨ１以下になったと仮定する。このとき、前回の対象物体検出処理時において新規追跡状態であったクラスタ矩形領域は、今回の対象物体検出処理時においては、消滅したと判断される。
　また、過去４回のフレーム画像に対する対象物体検出処理（過去４回の対象物体検出処理）において、追跡状態Ｂあるいは追跡状態Ｃであり、かつ前回のフレーム画像に対する対象物体検出処理において追跡状態Ｂであると判断されたクラスタ矩形領域が、今回の対象物体検出処理において、さらに追跡状態Ｂあるいは追跡状態Ｃであったと仮定する。このとき、前回の対象物体検出処理時において追跡状態Ｂであったクラスタ矩形領域は、今回の対象物体検出処理時においては、消滅したと判断される。
　さらに、前回のフレーム画像に対する対象物体検出処理において追跡状態Ｃであると判断されたクラスタ矩形領域が、今回の対象物体検出処理において、さらに追跡状態Ｃであったと仮定する。このとき、前回の対象物体検出処理時において追跡状態Ｃであったクラスタ矩形領域は、今回の対象物体検出処理時においては、消滅したと判断される。
　図１０は、上述した追跡状態（新規追跡状態、追跡状態Ａ、追跡状態Ｂ、追跡状態Ｃ、消滅）間の状態遷移の一例を表す図である。
　なお、本実施形態においては、各追跡状態にある追跡対象クラスタが状態遷移をする場合、尤度が上位となる追跡状態への遷移条件は厳しく、尤度が下位となる追跡状態への遷移条件は緩く設定されている。
　さらに、本実施形態では、過去２回のフレーム画像に対する対象物体検出処理において、追跡状態Ａと判断されたクラスタ矩形領域が、今回の対象物体検出処理において、さらに追跡状態Ａであったと仮定する。つまり、継続して３回のフレーム画像に対する対象物体検出処理において、クラスタ矩形領域が追跡状態Ａと判断された場合、このクラスタ矩形領域に対応する歩行者候補は、歩行者であると確定されるように構成されている（後述するステップＳ２６０参照）。なお、この継続して３回のフレーム画像に対する対象物体検出処理において、クラスタ矩形領域が追跡状態Ａと判断されるという条件、すなわち、対応するクラスタ矩形領域に基づく歩行者候補が歩行者として確定される条件(判定条件)を、歩行者確定条件とする。このとき、上記追跡状態Ａが継続される回数である３回を、対象物体検出処理における回数閾値とする。
　また、各追跡状態にある追跡対象クラスタが状態遷移をする場合、尤度が上位への遷移は１段階ずつしかできない一方、尤度が下位への遷移については無制限に遷移できるよう設定されている。
　例えば、ステップＳ１４０において複数のクラスタ矩形領域が検出されている場合、処理部１０は、該クラスタ矩形領域毎に、ステップＳ１６０～Ｓ３３０の処理を実行する。以下、ステップＳ１４０において検出した複数のクラスタ矩形領域における１つのクラスタ領域をターゲットクラスタ矩形領域とし、このターゲットクラスタ矩形領域に対するステップＳ１６０～Ｓ３３０の処理について説明する。
　ステップＳ１６０において、処理部１０は、ターゲットクラスタ矩形領域の第１～第４の識別情報をメモリ１２から読み出す。次いで、ステップＳ１７０において、処理部１０は、ターゲットクラスタ矩形領域に対応する追跡対象クラスタにおける、前回の対象物体検出処理の後述するステップＳ２５０で更新されてメモリ１２に記憶された追跡状態、およびその追跡状態の継続回数を、メモリ１２から読み出す。
　続いて、処理部１０は、ターゲットクラスタ矩形領域に対して、飛び出し情報が設定されているか否か判断する（ステップＳ２１０）。
　すなわち、処理部１０は、ターゲットクラスタ矩形領域の位置座標と、ステップＳ１２０において検出され、メモリ１２に記憶された飛び出し物体の飛び出し情報における位置座標とを比較し、この比較結果に基づいて、ターゲットクラスタ矩形領域の位置座標と、メモリ１２に記憶された飛び出し物体の飛び出し情報との間に相関関係があるか否か判断する。
　この比較の結果、ターゲットクラスタ矩形領域の位置座標と、メモリ１２に記憶された飛び出し物体の飛び出し情報と相関関係が無い場合（ステップＳ２１０の判断の結果ＮＯ）、対象物体検出処理は、後述するステップＳ２３０の処理に移行する。
　一方、上記比較の結果、ターゲットクラスタ矩形領域の位置座標と、メモリ１２に記憶された少なくとも１つの物体の飛び出し情報との間に相関関係がある場合（ステップＳ２１０の判断の結果ＹＥＳ）、処理部１０は、ターゲットクラスタ矩形領域に対応する歩行者候補は、飛び出し物体であると判定する。そして、処理部１０は、ターゲットクラスタ矩形領域の追跡状態を遷移させるための遷移条件、および／またはターゲットクラスタ矩形領域に対する歩行者確定条件を変更する（ステップＳ２２０）。
　例えば、ターゲットクラスタ矩形領域に対応する歩行者候補が飛び出し物体であると判定した場合、処理部１０は、ターゲットクラスタ矩形領域の追跡状態を遷移させるための遷移条件、および／またはターゲットクラスタ矩形領域に対する歩行者確定条件を、現在の条件よりも緩くなるように、すなわち、歩行者と判定されやすくなるように、変更する（ステップＳ２２０）。具体的には、処理部１０は、上述した第１～第５の閾値ＴＨ１～ＴＨ５を小さな値に変更したり、あるいは、上記歩行者確定条件の閾値を、予め定められた値（３回）から、小さい値に変更する（ステップＳ２２０）。
　なお、ステップＳ２２０の処理は、ステップＳ２１０の判断処理において肯定判定された場合だけ実行される。すなわち、仮に、前回のフレーム画像に対する対象物体検出処理においてステップＳ２１０が肯定され、ステップＳ２２０の処理が実行された場合でも、今回のフレーム画像に対する対象物体検出処理においてステップＳ２１０が否定された場合には、ターゲットクラスタ矩形領域の追跡状態を遷移させるための遷移条件、および／またはターゲットクラスタ矩形領域に対する歩行者確定条件の値は、変更前の値となる。
　続いて、処理部１０は、ステップＳ１６０において読み出されたターゲットクラスタ矩形領域の第１～第４の識別情報、およびステップＳ１７０で読み出されたターゲットクラスタ矩形領域に対応する追跡対象クラスタの追跡状態（すなわち、前回の追跡状態）に基づいて、ターゲットクラスタ矩形領域の第１～第４の識別情報の少なくとも一部が、前回の追跡状態における遷移条件を満足するか否か判断する（ステップＳ２３０）。
　例えば、上述したように、処理部１０は、前回の追跡状態が追跡状態Ａ～Ｃの何れである場合、その前回の追跡状態に対応する遷移条件（図９参照）を、ターゲットクラスタ矩形領域の第１～第３の識別情報、あるいは第１および第２の識別情報が満足するか否か判断する（ステップＳ２３０）。
　なお、図９では、前回の追跡状態に対応する遷移条件（図９参照）は、ターゲットクラスタ矩形領域の第１～第３の識別情報、あるいは第１および第２の識別情報に基づいて設定されているが、本発明は、上記に限定されるものではない。すなわち、本発明では、前回の追跡状態に対応する遷移条件（図９参照）を、ターゲットクラスタ矩形領域の第１～第４の識別情報の内の少なくとも1つを用いて設定することが可能である。また、第２の識別情報としては、平均スコアではなく、最大スコアを用いてもよい。
　また、上述したように、処理部１０は、前回の追跡状態が新規追跡状態である場合、その前回の追跡状態に対応する遷移条件（図９参照）を、ターゲットクラスタ矩形領域の第１の識別情報が満足するか否か判断する（ステップＳ２３０）。
　ターゲットクラスタ矩形領域の第１～第４の識別情報の少なくとも一部が、前回の追跡状態における遷移条件を満足していない場合（ステップＳ２３０の判断の結果ＮＯ）、対象物体検出処理は、後述するステップＳ２５０の処理に移行する。一方、ターゲットクラスタ矩形領域の第１～第４の識別情報の少なくとも一部が、前回の追跡状態における遷移条件を満足している場合（ステップＳ２３０の判断の結果ＹＥＳ）、処理部１０は、ターゲットクラスタ矩形領域の今回の追跡状態を、前回の追跡状態から、上記遷移条件に対応する追跡状態に変更する（ステップＳ２４０）。
　続いて、処理部１０は、ターゲットクラスタ矩形領域の今回の追跡状態の継続回数を更新する（ステップＳ２５０）。すなわち、処理部１０は、ターゲットクラスタ矩形領域の今回の追跡状態が、前回の追跡状態と変化していなければ、メモリ１２に記憶されている、ターゲットクラスタ矩形領域の追跡状態の継続回数を１インクリメントして更新する（ステップＳ２５０）。一方、ターゲットクラスタ矩形領域の今回の追跡状態が、前回の追跡状態に対して変化していれば、処理部１０は、今回の追跡状態の継続回数を１に設定し、メモリ１２に記憶する（ステップＳ２５０）。
　このターゲットクラスタ矩形領域の今回の追跡状態の継続回数は、該ターゲットクラスタ矩形領域がある追跡状態に遷移してから、同一の追跡状態が継続される時間を表すパラメータである。
　ステップＳ２５０の処理後、処理部１０は、ターゲットクラスタ矩形領域に対応する歩行者候補が歩行者を表しているか否かを、該ターゲットクラスタ矩形領域の今回の追跡状態が追跡状態Ａであり、かつ継続回数が回数閾値（３回）に到達しているか否かに基づいて判断する（ステップＳ２６０）。
　ターゲットクラスタ矩形領域の今回の追跡状態が追跡状態Ａであり、かつ継続回数が回数閾値（３回）に到達している場合、処理部１０は、該ターゲットクラスタ矩形領域に対応する歩行者候補が歩行者を表していると結論付ける（ステップＳ２６０）。
　一方、ターゲットクラスタ矩形領域の今回の追跡状態が消滅を示している場合、処理部１０は、該ターゲットクラスタ矩形領域に対応する歩行者候補は歩行者を表していないと結論付ける（ステップＳ２６０）。
　さらに、ターゲットクラスタ矩形領域の今回の追跡状態が追跡状態Ａおよび消滅以外の状態であるか、あるいは追跡状態Ａであっても、その継続回数が回数閾値（３回）に到達していない場合、処理部１０は、該ターゲットクラスタ矩形領域に対応する歩行者候補が歩行者であるか否かの判定が未確定であるとする（ステップＳ２６０）。
　ステップＳ２６０の判断が完了すると、処理部１０は、ターゲットクラスタ矩形領域に対応する歩行者候補は歩行者であるか、あるいは歩行者を表していないと結論付けられているか否かを判断する（ステップＳ３３０）。
　ステップＳ３３０の判断の結果、ターゲットクラスタ矩形領域に対応する歩行者候補が歩行者であるか、あるいは歩行者を表していないと結論付けられているか否か結論付けられていない場合（ステップＳ３３０の判断の結果ＮＯ）、処理部１０は、ステップＳ１１０の処理に戻り、カメラ２１から送られてくるフレーム画像に基づいて、ステップＳ１１０～Ｓ３３０の処理を実行する。
　一方、ステップＳ３３０の判断の結果、ターゲットクラスタ矩形領域に対応する歩行者候補が歩行者であるか、あるいは歩行者を表していないと結論付けられているか否か結論付けられている場合（ステップＳ３３０の判断の結果ＹＥＳ）、対象物体検出処理は、ステップＳ３５０の処理に移行する。
　上述したように、ステップＳ１４０において複数のクラスタ矩形領域が検出されている場合、処理部１０は、この複数のクラスタ矩形領域それぞれに対応する複数のターゲットクラスタ矩形領域毎に、ステップＳ１６０～Ｓ３３０の処理を実行している。すなわち、処理部１０は、複数のターゲットクラスタ矩形領域の中で、少なくとも１つのターゲットクラスタ矩形領域に対応する歩行者候補が歩行者であるか、あるいは歩行者でないと結論付けられている場合、ステップＳ３５０を実行するとともに、複数のターゲットクラスタ矩形領域の中で、少なくとも１つのターゲットクラスタ矩形領域に対応する歩行者候補が歩行者であるか否か結論付けられていない場合、処理部１０は、ステップＳ１１０～Ｓ３３０の処理を実行する。
　ステップＳ３５０において、処理部１０は、ステップＳ３３０の判断の結果、複数のターゲットクラスタ矩形領域に対応する複数の歩行者候補が歩行者であると結論付けられている場合、メモリ１２に記憶された、その複数の歩行者に対応する複数のターゲットクラスタ矩形領域の位置座標、飛び出し物体の飛び出し情報、および車両Ｖの予測走行領域に基づいて、処理部１０は、複数の歩行者間の優先順位を決定する。例えば、処理部１０は、次の条件で複数の歩行者間の優先順位を決定する。
　（１）条件１として、複数の歩行者に対応する複数のターゲットクラスタ矩形領域の内の１つに飛び出し情報が設定されている場合、そのターゲットクラスタ矩形領域に対応する歩行者の優先順位を最大とする。
　（２）条件２として、複数の歩行者に対応する複数のターゲットクラスタ矩形領域の内の複数に飛び出し情報が設定されている場合、その複数のターゲットクラスタ矩形領域間の位置座標と車両Ｖの予測走行領域との関係から、予測走行領域に近い順番で優先順位を決定する。
　（３）条件３として、複数の歩行者に対応する複数のターゲットクラスタ矩形領域の内に飛び出し情報が設定されていない場合、その複数のターゲットクラスタ矩形領域間の位置座標と車両Ｖの予測走行領域との関係から、予測走行領域に近い順番で優先順位を決定する。
　なお、ステップＳ１４０において１つのクラスタ矩形領域しか検出されていない場合、処理部１０は、そのままステップＳ３６０の処理を実行する。
　ステップＳ３５０において複数の歩行者間の優先順位が決定されている場合、処理部１０は、決定された優先順位に基づいて、複数の歩行者それぞれの位置座標および／または速度情報を、少なくとも１つの制御対象２６に出力し（ステップＳ３６０）、対象物体検出処理を終了する。一方、ステップＳ３５０において優先順位が決定されていない場合、すなわち、単独の歩行者が検出されている場合、処理部１０は、その歩行者の位置座標および／または速度情報を、少なくとも１つの制御対象２６に出力し（ステップＳ３６０）、対象物体検出処理を終了する。出力された少なくとも一人の歩行者の位置座標および／または速度情報に基づいて、少なくとも１つの制御対象２６は、必要に応じて、この少なくとも一人の歩行者と車両Ｖとの衝突を回避する動作、または衝突による衝撃を緩和させる動作を行う。
　なお、検出された歩行者の速度情報は、フレーム画像に基づいて処理部１０により求めることができ、また、センサ２２により求められた速度情報を用いることもできる。
　また、ステップＳ３３０の判断の結果、複数のターゲットクラスタ矩形領域に対応する複数の歩行者候補が歩行者でないと結論付けられている場合、処理部１０は、ステップＳ３５０およびＳ３６０の処理を行うことなく、対象物体検出処理を終了する。
　上述した対象物体検出処理を実行することにより、図１１に示すように、あるフレーム画像Ｉから、４つのクラスタ矩形領域ＣＲ２１～ＣＲ２４が検出されると、この４つのクラスタ矩形領域ＣＲ２１～ＣＲ２４の状態の追跡が実施される。この４つのクラスタ矩形領域ＣＲ２１～ＣＲ２４における任意の１つのクラスタ矩形領域（ターゲットクラスタ矩形領域）の追跡状態は、例えば、図１２に示すように、時刻１、すなわち、最初にこのターゲットクラスタ矩形領域が検出された時の対象物体検出処理（以下、第1回目の検出処理とする）においては、新規状態となり、時刻２、すなわち、第２回目の検出処理においては、追跡状態Ａに遷移している。その後、フレーム画像がカメラ２１から送られる毎に（時刻３、４、…）、そのターゲットクラスタ矩形領域が遷移条件を満足するか否かに応じて、ターゲットクラスタ矩形領域の追跡状態が図１２に示すように遷移している。
　また、図１３に示すように、あるフレーム画像Ｉ１から、４つのクラスタ矩形領域ＣＲ３１～ＣＲ３４が検出され、この４つのクラスタ矩形領域ＣＲ３１～ＣＲ３４におけるクラスタ矩形領域ＣＲ３１に飛び出し情報が設定されているとする。このクラスタ矩形領域ＣＲ３１の追跡状態の状態遷移の一例を図１４に示す。図１４に示すように、時刻１、すなわち、最初にこのターゲットクラスタ矩形領域が検出された時の対象物体検出処理（以下、第1回目の検出処理とする）では、ステップＳ２２０の処理において、クラスタ矩形領域ＣＲ１の追跡状態を遷移させるための遷移条件、および／またはクラスタ矩形領域ＣＲ１に対する歩行者確定条件が変更され、この変更された遷移条件、および／または歩行者確定条件に基づいて、それぞれ対応する状態遷移判定および／または歩行者判定が実行される。同様に、時刻３（３回目の検出処理）、時刻６（６回目の検出処理）、および時刻７（７回目の検出処理）それぞれにおいても、クラスタ矩形領域ＣＲ１の追跡状態を遷移させるための遷移条件、および／またはクラスタ矩形領域ＣＲ１に対する歩行者確定条件が変更され、この変更された遷移条件、および／または歩行者確定条件に基づいて、それぞれ対応する状態遷移判定および／または歩行者判定が実行される。なお、それ以外の時刻２、４、および５（２回目、４回目、および５回目の検出処理）においては、遷移条件、および歩行者確定条件が変更されることなく、状態遷移判定および歩行者判定が実行される。
　［本実施形態により得られる効果］
　以上のように詳述した物体検出装置１は、車両Ｖの周囲の特定の種別の物体（例えば、歩行者）を、検出対象物体として検出する装置である。この物体検出装置１の処理部１０は、前記検出対象物体の候補となる、車両Ｖの周囲に存在する少なくとも１つの物体候補の少なくとも位置に基づく情報（例えば、少なくとも１つの物体の位置および形状に基づく情報）を繰り返し取得する。
　前記少なくとも１つの物体候補の情報を求める毎に、処理部１０は、前記少なくとも１つの物体候補の情報が、該少なくとも１つの物体候補の前記検出対象物体に対する関連性に基づいて予め定められた複数の状態における、何れの状態に属するかを、所定の状態遷移条件に基づいて判断することにより、該少なくとも１つの物体候補の情報を、前記複数の状態間で遷移させる。
　そして、処理部１０は、前記少なくとも１つの物体候補に対して対応付けられた状態がどのように遷移してきたかを表す遷移情報に基づいて、該少なくとも１つの物体候補が前記検出対象物体であるか否かを判断している。
　上記物体検出装置１は、検出対象物体の候補となる少なくとも１つの物体候補の情報が、前記少なくとも１つの物体候補の前記検出対象物体に対する関連性に基づいて予め定められた複数の状態間をどのように遷移したかを表す遷移情報に基づいて、該少なくとも１つの物体候補が検出対象物体であるか否か判定している。このため、従来の、単純な閾値を用いて検出物体を検出対象物体か否か判断する構成と比べて、物体検出装置１は、検出対象物体をより高精度に検出することができる。
　また、上記物体検出装置１の処理部１０は、前記少なくとも１つの物体候補の情報が前記複数の状態における第1の状態に遷移してからの継続時間を表すパラメータの値を取得し、このパラメータの値が所定の遷移判定値に到達した場合に、前記少なくとも１つの物体候補の情報を、前記複数の状態における前記第1の状態以外の第2の状態に遷移させる。
　上記物体検出装置１によれば、少なくとも１つの物体候補の情報が前記複数の状態における第1の状態に遷移してからの継続時間を表すパラメータの値が所定の遷移判定値に到達したか否かを、前記状態遷移条件の１つとすることができる。
　さらに、上記物体検出装置１の処理部１０は、前記少なくとも１つの物体候補の情報が前記複数の状態における特定の状態に遷移してからの継続時間を表すパラメータの値を取得し、このパラメータの値が所定の判定値に到達したことを、判定条件として用い、前記パラメータの値が所定の判定値に到達していた場合に、前記少なくとも１つの物体候補を、前記検出対象物体と判断する。
　この物体検出装置１によれば、前記少なくとも１つの物体候補が前記検出対象物体であることを、特定の状態に遷移してからの継続時間に基づいて、確実に判断することができる。
　そして、上記物体検出装置１の処理部１０は、前記少なくとも１つの物体候補が車両の予測走行領域に対して飛び出してくるか否かに関する飛び出し情報を取得し、前記飛び出し情報が、前記少なくとも１つの物体候補が車両の予測走行領域に対して飛び出してくることを表している場合に、前記状態遷移条件または前記判定条件を変更する。
　上記物体検出装置１は、前記飛び出し情報が前記少なくとも１つの物体候補が車両の予測走行領域に対して飛び出してくることを表している場合に、例えば、前記判定条件を、例えば、該少なくとも１つの物体が前記検出対象物体として検出されやすくなるように、変更することができる。このため、前記少なくとも１つの物体候補が車両Ｖの予測走行領域に対して飛び出してくる場合、この飛び出してくる物体候補が検出対象物体であることを迅速に判断することができる。
　上記物体検出装置１のカメラ２１は、車両Ｖの周囲のフレーム画像を繰り返し撮像し、撮像したフレーム画像を繰り返し処理部１０に送る。処理部１０は、今回送られてきたフレーム画像上で、所定の探索領域を変化させながら、該フレーム画像内において、前記検出対象物体の複数の特徴パターンと類似する画像特徴パターンを有する複数の候補領域の中で、互いに関連する候補領域のグループを表す物体候補クラスタを求める。そして、処理部１０は、求められた物体候補クラスタが前記検出対象物体に対応することの尤もらしさを表す尤度に関連する尤度関連情報を、前記少なくとも１つの物体候補の情報の一部として求める。
　処理部１０は、該少なくとも１つの物体候補の情報である前記物体候補クラスタの尤度関連情報を求める毎に、該物体候補クラスタの尤度関連情報が、前記複数の状態における何れの状態に属するかを、前記所定の状態遷移条件に基づいて判断することにより、前記物体候補クラスタを、前記複数の状態間で遷移させる。
　そして、処理部１０は、前記少なくとも１つの物体候補の情報である前記物体候補クラスタの尤度関連情報を求める毎に、該物体候補クラスタに対して対応付けられた状態がどのように遷移してきたかを表す遷移情報に基づいて、該物体候補クラスタが前記検出対象物体に対応するか否かを判断している。
　上記物体検出装置１によれば、フレーム画像内において、前記検出対象物体の特徴パターンと類似し、かつ互いに関連する画像特徴パターンを有する複数の候補領域のグループである物体候補クラスタにおける、前記検出対象物体である尤もらしさを表す尤度に関連する尤度関連情報に基づいて、前記物体候補クラスタの前記複数の状態間の遷移情報を求め、この遷移情報に基づいて、該物体候補クラスタが前記検出対象物体に対応するか否かを判断している。このため、従来の、単純な閾値を用いて検出物体を検出対象物体か否か判断する構成と比べて、物体検出装置１は、検出対象物体を、より高精度に検出することができる。
　上記物体検出装置１の処理部１０は、前記尤度関連情報の一部として、前記物体候補クラスタとしてグループ化された複数の候補領域の数を用い、当該物体候補クラスタとしてグループ化された複数の候補領域の数と予め設定された閾値より大きいか否かを、前記状態遷移条件の一部として用いている。
　また、上記物体検出装置１の処理部１０は、前記物体候補クラスタとしてグループ化された複数の候補領域それぞれの、前記検出対象物体の特徴パターンに対する類似度を表すスコアを求め、当該複数の候補領域それぞれのスコアの最大値および平均値の内の少なくとも一方を、前記尤度関連情報の一部として用いるとともに、当該スコアの最大値および平均値の内の少なくとも一方が予め設定された閾値よりも大きいか否かを、前記状態遷移条件として用いている。
　前記検出対象物体の複数の特徴パターンは、種別毎に複数の辞書ファイルに保持されており、この複数の辞書ファイルには、検出対象物体検出に関連する信頼度の値が予め異なる値として設定されており、上記物体検出装置１の処理部１０は、前記複数の辞書ファイルを記憶している一方、上記物体検出装置１の処理部１０は、今回送られてきたフレーム画像上で、所定の探索領域を変化させながら、該フレーム画像内において、前記複数の辞書ファイルにおける何れかの辞書ファイルに記憶された複数の特徴パターンと類似する画像特徴パターンを有する候補領域を複数求め、求められた複数の候補領域の中で、互いに関連する候補領域のグループを表す物体候補クラスタを求める。
　そして、上記物体検出装置１の処理部１０は、前記物体候補クラスタとしてグループ化された複数の候補領域それぞれを求める際に前記複数の辞書ファイルの何れを用いたかを表す情報を前記尤度関連情報として求め、当該物体候補クラスタにおける求めた尤度関連情報に基づいて、前記物体候補クラスタの前記複数の状態間の遷移情報を求めている。
　上記物体検出装置１の処理部１０は、今回送られてきたフレーム画像上で所定の探索領域をどのように移動させるかを表す複数の探索方法における何れか１つの探索方法を用いて前記所定の探索領域を変化させながら、該フレーム画像内において、前記検出対象物体の複数の特徴パターンと類似する画像特徴パターンを有する候補領域を複数求め、求められた複数の候補領域の中で、互いに関連する候補領域のグループを表す物体候補クラスタを求める。
　そして、上記物体検出装置１の処理部１０は、前記物体候補クラスタとしてグループ化された複数の候補領域それぞれを求める際に前記複数の探索方法の何れを用いたかを表す情報を前記尤度関連情報として求め、当該物体候補クラスタにおける求めた尤度関連情報に基づいて、前記物体候補クラスタの前記複数の状態間の遷移情報を求めている。
　上述した尤度関連情報を用いる物体検出装置１は、従来の、単純な閾値を用いて検出物体を検出対象物体か否か判断する構成と比べて、検出対象物体を、より高精度に検出することができる。
　また、前記物体候補クラスタは複数求められており、前記処理部１０は、前記複数の物体候補クラスタそれぞれが前記検出対象物体であるか否かを判断しており、この判断の結果、前記複数の物体候補クラスタにおける一部の物体候補クラスタがそれぞれ前記検出対象物体であると判断された場合、前記処理部１０は、前記一部の物体候補クラスタを選択し、選択された物体候補クラスタそれぞれの位置情報に基づいて、該選択された物体候補クラスタそれぞれに対応する検出対象物体間の優先順位を決定する。
　上記物体検出装置１により決定された複数の検出対象物体間の優先順位に従って、例えば、車両Ｖに搭載された少なくとも１つの制御対象２６は、該検出された複数の対象物体に対する処理を実行することができる。この結果、車両Ｖに搭載された少なくとも１つの制御対象２６は、複数の検出対象物体それぞれに対する処理を並列的に実行する場合に比べて、該検出された複数の対象物体に対する処理を効率よくかつスムーズに実行することができる。
　［その他の実施形態］
　本発明は、上記の実施形態によって何ら限定して解釈されない。また、上記の実施形態の構成の一部を、課題を解決できる限りにおいて省略した態様も本発明の実施形態に含まれる。また、上記の実施形態および後述するその変形例を適宜組み合わせて構成される態様も本発明の実施形態に含まれる。また、特許請求の範囲に記載した文言のみによって特定される発明の本質を逸脱しない限度において考え得るあらゆる態様も本発明の実施形態に含まれる。また、上記の実施形態の説明で用いる符号を特許請求の範囲にも適宜使用しているが、各請求項に係る発明の理解を容易にする目的で使用しており、各請求項に係る発明の技術的範囲を限定する意図ではない。
　例えば、上記実施形態において、特定の種別の物体の一例である歩行者を検出対象物体として検出するよう構成したが、本発明はこの構成に限定されるものではなく、例えば、樹木や車両等、歩行者以外の種別の物体を検出対象物体として検出してもよい。
　［実施形態の構成と本発明の手段との対応関係の一例］
　上記実施形態において処理部１０が実行する処理における例えばステップＳ１１０、Ｓ１３０、Ｓ１４０、Ｓ１４５の処理は、本発明における例えば取得部に対応し、上記実施形態において処理部１０が実行する処理における例えば、ステップＳ１２０の処理は、本発明における例えば飛び出し情報取得部に対応する。
　上記実施形態において処理部１０が実行する処理における例えばステップＳ１５０、Ｓ１６０、Ｓ１７０、Ｓ２１０、Ｓ２２０、Ｓ２３０、Ｓ２４０の処理は、本発明における例えば状態遷移部に対応する。
　上記実施形態において処理部１０が実行する処理における例えばステップＳ２６０の処理は、本発明における例えば判断部に対応する。
　上記実施形態において処理部１０が実行する処理における例えばステップＳ１７０の処理は、本発明における例えばパラメータ取得部に対応する。
　上記実施形態において処理部１０が実行する処理における例えばステップＳ１４０の処理は、本発明における例えばクラスタ部に対応し、上記実施形態において処理部１０が実行する処理における例えばステップＳ１４５の処理は、本発明における例えば関連情報算出部に対応する。
　さらに、上記実施形態におけるＳ１７０の処理は本発明でいう継続時間取得手段に相当し、上記実施形態におけるＳ２１０、Ｓ２２０の処理は本発明でいう条件変更手段に相当する。また、上記実施形態におけるＳ２３０、Ｓ２４０の処理は本発明でいう物体状態遷移手段に相当し、上記実施形態におけるＳ２６０、Ｓ３３０、Ｓ３６０の処理は本発明でいう出力手段に相当する。
　さらに、上記実施形態において、第１の識別情報（対応するクラスタ矩形領域に関連付けられた矩形領域の数）、第２の識別情報（対応するクラスタ矩形領域における最大あるいは平均スコア）、第３の識別情報（最大の信頼度を有する辞書ファイル）、および第４の識別情報（最大の信頼度を有する探索方法）は、本発明における例えば尤度関連情報に対応する。
　１…物体検出装置、１０…処理部、１１…ＣＰＵ、１２…メモリ、２１…カメラ、２２…センサ、２６…制御対象

Claims (12)

  1. 　車両の周囲に存在する特定の種別の物体を検出対象物体として検出する物体検出装置（１）であって、
    　前記検出対象物体の候補となる、前記車両の周囲に存在する少なくとも１つの物体候補の少なくとも位置に基づく情報を繰り返し取得する取得部（Ｓ１１０、Ｓ１３０、Ｓ１４０、Ｓ１４５）と、
    　前記少なくとも１つの物体候補の情報を求める毎に、前記少なくとも１つの物体候補の情報が、該少なくとも１つの物体候補の前記検出対象物体に対する関連性に基づいて予め定められた複数の状態における、何れの状態に属するかを、所定の状態遷移条件に基づいて判断することにより、該少なくとも１つの物体候補の情報を、前記複数の状態間で遷移させる状態遷移部（Ｓ１５０、Ｓ１６０、Ｓ１７０、Ｓ２１０、Ｓ２２０、Ｓ２３０、Ｓ２４０）と、
    　前記少なくとも１つの物体候補に対して対応付けられた状態がどのように遷移してきたかを表す遷移情報に基づいて、該少なくとも１つの物体候補が前記検出対象物体であるか否かを判断する判断部（ステップＳ２６０）と、
    を備えた物体検出装置。
  2. 　前記状態遷移部は、前記少なくとも１つの物体候補の情報が前記複数の状態における第1の状態に遷移してからの継続時間を表すパラメータの値を取得するパラメータ取得部（ステップＳ１７０）を備え、前記状態遷移部は、このパラメータの値が所定の遷移判定値に到達した場合に、前記少なくとも１つの物体候補の情報を、前記複数の状態における第1の状態以外の他の第2の状態に遷移させるように構成された請求項１記載の物体検出装置。
  3. 　前記状態遷移部は、前記少なくとも１つの物体候補の情報が前記複数の状態における特定の状態に遷移してからの継続時間を表すパラメータの値を取得するパラメータ取得部（ステップＳ１７０）を備え、
    　前記判断部は、このパラメータの値が所定の判定値に到達したことを、判定条件として用い、前記パラメータの値が所定の判定値に到達していた場合に、前記少なくとも１つの物体候補を、前記検出対象物体と判断するように構成された請求項１または２記載の物体検出装置。
  4. 　前記少なくとも１つの物体候補が車両の予測走行領域に対して飛び出してくるか否かに関する飛び出し情報を取得する飛び出し情報取得部（ステップＳ１２０）をさらに備え、
    　前記判断部は、前記飛び出し情報が、前記少なくとも１つの物体候補が車両の予測走行領域に対して飛び出してくることを表している場合に、前記状態遷移条件を変更するように構成された請求項１乃至３の内の何れか1項記載の物体検出装置。
  5. 　前記車両の周囲のフレーム画像を繰り返し撮像し、繰り返し撮像したフレーム画像を前記取得部に送る撮像部（２１）をさらに備え、
    　前記取得部は、今回送られてきたフレーム画像上で、所定の探索領域を変化させながら、該フレーム画像内において、前記検出対象物体の複数の特徴パターンと類似する画像特徴パターンを有する複数の候補領域の中で、互いに関連する候補領域のグループを表す物体候補クラスタを求めるクラスタ部（Ｓ１４０）と、
    　求められた物体候補クラスタが前記検出対象物体に対応することの尤もらしさを表す尤度に関連する尤度関連情報を、前記少なくとも１つの物体候補の情報の一部として求める関連情報算出部（Ｓ１４５）とを備え、
    　前記状態遷移部は、該少なくとも１つの物体候補の情報である前記物体候補クラスタの尤度関連情報を求める毎に、該物体候補クラスタの尤度関連情報が、前記複数の状態における何れの状態に属するかを、前記所定の状態遷移条件に基づいて判断することにより、前記物体候補クラスタを、前記複数の状態間で遷移させるように構成され、
    　前記判断部は、前記物体候補クラスタに対して対応付けられた状態がどのように遷移してきたかを表す遷移情報に基づいて、該物体候補クラスタが前記検出対象物体に対応するか否かを判断するように構成されている請求項１乃至４の内の何れか1項記載の物体検出装置。
  6. 　前記関連情報算出部は、前記尤度関連情報の一部として、前記物体候補クラスタとしてグループ化された複数の候補領域の数を求めるように構成されており、
    　前記状態遷移部は、前記物体候補クラスタとしてグループ化された複数の候補領域の数と予め設定された閾値より大きいか否かを、前記状態遷移条件の一部として用いるように構成された請求項５記載の物体検出装置。
  7. 　前記関連情報算出部は、前記物体候補クラスタとしてグループ化された複数の候補領域それぞれの、前記検出対象物体の特徴パターンに対する類似度を表すスコアを求め、当該複数の候補領域それぞれのスコアの最大値および平均値の内の少なくとも一方を、前記尤度関連情報の一部として求めるように構成されており、
    　前記状態遷移部は、前記スコアの最大値および平均値の内の少なくとも一方が予め設定された閾値よりも大きいか否かを、前記状態遷移条件の一部として用いるように構成された請求項５または６記載の物体検出装置。
  8. 　前記検出対象物体の複数の特徴パターンは、種別毎に複数の辞書ファイルに保持されており、この複数の辞書ファイルには、前記検出対象物体検出に関連する信頼度の値が予め異なる値として設定されており、
    　前記複数の辞書ファイルを記憶する記憶部（１２）をさらに備え、
    　前記クラスタ部は、今回送られてきたフレーム画像上で、所定の探索領域を変化させながら、該フレーム画像内において、前記複数の辞書ファイルにおける何れかの辞書ファイルに記憶された複数の特徴パターンと類似する画像特徴パターンを有する候補領域を複数求め、求められた複数の候補領域の中で、互いに関連する候補領域のグループを表す物体候補クラスタを求めるように構成されており、
    　前記関連情報算出部は、前記物体候補クラスタとしてグループ化された複数の候補領域それぞれを求める際に前記複数の辞書ファイルの何れを用いたかを表すファイル情報を、前記尤度関連情報の一部として求めるように構成されており、
    　前記状態遷移部は、当該物体候補クラスタにおける求めたファイル情報に基づいて、前記物体候補クラスタの前記複数の状態間の遷移情報を求めるように構成された請求項５乃至７の内の何れか１項記載の物体検出装置。
  9. 　前記クラスタ部は、今回送られてきたフレーム画像上で所定の探索領域をどのように移動させるかを表す複数の探索方法における何れか１つの探索方法を用いて前記所定の探索領域を変化させながら、該フレーム画像内において、前記検出対象物体の複数の特徴パターンと類似する画像特徴パターンを有する候補領域を複数求め、求められた複数の候補領域の中で、互いに関連する候補領域のグループを表す物体候補クラスタを求めるように構成されており、
    　前記関連情報算出部は、前記物体候補クラスタとしてグループ化された複数の候補領域それぞれを求める際に前記複数の探索方法の何れを用いたかを表す探索情報を、前記尤度関連情報の一部として求めるように構成されており、
    　前記状態遷移部は、当該物体候補クラスタにおける求めた探索情報に基づいて、前記物体候補クラスタの前記複数の状態間の遷移情報を求めるように構成された請求項５乃至８の内の何れか１項記載の物体検出装置。
  10. 　前記物体候補クラスタは複数求められており、前記判断部は、前記複数の物体候補クラスタそれぞれが前記検出対象物体であるか否かを判断しており、この判断の結果、前記複数の物体候補クラスタにおける一部の物体候補クラスタがそれぞれ前記検出対象物体であると判断された場合、前記判断部は、前記一部の物体候補クラスタを選択し、選択した一部の物体候補クラスタそれぞれの位置情報に基づいて、該選択された物体候補クラスタそれぞれに対応する検出対象物体間の優先順位を決定するように構成された請求項５乃至９の内の何れか１項記載の物体検出装置。
  11. 　車両の周囲に存在する特定の種別の物体を検出対象物体として検出するためのコンピュータが読み取り可能なコンピュータプログラム製品であって、
    　前記コンピュータプログラム製品は、コンピュータに、
    　前記検出対象物体の候補となる、前記車両の周囲に存在する少なくとも１つの物体候補の少なくとも位置に基づく情報を繰り返し取得する第1のステップ（Ｓ１１０、Ｓ１３０、Ｓ１４０、Ｓ１４５）と、
    　前記少なくとも１つの物体候補の情報を求める毎に、前記少なくとも１つの物体候補の情報が、該少なくとも１つの物体候補の前記検出対象物体に対する関連性に基づいて予め定められた複数の状態における、何れの状態に属するかを、所定の状態遷移条件に基づいて判断することにより、該少なくとも１つの物体候補の情報を、前記複数の状態間で遷移させる第２のステップ（Ｓ１５０、Ｓ１６０、Ｓ１７０、Ｓ２１０、Ｓ２２０、Ｓ２３０、Ｓ２４０）と、
    　前記少なくとも１つの物体候補の情報を求める毎に、該少なくとも１つの物体候補に対して対応付けられた状態がどのように遷移してきたかを表す遷移情報に基づいて、該少なくとも１つの物体候補が前記検出対象物体であるか否かを判断する第３のステップ（ステップＳ２６０）と、
    をそれぞれ実行させるコンピュータプログラム製品。
  12. 　車両の周囲に存在する特定の種別の物体を検出対象物体として検出する物体検出方法であって、
    　前記検出対象物体の候補となる、前記車両の周囲に存在する少なくとも１つの物体候補の少なくとも位置に基づく情報を繰り返し取得する第1のステップ（Ｓ１１０、Ｓ１３０、Ｓ１４０、Ｓ１４５）と、
    　前記少なくとも１つの物体候補の情報を求める毎に、前記少なくとも１つの物体候補の情報が、該少なくとも１つの物体候補の前記検出対象物体に対する関連性に基づいて予め定められた複数の状態における、何れの状態に属するかを、所定の状態遷移条件に基づいて判断することにより、該少なくとも１つの物体候補の情報を、前記複数の状態間で遷移させる第２のステップ（Ｓ１５０、Ｓ１６０、Ｓ１７０、Ｓ２１０、Ｓ２２０、Ｓ２３０、Ｓ２４０）と、
    　前記少なくとも１つの物体候補の情報を求める毎に、該少なくとも１つの物体候補に対して対応付けられた状態がどのように遷移してきたかを表す遷移情報に基づいて、該少なくとも１つの物体候補が前記検出対象物体であるか否かを判断する第３のステップ（ステップＳ２６０）と、
    を備えたことを特徴とする物体検出方法。
PCT/JP2015/069187 2014-07-02 2015-07-02 物体検出用方法および装置、ならびにコンピュータプログラム製品 WO2016002900A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
DE112015003089.1T DE112015003089T5 (de) 2014-07-02 2015-07-02 Verfahren, vorrichtung und computerprogrammprodukt zur objektgewinnung
US15/322,815 US20170151943A1 (en) 2014-07-02 2015-07-02 Method, apparatus, and computer program product for obtaining object
CN201580034978.2A CN106471522A (zh) 2014-07-02 2015-07-02 物体检测用方法及装置、以及计算机程序产品

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014137006A JP6340957B2 (ja) 2014-07-02 2014-07-02 物体検出装置および物体検出プログラム
JP2014-137006 2014-07-02

Publications (1)

Publication Number Publication Date
WO2016002900A1 true WO2016002900A1 (ja) 2016-01-07

Family

ID=55019426

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/069187 WO2016002900A1 (ja) 2014-07-02 2015-07-02 物体検出用方法および装置、ならびにコンピュータプログラム製品

Country Status (5)

Country Link
US (1) US20170151943A1 (ja)
JP (1) JP6340957B2 (ja)
CN (1) CN106471522A (ja)
DE (1) DE112015003089T5 (ja)
WO (1) WO2016002900A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017223607A (ja) * 2016-06-17 2017-12-21 三菱電機株式会社 物体認識統合装置および物体認識統合方法
JP2018045385A (ja) * 2016-09-13 2018-03-22 本田技研工業株式会社 車両制御装置、車両制御方法、および車両制御プログラム

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6256239B2 (ja) * 2014-07-25 2018-01-10 株式会社デンソー 歩行者検出装置および歩行者検出方法
EP3422293B1 (en) * 2016-02-23 2024-04-10 Hitachi, Ltd. Mobile object
US10311593B2 (en) * 2016-11-16 2019-06-04 International Business Machines Corporation Object instance identification using three-dimensional spatial configuration
JP6509279B2 (ja) * 2017-05-31 2019-05-08 本田技研工業株式会社 物標認識システム、物標認識方法、およびプログラム
US10713940B2 (en) 2017-10-31 2020-07-14 Waymo Llc Detecting and responding to traffic redirection for autonomous vehicles
US10401862B2 (en) * 2017-10-31 2019-09-03 Waymo Llc Semantic object clustering for autonomous vehicle decision making
JP7211674B2 (ja) * 2018-09-27 2023-01-24 株式会社Subaru 移動体監視装置、並びにこれを用いる車両制御システムおよび交通システム
JP6745465B1 (ja) * 2019-03-06 2020-08-26 パナソニックＩｐマネジメント株式会社 車両及びカメラモジュール

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001008189A (ja) * 1999-04-23 2001-01-12 Hitachi Ltd 移動物体監視装置
US6826292B1 (en) * 2000-06-23 2004-11-30 Sarnoff Corporation Method and apparatus for tracking moving objects in a sequence of two-dimensional images using a dynamic layered representation
JP2010117952A (ja) * 2008-11-13 2010-05-27 Masafumi Hagiwara 物体判別方法および物体判別装置
US8284258B1 (en) * 2008-09-18 2012-10-09 Grandeye, Ltd. Unusual event detection in wide-angle video (based on moving object trajectories)
JP2014067117A (ja) * 2012-09-25 2014-04-17 Dainippon Printing Co Ltd 画像表示システムおよび画像処理装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4240957B2 (ja) * 2002-08-30 2009-03-18 日本電気株式会社 物体追跡装置、物体追跡方法および物体追跡プログラム
JP2007122218A (ja) * 2005-10-26 2007-05-17 Fuji Xerox Co Ltd 画像分析装置
JP4359710B2 (ja) * 2008-02-04 2009-11-04 本田技研工業株式会社 車両周辺監視装置、車両、車両周辺監視用プログラム、車両周辺監視方法
JP4623135B2 (ja) * 2008-05-08 2011-02-02 株式会社デンソー 画像認識装置
JP4497236B2 (ja) * 2008-08-11 2010-07-07 オムロン株式会社 検出用情報登録装置、電子機器、検出用情報登録装置の制御方法、電子機器の制御方法、検出用情報登録装置制御プログラム、電子機器の制御プログラム
JP4788798B2 (ja) * 2009-04-23 2011-10-05 トヨタ自動車株式会社 物体検出装置
EP2465092B1 (en) * 2009-09-03 2015-02-11 Honda Motor Co., Ltd. Vehicle vicinity monitoring apparatus
JP2012118683A (ja) * 2010-11-30 2012-06-21 Daihatsu Motor Co Ltd 歩行者認識装置
JP5782737B2 (ja) * 2011-02-17 2015-09-24 富士通株式会社 状態検知装置、状態検知方法および状態検知プログラム
JP5603835B2 (ja) * 2011-06-27 2014-10-08 クラリオン株式会社 車両周囲監視装置
JP5944781B2 (ja) * 2012-07-31 2016-07-05 株式会社デンソーアイティーラボラトリ 移動体認識システム、移動体認識プログラム、及び移動体認識方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001008189A (ja) * 1999-04-23 2001-01-12 Hitachi Ltd 移動物体監視装置
US6826292B1 (en) * 2000-06-23 2004-11-30 Sarnoff Corporation Method and apparatus for tracking moving objects in a sequence of two-dimensional images using a dynamic layered representation
US8284258B1 (en) * 2008-09-18 2012-10-09 Grandeye, Ltd. Unusual event detection in wide-angle video (based on moving object trajectories)
JP2010117952A (ja) * 2008-11-13 2010-05-27 Masafumi Hagiwara 物体判別方法および物体判別装置
JP2014067117A (ja) * 2012-09-25 2014-04-17 Dainippon Printing Co Ltd 画像表示システムおよび画像処理装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SHUNSUKE KAMIJO: "Behavior Understandings by Postures and Trajectories in Railway Station", GAZO LABO, vol. 24, no. 3, 10 March 2013 (2013-03-10), pages 51 - 59 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017223607A (ja) * 2016-06-17 2017-12-21 三菱電機株式会社 物体認識統合装置および物体認識統合方法
JP2018045385A (ja) * 2016-09-13 2018-03-22 本田技研工業株式会社 車両制御装置、車両制御方法、および車両制御プログラム

Also Published As

Publication number Publication date
JP6340957B2 (ja) 2018-06-13
US20170151943A1 (en) 2017-06-01
DE112015003089T5 (de) 2017-03-30
CN106471522A (zh) 2017-03-01
JP2016015029A (ja) 2016-01-28

Similar Documents

Publication Publication Date Title
WO2016002900A1 (ja) 物体検出用方法および装置、ならびにコンピュータプログラム製品
CN107851318B (zh) 用于对象跟踪的系统和方法
Gomez et al. Traffic lights detection and state estimation using hidden markov models
US20120300078A1 (en) Environment recognizing device for vehicle
JP6384082B2 (ja) 移動物体検出装置、移動物体検出方法、及びプログラム
KR20130118116A (ko) 자동 주차 보조 시스템에서 장애물 충돌 회피 장치 및 방법
WO2015114654A1 (en) Vehicle detection system and method thereof
JP2016148962A (ja) 物体検知装置
JP2012123626A (ja) 対象物検出装置及びプログラム
JP2012221162A (ja) 対象物検出装置及びプログラム
WO2016059643A1 (en) System and method for pedestrian detection
US10102437B2 (en) Vehicle driving hazard recognition and avoidance apparatus and vehicle control device
KR101866381B1 (ko) 변형 가능한 파트 모델을 사용한 보행자 검출 장치 및 방법
JP6255944B2 (ja) 画像解析装置、画像解析方法及び画像解析プログラム
JP2006338272A (ja) 車両挙動検出装置、および車両挙動検出方法
JP6069938B2 (ja) 飛び出し検出装置
JP2013205410A (ja) 車両用外界認識装置およびそれを用いた車両システム
CN104281851A (zh) 车标信息的提取方法及装置
JP6077785B2 (ja) 対象物検出装置及びプログラム
JP2012108665A (ja) レーンマーク認識装置
JP5829155B2 (ja) 歩行者検出装置及びプログラム
US9183448B2 (en) Approaching-object detector, approaching object detecting method, and recording medium storing its program
KR102172849B1 (ko) 동영상에서 근접해오는 차량 검출 시스템 및 그 방법
KR101437228B1 (ko) 입체영상에서의 외곽선 가중치 기반 장애물 영역 검출 장치 및 방법
JP2015001966A (ja) 物体検出装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15815686

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15322815

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 112015003089

Country of ref document: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15815686

Country of ref document: EP

Kind code of ref document: A1