[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

WO2011061905A1 - 物体領域抽出装置、物体領域抽出方法、及びコンピュータ可読媒体 - Google Patents

物体領域抽出装置、物体領域抽出方法、及びコンピュータ可読媒体 Download PDF

Info

Publication number
WO2011061905A1
WO2011061905A1 PCT/JP2010/006612 JP2010006612W WO2011061905A1 WO 2011061905 A1 WO2011061905 A1 WO 2011061905A1 JP 2010006612 W JP2010006612 W JP 2010006612W WO 2011061905 A1 WO2011061905 A1 WO 2011061905A1
Authority
WO
WIPO (PCT)
Prior art keywords
likelihood
region
feature
background
color
Prior art date
Application number
PCT/JP2010/006612
Other languages
English (en)
French (fr)
Inventor
哲夫 井下
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to US13/510,507 priority Critical patent/US20120230583A1/en
Priority to JP2011541801A priority patent/JPWO2011061905A1/ja
Publication of WO2011061905A1 publication Critical patent/WO2011061905A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/162—Segmentation; Edge detection involving graph-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]

Definitions

  • the present invention relates to an object region extraction device, an object region extraction method, and a program for extracting an object region that extract an object from an image, and in particular, an object region extraction device that can accurately extract an object from an image,
  • the present invention relates to an object region extraction method and a program for extracting an object region.
  • Non-Patent Document 1 discloses a technique for separating an object area and a background area by manually specifying an object area and a background area from an image manually, and extracting the object area.
  • the extraction method is a method of separating a background region and an object region by minimizing an energy function including a data term and a smoothing term, and is a so-called graph cut method.
  • the data term is defined based on the probability distribution generated from the luminance histogram of the object region and the background region designated by the user
  • the smoothing term is defined based on the difference in luminance between adjacent pixels.
  • Non-Patent Document 2 discloses a method of extracting an object region by separating a object region and a background region by designating a rectangular region including the object region from an image.
  • the extraction method is an improvement of the graph cut disclosed in Non-Patent Document 1.
  • a color distribution model is generated based on the inside of the rectangular area designated as the object area and the outside of the rectangular area designated as the background area, and the color distribution corresponding to each area is used as the data term. Therefore, the user can extract the object area only by specifying the rectangular area including the object area.
  • Patent Document 1 an object having a known shape is detected in a medical image and designated as an object region, and a region outside the sufficiently large range around the detection point is designated as a background region.
  • a method for extracting a region is disclosed.
  • an organ to be extracted is detected as one point of an object region in order to extract an organ in a medical image.
  • an organ to be extracted is arranged at the center of an image at the time of photographing, thereby setting the center of the image as one point of the object region.
  • the shape of the organ is known to some extent, the organ to be extracted can be detected using the shape information.
  • an area sufficiently separated from one point of the object area is defined as a background area, and the object is extracted using a graph cut (see Non-Patent Document 1 and Non-Patent Document 3).
  • Patent Document 2 discloses a technique for separating an object region and a background region and extracting an object region by specifying a position where an object color exists as an object region using color information unique to the object. .
  • a color unique to an object such as human skin is defined in advance, and an energy function that reduces the data term when the probability of including that color is high is used.
  • the required method graph cut is used.
  • Non-Patent Documents 1 and 2 it is necessary to manually specify the object region and the background region.
  • the object color distribution is estimated from the rectangular area including the object area, and the background color distribution is estimated from outside the rectangular area. Therefore, if a background similar to the object color exists outside the rectangular area, There is a problem of extracting as a region.
  • an object of the present invention is to provide an object region extraction apparatus, an object region extraction method, and a program for extracting an object region that can extract an object from an image with high accuracy.
  • the object region extraction apparatus calculates a likelihood of a feature region from the similar region calculation means for calculating a region having a high similarity with the feature extracted from the image, and the position of the feature and the similar region.
  • an object region extraction device it is possible to provide an object region extraction device, an object region extraction method, and a program for extracting an object region that can extract an object from an image with high accuracy.
  • FIG. 1 is a block diagram illustrating an object region extraction device according to a first exemplary embodiment; It is a block diagram which shows the other aspect of the object area
  • FIG. 3 is a flowchart for explaining a method of extracting an object region using the object region extraction apparatus according to the first embodiment; It is a block diagram which shows the object area
  • FIG. 10 is a flowchart for explaining a method of extracting an object region using the object region extraction apparatus according to the second embodiment. It is a figure which shows the object position likelihood calculated based on the Gaussian distribution centering on the position of the feature point of an object. It is a figure for demonstrating the method of calculating object color likelihood based on object position likelihood.
  • FIG. 6 is a block diagram illustrating an object region extracting apparatus according to a third embodiment.
  • FIG. 10 is a diagram illustrating a result of generating an object position likelihood from an object detection result in an object region in the object region extracting apparatus according to the third embodiment.
  • FIG. 10 is a block diagram illustrating an object region extracting apparatus according to a fourth embodiment.
  • FIG. 10 is a diagram illustrating a result of generating an object position likelihood from a detection result of a shape unique to an object in the object region extraction device according to the fourth exemplary embodiment.
  • FIG. 1 is a block diagram showing an object region extracting apparatus according to this embodiment.
  • the object region extraction apparatus 100 includes a similar region calculation unit 120 that calculates a region having a high degree of similarity with the feature extracted from the image, and the feature region based on the extracted feature position and the similar region.
  • a feature region likelihood calculating unit 130 for calculating likelihood and an object region extracting unit 140 for extracting an object region based on the likelihood of the feature region are provided.
  • the similar region calculation means 120 calculates a region having a high similarity with the feature extracted from the image input from the image input device 10.
  • a feature extraction unit 110 may be provided before the similar region calculation unit 120, and features may be extracted from an image input using the feature extraction unit 110.
  • the feature is a feature of the object or a feature of the background.
  • a method for extracting features of an object shape such as Haar-Like feature, SIFT feature, HOG feature, etc. may be used.
  • a method for extracting color characteristics of an object may be used.
  • the feature of the object may be extracted from the image by combining the feature of the shape of the object and the feature of the color of the object.
  • the desired object feature (the feature of the object shape and the feature of the object color) stored in the object feature storage unit 21 of the data storage unit 20 is compared with the feature extracted from the input image.
  • a desired feature may be extracted from the inside.
  • the similar area calculation means 120 calculates, for example, the degree of similarity between the shape or color of the extracted feature and the shape or color of the peripheral area around the feature position.
  • the range of the peripheral region can be determined by generating a Gaussian distribution having a variance corresponding to the size of the feature around the position of the extracted feature (feature shape, feature color).
  • a plurality of Gaussian distributions can be expressed as a mixed Gaussian distribution, and the range of the peripheral region can be determined by using the mixed Gaussian distribution.
  • the method for determining the range of the peripheral region is not limited to this method, and any other method may be used as long as the method can determine the range of the peripheral region.
  • the feature region likelihood calculating unit 130 calculates the likelihood of the feature region from the extracted feature position and the region with high similarity (similar region) calculated by the similar region calculating unit 120. For example, the feature region likelihood calculating unit 130 can calculate the feature region likelihood based on the product of the extracted feature position, the distance between the region where the similarity is calculated, and the similarity. The feature region likelihood calculating unit 130 can also calculate the feature region likelihood based on the product of the calculated position likelihood and the similarity of the peripheral region around the feature position.
  • the position likelihood can be calculated by generating a Gaussian distribution having a variance according to the size of the feature with the extracted feature position as the center.
  • the object region extracting unit 140 extracts an object region based on the likelihood of the feature region calculated by the feature region likelihood calculating unit 130.
  • the object region extraction unit 140 uses a graph cut method or the like for an energy function including the likelihood of the feature region calculated by the feature region likelihood calculation unit 130 and a function representing the intensity between adjacent pixels. Perform the minimization process. By using this minimization process, an object region can be extracted from the divided regions. Then, the object region extracted by the object region extraction unit 140 is sent to the image output device 30.
  • the feature extraction unit 110 shown in FIG. 2 may extract the position of the feature representing the object and the background.
  • the similar area calculation unit 120 may calculate an area having a high degree of similarity to the extracted object feature and an area having a high degree of similarity to the extracted background feature.
  • the feature region likelihood calculating unit 130 calculates the likelihood of the object region from the position of the feature of the object and the similar region, and calculates the likelihood of the background region from the position of the background feature and the similar region. Also good.
  • the object region extraction unit 140 may extract the object region based on the likelihood of the background region and the likelihood of the object region.
  • the similar region calculation unit 120 that calculates a region having high similarity to the extracted feature, and the similar region calculated by the extracted feature position and the similar region calculation unit 120 Since the feature region likelihood calculating means 130 for calculating the likelihood of the feature region is provided, the object region can be extracted with high accuracy. In addition, since the feature extraction unit 110 shown in FIG. 2 is provided, a desired object region can be automatically extracted from the image, so that it does not bother the user.
  • FIG. 3 is a flowchart for explaining the object region extraction method according to the present embodiment.
  • an image to be processed is first input (step S1).
  • a feature is obtained from the image, and the position of the feature is extracted (step S2).
  • a region having a high similarity to the extracted feature is calculated (step S3).
  • the likelihood of the feature region is calculated from the similar region and the feature position (step S4).
  • an object region is extracted based on the likelihood of the feature region (step S5).
  • step S2 when extracting features from the image in step S2, the user may manually specify them, or may automatically extract them using, for example, a device such as the feature extracting unit 110 shown in FIG. Since the operation in each step is the same as the operation of the object region extraction apparatus, a duplicate description is omitted.
  • the program for extracting the object region obtains a feature from the image, extracts the position of the feature, calculates a region having a high degree of similarity with the extracted feature,
  • This is a program for causing a computer to execute an operation of calculating the likelihood of a feature region from the feature position and extracting an object region based on the likelihood of the feature region.
  • the user may manually specify the feature, or for example, automatically using a program for extracting the feature.
  • the object region extraction device, the object region extraction method, and the program for extracting the object region that can accurately extract the object from the image by the object region extraction device according to the present embodiment Can be provided. Further, by using the feature extraction unit 110 shown in FIG. 2, it is not necessary to manually extract features, and an object can be automatically extracted from an input image.
  • FIG. 4 is a block diagram showing the object region extraction apparatus according to the present embodiment.
  • the object region extraction apparatus 300 includes a feature extraction unit 210, an object position likelihood calculation unit 220, an object color likelihood calculation unit 230, and an object region likelihood calculation unit. 240, background position likelihood calculating means 250, background color likelihood calculating means 260, background area likelihood calculating means 270, and object area extracting means 280.
  • the object region extraction apparatus 300 according to the present embodiment in addition to calculating the likelihood of the object region, means for calculating the likelihood of the background region, that is, the background position likelihood calculating unit 250 and the background color likelihood calculation.
  • Means 260 and background area likelihood calculating means 270 are further provided.
  • the object region extraction device 300 includes the object position likelihood calculating unit 220, the object color likelihood calculating unit 230, and the background position likelihood as the similar region calculating unit 120 described in the first embodiment.
  • Calculation means 250 and background color likelihood calculation means 260 are provided.
  • the feature region likelihood calculating unit 130 described in Embodiment 1 includes an object region likelihood calculating unit 240 and a background region likelihood calculating unit 270.
  • the image input device 10 has a function of acquiring an image acquired from an imaging system such as a still camera, a video camera, or a copy machine or an image posted on the web and passing it to the feature extraction unit 210.
  • the feature extraction unit 210 performs feature extraction from the input image.
  • a method of extracting object shape features such as Haar-Like feature, SIFT feature, HOG feature, or the like, or a method of extracting object color features may be used. It may be used.
  • the feature of the object may be extracted from the image by combining the feature of the shape of the object and the feature of the color of the object.
  • desired object features object shape features and object color features
  • background features background shape features and background color features
  • a feature extracted from the input image may be compared to extract a desired feature from the input image.
  • the feature extraction may be performed by the user determining a feature in the image other than using the feature extraction unit 210 and designating the feature using an input terminal (not shown). Good. In this case, the feature extraction unit 210 may not be provided.
  • the object position likelihood calculating means 220 has a function of calculating the likelihood of the position where the object exists from the feature of the object from the region where the object exists.
  • the object position likelihood calculating unit 220 calculates the object position likelihood by generating a Gaussian distribution having a variance corresponding to the feature size around the feature position extracted by the feature extracting unit 210. .
  • a plurality of Gaussian distributions can be expressed as a mixed Gaussian distribution, and the object position likelihood can be calculated from the mixed Gaussian distribution.
  • the object position likelihood calculating means 220 may perform object collation using a feature group existing in a certain area, and may calculate the object position likelihood from the collation result. Further, the object position likelihood calculating unit 220 may perform object matching using a feature group existing in a region divided in advance, and calculate the object position likelihood from the result of the matching.
  • the object color likelihood calculating unit 230 has a function of calculating the likelihood of the object color based on the object position likelihood calculated by the object position likelihood calculating unit 220.
  • the object color likelihood calculating unit 230 sets the object position likelihood in a certain pixel generated by the object position likelihood calculating unit 220 as a candidate for object color likelihood, and uses the same pixel color among the candidate object color likelihoods.
  • An object color likelihood candidate that maximizes the object color likelihood is defined as the object color likelihood.
  • the object region likelihood calculating unit 240 calculates the likelihood of the object region from the object position likelihood calculated by the object position likelihood calculating unit 220 and the object color likelihood calculated by the object color likelihood calculating unit 230. have. Further, the object region likelihood calculating unit 240 may calculate the object region likelihood based on the product of the calculated object position likelihood and the similarity of the peripheral region centered on the feature position.
  • the background position likelihood calculating means 250 has a function of calculating the likelihood of the position where the background exists from the background feature from the region where the background exists.
  • the background position likelihood calculating unit 250 calculates the background position likelihood by generating a Gaussian distribution having a variance corresponding to the feature size around the position of the background feature extracted by the feature extracting unit 210. Also in this case, when there are a plurality of background features extracted by the feature extraction unit 210, a plurality of Gaussian distributions can be expressed as a mixed Gaussian distribution, and the background position likelihood can be calculated from the mixed Gaussian distribution.
  • the background color likelihood calculating means 260 has a function of calculating the likelihood of the background color based on the likelihood of the background position.
  • the background color likelihood calculating means 260 uses the background position likelihood of a certain pixel generated by the background position likelihood calculating means 250 as a background color likelihood candidate, and uses the value with the highest likelihood for the same color as the background color likelihood.
  • the background region likelihood calculating unit 270 calculates the likelihood of the background region from the background position likelihood calculated by the background position likelihood calculating unit 250 and the background color likelihood calculated by the background color likelihood calculating unit 260. have.
  • the object region extraction unit 280 defines a data term of an energy function from the likelihood of the object region calculated by the object region likelihood calculation unit 240 and the likelihood of the background region calculated by the background region likelihood calculation unit 270. , It has a function of dividing the object area and the background area by minimizing the energy function and extracting the object area. That is, the object region extraction unit 280 calculates the object region likelihood calculated by the object region likelihood calculation unit 240, the background region likelihood calculated by the background region likelihood calculation unit 270, and the adjacent pixels. A minimization process is performed using an graph function or the like on an energy function including a function representing intensity. An object region can be extracted from the divided regions using this minimization process.
  • the object region extracted by the object region extraction means 280 is sent to the image output device 30.
  • FIG. 5 is a flowchart for explaining the object region extraction method according to the present embodiment.
  • an image to be processed is input (step S11).
  • the features of the object and background to be extracted from the image are obtained, and the positions of the features representing the object and the background are extracted (step S12).
  • the object position likelihood is calculated from the extracted object features (step S13).
  • an object color likelihood is calculated from the calculated object position likelihood (step S14).
  • an object region likelihood is calculated from the calculated object position likelihood and object color likelihood (step S15).
  • the background position likelihood is calculated from the extracted background feature (step S16).
  • a background color likelihood is calculated from the calculated background position likelihood (step S17).
  • a background area likelihood is calculated from the calculated background position likelihood and background color likelihood (step S18). Note that the order of the calculation of the object region likelihood (steps S13 to S15) and the calculation of the background region likelihood (steps S16 to S18) can be arbitrarily set.
  • an object region is extracted based on the calculated object region likelihood and background region likelihood (step S19). Note that the operation in each step is the same as the operation of the object region extraction apparatus described above, and thus a duplicate description is omitted. Further, when extracting a feature from an image, the user may manually specify the feature, or the feature may be automatically extracted using an apparatus such as the feature extraction unit 210 shown in FIG.
  • an object region is extracted using the object region extraction apparatus according to the present embodiment.
  • feature extraction is performed for each object from an image showing various cars, forests, sky, roads, and the like, and the feature for each object is stored in the feature storage unit 21 in advance.
  • SIFT features are extracted. Since the number of features extracted from all images is about tens of thousands, about hundreds of representative features are calculated using a clustering technique such as k-means.
  • typical features that frequently appear in the car image are stored in the feature storage unit 21 as car features.
  • Such representative features that frequently appear may be used as the object features, or the object features may be obtained based on the co-occurrence frequency between the features. Further, not only the SIFT feature but also a texture feature may be used.
  • the object position likelihood calculating unit 220 calculates the object position likelihood.
  • the object position likelihood calculating unit 220 uses the position of the car feature point as a reference.
  • the object position likelihood representing the position of the vehicle area is calculated based on the Gaussian distribution defined by (Equation 1).
  • FIG. 6 is a diagram illustrating the object position likelihood calculated based on a Gaussian distribution centered on the position of the feature point of the object.
  • ⁇ represents the distribution of features by covariance
  • ⁇ represents the position of the feature point
  • x represents the position around the feature point as a vector
  • T represents transposition. If there are a plurality of feature points, the object position likelihood is calculated from the mixed Gaussian distribution shown in (Expression 2).
  • the variance value is not limited to the feature size, and may be set to a constant value.
  • the object color likelihood is calculated from the object position likelihood obtained by the object position likelihood calculating unit 220.
  • the object position likelihood set at a certain pixel position is set as an object color likelihood candidate at that position.
  • the object color likelihood candidate that becomes the maximum with the same pixel color is set as the object color likelihood.
  • FIG. 7 is a diagram for explaining a method of calculating the object color likelihood based on the object position likelihood.
  • the object color likelihood candidate object color likelihood candidate with a likelihood of 0.7
  • the object color likelihood can be expressed as (Equation 3).
  • the object region likelihood calculating unit 240 calculates the object region likelihood in a certain pixel I from the object position likelihood and the object color likelihood using (Expression 4). For example, if there is a background that is very similar to an object, the object color likelihood is large even for the background, so the background may be extracted as an object region only with the object color likelihood. Therefore, it is possible to prevent a background area from being extracted as an object area by adding a position restriction using the object position likelihood.
  • the background region likelihood can be calculated in the same manner as the object region likelihood described above.
  • the background position likelihood calculating means 250 calculates the background position likelihood in the same manner as the method of calculating the position likelihood of the vehicle area. That is, the background position likelihood calculating unit 250 calculates the background position likelihood based on the Gaussian distribution defined by (Equation 5).
  • a Gaussian distribution centering around the four sides of the input image may be set using prior knowledge that the background position is likely to be the four sides of the input image.
  • FIG. 8 is a diagram showing the background position likelihood calculated based on the Gaussian distribution centered on the position of the feature point of the background, with the positions near the four sides around the image as the center.
  • the object color likelihood is calculated from the object position likelihood obtained by the background position likelihood calculating means 250 using the background color likelihood calculating means 260.
  • the background color likelihood can be expressed as (Equation 6).
  • an input image may be used, or an image obtained by performing color clustering of the input image may be used.
  • the background region likelihood calculating means 270 calculates the background region likelihood in a certain pixel I from the background position likelihood and the background color likelihood using (Equation 7).
  • the object region is extracted using the graph cut method.
  • the energy function is defined as in (Equation 8).
  • ⁇ in (Equation 8) is a parameter of the ratio of R (I) and B (I)
  • R (I) is a penalty function for the region
  • B (I) is a penalty function representing the intensity between adjacent pixels.
  • the energy function E defined by R (I) and B (I) (Equation 8) is minimized.
  • R (I) is expressed by (Expression 9) and (Expression 10), and the likelihood of the object and the background is set.
  • B (I) is expressed by (Expression 11), and sets the similarity of luminance values between adjacent pixels.
  • FIG. 9 shows the result of extracting the object region using the object region extracting apparatus according to the present embodiment.
  • the graph cut method is used as a method for minimizing the energy function.
  • other optimization algorithms such as belief propagation (Belief Propagation) may be used.
  • an object can be extracted from an image with high accuracy.
  • the object region extraction apparatus since the background region likelihood is calculated in addition to the object region likelihood, the object can be extracted from the image with higher accuracy.
  • the feature extraction unit 210 it is not necessary to manually extract features, and an object can be automatically extracted from an input image.
  • FIG. 10 is a block diagram showing an object region extraction apparatus according to the present embodiment.
  • the object region extraction apparatus 400 includes a feature extraction unit 210, an object detection unit 310, an object position likelihood calculation unit 220, an object color likelihood calculation unit 230, An object region likelihood calculating unit 240, a background position likelihood calculating unit 250, a background color likelihood calculating unit 260, a background region likelihood calculating unit 270, and an object region extracting unit 280 are included. That is, in the object region extraction apparatus 400 according to the present embodiment, the object detection unit 310 is added to the object region extraction apparatus 300 described in the second embodiment. Since the other parts are the same as those in the second embodiment, a duplicate description is omitted.
  • the object detection unit 310 detects an object from features existing in a certain region with respect to the input image. If it is an object-like area, a value based on the object-likeness is voted for the pixels in the area. For example, “1” can be set as a value based on the object likeness if the object likeness is large, and “0.2” if the object likeness is small. As a result, a large value is voted for a region that is likely to be an object in the input image, and a small value is voted for a region that is not likely to be an object. Then, the voting result can be used as the object position likelihood by normalizing the voting value in the object position likelihood calculating means 220.
  • FIG. 11 is a diagram showing a result of generating the object position likelihood using such a method. As shown in FIG. 11, the object position likelihood at a position corresponding to the position of the car in the input image is large. The other portions are the same as those described in the second embodiment, and thus the description thereof is omitted.
  • the object detection unit 310 is used to vote for pixels in a region likely to be an object from the entire region, and the object position likelihood is determined based on the voting result. For this reason, a likelihood distribution finer than that of the object region extraction apparatus according to the second embodiment can be set for an object having a texture pattern of a certain region. Note that the object position likelihood obtained from the object feature points (described in the second embodiment) and the object position likelihood obtained using the object detection unit 310 may be integrated.
  • FIG. 12 is a block diagram showing an object region extraction apparatus according to the present embodiment.
  • the object region extracting apparatus 500 includes a feature extracting unit 210, an object shape detecting unit 410, an object position likelihood calculating unit 220, an object color likelihood calculating unit 230, , An object region likelihood calculating unit 240, a background position likelihood calculating unit 250, a background color likelihood calculating unit 260, a background region likelihood calculating unit 270, and an object region extracting unit 280. That is, the object area extraction apparatus 500 according to the present embodiment is obtained by adding an object shape detection unit 410 to the object area extraction apparatus 300 described in the second embodiment.
  • an object shape storage unit 22 is provided in the data storage unit 20. Since the other parts are the same as those in the second embodiment, a duplicate description is omitted.
  • the object shape detection unit 410 detects a shape unique to the object from the input image by collating with the object shape stored in the object shape storage unit 22. For example, when a car is extracted as the object region, a tire can be used as a shape unique to the object. In this case, the object shape detection means 410 collates with the tire shape stored in the object shape storage unit 22, and detects an ellipse that is the tire shape from the input image. Then, the detected ellipse is processed using a preset threshold value for the tire. Then, a large object likelihood is set for the position of the ellipse after the threshold processing, and is integrated with the object position likelihood calculated by the object position likelihood calculating means 220.
  • FIG. 13 is a diagram illustrating a result of generating the object position likelihood from the detection result of the object-specific shape (tire).
  • the diagram on the right side of FIG. 13 shows a state in which the object-specific shape (tire) obtained by the object shape detecting unit 410 and the object position likelihood calculated by the object position likelihood calculating unit 220 are integrated. .
  • the other portions are the same as those described in the second embodiment, and thus the description thereof is omitted.
  • the object-specific shape is detected using the object shape detection unit 410, and the object position likelihood is set to be large with respect to the position of the detected object-specific shape. For this reason, even an object shape that is difficult to extract as a feature point can be detected as an object-specific shape, so that the object position likelihood distribution can be set more finely than the object region extraction device according to the second embodiment. .
  • the present invention can also realize arbitrary processing by causing a CPU (Central Processing Unit) to execute a computer program.
  • the programs described above can be stored using various types of non-transitory computer readable media and supplied to a computer.
  • Non-transitory computer readable media include various types of tangible storage media.
  • non-transitory computer-readable media examples include magnetic recording media (eg, flexible disks, magnetic tapes, hard disk drives), magneto-optical recording media (eg, magneto-optical disks), CD-ROM (Read Only Memory) CD-R, CD -R / W, including semiconductor memory (for example, mask ROM, PROM (Programmable ROM), EPROM (Erasable PROM), flash ROM, RAM (Random Access Memory)).
  • the program may be supplied to the computer by various types of temporary computer readable media. Examples of transitory computer readable media include electrical signals, optical signals, and electromagnetic waves.
  • the temporary computer-readable medium can supply the program to the computer via a wired communication path such as an electric wire and an optical fiber, or a wireless communication path.
  • the present invention can be widely applied in the field of image processing for extracting a desired object from an input image.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

　本発明にかかる物体領域抽出装置は、画像中から抽出された特徴と類似度の高い領域を算出する類似領域算出手段１２０と、特徴の位置と類似領域とから特徴領域の尤度を算出する特徴領域尤度算出手段１３０と、特徴領域の尤度に基づいて物体領域を抽出する物体領域抽出手段１４０と、を備える。また、本発明にかかる物体領域抽出方法は、画像中から特徴を求め、当該特徴の位置を抽出し、抽出された特徴と類似度の高い領域を算出し、類似領域と特徴の位置とから特徴領域の尤度を算出し、特徴領域の尤度に基づいて物体領域を抽出する。本発明により、画像中から物体を精度よく抽出することができる物体領域抽出装置及び物体領域抽出方法を提供することができる。

Description

物体領域抽出装置、物体領域抽出方法、及びコンピュータ可読媒体
　本発明は、画像中から物体を抽出する物体領域抽出装置、物体領域抽出方法、及び物体領域を抽出するためのプログラムに関し、特に画像中から物体を精度よく抽出することができる物体領域抽出装置、物体領域抽出方法、及び物体領域を抽出するためのプログラムに関する。
　スチルカメラやビデオカメラで撮影した画像中の様々な物体をトリミングする場合、所望の物体領域を精度よく、手間をかけずに抽出することが望まれている。撮影した画像から物体領域と背景領域とに分離し、物体領域のみを抽出する方法としては、画像中から物体領域と背景領域とを大雑把に指定し、物体領域と背景領域とを分離し、物体領域を抽出する方法や、物体領域を含む矩形領域を指定し、矩形内外の色分布から物体領域と背景領域に分離し、物体領域を抽出する方法などがある。
　非特許文献１には、画像中から物体領域と背景領域を、ユーザが手動で大雑把に指定することで物体領域と背景領域を分離し、物体領域を抽出する技術が開示されている。その抽出方法は、データ項と平滑化項からなるエネルギー関数を最小化することで、背景領域と物体領域とを分離する方法であり、いわゆるグラフカットと呼ばれている方法である。具体的には、ユーザが指定した物体領域と背景領域の輝度ヒストグラムから生成した確率分布を基にデータ項を定義し、隣接画素間の輝度の差を基に平滑化項を定義する。
　非特許文献２には、画像中から物体領域を含む矩形領域を指定することで、物体領域と背景領域を分離し、物体領域を抽出する方法が開示されている。その抽出方法は、非特許文献１に開示されているグラフカットを改良したものである。非特許文献２にかかる技術では、物体領域として指定した矩形領域の内側および背景領域として指定した矩形領域の外側に基づき色分布のモデルを生成し、各領域に該当する色分布をデータ項としているため、ユーザは物体領域を含む矩形領域を指定するだけで物体領域を抽出することができる。
　特許文献１には、医用画像において既知形状の物体を検出し物体領域として指定し、検出点を中心として十分大きな範囲外を背景領域として指定することで、物体領域と背景領域を分離し、物体領域を抽出する方法が開示されている。その抽出方法は、医用画像中の臓器を抽出するために、抽出対象の臓器を物体領域の１点として検出する。特許文献１にかかる技術では、撮影時に画像中心に抽出対象の臓器を配置することで、画像中心を物体領域の１点としている。この方法では、臓器の形状がある程度既知であるため、形状情報を用いて抽出対象の臓器を検出することができる。そして、物体領域の１点から十分離れた領域を背景領域として定義し、グラフカット（非特許文献１、非特許文献３参照）を用いて物体を抽出している。
　特許文献２には、物体固有の色情報を用いて物体色の存在する位置を物体領域として指定することで、物体領域と背景領域とを分離し、物体領域を抽出する技術が開示されている。この抽出方法では、人間の肌といった物体固有の色を事前に確率で定義し、その色を含む確率が高い場合にデータ項が小さくなるエネルギー関数を用いて、エネルギー関数が最小となる分離部分を求める方法（グラフカット）を用いている。
特開２００８－２４５７１９号公報 特開２００７－１７２２２４号公報
Yuri Y. Boykov, Marie-Pierre Jolly, "Interactive Graph Cuts for Optimal Boundary and Region Segmentation of Objects in N-D images", Proc. IEEE Int. Conf. on Computer Vision, 2001 C.Rother, V.Kolmogorv, A.Blake, "GrabCut: Interactive Foreground Extraction Using Iterated Graph Cuts",ACM Trans. Graphics(SIGGRAPH'04), vol.23, no.3,pp.309-314, 2004 Yuri Boykov and Vladimir Kolmogorov. "An Experimental Comparison of Min-Cut/Max-Flow Algorithms for Energy Minimization in Vision." In IEEE Transactions on Pattern Analysis and Machine Intelligence (PAMI),September 2004
　しかしながら、非特許文献１、２では、手動で物体領域や背景領域を指定する必要がある。また、非特許文献２では、物体領域を含む矩形領域から物体色分布、矩形領域外から背景色分布を推定するため、矩形領域外に物体色と似た背景が存在した場合に、誤って物体領域として抽出してしまうという問題がある。
　また、特許文献１の方法では、対象物体の大きさが分かっている範囲で、物体位置を設定する必要があるため、ユーザが自由に撮影した場合など、対象物体の大きさが変化する場合には適用することができない。また、特許文献２の方法では、物体固有の色を物体領域として指定している。このため、例えば車の場合、タイヤの色はどの車でも同じであることが多く、物体固有の色として用いることができるが、車体の色は様々であるため、物体固有の色として定義することはできない。従って、タイヤを抽出することはできるが、車全体は抽出することができないという問題がある。
　よって、本発明の目的は、画像中から物体を精度よく抽出することができる物体領域抽出装置、物体領域抽出方法、及び物体領域を抽出するためのプログラムを提供することである。
　本発明にかかる物体領域抽出装置は、画像中から抽出された特徴と類似度の高い領域を算出する類似領域算出手段と、前記特徴の位置と前記類似領域とから特徴領域の尤度を算出する特徴領域尤度算出手段と、前記特徴領域の尤度に基づいて物体領域を抽出する物体領域抽出手段と、を備える。
　本発明により、画像中から物体を精度よく抽出することができる物体領域抽出装置、物体領域抽出方法、及び物体領域を抽出するためのプログラムを提供することができる。
実施の形態１にかかる物体領域抽出装置を示すブロック図である。 実施の形態１にかかる物体領域抽出装置の他の態様を示すブロック図である。 実施の形態１にかかる物体領域抽出装置を用いて物体領域を抽出する方法を説明するためのフローチャートである。 実施の形態２にかかる物体領域抽出装置を示すブロック図である。 実施の形態２にかかる物体領域抽出装置を用いて物体領域を抽出する方法を説明するためのフローチャートである。 物体の特徴点の位置を中心とするガウス分布に基づき算出された物体位置尤度を示す図である。 物体位置尤度に基づき物体色尤度を算出する方法を説明するための図である。 画像の周囲４辺付近の位置を背景の特徴点位置の中心とし、この特徴点の位置を中心とするガウス分布に基づき算出された背景位置尤度を示す図である。 実施の形態２にかかる物体領域抽出装置を用いて物体領域を抽出した結果を示す図である。 実施の形態３にかかる物体領域抽出装置を示すブロック図である。 実施の形態３にかかる物体領域抽出装置において、物体領域内の物体検出結果から物体位置尤度を生成した結果を示す図である。 実施の形態４にかかる物体領域抽出装置を示すブロック図である。 実施の形態４にかかる物体領域抽出装置において、物体固有の形状の検出結果から物体位置尤度を生成した結果を示す図である。
　実施の形態１
　以下、図面を参照して本発明の実施の形態１について説明する。図１は、本実施の形態にかかる物体領域抽出装置を示すブロック図である。本実施の形態にかかる物体領域抽出装置１００は、画像中から抽出された特徴と類似度の高い領域を算出する類似領域算出手段１２０と、抽出された特徴の位置と類似領域とから特徴領域の尤度を算出する特徴領域尤度算出手段１３０と、特徴領域の尤度に基づいて物体領域を抽出する物体領域抽出手段１４０と、を備える。
　類似領域算出手段１２０は、画像入力装置１０から入力された画像中から抽出された特徴と類似度の高い領域を算出する。入力された画像中から特徴を抽出する際は、例えばユーザが画像中の特徴を決定し、この特徴を入力端末（不図示）を用いて指定することができる。また、図２に示すように類似領域算出手段１２０の前段に特徴抽出手段１１０を設け、この特徴抽出手段１１０を用いて入力された画像中から特徴を抽出してもよい。ここで特徴とは、物体の特徴や背景の特徴である。
　図２に示す特徴抽出手段１１０を用いて画像から特徴を抽出する際は、例えばＨａａｒ－Ｌｉｋｅ特徴、ＳＩＦＴ特徴、ＨＯＧ特徴などのような物体の形状の特徴を抽出する方法を用いてもよいし、物体の色の特徴を抽出する方法を用いてもよい。また、物体の形状の特徴と物体の色の特徴を組み合わせて画像から物体の特徴を抽出してもよい。また、データ記憶部２０の物体特徴記憶部２１に格納されている所望の物体特徴（物体の形状の特徴と物体の色の特徴）と、入力画像から抽出した特徴とを比較し、入力画像の中から所望の特徴を抽出してもよい。
　類似領域算出手段１２０は、例えば、抽出された特徴の形状もしくは色と、特徴の位置を中心とした周辺領域の形状もしくは色との類似度を算出する。ここで、周辺領域の範囲は抽出された特徴（特徴の形状、特徴の色）の位置を中心として、特徴の大きさに応じた分散を持つガウス分布を生成することで決定することができる。また、抽出された特徴が複数ある場合は、複数のガウス分布を混合ガウス分布として表現し、当該混合ガウス分布を用いることで周辺領域の範囲を決定することができる。なお、周辺領域の範囲の決定方法はこの方法に限定されることはなく、これ以外に周辺領域の範囲を決定することができる方法であればどのような方法を用いてもよい。
　特徴領域尤度算出手段１３０は、抽出された特徴の位置と、類似領域算出手段１２０で算出された類似度の高い領域（類似領域）とから特徴領域の尤度を算出する。例えば、特徴領域尤度算出手段１３０は、抽出された特徴の位置と、類似度を算出した領域との距離と、類似度との積により、特徴領域尤度を算出することができる。また、特徴領域尤度算出手段１３０は、算出された位置尤度と特徴位置を中心とした周辺領域の類似度との積に基づき特徴領域尤度を算出することもできる。ここで、位置尤度は、抽出された特徴の位置を中心として、特徴の大きさに応じた分散を持つガウス分布を生成することで算出することができる。
　物体領域抽出手段１４０は、特徴領域尤度算出手段１３０で算出された特徴領域の尤度に基づいて物体領域を抽出する。物体領域抽出手段１４０は、特徴領域尤度算出手段１３０で算出された特徴領域の尤度と、隣接する画素間の強度を表す関数とからなるエネルギー関数に対して、グラフカット法などを用いて最小化処理を実施する。この最小化処理を用いることで分割された領域から物体領域を抽出することができる。そして、物体領域抽出手段１４０で抽出された物体領域は、画像出力装置３０に送られる。
　なお、本実施の形態において、図２に示す特徴抽出手段１１０は、物体および背景を表す特徴の位置を抽出してもよい。また、類似領域算出手段１２０は、抽出された物体の特徴と類似度の高い領域および抽出された背景の特徴と類似度の高い領域をそれぞれ算出してもよい。また、特徴領域尤度算出手段１３０は、物体の特徴の位置と類似領域とから物体領域の尤度を算出すると共に、背景の特徴の位置と類似領域とから背景領域の尤度を算出してもよい。また、物体領域抽出手段１４０は、背景領域の尤度と物体領域の尤度に基づき物体領域を抽出してもよい。
　本実施の形態にかかる物体領域抽出装置では、抽出された特徴と類似度の高い領域を算出する類似領域算出手段１２０と、抽出された特徴の位置と類似領域算出手段１２０で算出された類似領域とから特徴領域の尤度を算出する特徴領域尤度算出手段１３０とを備えているので、精度よく物体領域を抽出することができる。また、図２に示す特徴抽出手段１１０を備えることで、画像中から所望の物体領域を自動で抽出することができるため、ユーザの手を煩わせることもない。
　次に、本実施の形態にかかる物体領域抽出方法について説明する。図３は、本実施の形態にかかる物体領域抽出方法を説明するためのフローチャートである。本実施の形態にかかる発明を用いて画像中の物体領域を抽出する場合は、まず処理の対象となる画像を入力する（ステップＳ１）。次に、画像中から特徴を求め、当該特徴の位置を抽出する（ステップＳ２）。次に、抽出された特徴と類似度の高い領域を算出する（ステップＳ３）。次に、類似領域と特徴の位置とから特徴領域の尤度を算出する（ステップＳ４）。最後に、特徴領域の尤度に基づいて物体領域を抽出する（ステップＳ５）。なお、ステップＳ２で画像中から特徴を抽出する際はユーザが手動で指定してもよいし、例えば図２に示す特徴抽出手段１１０等の装置を用いて自動で抽出してもよい。各ステップにおける動作は、物体領域抽出装置の動作と同様であるので重複した説明を省略する。
　また、本実施の形態にかかる物体領域を抽出するためのプログラムは、画像中から特徴を求め、当該特徴の位置を抽出し、抽出された特徴と類似度の高い領域を算出し、類似領域と特徴の位置とから特徴領域の尤度を算出し、特徴領域の尤度に基づいて物体領域を抽出する動作をコンピュータに実行させるためのプログラムである。なお、画像中から特徴を抽出する際はユーザが手動で指定してもよいし、例えば特徴を抽出するプログラムを用いて自動で抽出してもよい。
　以上で説明したように、本実施の形態にかかる物体領域抽出装置により、画像中から物体を精度よく抽出することができる物体領域抽出装置、物体領域抽出方法、及び物体領域を抽出するためのプログラムを提供することが可能となる。また、図２に示す特徴抽出手段１１０を用いることで手動で特徴を抽出する必要がなくなり、入力画像から自動で物体を抽出することが可能となる。
　実施の形態２
　次に、本発明の実施の形態２について説明する。図４は、本実施の形態にかかる物体領域抽出装置を示すブロック図である。図４に示すように、本実施の形態にかかる物体領域抽出装置３００は、特徴抽出手段２１０と、物体位置尤度算出手段２２０と、物体色尤度算出手段２３０と、物体領域尤度算出手段２４０と、背景位置尤度算出手段２５０と、背景色尤度算出手段２６０と、背景領域尤度算出手段２７０と、物体領域抽出手段２８０とを有する。本実施の形態にかかる物体領域抽出装置３００は、物体領域の尤度を算出する以外に、背景領域の尤度を算出する手段、すなわち、背景位置尤度算出手段２５０と、背景色尤度算出手段２６０と、背景領域尤度算出手段２７０を更に備えている。なお、本実施の形態にかかる物体領域抽出装置３００は、実施の形態１で説明した類似領域算出手段１２０として、物体位置尤度算出手段２２０と物体色尤度算出手段２３０と、背景位置尤度算出手段２５０と背景色尤度算出手段２６０とを備える。また、実施の形態１で説明した特徴領域尤度算出手段１３０として、物体領域尤度算出手段２４０と背景領域尤度算出手段２７０とを備える。
　画像入力装置１０は、スチルカメラやビデオカメラ、コピー機といった撮像システムから取得した画像やウェブ上に投稿された画像を取得し、特徴抽出手段２１０に渡す機能を有する。特徴抽出手段２１０は入力された画像から特徴抽出を行う。画像から特徴を抽出する際は、例えばＨａａｒ－Ｌｉｋｅ特徴、ＳＩＦＴ特徴、ＨＯＧ特徴などのような物体の形状の特徴を抽出する方法を用いてもよいし、物体の色の特徴を抽出する方法を用いてもよい。また、物体の形状の特徴と物体の色の特徴を組み合わせて画像から物体の特徴を抽出してもよい。また、データ記憶部２０の物体特徴記憶部２１に格納されている所望の物体特徴（物体の形状の特徴と物体の色の特徴）や背景特徴（背景の形状の特徴と背景の色の特徴）と、入力画像から抽出した特徴（物体特徴と背景特徴）とを比較し、入力画像の中から所望の特徴を抽出してもよい。なお、特徴の抽出は実施の形態１で説明したように、特徴抽出手段２１０を用いる以外にユーザが画像中の特徴を決定し、この特徴を入力端末（不図示）を用いて指定してもよい。この場合、特徴抽出手段２１０は設けなくてもよい。
　物体位置尤度算出手段２２０は、物体が存在する領域中から、物体が存在する位置の尤もらしさを物体の特徴から算出する機能を有している。物体位置尤度算出手段２２０は、特徴抽出手段２１０で抽出された物体の特徴の位置を中心として、特徴の大きさに応じた分散を持つガウス分布を生成することで物体位置尤度を算出する。なお、特徴抽出手段２１０で抽出された物体の特徴が複数ある場合は、複数のガウス分布を混合ガウス分布として表現し、当該混合ガウス分布から物体位置尤度を算出することもできる。
　また、物体位置尤度算出手段２２０は、一定の領域内に存在する特徴群を用いて物体の照合を行い、照合した結果から物体位置尤度を算出してもよい。また、物体位置尤度算出手段２２０は、予め領域分割された領域内に存在する特徴群を用いて物体の照合を行い、照合した結果から物体位置尤度を算出してもよい。
　物体色尤度算出手段２３０は、物体位置尤度算出手段２２０で算出された物体位置尤度に基づいて物体色の尤もらしさを算出する機能を有している。物体色尤度算出手段２３０は、物体位置尤度算出手段２２０で生成されたある画素における物体位置尤度を物体色尤度の候補とし、当該物体色尤度の候補のうち同一の画素色で物体色尤度が最大となる物体色尤度の候補を物体色尤度とする。
　物体領域尤度算出手段２４０は、物体位置尤度算出手段２２０で算出された物体位置尤度と物体色尤度算出手段２３０で算出された物体色尤度から物体領域の尤もらしさを算出する機能を有している。また、物体領域尤度算出手段２４０は、算出された物体位置尤度と特徴位置を中心とした周辺領域の類似度との積に基づき物体領域尤度を算出してもよい。
　同様に、背景位置尤度算出手段２５０は、背景が存在する領域中から、背景が存在する位置の尤もらしさを背景特徴から算出する機能を有している。背景位置尤度算出手段２５０は、特徴抽出手段２１０で抽出された背景特徴の位置を中心として、特徴の大きさに応じた分散を持つガウス分布を生成することで背景位置尤度を算出する。この場合も、特徴抽出手段２１０で抽出された背景特徴が複数ある場合は、複数のガウス分布を混合ガウス分布として表現し、当該混合ガウス分布から背景位置尤度を算出することもできる。
　背景色尤度算出手段２６０は、背景位置の尤度に基づいて背景色の尤もらしさを算出する機能を有している。背景色尤度算出手段２６０は、背景位置尤度算出手段２５０で生成されたある画素における背景位置尤度を背景色の尤度候補とし、同一色で最も尤度が大きい値を背景色尤度とする。
　背景領域尤度算出手段２７０は、背景位置尤度算出手段２５０で算出された背景位置尤度と背景色尤度算出手段２６０で算出された背景色尤度から背景領域の尤もらしさを算出する機能を有している。
　物体領域抽出手段２８０は、物体領域尤度算出手段２４０で算出された物体領域の尤度および背景領域尤度算出手段２７０で算出された背景領域の尤度からエネルギー関数のデータ項を定義して、エネルギー関数を最小化することで物体領域と背景領域に分割し、物体領域を抽出する機能を有する。つまり、物体領域抽出手段２８０は、物体領域尤度算出手段２４０で算出された物体領域の尤度と、背景領域尤度算出手段２７０で算出された背景領域の尤度と、隣接する画素間の強度とを表す関数からなるエネルギー関数に対して、グラフカット法などを用いて最小化処理を実施する。この最小化処理を用いて分割された領域から物体領域を抽出することができる。
　そして、物体領域抽出手段２８０で抽出された物体領域は、画像出力装置３０に送られる。
　次に、本実施の形態にかかる物体領域抽出方法について説明する。図５は、本実施の形態にかかる物体領域抽出方法を説明するためのフローチャートである。本実施の形態にかかる発明を用いて画像中の物体領域を抽出する場合は、まず処理の対象となる画像を入力する（ステップＳ１１）。次に、画像中から抽出する物体と背景の特徴を求め、当該物体と背景を表す特徴の位置を抽出する（ステップＳ１２）。次に、抽出された物体の特徴から物体位置尤度を算出する（ステップＳ１３）。次に、算出された物体位置尤度から物体色尤度を算出する（ステップＳ１４）。次に、算出された物体位置尤度と物体色尤度から物体領域尤度を算出する（ステップＳ１５）。
　同様に、抽出された背景の特徴から背景位置尤度を算出する（ステップＳ１６）。次に、算出された背景位置尤度から背景色尤度を算出する（ステップＳ１７）。次に、算出された背景位置尤度と背景色尤度から背景領域尤度を算出する（ステップＳ１８）。なお、物体領域尤度の算出（ステップＳ１３～Ｓ１５）と背景領域尤度の算出（ステップＳ１６～Ｓ１８）の順番は任意に設定することができる。
　最後に、算出された物体領域尤度と背景領域尤度とに基づいて物体領域を抽出する（ステップＳ１９）。なお、各ステップにおける動作は、上記で説明した物体領域抽出装置の動作と同様であるので重複した説明を省略する。また、画像中から特徴を抽出する際はユーザが手動で指定してもよいし、例えば図４に示す特徴抽出手段２１０等の装置を用いて自動で抽出してもよい。
　次に、本実施の形態にかかる物体領域抽出装置を用いて物体領域を抽出する例について具体的に説明する。まず、予め、様々な車、森、空、道路などが映っている画像から物体ごとに特徴抽出を行い、物体ごとの特徴を特徴記憶部２１に格納しておく。車、森、空、道路などの画像から特徴を抽出する際は、例えば、ＳＩＦＴ特徴を抽出する。全画像から抽出した特徴数は数万程度となるため、ｋ－ｍｅａｎｓ等のクラスタリング手法を用いて数百程度の代表特徴を算出する。
　その後、車の画像で頻出する代表的な特徴を車の特徴として特徴記憶部２１に格納する。このように頻出する代表的な特徴を物体の特徴としてもよいし、また、特徴間の共起頻度に基づき物体の特徴を求めてもよい。また、ＳＩＦＴ特徴に限らず、テクスチャ特徴などを用いてもよい。
　次に、特徴抽出手段２１０を用いて入力画像から特徴を抽出する。このとき、特徴記憶部２１に格納されている車特徴との照合を行い車特徴を決定する。
　次に、物体位置尤度算出手段２２０は物体位置尤度を算出する。このとき、特徴抽出手段２１０で決定された車特徴点（車特徴の位置）の周囲も車領域である可能性が高いので、物体位置尤度算出手段２２０は車特徴点の位置を基準に、車領域の位置を表す物体位置尤度を（式１）で定義されるガウス分布に基づき算出する。図６は、物体の特徴点の位置を中心とするガウス分布に基づき算出された物体位置尤度を示す図である。
Figure JPOXMLDOC01-appb-M000001
　ここで、Σは共分散で特徴の分布を表し、μは特徴点の位置、ｘは特徴点周辺の位置をベクトルで表記している。Ｔは転置を表す。なお、特徴点が複数ある場合は、（式２）に示す混合ガウス分布から物体位置尤度を算出する。また、分散値は特徴の大きさに制限するものではなく、一定の値を設定してもよい。
Figure JPOXMLDOC01-appb-M000002
　次に、物体色尤度算出手段２３０を用いて、物体位置尤度算出手段２２０で求めた物体位置尤度から物体色尤度を算出する。この場合、ある画素位置に設定された物体位置尤度を、その位置にある物体色尤度候補とする。そして、同一の画素色で最大となる物体色尤度候補を物体色尤度とする。図７は、物体位置尤度に基づき物体色尤度を算出する方法を説明するための図である。図７に示すように、３つの物体色尤度候補のうち尤度が最大となる物体色尤度候補（尤度が０．７の物体色尤度候補）を物体色尤度としている。このとき、物体色尤度は（式３）のように表すことができる。
Figure JPOXMLDOC01-appb-M000003
　なお、物体色尤度を算出する場合、入力画像を用いてもよいし、入力画像の色クラスタリングを行った画像を用いてもよい。
　次に、物体領域尤度算出手段２４０は、物体位置尤度と物体色尤度からある画素Ｉにおける物体領域尤度を（式４）を用いて算出する。
Figure JPOXMLDOC01-appb-M000004
　例えば、物体とよく似た背景がある場合、背景に対しても物体色尤度が大きくなるため、物体色尤度のみでは、物体領域として背景が抽出される場合がある。そこで、物体位置尤度を用いて位置の制約を加えることにより、背景領域を物体領域として抽出されることを防ぐことができる。
　次に、背景領域尤度を算出する。背景領域尤度の算出も上記で説明した物体領域尤度の算出と同様に算出することができる。
　まず、背景位置尤度算出手段２５０は、車領域の位置尤度を算出した方法と同様に、背景位置尤度を算出する。つまり、背景位置尤度算出手段２５０は、背景位置尤度を（式５）で定義されるガウス分布に基づき算出する。
Figure JPOXMLDOC01-appb-M000005
　ここで、背景位置は入力画像中の周囲４辺である可能性が高いという事前知識を用いて、入力画像の周囲４辺を中心とするガウス分布を設定してもよい。図８は、画像の周囲４辺付近の位置を背景の特徴点位置の中心とし、この特徴点の位置を中心とするガウス分布に基づき算出された背景位置尤度を示す図である。
　次に、背景色尤度算出手段２６０を用いて、背景位置尤度算出手段２５０で求めた物体位置尤度から物体色尤度を算出する。このとき、背景色尤度は（式６）のように表すことができる。
Figure JPOXMLDOC01-appb-M000006
　なお、背景色尤度を算出する場合、入力画像を用いてもよいし、入力画像の色クラスタリングを行った画像を用いてもよい。
　次に、背景領域尤度算出手段２７０は、背景位置尤度と背景色尤度からある画素Ｉにおける背景領域尤度を（式７）を用いて算出する。
Figure JPOXMLDOC01-appb-M000007
　次に、グラフカット法を用いて物体領域の抽出を行う。グラフカット法では、エネルギー関数を（式８）のように定義する。（式８）のλはＲ（Ｉ）とＢ（Ｉ）の比率のパラメータであり、Ｒ（Ｉ）は領域に対するペナルティ関数、Ｂ（Ｉ）は隣接する画素間の強度を表すペナルティ関数である。Ｒ（Ｉ）とＢ（Ｉ）により定義したエネルギー関数Ｅ（式８）を最小化する。このとき、Ｒ（Ｉ）は（式９）、（式１０）で表され、物体と背景の尤度を設定する。また、Ｂ（Ｉ）は（式１１）で表され、隣接画素間の輝度値の類似度を設定する。ここで、｜ｐ－ｑ｜は隣接画素ｐ、ｑ間の距離を表す。グラフカット法では、最小化する前述のエネルギーを最小カット最大流定理に帰着させ、例えば非特許文献３に開示されているアルゴリズムを用いて、グラフの分割を行うことで、物体領域と背景領域に分割する。本実施の形態にかかる物体領域抽出装置を用いて物体領域を抽出した結果を図９に示す。
Figure JPOXMLDOC01-appb-M000008
Figure JPOXMLDOC01-appb-M000009
Figure JPOXMLDOC01-appb-M000010
Figure JPOXMLDOC01-appb-M000011
　なお、上記ではエネルギー関数を最小化する方法としてグラフカット法を用いる場合を例示したが、例えば信念伝播法（Belief Propagation）等の他の最適化アルゴリズムを用いても良い。
　以上で説明したように、本実施の形態にかかる物体領域抽出装置を用いることで、画像中から物体を精度よく抽出することができる。特に本実施の形態にかかる物体領域抽出装置では、物体領域尤度に加えて背景領域尤度を算出しているので、画像中から物体をより精度よく抽出することができる。また、特徴抽出手段２１０を用いることで手動で特徴を抽出する必要がなくなり、入力画像から自動で物体を抽出することが可能となる。
　実施の形態３
　次に、本発明の実施の形態３について説明する。図１０は、本実施の形態にかかる物体領域抽出装置を示すブロック図である。図１０に示すように、本実施の形態にかかる物体領域抽出装置４００は、特徴抽出手段２１０と、物体検出手段３１０と、物体位置尤度算出手段２２０と、物体色尤度算出手段２３０と、物体領域尤度算出手段２４０と、背景位置尤度算出手段２５０と、背景色尤度算出手段２６０と、背景領域尤度算出手段２７０と、物体領域抽出手段２８０とを有する。すなわち、本実施の形態にかかる物体領域抽出装置４００は、実施の形態２で説明した物体領域抽出装置３００に、物体検出手段３１０が追加されている。これ以外の部分については実施の形態２と同様であるので重複した説明は省略する。
　物体検出手段３１０は、入力画像に対して一定の領域内に存在する特徴から物体を検出する。物体らしい領域であれば、物体らしさに基づいた値を領域の画素に投票していく。例えば、物体らしさが大きければ"１"を、物体らしさが小さければ"０．２"を物体らしさに基づいた値とすることができる。その結果、入力画像中で物体らしい領域には大きな値が、物体らしくない領域には小さな値が投票されることになる。そして、物体位置尤度算出手段２２０においてこの投票値を正規化することにより、投票結果を物体位置尤度として用いることができる。図１１は、このような手法を用いて物体位置尤度を生成した結果を示す図である。図１１に示すように、入力画像の車の位置に対応した位置の物体位置尤度が大きくなっている。その他の部分については、実施の形態２で説明した場合と同様であるので説明を省略する。
　本実施の形態にかかる物体領域抽出装置では、物体検出手段３１０を用いて、領域全体から物体らしい領域の画素に投票を行い、この投票結果に基づいて物体位置尤度を定めている。このため、一定領域のテクスチャパターンを持っている物体に対して、実施の形態２にかかる物体領域抽出装置よりも細かい尤度分布を設定することができる。なお、物体の特徴点から求めた物体位置尤度（実施の形態２で説明）と物体検出手段３１０を用いて求めた物体位置尤度とを統合してもよい。
　実施の形態４
　次に、本発明の実施の形態４について説明する。図１２は、本実施の形態にかかる物体領域抽出装置を示すブロック図である。図１２に示すように、本実施の形態にかかる物体領域抽出装置５００は、特徴抽出手段２１０と、物体形状検出手段４１０と、物体位置尤度算出手段２２０と、物体色尤度算出手段２３０と、物体領域尤度算出手段２４０と、背景位置尤度算出手段２５０と、背景色尤度算出手段２６０と、背景領域尤度算出手段２７０と、物体領域抽出手段２８０とを有する。すなわち、本実施の形態にかかる物体領域抽出装置５００は、実施の形態２で説明した物体領域抽出装置３００に、物体形状検出手段４１０が追加されている。また、本実施の形態ではデータ記憶部２０に物体形状記憶部２２が設けられている。これ以外の部分については実施の形態２と同様であるので重複した説明は省略する。
　物体形状検出手段４１０は、物体形状記憶部２２に格納されている物体形状と照合することで、入力画像から物体固有の形状を検出する。例えば、物体領域として車を抽出する場合、物体固有の形状としてタイヤを用いることができる。この場合は、物体形状検出手段４１０は、物体形状記憶部２２に格納されているタイヤの形状と照合し、入力画像からタイヤの形状である楕円を検出する。そして、検出された楕円について、予め設定されたタイヤ用の閾値を用いて処理を行う。そして、閾値処理後の楕円の位置に対して、大きい物体尤度を設定し、物体位置尤度算出手段２２０で算出された物体位置尤度と統合する。図１３は、物体固有の形状（タイヤ）の検出結果から物体位置尤度を生成した結果を示す図である。図１３の右側の図は、物体形状検出手段４１０で求めた物体固有の形状（タイヤ）と物体位置尤度算出手段２２０で算出された物体位置尤度とが統合されている状態を示している。その他の部分については、実施の形態２で説明した場合と同様であるので説明を省略する。
　本実施の形態にかかる物体領域抽出装置では、物体形状検出手段４１０を用いて物体固有の形状を検出し、検出した物体固有の形状の位置に対して物体位置尤度を大きく設定している。このため、特徴点として抽出されにくい物体形状でも、物体固有の形状として検出することができるので、実施の形態２にかかる物体領域抽出装置よりも物体位置尤度の分布を細かく設定することができる。
　また、上記実施の形態で説明したように、本発明は任意の処理を、ＣＰＵ（Central Processing Unit）にコンピュータプログラムを実行させることにより実現することも可能である。上述したプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ　ｃｏｍｐｕｔｅｒ　ｒｅａｄａｂｌｅ　ｍｅｄｉｕｍ）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（ｔａｎｇｉｂｌｅ　ｓｔｏｒａｇｅ　ｍｅｄｉｕｍ）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Ｐｒｏｇｒａｍｍａｂｌｅ　ＲＯＭ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ　ＰＲＯＭ）、フラッシュＲＯＭ、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（ｔｒａｎｓｉｔｏｒｙ　ｃｏｍｐｕｔｅｒ　ｒｅａｄａｂｌｅ　ｍｅｄｉｕｍ）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
　以上、実施の形態を参照して本願発明を説明したが、本願発明は上記によって限定されるものではない。本願発明の構成や詳細には、発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
　この出願は、２００９年１１月２０日に出願された日本出願特願２００９－２６５５４５を基礎とする優先権を主張し、その開示の全てをここに取り込む。
　本発明は、入力画像から所望の物体を抽出する画像処理の分野において広く適用することができる。
　１００　物体領域抽出装置
　１１０　特徴抽出手段
　１２０　類似領域算出手段
　１３０　特徴領域尤度算出手段
　１４０　物体領域抽出手段
　２００、３００、４００、５００　物体領域抽出装置
　２１０　特徴抽出手段
　２２０　物体位置尤度算出手段
　２３０　物体色尤度算出手段
　２４０　物体領域尤度算出手段
　２５０　背景位置尤度算出手段
　２６０　背景色尤度算出手段
　２７０　背景領域尤度算出手段
　２８０　物体領域抽出手段
　３１０　物体検出手段
　４１０　物体形状検出手段

Claims (19)

  1. 　画像中から抽出された特徴と類似度の高い領域を算出する類似領域算出手段と、
    　前記特徴の位置と前記類似領域とから特徴領域の尤度を算出する特徴領域尤度算出手段と、
    　前記特徴領域の尤度に基づいて物体領域を抽出する物体領域抽出手段と、を備える、
    　物体領域抽出装置。
  2. 　前記物体領域抽出装置は、前記画像中から特徴を求め、当該特徴の位置を抽出する特徴抽出手段を更に有する、請求項１に記載の物体領域抽出装置。
  3. 　前記類似領域算出手段は、抽出された前記特徴の形状もしくは色と、当該特徴の位置を中心とした周辺領域の形状もしくは色との類似度を算出する、請求項１または２に記載の物体領域抽出装置。
  4. 　前記周辺領域の範囲は、前記特徴の位置を中心として当該特徴の大きさに応じた分散を持つガウス分布を生成することで決定される、請求項３に記載の物体領域抽出装置。
  5. 　前記周辺領域の範囲は、前記特徴が複数ある場合は、複数のガウス分布を混合ガウス分布として表現し、当該混合ガウス分布を用いることで決定される、請求項４に記載の物体領域抽出装置。
  6. 　前記特徴領域尤度算出手段は、抽出された前記特徴の位置と、類似度を算出した領域との距離と、類似度との積により、前記特徴領域の尤度を算出する、請求項１乃至５のいずれか一項に記載の物体領域抽出装置。
  7. 　前記特徴抽出手段は、物体および背景を表す特徴の位置を抽出し、
    　前記類似領域算出手段は、抽出された前記物体の特徴と類似度の高い領域および抽出された前記背景の特徴と類似度の高い領域をそれぞれ算出し、
    　前記特徴領域尤度算出手段は、前記物体の特徴の位置と前記類似領域とから物体領域の尤度を算出すると共に、前記背景の特徴の位置と前記類似領域とから背景領域の尤度を算出し、
    　前記物体領域抽出手段は、前記物体領域の尤度と前記背景領域の尤度とに基づき物体領域を抽出する、請求項２乃至６のいずれか一項に記載の物体領域抽出装置。
  8. 　前記類似領域算出手段は、前記物体が存在する領域中から当該物体が存在する位置の尤度を物体の特徴から算出する物体位置尤度算出手段と、
    　前記物体位置尤度算出手段で算出された物体位置尤度に基づいて物体の色の尤度を算出する物体色尤度算出手段と、有し、
    　前記特徴領域尤度算出手段は、前記物体位置尤度と前記物体色尤度に基づき物体領域尤度を算出する物体領域尤度算出手段を有する、請求項１または２に記載の物体領域抽出装置。
  9. 　前記類似領域算出手段は、背景が存在する領域中から当該背景が存在する位置の尤度を背景の特徴から算出する背景位置尤度算出手段と、
    　前記背景位置尤度算出手段で算出された背景位置尤度に基づいて背景の色の尤度を算出する背景色尤度算出手段と、を更に有し、
    　前記特徴領域尤度算出手段は、前記背景位置尤度と前記背景色尤度に基づき背景領域尤度を算出する背景領域尤度算出手段を更に有する、請求項８に記載の物体領域抽出装置。
  10. 　前記物体位置尤度算出手段は、前記特徴の位置を中心として当該特徴の大きさに応じた分散を持つガウス分布を生成することで前記物体位置尤度を算出し、
    　前記背景位置尤度算出手段は、前記特徴の位置を中心として当該特徴の大きさに応じた分散を持つガウス分布を生成することで前記背景位置尤度を算出する、請求項９に記載の物体領域抽出装置。
  11. 　前記物体色尤度算出手段は、前記物体位置尤度算出手段で生成されたある画素における物体位置尤度を物体色尤度の候補とし、当該物体色尤度の候補のうち同一の画素色で物体色尤度が最大となる物体色尤度の候補を物体色尤度とし、
    　前記背景色尤度算出手段は、前記背景位置尤度算出手段で生成されたある画素における背景位置尤度を背景色尤度の候補とし、当該背景色尤度の候補のうち同一の画素色で背景色尤度が最大となる背景色尤度の候補を背景色尤度とする、請求項９または１０に記載の物体領域抽出装置。
  12. 　前記物体位置尤度算出手段は、一定の領域内に存在する特徴群を用いて物体の照合を行い、照合した結果から物体位置尤度を算出する、請求項８乃至１１のいずれか一項に記載の物体領域抽出装置。
  13. 　前記物体位置尤度算出手段は、予め領域分割された領域内に存在する特徴群を用いて物体の照合を行い、照合した結果から物体位置尤度を算出する、請求項８乃至１１のいずれか一項に記載の物体領域抽出装置。
  14. 　前記物体領域尤度算出手段は、算出された前記物体位置尤度と特徴位置を中心とした周辺領域の類似度との積に基づき物体領域尤度を算出する、請求項８乃至１１のいずれか一項に記載の物体領域抽出装置。
  15. 　前記物体領域抽出手段は、前記物体領域尤度と前記背景領域尤度から、各画素における物体・背景の事後確率を算出する関数と、隣接する画素間の輝度が類似している程、値が高くなる関数が最小化するように、全画素を物体・背景領域に分離し、物体領域を抽出する、請求項８乃至１４のいずれか一項に記載の物体領域抽出装置。
  16. 　前記物体領域抽出装置は、物体らしさに基づいた値を領域の画素に投票する物体検出手段を更に有し、
    　前記物体位置尤度算出手段は当該物体検出手段の当該投票値を正規化した結果を物体位置尤度として用いる、請求項８乃至１５のいずれか一項に記載の物体領域抽出装置。
  17. 　前記物体領域抽出装置は、予め設定された物体形状に関する情報と照合することで、入力画像から物体固有の形状を検出する物体形状検出手段を更に有し、
    　前記物体位置尤度算出手段は前記算出された物体位置尤度と前記物体形状検出手段で検出された物体固有の形状に関する情報を統合する、請求項８乃至１５のいずれか一項に記載の物体領域抽出装置。
  18. 　画像中から特徴を求め、当該特徴の位置を抽出し、
    　抽出された前記特徴と類似度の高い領域を算出し、
    　前記類似領域と前記特徴の位置とから特徴領域の尤度を算出し、
    　前記特徴領域の尤度に基づいて物体領域を抽出する、
    　物体領域抽出方法。
  19. 　画像中から特徴を求め、当該特徴の位置を抽出し、
    　抽出された前記特徴と類似度の高い領域を算出し、
    　前記類似領域と前記特徴の位置とから特徴領域の尤度を算出し、
    　前記特徴領域の尤度に基づいて物体領域を抽出する動作をコンピュータに実行させるための非一時的なコンピュータ可読媒体。
PCT/JP2010/006612 2009-11-20 2010-11-10 物体領域抽出装置、物体領域抽出方法、及びコンピュータ可読媒体 WO2011061905A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US13/510,507 US20120230583A1 (en) 2009-11-20 2010-11-10 Object region extraction device, object region extraction method, and computer-readable medium
JP2011541801A JPWO2011061905A1 (ja) 2009-11-20 2010-11-10 物体領域抽出装置、物体領域抽出方法、及びプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009-265545 2009-11-20
JP2009265545 2009-11-20

Publications (1)

Publication Number Publication Date
WO2011061905A1 true WO2011061905A1 (ja) 2011-05-26

Family

ID=44059392

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/006612 WO2011061905A1 (ja) 2009-11-20 2010-11-10 物体領域抽出装置、物体領域抽出方法、及びコンピュータ可読媒体

Country Status (3)

Country Link
US (1) US20120230583A1 (ja)
JP (1) JPWO2011061905A1 (ja)
WO (1) WO2011061905A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013097369A (ja) * 2011-11-03 2013-05-20 Kotatsu Kokusai Denshi Kofun Yugenkoshi 背景壁紙及び一つ又は複数のユーザーインターフェイスエレメントを同時に電子装置の表示ユニットに表示するための方法、この方法を実行するためのコンピュータプログラム製品、並びにこの方法を実施する電子装置
WO2014050129A1 (ja) * 2012-09-28 2014-04-03 富士フイルム株式会社 画像処理装置および方法並びにプログラム
KR101747216B1 (ko) * 2012-05-30 2017-06-15 한화테크윈 주식회사 표적 추출 장치와 그 방법 및 상기 방법을 구현하는 프로그램이 기록된 기록 매체
JP2017157091A (ja) * 2016-03-03 2017-09-07 日本電信電話株式会社 物体領域特定方法、装置、及びプログラム
CN112288003A (zh) * 2020-10-28 2021-01-29 北京奇艺世纪科技有限公司 一种神经网络训练、及目标检测方法和装置

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102011005715A1 (de) * 2011-03-17 2012-09-20 Siemens Aktiengesellschaft Verfahren zum Gewinnen eines von Spuren eines Metallobjektes befreiten 3D-Bilddatensatzes
US10026002B2 (en) * 2013-10-01 2018-07-17 Nec Corporation Object detection apparatus, method for detecting object, and learning apparatus
JP6148426B1 (ja) * 2016-05-27 2017-06-14 楽天株式会社 画像処理装置、画像処理方法及び画像処理プログラム
WO2020012530A1 (ja) 2018-07-09 2020-01-16 日本電気株式会社 施術支援装置、施術支援方法、及びコンピュータ読み取り可能な記録媒体

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006053919A (ja) * 2004-08-06 2006-02-23 Microsoft Corp 画像データ分離システム及びその方法
JP2007316950A (ja) * 2006-05-25 2007-12-06 Nippon Telegr & Teleph Corp <Ntt> 画像処理方法及び装置及びプログラム
JP2008015641A (ja) * 2006-07-04 2008-01-24 Fujifilm Corp 人体領域抽出方法および装置並びにプログラム
JP2009169518A (ja) * 2008-01-11 2009-07-30 Kddi Corp 領域識別装置およびコンテンツ識別装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5579360A (en) * 1994-12-30 1996-11-26 Philips Electronics North America Corporation Mass detection by computer using digital mammograms of the same breast taken from different viewing directions
JPH09163161A (ja) * 1995-12-01 1997-06-20 Brother Ind Ltd 画像処理装置
CN1313979C (zh) * 2002-05-03 2007-05-02 三星电子株式会社 产生三维漫画的装置和方法
US20060083428A1 (en) * 2004-01-22 2006-04-20 Jayati Ghosh Classification of pixels in a microarray image based on pixel intensities and a preview mode facilitated by pixel-intensity-based pixel classification
KR20050085638A (ko) * 2002-12-13 2005-08-29 코닌클리케 필립스 일렉트로닉스 엔.브이. 텔레비전 이미지들의 적응형 분할
JP2004350130A (ja) * 2003-05-23 2004-12-09 Fuji Photo Film Co Ltd デジタルカメラ
JP2005293367A (ja) * 2004-04-01 2005-10-20 Seiko Epson Corp 画像処理方法及び装置
KR100647322B1 (ko) * 2005-03-02 2006-11-23 삼성전자주식회사 객체의 모양모델 생성장치 및 방법과 이를 이용한 객체의특징점 자동탐색장치 및 방법
EP1897033A4 (en) * 2005-06-16 2015-06-24 Strider Labs Inc SYSTEM AND METHOD FOR RECOGNIZING 2D IMAGES USING 3D CLASS MODELS
US8102465B2 (en) * 2006-11-07 2012-01-24 Fujifilm Corporation Photographing apparatus and photographing method for photographing an image by controlling light irradiation on a subject
JP2008152555A (ja) * 2006-12-18 2008-07-03 Olympus Corp 画像認識方法及び画像認識装置
JP4493679B2 (ja) * 2007-03-29 2010-06-30 富士フイルム株式会社 対象領域抽出方法および装置ならびにプログラム
EP2264679A4 (en) * 2008-03-11 2013-08-21 Panasonic Corp TAG SENSOR SYSTEM AND SENSOR DEVICE, AND OBJECT POSITION ESTIMATING DEVICE, AND OBJECT POSITION ESTIMATING METHOD
JP5235770B2 (ja) * 2009-04-27 2013-07-10 日本電信電話株式会社 顕著領域映像生成方法、顕著領域映像生成装置、プログラムおよび記録媒体
US20120002855A1 (en) * 2010-06-30 2012-01-05 Fujifilm Corporation Stent localization in 3d cardiac images

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006053919A (ja) * 2004-08-06 2006-02-23 Microsoft Corp 画像データ分離システム及びその方法
JP2007316950A (ja) * 2006-05-25 2007-12-06 Nippon Telegr & Teleph Corp <Ntt> 画像処理方法及び装置及びプログラム
JP2008015641A (ja) * 2006-07-04 2008-01-24 Fujifilm Corp 人体領域抽出方法および装置並びにプログラム
JP2009169518A (ja) * 2008-01-11 2009-07-30 Kddi Corp 領域識別装置およびコンテンツ識別装置

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013097369A (ja) * 2011-11-03 2013-05-20 Kotatsu Kokusai Denshi Kofun Yugenkoshi 背景壁紙及び一つ又は複数のユーザーインターフェイスエレメントを同時に電子装置の表示ユニットに表示するための方法、この方法を実行するためのコンピュータプログラム製品、並びにこの方法を実施する電子装置
US8943426B2 (en) 2011-11-03 2015-01-27 Htc Corporation Method for displaying background wallpaper and one or more user interface elements on display unit of electrical apparatus at the same time, computer program product for the method and electrical apparatus implementing the method
KR101747216B1 (ko) * 2012-05-30 2017-06-15 한화테크윈 주식회사 표적 추출 장치와 그 방법 및 상기 방법을 구현하는 프로그램이 기록된 기록 매체
WO2014050129A1 (ja) * 2012-09-28 2014-04-03 富士フイルム株式会社 画像処理装置および方法並びにプログラム
JP2014068861A (ja) * 2012-09-28 2014-04-21 Fujifilm Corp 画像処理装置および方法並びにプログラム
US9436889B2 (en) 2012-09-28 2016-09-06 Fujifilm Corporation Image processing device, method, and program
JP2017157091A (ja) * 2016-03-03 2017-09-07 日本電信電話株式会社 物体領域特定方法、装置、及びプログラム
CN112288003A (zh) * 2020-10-28 2021-01-29 北京奇艺世纪科技有限公司 一种神经网络训练、及目标检测方法和装置

Also Published As

Publication number Publication date
US20120230583A1 (en) 2012-09-13
JPWO2011061905A1 (ja) 2013-04-04

Similar Documents

Publication Publication Date Title
WO2011061905A1 (ja) 物体領域抽出装置、物体領域抽出方法、及びコンピュータ可読媒体
US10242249B2 (en) Method and apparatus for extracting facial feature, and method and apparatus for facial recognition
US10438059B2 (en) Image recognition method, image recognition apparatus, and recording medium
US9798956B2 (en) Method for recognizing target object in image, and apparatus
Konstantinidis et al. Building detection using enhanced HOG–LBP features and region refinement processes
CN107346409B (zh) 行人再识别方法和装置
US9367766B2 (en) Text line detection in images
US20240282095A1 (en) Image processing apparatus, training apparatus, image processing method, training method, and storage medium
US9317784B2 (en) Image processing apparatus, image processing method, and program
JP4905931B2 (ja) 人体領域抽出方法および装置並びにプログラム
Cohen et al. Robust text and drawing segmentation algorithm for historical documents
US9489566B2 (en) Image recognition apparatus and image recognition method for identifying object
US9025882B2 (en) Information processing apparatus and method of processing information, storage medium and program
EP2500864B1 (en) Irradiation field recognition
Heimowitz et al. Image segmentation via probabilistic graph matching
Michail et al. Detection of centroblasts in h&e stained images of follicular lymphoma
Soni et al. Text detection and localization in natural scene images using MSER and fast guided filter
KR101741761B1 (ko) 멀티 프레임 기반 건물 인식을 위한 특징점 분류 방법
Kotteswari et al. Analysis of foreground detection in MRI images using region based segmentation
JP2017084006A (ja) 画像処理装置およびその方法
Rafiee et al. Automatic segmentation of interest regions in low depth of field images using ensemble clustering and graph cut optimization approaches
KR102112033B1 (ko) 얼굴 군집화 기법을 이용한 영상 추출 장치
Shehnaz et al. An object recognition algorithm with structure-guided saliency detection and SVM classifier
KR101306576B1 (ko) 차분 성분을 고려한 조명 변화에 강인한 얼굴 인식 시스템
JP4812743B2 (ja) 顔認識装置、顔認識方法、顔認識プログラムおよびそのプログラムを記録した記録媒体

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10831304

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2011541801

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 13510507

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 10831304

Country of ref document: EP

Kind code of ref document: A1