[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

WO2016174804A1 - 商品モニタリング装置、商品モニタリングシステムおよび商品モニタリング方法 - Google Patents

商品モニタリング装置、商品モニタリングシステムおよび商品モニタリング方法 Download PDF

Info

Publication number
WO2016174804A1
WO2016174804A1 PCT/JP2016/001159 JP2016001159W WO2016174804A1 WO 2016174804 A1 WO2016174804 A1 WO 2016174804A1 JP 2016001159 W JP2016001159 W JP 2016001159W WO 2016174804 A1 WO2016174804 A1 WO 2016174804A1
Authority
WO
WIPO (PCT)
Prior art keywords
product
display
unit
state
evaluation
Prior art date
Application number
PCT/JP2016/001159
Other languages
English (en)
French (fr)
Inventor
慎治 竹中
徳田　憲治
勇一郎 竹本
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Priority to US15/565,808 priority Critical patent/US10410333B2/en
Publication of WO2016174804A1 publication Critical patent/WO2016174804A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/087—Inventory or stock management, e.g. order filling, procurement or balancing against orders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20068—Projection on vertical or horizontal image axis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns

Definitions

  • the present disclosure relates to a product monitoring device, a product monitoring system, and a product monitoring method for monitoring the display status of a product based on an image of a display area in a store.
  • Patent Documents 1 and 2 As a technology related to such product management work, there is conventionally known a technique for determining the necessity of product management work based on an image obtained by photographing a display area and performing notification for instructing product ordering work.
  • a reference display pattern is set based on a desired display state of a product, and the reference display pattern is compared with the actual display state of the product. The display state of the product is evaluated based on the similarity between the two.
  • Patent Document 2 a representative graphic interpolated between a boundary line defining the outer edge of the product existing area and a boundary line of the product non-existing area inside the product existing area is obtained.
  • the degree of appropriateness of the display state of the product face-up degree is calculated based on the area of the item.
  • the conventional technology comprehensively determines the inappropriate display state of the product, including both the state where the display of the product is disturbed and the state where the product is insufficient. Although it is possible for the user to grasp the necessity of work for improving the correct display state, there is a problem that it is impossible to grasp what kind of work is specifically required.
  • An object of the present invention is to provide a product monitoring device, a product monitoring system, and a product monitoring method configured to be able to present to a user information that allows the user to grasp specific work items of product management work.
  • the product monitoring device of the present disclosure is a product monitoring device that monitors the display status of a product based on an image of a display area in a store, an image acquisition unit that acquires a captured image of the display area, and a shooting of the display area
  • a state monitoring area setting unit that sets a state monitoring area on the image
  • a product detection unit that acquires product detection information indicating the position of the product in the state monitoring area based on a captured image of the state monitoring area
  • product detection information Based on a plurality of evaluation indexes relating to the display disorder of the product
  • a display state evaluation unit for evaluating the display state of the product in the state monitoring area, and evaluation information for presenting information about an evaluation result by the display state evaluation unit to the user And a presentation unit.
  • the product monitoring system of the present disclosure is a product monitoring system that monitors the display status of a product based on an image of a display area in a store, a camera that images the display area, a plurality of information processing devices, An image acquisition unit that acquires a captured image of the display area, a state monitoring area setting unit that sets a state monitoring area on the captured image of the display area, and a state monitoring area Using a product detection unit that acquires product detection information representing the position of the product in the state monitoring area based on the photographed image of the image, and using a plurality of evaluation indexes related to display disorder of the product based on the product detection information, A display state evaluation unit that evaluates the display state of products in the market, and an evaluation that presents information about the evaluation result by the display state evaluation unit to the user A configuration which includes a broadcast presentation unit, the.
  • the product monitoring method of the present disclosure is a product monitoring method that causes an information processing device to perform processing for monitoring the display status of a product based on an image of a display area in a store, and acquires a captured image of the display area A step of setting a state monitoring area on the captured image of the display area, a step of acquiring product detection information indicating the position of the product in the state monitoring area based on the captured image of the state monitoring area, and a product detection A step of evaluating the display state of the product in the state monitoring area using a plurality of evaluation indices relating to the display disorder of the product based on the information, and a step of presenting information regarding an evaluation result by this step to the user.
  • the configuration causes an information processing device to perform processing for monitoring the display status of a product based on an image of a display area in a store, and acquires a captured image of the display area A step of setting a state monitoring area on the captured image of the display area, a step of acquiring product detection information indicating the position of the
  • evaluation results based on a plurality of evaluation indexes related to product display disorder are presented to the user, so that the user grasps specific work items of product management work for improving an inappropriate display state. It becomes possible.
  • FIG. 1 is an overall configuration diagram of a product monitoring system according to the present embodiment.
  • FIG. 2 is a plan view of the store explaining the store layout and the installation status of the camera 1.
  • FIG. 3 is an explanatory diagram showing a state monitoring area set on a captured image in the display area.
  • FIG. 4 is an explanatory diagram for explaining the degree of volume, the degree of alignment, and the degree of face-up as evaluation indexes for the display state.
  • FIG. 5 is a functional block diagram illustrating a schematic configuration of the camera 1.
  • FIG. 6 is a functional block diagram showing a schematic configuration of the PC 3.
  • FIG. 7A is an explanatory diagram illustrating an outline of the product detection process performed by the product detection unit 33.
  • FIG. 7B is an explanatory diagram illustrating an overview of the product detection process performed by the product detection unit 33.
  • FIG. 7C is an explanatory diagram illustrating an outline of the product detection process performed by the product detection unit 33.
  • FIG. 8 is an explanatory diagram for explaining the outline of the product presence section detection process performed by the product presence section detection unit 45.
  • FIG. 9 is an explanatory diagram for explaining the outline of the volume degree calculation process performed by the volume degree calculation unit 46.
  • FIG. 10 is an explanatory diagram for explaining the outline of the alignment degree calculation process performed by the alignment degree calculation unit 47.
  • FIG. 11 is an explanatory diagram for explaining an overview of alignment degree calculation processing performed by the alignment degree calculation unit 47.
  • FIG. 12 is an explanatory diagram for explaining the outline of the face-up degree calculation process performed by the face-up degree calculation unit 48.
  • FIG. 13 is an explanatory diagram for explaining an overview of the occupancy calculation processing performed by the occupancy calculator 49.
  • FIG. 14 is an explanatory diagram showing an analysis information display screen displayed on the monitor 7.
  • FIG. 15 is an explanatory diagram showing an analysis information display screen displayed on the monitor 7.
  • FIG. 16 is an explanatory diagram showing an analysis information display screen displayed on the monitor 7.
  • a first invention made to solve the above-described problem is a product monitoring device that monitors the display status of a product based on an image obtained by photographing a display area in a store, and acquires an image obtained by acquiring a photographed image of the display area
  • Product detection information indicating the position of the product in the state monitoring area based on the state monitoring area setting unit that sets the state monitoring area on the captured image of the display unit, the state monitoring area, and the captured image of the state monitoring area
  • a display state evaluation unit that evaluates the display state of the product in the state monitoring area using a plurality of evaluation indexes related to the display disorder of the product based on the product detection information, and information on an evaluation result by the display state evaluation unit It is set as the structure provided with the evaluation information presentation part which presents to a user.
  • the display state evaluation unit uses, as an evaluation index, a volume level indicating a degree that a large number of products are displayed together, an alignment level indicating a degree that the products are aligned in the left-right direction, And it is set as the structure evaluated using at least 2 of the face-up degrees showing the degree by which goods were displayed and displayed in the forefront position of a state monitoring area.
  • the user can grasp which of the volume degree, the alignment degree, and the face-up degree needs to be increased. it can.
  • the third invention is configured such that the product detection unit converts the captured image of the state monitoring area into a top view image and acquires product detection information based on the top view image.
  • the product detection process can be appropriately performed without being affected by the difference in the appearance of the product in different images depending on the positional relationship between the product and the camera.
  • the fourth invention further includes an evaluation result analysis unit that generates analysis information representing a period of caution based on the evaluation result by the display state evaluation unit, and the evaluation information presentation unit presents the analysis information to the user.
  • the fifth invention further includes an evaluation result analysis unit that performs statistical processing on the evaluation result by the display state evaluation unit and generates analysis information indicating a temporal transition state of the evaluation result.
  • the presentation unit is configured to present analysis information to the user.
  • the analysis information indicating the temporal transition state of the evaluation result is presented to the user, the user can clearly grasp at what timing there is a problem in the product display state and the product management work.
  • the state monitoring area setting unit sets a state monitoring area for each section into which the display area is divided based on a user operation input, and the display state evaluation unit is configured for each of the plurality of state monitoring areas. The display state of the product is evaluated.
  • the seventh aspect of the invention is configured such that the image acquisition unit acquires a privacy mask image obtained by erasing a person image from an original image obtained by photographing the display area as a photographed image of the display area.
  • An eighth invention is a product monitoring system for monitoring the display status of a product based on an image obtained by photographing a display area in a store, and includes a camera for photographing the display area and a plurality of information processing devices. Any one of the plurality of information processing apparatuses acquires an image acquisition unit that acquires a captured image of the display area, a state monitoring area setting unit that sets a state monitoring area on the captured image of the display area, and imaging of the state monitoring area A product detection unit that acquires product detection information indicating the position of the product in the state monitoring area based on the image, and a plurality of evaluation indexes related to display disorder of the product based on the product detection information, the product in the state monitoring area A display state evaluation unit that evaluates the display state of the display, and an evaluation information presentation unit that presents information related to the evaluation result by the display state evaluation unit to the user. And it formed.
  • the specific work of the product management work for improving an inappropriate display state The user can grasp the items.
  • the ninth invention is a product monitoring method for causing an information processing device to perform processing for monitoring the display status of a product based on an image obtained by photographing a display area in a store, and the step of acquiring a photographed image of the display area
  • a configuration comprising: a step of evaluating the display state of the product in the state monitoring area using a plurality of evaluation indexes relating to the display disorder of the product, and a step of presenting information on an evaluation result by this step to the user; To do.
  • the specific work of the product management work for improving an inappropriate display state The user can grasp the items.
  • FIG. 1 is an overall configuration diagram of a product monitoring system according to the present embodiment.
  • This product monitoring system is constructed for retail chain stores such as convenience stores, etc., and includes a camera 1, a recorder (image storage device) 2, a PC (product monitoring device) 3, and a portable terminal 4. And.
  • the camera 1 is installed at an appropriate place in the store, the inside of the store is photographed by the camera 1, and the photographed image in the store photographed by the camera 1 is accumulated in the recorder 2.
  • the PC 3 is connected with an input device 6 such as a mouse for a user such as a store manager to perform various input operations, a monitor (display device) 7 for displaying a monitoring screen, and a printer 8.
  • the PC 3 is installed in a proper place in the store, and the user can browse the image taken in the store taken by the camera 1 in real time on the monitor screen displayed on the monitor 7. The recorded images in the past store can be browsed.
  • the camera 1, the recorder 2, and the PC 3 are installed in each of a plurality of stores, and a PC 11 is installed in the headquarters that generalizes the plurality of stores. Can be viewed in real time, and past recorded images (videos) in the store recorded by the recorder 2 can be browsed, thereby confirming the situation in the store at the headquarters. it can.
  • the PC 3 installed in the store is configured as a product monitoring device that analyzes the display state of the product in the store, and the analysis information generated by the PC 3 can be viewed by the store side user, for example, the store manager. Further, it is transmitted to the PC 11 installed in the headquarters, and even on this PC11, a user on the headquarters side, for example, a supervisor who gives guidance or proposals to each store in the area in charge can browse the PC3. , 11 are configured as browsing devices for browsing the analysis information.
  • the mobile terminal 4 is possessed by a store clerk or store manager, and various notifications are given from the PC 3 to the store clerk or store manager using the mobile terminal 4.
  • FIG. 2 is a plan view of the store explaining the store layout and the installation status of the camera 1.
  • the store has an entrance, a display shelf, and a cashier counter.
  • Display shelves are divided into different types of products such as fast food, cooked rice (onigiri, bento, sushi, etc.), processed food, sundries, fresh food, magazines, and newspapers.
  • the customer enters the store from the entrance, moves through the passage between the display shelves, finds the desired product, and goes to the checkout counter with the product and pays at the checkout counter (payment). After exiting, exit from the entrance.
  • a plurality of cameras 1 for photographing the inside of the store are installed in the store.
  • the camera 1 is installed at an appropriate position on the ceiling in the store.
  • an omnidirectional camera having a 360-degree shooting range using a fisheye lens is adopted as the camera 1, and the camera 1 can take a picture of a product displayed on a display shelf or the like. .
  • FIG. 3 is an explanatory diagram showing a state monitoring area set on a captured image in the display area.
  • the PC 3 sets a state monitoring area on a captured image of a display area (display shelf, display stand, etc.) based on a user operation input.
  • This state monitoring area can be set for each section in which the display area is divided according to the shelves of the display shelf and the category of the product. Specifically, the state monitoring area is set so as to surround an area in which products in the display area image are arranged.
  • a target display area is a display shelf for displaying products such as cooked rice (products such as rice balls, lunch boxes and sushi), and a plurality of state monitoring is performed for each shelf board of the display shelf.
  • An area is set.
  • the state monitoring area may be set to a quadrangular shape by specifying four vertices, but the boundary line of the state monitoring area may be specified by a curve.
  • FIG. 4 is an explanatory diagram for explaining the degree of volume, the degree of alignment, and the degree of face-up as evaluation indexes for the display state.
  • the display state of the product is evaluated using the evaluation index related to the display disorder of the product in the PC 3.
  • a plurality of evaluation indexes are used.
  • a volume degree, an alignment degree, and a face-up degree are used as evaluation indexes.
  • the volume level is an evaluation index representing the degree to which a large number of products are displayed in a large quantity.
  • the volume degree is the highest when the goods are displayed in the state monitoring area.
  • the volume level is relatively high if the products are displayed together.
  • the volume will be low.
  • the degree of alignment is an evaluation index that represents the degree to which products are displayed in the left-right direction (horizontal direction).
  • the degree of alignment increases, the appearance of the products improves and the customer's purchasing motivation can be increased.
  • FIG. 4 (B-1) when a large number of products are arranged straight in the left-right direction, the degree of alignment becomes the highest.
  • FIG. 4B-2 even if the amount of products is small, the degree of alignment is relatively high if the products are arranged in the left-right direction.
  • FIG. 4 (B-3) if the products are arranged in the front-rear direction and there is a gap between the products, the degree of alignment is low.
  • the degree of face-up is an evaluation index that indicates the degree to which products are displayed side by side in the forefront position of the state monitoring area, and when this degree of face-up increases, the appearance of the product improves and the customer determines the product. Can increase customer's willingness to purchase.
  • FIG. 4 (C-1) when all of the displayed products are arranged at the foremost position, the degree of face-up becomes the highest.
  • FIG. 4 (C-2) and FIG. 4 (C-3) the face-up degree decreases with an increase in the number of products that are shifted from the front position to the back side.
  • the display degree of the product is used as an evaluation index related to the shortage of the display of the product, using an occupancy degree representing the degree of the product in the state monitoring area. An assessment of the deficiency is performed.
  • FIG. 5 is a functional block diagram illustrating a schematic configuration of the camera 1.
  • the camera 1 outputs a privacy mask image obtained by removing a person from a captured image taken in a store, and includes an imaging unit 21, an image storage unit 22, and an image processing unit 23.
  • the imaging unit 21 includes an imaging element and its control circuit, and outputs an image obtained by imaging the monitoring area.
  • An image (frame) output from the imaging unit 21 is stored in the image storage unit 22.
  • the image processing unit 23 performs a process for generating a privacy mask image by removing an image area (foreground image) of a moving object (person) from a captured image.
  • a privacy mask image is generated from a plurality of images (frames) in the most recent predetermined learning period, and the privacy mask image is sequentially updated as a new image (frame) is acquired.
  • a known technique for generating a background image may be used.
  • setting items of the camera 1 can be selected by starting a web browser on the PC 3 and accessing the camera 1 via the network.
  • an omnidirectional camera is adopted as the camera 1
  • the “Foreground Superimposition” item it is possible to select whether or not to perform foreground superimposition (a process of superimposing a human mask image on a background image). The erased image is output.
  • FIG. 6 is a functional block diagram showing a schematic configuration of the PC 3.
  • the PC 3 includes an image acquisition unit 31, a state monitoring area setting unit 32, a product detection unit 33, a display state evaluation unit 34, an evaluation result storage unit 35, an evaluation result analysis unit 36, and a display information generation unit (evaluation).
  • the image acquisition unit 31 acquires from the camera 1 or the recorder 2 an image taken inside the store by the camera 1.
  • the captured image is acquired from the camera 1, and when processing the past captured image, the captured image is acquired from the recorder 2.
  • the privacy mask image is output from the camera 1 as described above, and the image acquisition unit 31 acquires the privacy mask image.
  • processing for setting a state monitoring area (see FIG. 3) on the captured image in the display area is performed in accordance with a user input operation performed using the input device 6.
  • an area setting screen on which a photographed image of the display area is displayed is displayed on the monitor 7, and the position of the state monitoring area may be input on the area setting screen.
  • the product detection unit 33 acquires product detection information indicating the position of the product in the state monitoring area based on the captured image in the state monitoring area.
  • the product detection information a product detection image in which a product region and other regions are represented by a binary image is generated.
  • the product detection unit 33 includes an image cutout unit 41, a top view conversion unit 42, and a product detection image generation unit 43.
  • the image cutout unit 41 cuts out the image area of the state monitoring area from the shot image of the display area acquired by the image acquisition unit 31, and acquires the shot image of the state monitoring area.
  • the top view conversion unit 42 converts the captured image in the state monitoring area into a top view image.
  • the product detection image generation unit 43 binarizes the top view image to generate a product detection image.
  • the display state evaluation unit 34 evaluates the display state of the product in the state monitoring area using a plurality of evaluation indexes based on the product detection image generated by the product detection unit 33.
  • the display state evaluation unit 34 includes a product presence section detection unit 45, a volume degree calculation unit 46, an alignment degree calculation unit 47, a face-up degree calculation unit 48, and an occupancy degree calculation unit 49.
  • the product presence section detection unit 45 detects a section in the left-right direction where the product exists based on the product detection image generated by the product detection unit 33.
  • the volume degree calculation unit 46 the alignment degree calculation unit 47, and the face-up degree calculation unit 48, based on the product detection image generated by the product detection unit 33 and the product presence section detected by the product presence section detection unit 45, As an evaluation index related to product display disorder, the volume level indicates the degree to which a large number of products are displayed, the degree of alignment that indicates the degree to which the products are aligned in the left-right direction, and the product in the forefront position of the status monitoring area.
  • Each of the face-up degrees representing the degree of the display is displayed side by side.
  • the volume degree, the alignment degree, and the face up degree calculated by the volume degree calculating unit 46, the alignment degree calculating unit 47, and the face up degree calculating unit 48, respectively an evaluation result for each evaluation index.
  • a predetermined threshold value for example, for each evaluation index, three states of an appropriate state, a mildly disturbed state, and a severely disturbed state are determined.
  • the occupancy degree calculation unit 49 calculates an occupancy degree (occupancy ratio) that represents the degree (ratio) of the product in the state monitoring area as an evaluation index related to insufficient display of the product. Then, the display state evaluation unit 34 compares the occupancy calculated by the occupancy calculation unit 49 with a predetermined threshold value, and determines, for example, three states: a sufficient state, a light insufficient state, and a severely insufficient state. .
  • the evaluation result storage unit 35 stores the display state evaluation result.
  • the evaluation result analysis unit 36 analyzes the evaluation result of the display state stored in the evaluation result storage unit 35 and generates analysis information. In the present embodiment, based on the evaluation result by the display state evaluation unit 34, analysis information indicating a caution period in which the user needs to be alerted regarding the display state of the product is generated. In addition, statistical processing is performed on the evaluation result by the display state evaluation unit 34 to generate analysis information indicating a temporal transition state of the evaluation result of the product display state.
  • Analytical information can be generated for each evaluation index (volume level, etc.), and can be generated for each category (type) of product. Further, in the statistical process, the evaluation results by the display state evaluation unit 34 are totaled in the total unit period, and the evaluation result for each total unit period is acquired.
  • the total unit period can be appropriately set according to the user's needs, such as 1 hour, 1 day, 1 week, and 1 month.
  • the evaluation result analysis unit 36 may generate analysis information in which the elapsed time from when the inappropriate display state occurs until the inappropriate display state is resolved is generated. . Moreover, the evaluation result by the display state evaluation part 34 may be totaled for every store, and the evaluation result for every store may be acquired. Moreover, it is managed by a POS (point of sale) system.
  • Sales information (such as the name, quantity, amount, and accounting time of the product purchased by the customer) may be acquired and analyzed by combining the sales information. Further, customer information such as the number of visitors and the number of customers visiting each display area may be acquired by a person detection process on a photographed image by the camera 1, and the customer information may be combined for analysis.
  • the display information generation unit 37 generates display information related to the analysis information generated by the evaluation result analysis unit 36 and outputs it to the monitor 7 and the printer 8.
  • display information for causing the monitor 7 to display a screen for displaying analysis information is generated.
  • display information for causing the printer 8 to output a form representing the analysis information is generated.
  • the notification determination unit 38 based on the evaluation result of the display state by the display state evaluation unit 34, a process for determining whether or not a notification (alert) for instructing the merchandise management work and the content thereof is performed.
  • the necessity of notification is determined based on the evaluation result of the display state, and when it is determined that notification is necessary, the product management work necessary for eliminating the inappropriate display state is performed.
  • information relating to the congestion situation of the store and the cashier counter is acquired by a person detection process on the photographed image by the camera 1, and the necessary and necessary information is obtained based on both this information and the evaluation result of the display state evaluation unit 34.
  • the presence / absence of work that can be performed may be determined to determine the availability and content of the notification.
  • the notification unit 39 notifies the store manager that the store manager is informed that the display state is inappropriate, and instructs the store clerk to perform the necessary product management work according to the inappropriate display state. Notification is performed.
  • a message may be displayed on the screen of the mobile terminal (tablet terminal or smartphone) 4 carried by the store clerk or the store manager, but the message may be displayed on the screen of the POS terminal installed in the register counter.
  • a display panel installed near the ceiling of the store, or an appropriate output device such as a lamp or a speaker may be used.
  • a processor (CPU) of the PC 3 to execute a product monitoring program (instruction) stored in a memory such as an HDD.
  • These programs are pre-installed in the PC 3 as an information processing device and configured as a dedicated device, or recorded in an appropriate program recording medium as an application program that operates on a predetermined OS, and via a network, It may be provided to the user.
  • various threshold values used in each part of the PC 3 can be arbitrarily set by the user, and processing for setting the threshold value according to the user's input operation is performed in the PC 3.
  • FIG. 7A to 7C are explanatory diagrams for explaining the outline of the product detection process performed by the product detection unit 33.
  • FIG. 7A to 7C are explanatory diagrams for explaining the outline of the product detection process performed by the product detection unit 33.
  • a state monitoring area is set on the image captured by the camera 1.
  • an image region from the captured image to the state monitoring area is displayed. Is cut out.
  • This top-view image is a state monitoring area viewed from directly above or obliquely from the front, and the vertical and horizontal directions of the image are made to coincide with the actual front and rear and horizontal directions of the display shelf, respectively.
  • the lower end of the image is the front position of the display shelf.
  • the top view image is binarized to generate a product detection image.
  • the image area of the product is a white pixel
  • the image area other than the product is a black pixel.
  • noise is removed by the binarization process, and the region where the product exists can be clearly and accurately identified in the product detection image.
  • FIG. 8 is an explanatory diagram for explaining the outline of the product presence section detection process performed by the product presence section detection unit 45.
  • the product presence section detection unit 45 detects a section in the left-right direction where the product exists based on the product detection image shown in FIG. 8A generated by the product detection unit 33.
  • white pixels are counted in the front-rear direction in the product detection image, and the number of white pixels at each position in the left-right direction is obtained as shown in FIG. Then, the number of white pixels at each position in the left-right direction is compared with a predetermined threshold value, and a section where the number of white pixels is larger than the threshold value is detected as a product existence section. Then, the width (number of pixels) B of the product existing section is obtained.
  • the product presence section detected by the product presence section detection unit 45 is a target range of processing performed by the volume degree calculation unit 46, the alignment degree calculation unit 47, and the face-up degree calculation unit 48 described below.
  • the volume degree calculation unit 46 the alignment degree calculation unit 47, and the face-up degree calculation unit 48 described below.
  • the volume degree calculation unit 46 since three products overlap at the left and right positions, one product existence section is detected, but a plurality of products do not overlap at the left and right positions.
  • a plurality of product existence sections are detected.
  • FIG. 9 is an explanatory diagram for explaining the outline of the volume degree calculation process performed by the volume degree calculation unit 46.
  • volume degree calculation unit 46 a volume degree that represents the degree to which a large number of products are displayed based on the product detection image generated by the product detection unit 33 and the product presence section detected by the product presence section detection unit 45. Is calculated. Specifically, as shown in FIG. 9B, first, an area S of a region defined by the number of white pixels at each position (x 0 to x B ) in the left-right direction in the product existing section is obtained.
  • the volume degree V is calculated from the area S and the variance v as follows.
  • V S / v (Formula 2) If the volume V is calculated in this way and the variance v is small, that is, if the products are in a horizontal direction, the volume is high and the variance v is large, that is, the products vary in the horizontal direction. If it is in the state, the volume level becomes low. Further, when the area S is small, that is, when there are few products, the volume is low, and when the area S is large, that is, when there are many products, the volume is high.
  • FIG. 10 is an explanatory diagram for explaining the outline of the alignment degree calculation process performed by the alignment degree calculation unit 47.
  • the degree-of-alignment calculation unit 47 represents the degree to which products are aligned and displayed in the left-right direction based on the product detection image generated by the product detection unit 33 and the product presence section detected by the product presence section detection unit 45.
  • the degree of alignment is calculated. Specifically, as shown in FIG. 10B, first, an average value of the number of white pixels at each position (x 0 to x B ) in the left-right direction in the product existing section is obtained. Next, a difference d between the number of white pixels at each position in the left-right direction and the average value is obtained.
  • the degree of alignment L is calculated as follows:
  • the degree of alignment L is calculated in this way and the positions of the products in the front-rear direction vary, so the degree of alignment L decreases. Further, when the width B of the product existing section is increased, the alignment degree L is increased.
  • FIG. 11 is an explanatory diagram for explaining the outline of the alignment degree calculation process in consideration of face-up performed by the alignment degree calculation unit 47.
  • the alignment degree calculation unit 47 calculates a simple alignment degree as an index representing the degree to which the products are arranged in the left-right direction.
  • the degree of alignment can be calculated.
  • the degree of alignment is calculated based on the difference based on the average value of the number of white pixels at each position (x 0 to x B ) in the left-right direction in the product existing section.
  • the front end white pixel distance at each position (x 0 to x B ) in the left-right direction in the product existing section that is, the front end of the state monitoring area The distance to the white pixel located on the foremost side is obtained, and the degree of alignment is calculated based on the difference based on the average value of the front end white pixel distances.
  • the average value of the front end white pixel distance at each position (x 0 to x B ) in the left and right direction in the product existing section is obtained, and the average value of the front end white pixel distance and the number of white pixels at each position in the left and right direction are obtained.
  • the difference d is obtained.
  • the sum of the absolute values of the difference d ′ at each position in the left-right direction is calculated, and the reciprocal number obtained by dividing the sum by the width B of the product existing section is defined as the alignment degree L ′.
  • the degree of alignment L ′ is calculated as follows:
  • FIG. 12 is an explanatory diagram for explaining the outline of the face-up degree calculation process performed by the face-up degree calculation unit 48.
  • the products are displayed in a line at the forefront position of the state monitoring area based on the product detection image generated by the product detection unit 33 and the product presence section detected by the product presence section detection unit 45.
  • a face-up degree that represents the degree of being applied is calculated. Specifically, as shown in FIG. 12B, first, the front end white pixel distance at each position (x 0 to x B ) in the left-right direction in the product existing section is obtained. Next, a section in which the front end white pixel distance is compared with a predetermined threshold and the front end white pixel distance is smaller than the threshold, that is, the white pixel located at the foremost side is defined by the threshold.
  • the section located on the near side is detected as an appropriate section, and the width (number of pixels) A of the appropriate section is obtained.
  • the threshold value may be set as appropriate, but may be, for example, 10% of the length in the front-rear direction of the state monitoring area.
  • the face-up degree F is calculated as a ratio of the sum of the width A of the appropriate section to the sum of the width B of the product existing section as in the following equation.
  • Formula 5 is a case where there are n product existence sections, and there are a total of m appropriate sections for each product existence section, A i is the width of the i-th appropriate section, and B j is This is the width of the j th product existing section.
  • the face-up degree F is calculated, and if the ratio of the appropriate section to the commodity existing section is high, that is, if there are many products displayed side by side in the forefront position of the state monitoring area, the face-up degree F is high. Obviously, the ratio of the appropriate section to the commodity existing section is high, that is, if there are many products displayed side by side in the forefront position of the state monitoring area, the face-up degree F is high. Obviously, the ratio of the appropriate section to the commodity existing section is high, that is, if there are many products displayed side by side in the forefront position of the state monitoring area, the face-up degree F is high. Become.
  • FIG. 13 is an explanatory diagram for explaining an overview of the occupancy calculation processing performed by the occupancy calculator 49.
  • the occupancy calculation unit 49 calculates an occupancy representing the degree (ratio) of the product in the state monitoring area based on the product detection image generated by the product detection unit 33. Specifically, the product detection image is divided into a plurality of blocks, and white pixels in each block are counted. Then, a block in which the number of white pixels is equal to or greater than a predetermined threshold is extracted, and the ratio of the number of extracted blocks to the total number of blocks is obtained as an occupancy.
  • the analysis information display screen shown in FIG. 14 displays analysis information indicating a temporal transition state of the evaluation result regarding the display state of the product and a period of caution that needs to be alerted to the user regarding the display state of the product.
  • the analysis information display screen includes a store status display unit 51, a captured image display unit 52, and a time chart display unit 53.
  • the status of the store that is, the status of the delivery of the product related to the inventory status of the product in the store, the status of the salesclerk related to the display status of the product, the status of the customer visiting the store, etc.
  • Information about is displayed.
  • the timing at which goods are carried in and out, and the busy time period when many customers come to the store are displayed.
  • the stock status of the product in the store can be determined from the delivery timing of the product, information regarding the stock status of the product in the store may be displayed.
  • the photographed image display unit 52 a photographed image in the state monitoring area is displayed.
  • the captured image display unit 52 is for confirming the actual state of the state monitoring area in the time zone that the user has noticed in the time chart displayed on the time chart display unit 53.
  • the time of the time chart display unit 53 By performing an operation of selecting a band, a photographed image in the selected time period is displayed.
  • the display information generation unit 37 may select a time zone that is a cautionary period and display a captured image in the selected time zone.
  • a time chart representing the evaluation result of the product display state for each time zone that is, the temporal transition state of each evaluation index value (volume degree, alignment degree, and face up degree) is displayed.
  • the volume level, the alignment level, and the face-up level for each time zone are displayed as a bar chart as a time chart.
  • This bar graph is displayed in three different colors according to the level of the volume, alignment, and face-up values: an appropriate period, a light caution period, and a severe caution period.
  • the evaluation result analysis unit 36 compares the value of each evaluation index (volume level, etc.) with a predetermined threshold value, so that an appropriate period, a light caution period, In addition, a determination of a period requiring serious attention is made. Note that the evaluation result analysis unit 36 detects that an inappropriate display state has continued for a long time as a caution event, and displays the occurrence timing of the caution event on the analysis information display screen shown in FIG. It may be. At this time, if the duration of the inappropriate display state exceeds a predetermined threshold value, it may be determined as an event requiring attention.
  • the analysis information display screen shown in FIG. 14 displays the evaluation results by a plurality of evaluation indexes, so that the user can easily confirm whether or not the product management work corresponding to each evaluation index has been appropriately performed. can do.
  • the time chart display unit 53 displays a temporal transition state of the evaluation result of the product display state, so that it is possible to clearly grasp at which timing there is a problem in the product management work. Further, by comparing the values of the respective evaluation indexes, it is possible to clearly grasp which work item of the product management work has a problem.
  • the store status display unit 51 displays the status in the store, that is, the delivery timing of the product, the busy time zone, and the like, so that it is possible to make a judgment according to the actual situation of the store. . That is, it is possible to determine whether the necessary and feasible work has been appropriately performed in consideration of the work feasibility from the situation in the store.
  • the product replenishment work (product output) can not be sufficiently performed, so the volume level can not be reduced, Product ordering work is possible, and it can be pointed out that the product ordering work is lazy if the degree of alignment and the face-up degree remain low.
  • the product replenishment operation is negligible if the volume level remains low because the product inventory is sufficient immediately after the product delivery timing.
  • the store manager can determine whether the necessary and feasible work has been properly performed. Specific improvement instructions can be given.
  • the analysis information display screen shown in FIG. 15 displays analysis information obtained by tabulating evaluation results relating to the display state of products in units of a predetermined tabulation period, and includes a year / month selection unit 61, a store selection unit 62, and a display area.
  • a selection unit 63, a legend display unit 64, a monthly evaluation result display unit 65, a weekly evaluation result display unit 66, a daily evaluation result display unit 67, and a detailed display unit 68 are provided.
  • the user selects the year / month.
  • the year and month can be selected from the pull-down menu.
  • the store selection unit 62 the user selects a store.
  • a store can be selected by a tab provided for each store.
  • the display area selection unit 63 the user selects a display area.
  • a display area can be selected from a pull-down menu.
  • the evaluation marks ( ⁇ , ⁇ , and x) displayed on the evaluation result display sections 65 to 67 are described.
  • the comprehensive evaluation results obtained by summarizing the evaluation results based on the evaluation indexes of the volume degree, the alignment degree, and the face-up degree are displayed in three stages, and in the case of an appropriate display state (appropriate state). “ ⁇ ”, “ ⁇ ” in the case of a display state with a low inappropriate degree (lightly disturbed state), and “X” in a display state with a high inappropriate degree (severely disturbed state).
  • the display state evaluating unit 34 determines the value of each evaluation index. This is done by comparing with the threshold value.
  • the monthly, weekly, and daily evaluation marks are determined by counting the state determination results in the display state evaluation unit 34 in the evaluation result analysis unit 36.
  • an evaluation mark relating to the display state of the designated month is displayed.
  • an evaluation mark relating to the display state of each week is displayed.
  • an evaluation mark relating to the display state of each day is displayed.
  • the detailed display section 68 displays a list of evaluation results for the time period when an inappropriate display state has occurred.
  • the date and time when an inappropriate display state occurred, the content of the inappropriate display state, that is, the name of the state monitoring area where the inappropriate display state occurred, and the inappropriate display state are described.
  • the word to be displayed is displayed.
  • an “image display” button is provided, and by operating this button, a screen (not shown) that displays a captured image in the state monitoring area is displayed.
  • the analysis information display screen shown in FIG. 16 displays analysis information indicating the temporal transition status of the evaluation result related to the specified evaluation index.
  • This analysis information display screen includes a date selection unit 71 and store selection.
  • a section 72, a display area selection section 73, a captured image display section 74, an evaluation index selection section 75, and a time chart display section 76 are provided.
  • the user selects a date.
  • the date can be selected on a calendar screen (not shown) displayed by operating the “calendar” button.
  • the store selection unit 72 the user selects a store.
  • a store can be selected by a tab provided for each store.
  • the display area selection unit 73 the user selects a display area.
  • a display area can be selected from a pull-down menu.
  • the photographed image display unit 74 a photographed image of the display area selected by the display area selection unit 73 is displayed.
  • a plurality of state monitoring areas are set on the display area, and a frame image 78 representing the state monitoring area is displayed on the captured image.
  • the frame image 78 is color-coded according to the display state evaluation result.
  • the user selects one of a volume degree, an alignment degree, and a face-up degree as an evaluation index.
  • an evaluation index can be selected from a pull-down menu. In the example shown in FIG. 16, the volume level is selected.
  • time chart display unit 76 a time chart representing a temporal transition state of the evaluation result related to the evaluation index selected by the evaluation index selecting unit 75 is displayed.
  • a time chart representing a temporal transition state of the evaluation result related to the evaluation index selected by the evaluation index selecting unit 75 is displayed.
  • the volume for each time zone in a day is represented by a line graph
  • the horizontal axis is time
  • the vertical axis is volume (%).
  • the time chart display unit 76 is provided with a slider (display time adjustment unit) 77 that can be moved in the time axis direction of the time chart. By operating the slider 77, a display on the captured image display unit 74 is performed. The captured image can be switched to a captured image at a desired time. Specifically, when the slider 77 is moved using the input device 6 such as a mouse, a captured image at the time indicated by the slider 77 is displayed on the captured image display unit 74.
  • the analysis information display screen shown in FIG. 16 displays a time chart showing the transition status of the evaluation results for each time period in one day, so there is a problem with the display state in the analysis information display screen shown in FIG. It is possible to check the evaluation result in detail on the day when there is a problem and to examine the factor that the evaluation result is low. In addition, since the captured image of the state monitoring area is displayed on the captured image display unit 74, it is possible to examine the cause of the low evaluation result while confirming the actual state of the state monitoring area.
  • the time chart of the volume degree, the alignment degree, and the face up degree is displayed, but the time chart of the occupation degree may be displayed.
  • the image acquisition unit 31 acquires the captured image of the display area
  • the state monitoring area setting unit 32 sets the state monitoring area on the captured image of the display area
  • the product detection unit 33 product detection information indicating the position of the product in the state monitoring area is acquired based on the captured image of the state monitoring area
  • the display state evaluation unit 34 determines a plurality of items related to the display disorder of the product based on the product detection information.
  • the display state of the product in the state monitoring area is evaluated, and the display information generation unit (evaluation information presentation unit) 37 presents information related to the evaluation result by the display state evaluation unit 34 to the user. According to this, since evaluation results based on a plurality of evaluation indexes related to product display disturbance are presented to the user, the user can grasp specific work items of product management work for improving an inappropriate display state. It becomes possible.
  • the display state evaluation unit 34 uses, as an evaluation index, a degree of volume representing the degree to which a large number of products are displayed together, an degree of alignment representing the degree to which the products are displayed in the left-right direction,
  • the evaluation is performed using at least two of the face-up degrees indicating the degree of the products displayed side by side at the foremost position of the state monitoring area. According to this, since the evaluation results regarding the volume degree, the alignment degree, and the face-up degree are presented to the user, the user can grasp which of the volume degree, the alignment degree, and the face-up degree needs to be increased. it can.
  • the product detection unit 33 converts the captured image of the state monitoring area into a top view image, and acquires product detection information from the top view image. According to this, the product detection process can be appropriately performed without being affected by the difference in how the product is displayed in different images depending on the positional relationship between the product and the camera 1.
  • the evaluation result analysis unit 36 generates analysis information indicating a period requiring attention based on the evaluation result by the display state evaluation unit 34, and the display information generation unit (evaluation information presentation unit) 37 performs analysis. Information was presented to the user. According to this, the user can immediately grasp the caution period, that is, the period in which the user needs to be alerted regarding the display state of the product.
  • the evaluation result analysis unit 36 performs statistical processing on the evaluation result by the display state evaluation unit 34 to generate analysis information indicating a temporal transition state of the evaluation result, and generates display information.
  • the unit (evaluation information presentation unit) 37 the analysis information is presented to the user. According to this, since the analysis information indicating the temporal transition state of the evaluation result is presented to the user, the user can clearly grasp at what timing there is a problem in the product display state and the product management work.
  • the state monitoring area setting unit 32 sets a state monitoring area for each section into which the display area is divided based on the user's operation input, and the display state evaluation unit sets the state monitoring area for each of the plurality of state monitoring areas.
  • the display state of the product was evaluated. According to this, according to the necessity of work management, for example, by designating the state monitoring area for each section where the display area is divided by the shelf of the display shelf or the category of the product, the evaluation of the product display state for each section The result can be obtained.
  • the image acquisition unit 31 acquires a privacy mask image obtained by erasing a person's image from an original image captured in the display area as a captured image in the display area. According to this, it is possible to avoid a problem that the product detection information cannot be appropriately acquired by the image of the person appearing in the photographed image in the display area.
  • the camera 1 is an omnidirectional camera capable of photographing a wide range, but the present invention is not limited to this, and a box-type camera with a limited viewing angle may be used. it can.
  • the display state of the product is evaluated only by the position of the product in the state monitoring area.
  • the display state of the product is evaluated by detecting the inclination, turning over, and falling of the product. It may be.
  • processing necessary for product monitoring is performed by an apparatus installed in the store, but these necessary processing is provided in the headquarters as shown in FIG. You may make it carry out to PC11 and the cloud computer 12 which comprises a cloud computing system.
  • the necessary processing is shared by a plurality of information processing apparatuses, and information is transferred between the plurality of information processing apparatuses via a communication medium such as an IP network or a LAN, or a storage medium such as a hard disk or a memory card. It may be.
  • a product monitoring system is configured by a plurality of information processing apparatuses that share necessary processing.
  • a mobile terminal such as a smartphone or a tablet terminal 13 connected to the cloud computer 12 in addition to the PCs 3 and 11 provided in the store or the headquarters.
  • the analysis information can be browsed at any place such as a place to go besides the store or the headquarters.
  • the recorder 2 that accumulates images captured by the camera 1 is installed in the store.
  • the PC 11 or the cloud computer 12 installed in the headquarters performs processing necessary for product monitoring.
  • a photographed image taken by the camera 1 may be transmitted to the headquarters or a cloud computing system operating facility, and the photographed image may be stored in a device installed there.
  • the product monitoring apparatus, the product monitoring system, and the product monitoring method according to the present disclosure allow a user to grasp specific work items of product management work for improving an inappropriate display state based on an image taken inside a store.
  • Product monitoring apparatus, product monitoring system, product monitoring method, and the like that have the effect of presenting information that can be displayed to the user and monitor the display status of the product based on an image of the display area in the store Useful as.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Economics (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Geometry (AREA)
  • Quality & Reliability (AREA)
  • Multimedia (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Development Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Operations Research (AREA)
  • Tourism & Hospitality (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Signal Processing (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Analysis (AREA)

Abstract

不適切な陳列状態を改善するための商品管理作業の具体的な作業項目をユーザが把握することが可能な情報をユーザに提示することができるようにする。陳列エリアの撮影画像を取得する画像取得部（３１）と、陳列エリアの撮影画像上に状態監視エリアを設定する状態監視エリア設定部（３２）と、状態監視エリアの撮影画像に基づいて、状態監視エリアにおける商品の位置を表す商品検出情報を取得する商品検出部（３３）と、商品検出情報に基づいて、商品の陳列乱れに関する複数の評価指標を用いて、状態監視エリアにおける商品の陳列状態を評価する陳列状態評価部（３４）と、この陳列状態評価部による評価結果に関する情報をユーザに提示する表示情報生成部（３７）と、を備えたものとする。

Description

商品モニタリング装置、商品モニタリングシステムおよび商品モニタリング方法
　本開示は、店舗における陳列エリアを撮影した画像に基づいて、商品の陳列状況を監視する商品モニタリング装置、商品モニタリングシステムおよび商品モニタリング方法に関するものである。
　コンビニエンスストアなどの店舗においては、陳列棚に陳列された商品の陳列状態に不備がある、すなわち商品の陳列が乱れていたり、商品が不足していたりすると、機会損失が発生し、この機会損失は店舗の売上げに大きな影響を及ぼすことから、商品の陳列状態に不備がある場合には、それを解消するための商品管理作業（整頓作業や補充作業）を速やかに実施する必要がある。
　このような商品管理作業に関連するものとして、従来、陳列エリアを撮影した画像に基づいて、商品管理作業の必要性を判断して、商品整頓作業を指示する報知を行う技術が知られている（特許文献１，２参照）。特に、特許文献１に開示された技術では、望ましい商品の陳列状態に基づいて基準となる陳列パターンを設定して、その基準となる陳列パターンと、商品の実際の陳列状態とを比較して、両者の類似度に基づいて、商品の陳列状態を評価するようにしている。また、特許文献２に開示された技術では、商品存在領域の外縁を画する境界線と、その内部の商品不存在領域の境界線との間に内挿される代表図形を求めて、その代表図形の面積に基づいて、商品の陳列状態の適切さの度合い（フェイスアップ度）を算出するようにしている。
特許第３９０８０４７号公報 特許第４４７３６７６号公報
　しかしながら、従来の技術では、商品の陳列が乱れている状態と商品が不足している状態の双方を含めて、商品の不適切な陳列状態を総合的に判断するものであり、商品の不適切な陳列状態を改善する作業の必要性をユーザが把握することはできるが、具体的にどのような作業が必要とされているかを把握することができないという問題があった。
　例えば、商品が店舗に搬入される直前の時間帯では、店舗内の在庫が少なくなっているため、商品補充作業を十分に行うことができないが、商品整頓作業は実施することができるため、この商品整頓作業、例えば、商品の売れ残り感を低減するために、いわゆるボリューム感を高める作業が望まれるが、従来の技術では、このような具体的な作業項目をユーザが把握することができないという問題があった。
　本開示は、このような従来技術の問題点を解消するべく案出されたものであり、その主な目的は、店舗内を撮影した画像に基づいて、不適切な陳列状態を改善するための商品管理作業の具体的な作業項目をユーザが把握することが可能な情報をユーザに提示することができるように構成された商品モニタリング装置、商品モニタリングシステムおよび商品モニタリング方法を提供することにある。
　本開示の商品モニタリング装置は、店舗における陳列エリアを撮影した画像に基づき、商品の陳列状況を監視する商品モニタリング装置であって、陳列エリアの撮影画像を取得する画像取得部と、陳列エリアの撮影画像上に状態監視エリアを設定する状態監視エリア設定部と、状態監視エリアの撮影画像に基づいて、状態監視エリアにおける商品の位置を表す商品検出情報を取得する商品検出部と、商品検出情報に基づいて、商品の陳列乱れに関する複数の評価指標を用いて、状態監視エリアにおける商品の陳列状態を評価する陳列状態評価部と、この陳列状態評価部による評価結果に関する情報をユーザに提示する評価情報提示部と、を備えた構成とする。
　また、本開示の商品モニタリングシステムは、店舗における陳列エリアを撮影した画像に基づき、商品の陳列状況を監視する商品モニタリングシステムであって、陳列エリアを撮影するカメラと、複数の情報処理装置と、を有し、複数の情報処理装置のいずれかが、陳列エリアの撮影画像を取得する画像取得部と、陳列エリアの撮影画像上に状態監視エリアを設定する状態監視エリア設定部と、状態監視エリアの撮影画像に基づいて、状態監視エリアにおける商品の位置を表す商品検出情報を取得する商品検出部と、商品検出情報に基づいて、商品の陳列乱れに関する複数の評価指標を用いて、状態監視エリアにおける商品の陳列状態を評価する陳列状態評価部と、この陳列状態評価部による評価結果に関する情報をユーザに提示する評価情報提示部と、を備えた構成とする。
　また、本開示の商品モニタリング方法は、店舗における陳列エリアを撮影した画像に基づき、商品の陳列状況を監視する処理を情報処理装置に行わせる商品モニタリング方法であって、陳列エリアの撮影画像を取得するステップと、陳列エリアの撮影画像上に状態監視エリアを設定するステップと、状態監視エリアの撮影画像に基づいて、状態監視エリアにおける商品の位置を表す商品検出情報を取得するステップと、商品検出情報に基づいて、商品の陳列乱れに関する複数の評価指標を用いて、状態監視エリアにおける商品の陳列状態を評価するステップと、このステップによる評価結果に関する情報をユーザに提示するステップと、を備えた構成とする。
　本開示によれば、商品の陳列乱れに関する複数の評価指標による評価結果がユーザに提示されるため、不適切な陳列状態を改善するための商品管理作業の具体的な作業項目をユーザが把握することが可能になる。
図１は、本実施形態に係る商品モニタリングシステムの全体構成図である。 図２は、店舗のレイアウトおよびカメラ１の設置状況を説明する店舗の平面図である。 図３は、陳列エリアの撮影画像上に設定される状態監視エリアを示す説明図である。 図４は、陳列状態の評価指標としてのボリューム度、整列度、およびフェイスアップ度を説明する説明図である。 図５は、カメラ１の概略構成を示す機能ブロック図である。 図６は、ＰＣ３の概略構成を示す機能ブロック図である。 図７Ａは、商品検出部３３で行われる商品検出処理の概要を説明する説明図である。 図７Ｂは、商品検出部３３で行われる商品検出処理の概要を説明する説明図である。 図７Ｃは、商品検出部３３で行われる商品検出処理の概要を説明する説明図である。 図８は、商品存在区間検出部４５で行われる商品存在区間の検出処理の概要を説明する説明図である。 図９は、ボリューム度算出部４６で行われるボリューム度の算出処理の概要を説明する説明図である。 図１０は、整列度算出部４７で行われる整列度の算出処理の概要を説明する説明図である。 図１１は、整列度算出部４７で行われる整列度の算出処理の概要を説明する説明図である。 図１２は、フェイスアップ度算出部４８で行われるフェイスアップ度の算出処理の概要を説明する説明図である。 図１３は、占有度算出部４９で行われる占有度の算出処理の概要を説明する説明図である。 図１４は、モニタ７に表示される分析情報表示画面を示す説明図である。 図１５は、モニタ７に表示される分析情報表示画面を示す説明図である。 図１６は、モニタ７に表示される分析情報表示画面を示す説明図である。
　前記課題を解決するためになされた第１の発明は、店舗における陳列エリアを撮影した画像に基づき、商品の陳列状況を監視する商品モニタリング装置であって、陳列エリアの撮影画像を取得する画像取得部と、陳列エリアの撮影画像上に状態監視エリアを設定する状態監視エリア設定部と、状態監視エリアの撮影画像に基づいて、状態監視エリアにおける商品の位置を表す商品検出情報を取得する商品検出部と、商品検出情報に基づいて、商品の陳列乱れに関する複数の評価指標を用いて、状態監視エリアにおける商品の陳列状態を評価する陳列状態評価部と、この陳列状態評価部による評価結果に関する情報をユーザに提示する評価情報提示部と、を備えた構成とする。
　これによると、商品の陳列乱れに関する複数の評価指標による評価結果がユーザに提示されるため、不適切な陳列状態を改善するための商品管理作業の具体的な作業項目をユーザが把握することが可能になる。
　また、第２の発明は、陳列状態評価部は、評価指標として、商品が大量にまとまって陳列された度合いを表すボリューム度、商品が左右方向に整列して陳列された度合いを表す整列度、および状態監視エリアの最前の位置に商品が並んで陳列された度合いを表すフェイスアップ度のうちの少なくとも２つを用いて評価する構成とする。
　これによると、ボリューム度、整列度、およびフェイスアップ度に関する評価結果がユーザに提示されるため、ボリューム度、整列度、およびフェイスアップ度のいずれを高める作業が必要かをユーザが把握することができる。
　また、第３の発明は、商品検出部は、状態監視エリアの撮影画像をトップビュー画像に変換し、そのトップビュー画像に基づき、商品検出情報を取得する構成とする。
　これによると、商品とカメラとの位置関係に応じて異なる画像での商品の映り方の違いに影響されることなく、商品検出処理を適切に行うことができる。
　また、第４の発明は、さらに、陳列状態評価部による評価結果に基づき、要注意期間を表す分析情報を生成する評価結果分析部を備え、評価情報提示部は、分析情報をユーザに提示する構成とする。
　これによると、要注意期間、すなわち、商品の陳列状態に関してユーザに注意を促す必要がある期間をユーザが即座に把握することができる。
　また、第５の発明は、さらに、陳列状態評価部による評価結果に対して統計処理を行って、評価結果の時間的な推移状況を表す分析情報を生成する評価結果分析部を備え、評価情報提示部は、分析情報をユーザに提示する構成とする。
　これによると、評価結果の時間的な推移状況を表す分析情報がユーザに提示されるため、どのタイミングで商品陳列状態および商品管理作業に問題があるかをユーザが明確に把握することができる。
　また、第６の発明は、状態監視エリア設定部は、ユーザの操作入力に基づき、陳列エリアを区分けした区画ごとに状態監視エリアを設定し、陳列状態評価部は、複数の状態監視エリアごとに商品の陳列状態を評価する構成とする。
　これによると、ユーザが作業管理の必要に応じて、例えば陳列棚の棚板や商品のカテゴリーにより陳列エリアを区分けした区画ごとに状態監視エリアを指定することで、区画ごとに商品陳列状態の評価結果を得ることができる。
　また、第７の発明は、画像取得部は、陳列エリアの撮影画像として、陳列エリアを撮影した原画像から人物の像を消去したプライバシーマスク画像を取得する構成とする。
　これによると、陳列エリアの撮影画像に現れる人物の像により商品検出情報を適切に取得することができなくなる不具合を避けることができる。
　また、第８の発明は、店舗における陳列エリアを撮影した画像に基づき、商品の陳列状況を監視する商品モニタリングシステムであって、陳列エリアを撮影するカメラと、複数の情報処理装置と、を有し、複数の情報処理装置のいずれかが、陳列エリアの撮影画像を取得する画像取得部と、陳列エリアの撮影画像上に状態監視エリアを設定する状態監視エリア設定部と、状態監視エリアの撮影画像に基づいて、状態監視エリアにおける商品の位置を表す商品検出情報を取得する商品検出部と、商品検出情報に基づいて、商品の陳列乱れに関する複数の評価指標を用いて、状態監視エリアにおける商品の陳列状態を評価する陳列状態評価部と、この陳列状態評価部による評価結果に関する情報をユーザに提示する評価情報提示部と、を備えた構成とする。
　これによると、第１の発明と同様に、商品の陳列乱れに関する複数の評価指標による評価結果がユーザに提示されるため、不適切な陳列状態を改善するための商品管理作業の具体的な作業項目をユーザが把握することが可能になる。
　また、第９の発明は、店舗における陳列エリアを撮影した画像に基づき、商品の陳列状況を監視する処理を情報処理装置に行わせる商品モニタリング方法であって、陳列エリアの撮影画像を取得するステップと、陳列エリアの撮影画像上に状態監視エリアを設定するステップと、状態監視エリアの撮影画像に基づいて、状態監視エリアにおける商品の位置を表す商品検出情報を取得するステップと、商品検出情報に基づいて、商品の陳列乱れに関する複数の評価指標を用いて、状態監視エリアにおける商品の陳列状態を評価するステップと、このステップによる評価結果に関する情報をユーザに提示するステップと、を備えた構成とする。
　これによると、第１の発明と同様に、商品の陳列乱れに関する複数の評価指標による評価結果がユーザに提示されるため、不適切な陳列状態を改善するための商品管理作業の具体的な作業項目をユーザが把握することが可能になる。
　以下、実施の形態を、図面を参照しながら説明する。
　図１は、本実施形態に係る商品モニタリングシステムの全体構成図である。この商品モニタリングシステムは、コンビニエンスストアなどの小売チェーン店などを対象にして構築されるものであり、カメラ１と、レコーダ（画像蓄積装置）２と、ＰＣ（商品モニタリング装置）３と、携帯端末４と、を備えている。
　カメラ１は店舗内の適所に設置され、カメラ１により店舗内が撮影され、このカメラ１で撮影された店舗内の撮影画像がレコーダ２に蓄積される。
　ＰＣ３には、店長などのユーザが種々の入力操作を行うマウスなどの入力デバイス６と、監視画面を表示するモニタ（表示装置）７と、プリンタ８とが接続されている。このＰＣ３は、店舗内の適所に設置され、ユーザが、モニタ７に表示される監視画面により、カメラ１で撮影された店舗内の撮影画像をリアルタイムで閲覧することができ、また、レコーダ２に録画された過去の店舗内の撮影画像を閲覧することができる。
　また、カメラ１、レコーダ２およびＰＣ３は、複数の店舗の各々に設置されており、複数の店舗を総括する本部にはＰＣ１１が設置されており、このＰＣ１１では、カメラ１で撮影された店舗内の撮影画像をリアルタイムで閲覧することができ、また、レコーダ２に録画された過去の店舗内の撮影画像（動画）を閲覧することができ、これにより本部で店舗内の状況を確認することができる。
　店舗に設置されたＰＣ３は、店舗内での商品の陳列状態を分析する商品モニタリング装置として構成され、このＰＣ３で生成した分析情報は、ＰＣ３自身で店舗側のユーザ、例えば店長が閲覧することができ、さらに、本部に設置されたＰＣ１１に送信されて、このＰＣ１１でも本部側のユーザ、例えば、担当する地域の各店舗に対して指導や提案を行うスーパーバイザーなどが閲覧することができ、ＰＣ３，１１が分析情報を閲覧する閲覧装置として構成される。
　携帯端末４は、店員や店長が所持するものであり、この携帯端末４を利用して、ＰＣ３から店員や店長に対して各種の報知が行われる。
　次に、店舗のレイアウトおよびカメラ１の設置状況について説明する。図２は、店舗のレイアウトおよびカメラ１の設置状況を説明する店舗の平面図である。
　店舗には、出入口、陳列棚、およびレジカウンタなどが設けられている。陳列棚は、ファーストフード、米飯（おにぎり、弁当、寿司などの商品）、加工食品、雑貨、生鮮食品、雑誌、新聞などの商品の種類に分けて設置されている。顧客は、出入口から入店し、陳列棚の間の通路を通って店舗内を移動し、所望の商品が見つかると、その商品を持ってレジカウンタに向かい、レジカウンタで会計（代金の支払い）を済ませた後に出入口から退店する。
　また、店舗には、店舗内（監視エリア）を撮影する複数のカメラ１が設置されている。このカメラ１は、店舗内の天井の適宜な位置に設置されている。特に、図２に示す例では、カメラ１に、魚眼レンズを用いて３６０度の撮影範囲を有する全方位カメラが採用され、このカメラ１により、陳列棚などに陳列された商品を撮影することができる。
　次に、図１に示したＰＣ３で行われるエリア設定処理について説明する。図３は、陳列エリアの撮影画像上に設定される状態監視エリアを示す説明図である。
　ＰＣ３では、ユーザの操作入力に基づき、陳列エリア（陳列棚や陳列台など）の撮影画像上に状態監視エリアを設定する。この状態監視エリアは、陳列棚の棚板や商品のカテゴリーにより陳列エリアを区分けした区画ごとに設定することができる。具体的には、陳列エリアの画像内の商品が配置される領域を取り囲むように状態監視エリアが設定される。
　図３に示す例では、対象とする陳列エリアを、米飯（おにぎり、弁当、寿司などの商品）などの商品を陳列する陳列棚として、この陳列棚の各棚板を対象にして複数の状態監視エリアが設定されている。なお、状態監視エリアは、４つの頂点を指定することで、４角形状に設定されるようにすればよいが、状態監視エリアの境界線を曲線で指定することができるようにしてもよい。
　次に、図１に示したＰＣ３で行われる陳列状態評価について説明する。図４は、陳列状態の評価指標としてのボリューム度、整列度、およびフェイスアップ度を説明する説明図である。
　コンビニエンスストアなどの店舗においては、陳列エリア（陳列棚や陳列台など）に陳列された商品の陳列状態が適切でない、特に、商品の陳列が乱れていると、顧客の購買意欲が低下して、機会損失が発生し、商品の売れ行きに大きな影響を及ぼす可能性がある。
　そこで、本実施形態では、ＰＣ３において、商品の陳列乱れに関する評価指標を用いて商品の陳列状態を評価する。この陳列状態の評価では、複数の評価指標が用いられ、本実施形態では、図４に示すように、評価指標として、ボリューム度、整列度、およびフェイスアップ度が用いられる。
　ボリューム度は、商品が大量にまとまって陳列された度合いを表す評価指標であり、このボリューム度が高くなると、顧客に売れ残りと感じさせない状態となり、顧客の購買意欲を高めることができる。図４（Ａ－１）に示すように、状態監視エリアに商品が満杯に陳列されていると、ボリューム度は最も高くなる。図４（Ａ－２）に示すように、商品の量が少なくても、商品がまとまって陳列されていると、ボリューム度は比較的高くなる。図４（Ａ－３）に示すように、商品の間に大きな隙間があると、ボリューム度は低くなる。
　整列度は、商品が左右方向（横方向）に整列して陳列された度合いを表す評価指標であり、この整列度が高くなると、商品の見栄えが良くなり、顧客の購買意欲を高めることができる。図４（Ｂ－１）に示すように、大量の商品が左右方向に真っ直ぐに並んでいると、整列度は最も高くなる。図４（Ｂ－２）に示すように、商品の量が少なくても、商品が左右方向に整列して配置されていると、整列度は比較的高くなる。図４（Ｂ－３）に示すように、商品が前後方向にばらついて配置されて、商品の間に隙間があると、整列度は低くなる。
　フェイスアップ度は、状態監視エリアの最前の位置に商品が並んで陳列された度合いを表す評価指標であり、このフェイスアップ度が高くなると、商品の見栄えが良くなるとともに、顧客が商品の品定めをしやすくなり、顧客の購買意欲を高めることができる。図４（Ｃ－１）に示すように、陳列された商品の全てが最前の位置に配置されていると、フェイスアップ度は最も高くなる。図４（Ｃ－２），図４（Ｃ－３）に示すように、最前の位置から奥側にずれた商品が多くなるのに応じて、フェイスアップ度は低くなる。
　また、コンビニエンスストアなどの店舗においては、陳列エリアの商品が不足していると、機会損失が発生し、店舗の売上げに大きな影響を及ぼす。そこで、本実施形態では、前記の商品の陳列の乱れに関する評価指標の他に、商品の陳列の不足に関する評価指標として、状態監視エリアにおいて商品が占める度合いを表す占有度を用いて、商品の陳列不足状態に関する評価が行われる。
　次に、図１に示したカメラ１の概略構成について説明する。図５は、カメラ１の概略構成を示す機能ブロック図である。
　カメラ１は、店舗内を撮影した撮影画像から人物を除去したプライバシーマスク画像を出力するものであり、撮像部２１と、画像蓄積部２２と、画像処理部２３と、を備えている。
　撮像部２１は、撮像素子およびその制御回路などで構成され、監視エリアを撮像した画像を出力する。この撮像部２１から出力される画像（フレーム）は画像蓄積部２２に蓄積される。
　画像処理部２３では、撮影画像から動体（人物）の画像領域（前景画像）を除去したプライバシーマスク画像を生成する処理が行われる。この処理では、直近の所定の学習期間における複数の画像（フレーム）からプライバシーマスク画像を生成し、新たな画像（フレーム）を取得するのに応じてプライバシーマスク画像が逐次更新される。この画像処理部２３で行われる処理には、背景画像を生成する公知の技術を用いればよい。
　なお、ＰＣ３でウェブブラウザを起動し、ネットワークを介してカメラ１にアクセスすることで、カメラ１の設定項目を選択することができる。具体的に、カメラ１に全方位カメラが採用された場合、撮影画像のプライバシーマスク処理の設定として、「動体除去モード」の項目があり、動体除去の対象となる撮影画像のフォーマット（ＪＰＥＧ、Ｈ．２６４、ＯＦＦ）を選択することができる。また、「画像種別」の項目があり、動体除去の対象となる画像の種類（魚眼画像、４画ＰＴＺ画像、１画ＰＴＺ画像、ダブルパノラマ画像、単一パノラマ画像など）を選択することができる。さらに、「前景重畳」の項目では、前景重畳（人物のマスク画像を背景画像上に重畳する処理）を行うか否かを選択することができ、ここで、前景重畳をオフとすると、人物が消去された画像が出力される。
　次に、図１に示したＰＣ３の概略構成について説明する。図６は、ＰＣ３の概略構成を示す機能ブロック図である。
　ＰＣ３は、画像取得部３１と、状態監視エリア設定部３２と、商品検出部３３と、陳列状態評価部３４と、評価結果蓄積部３５と、評価結果分析部３６と、表示情報生成部（評価情報提示部）３７と、報知判定部３８と、報知部３９と、を備えている。
　画像取得部３１では、カメラ１により店舗内を撮影した画像をカメラ１またはレコーダ２から取得する。ここで、現在の撮影画像をリアルタイムに処理する場合にはカメラ１から撮影画像を取得し、過去の撮影画像を処理する場合にはレコーダ２から撮影画像を取得する。なお、本実施形態では、前記のように、カメラ１からプライバシーマスク画像が出力され、画像取得部３１では、このプライバシーマスク画像を取得する。
　状態監視エリア設定部３２では、入力デバイス６を用いて行われるユーザの入力操作に応じて、陳列エリアの撮影画像上に状態監視エリア（図３参照）を設定する処理が行われる。このとき、陳列エリアの撮影画像が表示されたエリア設定画面をモニタ７に表示させ、このエリア設定画面上で状態監視エリアの位置を入力すればよい。
　商品検出部３３では、状態監視エリアの撮影画像に基づいて、状態監視エリアにおける商品の位置を表す商品検出情報を取得する。本実施形態では、商品検出情報として、商品領域とその他の領域とを２値画像で表した商品検出画像を生成する。この商品検出部３３は、画像切り出し部４１と、トップビュー変換部４２と、商品検出画像生成部４３と、を備えている。
　画像切り出し部４１では、画像取得部３１により取得した陳列エリアの撮影画像から状態監視エリアの画像領域を切り出して状態監視エリアの撮影画像を取得する。トップビュー変換部４２では、状態監視エリアの撮影画像をトップビュー画像に変換する。商品検出画像生成部４３では、トップビュー画像を２値化処理して、商品検出画像を生成する。
　陳列状態評価部３４では、商品検出部３３で生成した商品検出画像に基づいて、状態監視エリアにおける商品の陳列状態を複数の評価指標を用いて評価する。この陳列状態評価部３４は、商品存在区間検出部４５と、ボリューム度算出部４６と、整列度算出部４７と、フェイスアップ度算出部４８と、占有度算出部４９と、を備えている。
　商品存在区間検出部４５では、商品検出部３３で生成した商品検出画像に基づいて、商品が存在する左右方向の区間を検出する。
　ボリューム度算出部４６、整列度算出部４７、およびフェイスアップ度算出部４８では、商品検出部３３で生成した商品検出画像、および商品存在区間検出部４５で検出された商品存在区間に基づいて、商品の陳列乱れに関する評価指標として、商品が大量にまとまって陳列された度合いを表すボリューム度、商品が左右方向に整列して陳列された度合いを表す整列度、状態監視エリアの最前の位置に商品が並んで陳列された度合いを表すフェイスアップ度をそれぞれ算出する。
　また、陳列状態評価部３４では、ボリューム度算出部４６、整列度算出部４７、およびフェイスアップ度算出部４８でそれぞれ算出されたボリューム度、整列度、およびフェイスアップ度（評価指標ごとの評価結果）を所定のしきい値と比較して、例えば、評価指標ごとに、適正状態、軽度乱れ状態、および重度乱れ状態の３つの状態を判定する。
　占有度算出部４９では、商品の陳列不足に関する評価指標として、状態監視エリアにおいて商品が占める度合い（割合）を表す占有度（占有率）を算出する。そして、陳列状態評価部３４では、占有度算出部４９で算出された占有度を所定のしきい値と比較して、例えば、充足状態、軽度不足状態および重度不足状態の３つの状態を判定する。
　ボリューム度算出部４６、整列度算出部４７、フェイスアップ度算出部４８、および占有度算出部４９でそれぞれ算出されたボリューム度、整列度、フェイスアップ度、および占有度は、状態判定結果とともに、陳列状態の評価結果として評価結果蓄積部３５に蓄積される。
　評価結果分析部３６では、評価結果蓄積部３５に蓄積された陳列状態の評価結果を分析して、分析情報を生成する。本実施形態では、陳列状態評価部３４による評価結果に基づいて、商品の陳列状態に関してユーザに注意を促す必要がある要注意期間を表す分析情報を生成する。また、陳列状態評価部３４による評価結果に対して統計処理を行って、商品陳列状態の評価結果の時間的な推移状況を表す分析情報を生成する。
　分析情報は、評価指標（ボリューム度など）ごとに生成することができ、また、商品のカテゴリー（種類）ごとに生成することができる。また、統計処理では、陳列状態評価部３４による評価結果を集計単位期間で集計して、集計単位期間ごとの評価結果を取得する。集計単位期間は、例えば１時間、１日、１週間、および１ヶ月など、ユーザの必要に応じて適宜に設定することができる。
　なお、評価結果分析部３６では、この他に、不適切な陳列状態が発生してからその不適切な陳列状態が解消されるまでの経過時間を集計した分析情報を生成するようにしてもよい。また、陳列状態評価部３４による評価結果を店舗ごとに集計して、店舗ごとの評価結果を取得するようにしてもよい。また、ＰＯＳ（ｐｏｉｎｔ　ｏｆ　ｓａｌｅ）システムで管理される。
　販売情報（顧客が購入した商品の名称、数量、金額および会計時刻など）を取得して、この販売情報を組み合わせて分析を行うようにしてもよい。また、カメラ１による撮影画像に対する人物検出処理などにより、陳列エリアごとの滞在人数や来店客数などの顧客情報を取得して、この顧客情報を組み合わせて分析を行うようにしてもよい。
　表示情報生成部３７では、評価結果分析部３６で生成した分析情報に関する表示情報を生成してモニタ７やプリンタ８に出力する。本実施形態では、分析情報を表示する画面をモニタ７に表示させるための表示情報を生成する。また、分析情報を表す帳票をプリンタ８に出力させるための表示情報を生成する。
　報知判定部３８では、陳列状態評価部３４による陳列状態の評価結果に基づいて、商品管理作業を店員に指示する報知（アラート）の可否および内容を判定する処理が行われる。この処理では、陳列状態の評価結果に基づいて、報知の必要性を判定し、報知が必要であると判定された場合には、不適切な陳列状態を解消するために必要な商品管理作業の作業項目を判定する。特に、本実施形態では、不適切な陳列状態が長時間放置されている場合に報知を行うものと判定する。具体的には、不適切な陳列状態の継続時間が所定のしきい値を超えた場合に報知を行うものと判定する。
　なお、カメラ１による撮影画像に対する人物検出処理などにより、店舗内やレジカウンタの混雑状況などに関する情報を取得して、この情報と陳列状態評価部３４の評価結果との双方に基づいて、必要且つ実施可能な作業の有無を判定して、報知の可否および内容を判定するようにしてもよい。
　報知部３９では、報知判定部３８の判定結果に基づいて、不適切な陳列状態となっていることを店長に知らせる報知や、不適切な陳列状態に応じた所要の商品管理作業を店員に指示する報知が行われる。この報知では、店員や店長が携帯する携帯端末（タブレット端末やスマートフォン）４の画面にメッセージを表示すればよいが、レジカウンタに設置されたＰＯＳ端末の画面にメッセージを表示するようにしてもよい。また、店舗の天井付近に設置された表示パネル、あるいはランプやスピーカなどの適宜な出力装置を用いるようにしてもよい。また、不適切な陳列状態となっていることを本部のスーパーバイザーに知らせる報知を行うようにしてもよい。
　なお、図６に示したＰＣ３の各部は、ＰＣ３のプロセッサ（ＣＰＵ）にＨＤＤ等のメモリに保存した商品モニタリング用のプログラム（インストラクション）を実行させることで実現される。これらのプログラムは、情報処理装置としてのＰＣ３に予め導入して専用の装置として構成する他、所定のＯＳ上で動作するアプリケーションプログラムとして適宜なプログラム記録媒体に記録して、またネットワークを介して、ユーザに提供されるようにしてもよい。
　また、ＰＣ３の各部で用いられる各種のしきい値は、ユーザが任意に設定することができ、ユーザの入力操作に応じてしきい値を設定する処理がＰＣ３において行われる。
　次に、図１に示した商品検出部３３で行われる商品検出処理について説明する。図７Ａ～Ｃは、商品検出部３３で行われる商品検出処理の概要を説明する説明図である。
　本実施形態では、図７Ａに示すように、カメラ１による撮影画像上に状態監視エリアが設定されており、まず、商品検出部３３の画像切り出し部４１において、撮影画像から状態監視エリアの画像領域を切り出す処理が行われる。
　次に、トップビュー変換部４２において、図７Ｂに示すように、状態監視エリアの撮影画像をトップビュー画像に変換する処理が行われる。このトップビュー画像は、真上または斜め上方の正面からの視点で状態監視エリアを見たものであり、画像の上下方向および左右方向をそれぞれ陳列棚の実際の前後方向および左右方向と一致させたものであり、画像の下端が陳列棚の前面の位置となる。
　ここで、カメラ１により陳列棚を撮影する際に、陳列棚の棚板のすべてを真正面から撮影することは現実上難しく、陳列棚の棚板を撮影した画像（陳列エリアの撮影画像）における各棚板上の商品の映り方は、陳列棚の棚板とカメラ１との位置関係に応じて異なる。そこで、以降の処理を同一の手順で実施可能とするための正規化として、状態監視エリアの撮影画像をトップビュー画像に変換する処理が行われる。
　次に、商品検出画像生成部４３では、図７Ｃに示すように、トップビュー画像を２値化処理して、商品検出画像を生成する。この商品検出画像では、商品の画像領域が白画素となり、商品以外の画像領域が黒画素となっている。また、２値化処理によりノイズが除去され、商品検出画像では、商品が存在する領域を明確にかつ精度良く識別することができる。
　次に、図６に示した商品存在区間検出部４５で行われる商品存在区間の検出処理について説明する。図８は、商品存在区間検出部４５で行われる商品存在区間の検出処理の概要を説明する説明図である。
　商品存在区間検出部４５では、商品検出部３３で生成した図８（Ａ）に示す商品検出画像に基づいて、商品が存在する左右方向の区間を検出する。本実施形態では、商品検出画像において白画素を前後方向にカウントして、図８（Ｂ）に示すように、左右方向の各位置における白画素数を求める。そして、この左右方向の各位置における白画素数を所定のしきい値と比較して、白画素数がしきい値より大きくなる区間を商品存在区間として検出する。そして、商品存在区間の幅（画素数）Ｂを求める。
　この商品存在区間検出部４５で検出された商品存在区間は、次に説明するボリューム度算出部４６、整列度算出部４７、およびフェイスアップ度算出部４８で行われる処理の対象範囲となる。なお、図８に示す例では、３つの商品が左右方向の位置で重なり合っているため、商品存在区間が１つ検出されているが、複数の商品が左右方向の位置で重なり合っていない、すなわち、複数の商品の間に左右方向の隙間がある場合には、複数の商品存在区間が検出される。
　次に、図６に示したボリューム度算出部４６で行われるボリューム度の算出処理について説明する。図９は、ボリューム度算出部４６で行われるボリューム度の算出処理の概要を説明する説明図である。
　ボリューム度算出部４６では、商品検出部３３で生成した商品検出画像、および商品存在区間検出部４５で検出された商品存在区間に基づいて、商品が大量にまとまって陳列された度合いを表すボリューム度を算出する。具体的には、図９（Ｂ）に示すように、まず、商品存在区間における左右方向の各位置（ｘ０～ｘＢ）の白画素数で規定される領域の面積Ｓを求める。
　また、商品存在区間内に存在する白画素の左右方向の位置（左端からの距離）ｘの分散ｖを求める。この分散ｖは、次式のように、算出される。
Figure JPOXMLDOC01-appb-M000001
　そして、ボリューム度Ｖが、面積Ｓおよび分散ｖから、次式のように算出される。
　Ｖ＝Ｓ／ｖ　　　（式２）
　このようにしてボリューム度Ｖが算出され、分散ｖが小さい、すなわち、商品が左右方向にまとまっている状態であれば、ボリューム度は高くなり、分散ｖが大きい、すなわち、商品が左右方向にばらついている状態であれば、ボリューム度は低くなる。また、面積Ｓが小さい、すなわち、商品が少ないと、ボリューム度は低くなり、面積Ｓが大きい、すなわち、商品が多くあれば、ボリューム度は高くなる。
　次に、図６に示した整列度算出部４７で行われる整列度の算出処理について説明する。図１０は、整列度算出部４７で行われる整列度の算出処理の概要を説明する説明図である。
　整列度算出部４７では、商品検出部３３で生成した商品検出画像、および商品存在区間検出部４５で検出された商品存在区間に基づいて、商品が左右方向に整列して陳列された度合いを表す整列度を算出する。具体的には、図１０（Ｂ）に示すように、まず、商品存在区間における左右方向の各位置（ｘ０～ｘＢ）での白画素数の平均値を求める。次に、左右方向の各位置における白画素数と平均値との差分ｄを求める。そして、この左右方向の各位置での差分ｄの絶対値の総和を算出し、これを商品存在区間の幅Ｂで除したものの逆数を整列度Ｌとする。整列度Ｌは、次式のように算出される。
Figure JPOXMLDOC01-appb-M000002
　このようにして整列度Ｌが算出され、商品の前後方向の位置がばらついていると、差分ｄの絶対値の総和が大きくなるため、整列度Ｌが低くなる。また、商品存在区間の幅Ｂが大きくなると、整列度Ｌが高くなる。
　次に、図６に示した整列度算出部４７で算出されるフェイスアップを考慮した整列度の算出処理について説明する。図１１は、整列度算出部４７で行われるフェイスアップを考慮した整列度の算出処理の概要を説明する説明図である。
　整列度算出部４７では、図１０に示したように、商品が左右方向に整列して陳列された度合いを表す指標として、単純な整列度が算出されるが、この他に、フェイスアップを考慮した整列度を算出することができる。
　図１０に示した単純な整列度の算出では、商品存在区間における左右方向の各位置（ｘ０～ｘＢ）での白画素数の平均値を基準にした差分に基づいて整列度を算出するようにしたが、図１１に示すフェイスアップを考慮した整列度の算出では、商品存在区間における左右方向の各位置（ｘ０～ｘＢ）での前端白画素距離、すなわち、状態監視エリアの前端から最も前側に位置する白画素までの距離を求め、この前端白画素距離の平均値を基準にした差分に基づいて整列度を算出する。
　すなわち、商品存在区間における左右方向の各位置（ｘ０～ｘＢ）での前端白画素距離の平均値を求め、この前端白画素距離の平均値と左右方向の各位置における白画素数との差分ｄを求める。そして、この左右方向の各位置での差分ｄ’の絶対値の総和を算出し、これを商品存在区間の幅Ｂで除したものの逆数を整列度Ｌ’とする。整列度Ｌ’は、次式のように算出される。
Figure JPOXMLDOC01-appb-M000003
　このようにして整列度Ｌ’が算出され、商品の前端の前後方向の位置がばらついていると、差分ｄ’の絶対値の総和が大きくなるため、整列度Ｌ’が低くなる。
　次に、図６に示したフェイスアップ度算出部４８で行われるフェイスアップ度の算出処理について説明する。図１２は、フェイスアップ度算出部４８で行われるフェイスアップ度の算出処理の概要を説明する説明図である。
　フェイスアップ度算出部４８では、商品検出部３３で生成した商品検出画像、および商品存在区間検出部４５で検出された商品存在区間に基づいて、状態監視エリアの最前の位置に商品が並んで陳列された度合いを表すフェイスアップ度を算出する。具体的には、図１２（Ｂ）に示すように、まず、商品存在区間における左右方向の各位置（ｘ０～ｘＢ）での前端白画素距離を求める。次に、前端白画素距離を所定のしきい値と比較して、前端白画素距離がしきい値より小さくなる区間、すなわち、最も前側に位置する白画素が、しきい値により規定される位置より手前側に位置する区間を、適正区間として検出して、その適正区間の幅（画素数）Ａを求める。なお、しきい値は適宜に設定すればよいが、例えば、状態監視エリアの前後方向長さの１０％とすればよい。
　そして、フェイスアップ度Ｆが、次式のように、商品存在区間の幅Ｂの総和に対する適正区間の幅Ａの総和の割合として算出される。
Figure JPOXMLDOC01-appb-M000004
　ここで、式５は、商品存在区間がｎ個存在し、各商品存在区間の適正区間が合計でｍ個存在する場合であり、Ａｉはｉ番目の適正区間の幅であり、Ｂｊはｊ番目の商品存在区間の幅である。
　このようにしてフェイスアップ度Ｆが算出され、商品存在区間に対する適正区間の割合が高い、すなわち、状態監視エリアの最前の位置に並んで陳列された商品が沢山あれば、フェイスアップ度Ｆは高くなる。
　次に、図６に示した占有度算出部４９で行われる占有度の算出処理について説明する。図１３は、占有度算出部４９で行われる占有度の算出処理の概要を説明する説明図である。
　占有度算出部４９では、商品検出部３３で生成した商品検出画像に基づいて、状態監視エリアにおいて商品が占める度合い（割合）を表す占有度を算出する。具体的には、商品検出画像を複数のブロックに分割し、各ブロック内の白画素をカウントする。そして、白画素数が所定のしきい値以上となるブロックを抽出し、その抽出されたブロックの個数の全ブロック数に対する割合を占有度として求める。
　次に、図１に示したモニタ７に表示される分析情報表示画面について説明する。図１４、図１５および図１６は、モニタ７に表示される分析情報表示画面を示す説明図である。
　図１４に示す分析情報表示画面は、商品の陳列状態に関する評価結果の時間的な推移状況、および商品の陳列状態に関してユーザに注意を促す必要がある要注意期間を表す分析情報を表示するものであり、この分析情報表示画面には、店舗状況表示部５１と、撮影画像表示部５２と、タイムチャート表示部５３と、が設けられている。
　店舗状況表示部５１では、店舗内の状況、すなわち、店舗内での商品の在庫状況に関連する商品の搬入状況や、商品の陳列状態に関連する店員の作業状況や、来店する顧客の状況などに関する情報が表示される。図１４に示す例では、商品の搬入および品出し作業が実施されるタイミングと、来店する顧客が多くなる繁忙時間帯とが表示されている。なお、商品の搬入タイミングから、店舗内での商品の在庫状況を判断することができるが、この店舗内での商品の在庫状況に関する情報そのものを表示するようにしてもよい。
　撮影画像表示部５２では、状態監視エリアの撮影画像が表示される。この撮影画像表示部５２は、タイムチャート表示部５３に表示されたタイムチャートにおいてユーザが注目した時間帯における状態監視エリアの実際の状況を確認するものであり、例えば、タイムチャート表示部５３の時間帯を選択する操作を行うことで、その選択された時間帯の撮影画像が表示される。また、表示情報生成部３７（図６参照）において、要注意期間となる時間帯を選択して、その選択された時間帯の撮影画像が表示されるようにしてもよい。
　タイムチャート表示部５３では、時間帯ごとの商品陳列状態の評価結果、すなわち、各評価指標の値（ボリューム度、整列度、およびフェイスアップ度）の時間的な推移状況を表すタイムチャートが表示されている。図１４に示す例では、タイムチャートとして、時間帯ごとのボリューム度、整列度、およびフェイスアップ度が棒グラフで表示されている。この棒グラフは、ボリューム度、整列度、およびフェイスアップ度の各値の高低に応じて、適正期間、軽度要注意期間、および重度要注意期間の３段階に色分けして表示されている。
　ここで、本実施形態では、評価結果分析部３６（図６参照）において、各評価指標の値（ボリューム度など）を所定のしきい値と比較することで、適正期間、軽度要注意期間、および重度要注意期間の判定が行われる。なお、評価結果分析部３６において、不適切な陳列状態が長期間継続したことを要注意事象として検知して、この要注意事象の発生タイミングを、図１４に示す分析情報表示画面に表示するようにしてもよい。このとき、不適切な陳列状態の継続期間が所定のしきい値を超えた場合に要注意事象と判断すればよい。
　このように、図１４に示す分析情報表示画面では、複数の評価指標による評価結果が表示されるため、各評価指標に対応する商品管理作業が適切に実施されたか否かをユーザが容易に確認することができる。特に、タイムチャート表示部５３では、商品陳列状態の評価結果の時間的な推移状況が表示されるため、どのタイミングで商品管理作業に問題があるかを明確に把握することができる。また、各評価指標の値を比較することで、商品管理作業のどの作業項目に問題があるかを明確に把握することができる。
　また、この分析情報表示画面では、店舗状況表示部５１に、店舗内の状況、すなわち、商品の搬入タイミングや繁忙時間帯などが表示されるため、店舗の実情に即した判断を行うことができる。すなわち、店舗内の状況から作業の実施可能性を考慮して、必要且つ実施可能な作業が適切に実施されたか否かを判断することができる。
　例えば、商品の搬入タイミングから長時間経過した時間帯では、商品の在庫が少なくなっていることから、商品補充作業（品出し）は十分にできないため、ボリューム度が低下する点は仕方ないが、商品整頓作業は可能であり、ここで、整列度やフェイスアップ度が低下したままであると、商品整頓作業が怠り気味であることを指摘することができる。一方、商品の搬入タイミングの直後では、商品の在庫が十分にあるため、ボリューム度が低いままであると、商品補充作業が怠り気味であることを指摘することができる。
　具体的には、図１４に示すように、７時の時間帯では、繁忙時間帯であるために商品が大量に購入されたことで、一時的に陳列状態が悪化することは仕方ないが、整列度およびフェイスアップ度がさほど低下していないことから、商品整頓作業が速やかに実施されたことがわかる。
　一方、１５時の時間帯では、整列度が高くなっていることから、商品整頓作業を行ったことを把握することができるが、このとき、フェイスアップ度が低下したままであることから、商品整頓作業でフェイスアップが不十分であることを指摘することができる。
　また、１７時の時間帯では、繁忙時間帯であるために商品が大量に購入されたことで、一時的に陳列状態が悪化することは仕方ないが、商品整頓作業が可能であるにも拘わらず、整列度およびフェイスアップ度が低下したままであることから、商品整頓作業が怠り気味であることを指摘することができる。
　このように、図１４に示す分析情報表示画面を閲覧することで、必要且つ実施可能な作業が適切に実施されたか否かを店長が判断することができ、これにより、店員に対して適切且つ具体的な改善の指示を行うことができる。
　図１５に示す分析情報表示画面は、商品の陳列状態に関する評価結果を所定の集計期間単位で集計した分析情報を表示するものであり、年月選択部６１と、店舗選択部６２と、陳列エリア選択部６３と、凡例表示部６４と、月別評価結果表示部６５と、週別評価結果表示部６６と、日別評価結果表示部６７と、詳細表示部６８と、が設けられている。
　年月選択部６１では、年月をユーザが選択する。ここでは、プルダウンメニューにより年月を選択することができる。店舗選択部６２では、店舗をユーザが選択する。ここでは、店舗ごとに設けられたタブにより店舗を選択することができる。陳列エリア選択部６３では、陳列エリアをユーザが選択する。ここでは、プルダウンメニューにより陳列エリアを選択することができる。
　凡例表示部６４では、評価結果表示部６５～６７に表示される評価マーク（○、△および×）が説明される。図１５に示す例では、ボリューム度、整列度、およびフェイスアップ度の各評価指標による評価結果をまとめた総合的な評価結果が３段階で表示され、適切な陳列状態（適正状態）の場合に「○」となり、不適切な度合いが低い陳列状態（軽度乱れ状態）の場合に「△」となり、不適切な度合いが高い陳列状態（重度乱れ状態）の場合に「×」となる。
　ここで、評価マークの判定、すなわち、適正状態、軽度乱れ状態、および重度乱れ状態の３つの状態の判定は、陳列状態評価部３４（図６参照）において、各評価指標の値を所定のしきい値と比較することで行われる。また、月別、週別および日別の評価マークは、陳列状態評価部３４での状態判定結果を評価結果分析部３６において集計することで決定される。
　月別評価結果表示部６５では、指定された月の陳列状態に関する評価マークが表示される。週別評価結果表示部６６では、各週の陳列状態に関する評価マークが表示される。日別評価結果表示部６７では、各日の陳列状態に関する評価マークが表示される。
　詳細表示部６８では、不適切な陳列状態が発生した時間帯の評価結果が一覧表示される。図１５に示す例では、不適切な陳列状態が発生した日時と、不適切な陳列状態の内容、すなわち、不適切な陳列状態が発生した状態監視エリアの名称、および不適切な陳列状態を説明する文言とが表示される。また、「画像表示」のボタンが設けられており、このボタンを操作することで、状態監視エリアの撮影画像を表示する図示しない画面が表示される。
　このように、図１５に示す分析情報表示画面では、評価結果表示部６５～６７に、日、週、および月ごとの陳列状態の評価結果が表示されるため、日、週、および月の陳列状態の良否を一目で把握することができる。また、詳細表示部６８に、不適切な陳列状態が発生した時間帯の評価結果が一覧表示されるため、評価結果表示部６５～６７で「×」や「△」の評価マークが表示された期間の陳列状態を詳細に確認することができる。
　図１６に示す分析情報表示画面は、指定した評価指標に関する評価結果の時間的な推移状況を表す分析情報を表示するものであり、この分析情報表示画面には、日付選択部７１と、店舗選択部７２と、陳列エリア選択部７３と、撮影画像表示部７４と、評価指標選択部７５と、タイムチャート表示部７６と、が設けられている。
　日付選択部７１では、日付をユーザが選択する。ここでは、「カレンダー」のボタンを操作することで表示される図示しないカレンダー画面により日付を選択することができる。店舗選択部７２では、店舗をユーザが選択する。ここでは、店舗ごとに設けられたタブにより店舗を選択することができる。陳列エリア選択部７３では、陳列エリアをユーザが選択する。ここでは、プルダウンメニューにより陳列エリアを選択することができる。
　撮影画像表示部７４では、陳列エリア選択部７３で選択された陳列エリアの撮影画像が表示される。図１６に示す例では、陳列エリア上に複数の状態監視エリアが設定され、この状態監視エリアを表す枠画像７８が撮影画像上に表示されている。また、枠画像７８は、陳列状態の評価結果に応じて色分けされている。
　評価指標選択部７５では、評価指標として、ボリューム度、整列度、およびフェイスアップ度のいずれかをユーザが選択する。ここでは、プルダウンメニューにより評価指標を選択することができる。図１６に示す例では、ボリューム度が選択されている。
　タイムチャート表示部７６では、評価指標選択部７５で選択された評価指標に関する評価結果の時間的な推移状況を表すタイムチャートが表示される。図１６に示す例では、タイムチャートとして、１日における時間帯ごとのボリューム度が折れ線グラフで表されており、横軸が時刻となり、縦軸がボリューム度（％）となっている。
　また、タイムチャート表示部７６には、タイムチャートの時間軸方向に移動可能にスライダ（表示時刻調整部）７７が設けられており、このスライダ７７を操作することで、撮影画像表示部７４に表示される撮影画像を、所望の時刻の撮影画像に切り替えることができる。具体的には、マウスなどの入力デバイス６を用いてスライダ７７をずらすと、そのスライダ７７が指し示す時刻の撮影画像が撮影画像表示部７４に表示される。
　このように、図１６に示す分析情報表示画面では、１日における時間帯ごとの評価結果の推移状況を表すタイムチャートが表示されるため、図１５に示した分析情報表示画面において陳列状態に問題があった日の評価結果を詳細に確認して、評価結果が低くなった要因を検討することができる。また、撮影画像表示部７４に状態監視エリアの撮影画像が表示されるため、状態監視エリアの実際の状況を確認しながら、評価結果が低くなった要因を検討することができる。
　なお、図１６に示す例では、ボリューム度、整列度、およびフェイスアップ度のタイムチャートを表示するようにしたが、占有度のタイムチャートを表示するようにしてもよい。
　また、図１４、図１５および図１６では、分析情報を表示する画面をモニタ７に表示させる例を示したが、これと同様の内容の帳票をプリンタ８で出力させるようにしてもよい。
　以上のように、本実施形態では、画像取得部３１において、陳列エリアの撮影画像を取得し、状態監視エリア設定部３２において、陳列エリアの撮影画像上に状態監視エリアを設定し、商品検出部３３において、状態監視エリアの撮影画像に基づいて、状態監視エリアにおける商品の位置を表す商品検出情報を取得し、陳列状態評価部３４において、商品検出情報に基づいて、商品の陳列乱れに関する複数の評価指標を用いて、状態監視エリアにおける商品の陳列状態を評価し、表示情報生成部（評価情報提示部）３７において、陳列状態評価部３４による評価結果に関する情報をユーザに提示するものとした。これによると、商品の陳列乱れに関する複数の評価指標による評価結果がユーザに提示されるため、不適切な陳列状態を改善するための商品管理作業の具体的な作業項目をユーザが把握することが可能になる。
　また、本実施形態では、陳列状態評価部３４において、評価指標として、商品が大量にまとまって陳列された度合いを表すボリューム度、商品が左右方向に整列して陳列された度合いを表す整列度、および状態監視エリアの最前の位置に商品が並んで陳列された度合いを表すフェイスアップ度のうちの少なくとも２つを用いて評価するものとした。これによると、ボリューム度、整列度、およびフェイスアップ度に関する評価結果がユーザに提示されるため、ボリューム度、整列度、およびフェイスアップ度のいずれを高める作業が必要かをユーザが把握することができる。
　また、本実施形態では、商品検出部３３において、状態監視エリアの撮影画像をトップビュー画像に変換し、そのトップビュー画像から商品検出情報を取得するものとした。これによると、商品とカメラ１との位置関係に応じて異なる画像での商品の映り方の違いに影響されることなく、商品検出処理を適切に行うことができる。
　また、本実施形態では、評価結果分析部３６において、陳列状態評価部３４による評価結果に基づき、要注意期間を表す分析情報を生成し、表示情報生成部（評価情報提示部）３７において、分析情報をユーザに提示するものとした。これによると、要注意期間、すなわち、商品の陳列状態に関してユーザに注意を促す必要がある期間をユーザが即座に把握することができる。
　また、本実施形態では、評価結果分析部３６において、陳列状態評価部３４による評価結果に対して統計処理を行って、評価結果の時間的な推移状況を表す分析情報を生成し、表示情報生成部（評価情報提示部）３７において、分析情報をユーザに提示するものとした。これによると、評価結果の時間的な推移状況を表す分析情報がユーザに提示されるため、どのタイミングで商品陳列状態および商品管理作業に問題があるかをユーザが明確に把握することができる。
　また、本実施形態では、状態監視エリア設定部３２において、ユーザの操作入力に基づき、陳列エリアを区分けした区画ごとに状態監視エリアを設定し、陳列状態評価部は、複数の状態監視エリアごとに商品の陳列状態を評価するものとした。これによると、ユーザが作業管理の必要に応じて、例えば陳列棚の棚板や商品のカテゴリーにより陳列エリアを区分けした区画ごとに状態監視エリアを指定することで、区画ごとに商品陳列状態の評価結果を得ることができる。
　また、本実施形態では、画像取得部３１において、陳列エリアの撮影画像として、陳列エリアを撮影した原画像から人物の像を消去したプライバシーマスク画像を取得する構成とする。これによると、陳列エリアの撮影画像に現れる人物の像により商品検出情報を適切に取得することができなくなる不具合を避けることができる。
　以上、本開示を特定の実施形態に基づいて説明したが、これらの実施形態はあくまでも例示であって、本開示はこれらの実施形態によって限定されるものではない。また、上記実施形態に示した本開示に係る商品モニタリング装置、商品モニタリングシステムおよび商品モニタリング方法の各構成要素は、必ずしも全てが必須ではなく、少なくとも本開示の範囲を逸脱しない限りにおいて適宜取捨選択することが可能である。
　例えば、本実施形態では、図２に示したように、カメラ１を、広範囲の撮影が可能な全方位カメラとしたが、これに限らず、視野角の限定される箱型カメラを用いることもできる。
　また、本実施形態では、状態監視エリアにおける商品の位置のみで商品の陳列状態を評価するようにしたが、商品の傾き、裏返り、および倒れなどを検知して、商品の陳列状態を評価するようにしてもよい。
　また、本実施形態では、商品モニタリングに必要な処理を、店舗内に設置された装置に行わせるようにしたが、これらの必要な処理を、図１に示したように、本部に設けられたＰＣ１１や、クラウドコンピューティングシステムを構成するクラウドコンピュータ１２に行わせるようにしてもよい。また、必要な処理を複数の情報処理装置で分担し、ＩＰネットワークやＬＡＮなどの通信媒体、またはハードディスクやメモリカードなどの記憶媒体を介して、複数の情報処理装置の間で情報を受け渡すようにしてもよい。この場合、必要な処理を分担する複数の情報処理装置で商品モニタリングシステムが構成される。
　特に、クラウドコンピュータ１２を含むシステム構成では、店舗や本部に設けられたＰＣ３，１１の他に、クラウドコンピュータ１２にネットワーク接続された携帯端末（スマートフォンやタブレット端末など）１３で、必要な情報を表示させることができるようにするとよく、これにより店舗や本部の他に外出先などの任意の場所で分析情報を閲覧することができる。
　また、前記の実施形態では、カメラ１による撮影画像を蓄積するレコーダ２を店舗に設置するようにしたが、商品モニタリングに必要な処理を、本部に設置されたＰＣ１１やクラウドコンピュータ１２に行わせる場合には、カメラ１による撮影画像を、本部や、クラウドコンピューティングシステムの運営施設などに送信して、そこに設置された装置に撮影画像を蓄積するようにしてもよい。
　本開示に係る商品モニタリング装置、商品モニタリングシステムおよび商品モニタリング方法は、店舗内を撮影した画像に基づいて、不適切な陳列状態を改善するための商品管理作業の具体的な作業項目をユーザが把握することが可能な情報をユーザに提示することができる効果を有し、店舗における陳列エリアを撮影した画像に基づいて、商品の陳列状況を監視する商品モニタリング装置、商品モニタリングシステムおよび商品モニタリング方法などとして有用である。
１　カメラ
２　レコーダ
３　ＰＣ（商品モニタリング装置）
４　携帯端末
６　入力デバイス
７　モニタ
８　プリンタ
１１　ＰＣ
１２　クラウドコンピュータ
１３　携帯端末
３１　画像取得部
３２　状態監視エリア設定部
３３　商品検出部
３４　陳列状態評価部
３５　評価結果蓄積部
３６　評価結果分析部
３７　表示情報生成部（評価情報提示部）
４２　トップビュー変換部
４３　商品検出画像生成部
４５　商品存在区間検出部
４６　ボリューム度算出部
４７　整列度算出部
４８　フェイスアップ度算出部
４９　占有度算出部

Claims (9)

  1. 　店舗における陳列エリアを撮影した画像に基づき、商品の陳列状況を監視する商品モニタリング装置であって、
    　前記陳列エリアの撮影画像を取得する画像取得部と、
    　前記陳列エリアの撮影画像上に状態監視エリアを設定する状態監視エリア設定部と、
    　前記状態監視エリアの撮影画像に基づいて、前記状態監視エリアにおける商品の位置を表す商品検出情報を取得する商品検出部と、
    　前記商品検出情報に基づいて、商品の陳列乱れに関する複数の評価指標を用いて、前記状態監視エリアにおける商品の陳列状態を評価する陳列状態評価部と、
    　この陳列状態評価部による評価結果に関する情報をユーザに提示する評価情報提示部と、
    を備えたことを特徴とする商品モニタリング装置。
  2. 　前記陳列状態評価部は、前記評価指標として、商品が大量にまとまって陳列された度合いを表すボリューム度、商品が左右方向に整列して陳列された度合いを表す整列度、および前記状態監視エリアの最前の位置に商品が並んで陳列された度合いを表すフェイスアップ度のうちの少なくとも２つを用いて評価することを特徴とする請求項１に記載の商品モニタリング装置。
  3. 　前記商品検出部は、前記状態監視エリアの撮影画像をトップビュー画像に変換し、そのトップビュー画像から前記商品検出情報を取得することを特徴とする請求項１または請求項２に記載の商品モニタリング装置。
  4. 　さらに、前記陳列状態評価部による評価結果に基づき、要注意期間を表す分析情報を生成する評価結果分析部を備え、
    　前記評価情報提示部は、前記分析情報をユーザに提示することを特徴とする請求項１から請求項３のいずれか１項に記載の商品モニタリング装置。
  5. 　さらに、前記陳列状態評価部による評価結果に対して統計処理を行って、前記評価結果の時間的な推移状況を表す分析情報を生成する評価結果分析部を備え、
    　前記評価情報提示部は、前記分析情報をユーザに提示することを特徴とする請求項１から請求項４のいずれか１項に記載の商品モニタリング装置。
  6. 　前記状態監視エリア設定部は、ユーザの操作入力に基づき、前記陳列エリアを区分けした区画ごとに前記状態監視エリアを設定し、
    　前記陳列状態評価部は、複数の前記状態監視エリアごとに商品の陳列状態を評価することを特徴とする請求項１から請求項５のいずれか１項に記載の商品モニタリング装置。
  7. 　前記画像取得部は、前記陳列エリアの撮影画像として、前記陳列エリアを撮影した原画像から人物の像を消去したプライバシーマスク画像を取得することを特徴とする請求項１から請求項６のいずれか１項に記載の商品モニタリング装置。
  8. 　店舗における陳列エリアを撮影した画像に基づき、商品の陳列状況を監視する商品モニタリングシステムであって、
    　前記陳列エリアを撮影するカメラと、
    　複数の情報処理装置と、
    を有し、
    　前記複数の情報処理装置のいずれかが、
    　前記陳列エリアの撮影画像を取得する画像取得部と、
    　前記陳列エリアの撮影画像上に状態監視エリアを設定する状態監視エリア設定部と、
    　前記状態監視エリアの撮影画像に基づいて、前記状態監視エリアにおける商品の位置を表す商品検出情報を取得する商品検出部と、
    　前記商品検出情報に基づいて、商品の陳列乱れに関する複数の評価指標を用いて、前記状態監視エリアにおける商品の陳列状態を評価する陳列状態評価部と、
    　この陳列状態評価部による評価結果に関する情報をユーザに提示する評価情報提示部と、
    を備えたことを特徴とする商品モニタリングシステム。
  9. 　店舗における陳列エリアを撮影した画像に基づき、商品の陳列状況を監視する処理を情報処理装置に行わせる商品モニタリング方法であって、
    　前記陳列エリアの撮影画像を取得するステップと、
    　前記陳列エリアの撮影画像上に状態監視エリアを設定するステップと、
    　前記状態監視エリアの撮影画像に基づいて、前記状態監視エリアにおける商品の位置を表す商品検出情報を取得するステップと、
    　前記商品検出情報に基づいて、商品の陳列乱れに関する複数の評価指標を用いて、前記状態監視エリアにおける商品の陳列状態を評価するステップと、
    　このステップによる評価結果に関する情報をユーザに提示するステップと、
    を備えたことを特徴とする商品モニタリング方法。
PCT/JP2016/001159 2015-04-28 2016-03-03 商品モニタリング装置、商品モニタリングシステムおよび商品モニタリング方法 WO2016174804A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US15/565,808 US10410333B2 (en) 2015-04-28 2016-03-03 Product monitoring device, product monitoring system, and product monitoring method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015091956A JP6008339B1 (ja) 2015-04-28 2015-04-28 商品モニタリング装置、商品モニタリングシステムおよび商品モニタリング方法
JP2015-091956 2015-04-28

Publications (1)

Publication Number Publication Date
WO2016174804A1 true WO2016174804A1 (ja) 2016-11-03

Family

ID=57140137

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/001159 WO2016174804A1 (ja) 2015-04-28 2016-03-03 商品モニタリング装置、商品モニタリングシステムおよび商品モニタリング方法

Country Status (3)

Country Link
US (1) US10410333B2 (ja)
JP (1) JP6008339B1 (ja)
WO (1) WO2016174804A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106895314A (zh) * 2017-03-28 2017-06-27 广东数相智能科技有限公司 一种基于光向调节的设备箱

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018179360A1 (ja) 2017-03-31 2018-10-04 日本電気株式会社 画像処理装置、画像処理方法、および記録媒体
WO2018179361A1 (ja) 2017-03-31 2018-10-04 日本電気株式会社 画像処理装置、画像処理方法、および記録媒体
JP6944828B2 (ja) * 2017-07-20 2021-10-06 株式会社野村総合研究所 画像処理システム、画像処理方法、および画像処理プログラム
JP7057915B2 (ja) * 2017-08-30 2022-04-21 国立大学法人岩手大学 オブジェクト検出システム、オブジェクト検出方法
JP7296598B2 (ja) * 2017-12-01 2023-06-23 パナソニックＩｐマネジメント株式会社 店舗支援システム、店舗支援方法及びプログラム
WO2019186889A1 (ja) * 2018-03-29 2019-10-03 日本電気株式会社 カメラ配置適性度評価装置、その制御方法、最適カメラ配置算出装置、及び、コンピュータ可読媒体
JP6864242B2 (ja) * 2019-06-21 2021-04-28 キヤノンマーケティングジャパン株式会社 ロボットシステム、システム、その制御方法とプログラム
US10997401B2 (en) * 2019-06-27 2021-05-04 RoundhouseOne Inc. Computer vision system that provides information relative to animal wellness
JP2021076494A (ja) * 2019-11-11 2021-05-20 沖電気工業株式会社 寸法測定システム、寸法測定装置および寸法測定方法
US20210264503A1 (en) 2020-02-26 2021-08-26 Toshiba Tec Kabushiki Kaisha Sales management system, sales management device, and control method of sales management device
JP7459947B2 (ja) * 2020-07-31 2024-04-02 日本電気株式会社 商品検知装置、商品検知システム、商品検知方法および商品検知プログラム
JP7476069B2 (ja) 2020-09-25 2024-04-30 東芝テック株式会社 情報処理装置、情報処理方法及びプログラム
JP7524045B2 (ja) * 2020-12-10 2024-07-29 株式会社東芝 データ解析装置、方法およびシステム
JPWO2022176776A1 (ja) * 2021-02-17 2022-08-25
KR102756373B1 (ko) * 2023-12-29 2025-01-21 주식회사 딥핑소스 인공지능 에이전트를 이용하여 오프라인 마켓을 관리하는 방법 및 이를 이용한 인공지능 에이전트
CN118261485B (zh) * 2024-04-10 2024-09-10 中国物品编码中心 一种基于大数据的产品监管方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3908047B2 (ja) * 2002-02-04 2007-04-25 富士通株式会社 陳列状態監視方法及び陳列状態監視プログラム
JP4473676B2 (ja) * 2004-08-18 2010-06-02 株式会社野村総合研究所 フェイスアップ度評価システム及び評価プログラム
JP2011077981A (ja) * 2009-10-01 2011-04-14 Panasonic Corp 監視カメラシステム
JP2013143655A (ja) * 2012-01-10 2013-07-22 Hitachi Plant Technologies Ltd 現場状況把握システム及び現場画像提供方法
JP2014186550A (ja) * 2013-03-22 2014-10-02 Fujitsu Ltd 画像処理装置、画像処理方法および画像処理プログラム

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070239569A1 (en) * 2000-03-07 2007-10-11 Michael Lucas Systems and methods for managing assets
EP1696397A3 (en) * 2005-02-23 2007-10-24 Prospect SA Method and apparatus for monitoring
US8433592B2 (en) * 2005-04-14 2013-04-30 Avraham Y. Goldratt Institute, Lp Method and system for determining buffer inventory size
US8325036B1 (en) * 2008-11-06 2012-12-04 Target Brands, Inc. In stock analytic monitoring
ITAN20110033A1 (it) * 2011-03-08 2012-09-09 Grottini Lab Srl Sistema per il controllo ed il rilevamento in tempo reale di rotture di stock di merci esposte alla vendita
KR101371893B1 (ko) * 2012-07-05 2014-03-07 현대자동차주식회사 차량 주변의 영상을 이용한 입체물 검출 장치 및 방법
EP2930661A4 (en) * 2012-12-04 2016-07-20 Nec Corp PRODUCT CONVEYOR SYSTEM AND NON-TRANSITORY COMPUTER-READABLE MEDIUM WITH SAVED PROGRAM
KR101439052B1 (ko) * 2013-09-05 2014-09-05 현대자동차주식회사 장애물 검출 장치 및 방법
WO2015136847A1 (ja) * 2014-03-12 2015-09-17 日本電気株式会社 陳列状況解析装置、陳列状況解析方法およびプログラム記録媒体
JP5881022B1 (ja) * 2014-09-11 2016-03-09 パナソニックＩｐマネジメント株式会社 商品モニタリング装置、商品モニタリングシステムおよび商品モニタリング方法
KR101647996B1 (ko) * 2015-05-29 2016-08-23 주식회사 케이에스에스이미지넥스트 차량의 자동 주차 방법 및 시스템
JP6322603B2 (ja) * 2015-06-23 2018-05-09 東芝テック株式会社 画像処理装置および画像処理プログラムと、陳列状況判定装置
WO2017223242A1 (en) * 2016-06-22 2017-12-28 United States Postal Service Item tracking using a dynamic region of interest
MX2019004693A (es) * 2016-10-24 2019-08-21 Walmart Apollo Llc Sistemas y metodos para monitorear y unificar inventario.
US20180165711A1 (en) * 2016-12-13 2018-06-14 Frito-Lay North America, Inc. Smart Product Display Systems and Related Methods Providing Consumer Behavior Analytics
US10198711B2 (en) * 2017-02-28 2019-02-05 Walmart Apollo, Llc Methods and systems for monitoring or tracking products in a retail shopping facility

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3908047B2 (ja) * 2002-02-04 2007-04-25 富士通株式会社 陳列状態監視方法及び陳列状態監視プログラム
JP4473676B2 (ja) * 2004-08-18 2010-06-02 株式会社野村総合研究所 フェイスアップ度評価システム及び評価プログラム
JP2011077981A (ja) * 2009-10-01 2011-04-14 Panasonic Corp 監視カメラシステム
JP2013143655A (ja) * 2012-01-10 2013-07-22 Hitachi Plant Technologies Ltd 現場状況把握システム及び現場画像提供方法
JP2014186550A (ja) * 2013-03-22 2014-10-02 Fujitsu Ltd 画像処理装置、画像処理方法および画像処理プログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106895314A (zh) * 2017-03-28 2017-06-27 广东数相智能科技有限公司 一种基于光向调节的设备箱
CN106895314B (zh) * 2017-03-28 2024-02-27 广东数相智能科技有限公司 一种基于光向调节的用于生产线成品分检的设备箱

Also Published As

Publication number Publication date
JP6008339B1 (ja) 2016-10-19
JP2016207164A (ja) 2016-12-08
US10410333B2 (en) 2019-09-10
US20180122062A1 (en) 2018-05-03

Similar Documents

Publication Publication Date Title
JP6008339B1 (ja) 商品モニタリング装置、商品モニタリングシステムおよび商品モニタリング方法
JP5728654B1 (ja) 商品モニタリング装置、商品モニタリングシステムおよび商品モニタリング方法
US10965913B2 (en) Monitoring apparatus, monitoring system and monitoring method
US10178356B2 (en) Monitoring apparatus, and moving image output method
US10304015B2 (en) Facility management support apparatus, facility management support system, and facility management support method
CN105516648B (zh) 活动状况分析装置、活动状况分析系统及活动状况分析方法
JP5881022B1 (ja) 商品モニタリング装置、商品モニタリングシステムおよび商品モニタリング方法
JP5942173B2 (ja) 商品モニタリング装置、商品モニタリングシステムおよび商品モニタリング方法
JP5796228B2 (ja) 会計業務支援装置、会計業務支援システムおよび会計業務支援方法
JP5834193B2 (ja) モニタリング装置、モニタリングシステムおよびモニタリング方法
JP6319669B2 (ja) 商品モニタリング装置、商品モニタリングシステムおよび商品モニタリング方法
US10474972B2 (en) Facility management assistance device, facility management assistance system, and facility management assistance method for performance analysis based on review of captured images
JP6341388B2 (ja) 商品モニタリング装置、商品モニタリングシステムおよび商品モニタリング方法
JP5834196B2 (ja) モニタリング装置、モニタリングシステムおよびモニタリング方法
JP6098981B2 (ja) 会計業務支援装置、会計業務支援システムおよび会計業務支援方法
JP2015069639A (ja) 滞留時間測定装置、滞留時間測定システムおよび滞留時間測定方法
JP5707561B1 (ja) モニタリング装置、モニタリングシステムおよびモニタリング方法
KR102620264B1 (ko) 인공지능 모델을 이용하여 분석된 무인 매장 고객 행동 분석 결과를 표현하는 방법 및 장치, 그리고 시스템
JP7011801B2 (ja) 支援システム、支援装置、支援方法及びプログラム
JP6226240B2 (ja) 活動マップ分析装置、活動マップ分析システムおよび活動マップ分析方法
JP2016024601A (ja) 情報処理装置、情報処理システム、情報処理方法、商品推薦方法、およびプログラム
US20240251061A1 (en) Self-checkout monitoring system, self-checkout monitoring method, and non-transitory computer readable medium

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16786086

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15565808

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16786086

Country of ref document: EP

Kind code of ref document: A1