[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

WO2023032000A1 - 処理装置、処理方法及びプログラム - Google Patents

処理装置、処理方法及びプログラム Download PDF

Info

Publication number
WO2023032000A1
WO2023032000A1 PCT/JP2021/031738 JP2021031738W WO2023032000A1 WO 2023032000 A1 WO2023032000 A1 WO 2023032000A1 JP 2021031738 W JP2021031738 W JP 2021031738W WO 2023032000 A1 WO2023032000 A1 WO 2023032000A1
Authority
WO
WIPO (PCT)
Prior art keywords
customer
information
face
image
registered
Prior art date
Application number
PCT/JP2021/031738
Other languages
English (en)
French (fr)
Inventor
淳 内村
康代 加増
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to US18/684,293 priority Critical patent/US20240221008A1/en
Priority to JP2023544808A priority patent/JPWO2023032000A1/ja
Priority to PCT/JP2021/031738 priority patent/WO2023032000A1/ja
Publication of WO2023032000A1 publication Critical patent/WO2023032000A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0207—Discounts or incentives, e.g. coupons or rebates
    • G06Q30/0236—Incentive or reward received by requiring registration or ID from user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201—Market modelling; Market analysis; Collecting market data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition

Definitions

  • the present invention relates to a processing device, a processing method and a program.
  • Patent Literature 1 discloses a technology that identifies a customer who has visited a store by face recognition technology, registers the detection result of the identified customer's in-store behavior in association with the customer, and performs marketing analysis, promotion support, etc. based on the registered data. are doing.
  • Patent Literature 1 From the perspective of data analysis, it is preferable to collect more information.
  • the information that can be collected is limited to information on customers whose face information has been registered in advance.
  • the technique described in Patent Document 1 has room for improvement in this respect.
  • the object of the present invention is to collect more customer information.
  • customer information storage means for storing customer information including the face information; detection means for matching an image taken at a store with the face information to detect the first customer and the second customer in the image; behavior monitoring means for identifying in-store behavior of the first customer and the second customer detected in the image and registering it in the customer information; When an unregistered person whose face information is not registered is detected in the image, the face information is generated based on the face image of the unregistered person included in the image, and the face of the second customer is detected.
  • a second customer registration means for registering the customer information as information;
  • the computer The customer attribute information and the face information of the first customer who has registered the customer attribute information and the face information, and the second customer who has not registered the customer attribute information but registered the face information. storing customer information including the face information; a detection step of matching an image taken at a store with the face information to detect the first customer and the second customer in the image; a behavior monitoring step of identifying in-store behavior of the first customer and the second customer detected in the image and registering it in the customer information; When an unregistered person whose face information is not registered is detected in the image, the face information is generated based on the face image of the unregistered person included in the image, and the face of the second customer is detected. a second customer registration step of registering the customer information as information; A processing method is provided for performing
  • the computer The customer attribute information and the face information of the first customer who has registered the customer attribute information and the face information, and the second customer who has not registered the customer attribute information but registered the face information.
  • customer information storage means for storing customer information including the face information; detection means for matching an image taken at a store with the face information and detecting the first customer and the second customer in the image; behavior monitoring means for identifying in-store behavior of the first customer and the second customer detected in the image and registering it in the customer information; When an unregistered person whose face information is not registered is detected in the image, the face information is generated based on the face image of the unregistered person included in the image, and the face of the second customer is detected.
  • second customer registration means for registering in the customer information as information;
  • a program is provided to act as a
  • the processing device performs the following processing using images captured at the store.
  • the processing device uses face recognition technology to detect customers whose face information has been registered in advance in the image.
  • the detected in-store behavior of the customer is specified and registered in association with the customer. For example, face information of a customer who has registered as a member is registered in advance.
  • the processing device when an unregistered person whose face information is not registered is detected in the image, the processing device generates face information based on the face image of the unregistered person included in the image, and stores the generated face information. Register in association with new customer identification information. By this processing, registration of the face information of customers whose face information has not been registered by member registration or the like is realized. Thereafter, the customer is detected in the image by processing using the face recognition technology, and the in-store behavior is registered.
  • FIG. 1 is a diagram showing a hardware configuration example of the processing device 10.
  • Each functional unit provided in the processing device 10 includes a CPU (Central Processing Unit) of any computer, a memory, a program loaded into the memory, a storage unit such as a hard disk that stores the program (stored in advance from the stage of shipping the device). Programs downloaded from storage media such as CDs (Compact Discs) and servers on the Internet can also be stored), realized by any combination of hardware and software centered on network connection interfaces be done.
  • a CPU Central Processing Unit
  • CDs Compact Discs
  • servers on the Internet can also be stored
  • the processing device 10 has a processor 1A, a memory 2A, an input/output interface 3A, a peripheral circuit 4A, and a bus 5A.
  • the peripheral circuit 4A includes various modules.
  • the processing device 10 may not have the peripheral circuit 4A.
  • the processing device 10 may be composed of a plurality of devices that are physically and/or logically separated, or may be composed of one device that is physically and logically integrated. When configured with a plurality of physically and/or logically separated devices, each of the plurality of devices can have the above hardware configuration.
  • the bus 5A is a data transmission path for mutually transmitting and receiving data between the processor 1A, the memory 2A, the peripheral circuit 4A and the input/output interface 3A.
  • the processor 1A is, for example, an arithmetic processing device such as a CPU or a GPU (Graphics Processing Unit).
  • the memory 2A is, for example, RAM (Random Access Memory) or ROM (Read Only Memory).
  • the input/output interface 3A includes an interface for acquiring information from an input device, an external device, an external server, an external sensor, or the like, an interface for outputting information to an output device, an external device, an external server, or the like.
  • the input device is, for example, a keyboard, mouse, microphone, or the like.
  • the output device is, for example, a display, speaker, printer, mailer, or the like.
  • the processor 1A can issue commands to each module and perform calculations based on the calculation results thereof.
  • the processing device 10 may be a store server installed corresponding to each store, or may be a center server installed corresponding to a center managing a plurality of stores.
  • the processing device 10 has a customer information storage unit 11 , a detection unit 12 , a behavior monitoring unit 13 and a second customer registration unit 14 .
  • the customer information storage unit 11 stores customer information of the first customer and the second customer.
  • the first customer is a customer who has registered customer attribute information and face information.
  • customer attribute information and face information of the first customer are registered in the customer information storage unit 11 by membership registration or the like.
  • the customer information of the first customer includes at least customer attribute information and face information.
  • Customer attribute information is information about customers and can include name, address, phone number, age, e-mail address, etc.
  • the customer attribute information may include other information, and may not include some of the information exemplified here.
  • the face information is information generated based on the face image, and may be the feature amount of the face or the face image itself.
  • a customer who wishes to register as a member operates a terminal device and sends his or her customer attribute information and face image to the processing device 10 via a dedicated application or web page.
  • the processing device 10 associates the newly issued customer identification information with the received customer attribute information and the received face image.
  • the face information obtained is registered in the customer information storage unit 11 .
  • Terminal devices operated by customers include smartphones, tablet terminals, mobile phones, smart watches, and personal computers.
  • the registration conditions are ⁇ No combination of the same name, address, and phone number is registered'', ⁇ The size of the face in the facial image is equal to or larger than the standard'', and ⁇ The feature amount extracted from the facial image satisfies the standard''. be.
  • the second customer is a customer who does not register customer attribute information but who has registered face information.
  • the face information of the second customer is registered in the customer information storage unit 11 by the second customer registration unit 14, which will be described later.
  • the customer information of the second customer includes at least face information and does not include customer attribute information.
  • Fig. 3 schematically shows an example of the customer information of the first customer.
  • the illustrated customer information includes customer identification information, name, address, telephone number, face image, face information, and in-store behavior history.
  • the in-store action history will be described later.
  • FIG. 4 schematically shows an example of the customer information of the second customer.
  • the illustrated customer information includes customer identification information, face images, face information, and in-store behavior history.
  • the in-store action history will be described later.
  • the customer information of the first customer and the customer information of the second customer differ in whether or not customer attribute information (name, address, telephone number, etc.) is included.
  • the customer information of the first customer and the customer information of the second customer are common in that they both include a face image and face information, but differ in the acquisition means.
  • the face image and face information of the first customer are generated based on the face image sent by the customer for membership registration or the like. Certain conditions can be imposed on the face image of the first customer, such as "the size of the face in the face image is equal to or larger than the standard" and "the feature amount extracted from the face image satisfies the standard".
  • the face image and face information of the second customer are generated based on the image taken at the store (details will be described later).
  • the facial image of the second customer is not subject to the conditions imposed on the facial image of the first customer.
  • the detection unit 12 collates an image taken at a store (hereinafter referred to as a “store image”) with face information stored in the customer information storage unit 11, and detects the first customer and A second customer is detected in the store image.
  • the facial information to be collated with the store image includes both the facial information of the first customer and the facial information of the second customer. The matching is accomplished using any conventional face recognition technology.
  • Store images are generated by one or more cameras installed in the store.
  • the camera may shoot moving images or still images. Some of the cameras may capture moving images, and some may capture still images. Cameras can be installed at various locations, including, but not limited to, entrances and exits of stores, sales floors of stores, places where checkout processing is performed, and the like.
  • the behavior monitoring unit 13 identifies the in-store behaviors of the first and second customers detected in the store image, associates them with the customers, and registers them in the customer information.
  • the behavior monitoring unit 13 may analyze the in-store image and identify the product picked up by the customer. In addition, the behavior monitoring unit 13 may analyze the in-store image and identify the product that the customer has put in the shopping cart. In addition, the behavior monitoring unit 13 identifies the correspondence relationship between the in-store image taken near the POS (point of sales) register and the information registered in the POS register based on time information, etc. may be specified. In addition, the behavior monitoring unit 13 may analyze the in-store image and identify the movement trajectory of the customer in the store. In addition, the behavior monitoring unit 13 may analyze the in-store image and specify the position where the customer stopped in the store.
  • the behavior monitoring unit 13 may analyze in-store images and identify products (tasting, viewing, trial operation, etc.) that customers have tried in the store. In addition, the behavior monitoring unit 13 analyzes an in-store image of the vicinity of the POS register and an in-store image of the location where the product is packed in a take-out bag, and determines whether or not the customer is carrying a bag to take home the purchased product. may be specified. It should be noted that the in-store behavior and the identifying means to be identified as illustrated here are merely examples, and the present invention is not limited to these.
  • the behavior monitoring unit 13 registers each customer's in-store behavior in association with each customer.
  • the in-store behavior history shown in FIGS. 3 and 4 is information indicating in-store behavior of each customer registered in association with each customer by the behavior monitoring unit 13 .
  • an action performed in the store may be registered in association with the date and time when the action was detected.
  • the second customer registration unit 14 registers face information based on the face image of the unregistered person included in the store image. Generate. Then, the second customer registration unit 14 associates the generated face information with the newly issued customer identification information as the face information of the second customer, and registers it in the customer information stored in the customer information storage unit 11. do. Processing for detecting an unregistered person from a store image can be realized according to conventional technology. For example, it is possible to detect, as an unregistered person, a person for whom matching face information is not stored in the customer information storage unit 11 among persons detected from store images by a conventional person detection technique.
  • the processing device 10 acquires a shop image generated by a camera installed in the shop (S10), the processing device 10 collates the shop image with face information stored in the customer information storage unit 11, A process of detecting the first customer and the second customer is performed (S11).
  • the processing device 10 identifies the in-store behavior of the customer, and detects the identified in-store behavior. is registered in the customer information in association with the customer identification information of the customer (S13).
  • the processing device 10 performs the process of S14.
  • the processing device 10 generates face information based on the face image of the unregistered person included in the shop image. Then, the processing device 10 associates the generated face information with the newly issued customer identification information as the face information of the second customer, and registers it in the customer information stored in the customer information storage unit 11 .
  • the processing device 10 identifies the in-store behavior of the second customer whose face information has been newly registered, and registers the information indicating the identified in-store behavior in the customer information in association with the customer identification information of the customer ( S15).
  • the processing device 10 can execute the processes of S12 to S15 for each detected person.
  • the processing device 10 of the present embodiment can identify the customer's in-store behavior and associate it with the customer for registration. can. Further, when an unregistered person whose face information is not registered is detected in the store image, the processing device 10 of the present embodiment generates face information of the unregistered person based on the store image, and generates the generated face information. can be registered in association with the newly issued customer identification information. After that, the face information is used to detect the unregistered person in the store image, the in-store behavior of the unregistered person is specified, and the unregistered person's customer identification information can be linked and registered. .
  • the processing device 10 of the present embodiment not only information of customers whose face information has been registered in advance by member registration etc. but also information of customers whose face information has not been registered in advance by member registration etc. is collected. can. As a result, more customer information can be collected.
  • the processing device 10 of the present embodiment continues to store the second customer's registration information, specifically, face information and information indicating in-store behavior, as they are even after the visit when the registration is made.
  • the second customer's registration information specifically, face information and information indicating in-store behavior
  • the second customer will be detected in the store image as "a customer whose face information has been registered in advance" when visiting the store for the second time or later.
  • a business entity having multiple stores shares customer registration information among multiple stores
  • a customer who is registered as a second customer when visiting a certain store visits another store later, this The customer is detected in the store image as "a customer whose face information has been registered in advance”.
  • the information indicating the in-store behavior of customers who have not registered their face information in advance through member registration or the like in each of a plurality of visits to the store is summarized as the information of one customer. can be accumulated. A detailed description will be given below.
  • the customer information storage unit 11 continues to store the customer information of the second customer even after the customer visits the store after the registration. Therefore, the customer information of the second customer is already stored in the customer information storage unit 11 when the second customer visits the store for the second time or later. As a result, when the second customer visits the store for the second time or later, the second customer is not detected as an unregistered person.
  • the detection unit 12 uses the customer information of the second customer stored in the customer information storage unit 11 as described above to compare the store image with the face information of the second customer, and extracts the second customer from the store image. customers. As a result, the detection unit 12 can detect the second customer who has visited the store for the second time or later in the store image.
  • the behavior monitoring unit 13 registers the information indicating the in-store behavior of the second customer identified in each of the multiple visits to the store in association with the customer identification information of the second customer. As a result, the information indicating the in-store behavior of the second customer identified in each of the multiple visits to the store is linked to each other (linked to the same customer identification information) and registered in the customer information.
  • the same effects as those of the first embodiment are realized.
  • the processing device 10 of the present embodiment it is possible to collectively accumulate information on each of a plurality of visits by a customer who has not previously registered face information through member registration or the like as information on one customer. can.
  • ⁇ Third Embodiment> when a customer registered as a second customer registers customer attribute information and face information through member registration or the like and is registered as a first customer, The information registered when it was registered (information indicating in-store behavior, etc.) is passed on to the customer as it is. A detailed description will be given below.
  • FIG. 6 shows an example of a functional block diagram of the processing device 10 of this embodiment.
  • the processing device 10 of this embodiment differs from those of the first and second embodiments in that it has a registration application reception unit 18, a first customer registration unit 19, a determination unit 20, and a transfer unit 21. .
  • the registration application reception unit 18 acquires registration application information including customer attribute information and face images. For example, a customer who wishes to register as a member operates a terminal device and transmits registration application information including his or her customer attribute information and face image to the processing device 10 via a dedicated application or web page. The registration application accepting unit 18 acquires the registration application information thus transmitted from the terminal device.
  • Terminal devices operated by customers include smart phones, tablet terminals, mobile phones, smart watches, and personal computers.
  • the first customer registration unit 19 stores the customer attribute information of the applicant included in the registration application information and the face information generated based on the face image included in the registration application information as the customer attribute information and face of the first customer. As information, it is registered in the customer information in association with the newly issued customer identification information.
  • the first customer registration unit 19 registers the above-mentioned "newly issued customer attribute information and face information of the first customer as the first customer's customer attribute information and face information".
  • a process of linking to the customer identification information obtained and registering it in the customer information" may be executed.
  • the registration conditions are ⁇ No combination of the same name, address, and phone number is registered'', ⁇ The size of the face in the facial image is equal to or larger than the standard'', and ⁇ The feature amount extracted from the facial image satisfies the standard''. be.
  • the determination unit 20 compares the face image included in the registration application information with the face information of the second customer included in the customer information stored in the customer information storage unit 11, and determines whether the applicant who sent the registration application information is the first customer. It is determined whether the customer is registered in the customer information as the customer of 2. When the face information of the second customer that matches the face image included in the registration application information is registered, the determination unit 20 determines whether the applicant who sent the registration application information is registered in the customer information as the second customer. judge that there is On the other hand, if the facial information of the second customer that matches the facial image included in the registration application information is not registered, the determination unit 20 registers the applicant who sent the registration application information as the second customer in the customer information. judge that it is not.
  • the takeover unit 21 performs in-store behavior registered in association with the applicant when the applicant is registered as the second customer. is registered in association with the customer identification information of the applicant registered in the customer information as the first customer.
  • the information (such as information indicating in-store behavior) registered when the customer was registered in the customer information as the second customer is handed over to the customer even after being registered as the first customer.
  • the processing device 10 acquires the registration application information including the customer attribute information and the face image (S20), the customer attribute information of the applicant included in the registration application information and the face image generated based on the face image included in the registration application information
  • the face information is registered in the customer information as the customer attribute information and face information of the first customer in association with the newly issued customer identification information (S21).
  • the processing device 10 uses the above-described "customer attribute information and face information of the first customer as the newly issued customer identification.” A process of linking to information and registering it in customer information" may be executed.
  • the processing device 10 collates the face image included in the registration application information with the face information of the second customer included in the customer information stored in the customer information storage unit 11, and the applicant who sent the registration application information. is registered in the customer information as the second customer (S22).
  • the processing device 10 determines that the applicant who sent the registration application information is the second customer. It is determined that the information is registered. Then, the processing device 10 converts the second customer's registration information (information indicating in-store behavior, etc.) that matches the face image included in the registration application information to the newly issued first customer's customer identification information in S21. (S24). Note that the processing device 10, in accordance with the process of S24, collects the information of the second customer (information indicating in-store behavior, face information, customer identification information as the second customer) that matches the face image included in the registration application information. etc.) may be deleted from the customer information storage unit 11 .
  • the processing device 10 determines that the applicant who sent the registration application information is the second customer. It is determined that the information is not registered. In this case, the process of S24 is not performed.
  • the same effects as those of the first and second embodiments are realized. Further, according to the processing device 10 of the present embodiment, when a customer registered as a second customer is registered as a first customer, the information registered when the customer was registered as the second customer (in-store behavioral information, etc.) can be passed on to the customer. As a result, more customer information can be collected.
  • the processing device 10 of the present embodiment gives points to both the first customer and the second customer based on the information indicating in-store behavior stored in the customer information storage unit 11 . Then, the processing device 10 permits only the first customer to use the given points. In addition, the processing device 10 notifies the second customer of the awarded points, and notifies the second customer that the points can be used by performing a predetermined procedure, thereby allowing the first customer to receive the points. Encourage registration as a customer. A detailed description will be given below.
  • FIG. 8 shows an example of a functional block diagram of the processing device 10 of this embodiment.
  • the processing device 10 of this embodiment differs from the first to third embodiments in that it has a point management unit 15, a point usage management unit 16, and a guide unit 17.
  • FIG. although not shown, the processing device 10 of the present embodiment may have a registration application reception unit 18, a first customer registration unit 19, a determination unit 20, and a transfer unit 21.
  • the point management unit 15 manages the points given to the first customer and the second customer based on the in-store behavior registered in the customer information.
  • FIG. 9 schematically shows an example of information managed by the point management unit 15. As shown in FIG. In the illustrated example, customer identification information and awarded points are registered in association with each other.
  • the point management unit 15 gives points to each customer based on a predetermined standard. For example, the point management unit 15 stores the number of visits, the length of time spent in the store, the number of times products have been tried, the number of purchases made, the amount paid, the number of times stopped in front of campaign products, the number of times passed in front of campaign products, and the number of campaign products. Points may be awarded based on the number of purchases, the number of times a bag is brought home, and the like. The point management unit 15 determines the number of visits to the store, the length of time spent in the store, the number of times the product was tried, the number of times the product was purchased, the amount paid, and the number of times the user stopped in front of the campaign product. The more points you have, the more times you pass in front of the campaign product, the more times you purchase the campaign product, and the more times you bring a bag to take home the purchased product, the more points you will be awarded. can be done.
  • the point usage management unit 16 permits the first customer to use points. Note that the point management unit 16 does not permit the second customer to use points. There are no particular restrictions on how the points can be used. For example, points may be converted into merchandise, points may be converted into electronic money, or points may be used to make payments at stores. Utilization of such points can be realized using any conventional technique.
  • the point usage management unit 16 requests presentation of customer identification information when points are used. Based on the customer identification information, the point management unit 16 can confirm that the customer who wishes to use points is the first customer.
  • the guidance unit 17 notifies the second customer of the guidance information.
  • the guidance information indicates the points given to the second customer. Further, the guidance information indicates that the point can be used by performing a predetermined procedure, or that there is a point that can be used by performing a predetermined procedure.
  • Predetermined procedures include registration of customer attribute information, registration of facial information that satisfies predetermined conditions, and expression of intention to allow the store to use information indicating in-store behavior registered in association with the second customer.
  • the predetermined procedure may be membership registration or the like.
  • the guidance unit 17 can notify the second customer of guidance information via a device installed in the store.
  • the guidance unit 17 compares a customer image generated by a camera (imaging means) provided in a device installed in the store with the face information of the second customer included in the customer information, and the customer image is included in the customer image. Identify a second customer. Then, the guidance unit 17 causes the display device of the device to display guidance information indicating the points given to the identified second customer.
  • Devices installed in stores are exemplified by POS registers, digital signage, etc., but are not limited to these.
  • the guidance unit 17 may present guidance information to the second customer using a plurality of cameras (imaging means) installed in the store and a plurality of display devices installed in the store. .
  • the guiding unit 17 identifies the position of the second customer by detecting the second customer from images generated by a plurality of cameras (monitoring cameras, etc.). Then, the guidance unit 17 displays the guidance information on a display device installed near the position of the identified second customer.
  • the processing apparatus 10 of this embodiment has the configuration of the third embodiment, when the second customer is registered as the first customer, the Even after the points are registered as the first customer, the points may be handed over to the customer.
  • the same effects as those of the first to third embodiments are achieved. Further, according to the processing device 10 of the present embodiment, it is possible to award points to customers based on their actions in the store. Therefore, it is possible to encourage customers to visit the store.
  • points can be obtained not only for information of customers whose face information has been registered in advance through member registration or the like, but also to customers who have not registered face information in advance through member registration or the like. can be given. Therefore, it is possible to encourage customers who have not registered their face information in advance to come to the store through membership registration or the like.
  • the processing device 10 of the present embodiment it is possible to restrict the use of points by a customer who has not registered face information in advance through member registration or the like after performing a predetermined procedure. Therefore, it is possible to promote the execution of a predetermined procedure.
  • the processing device 10 of the present embodiment analyzes in-store behavior of the first customer and the second customer registered as customer information, and performs marketing analysis, promotion support, and the like. A detailed description will be given below.
  • FIG. 10 shows an example of a functional block diagram of the processing device 10 of this embodiment.
  • the processing device 10 of this embodiment differs from the first to fourth embodiments in that it has an analysis unit 22 .
  • the processing device 10 of the present embodiment may have a registration application reception unit 18, a first customer registration unit 19, a determination unit 20, and a transfer unit 21.
  • the processing device 10 of the present embodiment may have a point management section 15 , a point usage management section 16 and a guide section 17 .
  • the analysis unit 22 analyzes the in-store behavior of the first and second customers registered in the customer information.
  • the analysis unit 22 may statistically process the in-store behavior of a plurality of customers collectively, and calculate the tendency of the in-store behavior of customers who come to the store. For example, it is possible to calculate what kind of in-store behavior customers are performing at each date and time period. Further, the analysis unit 22 may statistically process in-store behavior for each customer and calculate the tendency of in-store behavior of each customer. Based on the calculation results, the analysis unit 22 determines store strategies (order optimization, product display method optimization, etc.), actions to be taken for each customer (product recommendation, advertisement presentation, etc.), and the like. may
  • the analysis unit 22 can identify customers whose visit frequency is equal to or greater than a threshold value as good customers. Then, the analysis unit 22 can statistically process the in-store behavior of high-value customers, and can identify trends in the timing of coming to the store (day of the week, time of day, etc.) and trends in products purchased. In this case, it is possible to avoid losing a sales opportunity by placing an order so that the goods purchased by a good customer will not run out when the good customer comes to the store.
  • the analysis unit 22 can calculate the probability that customer A will purchase product A when ordering product A at store A on Tuesday. Further, by performing the same analysis for other customers, it is possible to calculate the probability that other customers will purchase the product A when the product A is ordered at the store A on Tuesday. Based on these calculation results, the analysis unit 22 can order the product A at the store A on Tuesday and calculate the number of products.
  • the analysis unit 22 can calculate the tendency of the time zone in which product A is purchased. For example, it is possible to calculate the probability Z% that product A will be purchased before noon. Also, the analysis unit 22 can analyze the data of the POS register and calculate the tendency of products purchased together with the product A. FIG. For example, the probability M% that coffee will be purchased at the same time as product A can be calculated. In addition, the analysis unit 22 determines whether the product A is displayed based on the in-store behavior of customers who tend to purchase the product A when the product A is not displayed (when the product is sold out or the store does not handle it in the first place). It is possible to calculate trends in customer behavior when they are not.
  • the analysis unit 22 can calculate the timing of ordering product A at store A, the number of orders, and the like.
  • the same effects as those of the first to fourth embodiments are achieved. Further, according to the processing device 10 of the present embodiment, marketing analysis, promotion support, etc. can be performed based on the in-store behavior of each registered customer.
  • the processing device 10 registers the customer as the first customer according to the customer's action (registration of customer attribute information and face image).
  • the processing device 10 registers the second customer as the first customer in response to acquiring the customer attribute information of the customer registered as the second customer by another method. good too.
  • the processing device 10 acquires the customer's customer attribute information.
  • the processing device 10 further acquires the face image of the customer that was acquired (photographed) when the membership card was read during the checkout process.
  • the processing device 10 compares the face image with the face information of the second customer stored in the customer information storage unit 11, thereby confirming that the customer who is performing the accounting process is the second customer. identify.
  • the processing device 10 associates the information registered in the customer information storage unit 11 in association with the specified second customer and the information read from the membership card, and registers them as the first customer. fix.
  • the face information of the first customer stored in the customer information storage unit 11 may be the face information registered as the second customer as it is, or the face image taken when the membership card was read. may be registered.
  • acquisition means "acquisition of data stored in another device or storage medium by one's own device based on user input or program instructions (active acquisition)", for example, receiving by requesting or querying other devices, accessing and reading other devices or storage media, etc., and based on user input or program instructions, " Inputting data output from other devices to one's own device (passive acquisition), for example, receiving data distributed (or transmitted, push notification, etc.), and received data or information Selecting and acquiring from among, and “editing data (text conversion, rearranging data, extracting some data, changing file format, etc.) to generate new data, and/or "obtaining data”.
  • editing data text conversion, rearranging data, extracting some data, changing file format, etc.
  • customer information storage means for storing customer information including the face information; detection means for matching an image taken at a store with the face information to detect the first customer and the second customer in the image; behavior monitoring means for identifying in-store behavior of the first customer and the second customer detected in the image and registering it in the customer information; When an unregistered person whose face information is not registered is detected in the image, the face information is generated based on the face image of the unregistered person included in the image, and the face of the second customer is detected.
  • a second customer registration means for registering the customer information as information;
  • a processing device having 2. The detection means compares the image with the face information of the second customer, detects the second customer who has visited the store for the second time or later in the image, 2.
  • the processing device wherein the behavior monitoring means associates in-store behavior of the second customer identified by each visit to the store a plurality of times with each other and registers the behavior in the customer information.
  • point management means for managing points given to the first customer and the second customer based on the in-store behavior registered in the customer information; point usage management means for permitting the first customer to use the points and not permitting the second customer to use the points; 3.
  • the processing apparatus according to 1 or 2.
  • the predetermined procedure is 5.
  • the processing device including at least one of registration of the customer attribute information, registration of the face information that satisfies a predetermined condition, and expression of intention to consent to the store using the registered in-store behavior. .
  • the guiding means are identifying the second customer included in the customer image by matching the customer image generated by an imaging means installed in the store with the face information included in the customer information; 6.
  • the processing device according to 4 or 5, which causes a display device to display the guidance information regarding the points given to the identified second customer.
  • registration application reception means for acquiring registration application information including the customer attribute information and the face image; The customer attribute information of the applicant included in the registration application information and the face information generated based on the face image included in the registration application information are transferred to the customer attribute information and the face information of the first customer.
  • a first customer registration means for registering in the customer information as The face image included in the registration application information is collated with the face information of the second customer included in the customer information, and the applicant who transmitted the registration application information is the customer as the second customer.
  • Determination means for determining whether it is registered in the information; When the applicant is registered in the customer information as the second customer, when the applicant is registered as the second customer, the registered in-store behavior is linked to the applicant and performed by the first customer.
  • a handover means for registering as a customer in association with the applicant's customer identification information registered in the customer information; 7.
  • the processing apparatus according to any one of 1 to 6. 8. 8. 8.
  • the processing apparatus according to any one of 1 to 7, further comprising analysis means for analyzing in-store behavior of the first customer and the second customer registered in the customer information.
  • analysis means for analyzing in-store behavior of the first customer and the second customer registered in the customer information.
  • customer information including the face information
  • a behavior monitoring step of identifying in-store behavior of the first customer and the second customer detected in the image and registering it in the customer information
  • the face information is generated based on the face image of the unregistered person included in the image, and the face of the second customer is detected.
  • customer information storage means for storing customer information including the face information; detection means for matching an image taken at a store with the face information and detecting the first customer and the second customer in the image; behavior monitoring means for identifying in-store behavior of the first customer and the second customer detected in the image and registering it in the customer information; When an unregistered person whose face information is not registered is detected in the image, the face information is generated based on the face image of the unregistered person included in the image, and the face of the second customer is detected.
  • second customer registration means for registering in the customer information as information;
  • processing device 11 customer information storage unit 12 detection unit 13 behavior monitoring unit 14 second customer registration unit 15 point management unit 16 point use management unit 17 guide unit 18 registration application reception unit 19 first customer registration unit 20 judgment unit 21 Takeover unit 22 Analysis unit 1A Processor 2A Memory 3A Input/output I/F 4A peripheral circuit 5A bus

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Finance (AREA)
  • Development Economics (AREA)
  • Accounting & Taxation (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Game Theory and Decision Science (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本発明は、顧客属性情報及び顔情報を登録した顧客である第１の顧客の顧客属性情報及び顔情報と、顧客属性情報を登録せず、顔情報を登録した顧客である第２の顧客の顔情報とを含む顧客情報を記憶する顧客情報記憶部（１１）と、店舗で撮影された画像と顔情報とを照合し、第１の顧客及び第２の顧客を画像内で検出する検出部（１２）と、画像内で検出された第１の顧客及び第２の顧客の店内行動を特定し、顧客情報に登録する行動監視部（１３）と、顔情報が登録されていない未登録人物が画像内で検出された場合、画像に含まれる未登録人物の顔画像に基づき顔情報を生成し、第２の顧客の顔情報として顧客情報に登録する第２の顧客登録部（１４）と、を有する処理装置（１０）を提供する。

Description

処理装置、処理方法及びプログラム
　本発明は、処理装置、処理方法及びプログラムに関する。
　特許文献１は、来店した顧客を顔認証技術で特定し、特定した顧客の店内行動の検出結果をその顧客に紐付けて登録し、登録データに基づきマーケティング分析やプロモーション支援等を行う技術を開示している。
特開２００８－２５７４８８号公報
　データ分析の観点からは、より多くの情報を収集することが好ましい。しかし、特許文献１に記載の技術の場合、収集できる情報は、事前に顔情報を登録している顧客の情報に限られる。特許文献１に記載の技術は、この点において改良の余地があった。
　本発明は、より多くの顧客の情報を収集できるようにすることを課題とする。
　本発明によれば、
　顧客属性情報及び顔情報を登録した顧客である第１の顧客の前記顧客属性情報及び前記顔情報と、前記顧客属性情報を登録せず、前記顔情報を登録した顧客である第２の顧客の前記顔情報とを含む顧客情報を記憶する顧客情報記憶手段と、
　店舗で撮影された画像と前記顔情報とを照合し、前記第１の顧客及び前記第２の顧客を前記画像内で検出する検出手段と、
　前記画像内で検出された前記第１の顧客及び前記第２の顧客の店内行動を特定し、前記顧客情報に登録する行動監視手段と、
　前記顔情報が登録されていない未登録人物が前記画像内で検出された場合、前記画像に含まれる前記未登録人物の顔画像に基づき前記顔情報を生成し、前記第２の顧客の前記顔情報として前記顧客情報に登録する第２の顧客登録手段と、
を有する処理装置が提供される。
　また、本発明によれば、
　コンピュータが、
　　顧客属性情報及び顔情報を登録した顧客である第１の顧客の前記顧客属性情報及び前記顔情報と、前記顧客属性情報を登録せず、前記顔情報を登録した顧客である第２の顧客の前記顔情報とを含む顧客情報を記憶しておき、
　　店舗で撮影された画像と前記顔情報とを照合し、前記第１の顧客及び前記第２の顧客を前記画像内で検出する検出工程と、
　　前記画像内で検出された前記第１の顧客及び前記第２の顧客の店内行動を特定し、前記顧客情報に登録する行動監視工程と、
　　前記顔情報が登録されていない未登録人物が前記画像内で検出された場合、前記画像に含まれる前記未登録人物の顔画像に基づき前記顔情報を生成し、前記第２の顧客の前記顔情報として前記顧客情報に登録する第２の顧客登録工程と、
を実行する処理方法が提供される。
　また、本発明によれば、
　コンピュータを、
　　顧客属性情報及び顔情報を登録した顧客である第１の顧客の前記顧客属性情報及び前記顔情報と、前記顧客属性情報を登録せず、前記顔情報を登録した顧客である第２の顧客の前記顔情報とを含む顧客情報を記憶する顧客情報記憶手段、
　　店舗で撮影された画像と前記顔情報とを照合し、前記第１の顧客及び前記第２の顧客を前記画像内で検出する検出手段、
　　前記画像内で検出された前記第１の顧客及び前記第２の顧客の店内行動を特定し、前記顧客情報に登録する行動監視手段、
　　前記顔情報が登録されていない未登録人物が前記画像内で検出された場合、前記画像に含まれる前記未登録人物の顔画像に基づき前記顔情報を生成し、前記第２の顧客の前記顔情報として前記顧客情報に登録する第２の顧客登録手段、
として機能させるプログラムが提供される。
　本発明によれば、より多くの顧客の情報を収集できるようになる。
本実施形態の処理装置のハードウエア構成の一例を示す図である。 本実施形態の処理装置の機能ブロック図の一例を示す図である。 本実施形態の処理装置が処理する情報の一例を模式的に示す図である。 本実施形態の処理装置が処理する情報の一例を模式的に示す図である。 本実施形態の処理装置の処理の流れの一例を示すフローチャートである。 本実施形態の処理装置の機能ブロック図の一例を示す図である。 本実施形態の処理装置の処理の流れの一例を示すフローチャートである。 本実施形態の処理装置の機能ブロック図の一例を示す図である。 本実施形態の処理装置が処理する情報の一例を模式的に示す図である。 本実施形態の処理装置の機能ブロック図の一例を示す図である。
　以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。
＜第１の実施形態＞
「概要」
　本実施形態の処理装置は、店舗で撮影された画像を利用して次の処理を行う。まず、処理装置は、顔認証技術を利用して、事前に顔情報を登録している顧客を上記画像内で検出する。そして、検出した顧客の店内行動を特定し、その顧客に紐づけて登録する。例えば会員登録等した顧客の顔情報が事前に登録されている。
　また、処理装置は、顔情報が登録されていない未登録人物が上記画像内で検出された場合、上記画像に含まれる未登録人物の顔画像に基づき顔情報を生成し、生成した顔情報を新たな顧客識別情報に紐付けて登録する。当該処理により、会員登録等で顔情報を登録していない顧客の顔情報の登録が実現される。以降、当該顧客は、上記顔認証技術を利用した処理により上記画像内で検出され、店内行動が登録されることとなる。
　このような本実施形態の処理装置によれば、会員登録等で事前に顔情報を登録した顧客の情報のみならず、会員登録等で事前に顔情報を登録していない顧客の情報も収集できる。
「ハードウエア構成」
　次に、処理装置のハードウエア構成の一例を説明する。
　図１は、処理装置１０のハードウエア構成例を示す図である。処理装置１０が備える各機能部は、任意のコンピュータのＣＰＵ（Central Processing Unit）、メモリ、メモリにロードされるプログラム、そのプログラムを格納するハードディスク等の記憶ユニット（あらかじめ装置を出荷する段階から格納されているプログラムのほか、ＣＤ（Compact Disc）等の記憶媒体やインターネット上のサーバ等からダウンロードされたプログラムをも格納できる）、ネットワーク接続用インターフェイスを中心にハードウエアとソフトウエアの任意の組合せによって実現される。そして、その実現方法、装置にはいろいろな変形例があることは、当業者には理解されるところである。
　図１に示すように、処理装置１０は、プロセッサ１Ａ、メモリ２Ａ、入出力インターフェイス３Ａ、周辺回路４Ａ、バス５Ａを有する。周辺回路４Ａには、様々なモジュールが含まれる。処理装置１０は、周辺回路４Ａを有さなくてもよい。なお、処理装置１０は物理的及び／又は論理的に分かれた複数の装置で構成されてもよいし、物理的及び論理的に一体となった１つの装置で構成されてもよい。物理的及び／又は論理的に分かれた複数の装置で構成される場合、複数の装置各々が上記ハードウエア構成を備えることができる。
　バス５Ａは、プロセッサ１Ａ、メモリ２Ａ、周辺回路４Ａ及び入出力インターフェイス３Ａが相互にデータを送受信するためのデータ伝送路である。プロセッサ１Ａは、例えばＣＰＵ、ＧＰＵ（Graphics Processing Unit）などの演算処理装置である。メモリ２Ａは、例えばＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）などのメモリである。入出力インターフェイス３Ａは、入力装置、外部装置、外部サーバ、外部センサ等から情報を取得するためのインターフェイスや、出力装置、外部装置、外部サーバ等に情報を出力するためのインターフェイスなどを含む。入力装置は、例えばキーボード、マウス、マイク等である。出力装置は、例えばディスプレイ、スピーカ、プリンター、メーラ等である。プロセッサ１Ａは、各モジュールに指令を出し、それらの演算結果をもとに演算を行うことができる。
「機能構成」
　次に、処理装置１０の機能構成を説明する。処理装置１０は、各店舗に対応して設置された店舗サーバであってもよいし、複数の店舗を管理するセンターに対応して設置されたセンターサーバであってもよい。
　図２に、処理装置１０の機能ブロック図の一例を示す。図示するように、処理装置１０は、顧客情報記憶部１１と、検出部１２と、行動監視部１３と、第２の顧客登録部１４とを有する。
　顧客情報記憶部１１は、第１の顧客及び第２の顧客の顧客情報を記憶する。
　第１の顧客は、顧客属性情報及び顔情報を登録した顧客である。例えば、会員登録等により、第１の顧客の顧客属性情報及び顔情報が顧客情報記憶部１１に登録される。第１の顧客の顧客情報は、少なくとも顧客属性情報及び顔情報を含む。
　顧客属性情報は、顧客に関する情報であり、氏名、住所、電話番号、年齢、電子メールアドレス等を含むことができる。なお、顧客属性情報は、その他の情報を含んでもよいし、ここで例示した情報の一部を含まなくてもよい。
　顔情報は、顔画像に基づき生成される情報であり、顔の特徴量であってもよいし、顔画像そのものであってもよい。
　会員登録等を希望する顧客は、端末装置を操作し、専用のアプリケーションやウェブページを介して、自身の顧客属性情報及び顔画像を処理装置１０に送信する。処理装置１０は、受信した顧客属性情報及び顔画像が所定の登録条件を満たす場合、新たに発行された顧客識別情報に紐付けて、受信した顧客属性情報と、受信した顔画像に基づき生成された顔情報とを顧客情報記憶部１１に登録する。
　顧客が操作する端末装置は、スマートフォン、タブレット端末、携帯電話、スマートウォッチ、パーソナルコンピュータ等である。登録条件は、「同じ氏名、住所、電話番号の組み合わせが登録されていない」、「顔画像における顔の大きさが基準以上」、「顔画像から抽出された特徴量が基準を満たす」等である。
　第２の顧客は、顧客属性情報を登録せず、顔情報を登録した顧客である。後述する第２の顧客登録部１４により、第２の顧客の顔情報が顧客情報記憶部１１に登録される。第２の顧客の顧客情報は、少なくとも顔情報を含み、顧客属性情報を含まない。
　図３に、第１の顧客の顧客情報の一例を模式的に示す。図示する顧客情報は、顧客識別情報と、氏名と、住所と、電話番号と、顔画像と、顔情報と、店内行動履歴とを含む。店内行動履歴については後述する。
　図４に、第２の顧客の顧客情報の一例を模式的に示す。図示する顧客情報は、顧客識別情報と、顔画像と、顔情報と、店内行動履歴とを含む。店内行動履歴については後述する。
　図３及び図４を比較すると、第１の顧客の顧客情報と第２の顧客の顧客情報は、顧客属性情報（氏名、住所、電話番号等）を含むか否かにおいて相違する。
　また、第１の顧客の顧客情報と第２の顧客の顧客情報は、いずれも顔画像及び顔情報を含む点で共通するが、その取得手段において相違する。上述の通り、第１の顧客の顔画像及び顔情報は、会員登録等のために顧客自身が送信してきた顔画像に基づき生成される。そして、第１の顧客の顔画像には、「顔画像における顔の大きさが基準以上」、「顔画像から抽出された特徴量が基準を満たす」等の一定の条件を課すことができる。
　一方、第２の顧客の顔画像及び顔情報は、店舗で撮影された画像に基づき生成される（詳細は後述する）。そして、第２の顧客の顔画像には、上述した第１の顧客の顔画像に課される条件は課されない。
　図２に戻り、検出部１２は、店舗で撮影された画像（以下、「店舗画像」と呼ぶ）と、顧客情報記憶部１１に記憶されている顔情報とを照合し、第１の顧客及び第２の顧客を店舗画像内で検出する。店舗画像と照合される顔情報は、第１の顧客の顔情報及び第２の顧客の顔情報の両方を含む。当該照合は、従来のあらゆる顔認証技術を利用して実現される。
　店舗画像は、店内に設置された１つ又は複数のカメラにより生成される。カメラは、動画像を撮影してもよいし、静止画像を撮影してもよい。複数のカメラの一部が動画像を撮影し、他の一部が静止画像を撮影してもよい。カメラの設置位置は様々であり、店舗の出入口、店舗の売場、会計処理が行われる場所等が例示されるが、これらに限定されない。
　行動監視部１３は、店舗画像内で検出された第１の顧客及び第２の顧客の店内行動を特定し、その顧客に紐付けて顧客情報に登録する。
　店内行動の特定は、従来のあらゆる技術を利用して実現される。例えば、行動監視部１３は、店内画像を解析し、顧客が手に取った商品を特定してもよい。その他、行動監視部１３は、店内画像を解析し、顧客が買い物かごに入れた商品を特定してもよい。その他、行動監視部１３は、ＰＯＳ（point of sales）レジスター付近を撮影した店内画像とＰＯＳレジスターに登録された情報との対応関係を時刻情報等に基づき特定することで、顧客が購入した商品を特定してもよい。その他、行動監視部１３は、店内画像を解析し、店内での顧客の移動軌跡を特定してもよい。その他、行動監視部１３は、店内画像を解析し、店内で顧客が立ち止まった位置を特定してもよい。その他、行動監視部１３は、店内画像を解析し、店内で顧客が試した商品（試食、視聴、試運転等）を特定してもよい。その他、行動監視部１３は、ＰＯＳレジスター付近を撮影した店内画像及び商品を持ち帰り用の袋に詰める場所を撮影した店内画像を解析し、購入した商品を持ち帰るための袋を持参しているか否かを特定してもよい。なお、ここで例示した特定する店内行動及び特定手段はあくまで一例であり、これらに限定されない。
　行動監視部１３は、各顧客の店内行動を各顧客に紐付けて登録する。図３及び図４に示す店内行動履歴は、行動監視部１３が各顧客に紐付けて登録した各顧客の店内行動を示す情報である。図示するように、店内で行われた行動に、その行動が検出された日付や時刻を紐付けて登録してもよい。
　図２に戻り、第２の顧客登録部１４は、顔情報が登録されていない未登録人物が店舗画像内で検出された場合、店舗画像に含まれる未登録人物の顔画像に基づき顔情報を生成する。そして、第２の顧客登録部１４は、生成した顔情報を第２の顧客の顔情報として、新たに発行された顧客識別情報に紐付けて、顧客情報記憶部１１が記憶する顧客情報に登録する。店舗画像から未登録人物を検出する処理は、従来技術に準じて実現できる。例えば、従来の人物検出技術で店舗画像から検出した人物の中の、マッチングする顔情報が顧客情報記憶部１１に記憶されていない人物を、未登録人物として検出することができる。
　次に、図５のフローチャートを用いて、処理装置１０の処理の流れの一例を説明する。
　まず、処理装置１０は、店舗に設置されたカメラが生成した店舗画像を取得すると（Ｓ１０）、その店舗画像と、顧客情報記憶部１１に記憶されている顔情報を照合し、店舗画像内で第１の顧客及び第２の顧客を検出する処理を行う（Ｓ１１）。
　店舗画像内で第１及び第２の顧客が検出された場合（Ｓ１１の「第１及び第２の顧客を検出」）、処理装置１０は、その顧客の店内行動を特定し、特定した店内行動を示す情報を、その顧客の顧客識別情報に紐付けて顧客情報に登録する（Ｓ１３）。
　一方、顔情報が登録されていない未登録人物が検出された場合（Ｓ１１の「未登録人物を検出」）、処理装置１０は、Ｓ１４の処理を行う。Ｓ１４では、処理装置１０は、店舗画像に含まれる未登録人物の顔画像に基づき顔情報を生成する。そして、処理装置１０は、生成した顔情報を第２の顧客の顔情報として、新たに発行された顧客識別情報に紐付けて、顧客情報記憶部１１が記憶する顧客情報に登録する。
　その後、処理装置１０は、新たに顔情報を登録した第２の顧客の店内行動を特定し、特定した店内行動を示す情報を、その顧客の顧客識別情報に紐付けて顧客情報に登録する（Ｓ１５）。
　なお、店舗画像内で複数の人物が検出された場合、処理装置１０は、検出された人物毎に、Ｓ１２乃至Ｓ１５の処理を実行することができる。
「作用効果」
　本実施形態の処理装置１０は、会員登録等で事前に顔情報を登録した顧客が店舗画像内で検出された場合、その顧客の店内行動を特定し、その顧客に紐付けて登録することができる。また、本実施形態の処理装置１０は、顔情報を登録していない未登録人物が店舗画像内で検出された場合、店舗画像に基づきその未登録人物の顔情報を生成し、生成した顔情報を、新たに発行した顧客識別情報に紐付けて登録することができる。そして、以降、その顔情報を用いてその未登録人物を店舗画像内で検出し、その未登録人物の店内行動を特定し、その未登録人物の顧客識別情報に紐付けて登録することができる。
　このような本実施形態の処理装置１０によれば、会員登録等で事前に顔情報を登録した顧客の情報のみならず、会員登録等で事前に顔情報を登録していない顧客の情報も収集できる。結果、より多くの顧客の情報を収集できるようになる。
＜第２の実施形態＞
　本実施形態の処理装置１０は、第２の顧客の登録情報、具体的には顔情報及び店内行動を示す情報を、当該登録がなされた来店時以降もそのまま記憶し続ける。すなわち、会員登録等で顔情報を登録していない顧客は、来店の度に第２の顧客として登録されるのでなく、一度第２の顧客として登録されると、第２の顧客としての登録状態が維持される。
　このため、２回目以降の来店時には、第２の顧客は「事前に顔情報を登録している顧客」として店舗画像内で検出されることとなる。また、複数の店舗を有する事業体が顧客の登録情報を複数の店舗で共有する場合、ある店舗に来店した際に第２の顧客として登録された顧客がその後に他の店舗に来店すると、この顧客は「事前に顔情報を登録している顧客」として店舗画像内で検出されることとなる。
　このような本実施形態の処理装置１０によれば、会員登録等で事前に顔情報を登録していない顧客による複数回の来店各々における店内行動を示す情報を、１人の顧客の情報としてまとめて蓄積することができる。以下、詳細に説明する。
　顧客情報記憶部１１は、第２の顧客の顧客情報を、登録がなされた来店時以降もそのまま記憶し続ける。このため、第２の顧客の２回目以降の来店時には、その第２の顧客の顧客情報が既に顧客情報記憶部１１に記憶されている状態となる。結果、第２の顧客の２回目以降の来店時には、その第２の顧客は未登録人物として検出されない。
　検出部１２は、上述のような顧客情報記憶部１１に記憶されている第２の顧客の顧客情報を用いて、店舗画像と第２の顧客の顔情報とを照合し、店舗画像から第２の顧客を検出する。結果、検出部１２は、２回目以降の来店である第２の顧客を店舗画像内で検出することができる。
　行動監視部１３は、複数回の来店各々で特定された第２の顧客の店内行動を示す情報を、その第２の顧客の顧客識別情報に紐付けて登録する。結果、複数回の来店各々で特定された第２の顧客の店内行動を示す情報が、互いに紐付けて（同一の顧客識別情報に紐付けて）顧客情報に登録されることとなる。
　本実施形態の処理装置１０のその他の構成は、第１の実施形態と同様である。
　本実施形態の処理装置１０によれば、第１の実施形態と同様の作用効果が実現される。また、本実施形態の処理装置１０によれば、会員登録等で事前に顔情報を登録していない顧客による複数回の来店各々に関する情報を、１人の顧客の情報としてまとめて蓄積することができる。
＜第３の実施形態＞
　本実施形態の処理装置１０は、第２の顧客として登録されている顧客が、会員登録等により顧客属性情報及び顔情報を登録し、第１の顧客として登録されると、第２の顧客として登録されていた時に登録された情報（店内行動を示す情報等）をそのままその顧客に引き継がせる処理を実行する。以下、詳細に説明する。
　図６に、本実施形態の処理装置１０の機能ブロック図の一例を示す。図示するように、本実施形態の処理装置１０は、登録申請受付部１８、第１の顧客登録部１９、判断部２０及び引継部２１を有する点で、第１及び第２の実施形態と異なる。
　登録申請受付部１８は、顧客属性情報及び顔画像を含む登録申請情報を取得する。例えば、会員登録等を希望する顧客は、端末装置を操作し、専用のアプリケーションやウェブページを介して、自身の顧客属性情報及び顔画像を含む登録申請情報を処理装置１０に送信する。登録申請受付部１８は、このようにして端末装置から送信されてきた登録申請情報を取得する。顧客が操作する端末装置は、スマートフォン、タブレット端末、携帯電話、スマートウォッチ、パーソナルコンピュータ等である。
　第１の顧客登録部１９は、登録申請情報に含まれる申請者の顧客属性情報と、登録申請情報に含まれる顔画像に基づき生成された顔情報を、第１の顧客の顧客属性情報及び顔情報として、新たに発行された顧客識別情報に紐付けて顧客情報に登録する。
　第１の顧客登録部１９は、登録申請情報に含まれる顧客属性情報及び顔画像が所定の登録条件を満たす場合、上述した「第１の顧客の顧客属性情報及び顔情報として、新たに発行された顧客識別情報に紐付けて顧客情報に登録する処理」を実行してもよい。登録条件は、「同じ氏名、住所、電話番号の組み合わせが登録されていない」、「顔画像における顔の大きさが基準以上」、「顔画像から抽出された特徴量が基準を満たす」等である。
　判断部２０は、登録申請情報に含まれる顔画像と、顧客情報記憶部１１が記憶する顧客情報に含まれる第２の顧客の顔情報とを照合し、登録申請情報を送信した申請者が第２の顧客として顧客情報に登録されているか判断する。登録申請情報に含まれる顔画像とマッチングする第２の顧客の顔情報が登録されている場合、判断部２０は、登録申請情報を送信した申請者が第２の顧客として顧客情報に登録されていると判断する。一方、登録申請情報に含まれる顔画像とマッチングする第２の顧客の顔情報が登録されていない場合、判断部２０は、登録申請情報を送信した申請者が第２の顧客として顧客情報に登録されていないと判断する。
　引継部２１は、登録申請情報を送信した申請者が第２の顧客として顧客情報に登録されている場合、第２の顧客として登録されている時にその申請者に紐付けて登録された店内行動を示す情報を、第１の顧客として顧客情報に登録されたその申請者の顧客識別情報に紐付けて登録する。当該処理により、第２の顧客として顧客情報に登録されていた時に登録された情報（店内行動を示す情報等）が、第１の顧客として登録された後もその顧客に引き継がれることとなる。
　次に、図７のフローチャートを用いて、処理装置１０の処理の流れの一例を説明する。
　処理装置１０は、顧客属性情報及び顔画像を含む登録申請情報を取得すると（Ｓ２０）、登録申請情報に含まれる申請者の顧客属性情報と、登録申請情報に含まれる顔画像に基づき生成された顔情報を、第１の顧客の顧客属性情報及び顔情報として、新たに発行された顧客識別情報に紐付けて顧客情報に登録する（Ｓ２１）。なお、処理装置１０は、登録申請情報に含まれる顧客属性情報及び顔画像が所定の登録条件を満たす場合、上述した「第１の顧客の顧客属性情報及び顔情報として、新たに発行した顧客識別情報に紐付けて顧客情報に登録する処理」を実行してもよい。
　次いで、処理装置１０は、登録申請情報に含まれる顔画像と、顧客情報記憶部１１が記憶する顧客情報に含まれる第２の顧客の顔情報とを照合し、登録申請情報を送信した申請者が第２の顧客として顧客情報に登録されているか判断する（Ｓ２２）。
　登録申請情報に含まれる顔画像とマッチングする第２の顧客の顔情報が登録されている場合（Ｓ２３のＹｅｓ）、処理装置１０は、登録申請情報を送信した申請者が第２の顧客として顧客情報に登録されていると判断する。そして、処理装置１０は、登録申請情報に含まれる顔画像とマッチングした第２の顧客の登録情報（店内行動を示す情報等）を、Ｓ２１で新たに発行された第１の顧客の顧客識別情報に紐付けて登録する（Ｓ２４）。なお、処理装置１０は、Ｓ２４の処理に応じて、登録申請情報に含まれる顔画像とマッチングした第２の顧客の情報（店内行動を示す情報、顔情報、第２の顧客としての顧客識別情報等）を、顧客情報記憶部１１から削除してもよい。
　登録申請情報に含まれる顔画像とマッチングする第２の顧客の顔情報が登録されていない場合（Ｓ２３のＮｏ）、処理装置１０は、登録申請情報を送信した申請者が第２の顧客として顧客情報に登録されていないと判断する。この場合、Ｓ２４の処理は行われない。
　本実施形態の処理装置１０のその他の構成は、第１及び第２の実施形態と同様である。
　本実施形態の処理装置１０によれば、第１及び第２の実施形態と同様の作用効果が実現される。また、本実施形態の処理装置１０によれば、第２の顧客として登録されていた顧客が第１の顧客として登録された場合、第２の顧客として登録されていた時に登録された情報（店内行動を示す情報等）をその顧客に引き継がせることができる。結果、より多くの顧客の情報をより多く収集できるようになる。
＜第４の実施形態＞
　本実施形態の処理装置１０は、顧客情報記憶部１１に記憶された店内行動を示す情報に基づき、第１の顧客及び第２の顧客の両方にポイントを付与する。そして、処理装置１０は、第１の顧客のみ、付与されたポイントの利用を許可する。また、処理装置１０は、付与されたポイントを第２の顧客に通知するとともに、所定の手続きを行うとそのポイントが利用できるようになる旨を第２の顧客に通知することで、第１の顧客としての登録を促す。以下、詳細に説明する。
　図８に、本実施形態の処理装置１０の機能ブロック図の一例を示す。図示するように、本実施形態の処理装置１０は、ポイント管理部１５、ポイント利用管理部１６及び案内部１７を有する点で、第１乃至第３の実施形態と異なる。なお、図示しないが、本実施形態の処理装置１０は、登録申請受付部１８、第１の顧客登録部１９、判断部２０及び引継部２１を有してもよい。
　ポイント管理部１５は、顧客情報に登録された店内行動に基づき第１の顧客及び第２の顧客に付与されたポイントを管理する。図９に、ポイント管理部１５が管理する情報の一例を模式的に示す。図示する例では、顧客識別情報と、付与されたポイントとが互いに紐付けて登録されている。
　ポイント管理部１５は、予め定められた基準で、各顧客にポイントを付与する。例えば、ポイント管理部１５は、来店回数、店内滞在時間、商品を試した回数、買い物をした回数、支払金額、キャンペーン商品の前で立ち止まった回数、キャンペーン商品の前を通過した回数、キャンペーン商品を購入した回数、購入した商品を持ち帰るための袋を持参した回数等に基づき、ポイントを付与してもよい。ポイント管理部１５は、来店回数が多いほど、店内滞在時間が多いほど、商品を試した回数が多いほど、買い物をした回数が多いほど、支払金額が多いほど、キャンペーン商品の前で立ち止まった回数が多いほど、キャンペーン商品の前を通過した回数が多いほど、キャンペーン商品を購入した回数が多いほど、また購入した商品を持ち帰るための袋を持参した回数が多いほど、多くのポイントを付与することができる。
　ポイント利用管理部１６は、第１の顧客によるポイントの利用を許可する。なお、ポイント管理部１６は、第２の顧客によるポイントの利用を許可しない。ポイントの利用方法は、特段制限されない。例えば、ポイントを商品に変換できてもよいし、ポイントを電子マネーに変換できてもよいし、ポイントを利用して店舗での支払いができてもよい。このようなポイントの利用は、従来のあらゆる技術を利用して実現される。ポイント利用管理部１６は、ポイント利用時に、顧客識別情報の提示を要求する。ポイント管理部１６は、当該顧客識別情報に基づき、ポイント利用を希望する顧客が第１の顧客であることを確認できる。
　案内部１７は、第２の顧客に案内情報を通知する。案内情報は、その第２の顧客に付与されたポイントを示す。また、案内情報は、所定の手続きを行うことでそのポイントが利用できるようになること、又は、所定の手続きを行えば利用可能になるポイントがある旨を示す。
　所定の手続きは、顧客属性情報の登録、所定条件を満たす顔情報の登録、及び第２の顧客に紐付けて登録された店内行動を示す情報を店舗が利用することに同意する意思表示の中の少なくとも一つを含む。また、所定の手続きは、会員登録等であってもよい。
　案内部１７は、店舗内に設置された装置を介して、第２の顧客に対する案内情報の通知を行うことができる。案内部１７は、店舗内に設置された装置が備えるカメラ（撮像手段）が生成した顧客画像と顧客情報に含まれる第２の顧客の顔情報とを照合することで、その顧客画像に含まれる第２の顧客を特定する。そして、案内部１７は、特定した第２の顧客に付与されたポイントを示す案内情報を、その装置が備える表示装置に表示させる。店舗内に設置された装置は、ＰＯＳレジスター、デジタルサイネージ等が例示されるが、これらに限定されない。その他、案内部１７は、店内に設置された複数のカメラ（撮像手段）及び店内に設置された複数の表示装置を用いて、第２の顧客に向けた案内情報の提示を実現してもよい。具体的には、案内部１７は、複数のカメラ（監視カメラ等）が生成した画像の中から第２の顧客を検出することで第２の顧客の位置を特定する。そして案内部１７は、特定した第２の顧客の位置の近傍に設置された表示装置に案内情報を表示する。
　なお、本実施形態の処理装置１０が第３の実施形態の構成を有する場合、第２の顧客が第１の顧客として登録されると、第２の顧客として登録されている間に付与されたポイントが第１の顧客として登録された後もその顧客に引き継がれてもよい。
　本実施形態の処理装置１０のその他の構成は、第１乃至第３の実施形態と同様である。
　本実施形態の処理装置１０によれば、第１乃至第３の実施形態と同様の作用効果が実現される。また、本実施形態の処理装置１０によれば、店内行動に基づき顧客にポイントを付与することができる。このため、顧客の来店を促進することができる。
　また、本実施形態の処理装置１０によれば、会員登録等で事前に顔情報を登録した顧客の情報のみならず、会員登録等で事前に顔情報を登録していない顧客に対してもポイントを付与することができる。このため、会員登録等で事前に顔情報を登録していない顧客の来店も促進することができる。
　また、本実施形態の処理装置１０によれば、会員登録等で事前に顔情報を登録していない顧客によるポイントの利用は、所定の手続きを行った後に制限できる。このため、所定の手続きが行われることを促進することができる。
＜第５の実施形態＞
　本実施形態の処理装置１０は、顧客情報として登録された第１の顧客及び第２の顧客の店内行動を解析し、マーケティング分析やプロモーション支援等を行う。以下、詳細に説明する。
　図１０に、本実施形態の処理装置１０の機能ブロック図の一例を示す。図示するように、本実施形態の処理装置１０は、解析部２２を有する点で、第１乃至第４の実施形態と異なる。なお、図示しないが、本実施形態の処理装置１０は、登録申請受付部１８、第１の顧客登録部１９、判断部２０及び引継部２１を有してもよい。また、本実施形態の処理装置１０は、ポイント管理部１５、ポイント利用管理部１６及び案内部１７を有してもよい。
　解析部２２は、顧客情報に登録された第１の顧客及び第２の顧客の店内行動を解析する。
　例えば、解析部２２は、複数の顧客の店内行動をまとめて統計処理し、店舗に来た顧客が行う店内行動の傾向を算出してもよい。例えば、各日時、各時間帯にどのような店内行動を行う顧客が来店しているか算出してもよい。また、解析部２２は、顧客毎に店内行動を統計処理し、各顧客が行う店内行動の傾向を算出してもよい。そして、解析部２２は、算出結果に基づき、店舗の戦略（発注の最適化、商品陳列方法の最適化等）や、各顧客に対して行うアクション（商品推薦、広告提示等）等を決定してもよい。
　例えば、解析部２２は、来店頻度が閾値以上の顧客を優良顧客として特定することができる。そして、解析部２２は、優良顧客の店内行動を統計処理し、来店タイミングの傾向（曜日、時間帯等）や、購入する商品の傾向を特定することができる。この場合、優良顧客が来店するタイミングでその優良顧客が購入する商品が品切れとならないように発注を行うことで、販売機会の逸失を回避することができる。
　また、購入する商品の傾向に基づき各顧客に推薦する商品や、各顧客に提示する広告を決定することで、販売促進が期待される。
　ここで、解析部２２による解析の具体例を説明する。なお、ここでの具体例はあくまで一例であり、これに限定されない。
　各顧客の店内行動を解析することで、例えば以下のような傾向等を算出することができる。
・顧客Ａが火曜日に店舗Ａに来店する確率はＸ％
・顧客Ａは、パンの陳列棚の前にてｔ分以上停止したが、商品を購入しないことがあった。この時に、商品Ａは店舗Ａに陳列されていなかった。
・他店舗にて商品Ａの購入実績あり。商品Ａが陳列されている時に購入される確率はＹ％。
　以上より、解析部２２は、店舗Ａにおいて火曜日に商品Ａを発注した場合、顧客Ａが商品Ａを購入する確率を算出することができる。また、他の顧客に対して同様の解析を行うことで、店舗Ａにおいて火曜日に商品Ａを発注した場合、他の顧客が商品Ａを購入する確率を算出することができる。そして、解析部２２は、それらの算出結果に基づき、店舗Ａにおいて火曜日に商品Ａを発注することや、その個数などを算出することができる。
　また、解析部２２は、商品Ａが購入される時間帯の傾向を算出することができる。例えば、商品Ａが正午前後に購入される可能性Ｚ％を算出することができる。また、解析部２２は、ＰＯＳレジスターのデータを解析し、商品Ａと一緒に購入される商品の傾向を算出することができる。例えば、コーヒーが商品Ａと同時に購入される可能性Ｍ％を算出することができる。また、解析部２２は、商品Ａを購入する傾向がある顧客の商品Ａが陳列されていない時（売り切れ状態の時、又はその店舗でそもそも扱っていない）の店内行動に基づき、商品Ａが陳列されていないときの顧客の行動の傾向を算出することができる。
　そして、解析部２２は、算出結果に基づき、店舗Ａにおいて商品Ａを発注するタイミングや、その個数などを算出することができる。
　本実施形態の処理装置１０のその他の構成は、第１乃至第４の実施形態と同様である。
　本実施形態の処理装置１０によれば、第１乃至第４の実施形態と同様の作用効果が実現される。また、本実施形態の処理装置１０によれば、登録した各顧客の店内行動に基づき、マーケティング分析やプロモーション支援等を行うことができる。
＜変形例＞
　上述した実施形態では、処理装置１０は、顧客からのアクション（顧客属性情報及び顔画像の登録）に応じて顧客を第１の顧客として登録した。変形例として、処理装置１０は、第２の顧客として登録されている顧客の顧客属性情報がその他の方法で取得されたことに応じて、その第２の顧客を第１の顧客として登録してもよい。
　例えば、会計処理時に、会員証等の提示に基づき顧客の顧客属性情報がＰＯＳレジスターに取得された場合、処理装置１０は、その取得された顧客の顧客属性情報を取得する。また、処理装置１０は、会計処理時に会員証を読み取る際に取得（撮影）されたその顧客の顔画像をさらに取得する。そして、処理装置１０は、当該顔画像と、顧客情報記憶部１１に記憶された第２の顧客の顔情報とを照合することで、会計処理を行っている顧客が第２の顧客であることを特定する。次いで、処理装置１０は、特定された第２の顧客に紐づいて顧客情報記憶部１１に登録されていた情報と、会員証から読み取られた情報とを紐づけて第１の顧客として登録し直す。顧客情報記憶部１１に記憶されるその第１の顧客の顔情報は、第２の顧客として登録されていた時の顔情報がそのまま引き継がれても良いし、会員証の読み取り時に撮影した顔画像が登録されてもよい。
　なお、本明細書において、「取得」とは、ユーザ入力に基づき、又は、プログラムの指示に基づき、「自装置が他の装置や記憶媒体に格納されているデータを取りに行くこと（能動的な取得）」、たとえば、他の装置にリクエストまたは問い合わせして受信すること、他の装置や記憶媒体にアクセスして読み出すこと等、および、ユーザ入力に基づき、又は、プログラムの指示に基づき、「自装置に他の装置から出力されるデータを入力すること（受動的な取得）」、たとえば、配信（または、送信、プッシュ通知等）されるデータを受信すること、また、受信したデータまたは情報の中から選択して取得すること、及び、「データを編集（テキスト化、データの並び替え、一部データの抽出、ファイル形式の変更等）などして新たなデータを生成し、当該新たなデータを取得すること」の少なくともいずれか一方を含む。
　上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下に限られない。
１．　顧客属性情報及び顔情報を登録した顧客である第１の顧客の前記顧客属性情報及び前記顔情報と、前記顧客属性情報を登録せず、前記顔情報を登録した顧客である第２の顧客の前記顔情報とを含む顧客情報を記憶する顧客情報記憶手段と、
　店舗で撮影された画像と前記顔情報とを照合し、前記第１の顧客及び前記第２の顧客を前記画像内で検出する検出手段と、
　前記画像内で検出された前記第１の顧客及び前記第２の顧客の店内行動を特定し、前記顧客情報に登録する行動監視手段と、
　前記顔情報が登録されていない未登録人物が前記画像内で検出された場合、前記画像に含まれる前記未登録人物の顔画像に基づき前記顔情報を生成し、前記第２の顧客の前記顔情報として前記顧客情報に登録する第２の顧客登録手段と、
を有する処理装置。
２．　前記検出手段は、前記画像と前記第２の顧客の前記顔情報とを照合し、２回目以降の来店である前記第２の顧客を前記画像内で検出し、
　前記行動監視手段は、複数回の来店各々で特定された前記第２の顧客の店内行動を互いに紐付けて前記顧客情報に登録する１に記載の処理装置。
３．　前記顧客情報に登録された店内行動に基づき前記第１の顧客及び前記第２の顧客に付与されたポイントを管理するポイント管理手段と、
　前記第１の顧客による前記ポイントの利用を許可し、前記第２の顧客による前記ポイントの利用を許可しないポイント利用管理手段と、
を有する１又は２に記載の処理装置。
４．　前記第２の顧客に付与されたポイントを示すとともに、所定の手続きを行うことで前記ポイントが利用できるようになることを示す案内情報を前記第２の顧客に通知する案内手段をさらに有する３に記載の処理装置。
５．　前記所定の手続きは、
　　前記顧客属性情報の登録、所定条件を満たす前記顔情報の登録、及び前記登録された店内行動を前記店舗が利用することに同意する意思表示の中の少なくとも一つを含む４に記載の処理装置。
６．　前記案内手段は、
　　店舗内に設置された撮像手段が生成した顧客画像と前記顧客情報に含まれる前記顔情報とを照合することで、前記顧客画像に含まれる前記第２の顧客を特定し、
　　特定した前記第２の顧客に付与されたポイントに関する前記案内情報を表示装置に表示させる４又は５に記載の処理装置。
７．　前記顧客属性情報及び顔画像を含む登録申請情報を取得する登録申請受付手段と、
　前記登録申請情報に含まれる前記申請者の前記顧客属性情報と、前記登録申請情報に含まれる顔画像に基づき生成された前記顔情報を、前記第１の顧客の前記顧客属性情報及び前記顔情報として前記顧客情報に登録する第１の顧客登録手段と、
　前記登録申請情報に含まれる前記顔画像と、前記顧客情報に含まれる前記第２の顧客の前記顔情報とを照合し、前記登録申請情報を送信した申請者が前記第２の顧客として前記顧客情報に登録されているか判断する判断手段と、
　前記申請者が前記第２の顧客として前記顧客情報に登録されている場合、前記第２の顧客として登録されている時に前記申請者に紐付けて前記登録された店内行動を、前記第１の顧客として前記顧客情報に登録された前記申請者の顧客識別情報に紐付けて登録する引継手段と、
を有する１から６のいずれかに記載の処理装置。
８．　前記顧客情報に登録された前記第１の顧客及び前記第２の顧客の店内行動を解析する解析手段をさらに有する１から７のいずれかに記載の処理装置。
９．　コンピュータが、
　　顧客属性情報及び顔情報を登録した顧客である第１の顧客の前記顧客属性情報及び前記顔情報と、前記顧客属性情報を登録せず、前記顔情報を登録した顧客である第２の顧客の前記顔情報とを含む顧客情報を記憶しておき、
　　店舗で撮影された画像と前記顔情報とを照合し、前記第１の顧客及び前記第２の顧客を前記画像内で検出する検出工程と、
　　前記画像内で検出された前記第１の顧客及び前記第２の顧客の店内行動を特定し、前記顧客情報に登録する行動監視工程と、
　　前記顔情報が登録されていない未登録人物が前記画像内で検出された場合、前記画像に含まれる前記未登録人物の顔画像に基づき前記顔情報を生成し、前記第２の顧客の前記顔情報として前記顧客情報に登録する第２の顧客登録工程と、
を実行する処理方法。
１０．　コンピュータを、
　　顧客属性情報及び顔情報を登録した顧客である第１の顧客の前記顧客属性情報及び前記顔情報と、前記顧客属性情報を登録せず、前記顔情報を登録した顧客である第２の顧客の前記顔情報とを含む顧客情報を記憶する顧客情報記憶手段、
　　店舗で撮影された画像と前記顔情報とを照合し、前記第１の顧客及び前記第２の顧客を前記画像内で検出する検出手段、
　　前記画像内で検出された前記第１の顧客及び前記第２の顧客の店内行動を特定し、前記顧客情報に登録する行動監視手段、
　　前記顔情報が登録されていない未登録人物が前記画像内で検出された場合、前記画像に含まれる前記未登録人物の顔画像に基づき前記顔情報を生成し、前記第２の顧客の前記顔情報として前記顧客情報に登録する第２の顧客登録手段、
として機能させるプログラム。
　１０　　処理装置
　１１　　顧客情報記憶部
　１２　　検出部
　１３　　行動監視部
　１４　　第２の顧客登録部
　１５　　ポイント管理部
　１６　　ポイント利用管理部
　１７　　案内部
　１８　　登録申請受付部
　１９　　第１の顧客登録部
　２０　　判断部
　２１　　引継部
　２２　　解析部
　１Ａ　　プロセッサ
　２Ａ　　メモリ
　３Ａ　　入出力Ｉ／Ｆ
　４Ａ　　周辺回路
　５Ａ　　バス

Claims (10)

  1. 　顧客属性情報及び顔情報を登録した顧客である第１の顧客の前記顧客属性情報及び前記顔情報と、前記顧客属性情報を登録せず、前記顔情報を登録した顧客である第２の顧客の前記顔情報とを含む顧客情報を記憶する顧客情報記憶手段と、
    　店舗で撮影された画像と前記顔情報とを照合し、前記第１の顧客及び前記第２の顧客を前記画像内で検出する検出手段と、
    　前記画像内で検出された前記第１の顧客及び前記第２の顧客の店内行動を特定し、前記顧客情報に登録する行動監視手段と、
    　前記顔情報が登録されていない未登録人物が前記画像内で検出された場合、前記画像に含まれる前記未登録人物の顔画像に基づき前記顔情報を生成し、前記第２の顧客の前記顔情報として前記顧客情報に登録する第２の顧客登録手段と、
    を有する処理装置。
  2. 　前記検出手段は、前記画像と前記第２の顧客の前記顔情報とを照合し、２回目以降の来店である前記第２の顧客を前記画像内で検出し、
    　前記行動監視手段は、複数回の来店各々で特定された前記第２の顧客の店内行動を互いに紐付けて前記顧客情報に登録する請求項１に記載の処理装置。
  3. 　前記顧客情報に登録された店内行動に基づき前記第１の顧客及び前記第２の顧客に付与されたポイントを管理するポイント管理手段と、
    　前記第１の顧客による前記ポイントの利用を許可し、前記第２の顧客による前記ポイントの利用を許可しないポイント利用管理手段と、
    を有する請求項１又は２に記載の処理装置。
  4. 　前記第２の顧客に付与されたポイントを示すとともに、所定の手続きを行うことで前記ポイントが利用できるようになることを示す案内情報を前記第２の顧客に通知する案内手段をさらに有する請求項３に記載の処理装置。
  5. 　前記所定の手続きは、
    　　前記顧客属性情報の登録、所定条件を満たす前記顔情報の登録、及び前記登録された店内行動を前記店舗が利用することに同意する意思表示の中の少なくとも一つを含む請求項４に記載の処理装置。
  6. 　前記案内手段は、
    　　店舗内に設置された撮像手段が生成した顧客画像と前記顧客情報に含まれる前記顔情報とを照合することで、前記顧客画像に含まれる前記第２の顧客を特定し、
    　　特定した前記第２の顧客に付与されたポイントに関する前記案内情報を表示装置に表示させる請求項４又は５に記載の処理装置。
  7. 　前記顧客属性情報及び顔画像を含む登録申請情報を取得する登録申請受付手段と、
    　前記登録申請情報に含まれる前記申請者の前記顧客属性情報と、前記登録申請情報に含まれる顔画像に基づき生成された前記顔情報を、前記第１の顧客の前記顧客属性情報及び前記顔情報として前記顧客情報に登録する第１の顧客登録手段と、
    　前記登録申請情報に含まれる前記顔画像と、前記顧客情報に含まれる前記第２の顧客の前記顔情報とを照合し、前記登録申請情報を送信した申請者が前記第２の顧客として前記顧客情報に登録されているか判断する判断手段と、
    　前記申請者が前記第２の顧客として前記顧客情報に登録されている場合、前記第２の顧客として登録されている時に前記申請者に紐付けて前記登録された店内行動を、前記第１の顧客として前記顧客情報に登録された前記申請者の顧客識別情報に紐付けて登録する引継手段と、
    を有する請求項１から６のいずれか１項に記載の処理装置。
  8. 　前記顧客情報に登録された前記第１の顧客及び前記第２の顧客の店内行動を解析する解析手段をさらに有する請求項１から７のいずれか１項に記載の処理装置。
  9. 　コンピュータが、
    　　顧客属性情報及び顔情報を登録した顧客である第１の顧客の前記顧客属性情報及び前記顔情報と、前記顧客属性情報を登録せず、前記顔情報を登録した顧客である第２の顧客の前記顔情報とを含む顧客情報を記憶しておき、
    　　店舗で撮影された画像と前記顔情報とを照合し、前記第１の顧客及び前記第２の顧客を前記画像内で検出する検出工程と、
    　　前記画像内で検出された前記第１の顧客及び前記第２の顧客の店内行動を特定し、前記顧客情報に登録する行動監視工程と、
    　　前記顔情報が登録されていない未登録人物が前記画像内で検出された場合、前記画像に含まれる前記未登録人物の顔画像に基づき前記顔情報を生成し、前記第２の顧客の前記顔情報として前記顧客情報に登録する第２の顧客登録工程と、
    を実行する処理方法。
  10. 　コンピュータを、
    　　顧客属性情報及び顔情報を登録した顧客である第１の顧客の前記顧客属性情報及び前記顔情報と、前記顧客属性情報を登録せず、前記顔情報を登録した顧客である第２の顧客の前記顔情報とを含む顧客情報を記憶する顧客情報記憶手段、
    　　店舗で撮影された画像と前記顔情報とを照合し、前記第１の顧客及び前記第２の顧客を前記画像内で検出する検出手段、
    　　前記画像内で検出された前記第１の顧客及び前記第２の顧客の店内行動を特定し、前記顧客情報に登録する行動監視手段、
    　　前記顔情報が登録されていない未登録人物が前記画像内で検出された場合、前記画像に含まれる前記未登録人物の顔画像に基づき前記顔情報を生成し、前記第２の顧客の前記顔情報として前記顧客情報に登録する第２の顧客登録手段、
    として機能させるプログラム。
PCT/JP2021/031738 2021-08-30 2021-08-30 処理装置、処理方法及びプログラム WO2023032000A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US18/684,293 US20240221008A1 (en) 2021-08-30 2021-08-30 Processing apparatus, processing method, and non-transitory storage medium
JP2023544808A JPWO2023032000A1 (ja) 2021-08-30 2021-08-30
PCT/JP2021/031738 WO2023032000A1 (ja) 2021-08-30 2021-08-30 処理装置、処理方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/031738 WO2023032000A1 (ja) 2021-08-30 2021-08-30 処理装置、処理方法及びプログラム

Publications (1)

Publication Number Publication Date
WO2023032000A1 true WO2023032000A1 (ja) 2023-03-09

Family

ID=85412311

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/031738 WO2023032000A1 (ja) 2021-08-30 2021-08-30 処理装置、処理方法及びプログラム

Country Status (3)

Country Link
US (1) US20240221008A1 (ja)
JP (1) JPWO2023032000A1 (ja)
WO (1) WO2023032000A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004326208A (ja) * 2003-04-22 2004-11-18 Ricoh Co Ltd 顧客管理システム、該システムの機能を実現するプログラム及び記録媒体
JP2010055594A (ja) * 2008-07-31 2010-03-11 Nec Software Kyushu Ltd 動線管理システムおよびプログラム
JP2015153194A (ja) * 2014-02-14 2015-08-24 Kddi株式会社 サービス提供装置、サービス提供方法、およびプログラム
JP2016024758A (ja) * 2014-07-24 2016-02-08 陽介 西田 ポイント情報管理プログラムおよび方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004326208A (ja) * 2003-04-22 2004-11-18 Ricoh Co Ltd 顧客管理システム、該システムの機能を実現するプログラム及び記録媒体
JP2010055594A (ja) * 2008-07-31 2010-03-11 Nec Software Kyushu Ltd 動線管理システムおよびプログラム
JP2015153194A (ja) * 2014-02-14 2015-08-24 Kddi株式会社 サービス提供装置、サービス提供方法、およびプログラム
JP2016024758A (ja) * 2014-07-24 2016-02-08 陽介 西田 ポイント情報管理プログラムおよび方法

Also Published As

Publication number Publication date
JPWO2023032000A1 (ja) 2023-03-09
US20240221008A1 (en) 2024-07-04

Similar Documents

Publication Publication Date Title
JP5666772B2 (ja) 情報提供装置、情報提供方法及びプログラム
JP7357244B2 (ja) 店舗利用情報配信装置及びこれを備えた店舗利用情報配信システム並びに店舗利用情報配信方法
JP2019109751A (ja) 情報処理装置、システム、情報処理装置の制御方法、及び、プログラム
JP2009042956A (ja) 商品販売装置、商品販売管理システム、商品販売管理方法およびプログラム
JP7026600B2 (ja) 購買情報活用システム及び購買情報活用方法、及びプログラム
JP2010140287A (ja) 購買行動分析装置、方法及びコンピュータプログラム
JP7567993B2 (ja) 決済処理装置、決済処理方法、プログラム、決済処理システム
JP7516759B2 (ja) 処理装置、処理方法及びプログラム
JP7310969B2 (ja) 情報処理システム、顧客特定装置、情報処理方法及びプログラム
JP6605822B2 (ja) 顧客情報システム及びプログラム
TWI455054B (zh) 顧客分析系統、顧客資料收集裝置、顧客分析裝置、顧客分析方法及程式產品
JP6728649B2 (ja) ポイント管理システム、アカウント生成方法、自動販売機及びプログラム
JP2019067231A (ja) プリンタ装置、取引管理システムおよび取引管理方法
JP7298644B2 (ja) 処理装置、処理方法及びプログラム
JP2020042644A (ja) 情報処理装置、情報管理方法およびコンピュータプログラム
JP7524402B2 (ja) サービス提供装置、サービス提供方法、およびプログラム
WO2023032000A1 (ja) 処理装置、処理方法及びプログラム
JP7563463B2 (ja) 処理装置、処理方法及びプログラム
US20160005066A1 (en) System and method for automatically detecting and rejecting fradulent coupons
JP2024085336A (ja) 情報処理プログラム、情報処理方法、および情報処理装置
JP7582308B2 (ja) 店舗システム、情報処理装置、情報処理方法、およびプログラム
JP2016024601A (ja) 情報処理装置、情報処理システム、情報処理方法、商品推薦方法、およびプログラム
JP2019219893A (ja) 情報管理システム
JP6984957B1 (ja) 顧客購買分析システム、顧客購買分析方法、およびプログラム
JP2013214177A (ja) 決済処理システム、決済処理装置、決済処理方法、およびプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21955897

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 18684293

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2023544808

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21955897

Country of ref document: EP

Kind code of ref document: A1