[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

WO2018021229A1 - シミュレーションシステム、シミュレーション方法及び冷蔵庫 - Google Patents

シミュレーションシステム、シミュレーション方法及び冷蔵庫 Download PDF

Info

Publication number
WO2018021229A1
WO2018021229A1 PCT/JP2017/026652 JP2017026652W WO2018021229A1 WO 2018021229 A1 WO2018021229 A1 WO 2018021229A1 JP 2017026652 W JP2017026652 W JP 2017026652W WO 2018021229 A1 WO2018021229 A1 WO 2018021229A1
Authority
WO
WIPO (PCT)
Prior art keywords
storage
image
unit
simulation
refrigerator
Prior art date
Application number
PCT/JP2017/026652
Other languages
English (en)
French (fr)
Inventor
哲郎 志田
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to JP2018529871A priority Critical patent/JP6771563B2/ja
Publication of WO2018021229A1 publication Critical patent/WO2018021229A1/ja

Links

Images

Classifications

    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D11/00—Self-contained movable devices, e.g. domestic refrigerators
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D23/00—General constructional features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics

Definitions

  • the present invention relates to a simulation system, a simulation method, and a refrigerator, and in particular, a simulation system, a simulation method, and a simulation storage system for determining whether or not a storage object can be stored in the refrigerator.
  • the present invention relates to a refrigerator that is a target for determining whether or not it can be stored.
  • Patent Document 1 and Patent Document 2 propose a system in which a camera is installed in a refrigerator, and a storage state in a warehouse imaged by the camera can be confirmed by a display terminal such as a mobile phone.
  • Patent Document 1 or Patent Document 2 enables the user to take an image of the storage room and check the storage status with a display terminal or the like. It has been difficult to easily determine whether or not can be stored. Furthermore, even if the empty space is explicitly displayed as in the system described in Patent Document 3, the size of the empty space cannot be compared with the size of the storage object, so whether or not it can be stored. It was difficult to judge easily.
  • an object of the present invention is to make it possible to easily determine whether or not an item to be stored can be stored.
  • a simulation system is a simulation system for determining whether or not an object to be stored can be stored in a refrigerator, and an imaging unit that captures an image in the refrigerator as a captured image
  • a refrigerator structure information storage unit for storing refrigerator structure information including dimension information indicating dimensions of a predetermined part in the refrigerator, dimensions of the predetermined part in the captured image, and the dimension information
  • the size of the storage object is calculated in the captured image by comparing with the size of the predetermined portion indicated by the storage, and it is determined whether the storage object can be stored.
  • An availability determination unit is a simulation system for determining whether or not an object to be stored can be stored in a refrigerator, and an imaging unit that captures an image in the refrigerator as a captured image
  • a refrigerator structure information storage unit for storing refrigerator structure information including dimension information indicating dimensions of a predetermined part in the refrigerator, dimensions of the predetermined part in the captured image, and the dimension information
  • the size of the storage object is calculated in the captured image by comparing with the size of the predetermined portion indicated by the storage, and
  • a simulation method is a simulation method for determining whether or not a storage-scheduled item can be stored in a refrigerator, and images the image in the refrigerator as a captured image, By comparing the size of the predetermined portion in the refrigerator with the size of the predetermined portion in the captured image, the size in the captured image of the storage object is calculated, and the calculated Generating a first outline image of the planned storage object with a predetermined size, combining the first external image with the captured image to generate a first simulation image, and storing the planned storage object. It is characterized by determining whether or not it is possible.
  • the refrigerator which concerns on the 1st aspect of this invention is connected with the imaging part which images the image in a store
  • a communication unit a refrigerator structure information storage unit for storing refrigerator structure information including size information indicating the size of a predetermined part in the storage, the size of the predetermined part in the captured image, Comparing the dimension of the predetermined portion indicated by the dimension information to calculate the dimension in the captured image of the planned storage object based on the shape information, and storing the planned storage object
  • a storage availability determination unit that determines whether or not it can be performed.
  • the refrigerator which concerns on the 2nd aspect of this invention is connected with the imaging part which images the image in a store
  • a storage availability determination unit for receiving refrigerator structure information including dimension information indicating a dimension of a predetermined part of the image, a dimension of the predetermined part in the captured image, and the predetermined value indicated by the dimension information
  • FIG. 1 A block diagram which shows the structure of a storage condition simulation system schematically.
  • FIG. 1 A block diagram which shows the structure of a storage condition simulation system schematically.
  • FIG. 1 A block diagram which shows the structure of a storage condition simulation system schematically.
  • FIG. 1 A block diagram which shows the structure of a storage condition simulation system schematically.
  • FIG. 1 A block diagram which shows the structure of a storage condition simulation system schematically.
  • FIG. 1 is a block diagram schematically showing a configuration of a storage situation simulation system 100 according to the embodiment.
  • the storage situation simulation system 100 is a simulation system for determining whether or not a storage object can be stored in a refrigerator.
  • a method performed by the storage situation simulation system 100 is a simulation method.
  • the storage situation simulation system 100 includes a refrigerator 110, an operation terminal 120, a store server 130, and a cloud server 140.
  • the refrigerator 110 stores objects and cools the stored objects.
  • the operation terminal 120 is a terminal operated by a user.
  • the store server 130 is an article information server of a store where a user purchases a product.
  • the cloud server 140 is a simulation server that provides a storage situation simulation service.
  • the refrigerator 110, the operation terminal 120, the store server 130, and the cloud server 140 are connected to a communication line 150 such as the Internet and can perform communication.
  • the communication line 150 is an external network.
  • the storage situation simulation system 100 includes the refrigerator 110, the operation terminal 120, the store server 130, and the cloud server 140, but the configuration of the storage situation simulation system 100 is not limited to such an example.
  • the refrigerator 110 may include the function of the cloud server 140.
  • the store server 130 may include the function of the cloud server 140.
  • the refrigerator 110 may include the function of the operation terminal 120.
  • the refrigerator 110 includes an imaging unit 111, a refrigerator model number information providing unit 112, and a communication unit 113.
  • the imaging unit 111 captures an image in the storage room of the refrigerator 110 as a captured image.
  • the imaging unit 111 can be configured by a camera. Then, the imaging unit 111 provides a captured image that is a captured image to the cloud server 140 via the communication unit 113.
  • the refrigerator model number information providing unit 112 provides model number information, which is refrigerator identification information for identifying the refrigerator 110, to the cloud server 140 via the communication unit 113.
  • the model number information is information indicating the model number of the refrigerator 110 and is used to specify the shape of the refrigerator 110. Therefore, the refrigerator identification information may be information other than the model number information as long as the shape of the refrigerator 110 can be uniquely specified.
  • the refrigerator model number information providing unit 112 includes a model number information storage unit 112a that stores model number information.
  • the model number information storage unit 112a can be configured by, for example, a nonvolatile memory.
  • the communication unit 113 performs communication via the communication line 150.
  • the communication unit 113 can be configured by a NIC (Network Interface Card).
  • Part or all of the refrigerator model number information providing unit 112 described above includes, for example, a memory 10 and a CPU that executes a program stored in the memory 10 (see FIG. 2A). It can be configured with a processor 11 such as a Central Processing Unit. Such a program may be provided through a network, or may be provided by being recorded on a recording medium.
  • a part or all of the refrigerator model number information providing unit 112 may include a single circuit, a composite circuit, a programmed processor, a parallel programmed processor, an ASIC ( It can also be configured by a processing circuit 12 such as Application Specific Integrated Circuits (FPGA) or Field Programmable Gate Array (FPGA).
  • a processing circuit 12 such as Application Specific Integrated Circuits (FPGA) or Field Programmable Gate Array (FPGA).
  • the operation terminal 120 includes a display unit 121, an input unit 122, a purchase desired product designation unit 123, a storage posture selection unit 124, a storage side change unit 125, a storage position specification unit 126, and a communication Part 127.
  • the display unit 121 displays various images related to the storage situation simulation system 100.
  • the input unit 122 receives input of instructions from the user.
  • the display unit 121 and the input unit 122 can be configured by a touch panel, for example.
  • the purchase desired product designating unit 123 receives designation of a product that the user desires to purchase via the input unit 122. Since the product designated here is a storage plan item to be stored in the refrigerator 110, the purchase desired product specification unit 123 uses the product selection image to store the selected product as a storage plan specification unit. Function as. The purchase desired product specifying unit 123 notifies the store server of the specified purchase desired product via the communication unit 127. Based on the simulation image displayed on the display unit 121, the storage posture selection unit 124 selects a posture in which the user intends to store the desired product for purchase in the refrigerator 110 via the input unit 122. The storage posture selection unit 124 notifies the cloud server 140 of the selected storage posture via the communication unit 127.
  • the storage side changing unit 125 changes the side on which the user intends to store the purchase desired product in the refrigerator 110 via the input unit 122. For example, the user can change whether the purchase desired product is stored on the right side toward the refrigerator 110 or on the left side.
  • the storage side changing unit 125 notifies the cloud server 140 of the changed side via the communication unit 127.
  • the storage position designation unit 126 receives a designation of a position where the user intends to store the purchase desired product in the refrigerator 110 via the input unit 122.
  • the storage location designation unit 126 notifies the cloud server 140 of the designated storage location via the communication unit 127.
  • the communication unit 127 performs communication via the communication line 150.
  • the communication unit 127 can be configured by a NIC.
  • Part or all of the purchase desired product designation unit 123, the storage orientation selection unit 124, the storage side change unit 125, and the storage position specification unit 126 described above are, for example, as illustrated in FIG.
  • the memory 10 and a processor 11 such as a CPU for executing a program stored in the memory 10 can be used.
  • Such a program may be provided through a network, or may be provided by being recorded on a recording medium.
  • a part or all of the purchase desired product specifying unit 123, the storage orientation selecting unit 124, the storage side changing unit 125, and the storage position specifying unit 126 may be a single unit.
  • a circuit, a composite circuit, a programmed processor, a parallel programmed processor, or a processing circuit 12 such as an ASIC or FPGA can also be used.
  • the store server 130 includes a product selection image providing unit 131, a purchase desired product storage unit 132, a product shape information providing unit 133, a product suitable storage room information providing unit 134, and a communication unit 135. .
  • the product selection image providing unit 131 causes the display unit 121 to display a product selection image for selecting a desired product from a plurality of products.
  • the product selection image providing unit 131 provides the operation terminal 120 with a product selection image for selecting a product from the products handled by the store server 130 via the communication unit 135.
  • the product selection image providing unit 131 includes a product image information storage unit 131a that stores product information related to products handled by the store server 130 and image information for generating a product selection image.
  • the purchase desired product storage unit 132 stores an article ID that is purchase desired product identification information for identifying the purchase desired product specified by the purchase desired product specifying unit 123 of the operation terminal 120.
  • the product shape information providing unit 133 provides the cloud server 140 with shape information indicating the shape of the purchase desired product specified by the purchase desired product specifying unit 123 of the operation terminal 120 via the communication unit 135.
  • the product shape information providing unit 133 includes a product shape information storage unit 133 a that stores product shape information indicating the shape of a product handled by the store server 130. Then, the product shape information providing unit 133 extracts information related to the purchase desired product from the product shape information, and uses the extracted information as shape information.
  • the product shape information indicates the external shape and dimensions of the product, and when a plurality of storage postures are set for the product, the external shape and dimensions of the product in each storage posture.
  • the storage posture is a posture such as vertical placement and horizontal placement. Depending on the product, depending on the storage position, liquid may spill or be damaged, so there are one type of storage position and multiple types of storage position.
  • the product suitable storage room information providing unit 134 provides the cloud server 140 with storage room information suitable for the purchase desired product designated by the purchase desired product designating unit 123 of the operation terminal 120 via the communication unit 135.
  • the product preferred storage room information providing unit 134 includes a product preferred storage room information storage unit 134a that stores product preferred storage room information indicating the storage room of the refrigerator 110 in which products handled by the store server 130 are to be stored. ing.
  • the suitable product storage room information provision part 134 extracts the information regarding purchase desired goods from the suitable product storage room information, and makes the extracted information storage room information.
  • the communication unit 135 performs communication via the communication line 150.
  • the communication unit 135 can be configured by a NIC.
  • a part or all of the product selection image providing unit 131, the product shape information providing unit 133, and the product suitable storage room information providing unit 134 described above may be, for example, a memory as illustrated in FIG. 10 and a processor 11 such as a CPU that executes a program stored in the memory 10.
  • a program may be provided through a network, or may be provided by being recorded on a recording medium.
  • a part or all of the product selection image providing unit 131, the product shape information providing unit 133, and the product suitable storage room information providing unit 134 are, for example, a single circuit, as shown in FIG. It can also be configured by a composite circuit, a programmed processor, a parallel programmed processor, or a processing circuit 12 such as an ASIC or FPGA.
  • the product image information storage unit 131a, the purchase desired product storage unit 132, the product shape information storage unit 133a, and the product preferred storage room information storage unit 134a are configured by a storage device such as an HDD (Hard Disk Drive) or a nonvolatile memory. be able to.
  • a storage device such as an HDD (Hard Disk Drive) or a nonvolatile memory.
  • the cloud server 140 includes a refrigerator structure information provision unit 141, a storage availability determination unit 143, a simulation image generation unit 142, and a communication unit 144.
  • the refrigerator structure information providing unit 141 provides information indicating the internal structure of the refrigerator 110 to the storage availability determining unit 143 and the simulation image generating unit 142 based on the model number information provided from the refrigerator model number information providing unit 112 of the refrigerator 110.
  • the refrigerator structure information providing unit 141 includes a refrigerator structure information storage unit 141 a that stores refrigerator structure information indicating various internal structures of the refrigerator 110.
  • the refrigerator structure information provision part 141 extracts the information corresponding to the notified model number information from the refrigerator structure information, and notifies the extracted information.
  • the refrigerator structure information includes structure information indicating the shape, size, and position of the storage room, and the shape, size, and position of the structure constituting the storage room. More specifically, the structure information indicates the internal dimensions of the refrigerator storage room and the shape, size, and position of a structure such as a shelf provided in the storage room.
  • the refrigerator structure information includes dimension information indicating the dimension of a predetermined portion of the refrigerator. The predetermined part is any part of the storage room or the structure constituting the storage room. In order to compare with a dimension in a captured image of a storage object to be described later, that portion is specified in advance. Furthermore, when a moving structure that can move the position is included in the plurality of structures that constitute the storage room, the refrigerator structure information includes the shape, size, and movement of the moving structure.
  • the movable range is a range in which the position of the moving structure can be moved.
  • the refrigerator structure information indicates the detachable structure indicating the shape, size, and position of the detachable structure. Further information.
  • the simulation image generation unit 142 forms the shape information sent from the store server 130 into the picked-up image of the storage room indicated by the storage room information sent from the store server 130 among the picked-up images sent from the refrigerator 110.
  • a simulation image is generated by synthesizing a product image (outer shape image) of a product having the outer shape and dimensions shown in FIG.
  • the simulation image generation unit 142 sets the purchase desired product selected by the user as a storage object.
  • the simulation image generation unit 142 compares the dimension of the predetermined portion in the captured image with the dimension indicated by the dimension information included in the refrigerator structure information, so that the captured image of the storage object is stored.
  • the dimensions at are calculated, and a perspective image (first outline image) that is an outline image of the storage object is generated with the calculated dimensions.
  • the simulation image generation unit 142 generates a simulation image (first simulation image) by synthesizing the perspective image at a predetermined position of the captured image. Moreover, the simulation image generation part 142, when the moving structure which can move a position is contained in the structure which comprises the refrigerator 110, the simulation image of the moving structure is included. Indicates the movable range.
  • the simulation image generation unit 142 gives the generated simulation image to the operation terminal 120 via the communication unit 144.
  • the operation terminal that has received such a simulation image displays the image on the display unit 121.
  • the simulation image generation unit 142 calculates as described above.
  • a perspective image (second outline image) of the storage object in the selected storage posture with the selected dimensions is generated, and the generated perspective image is combined with the captured image to generate a simulation image (second simulation image) Is generated (updated).
  • the simulation image generated in this way is sent to the display unit 121 and displayed.
  • the simulation image generating unit 142 A perspective image of an object to be stored when stored on the changed side with the calculated dimensions is generated, and a simulation image is generated (updated) by synthesizing the generated perspective image with the captured image.
  • the simulation image generated in this way is sent to the display unit 121 and displayed.
  • the simulation image generating unit 142 performs the above-described operation.
  • a perspective image (third outer shape image) of a storage object to be stored at the specified storage position with the calculated dimensions is generated, and the generated perspective image is combined with the captured image at the specified storage position.
  • a simulation image (third simulation image) is generated (updated). The simulation image generated in this way is sent to the display unit 121 and displayed.
  • the simulation image generation unit 142 updates the simulation image according to the determination result from the storage availability determination unit 143.
  • the storage availability determination unit 143 receives the captured image sent from the refrigerator 110 and the information sent from the refrigerator structure information providing unit 141. Based on the above, it is determined whether or not a product having the outer shape and dimensions indicated by the shape information sent from the store server 130 can be stored in the specified storage position. For example, the storage availability determination unit 143 specifies the storage items already stored in the refrigerator 110 based on the captured image transmitted from the refrigerator 110 and the information transmitted from the refrigerator structure information providing unit 141. Whether or not the storage of the scheduled storage is hindered by the storage already stored in the refrigerator 110 or the structure constituting the refrigerator 110 when storing the planned storage in the specified storage position. Judging. The storage possibility determination unit 143 determines that the storage object cannot be stored when the storage of the storage object is hindered. When the storage of the storage object is not prevented, the storage possibility determination unit 143 determines that the storage object is not stored. It can be stored.
  • the storage availability determination unit 143 includes a determination information storage unit 143a that stores information necessary for performing the above determination. Then, the storage availability determination unit 143 gives the determination result to the simulation image generation unit 142. In response to such a determination result, the simulation image generation unit 142 updates the simulation image to indicate the portion of the planned storage object that is hindering storage when the storage of the planned storage object is hindered.
  • the storage availability determination part 143 moves such a moving structure.
  • it can be determined whether or not it can be stored.
  • the storage possibility determination unit 143 refers to the movable range information and moves the moving structure so that the storage of the storage object is not hindered
  • the storage of the storage object is not hindered.
  • the position of the moving structure is specified as the moving position.
  • the storage availability determination unit 143 notifies the simulation image generation unit 142 of the movement position.
  • the simulation image generation unit 142 receives such notification, updates the simulation image, and moves the moving structure to the notified moving position, thereby indicating that the storage object can be stored.
  • the storage availability determination unit 143 considers the case where such a detachable structure is removed. Thus, it can be determined whether or not the storage is possible. For example, when the storage possibility determination unit 143 refers to the attachment / detachment information and removes the attachment / detachment structure so that the storage of the storage object is not hindered, the storage structure is prevented from being blocked. And the simulation image generation unit 142 is notified of the detachable structure. The simulation image generation unit 142 receives such notification, updates the simulation image, and indicates that the planned storage object can be stored by removing the notified detachable structure.
  • the communication unit 144 performs communication via the communication line 150.
  • the communication unit 144 can be configured by a NIC.
  • a part or all of the refrigerator structure information providing unit 141, the simulation image generating unit 142, and the storage availability determining unit 143 described above includes, for example, a memory 10 and a memory as illustrated in FIG. 10 and a processor 11 such as a CPU that executes a program stored in the computer 10.
  • a program may be provided through a network, or may be provided by being recorded on a recording medium.
  • a part or all of the refrigerator structure information providing unit 141, the simulation image generating unit 142, and the storage availability determining unit 143 may be configured as a single circuit, a composite circuit, a program, as illustrated in FIG. 2B, for example. It can also be constituted by a processing circuit 12 such as an integrated processor, a processor programmed in parallel, an ASIC or an FPGA.
  • the refrigerator structure information storage unit 141a and the determination information storage unit 143a can be configured by a storage device such as an HDD or a nonvolatile memory.
  • FIG. 3 is a flowchart showing processing in the storage situation simulation system 100.
  • the imaging unit 111 captures an image in the storage room of the refrigerator 110 (S10).
  • the refrigerator 110 includes a plurality of storage rooms such as a refrigerator room, a vegetable room, and a freezer room
  • the imaging unit 111 may be installed in each storage room.
  • the imaging unit 111 transmits the captured image from the communication unit 113 to the simulation image generation unit 142 via the communication line 150.
  • the refrigerator model number information providing unit 112 transmits the model number information stored in the model number information storage unit 112a from the communication unit 113 to the refrigerator structure information providing unit 141 via the communication line 150 (S11).
  • the refrigerator structure information providing unit 141 searches information indicating the internal structure of the refrigerator 110 using the model number indicated by the model number information from the refrigerator structure information stored in the refrigerator structure information storage unit 141a (S12). Then, the refrigerator structure information providing unit 141 gives information corresponding to the refrigerator 110 to the simulation image generating unit 142.
  • the product selection image providing unit 131 generates a product selection image for selecting a product from the products handled by the store server 130 and transmits the product selection image to the operation terminal 120 from the communication unit 113 via the communication line 150. To do. Then, the display unit 121 of the operation terminal 120 displays the product selection image (S13).
  • FIG. 4 is a schematic diagram illustrating an example of a product selection image.
  • the product selection image IM1 the first product PD1, the second product PD2, and the third product PD3 are displayed. These products are all products handled by the store server 130.
  • the user can change the product displayed on the product selection image IM1 by inputting an execution instruction for the operation buttons B1 and B2 using the input unit 122.
  • the product selection image IM1 the user moves the selection frame SL using the input unit 122, specifies a desired product, and inputs a selection instruction (S14).
  • the purchase desired product specifying unit 123 transmits information indicating the selected position from the communication unit 113 via the communication line 150 to the product selection image providing unit 131 as purchase desired product information.
  • the product selection image providing unit 131 Upon receiving such information, the product selection image providing unit 131 stores the product ID of the purchase desired product corresponding to the selected position in the purchase desired product storage unit 132.
  • the product ID may be any information that can uniquely specify the product handled by the store server 130, and the data format of the information does not specify a specific product.
  • the product shape information providing unit 133 uses the product ID of the purchase desired product stored in the purchase desired product storage unit 132 from the product shape information stored in the product shape information storage unit 133 a, The shape information of the desired product for purchase is searched (S15). Then, the product shape information providing unit 133 transmits the shape information of the purchase desired product from the communication unit 135 to the simulation image generating unit 142 via the communication line 150.
  • the product preferred storage room information providing unit 134 obtains the product ID of the purchase desired product stored in the purchase desired product storage unit 132 from the product preferred storage room information stored in the product preferred storage room information storage unit 134a.
  • the storage room information of the desired product for purchase is searched (S16). Then, the preferred product storage room information providing unit 134 transmits the storage room information of the desired product to be purchased to the simulation image generating unit 142 via the communication unit 135 via the communication line 150.
  • the simulation image generation unit 142 generates a simulation image (S17). For example, the simulation image generation unit 142 determines a storage room in which the desired product for purchase is to be stored based on the storage room information transmitted from the preferred product storage room information providing unit 134. And the simulation image generation part 142 is a ratio between the dimension of the storage room determined based on the dimension information received from the refrigerator structure information provision part 141, and the dimension of the storage room determined in the captured image. Calculate the dimension ratio.
  • FIG. 5 is a schematic diagram illustrating an example of a captured image in the storage room.
  • the captured image IM2 includes the storage room 160 of the refrigerator 110, and the storage room 160 already stores the stored items 161 and 162.
  • the simulation image generating unit 142 is a distance between the point P1 and the point P2.
  • the dimensional ratio is calculated from the distance between the points P1 and P2 included in the captured image. That is, the simulation image generation unit 142 calculates a dimensional ratio between the actual size of the storage room and the size of the storage room in the captured image.
  • the simulation image generation unit 142 is a perspective view that is a three-dimensional outline image of the desired purchase product of the outer shape and dimensions indicated by the shape information transmitted from the product shape information providing unit 133 in accordance with the calculated size ratio. Create an image. For example, the simulation image generation unit 142 corrects the actual size of the desired purchase product indicated by the shape information to the size in the captured image at the above-described size ratio, and the corrected size of the shape indicated by the shape information. Create a perspective image.
  • FIGS. 6A to 6D are schematic views showing examples of perspective images of products desired to be purchased.
  • FIG. 6A is a perspective image when the product desired to be purchased is stored vertically with the left side of the storage room being the storage position.
  • FIG. 6B is a perspective image when the product desired to be purchased is stored horizontally with the left side facing the storage room being the storage position.
  • FIG. 6C is a perspective image when the purchase desired product is stored horizontally with the right side of the storage room being the storage position.
  • FIG. 6D is a perspective image when the purchase desired product is stored vertically with the right side of the storage room being the storage position.
  • the simulation image generation unit 142 may create one predetermined perspective image among the perspective images shown in FIGS. 6 (A) to (D).
  • the simulation image generation unit 142 synthesizes the perspective image of the purchase desired product created as described above with the captured image of the storage room transmitted from the imaging unit 111, thereby storing the storage state in the storage room. (S17) is generated.
  • the simulation image generation unit 142 has an initial setting in which the right side or the left side of the image where the purchase desired product is to be installed and the installation posture of the purchase function product are determined. Is synthesized.
  • FIG. 7 is a schematic diagram illustrating an example of a simulation image.
  • the simulation image IM3 shown in FIG. 7 is created by synthesizing the perspective image shown in FIG. 6B with the captured image IM2 shown in FIG.
  • the operation button B3 shown in the simulation image IM3 is a vertical setting that selects the vertical storage position of the purchase desired product PRD when the storage position is vertical or horizontal. Select button.
  • the operation button B4 is a horizontal selection button for selecting that the storage posture is horizontal.
  • the perspective image of the purchase desired product PRD drawn at the bottom is depicted horizontally.
  • a shelf that is one of the structures in the storage room of the refrigerator 110 is a moving shelf
  • the simulation image generating unit 142 Displays the movable range of the movable shelf in the simulation image. For example, if the moving shelf SS can move from the position SP1 to the position SP2 as in the simulation image IM4 as shown in FIG. 8, in order to show such a movable range, the position SP1 to the position SP2 Or an arrow from position SP1 to position SP2.
  • the generated simulation image is transmitted from the communication unit 135 to the operation terminal 120 via the communication line 150 and displayed on the display unit 121 (S18).
  • step S20 the storage posture selection unit 124 notifies the simulation image generation unit 142 of the selected storage posture via the communication line 150 from the communication unit 135.
  • the simulation image generation unit 142 updates the simulation image according to the notified storage posture, and transmits the updated simulation image to the operation terminal 120 from the communication unit 135 via the communication line 150. Then, the process returns to step S18.
  • FIG. 7 is a simulation image IM3 when the purchase desired product PRD is stored horizontally on the left side of the storage room as described above.
  • the simulation image generation unit 142 when an execution instruction specifying the operation button B3 is input in the simulation image IM3, the simulation image generation unit 142 generates a simulation image IM5 as shown in FIG.
  • the simulation image IM5 is an image when the desired product PRD is to be stored vertically on the left side of the storage room.
  • step S22 when the user changes the storage side of the purchase desired product via the input unit 122 in the simulation image displayed on the display unit 121 (Yes in S21), the process proceeds to step S22. Proceed to In step S ⁇ b> 22, the storage side changing unit 125 notifies the simulation image generating unit 142 of the changed side from the communication unit 135 via the communication line 150. The simulation image generation unit 142 updates the simulation image according to the notified side, and transmits the updated simulation image to the operation terminal 120 from the communication unit 135 via the communication line 150. Then, the process returns to step S18.
  • FIG. 7 is a simulation image IM3 in the case where the purchase desired product PRD is stored horizontally on the left side of the storage room as described above.
  • the simulation image generation unit 142 when the storage side is changed to the right side toward the storage room as in the case where an operation for shifting the purchase desired product PRD to the right is input to the input unit 122, the simulation image generation unit 142 generates a perspective image of the purchase desired product PRD when the product is to be stored horizontally on the right side of the storage room as in the simulation image IM6 shown in FIG. 10, and captures the image. Composite to the image.
  • the simulation image generation unit 142 when the storage side is changed to the right side of the storage room, the simulation image generation unit 142, like the simulation image IM7 shown in FIG. Then, on the right side of the storage room, a perspective image of the purchase desired product PRD when the product is to be stored vertically is generated, and the image is combined with the captured image.
  • step S ⁇ b> 24 when the user designates the storage position of the purchase desired product via the input unit 122 in the simulation image displayed on the display unit 121 (Yes in S ⁇ b> 23), the process proceeds to step S ⁇ b> 24. Proceed to In step S ⁇ b> 24, the storage position designation unit 126 notifies the simulation image generation unit 142 of the designated storage position from the communication unit 135 via the communication line 150. The simulation image generation unit 142 updates the simulation image according to the notified storage position, and transmits the updated simulation image to the operation terminal 120 from the communication unit 135 via the communication line 150. Then, the process returns to step S18.
  • the storage availability determination unit 143 determines whether or not the purchase desired product can be stored in the storage position in the designated storage room.
  • the storage possibility determination unit 143 estimates the range of stored items already stored in the refrigerator 110 from the captured image sent from the refrigerator 110. For example, the storage possibility determination unit 143 can perform such estimation by storing the captured image of the storage room before the object is stored in the refrigerator 110 in the determination information storage unit 143a. Further, for example, the storage availability determination unit 143 can perform such estimation by installing a pressure sensor on the shelf of the refrigerator 110 and receiving the detected value.
  • the storage availability determination unit 143 calculates the range of the purchase desired product when stored in the storage position specified by the storage position specifying unit 126 from the shape information provided from the product shape information providing unit 133.
  • the storage possibility determination unit 143 determines the range of the structure indicated by the structure information of the storage room of the refrigerator 110 provided from the refrigerator structure information providing unit 141, the estimated range of the stored item, and the calculated purchase desired product. It is determined whether or not these ranges overlap each other. Then, if they do not overlap, the storage availability determination unit 143 determines that the storage of the purchase desired product is possible without being hindered. In the case of overlapping, the storage of the desired product for purchase is hindered, and it is determined that it cannot be stored.
  • the storage availability determination unit 143 gives the determination result of storage availability determination to the simulation image generation unit 142.
  • the storage availability determination unit 143 also provides the simulation image generation unit 142 with disturbance range information indicating the range of the portion corresponding to the purchase desired product in the overlapping range.
  • the simulation image generation unit 142 updates the simulation image by synthesizing a perspective image of the desired product for purchase with the selected storage position at the specified storage position.
  • the simulation image generation unit 142 synthesizes a perspective image of the desired product for purchase with the selected storage position at the specified storage position, and an image indicating the interference range. As a result, the simulation image is updated.
  • the simulation image generation unit 142 when storing the purchase desired product in the storage position from the range indicated by the interference range information, specifies a portion that prevents the storage by contacting the storage object and the structure, An image having that portion as the interference range is generated and synthesized with the captured image.
  • FIG. 12 is a schematic diagram illustrating a simulation image when the determination result cannot be stored.
  • the desired purchase product PRD is stored in the specified storage position in the selected vertical position.
  • the range that overlaps the moving shelf SS at the position SP2 in the shape range of the purchase desired product PRD is shown as the interference range ITA.
  • the simulation image generation unit 142 can indicate such an interference range ITA by synthesizing an image indicating such an interference range ITA.
  • the simulation image generation unit 142 causes the display unit 121 to display the generated simulation image IM8.
  • the user who has confirmed the simulation image IM8 as shown in FIG. 12 on the display unit 121 can easily recognize that the user can not store the product in the refrigerator 110 even if he purchases the purchase desired product PRD.
  • the storage availability determination unit 143 determines the status of the storage room of the refrigerator 110 when the shelf that prevents the storage of the purchase desired product is a movable movable shelf or a removable removable shelf in the determination of storage availability. Can be determined by changing the state of the storage chamber.
  • the storage availability determination unit 143 assumes that the moving shelf SS has moved to the position SP1 based on the movable range information of the moving shelf included in the structure information provided from the refrigerator structure information providing unit 141. Then, the storage possibility determination is performed.
  • the storage availability determination unit 143 indicates the storage availability determination result and the conditions for enabling storage, and the simulation image generation unit 142. To give.
  • the condition for enabling storage is to move the movable shelf SS to the position SP1.
  • FIG. 13 is a schematic diagram illustrating an example of a simulation image when conditions for enabling storage are indicated.
  • the disturbing range is not shown in the simulation image IM9.
  • a message field MEA1 indicating conditions for enabling storage is displayed in the simulation image IM9.
  • the message field MEA1 shown in FIG. 13 notifies the user that it is a simulation image when it is assumed that the moving shelf SS has been moved to the position SP1.
  • the simulation image generation unit 142 displays the simulation image IM9 on the display unit 121. Note that the simulation image generation unit 142 processes the captured image so as to move the movable shelf SS to the position SP1, and generates the simulation image IM9 shown in FIG. 13, but performs such processing. It does not have to be.
  • the user who has confirmed the simulation image IM9 as shown in FIG. 13 on the display unit 121 moves the movable shelf SS to the position SP1, the user can store the desired product PRD in the refrigerator 110 even if he / she purchases it. Can be easily recognized.
  • the storage availability determination unit 143 performs storage availability determination when it is assumed that the detachable shelf has been removed based on the detachment information of the detachable shelf included in the structure information provided from the refrigerator structure information providing unit 141. .
  • the storage availability determination unit 143 indicates the storage availability determination result and the conditions for enabling storage, and the simulation image generation unit 142.
  • the condition for enabling storage is to remove the detachable shelf.
  • FIG. 14 is a schematic diagram illustrating an example of a simulation image when conditions for enabling storage are indicated.
  • the disturbing range is not shown in the simulation image IM10.
  • a message field MEA2 indicating conditions for enabling storage is displayed in the simulation image IM10.
  • the message field MEA2 shown in FIG. 14 notifies the user that it is a simulation image when it is assumed that the detachable shelf has been removed.
  • the simulation image generation unit 142 displays the simulation image IM10 on the display unit 121.
  • the user confirming the simulation image IM10 as shown in FIG. 14 on the display unit 121 can easily recognize that the user can store the product in the refrigerator 110 even if he / she purchases the desired product PRD by removing the detachable shelf. .
  • the simulation image generation unit 142 processes the captured image so as to delete the detachable shelf and generates the simulation image IM10 shown in FIG. 14, but such processing may not be performed. .
  • the user can store It is possible to accurately know whether or not the planned item can be stored in the storage chamber of the refrigerator 110. For this reason, a situation occurs in which a storage item is purchased but cannot be stored in the refrigerator 110, or a purchase opportunity is missed because the storage item cannot be stored in the refrigerator 110. Can be prevented.
  • the structure information of the storage room of the refrigerator 110 can be retrieved and obtained from the model number information of the refrigerator 110, so that the structure information of the storage room of the refrigerator 110 can be obtained from the system. It is possible to save the user's input and to use accurate structural information in the storage room.
  • the shape information of the storage object can be retrieved and obtained from the item ID of the storage object, so that the user of the system can acquire the shape information of the storage object. It is possible to save input and to use accurate shape information of a storage object.
  • the storage room information suitable for the storage object can be retrieved and obtained from the item ID of the storage object, so that the storage room information suitable for the storage object can be obtained. Therefore, it is possible to save the trouble of inputting by the user of the system. In addition, it is possible to prevent the risk of making a mistake in determining whether or not a planned storage item can be stored by comparing a captured image in a storage room other than the storage room suitable for the planned storage item and a perspective image of the planned storage item. .
  • the captured image in the storage room can be compared with the perspective images of a plurality of storage postures set in advance in the storage object, so that it can be stored in a plurality of storage postures. Can be determined. This makes it possible to try to store in some storage postures, but to store in other storage postures, and to prevent the risk of determining that storage is possible, although it can actually be stored.
  • the position of the stored item already stored in the refrigerator 110 is estimated from the captured image in the storage chamber, and the already stored item and the planned stored item do not collide with each other.
  • the user of the system determines whether or not storage is possible by simply comparing the captured image in the storage room other than the storage room suitable for the storage object and the perspective image of the storage object. Therefore, it is possible to determine whether or not the storage is possible more easily and accurately.
  • the use of the system is used to determine whether the structure and the planned storage object do not collide and can be stored based on the position and shape information of the structure in the storage room. It is easier and more accurate for the user to determine whether or not storage is possible by simply comparing the captured image in a storage room other than the storage room suitable for the storage object and the perspective image of the storage object. Judgment can be made.
  • the structure when the structure is installed at a position that can be taken and the planned storage object do not collide
  • the user of the system can determine whether or not storage is possible by simply comparing a captured image in a storage room other than the storage room suitable for the storage object and a perspective image of the storage object. Therefore, it is possible to easily and accurately determine whether or not storage is possible.
  • the refrigerator 110 may include the function of the cloud server 140.
  • the refrigerator 110 may include the function of the operation terminal 120.
  • FIG. 15 is a block diagram schematically showing the configuration of the refrigerator 210 and the storage situation simulation system 200 including the refrigerator 210 in the first modification.
  • the refrigerator 210 incorporates the function of the cloud server 140.
  • the refrigerator 210 includes an imaging unit 111, a refrigerator model number information providing unit 112, a communication unit 113, a refrigerator structure information providing unit 141 having a refrigerator structure information storage unit 141a, and a storage availability determination unit 143.
  • the imaging unit 111 captures an image inside the refrigerator 210 as a captured image.
  • the refrigerator model number information providing unit 112 gives the model number information stored in the model number information storage unit 112 a to the refrigerator structure information providing unit 141.
  • the communication unit 113 is connected to the communication line 150 and receives shape information of an object to be stored in the warehouse.
  • the refrigerator structure information storage unit 141a stores refrigerator structure information including dimension information indicating the dimensions of a predetermined portion in the refrigerator.
  • the storage possibility determination unit 143 compares the size of a predetermined portion in the captured image with the size indicated by the size information, thereby calculating the size in the captured image of the storage object to be stored in the storage, It is determined whether or not a storage object can be stored. The determination as to whether or not the storage object can be stored is as described above. Note that the refrigerator structure information storage unit 141 a may not be provided in the refrigerator 210, and the communication unit 113 receives dimensional information indicating the dimensions of a predetermined portion in the refrigerator 210 via the communication line 150. May be.
  • the refrigerator 210 may include a simulation image generation unit 142.
  • the simulation image generation unit 142 generates a first product image (outer shape image) of an object to be stored based on the dimensions in the captured image calculated by the storage availability determination unit 143, and combines the product image with the captured image. To generate a simulation image (first simulation image).
  • the communication unit 113 transmits the simulation image to the operation terminal 120 via the communication line 150.
  • the operation terminal 120 includes a display unit 121.
  • the received simulation image is displayed on the display unit 121.
  • the simulation image generation unit 142 may not be provided in the refrigerator 210 but may be provided in the operation terminal 120.
  • the communication unit 113 transmits the dimensions in the captured image calculated by the storage availability determination unit 143 to the operation terminal 120 via the communication line 150.
  • FIG. 16 is a block diagram schematically showing the configuration of the refrigerator 310 and the storage situation simulation system 300 including the refrigerator 310 in the second modified example.
  • the refrigerator 310 incorporates the function of the operation terminal 120.
  • the storage availability determination unit 143 provided in the cloud server 140 determines whether or not the storage-scheduled item can be stored.
  • the simulation image generation unit 142 generates a first product image (outer shape image) of an object to be stored based on the dimensions in the captured image calculated by the storage availability determination unit 143, and combines the product image with the captured image. By doing so, a simulation image (first simulation image) is generated.
  • the communication unit 113 receives the simulation image via the communication line 150.
  • the display unit 121 displays the received simulation image.
  • the refrigerator 110 may include the functions of the cloud server 140 and the operation terminal 120.
  • FIG. 17 is a block diagram schematically showing a configuration of a refrigerator 410 and a storage situation simulation system 400 including the refrigerator 410 in the third modification.
  • the communication unit 113 communicates with the store server 130 via the communication line 150 and receives article information and the like of the store where the user purchases the product.
  • 100, 200, 300, 400 storage situation simulation system 110, 210, 310, 410 refrigerator, 111 imaging unit, 112 refrigerator model number information providing unit, 113 communication unit, 120 operation terminal, 121 display unit, 122 input unit, 123 purchase Desired product designation unit, 124 storage orientation selection unit, 125 storage side change unit, 126 storage position specification unit, 127 communication unit, 130 store server, 131 product selection image providing unit, 132 purchase desired product storage unit, 133 product shape information provision Part, 134 Goods suitable storage room information provision part, 135 communication part, 140 cloud server, 141 refrigerator structure information provision part, 143 storage availability determination part, 142 simulation image generation part, 144 communication part 10 memory, 11 processor, 12 processing circuit.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Combustion & Propulsion (AREA)
  • Mechanical Engineering (AREA)
  • Thermal Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Cold Air Circulating Systems And Constructional Details In Refrigerators (AREA)
  • Devices That Are Associated With Refrigeration Equipment (AREA)
  • Processing Or Creating Images (AREA)

Abstract

冷蔵庫（１１０）内の画像を撮像画像として撮像する撮像部（１１１）と、冷蔵庫（１１０）内の予め定められた部分の寸法を示す寸法情報を含む冷蔵庫構造情報を記憶する冷蔵庫構造情報記憶部（１４１ａ）と、撮像画像内における予め定められた部分の寸法と、寸法情報で示される寸法とを比較することで、収納予定物の撮像画像内における寸法を算出し、収納予定物を収納することができるか否かを判定する収納可否判定部（１４３）とを備える。

Description

シミュレーションシステム、シミュレーション方法及び冷蔵庫
　本発明は、シミュレーションシステム、シミュレーション方法及び冷蔵庫に関し、特に、冷蔵庫に収納予定物を収納することができるか否かを判断するためのシミュレーションシステム、シミュレーション方法、及び、このシミュレーションシステムにより収納予定物を収納することができるか否かを判断する対象となる冷蔵庫に関する。
　従来より、冷蔵庫内の収納状況を確認するために、庫内を撮像するカメラを冷蔵庫内に設置する技術が提案されている。
　例えば、特許文献１及び特許文献２では、冷蔵庫内にカメラを設置し、このカメラで撮像された庫内の収納状況を携帯電話等の表示端末により確認できるシステムが提案されている。
　また、特許文献３では、収納されていない状況の庫内映像と、収納物が収納されている使用中の庫内映像とを比較して、収納状況を把握し、空きスペースを演算するシステムが提案されている。
特開２００２－２３６７９８号公報 特開２００２－８１８１８号公報 特開２０１４－２０９０４８号公報
　特許文献１又は特許文献２に記載されているような従来のシステムは、収納室内を撮像して収納状況を表示端末等で確認することができるようにしているが、新たに収納したい収納予定物が収納できるかどうかを、容易に判断することは困難であった。
　さらに、特許文献３に記載されているシステムのように、空きスペースが明示的に表示されたとしても、空きスペースの寸法と収納予定物の寸法とを比較することができないため、収納できるかどうかを容易に判断することは困難であった。
　そのため、空きスペース以上の収納予定物（食材等）を購入してしまい、冷蔵庫からあふれて収納できないという事態を引き起こしたり、収納予定物が冷蔵庫に収納しきれないことをおそれて、購入したいものを購入できなかったり、という事態が引き起こされていた。
　そこで、本発明は、収納予定物を収納することができるか否かを容易に判定することができるようにすることを目的とする。
　本発明の一態様に係るシミュレーションシステムは、冷蔵庫内に収納予定物を収納することができるか否かを判断するためのシミュレーションシステムであって、前記冷蔵庫内の画像を撮像画像として撮像する撮像部と、前記冷蔵庫内の予め定められた部分の寸法を示す寸法情報を含む冷蔵庫構造情報を記憶する冷蔵庫構造情報記憶部と、前記撮像画像内における前記予め定められた部分の寸法と、前記寸法情報で示される前記予め定められた部分の寸法とを比較することで、前記収納予定物の前記撮像画像内における寸法を算出し、前記収納予定物を収納することができるか否かを判定する収納可否判定部と、を備えることを特徴とする。
　本発明の一態様に係るシミュレーション方法は、冷蔵庫内に収納予定物を収納することができるか否かを判断するためのシミュレーション方法であって、前記冷蔵庫内の画像を撮像画像として撮像し、前記冷蔵庫内の予め定められた部分の寸法と、前記撮像画像内における前記予め定められた部分の寸法とを比較することで、前記収納予定物の前記撮像画像内における寸法を算出し、前記算出された寸法で前記収納予定物の第１の外形画像を生成し、当該第１の外形画像を前記撮像画像に合成することで第１のシミュレーション画像を生成し、前記収納予定物を収納することができるか否かを判定することを特徴とする。
　本発明の第１の態様に係る冷蔵庫は、庫内の画像を撮像画像として撮像する撮像部と、外部ネットワークと接続され、前記庫内に収納する収納予定物の形状を示す形状情報を受信する通信部と、前記庫内の予め定められた部分の寸法を示す寸法情報を含む冷蔵庫構造情報を記憶する冷蔵庫構造情報記憶部と、前記撮像画像内における前記予め定められた部分の寸法と、前記寸法情報で示される前記予め定められた部分の寸法とを比較することで、前記形状情報に基づいて、前記収納予定物の前記撮像画像内における寸法を算出し、前記収納予定物を収納することができるか否かを判定する収納可否判定部と、を備えることを特徴とする。
　本発明の第２の態様に係る冷蔵庫は、庫内の画像を撮像画像として撮像する撮像部と、外部ネットワークと接続され、前記庫内に収納する収納予定物の形状を示す形状情報と前記庫内の予め定められた部分の寸法を示す寸法情報を含む冷蔵庫構造情報とを受信する通信部と、前記撮像画像内における前記予め定められた部分の寸法と、前記寸法情報で示される前記予め定められた部分の寸法とを比較することで、前記形状情報に基づいて、前記収納予定物の前記撮像画像内における寸法を算出し、前記収納予定物を収納することができるか否かを判定する収納可否判定部と、を備えることを特徴とする。
　本発明の一態様によれば、収納予定物を収納することができるか否かを容易に判定することができる。
収納状況シミュレーションシステムの構成を概略的に示すブロック図である。 （Ａ）及び（Ｂ）は、ハードウェア構成の一例を示すブロック図である。 収納状況シミュレーションシステムでの処理を示すフローチャートである。 商品選択画像の一例を示す概略図である。 収納室の撮像画像の一例を示す概略図である。 （Ａ）～（Ｄ）は、購入希望商品の斜視画像の一例を示す概略図である。 シミュレーション画像の第１の例を示す概略図である。 シミュレーション画像の第２の例を示す概略図である。 シミュレーション画像の第３の例を示す概略図である。 シミュレーション画像の第４の例を示す概略図である。 シミュレーション画像の第５の例を示す概略図である。 シミュレーション画像の第６の例を示す概略図である。 シミュレーション画像の第７の例を示す概略図である。 シミュレーション画像の第８の例を示す概略図である。 第１の変形例における収納状況シミュレーションシステムの構成を概略的に示すブロック図である。 第２の変形例における収納状況シミュレーションシステムの構成を概略的に示す別のブロック図である。 第３の変形例における収納状況シミュレーションシステムの構成を概略的に示す別のブロック図である。
　図１は、実施の形態に係る収納状況シミュレーションシステム１００の構成を概略的に示すブロック図である。
　収納状況シミュレーションシステム１００は、収納予定物を冷蔵庫に収納することができるか否かを判断するためのシミュレーションシステムである。なお、収納状況シミュレーションシステム１００で行われる方法が、シミュレーション方法である。
　収納状況シミュレーションシステム１００は、冷蔵庫１１０と、操作端末１２０と、商店サーバ１３０と、クラウドサーバ１４０とを備える。
　冷蔵庫１１０は、物を収納して、収納された物を冷やす。ここでは、使用者は、収納予定物である購入希望商品を冷蔵庫１１０に収納しようとしているものとする。
　操作端末１２０は、使用者が操作する端末である。
　商店サーバ１３０は、使用者が商品を購入する商店の物品情報サーバである。
　クラウドサーバ１４０は、収納状況シミュレーションのサービスを提供するシミュレーションサーバである。
　冷蔵庫１１０、操作端末１２０、商店サーバ１３０及びクラウドサーバ１４０は、インターネット等の通信回線１５０に接続されており、通信を行うことができる。通信回線１５０は、外部ネットワークである。
　収納状況シミュレーションシステム１００は、冷蔵庫１１０、操作端末１２０、商店サーバ１３０及びクラウドサーバ１４０を含んでいるが、収納状況シミュレーションシステム１００の構成は、このような例に限定されるものではない。例えば、冷蔵庫１１０が、クラウドサーバ１４０の機能を含んでいてもよい。また、商店サーバ１３０が、クラウドサーバ１４０の機能を含んでいてもよい。さらに、冷蔵庫１１０が、操作端末１２０の機能を含んでいてもよい。
　冷蔵庫１１０は、撮像部１１１と、冷蔵庫型番情報提供部１１２と、通信部１１３とを備える。
　撮像部１１１は、冷蔵庫１１０の収納室内の画像を撮像画像として撮像する。例えば、撮像部１１１は、カメラにより構成することができる。そして、撮像部１１１は、撮像された画像である撮像画像を、通信部１１３を介して、クラウドサーバ１４０に提供する。
　冷蔵庫型番情報提供部１１２は、冷蔵庫１１０を識別するための冷蔵庫識別情報である型番情報を、通信部１１３を介して、クラウドサーバ１４０に提供する。型番情報は、冷蔵庫１１０の型番を示す情報であり、冷蔵庫１１０の形状を特定するために使用される。従って、冷蔵庫識別情報は、冷蔵庫１１０の形状が一意に特定できる情報であれば、型番情報以外の情報であってもよい。なお、冷蔵庫型番情報提供部１１２は、型番情報を記憶する型番情報記憶部１１２ａを備えるものとする。型番情報記憶部１１２ａは、例えば、不揮発性メモリにより構成することができる。
　通信部１１３は、通信回線１５０を介して、通信を行う。例えば、通信部１１３は、ＮＩＣ（Ｎｅｔｏｗｏｒｋ　Ｉｎｔｅｒｆａｃｅ　Ｃａｒｄ）により構成することができる。
　以上に記載された冷蔵庫型番情報提供部１１２の一部又は全部は、例えば、図２（Ａ）に示されているように、メモリ１０と、メモリ１０に格納されているプログラムを実行するＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）等のプロセッサ１１とにより構成することができる。このようなプログラムは、ネットワークを通じて提供されてもよく、また、記録媒体に記録されて提供されてもよい。
　また、冷蔵庫型番情報提供部１１２の一部又は全部は、例えば、図２（Ｂ）に示されているように、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔｓ）又はＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）等の処理回路１２で構成することもできる。
　図１に戻り、操作端末１２０は、表示部１２１と、入力部１２２と、購入希望商品指定部１２３と、収納姿勢選択部１２４と、収納サイド変更部１２５と、収納位置指定部１２６と、通信部１２７とを備える。
　表示部１２１は、収納状況シミュレーションシステム１００に関する様々な画像を表示する。
　入力部１２２は、使用者からの指示の入力を受け付ける。
　表示部１２１及び入力部１２２は、例えば、タッチパネルにより構成することができる。
　購入希望商品指定部１２３は、表示部１２１に表示された商品選択画像に基づいて、入力部１２２を介して使用者が購入を希望する商品の指定を受ける。ここで指定された商品が、冷蔵庫１１０に収納する収納予定物となるため、購入希望商品指定部１２３は、商品選択画像を介して、選択された商品を収納予定物とする収納予定物指定部として機能する。購入希望商品指定部１２３は、指定された購入希望商品を、通信部１２７を介して、商店サーバに通知する。
　収納姿勢選択部１２４は、表示部１２１に表示されたシミュレーション画像に基づいて、入力部１２２を介して、使用者が購入希望商品を冷蔵庫１１０内に収納する予定の姿勢を選択する。収納姿勢選択部１２４は、選択された収納姿勢を、通信部１２７を介して、クラウドサーバ１４０に通知する。
　収納サイド変更部１２５は、表示部１２１に表示されたシミュレーション画像に基づいて、入力部１２２を介して、使用者が購入希望商品を冷蔵庫１１０内に収納する予定のサイドを変更する。例えば、使用者は、購入希望商品を冷蔵庫１１０の向かって右サイドに収納するのか、向かって左サイドに収納するのかを変更することができる。収納サイド変更部１２５は、変更されたサイドを、通信部１２７を介して、クラウドサーバ１４０に通知する。
　収納位置指定部１２６は、表示部１２１に表示されたシミュレーション画像に基づいて、入力部１２２を介して、使用者が購入希望商品を冷蔵庫１１０内に収納する予定の位置の指定を受ける。収納位置指定部１２６は、指定された収納位置を、通信部１２７を介して、クラウドサーバ１４０に通知する。
　通信部１２７は、通信回線１５０を介して、通信を行う。例えば、通信部１２７は、ＮＩＣにより構成することができる。
　以上に記載された購入希望商品指定部１２３、収納姿勢選択部１２４、収納サイド変更部１２５及び収納位置指定部１２６の一部又は全部は、例えば、図２（Ａ）に示されているように、メモリ１０と、メモリ１０に格納されているプログラムを実行するＣＰＵ等のプロセッサ１１とにより構成することができる。このようなプログラムは、ネットワークを通じて提供されてもよく、また、記録媒体に記録されて提供されてもよい。
　また、購入希望商品指定部１２３、収納姿勢選択部１２４、収納サイド変更部１２５及び収納位置指定部１２６の一部又は全部は、例えば、図２（Ｂ）に示されているように、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ又はＦＰＧＡ等の処理回路１２で構成することもできる。
　図１に戻り、商店サーバ１３０は、商品選択画像提供部１３１と、購入希望商品記憶部１３２と、商品形状情報提供部１３３と、商品好適収納室情報提供部１３４と、通信部１３５とを備える。
　商品選択画像提供部１３１は、複数の商品から所望する商品を選択するための商品選択画像を表示部１２１に表示させる。例えば、商品選択画像提供部１３１は、通信部１３５を介して、商店サーバ１３０で取り扱っている商品の中から商品を選択するための商品選択画像を操作端末１２０に提供する。例えば、商品選択画像提供部１３１は、商店サーバ１３０で取り扱っている商品に関する商品情報と、商品選択画像を生成するための画像情報とを記憶する商品画像情報記憶部１３１ａを備えている。
　購入希望商品記憶部１３２は、操作端末１２０の購入希望商品指定部１２３によって指定された購入希望商品を識別するための購入希望商品識別情報である物品ＩＤを記憶する。
　商品形状情報提供部１３３は、通信部１３５を介して、操作端末１２０の購入希望商品指定部１２３によって指定された購入希望商品の形状を示す形状情報をクラウドサーバ１４０に提供する。例えば、商品形状情報提供部１３３は、商店サーバ１３０で取り扱っている商品の形状を示す商品形状情報を記憶する商品形状情報記憶部１３３ａを備えている。そして、商品形状情報提供部１３３は、商品形状情報の中から、購入希望商品に関する情報を抽出し、抽出された情報を形状情報とする。ここで、商品形状情報は、商品の外形及び寸法、並びに、商品に複数の収納姿勢が設定されている場合には、それぞれの収納姿勢における商品の外形及び寸法を示す。収納姿勢は、具体的には、縦置き及び横置き等の姿勢である。商品によっては、収納姿勢によって、液体がこぼれたり、破損したりすることがあるため、収納姿勢が１種類のものもあれば、複数種類のものもある。
　商品好適収納室情報提供部１３４は、通信部１３５を介して、操作端末１２０の購入希望商品指定部１２３によって指定された購入希望商品に好適な収納室情報をクラウドサーバ１４０に提供する。例えば、商品好適収納室情報提供部１３４は、商店サーバ１３０で取り扱っている商品を収納すべき、冷蔵庫１１０の収納室を示す商品好適収納室情報を記憶する商品好適収納室情報記憶部１３４ａを備えている。そして、商品好適収納室情報提供部１３４は、商品好適収納室情報の中から、購入希望商品に関する情報を抽出し、抽出された情報を収納室情報とする。
　通信部１３５は、通信回線１５０を介して、通信を行う。例えば、通信部１３５は、ＮＩＣにより構成することができる。
　以上に記載された商品選択画像提供部１３１、商品形状情報提供部１３３及び商品好適収納室情報提供部１３４の一部又は全部は、例えば、図２（Ａ）に示されているように、メモリ１０と、メモリ１０に格納されているプログラムを実行するＣＰＵ等のプロセッサ１１とにより構成することができる。このようなプログラムは、ネットワークを通じて提供されてもよく、また、記録媒体に記録されて提供されてもよい。
　また、商品選択画像提供部１３１、商品形状情報提供部１３３及び商品好適収納室情報提供部１３４の一部又は全部は、例えば、図２（Ｂ）に示されているように、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ又はＦＰＧＡ等の処理回路１２で構成することもできる。
　なお、商品画像情報記憶部１３１ａ、購入希望商品記憶部１３２、商品形状情報記憶部１３３ａ及び商品好適収納室情報記憶部１３４ａは、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）等の記憶装置又は不揮発性メモリにより構成することができる。
　クラウドサーバ１４０は、冷蔵庫構造情報提供部１４１と、収納可否判定部１４３と、シミュレーション画像生成部１４２と、通信部１４４とを備える。
　冷蔵庫構造情報提供部１４１は、冷蔵庫１１０の冷蔵庫型番情報提供部１１２から提供された型番情報に基づいて、冷蔵庫１１０の内部構造を示す情報を、収納可否判定部１４３及びシミュレーション画像生成部１４２に提供する。例えば、冷蔵庫構造情報提供部１４１は、様々な冷蔵庫１１０の内部構造を示す冷蔵庫構造情報を記憶する冷蔵庫構造情報記憶部１４１ａを備えている。そして、冷蔵庫構造情報提供部１４１は、冷蔵庫構造情報から、通知された型番情報に対応する情報を抽出し、抽出された情報を通知する。
　冷蔵庫構造情報は、収納室の形状、寸法及び位置、並びに、収容室を構成している構造物の形状、寸法及び位置を示す構造情報を含む。より具体的には、構造情報は、冷蔵庫の収納室内の内寸、並びに、収納室に設けられている棚等の構造物の形状、寸法及び位置を示す。
　また、冷蔵庫構造情報は、冷蔵庫の予め定められた部分の寸法を示す寸法情報を含む。予め定められた部分とは、収納室又は収納室を構成している構造物の何れかの部分である。後述する収納予定物の撮像画像内における寸法と比較するために、その部分を予め特定しておく。
　さらに、収納室を構成している複数の構造物の中に、位置を移動させることのできる移動構造物が含まれている場合には、冷蔵庫構造情報は、移動構造物の形状、寸法及び移動可能範囲を示す移動可能範囲情報をさらに含む。ここで、移動可能範囲は、移動構造物の位置を移動させることのできる範囲である。
　また、収納室を構成している複数の構造物の中に、取り外すことのできる着脱構造物が含まれている場合には、冷蔵庫構造情報は、着脱構造物の形状、寸法及び位置を示す着脱情報をさらに含む。
　シミュレーション画像生成部１４２は、冷蔵庫１１０から送られてきた撮像画像の内、商店サーバ１３０から送られてきた収納室情報で示される収納室の撮像画像に、商店サーバ１３０から送られてきた形状情報で示される外形及び寸法の商品の商品画像（外形画像）を合成したシミュレーション画像を生成する。
　例えば、シミュレーション画像生成部１４２は、使用者が選択した購入希望商品を収納予定物とする。そして、シミュレーション画像生成部１４２は、撮像画像内における予め定められた部分の寸法と、冷蔵庫構造情報に含まれている寸法情報で示される寸法とを比較することで、収納予定物の撮像画像内における寸法を算出し、算出された寸法で、収納予定物の外形画像である斜視画像（第１の外形画像）を生成する。シミュレーション画像生成部１４２は、撮像画像の予め定められた位置に斜視画像を合成することで、シミュレーション画像（第１のシミュレーション画像）を生成する。
　また、シミュレーション画像生成部１４２は、冷蔵庫１１０を構成している構造物の中に、位置を移動させることのできる移動構造物が含まれている場合には、シミュレーション画像に、その移動構造物の移動可能範囲を示す。
　そして、シミュレーション画像生成部１４２は、生成されたシミュレーション画像を、通信部１４４を介して、操作端末１２０に与える。このようなシミュレーション画像を受け取った操作端末は、表示部１２１にその画像を表示する。
　表示部１２１に表示されたシミュレーション画像を介して、収納予定物を収納する収納姿勢の選択指示を収納姿勢選択部１２４が受けた場合には、シミュレーション画像生成部１４２は、上述のようにして算出された寸法で、選択された収納姿勢における収納予定物の斜視画像（第２の外形画像）を生成し、生成された斜視画像を撮像画像に合成することでシミュレーション画像（第２のシミュレーション画像）を生成（更新）する。このようにして生成されたシミュレーション画像は、表示部１２１に送られ、表示される。
　また、表示部１２１に表示されたシミュレーション画像を介して、収納予定物を冷蔵庫１１０に収納するサイドの変更指示を収納サイド変更部１２５が受けた場合には、シミュレーション画像生成部１４２は、上述のようにして算出された寸法で、変更されたサイドに収納する際の収納予定物の斜視画像を生成し、生成された斜視画像を撮像画像に合成することでシミュレーション画像を生成（更新）する。このようにして生成されたシミュレーション画像は、表示部１２１に送られ、表示される。
　さらに、表示部１２１に表示されたシミュレーション画像を介して、収納予定物を収納する収納位置の指定を収納位置指定部１２６が受けた場合には、シミュレーション画像生成部１４２は、上述のようにして算出された寸法で、指定された収納位置に収納する際の収納予定物の斜視画像（第３の外形画像）を生成し、生成された斜視画像を指定された収納位置において撮像画像に合成することでシミュレーション画像（第３のシミュレーション画像）を生成（更新）する。このようにして生成されたシミュレーション画像は、表示部１２１に送られ、表示される。
　また、シミュレーション画像生成部１４２は、収納可否判定部１４３からの判定結果に応じて、シミュレーション画像を更新する。
　収納可否判定部１４３は、シミュレーション画像を用いて収納位置指定部１２６により収納位置が指定された場合には、冷蔵庫１１０から送られてきた撮像画像及び冷蔵庫構造情報提供部１４１から送られてくる情報に基づいて、指定された収納位置に、商店サーバ１３０から送られてきた形状情報で示される外形及び寸法の商品を収納することができるか否かを判定する。
　例えば、収納可否判定部１４３は、冷蔵庫１１０から送られてきた撮像画像に基づいて、冷蔵庫１１０内に既に収納されている収納物を特定するとともに、冷蔵庫構造情報提供部１４１から送られてくる情報に基づいて、指定された収納位置に収納予定物を収納する場合に、冷蔵庫１１０に既に収納されている収納物又は冷蔵庫１１０を構成する構造物により、収納予定物の収納が妨げられるか否かを判断する。そして、収納可否判定部１４３は、収納予定物の収納が妨げられる場合には、収納予定物を収納することができないと判断し、収納予定物の収納が妨げられない場合には、収納予定物を収納することができると判断する。
　なお、収納可否判定部１４３は、上記の判定を行うために必要な情報を記憶する判定用情報記憶部１４３ａを備えている。
　そして、収納可否判定部１４３は、その判定結果をシミュレーション画像生成部１４２に与える。そのような判定結果を受けて、シミュレーション画像生成部１４２は、収納予定物の収納が妨げられる場合には、シミュレーション画像を更新して、収納の妨げとなっている収納予定物の部分を示す。
　なお、収納可否判定部１４３は、冷蔵庫１１０を構成している構造物の中に、位置を移動させることのできる移動構造物が含まれている場合には、このような移動構造物を移動させて、収納可否の判断を行うことができる。
　例えば、収納可否判定部１４３は、移動可能範囲情報を参照して、移動構造物を移動させることで、収納予定物の収納が妨げられなくなる場合には、収納予定物の収納が妨げられなくなる、移動構造物の位置を移動位置として特定する。そして、収納可否判定部１４３は、その移動位置をシミュレーション画像生成部１４２に通知する。
　シミュレーション画像生成部１４２は、そのような通知を受けて、シミュレーション画像を更新して、通知された移動位置に移動構造物を移動させることで、収納予定物を収納することができることを示す。
　また、収納可否判定部１４３は、冷蔵庫１１０を構成している構造物の中に、取り外し可能な着脱構造物が含まれている場合には、このような着脱構造物が取り外された場合を考慮して、収納可否の判断を行うことができる。
　例えば、収納可否判定部１４３は、着脱情報を参照して、着脱構造物を取り外すことで、収納予定物の収納が妨げられなくなる場合には、収納予定物の収納が妨げられなくなる、着脱構造物を特定し、その着脱構造物をシミュレーション画像生成部１４２に通知する。
　シミュレーション画像生成部１４２は、そのような通知を受けて、シミュレーション画像を更新して、通知された着脱構造物を取り外すことで、収納予定物を収納することができることを示す。
　通信部１４４は、通信回線１５０を介して、通信を行う。例えば、通信部１４４は、ＮＩＣにより構成することができる。
　以上に記載された冷蔵庫構造情報提供部１４１、シミュレーション画像生成部１４２及び収納可否判定部１４３の一部又は全部は、例えば、図２（Ａ）に示されているように、メモリ１０と、メモリ１０に格納されているプログラムを実行するＣＰＵ等のプロセッサ１１とにより構成することができる。このようなプログラムは、ネットワークを通じて提供されてもよく、また、記録媒体に記録されて提供されてもよい。
　また、冷蔵庫構造情報提供部１４１、シミュレーション画像生成部１４２及び収納可否判定部１４３の一部又は全部は、例えば、図２（Ｂ）に示されているように、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ又はＦＰＧＡ等の処理回路１２で構成することもできる。
　なお、冷蔵庫構造情報記憶部１４１ａ及び判定用情報記憶部１４３ａは、ＨＤＤ等の記憶装置又は不揮発性メモリにより構成することができる。
　図３は、収納状況シミュレーションシステム１００での処理を示すフローチャートである。
　まず、撮像部１１１は、冷蔵庫１１０の収納室内の画像を撮像する（Ｓ１０）。冷蔵庫１１０が、冷蔵室、野菜室及び冷凍室のように、複数の収納室で構成されている場合には、それぞれの収納室に撮像部１１１が設置されている場合もある。撮像部１１１は、撮像画像を通信部１１３から通信回線１５０を経由して、シミュレーション画像生成部１４２に送信する。
　また、冷蔵庫型番情報提供部１１２は、型番情報記憶部１１２ａに記憶されている型番情報を、通信部１１３から通信回線１５０を経由して、冷蔵庫構造情報提供部１４１に送信する（Ｓ１１）。
　冷蔵庫構造情報提供部１４１は、冷蔵庫構造情報記憶部１４１ａに記憶されている冷蔵庫構造情報から、型番情報で示される型番を用いて、冷蔵庫１１０の内部構造を示す情報を検索する（Ｓ１２）。そして、冷蔵庫構造情報提供部１４１は、冷蔵庫１１０に対応する情報をシミュレーション画像生成部１４２に与える。
　商品選択画像提供部１３１は、商店サーバ１３０で取り扱っている商品の中から商品を選択するための商品選択画像を生成して、通信部１１３から通信回線１５０を経由して、操作端末１２０へ送信する。そして、操作端末１２０の表示部１２１は、その商品選択画像を表示する（Ｓ１３）。
　図４は、商品選択画像の一例を示す概略図である。
　商品選択画像ＩＭ１には、第１の商品ＰＤ１、第２の商品ＰＤ２及び第３の商品ＰＤ３が表示されている。これらの商品は、いずれも商店サーバ１３０で取り扱っている商品である。
　使用者が、入力部１２２を用いて、操作ボタンＢ１、Ｂ２の実行指示を入力することで、商品選択画像ＩＭ１に表示される商品を変更することができる。
　そして、商品選択画像ＩＭ１において、使用者は、入力部１２２を用いて、選択枠ＳＬを動かし、所望の商品を指定して選択指示を入力する（Ｓ１４）。これにより、購入希望商品指定部１２３は、通信部１１３から通信回線１５０を経由して、選択された位置を示す情報を購入希望商品情報として商品選択画像提供部１３１に送信する。このような情報を受けて、商品選択画像提供部１３１は、選択された位置に対応する購入希望商品の物品ＩＤを購入希望商品記憶部１３２に記憶する。物品ＩＤは、商店サーバ１３０で取り扱っている商品を一意に特定できる情報であればよく、情報のデータフォーマットは、特定のものを指定するものではない。
　図３に戻り、商品形状情報提供部１３３は、商品形状情報記憶部１３３ａに記憶されている商品形状情報から、購入希望商品記憶部１３２に記憶されている購入希望商品の物品ＩＤを用いて、購入希望商品の形状情報を検索する（Ｓ１５）。そして、商品形状情報提供部１３３は、通信部１３５から通信回線１５０を経由して、購入希望商品の形状情報をシミュレーション画像生成部１４２に送信する。
　また、商品好適収納室情報提供部１３４は、商品好適収納室情報記憶部１３４ａに記憶されている商品好適収納室情報から、購入希望商品記憶部１３２に記憶されている購入希望商品の物品ＩＤを用いて、購入希望商品の収納室情報を検索する（Ｓ１６）。そして、商品好適収納室情報提供部１３４は、通信部１３５から通信回線１５０を経由して、購入希望商品の収納室情報をシミュレーション画像生成部１４２に送信する。
　次に、シミュレーション画像生成部１４２は、シミュレーション画像を生成する（Ｓ１７）。
　例えば、シミュレーション画像生成部１４２は、商品好適収納室情報提供部１３４から送信された収納室情報に基づいて、購入希望商品を収納すべき収納室を決定する。そして、シミュレーション画像生成部１４２は、冷蔵庫構造情報提供部１４１から受け取った寸法情報に基づいて、決定された収納室の寸法と、撮像画像における決定された収納室の寸法との間の比率である寸法比率を算出する。
　図５は、収納室の撮像画像の一例を示す概略図である。
　撮像画像ＩＭ２には、冷蔵庫１１０の収納室１６０が含まれており、収納室１６０には、既に、収納物１６１、１６２が収納されている。
　例えば、シミュレーション画像生成部１４２は、冷蔵庫構造情報提供部１４１から受け取った情報に、点Ｐ１及び点Ｐ２の三次元における位置情報が含まれている場合には、その点Ｐ１及び点Ｐ２間の距離と、撮像画像に含まれている点Ｐ１及び点Ｐ２間の距離とにより、寸法比率を算出する。即ち、シミュレーション画像生成部１４２は、現実の収納室の寸法と、撮像画像における収納室の寸法との間の寸法比率を算出する。
　次に、シミュレーション画像生成部１４２は、算出された寸法比率に合わせて、商品形状情報提供部１３３から送信された形状情報で示される外形及び寸法の購入希望商品の三次元における外形画像である斜視画像を作成する。
　例えば、シミュレーション画像生成部１４２は、形状情報で示される購入希望商品の現実の寸法を、上述の寸法比率で、撮像画像における寸法に修正し、修正された寸法で、形状情報で示される形状の斜視画像を作成する。
　図６（Ａ）～（Ｄ）は、購入希望商品の斜視画像の一例を示す概略図である。
　図６（Ａ）は、収納室の向かって左側を収納位置にして、購入希望商品を縦置きで収納する場合の斜視画像である。
　図６（Ｂ）は、収納室の向かって左側を収納位置にして、購入希望商品を横置きで収納する場合の斜視画像である。
　図６（Ｃ）は、収納室の向かって右側を収納位置にして、購入希望商品を横置きで収納する場合の斜視画像である。
　図６（Ｄ）は、収納室の向かって右側を収納位置にして、購入希望商品を縦置きで収納する場合の斜視画像である。
　ここでは、シミュレーション画像生成部１４２は、図６（Ａ）～（Ｄ）に示された斜視画像の内、予め定められた一つの斜視画像を作成すればよい。
　図３に戻り、シミュレーション画像生成部１４２は、撮像部１１１から送信された収納室の撮像画像に、上述のように作成された購入希望商品の斜視画像を合成することで、収納室内の収納状況を示すシミュレーション画像を生成する（Ｓ１７）。例えば、シミュレーション画像生成部１４２には、初期設定で、画像の右側及び左側の何れに購入希望商品を設置するか、及び、購入機能商品の設置姿勢が定められており、これらに対応する斜視画像が合成される。
　図７は、シミュレーション画像の一例を示す概略図である。
　図７に示されているシミュレーション画像ＩＭ３は、図４に示されている撮像画像ＩＭ２に、図６（Ｂ）に示されている斜視画像を合成することで、作成されている。
　ここで、シミュレーション画像ＩＭ３に示されている操作ボタンＢ３は、購入希望商品ＰＲＤの収納姿勢が縦置きでも横置きでも可能である場合に、その収納姿勢を縦置きにすることを選択する縦置き選択ボタンである。
　また、操作ボタンＢ４は、その収納姿勢を横置きにすることを選択する横置き選択ボタンである。
　図７に示されているシミュレーション画像ＩＭ３では、横置きが選択されているため、下部に描画されている購入希望商品ＰＲＤの斜視画像は、横置きで描かれている。
　また、冷蔵庫１１０の収納室内の構造物の一つである棚が移動棚であり、冷蔵庫構造情報提供部１４１から、この移動棚の移動可能範囲が通知された場合には、シミュレーション画像生成部１４２は、シミュレーション画像にこの移動棚の移動可能範囲を表示する。
　例えば、図８に示されているようなシミュレーション画像ＩＭ４のように、移動棚ＳＳが、位置ＳＰ１から位置ＳＰ２まで移動できるとすると、このような移動可能範囲を示すために、位置ＳＰ１から位置ＳＰ２まで色付けされていてもよく、位置ＳＰ１から位置ＳＰ２まで矢印が付けられていてもよい。
　図３に戻り、生成されたシミュレーション画像は、通信部１３５から通信回線１５０を経由して、操作端末１２０に送信されて、表示部１２１で表示される（Ｓ１８）。
　使用者は、表示部１２１に表示されているシミュレーション画像において、入力部１２２を介して、購入希望商品の収納姿勢を選択した場合（Ｓ１９でＹｅｓ）には、処理はステップＳ２０に進む。
　ステップＳ２０では、収納姿勢選択部１２４は、選択された収納姿勢を、通信部１３５から通信回線１５０を経由して、シミュレーション画像生成部１４２に通知する。シミュレーション画像生成部１４２は、通知された収納姿勢に応じて、シミュレーション画像を更新し、更新したシミュレーション画像を、通信部１３５から通信回線１５０を経由して、操作端末１２０に送信する。そして、処理はステップＳ１８に戻る。
　図７は、前述のとおり、収納室の向かって左側に、購入希望商品ＰＲＤを横置きで収納しようとした場合のシミュレーション画像ＩＭ３である。例えば、シミュレーション画像ＩＭ３において、操作ボタンＢ３を指定した実行指示が入力された場合には、シミュレーション画像生成部１４２は、図９に示されているようなシミュレーション画像ＩＭ５を生成する。シミュレーション画像ＩＭ５は、収納室の向かって左側に、購入希望商品ＰＲＤを縦置きで収納しようとした場合の画像である。
　図３に戻り、使用者は、表示部１２１に表示されているシミュレーション画像において、入力部１２２を介して、購入希望商品の収納サイドを変更した場合（Ｓ２１でＹｅｓ）には、処理はステップＳ２２に進む。
　ステップＳ２２では、収納サイド変更部１２５は、変更後のサイドを、通信部１３５から通信回線１５０を経由して、シミュレーション画像生成部１４２に通知する。シミュレーション画像生成部１４２は、通知されたサイドに応じて、シミュレーション画像を更新し、更新したシミュレーション画像を、通信部１３５から通信回線１５０を経由して、操作端末１２０に送信する。そして、処理はステップＳ１８に戻る。
　図７では、前述のとおり、収納室の向かって左側に、購入希望商品ＰＲＤを横置きで収納しようとした場合のシミュレーション画像ＩＭ３である。例えば、シミュレーション画像ＩＭ３において、購入希望商品ＰＲＤを右側にシフトさせる操作が入力部１２２に入力された場合のように、収納サイドが収納室の向かって右側に変更された場合は、シミュレーション画像生成部１４２は、図１０に示されているシミュレーション画像ＩＭ６のように、収納室の向かって右側に、横置きで収納しようとした場合の購入希望商品ＰＲＤの斜視画像を生成して、その画像を撮像画像に合成する。
　また、図９に示されているシミュレーション画像ＩＭ５において、収納サイドが収納室の向かって右側に変更された場合は、シミュレーション画像生成部１４２は、図１１に示されているシミュレーション画像ＩＭ７のように、収納室の向かって右側に、縦置きで収納しようとした場合の購入希望商品ＰＲＤの斜視画像を生成して、その画像を撮像画像に合成する。
　図３に戻り、使用者は、表示部１２１に表示されているシミュレーション画像において、入力部１２２を介して、購入希望商品の収納位置を指定した場合（Ｓ２３でＹｅｓ）には、処理はステップＳ２４に進む。
　ステップＳ２４では、収納位置指定部１２６は、指定された収納位置を、通信部１３５から通信回線１５０を経由して、シミュレーション画像生成部１４２に通知する。シミュレーション画像生成部１４２は、通知された収納位置に応じて、シミュレーション画像を更新し、更新したシミュレーション画像を、通信部１３５から通信回線１５０を経由して、操作端末１２０に送信する。そして、処理はステップＳ１８に戻る。
　例えば、図７に示されているシミュレーション画像ＩＭ３において、購入希望商品ＰＲＤを棚ＳＥＬの上にシフトさせる操作が入力部１２２に入力された場合のように、収納位置が収納室内に変更された場合には、収納可否判定部１４３は、指定された収納室内の収納位置に購入希望商品を収納することができるか否かを判断する。
　具体的には、まず、収納可否判定部１４３は、冷蔵庫１１０から送られてきた撮像画像から、冷蔵庫１１０に既に収納されている収納物の範囲を推定する。例えば、収納可否判定部１４３は、冷蔵庫１１０に物が収納される前の収納室の撮像画像を判定用情報記憶部１４３ａに記憶しておくことで、このような推定を行うことができる。また、例えば、冷蔵庫１１０の棚に圧力センサを設置しておき、その検出値を受け取ることでも、収納可否判定部１４３は、このような推定を行うことができる。
　次に、収納可否判定部１４３は、収納位置指定部１２６によって指定された収納位置に収納した場合の購入希望商品の範囲を、商品形状情報提供部１３３から提供される形状情報から算出する。
　次に、収納可否判定部１４３は、冷蔵庫構造情報提供部１４１から提供される冷蔵庫１１０の収納室の構造情報で示される構造物の範囲及び推定した収納物の範囲と、算出された購入希望商品の範囲とが、互いに重なり合うか否かを判定する。そして、重なり合わない場合には、収納可否判定部１４３は、購入希望商品の収納が妨げられずに、これを収納可と判断する。重なり合う場合には、購入希望商品の収納が妨げられ、これを収納不可と判断する。
　収納可否判定部１４３は、収納可否判定の判定結果をシミュレーション画像生成部１４２に与える。ここで、判定結果が収納不可である場合には、収納可否判定部１４３は、重なり合う範囲の内、購入希望商品に対応する部分の範囲を示す妨害範囲情報もシミュレーション画像生成部１４２に与える。
　判定結果が収納可である場合には、シミュレーション画像生成部１４２は、指定された収納位置に、選択された収納姿勢で、購入希望商品の斜視画像を合成することで、シミュレーション画像を更新する。
　一方、判定結果が収納不可である場合には、シミュレーション画像生成部１４２は、指定された収納位置に、選択された収納姿勢で、購入希望商品の斜視画像を合成するとともに、妨害範囲を示す画像も合成することで、シミュレーション画像を更新する。例えば、シミュレーション画像生成部１４２は、妨害範囲情報で示される範囲から、購入希望商品を収納位置に収納する場合に、収納物及び構造物と接触して、収納の妨げとなる部分を特定し、その部分を妨害範囲とする画像を生成して、撮像画像に合成する。
　図１２は、判定結果が収納不可である場合のシミュレーション画像を示す概略図である。
　図１２に示されているシミュレーション画像ＩＭ８では、購入希望商品ＰＲＤが、指定された収納位置に、選択された縦置きで収納されている。
　但し、シミュレーション画像ＩＭ８では、購入希望商品ＰＲＤの形状範囲のうち、位置ＳＰ２の移動棚ＳＳと重なり合う範囲が、妨害範囲ＩＴＡとして示されている。例えば、シミュレーション画像生成部１４２は、このような妨害範囲ＩＴＡを示す画像を合成することで、このような妨害範囲ＩＴＡを示すことができる。
　シミュレーション画像生成部１４２は、生成したシミュレーション画像ＩＭ８を表示部１２１に表示させる。
　図１２に示されているようなシミュレーション画像ＩＭ８を、表示部１２１で確認した使用者は、購入希望商品ＰＲＤを購入したとしても、冷蔵庫１１０には収納できないと、容易に認識することができる。
　また、収納可否判定部１４３は、収納可否の判定において、購入希望商品の収納を妨げている棚が、移動可能な移動棚又は取り外し可能な着脱棚である場合等、冷蔵庫１１０の収納室の状態を変更することができる場合には、収納室の状態を変更して、判定を行うことができる。
　例えば、購入希望商品ＰＲＤの収納を妨げている棚が、図８に示されているような移動棚ＳＳである場合、位置ＳＰ２に設置されている移動棚ＳＳは、位置ＳＰ１まで移動させることができる。
　そこで、収納可否判定部１４３は、冷蔵庫構造情報提供部１４１から提供される構造情報に含まれている移動棚の可動範囲情報に基づいて、移動棚ＳＳが位置ＳＰ１まで移動したと仮定した場合の、収納可否判定を行う。ここで、収納可否判定の結果が、重なり合わず、収納可能である場合には、収納可否判定部１４３は、収納可の判定結果と、収納可にするための条件とをシミュレーション画像生成部１４２に与える。収納可にするための条件は、ここでは、移動棚ＳＳを位置ＳＰ１まで移動させることである。
　図１３は、収納可にするための条件が示された場合のシミュレーション画像の一例を示す概略図である。
　この場合には、妨害範囲はないので、シミュレーション画像ＩＭ９には、妨害範囲は示されていない。但し、シミュレーション画像ＩＭ９では、収納可とするための条件を示したメッセージ欄ＭＥＡ１が表示されている。
　図１３に示されたメッセージ欄ＭＥＡ１は、移動棚ＳＳを位置ＳＰ１まで移動したと仮定した場合のシミュレーション画像であることを、使用者に通知している。
　シミュレーション画像生成部１４２は、シミュレーション画像ＩＭ９を表示部１２１に表示させる。
　なお、シミュレーション画像生成部１４２は、移動棚ＳＳを位置ＳＰ１に移動するように撮像画像を加工して、図１３に示されているシミュレーション画像ＩＭ９を生成しているが、このような加工を行わなくてもよい。
　図１３に示されたようなシミュレーション画像ＩＭ９を、表示部１２１で確認した使用者は、移動棚ＳＳを位置ＳＰ１に移動すれば、購入希望商品ＰＲＤを購入しても、冷蔵庫１１０には収納できると容易に認識できる。
　また、購入希望商品ＰＲＤの収納を妨げている棚が、取り外し可能な着脱棚である場合には、このような棚を取り外すことができる。
　そこで、収納可否判定部１４３は、冷蔵庫構造情報提供部１４１から提供される構造情報に含まれている着脱棚の着脱情報に基づいて、着脱棚を取り外したと仮定した場合の、収納可否判定を行う。ここで、収納可否判定の結果が、重なり合わず、収納可能である場合には、収納可否判定部１４３は、収納可の判定結果と、収納可にするための条件とをシミュレーション画像生成部１４２に与える。収納可にするための条件は、ここでは、着脱棚を取り外すことである。
　図１４は、収納可にするための条件が示された場合のシミュレーション画像の一例を示す概略図である。
　この場合には、妨害範囲はないので、シミュレーション画像ＩＭ１０には、妨害範囲は示されていない。但し、シミュレーション画像ＩＭ１０では、収納可とするための条件を示したメッセージ欄ＭＥＡ２が表示されている。
　図１４に示されたメッセージ欄ＭＥＡ２は、着脱棚を取り外したと仮定した場合のシミュレーション画像であることを、使用者に通知している。
　シミュレーション画像生成部１４２は、シミュレーション画像ＩＭ１０を表示部１２１に表示させる。
　図１４に示されたようなシミュレーション画像ＩＭ１０を、表示部１２１で確認した使用者は、着脱棚を取り外せば、購入希望商品ＰＲＤを購入しても、冷蔵庫１１０には収納できると容易に認識できる。
　なお、シミュレーション画像生成部１４２は、着脱棚を消去するように撮像画像を加工して、図１４に示されているシミュレーション画像ＩＭ１０を生成しているが、このような加工を行わなくてもよい。
　以上に記載した実施の形態によれば、冷蔵庫１１０の収納室内の撮像画像と、その撮像画像の寸法比率と同じ寸法比率を有する収納予定物の斜視画像とを比較できるので、使用者は、収納予定物を冷蔵庫１１０の収納室内に収納できるかどうかを正確に知ることができる。このため、収納予定物を購入したが冷蔵庫１１０に収納できないという事態が発生したり、収納予定物が冷蔵庫１１０に収納しきれないことをおそれて購入機会を逸するという事態が発生したりすることを防止できる。
　以上に記載した実施の形態によれば、冷蔵庫１１０の収納室の構造情報を、冷蔵庫１１０の型番情報から、検索して入手することができるので、冷蔵庫１１０の収納室内の構造情報を、システムの使用者が入力する手間を省くことができ、かつ、正確な収納室内の構造情報を使用できる。
　以上に記載した実施の形態によれば、収納予定物の形状情報を、収納予定物の物品ＩＤから、検索して入手することができるので、収納予定物の形状情報を、システムの使用者が入力する手間を省くことができ、かつ、正確な収納予定物の形状情報を使用できる。
　以上に記載した実施の形態によれば、収納予定物に適した収納室情報を、収納予定物の物品ＩＤから、検索して入手することができるので、収納予定物に適した収納室情報を、システムの使用者が入力する手間を省くことができる。また、収納予定物に適した収納室以外の収納室内の撮像画像と、収納予定物の斜視画像とを比較してしまい、収納予定物が収納できるかどうかの判断を間違えてしまう危険を防止できる。
　以上に記載した実施の形態によれば、収納室内の撮像画像と、収納予定物に予め設定されている複数の収納姿勢の斜視画像とを比較することができるので、複数の収納姿勢で収納できるかどうかを判断できる。これにより、ある収納姿勢では収納が難しいが、他の収納姿勢では収納ができるというような試行ができ、実際には収納できるのに、収納できないと判断してしまう危険を防止することができる。
　以上に記載した実施の形態によれば、収納室内の撮像画像から、冷蔵庫１１０に既に収納されている収納物の位置を推定し、既収納物と、収納予定物とが互いに衝突せず、収納可能か否かを判定するため、システムの使用者が、この収納予定物に適した収納室以外の収納室内の撮像画像と、収納予定物の斜視画像とを比較するだけで収納可否判断をするよりも、より容易、かつ、正確に収納可否判断ができる。
　以上に記載した実施の形態によれば、収納室内の構造物の位置と形状情報とから、構造物と、収納予定物とが衝突せず、収納可能か否かを判定するため、システムの使用者が、この収納予定物に適した収納室以外の収納室内の撮像画像と、収納予定物の斜視画像とを比較するだけで収納可否判断をするよりも、より容易、かつ、正確に収納可否判断ができる。
　以上に記載した実施の形態によれば、収納室内の構造物の位置が変更できる場合に、この構造物が取り得る位置に設置された場合の構造物と、収納予定物とが衝突せず、収納可能か判定するため、システムの使用者が、この収納予定物に適した収納室以外の収納室内の撮像画像と、収納予定物の斜視画像とを比較するだけで収納可否判断をするよりも、より容易、かつ、正確に収納可否判断ができる。
＜第１の変形例＞
　ところで、冒頭で述べたように、冷蔵庫１１０がクラウドサーバ１４０の機能を含んでいてもよい。また、冷蔵庫１１０は、操作端末１２０の機能を含んでいてもよい。
　図１５は、第１の変形例における冷蔵庫２１０と、その冷蔵庫２１０を含めた収納状況シミュレーションシステム２００の構成を概略的に示すブロック図である。
　冷蔵庫２１０が、クラウドサーバ１４０の機能を取り込んでいる。
　冷蔵庫２１０は、撮像部１１１と、冷蔵庫型番情報提供部１１２と、通信部１１３と、冷蔵庫構造情報記憶部１４１ａを有する冷蔵庫構造情報提供部１４１と、収納可否判定部１４３とを備えている。
　撮像部１１１は、冷蔵庫２１０の庫内の画像を撮像画像として撮像する。
　冷蔵庫型番情報提供部１１２は、型番情報記憶部１１２ａに記憶されている型番情報を、冷蔵庫構造情報提供部１４１に与える。
　通信部１１３は、通信回線１５０と接続され、庫内への収納予定物の形状情報を受信する。
　冷蔵庫構造情報記憶部１４１ａは、庫内の予め定められた部分の寸法を示す寸法情報を含む冷蔵庫構造情報を記憶する。
　収納可否判定部１４３は、撮像画像内における予め定められた部分の寸法と、寸法情報で示される寸法とを比較することで、庫内への収納予定物の撮像画像内における寸法を算出し、収納予定物を収納することができるか否かを判定する。収納予定物を収納することができるか否かの判定については、既に説明したとおりである。
　なお、冷蔵庫構造情報記憶部１４１ａについては、冷蔵庫２１０に備えなくてもよく、通信回線１５０を介して通信部１１３が冷蔵庫２１０の庫内の予め定められた部分の寸法を示す寸法情報を受信してもよい。
　また、冷蔵庫２１０は、シミュレーション画像生成部１４２を備えてもよい。シミュレーション画像生成部１４２は、収納可否判定部１４３で算出された撮像画像内における寸法に基づき収納予定物の第１の商品画像（外形画像）を生成し、この商品画像を撮像画像に合成することでシミュレーション画像（第１のシミュレーション画像）を生成する。通信部１１３は、通信回線１５０を介して、そのシミュレーション画像を操作端末１２０に送信する。操作端末１２０は、表示部１２１を備えている。受信されたシミュレーション画像は、表示部１２１に表示される。
　なお、シミュレーション画像生成部１４２については、冷蔵庫２１０に備えなくてもよく、操作端末１２０に備えられても良い。この場合、通信部１１３は、通信回線１５０を介して、収納可否判定部１４３で算出された撮像画像内における寸法を操作端末１２０に送信する。
＜第２の変形例＞
　また、冒頭で述べたように、冷蔵庫１１０が操作端末１２０の機能を含んでいてもよい。
　図１６は、第２の変形例における冷蔵庫３１０と、その冷蔵庫３１０を含めた収納状況シミュレーションシステム３００の構成を概略的に示すブロック図である。
　冷蔵庫３１０が、操作端末１２０の機能を取り込んでいる。
　この場合、クラウドサーバ１４０に備えられた収納可否判定部１４３は、収納予定物を収納することができるか否かの可否判定を行う。そして、シミュレーション画像生成部１４２は、収納可否判定部１４３で算出された撮像画像内における寸法に基づき収納予定物の第１の商品画像（外形画像）を生成し、この商品画像を撮像画像に合成することでシミュレーション画像（第１のシミュレーション画像）を生成する。通信部１１３は、通信回線１５０を介して、シミュレーション画像を受信する。表示部１２１は、受信されたシミュレーション画像を表示する。
＜第３の変形例＞
　また、冷蔵庫１１０がクラウドサーバ１４０及び操作端末１２０の機能を含んでいてもよい。図１７は、第３の変形例における冷蔵庫４１０と、その冷蔵庫４１０を含めた収納状況シミュレーションシステム４００の構成を概略的に示すブロック図である。
　この場合、冷蔵庫４１０の内部で、収納予定物を収納することができるか否かの可否判定、シミュレーション画像の生成、及びシミュレーション画像の表示を行う。通信部１１３は、通信回線１５０を介して、商店サーバ１３０と通信を行い、使用者が商品を購入する商店の物品情報等を受信する。
　１００，２００，３００，４００　収納状況シミュレーションシステム、　１１０，２１０，３１０，４１０　冷蔵庫、　１１１　撮像部、　１１２　冷蔵庫型番情報提供部、　１１３　通信部、　１２０　操作端末、　１２１　表示部、　１２２　入力部、　１２３　購入希望商品指定部、　１２４　収納姿勢選択部、　１２５　収納サイド変更部、　１２６　収納位置指定部、　１２７　通信部、　１３０　商店サーバ、　１３１　商品選択画像提供部、　１３２　購入希望商品記憶部、　１３３　商品形状情報提供部、　１３４　商品好適収納室情報提供部、　１３５　通信部、　１４０　クラウドサーバ、　１４１　冷蔵庫構造情報提供部、　１４３　収納可否判定部、　１４２　シミュレーション画像生成部、　１４４　通信部、　１０　メモリ、　１１　プロセッサ、　１２　処理回路。

Claims (16)

  1. 　冷蔵庫内に収納予定物を収納することができるか否かを判断するためのシミュレーションシステムであって、
    　前記冷蔵庫内の画像を撮像画像として撮像する撮像部と、
    　前記冷蔵庫内の予め定められた部分の寸法を示す寸法情報を含む冷蔵庫構造情報を記憶する冷蔵庫構造情報記憶部と、
    　前記撮像画像内における前記予め定められた部分の寸法と、前記寸法情報で示される前記予め定められた部分の寸法とを比較することで、前記収納予定物の前記撮像画像内における寸法を算出し、前記収納予定物を収納することができるか否かを判定する収納可否判定部と、を備えること
    　を特徴とするシミュレーションシステム。
  2. 　前記収納予定物の前記撮像画像内における寸法に基づき前記収納予定物の第１の外形画像を生成し、当該第１の外形画像を前記撮像画像に合成することで第１のシミュレーション画像を生成するシミュレーション画像生成部と、
    　前記第１のシミュレーション画像を表示する表示部と、を備えること
    　を特徴とする請求項１に記載のシミュレーションシステム。
  3. 　前記表示部に表示された前記第１のシミュレーション画像を介して、前記収納予定物を収納する収納姿勢の選択指示を受ける収納姿勢選択部をさらに備え、
    　前記シミュレーション画像生成部は、前記算出された寸法で、選択された収納姿勢における前記収納予定物の第２の外形画像を生成し、当該第２の外形画像を前記撮像画像に合成することで第２のシミュレーション画像を生成し、
    　前記表示部は、前記第２のシミュレーション画像を表示すること
    　を特徴とする請求項２に記載のシミュレーションシステム。
  4. 　前記表示部に表示された前記第１のシミュレーション画像を介して、前記収納予定物を収納する収納位置の指定を受ける収納位置指定部をさらに備え、
    　前記シミュレーション画像生成部は、前記算出された寸法で、指定された収納位置に収納する際の前記収納予定物の第３の外形画像を生成し、当該第３の外形画像を前記指定された収納位置において前記撮像画像に合成することで第３のシミュレーション画像を生成し、
    　前記表示部は、前記第３のシミュレーション画像を表示すること
    　を特徴とする請求項２に記載のシミュレーションシステム。
  5. 　前記表示部に表示された前記第２のシミュレーション画像を介して、前記収納予定物を収納する収納位置の指定を受ける収納位置指定部をさらに備え、
    　前記シミュレーション画像生成部は、前記算出された寸法で、指定された収納位置に収納する際の前記収納予定物の第３の外形画像を生成し、当該第３の外形画像を前記指定された収納位置において前記撮像画像に合成することで第３のシミュレーション画像を生成し、
    　前記表示部は、前記第３のシミュレーション画像を表示すること
    　を特徴とする請求項３に記載のシミュレーションシステム。
  6. 　前記冷蔵庫構造情報には、前記冷蔵庫内に設けられている複数の構造物の形状、寸法及び位置を示す構造情報がさらに含まれており、
    　前記収納可否判定部は、前記冷蔵庫内に既に収納されている収納物を前記撮像画像から特定するとともに、前記構造情報を参照して、前記収納位置に前記収納予定物を収納する場合に、当該収納物又は前記複数の構造物により、前記収納予定物の収納が妨げられるか否かを判断し、
    　前記収納予定物の収納が妨げられる場合には、前記シミュレーション画像生成部は、前記第３のシミュレーション画像において、収納の妨げとなる前記収納予定物の部分を示すこと
    　を特徴とする請求項４又は５に記載のシミュレーションシステム。
  7. 　前記複数の構造物には、位置を移動させることのできる移動構造物が含まれており、
    　前記冷蔵庫構造情報は、前記移動構造物の形状、寸法及び移動可能範囲を示す移動可能範囲情報をさらに含み、
    　前記収納可否判定部は、前記移動可能範囲情報を参照して、前記移動構造物を移動させることで、前記収納予定物の収納が妨げられなくなる場合には、前記収納予定物の収納が妨げられなくなる、前記移動構造物の位置を移動位置として特定し、
    　前記シミュレーション画像生成部は、前記第３のシミュレーション画像において、前記移動位置に前記移動構造物を移動させることで、前記収納予定物を収納することができるか否かを示すこと
    　を特徴とする請求項６に記載のシミュレーションシステム。
  8. 　前記複数の構造物には、取り外し可能な着脱構造物が含まれており、
    　前記冷蔵庫構造情報は、前記着脱構造物の形状、寸法及び位置を示す着脱情報をさらに含み、
    　前記収納可否判定部は、前記着脱情報を参照して、前記着脱構造物を取り外すことで、前記収納予定物の収納が妨げられなくなる場合には、前記収納予定物の収納が妨げられなくなる、前記着脱構造物を特定し、
    　前記シミュレーション画像生成部は、前記第３のシミュレーション画像において、前記特定された着脱構造物を取り外すことで、前記収納予定物を収納することができるか否かを示すこと
    　を特徴とする請求項６に記載のシミュレーションシステム。
  9. 　前記複数の構造物には、位置を移動させることのできる移動構造物が含まれており、
    　前記冷蔵庫構造情報は、前記移動構造物の形状、寸法及び移動可能範囲を示す移動可能範囲情報をさらに含み、
    　前記シミュレーション画像生成部は、前記第１のシミュレーション画像に、前記移動可能範囲を示すこと
    　を特徴とする請求項６に記載のシミュレーションシステム。
  10. 　複数の商品から所望する商品を選択するための商品選択画像を前記表示部に表示させる商品選択画像提供部と、
    　前記表示部に表示された前記商品選択画像を介して、選択された商品を前記収納予定物とする収納予定物指定部と、
    　前記選択された商品の外形及び寸法を示す形状情報を前記シミュレーション画像生成部に提供する商品形状情報提供部と、をさらに備え、
    　前記シミュレーション画像生成部は、前記形状情報に基づいて、前記第１の外形画像を生成すること
    　を特徴とする請求項２に記載のシミュレーションシステム。
  11. 　前記冷蔵庫には、複数の収納室が設けられており、
    　前記撮像部は、前記複数の収納室内の画像を撮像し、
    　前記選択された商品を収納する収納室を示す収納室情報を前記シミュレーション画像生成部に提供する商品好適収納室情報提供部をさらに備え、
    　前記シミュレーション画像生成部は、前記収納室情報で示される収納室内の撮像画像に前記第１の外形画像を合成すること
    　を特徴とする請求項１０に記載のシミュレーションシステム。
  12. 　冷蔵庫内に収納予定物を収納することができるか否かを判断するためのシミュレーション方法であって、
    　前記冷蔵庫内の画像を撮像画像として撮像し、
    　前記冷蔵庫内の予め定められた部分の寸法と、前記撮像画像内における前記予め定められた部分の寸法とを比較することで、前記収納予定物の前記撮像画像内における寸法を算出し、
    　前記算出された寸法で前記収納予定物の第１の外形画像を生成し、
    　当該第１の外形画像を前記撮像画像に合成することで第１のシミュレーション画像を生成し、前記収納予定物を収納することができるか否かを判定すること
    　を特徴とするシミュレーション方法。
  13. 　庫内の画像を撮像画像として撮像する撮像部と、
    　外部ネットワークと接続され、前記庫内に収納する収納予定物の形状を示す形状情報を受信する通信部と、
    　前記庫内の予め定められた部分の寸法を示す寸法情報を含む冷蔵庫構造情報を記憶する冷蔵庫構造情報記憶部と、
    　前記撮像画像内における前記予め定められた部分の寸法と、前記寸法情報で示される前記予め定められた部分の寸法とを比較することで、前記形状情報に基づいて、前記収納予定物の前記撮像画像内における寸法を算出し、前記収納予定物を収納することができるか否かを判定する収納可否判定部と、を備えること
    　を特徴とする冷蔵庫。
  14. 　庫内の画像を撮像画像として撮像する撮像部と、
    　外部ネットワークと接続され、前記庫内に収納する収納予定物の形状を示す形状情報と前記庫内の予め定められた部分の寸法を示す寸法情報を含む冷蔵庫構造情報とを受信する通信部と、
    　前記撮像画像内における前記予め定められた部分の寸法と、前記寸法情報で示される前記予め定められた部分の寸法とを比較することで、前記形状情報に基づいて、前記収納予定物の前記撮像画像内における寸法を算出し、前記収納予定物を収納することができるか否かを判定する収納可否判定部と、を備えること
    　を特徴とする冷蔵庫。
  15. 　前記通信部は、前記収納予定物の前記撮像画像内における寸法を前記外部ネットワークに送信すること
    　を特徴とする請求項１３又は１４に記載の冷蔵庫。
  16. 　前記収納予定物の前記撮像画像内における寸法に基づき前記収納予定物の第１の外形画像を生成し、当該第１の外形画像を前記撮像画像に合成することで第１のシミュレーション画像を生成するシミュレーション画像生成部と、
    　前記第１のシミュレーション画像を表示する表示部と、をさらに備えること
    　を特徴とする請求項１３又は１４に記載の冷蔵庫。
PCT/JP2017/026652 2016-07-27 2017-07-24 シミュレーションシステム、シミュレーション方法及び冷蔵庫 WO2018021229A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018529871A JP6771563B2 (ja) 2016-07-27 2017-07-24 シミュレーションシステム、シミュレーション方法及び冷蔵庫

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-146919 2016-07-27
JP2016146919 2016-07-27

Publications (1)

Publication Number Publication Date
WO2018021229A1 true WO2018021229A1 (ja) 2018-02-01

Family

ID=61016264

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/026652 WO2018021229A1 (ja) 2016-07-27 2017-07-24 シミュレーションシステム、シミュレーション方法及び冷蔵庫

Country Status (2)

Country Link
JP (1) JP6771563B2 (ja)
WO (1) WO2018021229A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021092969A (ja) * 2019-12-10 2021-06-17 東芝ライフスタイル株式会社 食品管理システム
US20230005267A1 (en) * 2021-06-30 2023-01-05 Fujitsu Limited Computer-readable recording medium, fraud detection method, and fraud detection apparatus
WO2024022401A1 (zh) * 2022-07-28 2024-02-01 海尔智家股份有限公司 用于制冷电器的智能可调节层架

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014209048A (ja) * 2013-03-29 2014-11-06 パナソニック株式会社 冷蔵庫および冷蔵庫内表示システム
JP2015068525A (ja) * 2013-09-27 2015-04-13 三菱電機株式会社 冷蔵庫
JP2015232412A (ja) * 2014-06-09 2015-12-24 三菱電機株式会社 冷蔵庫及びネットワークシステム
JP2016061556A (ja) * 2014-09-22 2016-04-25 三菱電機株式会社 保冷保温庫、及び、その管理システム
JP2017097594A (ja) * 2015-11-24 2017-06-01 三菱電機株式会社 購入支援プログラム、庫内画像サーバおよび購入支援システム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1125151A (ja) * 1997-07-09 1999-01-29 Bokuundou:Kk 商品陳列シミュレーションシステム
JP2004005197A (ja) * 2002-05-31 2004-01-08 Ricoh Co Ltd シミュレーションシステム、シミュレーション方法及びプログラム
JP3978432B2 (ja) * 2004-01-29 2007-09-19 株式会社つくばマルチメディア ウェブカメラ買物システム
DE102008018436B4 (de) * 2008-04-11 2022-01-13 Hänel & Co. Lagerregal mit automatischer Lagerortbuchung
JP2012193873A (ja) * 2011-03-15 2012-10-11 Nikon Corp 収納装置
KR102003938B1 (ko) * 2012-08-10 2019-07-25 엘지전자 주식회사 이동 단말기 및 그것의 제어 방법
JP2016196981A (ja) * 2015-04-03 2016-11-24 三菱電機株式会社 庫内管理システムおよび庫内管理方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014209048A (ja) * 2013-03-29 2014-11-06 パナソニック株式会社 冷蔵庫および冷蔵庫内表示システム
JP2015068525A (ja) * 2013-09-27 2015-04-13 三菱電機株式会社 冷蔵庫
JP2015232412A (ja) * 2014-06-09 2015-12-24 三菱電機株式会社 冷蔵庫及びネットワークシステム
JP2016061556A (ja) * 2014-09-22 2016-04-25 三菱電機株式会社 保冷保温庫、及び、その管理システム
JP2017097594A (ja) * 2015-11-24 2017-06-01 三菱電機株式会社 購入支援プログラム、庫内画像サーバおよび購入支援システム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021092969A (ja) * 2019-12-10 2021-06-17 東芝ライフスタイル株式会社 食品管理システム
JP7457494B2 (ja) 2019-12-10 2024-03-28 東芝ライフスタイル株式会社 食品管理システム
US20230005267A1 (en) * 2021-06-30 2023-01-05 Fujitsu Limited Computer-readable recording medium, fraud detection method, and fraud detection apparatus
WO2024022401A1 (zh) * 2022-07-28 2024-02-01 海尔智家股份有限公司 用于制冷电器的智能可调节层架

Also Published As

Publication number Publication date
JP6771563B2 (ja) 2020-10-21
JPWO2018021229A1 (ja) 2019-01-10

Similar Documents

Publication Publication Date Title
US11189105B2 (en) Image processing device, image processing method, and program
JP6314137B2 (ja) 誘導サービス方法及びサーバ装置
JP5438861B1 (ja) 追跡支援装置、追跡支援システムおよび追跡支援方法
JP6399356B2 (ja) 追跡支援装置、追跡支援システムおよび追跡支援方法
JP5506990B1 (ja) 追跡支援装置、追跡支援システムおよび追跡支援方法
JP5280590B2 (ja) 情報処理システム、情報処理方法及びプログラム
WO2018021229A1 (ja) シミュレーションシステム、シミュレーション方法及び冷蔵庫
EP3182349A2 (en) Planogram matching
JP2011146796A5 (ja)
US11941763B2 (en) Viewing system, model creation apparatus, and control method
US20180137215A1 (en) Electronic apparatus for and method of arranging object in space
JP5586071B2 (ja) 撮影支援装置、撮影支援方法、及びプログラム
JP7245049B2 (ja) 冷蔵庫システム、サーバ装置、冷蔵庫、通信端末およびサーバ装置の制御方法
JP6051835B2 (ja) 映像出力装置、映像出力方法、及びプログラム
EP2639767A1 (en) A method of interrelating shared object information in multiple images, an image processing system and a computer program product
TWI605404B (zh) Image display system, image display method, and image display program
JP2022014758A (ja) 情報処理装置及びプログラム
JP2019212262A (ja) 位置関係検出装置
KR20240040043A (ko) 정보처리 장치
JP2023165429A (ja) 物品位置表示方法、物品位置表示プログラム及び物品位置表示装置
US20180336570A1 (en) Customer relation management device and method
JPWO2018104998A1 (ja) 情報処理装置、制御方法、及びプログラム
JP2006139361A (ja) 対象検出装置およびそのプログラム

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 2018529871

Country of ref document: JP

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17834235

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17834235

Country of ref document: EP

Kind code of ref document: A1