[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP2023130743A - Information processing unit and information processing program - Google Patents

Information processing unit and information processing program Download PDF

Info

Publication number
JP2023130743A
JP2023130743A JP2022035208A JP2022035208A JP2023130743A JP 2023130743 A JP2023130743 A JP 2023130743A JP 2022035208 A JP2022035208 A JP 2022035208A JP 2022035208 A JP2022035208 A JP 2022035208A JP 2023130743 A JP2023130743 A JP 2023130743A
Authority
JP
Japan
Prior art keywords
target range
detection target
product
detection
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022035208A
Other languages
Japanese (ja)
Inventor
碧唯 加茂
Aoi Kamo
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fujifilm Business Innovation Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Business Innovation Corp filed Critical Fujifilm Business Innovation Corp
Priority to JP2022035208A priority Critical patent/JP2023130743A/en
Publication of JP2023130743A publication Critical patent/JP2023130743A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Studio Devices (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Analysis (AREA)

Abstract

To set a detection target range of commodity detection processing in a captured image of a commodity shelf when the image is captured.SOLUTION: A display processing unit 24 displays on a display 16 a live view image 42 obtained by imaging a commodity shelf with a camera 18. A detection target range setting unit 26 sets a detection target range 50 being the all or a part of an image obtained by imaging with the camera 18, in response to a user's manipulation during the display of the live view image 42. A commodity detection processing unit 30 executes commodity detection processing of detecting a commodity on the detection target range 50 set by the detection target range setting unit 26, from in the image obtained by imaging with the camera 18.SELECTED DRAWING: Figure 3

Description

本発明は、情報処理装置及び情報処理プログラムに関する。 The present invention relates to an information processing device and an information processing program.

従来、商品が配置された商品棚をカメラで撮像して撮像画像を取得し、当該撮像画像を解析することで、当該商品棚に配置された商品を検出する商品検出処理が行われている。 BACKGROUND ART Conventionally, a product detection process is performed in which a camera captures a product shelf on which products are arranged to obtain a captured image, and the captured image is analyzed to detect products arranged on the product shelf.

例えば、特許文献1には、商品棚を撮影して得られた撮影画像から商品を検出する棚割情報生成装置であって、ユーザが撮影画像の商品棚の段の位置を指定し、撮影画像から検出された商品の位置と、ユーザによって指定された商品棚の段の位置との関係に基づいて、検出された商品が配置されている段を特定する棚割情報生成装置が開示されている。特許文献2又は3には、商品棚を撮影して得られた撮影画像から商品を検出する棚割情報生成装置であって、カメラで撮像して得られるライブビュー画像(ファインダ画像)上に、商品棚の位置を表すガイドマークを表示させ、当該ガイドマークに合わせて商品棚を撮影可能な棚割情報生成装置が開示されている。 For example, Patent Document 1 discloses a planogram information generation device that detects products from a photographed image obtained by photographing a product shelf, in which a user specifies the position of a shelf on a product shelf in a photographed image, and Disclosed is a planogram information generating device that identifies a shelf on which a detected product is placed based on the relationship between the position of the product detected from the product and the position of the product shelf shelf designated by the user. . Patent Document 2 or 3 describes a planogram information generation device that detects products from a photographed image obtained by photographing a product shelf, and on a live view image (finder image) obtained by photographing with a camera, A planogram information generation device is disclosed that displays guide marks indicating the positions of product shelves and can photograph the product shelves in accordance with the guide marks.

特許第6623565号公報Patent No. 6623565 特許第6933273号公報Patent No. 6933273 特許第6679847号公報Patent No. 6679847

ところで、商品棚を撮像して得られた撮像画像から商品を検出する商品検出処理を行う際に、当該撮像画像の一部分のみを商品検出処理の対象としたい場合がある。その理由として、これに限られるものではないが、例えば、複数の商品棚に配置された商品を商品棚毎に検出したい場合、注目商品棚以外の他の商品棚の一部(又は全部)が撮像画像に写り込んでしまうと、他の商品棚に配置された商品も注目商品棚に配置された商品として検出されてしまう場合があるからである。また、撮影画像に写っている、注目商品棚以外にある物体(商品とは限らない)が、商品検出処理の精度を低下させる要因になる場合も考えられる。 By the way, when performing a product detection process of detecting a product from a captured image obtained by capturing a product shelf, there are cases where it is desired to target only a part of the captured image. The reason for this is, but is not limited to, for example, if you want to detect products placed on multiple product shelves for each product shelf, some (or all) of the product shelves other than the focused product shelf This is because if the product is included in the captured image, products placed on other product shelves may also be detected as products placed on the product shelf of interest. Furthermore, an object (not necessarily a product) that is shown in the photographed image and is located on a shelf other than the product shelf of interest may be a factor that reduces the accuracy of the product detection process.

したがって、撮像画像において、商品検出処理の対象範囲である検出対象範囲を設定するのがよい。ここで、商品棚を撮影した後に、撮影により得られた画像データに対して、人の手によって検出対象範囲を設定することも考えられる。しかしながら、そのようにすると、当該画像データを何らかの装置にて表示させた上で検出対象範囲を特定しなければならず手間となる。また、撮影者と検出対象範囲の設定者が異なる場合などにあっては、画像データの内容によっては、正しい検出対象範囲が事後的に分からなくなるといった問題も発生し得る。 Therefore, it is preferable to set a detection target range, which is a target range of the product detection process, in the captured image. Here, it is also conceivable that after photographing the product shelf, the detection target range is manually set for the image data obtained by photographing. However, if this is done, the image data must be displayed on some device and then the detection target range must be specified, which is time consuming. Further, in cases where the photographer and the person who set the detection target range are different, a problem may arise in which the correct detection target range cannot be determined after the fact depending on the content of the image data.

本発明の目的は、商品棚が写された撮像画像の撮像時において、当該撮像画像における商品検出処理の検出対象範囲を設定可能とすることにある。 An object of the present invention is to make it possible to set a detection target range for product detection processing in a captured image when capturing an image in which a product shelf is captured.

請求項1に係る発明は、プロセッサを備え、前記プロセッサは、カメラによって商品棚を撮像して得られるライブビュー画像を表示部に表示させ、前記ライブビュー画像の表示中におけるユーザの操作に応じて、前記カメラで撮像して得られる撮像画像における、商品を検出する商品検出処理の対象範囲である検出対象範囲を設定し、前記検出対象範囲に対して前記商品検出処理を実行する、ことを特徴とする情報処理装置である。
請求項2に係る発明は、プロセッサを備え、前記プロセッサは、カメラによって商品棚を撮像して得られるライブビュー画像を表示部に表示させ、前記ライブビュー画像の表示中におけるユーザの操作に応じて、前記カメラで撮像して得られる撮像画像における、商品を検出する商品検出処理の対象範囲である検出対象範囲を設定し、前記検出対象範囲に対して前記商品検出処理を実行する商品検出処理装置に対して、前記撮像画像及び前記検出対象範囲を示す情報を送信する、ことを特徴とする情報処理装置である。
請求項3に係る発明は、前記プロセッサは、前記ライブビュー画像が表示された前記表示部に対する前記ユーザの操作に応じて、前記検出対象範囲を設定する、ことを特徴とする請求項1又は2に記載の情報処理装置である。
請求項4に係る発明は、前記プロセッサは、前記表示部に対する前記ユーザのスライド操作に応じて、前記検出対象範囲の大きさを変更する、ことを特徴とする請求項3に記載の情報処理装置である。
請求項5に係る発明は、前記プロセッサは、前記ユーザから前記検出対象範囲の輪郭の指定を受け付ける、ことを特徴とする請求項1から4のいずれか1項に記載の情報処理装置である。
請求項6に係る発明は、前記プロセッサは、設定した前記検出対象範囲を示す態様で前記ライブビュー画像を前記表示部に表示させる、ことを特徴とする請求項1から5のいずれか1項に記載の情報処理装置である。
請求項7に係る発明は、前記プロセッサは、前記ライブビュー画像の前記検出対象範囲以外の部分は表示しない、ことを特徴とする請求項6に記載の情報処理装置である。
請求項8に係る発明は、前記プロセッサは、前記検出対象範囲に対して物体を検出する物体検出処理を実行し、前記物体検出処理の結果を示す情報を前記ライブビュー画像と共に前記表示部に表示させる、ことを特徴とする請求項1から7のいずれか1項に記載の情報処理装置である。
請求項9に係る発明は、前記プロセッサは、前記検出対象範囲に基づいて前記撮像画像をトリミングし、トリミングされた前記撮像画像を前記商品検出処理装置に送信する、ことを特徴とする請求項2に記載の情報処理装置である。
請求項10に係る発明は、コンピュータに、カメラによって商品棚を撮像して得られるライブビュー画像を表示部に表示させ、前記ライブビュー画像の表示中におけるユーザの操作に応じて、前記カメラで撮像して得られる撮像画像における、商品を検出する商品検出処理の対象範囲である検出対象範囲を設定させ、前記検出対象範囲に対して前記商品検出処理を実行させる、ことを特徴とする情報処理プログラムである。
請求項11に係る発明は、コンピュータに、カメラによって商品棚を撮像して得られるライブビュー画像を表示部に表示させ、前記ライブビュー画像の表示中におけるユーザの操作に応じて、前記カメラで撮像して得られる撮像画像における、商品を検出する商品検出処理の対象範囲である検出対象範囲を設定させ、前記検出対象範囲に対して前記商品検出処理を実行する商品検出処理装置に対して、前記撮像画像及び前記検出対象範囲を示す情報を送信させる、ことを特徴とする情報処理プログラムである。
The invention according to claim 1 includes a processor, and the processor causes a display unit to display a live view image obtained by imaging a product shelf with a camera, and according to a user's operation while displaying the live view image. , setting a detection target range that is a target range of a product detection process for detecting a product in a captured image obtained by capturing with the camera, and executing the product detection process on the detection target range. This is an information processing device.
The invention according to claim 2 includes a processor, and the processor causes a display unit to display a live view image obtained by capturing an image of a product shelf with a camera, and according to a user's operation while displaying the live view image. , a product detection processing device that sets a detection target range that is a target range of product detection processing for detecting products in a captured image obtained by capturing the image with the camera, and executes the product detection processing on the detection target range. The information processing apparatus is characterized in that the information processing apparatus transmits information indicating the captured image and the detection target range to the information processing apparatus.
The invention according to claim 3 is characterized in that the processor sets the detection target range according to the user's operation on the display unit on which the live view image is displayed. The information processing device described in .
The invention according to claim 4 is the information processing apparatus according to claim 3, wherein the processor changes the size of the detection target range according to the user's sliding operation on the display unit. It is.
The invention according to claim 5 is the information processing apparatus according to any one of claims 1 to 4, wherein the processor receives a designation of the outline of the detection target range from the user.
The invention according to claim 6 is characterized in that the processor causes the display unit to display the live view image in a manner indicating the set detection target range. This is the information processing device described.
The invention according to claim 7 is the information processing apparatus according to claim 6, wherein the processor does not display a portion of the live view image other than the detection target range.
In the invention according to claim 8, the processor executes an object detection process for detecting an object in the detection target range, and displays information indicating a result of the object detection process on the display unit together with the live view image. The information processing apparatus according to any one of claims 1 to 7, characterized in that:
The invention according to claim 9 is characterized in that the processor trims the captured image based on the detection target range and transmits the trimmed captured image to the product detection processing device. The information processing device described in .
The invention according to claim 10 causes a computer to display a live view image obtained by capturing an image of a product shelf with a camera on a display unit, and to display a live view image obtained by capturing an image of a product shelf with the camera in response to a user's operation while displaying the live view image. An information processing program characterized in that a detection target range is set as a target range of a product detection process for detecting a product in a captured image obtained by performing a process, and the product detection process is executed for the detection target range. It is.
The invention according to claim 11 causes a computer to display a live view image obtained by capturing an image of a product shelf with a camera on a display unit, and to display a live view image obtained by capturing an image of a product shelf with the camera in response to a user's operation while displaying the live view image. A product detection processing device that sets a detection target range that is a target range of product detection processing for detecting products in a captured image obtained by This is an information processing program characterized by causing a captured image and information indicating the detection target range to be transmitted.

請求項1、2、10、又は11に係る発明によれば、商品棚が写された撮像画像の撮像時において、当該撮像画像における商品検出処理の検出対象範囲を設定することができる。
請求項3に係る発明によれば、ユーザは、ライブビュー画像が表示された表示部に対する操作によって検出対象範囲を設定することができる。
請求項4に係る発明によれば、ユーザは、ライブビュー画像が表示された表示部に対するスライド操作によって検出対象範囲を設定することができる。
請求項5に係る発明によれば、検出対象範囲を明示的に設定することができる。
請求項6に係る発明によれば、ユーザは、ライブビュー画像において設定した検出対象範囲を確認することができる。
請求項7に係る発明によれば、ユーザは、ライブビュー画像において検出対象範囲以外の部分が表示された場合に比して、検出対象範囲をより明確に把握することができる。
請求項8に係る発明によれば、ユーザは、物体検出処理の結果を参考にして検出対象範囲を設定することができる。
請求項9に係る発明によれば、撮像画像のうち、商品検出処理に必要な部分のみを商品検出装置に送信することができる。
According to the invention according to claim 1, 2, 10, or 11, when a captured image showing a product shelf is captured, it is possible to set a detection target range for product detection processing in the captured image.
According to the third aspect of the invention, the user can set the detection target range by operating the display section on which the live view image is displayed.
According to the fourth aspect of the invention, the user can set the detection target range by performing a slide operation on the display section on which the live view image is displayed.
According to the invention according to claim 5, the detection target range can be explicitly set.
According to the invention according to claim 6, the user can confirm the detection target range set in the live view image.
According to the invention according to claim 7, the user can understand the detection target range more clearly than when a portion other than the detection target range is displayed in the live view image.
According to the invention according to claim 8, the user can set the detection target range with reference to the result of the object detection process.
According to the invention according to claim 9, only the portion of the captured image that is necessary for the product detection process can be transmitted to the product detection device.

第1実施形態に係る情報処理装置の構成概略図である。FIG. 1 is a schematic configuration diagram of an information processing device according to a first embodiment. 撮影画面の例を示す図である。It is a figure showing an example of a photographing screen. スライド操作により検出対象範囲が設定される例を示す第1の図である。FIG. 3 is a first diagram showing an example in which a detection target range is set by a slide operation. スライド操作により検出対象範囲が設定される例を示す第2の図である。FIG. 7 is a second diagram showing an example in which a detection target range is set by a slide operation. 検出対象範囲の他の表示例を示す図である。FIG. 7 is a diagram showing another display example of a detection target range. スライド操作により検出対象範囲が設定される例を示す第3の図である。FIG. 7 is a third diagram showing an example in which a detection target range is set by a slide operation. スライド操作により検出対象範囲が設定される例を示す第4の図である。FIG. 12 is a fourth diagram showing an example in which a detection target range is set by a slide operation. 検出対象範囲の他の例を示す図である。FIG. 7 is a diagram showing another example of a detection target range. 棚割情報の例を示す図である。It is a figure showing an example of shelf allocation information. 物体検出処理の結果の表示例を示す図である。FIG. 6 is a diagram illustrating an example of displaying the results of object detection processing. 第2実施形態に係る情報処理システムの構成概略図である。FIG. 2 is a schematic configuration diagram of an information processing system according to a second embodiment. 第2実施形態に係る情報処理装置の構成概略図である。FIG. 2 is a schematic configuration diagram of an information processing device according to a second embodiment.

<第1実施形態>
図1は、第1実施形態に係る情報処理装置10の構成概略図である。情報処理装置10は、カメラ機能を備え、ユーザが携帯して利用可能な装置である。詳しくは後述するように、情報処理装置10は、商品棚を撮像し、それにより得られた撮像画像データ(本明細書では、画像データを単に「画像」と記載する場合がある)を解析することで、当該撮像画像に映っている商品(当該商品棚に置かれている商品)を検出する装置である。したがって、情報処理装置10のユーザは、商品を製造しているメーカの従業員、当該商品が置かれている店の従業員、あるいは、店の売り場作りを支援するサービスを提供する企業の従業員などである。情報処理装置10は、例えば、タブレット端末やスマートフォンなどであるが、これらに限られるものではない。
<First embodiment>
FIG. 1 is a schematic diagram of the configuration of an information processing device 10 according to the first embodiment. The information processing device 10 is a device that has a camera function and can be carried and used by a user. As will be described in detail later, the information processing device 10 images the product shelf and analyzes the captured image data (in this specification, image data may simply be referred to as "image"). This is a device that detects the product shown in the captured image (the product placed on the product shelf). Therefore, the user of the information processing device 10 is an employee of a manufacturer that manufactures a product, an employee of a store where the product is located, or an employee of a company that provides a service that supports the creation of a store's sales floor. etc. The information processing device 10 is, for example, a tablet terminal or a smartphone, but is not limited to these.

通信インターフェース12は、例えばNIC(Network Interface Card)を含んで構成される。通信インターフェース12は、LAN(Local Area Network)やWAN(Wide Area Network)、あるいは移動体通信ネットワークなどの通信回線を介して他の装置と通信する機能を発揮する。 The communication interface 12 includes, for example, a NIC (Network Interface Card). The communication interface 12 functions to communicate with other devices via a communication line such as a LAN (Local Area Network), a WAN (Wide Area Network), or a mobile communication network.

入力インターフェース14は、例えば各種ボタンやタッチパネルを含んで構成される。入力インターフェース14は、情報処理装置10のユーザからの指示を情報処理装置10に入力するために用いられる。 The input interface 14 includes, for example, various buttons and a touch panel. The input interface 14 is used to input instructions from a user of the information processing device 10 to the information processing device 10 .

表示部としてのディスプレイ16は、例えば液晶パネルや有機EL(Electro Luminescence)パネルを含んで構成される。ディスプレイ16には、後述のプロセッサ22(特に表示処理部24)の制御に従って、種々の画面が表示される。 The display 16 as a display unit includes, for example, a liquid crystal panel or an organic EL (Electro Luminescence) panel. Various screens are displayed on the display 16 under the control of a processor 22 (particularly a display processing section 24), which will be described later.

カメラ18は、デジタルカメラであり、レンズなどの光学系や、光学系からの光を電気信号に変換して画像を形成するCCD(Charge Coupled Device)などのイメージセンサを含んで構成される。カメラ18は静止画像を取得するスチルカメラであってもよいし、動画像を取得するビデオカメラであってもよい。カメラ18はズーム機能(光学ズーム又はデジタルズームの少なくとも一方)を有しているとよい。 The camera 18 is a digital camera, and includes an optical system such as a lens, and an image sensor such as a CCD (Charge Coupled Device) that converts light from the optical system into an electrical signal to form an image. The camera 18 may be a still camera that captures still images, or a video camera that captures moving images. The camera 18 preferably has a zoom function (at least one of optical zoom and digital zoom).

メモリ20は、eMMC(embedded Multi Media Card)、ROM(Read Only Memory)、あるいはRAM(Random Access Memory)などを含んで構成される。メモリ20には、情報処理装置10の各部を動作させるための情報処理プログラムが記憶される。なお、情報処理プログラムは、USB(Universal Serial Bus)メモリ又はCD-ROMなどのコンピュータ読み取り可能な非一時的な記憶媒体に格納することもできる。情報処理装置10は、そのような記憶媒体から情報処理プログラムを読み取って実行することができる。 The memory 20 is configured to include eMMC (embedded Multi Media Card), ROM (Read Only Memory), RAM (Random Access Memory), and the like. The memory 20 stores an information processing program for operating each part of the information processing device 10. Note that the information processing program can also be stored in a computer-readable non-temporary storage medium such as a USB (Universal Serial Bus) memory or a CD-ROM. The information processing device 10 can read and execute an information processing program from such a storage medium.

プロセッサ22は、広義的なプロセッサを指し、汎用的なプロセッサ(例えばCPU(Central Processing Unit)など)、及び、専用の処理装置(例えばGPU(Graphics Processing Unit)、ASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)、あるいは、プログラマブル論理デバイスなど)の少なくとも1つを含んで構成される。プロセッサ22としては、1つの処理装置によるものではなく、物理的に離れた位置に存在する複数の処理装置の協働により構成されるものであってもよい。図2に示すように、プロセッサ22は、メモリ20に記憶された情報処理プログラムに従って、表示処理部24、検出対象範囲設定部26、対象画像特定部28、及び商品検出処理部30としての機能を発揮する。 The processor 22 refers to a processor in a broad sense, and includes a general-purpose processor (for example, a CPU (Central Processing Unit), etc.) and a dedicated processing device (for example, a GPU (Graphics Processing Unit), an ASIC (Application Specific Integrated Circuit), an FPGA, etc.). (Field-Programmable Gate Array, programmable logic device, etc.). The processor 22 may be configured not by a single processing device but by the cooperation of a plurality of processing devices located at physically separate locations. As shown in FIG. 2, the processor 22 performs functions as a display processing section 24, a detection target range setting section 26, a target image specifying section 28, and a product detection processing section 30 according to the information processing program stored in the memory 20. Demonstrate.

表示処理部24は、ディスプレイ16に種々の画面を表示させる。特に、表示処理部24は、ユーザによってカメラ機能が起動されると、撮影画像を取得するための撮影画面をディスプレイ16に表示させる。 The display processing unit 24 causes the display 16 to display various screens. In particular, when the camera function is activated by the user, the display processing unit 24 causes the display 16 to display a photographing screen for acquiring a photographed image.

図2は、ディスプレイ16に表示された撮影画面40の例を示す図である。本明細書における図面においては、ディスプレイ16に表示された画面の左右方向をX軸とし、画面の上下方向をY軸としている。撮影画面40には、カメラ18が撮像して得られたライブビュー画像42が含まれる。ライブビュー画像42とは、カメラ18のイメージセンサが生成した画像であってリアルタイムにディスプレイ16に表示される画像である。上述のように、情報処理装置10は、商品が置かれた商品棚を撮影するものであるから、ライブビュー画像42には、商品に対応する商品像M及び商品棚に対応する商品棚像Sが含まれる。なお、撮影画面40には、撮影ボタン44が含まれる。ユーザが撮影ボタン44を操作することで、静止画像の撮影(又は動画像の撮影開始)をすることができる。 FIG. 2 is a diagram showing an example of the photographing screen 40 displayed on the display 16. In the drawings in this specification, the horizontal direction of the screen displayed on the display 16 is the X axis, and the vertical direction of the screen is the Y axis. The shooting screen 40 includes a live view image 42 captured by the camera 18. The live view image 42 is an image generated by the image sensor of the camera 18 and is displayed on the display 16 in real time. As described above, since the information processing device 10 photographs the product shelf on which the product is placed, the live view image 42 includes the product image M corresponding to the product and the product shelf image S corresponding to the product shelf. is included. Note that the shooting screen 40 includes a shooting button 44. By operating the shooting button 44, the user can shoot a still image (or start shooting a moving image).

本明細書において、「撮影」とは、ユーザの指示などに応じて、カメラ18のイメージセンサにより生成された画像を、撮影画像(つまり静止画ファイル又は動作ファイル)としてメモリ20記憶させることを意味するものとする。また、「撮像」とは、カメラ18のイメージセンサにより生成された画像がメモリ20に記憶されるか否かを問わず、当該イメージセンサによって画像を生成することを意味するものとする。すなわち、「撮像」は「撮影」の上位概念であり「撮像画像」には「撮影画像」が含まれる。例えば、ライブビュー画像42は、「撮像画像」に含まれるが「撮影画像」には含まれない。 In this specification, "photographing" means storing an image generated by the image sensor of the camera 18 in the memory 20 as a photographed image (that is, a still image file or a motion file) in response to a user's instruction or the like. It shall be. Moreover, "imaging" shall mean generating an image by the image sensor of the camera 18, regardless of whether the image generated by the image sensor is stored in the memory 20 or not. That is, "imaging" is a superordinate concept of "photographing", and "captured image" includes "photographed image". For example, the live view image 42 is included in "captured images" but not included in "captured images."

情報処理装置10において、カメラ18により撮像された撮像画像を解析することで、当該撮像画像に含まれる商品を検出する商品検出処理が実行されるところ、情報処理装置10においては、ライブビュー画像42の表示中、すなわち撮像画像の撮影時において、撮像画像において商品検出処理の対象となる検出対象範囲を設定可能となっている。 In the information processing device 10, a product detection process is executed to detect a product included in the captured image by analyzing the captured image captured by the camera 18. While displaying the image, that is, when capturing the captured image, it is possible to set a detection target range for the product detection process in the captured image.

検出対象範囲設定部26は、ライブビュー画像42の表示中におけるユーザの操作に応じて、カメラ18で撮像して得られる撮像画像における、商品検出処理の対象である検出対象範囲を設定する。検出対象範囲は、撮像画像の全部であってもよいし、撮像画像の一部であってもよい。本実施形態では、検出対象範囲設定部26は、ライブビュー画像42が表示されたディスプレイ16(タッチパネル)に対するユーザの操作に応じて、ライブビュー画像42上において検出対象範囲を設定する。特に、検出対象範囲設定部26は、指やスタイラスをディスプレイ16に接触させながら移動させるスライド操作に応じて、ライブビュー画像42上において検出対象範囲を設定する。 The detection target range setting unit 26 sets a detection target range, which is a target of product detection processing, in a captured image obtained by capturing with the camera 18, in response to a user's operation while the live view image 42 is being displayed. The detection target range may be the entire captured image or a part of the captured image. In this embodiment, the detection target range setting unit 26 sets a detection target range on the live view image 42 in response to a user's operation on the display 16 (touch panel) on which the live view image 42 is displayed. In particular, the detection target range setting unit 26 sets a detection target range on the live view image 42 in response to a slide operation in which a finger or stylus is moved while touching the display 16.

例えば、表示処理部24は、撮影画面40において、ライブビュー画像42と共に、スライドバー46、及び、ユーザのスライド操作によってスライドバー46上を移動可能なスライダ48を表示させる。図2の例では、スライドバー46は画面の上下方向(Y軸方向)に延伸しており、スライダ48は画面の上下方向に移動可能となっているが、スライドバー46の延伸方向(スライダ48の移動方向)はこれには限られない。初期状態(撮影画面40の表示開始時)において、スライダ48はスライドバー46の中央(上下方向中央)に位置しており、初期状態においては、ライブビュー画像42の全部(撮像画像の全部)が検出対象範囲となっている。ライブビュー画像42は矩形であるから、初期状態において検出対象範囲は矩形であると言える。 For example, the display processing unit 24 displays a slide bar 46 and a slider 48 movable on the slide bar 46 by the user's slide operation, together with the live view image 42, on the shooting screen 40. In the example of FIG. 2, the slide bar 46 extends in the vertical direction of the screen (Y-axis direction), and the slider 48 is movable in the vertical direction of the screen. direction of movement) is not limited to this. In the initial state (when the shooting screen 40 starts displaying), the slider 48 is located at the center (vertical center) of the slide bar 46, and in the initial state, the entire live view image 42 (the entire captured image) is It is within the detection range. Since the live view image 42 is rectangular, it can be said that the detection target range is rectangular in the initial state.

ユーザによってスライダ48がスライドバー46に沿って移動させられたことに応じて、検出対象範囲設定部26は、検出対象範囲の形状を変更する。例えば、図3に示すように、スライダ48を初期位置からスライドバー46の一端側(図3の例では下端側(Y軸正方向側))に移動させるようにユーザがスライド操作を行うと、検出対象範囲設定部26は、検出対象範囲50の高さ(Y軸方向における長さ)が小さくなるように、検出対象範囲50の形状を変更する。ユーザがスライダ48の位置をスライドバー46の中央に対してより下端側に位置させるほど、検出対象範囲設定部26は、検出対象範囲50の高さをより小さくするとよい。換言すれば、スライダ48がスライドバー46の中央から徐々に下側に移動するにつれ、検出対象範囲設定部26は、検出対象範囲50の高さを徐々に小さくしていくとよい。 In response to the user moving the slider 48 along the slide bar 46, the detection target range setting unit 26 changes the shape of the detection target range. For example, as shown in FIG. 3, when the user performs a sliding operation to move the slider 48 from the initial position to one end side of the slide bar 46 (in the example of FIG. 3, the lower end side (Y-axis positive direction side)), The detection target range setting unit 26 changes the shape of the detection target range 50 so that the height (length in the Y-axis direction) of the detection target range 50 becomes smaller. It is preferable that the detection target range setting unit 26 decrease the height of the detection target range 50 as the user positions the slider 48 further toward the lower end with respect to the center of the slide bar 46. In other words, as the slider 48 gradually moves downward from the center of the slide bar 46, the detection target range setting unit 26 may gradually reduce the height of the detection target range 50.

一方、図4に示すように、スライダ48を初期位置からスライドバー46の他端側(図3の例では上端側(Y軸負方向側))に移動させるようにユーザがスライド操作を行うと、検出対象範囲設定部26は、検出対象範囲50の幅(X軸方向における長さ)が小さくなるように、検出対象範囲50の形状を変更する。ユーザがスライダ48の位置をスライドバー46の中央に対してより上端側に位置させるほど、検出対象範囲設定部26は、検出対象範囲50の幅をより小さくするとよい。換言すれば、スライダ48がスライドバー46の中央から徐々に上側に移動するにつれ、検出対象範囲設定部26は、検出対象範囲50の幅を徐々に小さくするとよい。 On the other hand, as shown in FIG. 4, when the user performs a sliding operation to move the slider 48 from the initial position to the other end side of the slide bar 46 (in the example of FIG. 3, the upper end side (Y-axis negative direction side)). , the detection target range setting unit 26 changes the shape of the detection target range 50 so that the width (length in the X-axis direction) of the detection target range 50 becomes smaller. As the user positions the slider 48 further toward the upper end with respect to the center of the slide bar 46, the detection target range setting unit 26 preferably makes the width of the detection target range 50 smaller. In other words, as the slider 48 gradually moves upward from the center of the slide bar 46, the detection target range setting unit 26 may gradually reduce the width of the detection target range 50.

表示処理部24は、検出対象範囲設定部26が設定した検出対象範囲50を示す態様でライブビュー画像42を表示させるとよい。これにより、ユーザは、設定された検出対象範囲50を把握することができる。例えば、表示処理部24は、図3又は図4に示すように、検出対象範囲50の輪郭を示す枠52をライブビュー画像42に重畳させて表示させるとよい。好適には、表示処理部24は、検出対象範囲50の設定中(例えばユーザがスライダ48を操作していている間)においても検出対象範囲50を示すとよい。この場合、ユーザのスライド操作に応じて、枠52の形状が徐々に変化することになる。 The display processing unit 24 preferably displays the live view image 42 in a manner that shows the detection target range 50 set by the detection target range setting unit 26. Thereby, the user can grasp the set detection target range 50. For example, the display processing unit 24 may display a frame 52 indicating the outline of the detection target range 50 superimposed on the live view image 42, as shown in FIG. 3 or 4. Preferably, the display processing unit 24 may display the detection target range 50 even while the detection target range 50 is being set (for example, while the user is operating the slider 48). In this case, the shape of the frame 52 will gradually change according to the user's sliding operation.

また、表示処理部24は、図5に示すように、ライブビュー画像42のうち、検出対象範囲50以外の部分は表示しないようにしてもよい。これによれば、検出対象範囲50以外の部分が表示された場合に比して、ユーザは、より明確に検出対象範囲50を把握することができる。 Further, as shown in FIG. 5, the display processing unit 24 may not display a portion of the live view image 42 other than the detection target range 50. According to this, the user can understand the detection target range 50 more clearly than when a portion other than the detection target range 50 is displayed.

検出対象範囲50を設定するためのスライド操作は、上述のスライダ48を移動させる操作に限られない。例えば、検出対象範囲50を設定するためのスライド操作としては、2つの指をディスプレイ16に接触させ、当該2つの指のディスプレイ16との接触位置を近付ける又は遠ざけるピンチ操作であってよい。なお、2つの指のディスプレイ16との接触位置を近付ける操作をピンチイン操作と呼び、2つの指のディスプレイ16との接触位置を遠ざける操作をピンチアウト操作と呼ぶ。 The slide operation for setting the detection target range 50 is not limited to the operation of moving the slider 48 described above. For example, the slide operation for setting the detection target range 50 may be a pinch operation in which two fingers are brought into contact with the display 16 and the contact positions of the two fingers with the display 16 are moved closer or farther apart. Note that an operation that brings the contact positions of two fingers with the display 16 closer together is called a pinch-in operation, and an operation that moves the contact positions of two fingers with the display 16 farther apart is called a pinch-out operation.

具体的には、図6に示すように、ディスプレイ16に接触させた2つの指を画面の上下方向に移動させて近づけるピンチイン操作をユーザが行った場合、検出対象範囲設定部26は、検出対象範囲50の高さが小さくなるように、検出対象範囲50の形状を変更する。ユーザが当該2つの指をより近付けるほど、検出対象範囲設定部26は、検出対象範囲50の高さをより小さくするとよい。換言すれば、ユーザが当該2つの指を近付けるにつれ、検出対象範囲設定部26は、検出対象範囲50の高さを徐々に小さくするとよい。 Specifically, as shown in FIG. 6, when the user performs a pinch-in operation in which two fingers that are in contact with the display 16 are moved in the vertical direction of the screen to bring them closer together, the detection target range setting unit 26 The shape of the detection target range 50 is changed so that the height of the range 50 becomes smaller. It is preferable that the detection target range setting unit 26 decrease the height of the detection target range 50 as the user brings the two fingers closer together. In other words, as the user brings the two fingers closer together, the detection target range setting unit 26 may gradually reduce the height of the detection target range 50.

反対に、ディスプレイ16に接触させた2つの指を画面の上下方向に移動させて遠ざけるピンチアウト操作をユーザが行った場合、検出対象範囲設定部26は、検出対象範囲50の高さが大きくなるように、検出対象範囲50の形状を変更する。ユーザが当該2つの指をより遠ざけるほど、検出対象範囲設定部26は、検出対象範囲50の高さをより大きくするとよい。換言すれば、ユーザが当該2つの指を遠ざけるにつれ、検出対象範囲設定部26は、検出対象範囲50の高さを徐々に大きくするとよい。 On the other hand, when the user performs a pinch-out operation in which two fingers that are in contact with the display 16 are moved in the vertical direction of the screen and away from each other, the detection target range setting unit 26 increases the height of the detection target range 50. The shape of the detection target range 50 is changed as shown in FIG. It is preferable that the detection target range setting unit 26 increase the height of the detection target range 50 as the user moves the two fingers further apart. In other words, as the user moves the two fingers away from each other, the detection target range setting unit 26 may gradually increase the height of the detection target range 50.

一方、図7に示すように、ディスプレイ16に接触させた2つの指を画面の左右方向に移動させて近づけるピンチイン操作をユーザが行った場合、検出対象範囲設定部26は、検出対象範囲50の幅が小さくなるように、検出対象範囲50の形状を変更する。ユーザが当該2つの指をより近付けるほど、検出対象範囲設定部26は、検出対象範囲50の幅をより小さくするとよい。換言すれば、ユーザが当該2つの指を近付けるにつれ、検出対象範囲設定部26は、検出対象範囲50の幅を徐々に小さくするとよい。 On the other hand, as shown in FIG. 7, when the user performs a pinch-in operation in which two fingers that are in contact with the display 16 are moved in the horizontal direction of the screen to bring them closer together, the detection target range setting unit 26 sets the detection target range 50. The shape of the detection target range 50 is changed so that the width becomes smaller. It is preferable that the detection target range setting unit 26 make the width of the detection target range 50 smaller as the user brings the two fingers closer together. In other words, as the user brings the two fingers closer together, the detection target range setting unit 26 may gradually reduce the width of the detection target range 50.

反対に、ディスプレイ16に接触させた2つの指を画面の左右方向に移動させて遠ざけるピンチアウト操作をユーザが行った場合、検出対象範囲設定部26は、検出対象範囲50の幅が大きくなるように、検出対象範囲50の形状を変更する。ユーザが当該2つの指をより遠ざけるほど、検出対象範囲設定部26は、検出対象範囲50の幅をより大きくするとよい。換言すれば、ユーザが当該2つの指を遠ざけるにつれ、検出対象範囲設定部26は、検出対象範囲50の幅を徐々に大きくするとよい。 On the other hand, when the user performs a pinch-out operation in which the two fingers that are in contact with the display 16 are moved away from each other in the horizontal direction of the screen, the detection target range setting unit 26 adjusts the width of the detection target range 50 so that the width of the detection target range 50 becomes larger. , the shape of the detection target range 50 is changed. It is preferable that the detection target range setting unit 26 increase the width of the detection target range 50 as the user moves the two fingers further apart. In other words, as the user moves the two fingers away from each other, the detection target range setting unit 26 may gradually increase the width of the detection target range 50.

検出対象範囲50が撮像画像の一部に設定された場合、検出対象範囲設定部26は、ユーザ操作に応じて、検出対象範囲50の位置を変更可能であるとよい。例えば、ユーザが検出対象範囲50内をタッチした上でスライド操作をした場合、検出対象範囲設定部26は、検出対象範囲50の大きさ及び形状を維持しつつ、ユーザが指示した位置に検出対象範囲50の位置を移動させるとよい。 When the detection target range 50 is set to a part of the captured image, the detection target range setting unit 26 is preferably capable of changing the position of the detection target range 50 in accordance with a user operation. For example, when the user touches inside the detection target range 50 and performs a slide operation, the detection target range setting unit 26 moves the detection target to the position specified by the user while maintaining the size and shape of the detection target range 50. It is preferable to move the position of the range 50.

なお、検出対象範囲50を設定するためのユーザ操作は、ライブビュー画像42が表示されたディスプレイ16(タッチパネル)に対するユーザの操作に限られない。例えば、検出対象範囲設定部26は、ライブビュー画像42の表示中において、情報処理装置10が備えるボタンやスイッチなどをユーザが操作したことに応じて、検出対象範囲50を設定(例えば検出対象範囲50の形状を変更)するようにしてもよい。 Note that the user operation for setting the detection target range 50 is not limited to the user's operation on the display 16 (touch panel) on which the live view image 42 is displayed. For example, the detection target range setting unit 26 sets the detection target range 50 (for example, the detection target range 50 may be changed).

本実施形態では、ユーザは、検出対象範囲50の輪郭(換言すれば外形)を直接的に指定している。すなわち、検出対象範囲50は、ユーザから検出対象範囲50の輪郭の指定を受け付け、当該指定が示す輪郭を有する検出対象範囲50を設定する。ユーザが検出対象範囲50の輪郭を直接的に指定しない態様を採用することも考えられる。例えば、ユーザがライブビュー画像42内のある点を指定し、当該点を中心とする所定範囲を検出対象範囲50とすることも考えられる。あるいは、ユーザがライブビュー画像42内において線分(例えば棚板に沿った線分)を指定し、当該線分に応じた所定範囲を検出対象範囲50とすることも考えられる。もちろん、このような実施形態も採用し得るが、このような場合、検出対象範囲50の際をユーザが直接的に指定しておらず、検出対象範囲50の輪郭の細かい設定が困難となる場合も生じ得る。したがって、本実施形態では、検出対象範囲50の輪郭をユーザが指定することを可能にしている。 In this embodiment, the user directly specifies the outline (in other words, the outer shape) of the detection target range 50. That is, the detection target range 50 receives a designation of the contour of the detection target range 50 from the user, and sets the detection target range 50 having the contour indicated by the designation. It is also conceivable to adopt a mode in which the user does not directly specify the outline of the detection target range 50. For example, it is also conceivable that the user specifies a certain point in the live view image 42 and sets a predetermined range centered on the point as the detection target range 50. Alternatively, the user may specify a line segment (for example, a line segment along a shelf board) in the live view image 42, and a predetermined range corresponding to the line segment may be set as the detection target range 50. Of course, such an embodiment may also be adopted, but in such a case, the user does not directly specify the detection target range 50, and it is difficult to set the fine outline of the detection target range 50. may also occur. Therefore, this embodiment allows the user to specify the outline of the detection target range 50.

図3、図4、図6、及び図7で示した例のように、検出対象範囲設定部26が、検出対象範囲50を矩形に維持しつつ、ユーザ指示に応じてその形状を変更している場合、検出対象範囲設定部26は、検出対象範囲50のアスペクト比を変更している、ということもできる。なお、検出対象範囲50の高さをHとし、幅をWとした場合、アスペクト比Rは以下の式で算出される。
R=H/W
As in the examples shown in FIGS. 3, 4, 6, and 7, the detection target range setting unit 26 maintains the detection target range 50 in a rectangular shape and changes its shape in accordance with user instructions. If so, it can also be said that the detection target range setting unit 26 is changing the aspect ratio of the detection target range 50. Note that when the height of the detection target range 50 is H and the width is W, the aspect ratio R is calculated by the following formula.
R=H/W

特に、本実施形態では、検出対象範囲設定部26は、検出対象範囲50の高さ及び幅を個別的に自由に設定可能となっている。すなわち、検出対象範囲設定部26は、検出対象範囲50のアスペクト比を自由に(16:9や4:3といった特定のアスペクト比に限られず)設定できると言える。換言すれば、本実施形態では、ユーザは、検出対象範囲50のアスペクト比を自由に設定できる。 In particular, in this embodiment, the detection target range setting unit 26 can freely set the height and width of the detection target range 50 individually. That is, it can be said that the detection target range setting unit 26 can freely set the aspect ratio of the detection target range 50 (not limited to a specific aspect ratio such as 16:9 or 4:3). In other words, in this embodiment, the user can freely set the aspect ratio of the detection target range 50.

検出対象範囲50は、必ずしも矩形である必要はない。例えば、撮影対象の商品棚の形状や商品の配置の状態などに応じて、検出対象範囲設定部26は、矩形以外の形状の検出対象範囲50を設定可能であってもよい。例えば、図8に示すように、検出対象範囲50は凸型であってもよい。その他、検出対象範囲50としては、例えば、円形、凹型、ハート型、あるいは星型など、種々の形状であってよい。 The detection target range 50 does not necessarily have to be rectangular. For example, the detection target range setting unit 26 may be able to set the detection target range 50 in a shape other than a rectangle depending on the shape of the product shelf to be photographed, the state of product arrangement, and the like. For example, as shown in FIG. 8, the detection target range 50 may have a convex shape. In addition, the detection target range 50 may have various shapes, such as a circle, a concave shape, a heart shape, or a star shape.

具体的には、検出対象範囲50として利用できる種々の形状を予め記憶させておき、表示処理部24が検出対象範囲50の選択画面をディスプレイ16に表示させる。ユーザが当該選択画面において所望の形状を選択すると、検出対象範囲設定部26は、当該形状の検出対象範囲50を、ライブビュー画像42において、所定の大きさ及び所定の位置に設定する。その後、ユーザ操作(例えば検出対象範囲50に対するスライド操作)に応じて、検出対象範囲設定部26は、設定された検出対象範囲50の形状を維持しつつ、その大きさや位置を変更する。 Specifically, various shapes that can be used as the detection target range 50 are stored in advance, and the display processing unit 24 displays a selection screen for the detection target range 50 on the display 16. When the user selects a desired shape on the selection screen, the detection target range setting unit 26 sets the detection target range 50 of the shape to a predetermined size and a predetermined position in the live view image 42. Thereafter, in response to a user operation (for example, a slide operation on the detection target range 50), the detection target range setting unit 26 changes the size and position of the detection target range 50 while maintaining the set shape of the detection target range 50.

上述のように、カメラ18はズーム機能を有している。ユーザは、ズーム機能を利用することによって、カメラ18と商品棚の相対位置関係を維持しつつ、撮像画像(例えばライブビュー画像42)の撮像範囲や、撮像画像における商品棚像Sや商品像Mの大きさを変更することができる。ユーザは、ズーム機能と、上述の検出対象範囲50の設定機能を組み合わせることで、検出対象範囲50をより好適な範囲に設定することができる。 As mentioned above, the camera 18 has a zoom function. By using the zoom function, the user can change the imaging range of the captured image (for example, the live view image 42), the product shelf image S, and the product image M in the captured image while maintaining the relative positional relationship between the camera 18 and the product shelf. The size of can be changed. The user can set the detection target range 50 to a more suitable range by combining the zoom function and the above-described detection target range 50 setting function.

また、撮像画像の撮影支援として、表示処理部24は、ライブビュー画像42において、X軸方向及びY軸方向に延伸する格子上の線からなるグリッドを表示させるとよい。 Further, as support for capturing the captured image, the display processing unit 24 may display a grid made up of lines on a grid extending in the X-axis direction and the Y-axis direction in the live view image 42.

図1に戻り、対象画像特定部28は、カメラ18によって撮像された撮像画像の中から、商品検出処理の対象となる撮像画像である対象画像を特定する。例えば、対象画像特定部28は、ユーザが撮影ボタン44を操作することで撮影された静止画の撮影画像を対象画像として特定する。ユーザが複数の静止画の撮影画像を撮影した場合は、対象画像特定部28は、当該複数の撮影画像のうちユーザによって指定された撮影画像を対象画像とするようにしてもよい。また、対象画像特定部28は、ユーザが撮影ボタン44を操作することで撮影された動画像の内の所定フレームを対象画像として特定してもよい。所定フレームはユーザが選択してもよいし、対象画像特定部28が自動的に選択してもよい。 Returning to FIG. 1, the target image identifying unit 28 identifies a target image, which is a captured image to be subjected to product detection processing, from among the captured images captured by the camera 18. For example, the target image identifying unit 28 identifies a still image photographed by the user operating the photographing button 44 as the target image. If the user has taken a plurality of still images, the target image specifying unit 28 may select a photographed image designated by the user from among the plurality of photographed images as the target image. Further, the target image specifying unit 28 may specify a predetermined frame of a moving image photographed by the user operating the photographing button 44 as the target image. The predetermined frame may be selected by the user, or may be automatically selected by the target image specifying unit 28.

また、対象画像特定部28は、撮影画像ではない撮像画像を対象画像とすることができる。例えば、ライブビュー画像42の内の所定フレームを対象画像として特定することができる。本実施形態では、ライブビュー画像42上において検出対象範囲50を設定するので、例えば、対象画像特定部28は、ユーザによる検出対象範囲50の設定が完了したか否かを判定した上で、設定完了後のライブビュー画像42を対象画像とすることができる。検出対象範囲50の設定が完了したか否かの判定は、例えば、検出対象範囲50の設定完了の通知をユーザが入力したことに基づいて判定してもよいし、あるいは、検出対象範囲50が所定時間変更されなかったことに基づいて判定してもよい。撮像画像を対象画像とすることで、ユーザは、撮影ボタン44を操作するなどの撮影操作を行うことなく、また、画像ファイルを取得することなく、カメラ18を商品棚に向けるだけで商品検出処理を実行させることが可能となる。 Further, the target image specifying unit 28 can set a captured image that is not a photographed image as a target image. For example, a predetermined frame within the live view image 42 can be specified as the target image. In this embodiment, since the detection target range 50 is set on the live view image 42, for example, the target image specifying unit 28 determines whether the setting of the detection target range 50 by the user is completed, and then sets the detection target range 50. The live view image 42 after completion can be used as the target image. The determination as to whether or not the setting of the detection target range 50 has been completed may be based on, for example, the user inputting a notification that the setting of the detection target range 50 has been completed, or the determination whether the detection target range 50 has been completed The determination may be made based on the fact that it has not been changed for a predetermined period of time. By using the captured image as the target image, the user can perform the product detection process by simply pointing the camera 18 at the product shelf without performing any shooting operation such as operating the shooting button 44 or acquiring an image file. It becomes possible to execute.

対象画像特定部28が対象画像を特定すると、当該対象画像と、当該対象画像における検出対象範囲50を示す情報が関連付けられてメモリ20に記憶される。例えば、検出対象範囲50が矩形である場合、検出対象範囲50を示す情報は、検出対象範囲50の四隅の座標(対象画像上の座標)であってよい。また、検出対象範囲50が矩形以外の形状である場合、検出対象範囲50を示す情報は、検出対象範囲50の外接矩形の四隅の座標及び当該検出対象範囲50の形状を示す形状情報であってよい。また、対象画像特定部28は、検出対象範囲50に基づいて対象画像をトリミングした(換言すれば対象画像から検出対象範囲50を抽出した)トリミング画像を保持するようにしてもよい。この場合、トリミング画像全体が検出対象範囲50となるから、トリミング画像自体が検出対象範囲50を示す情報となる。 When the target image identifying unit 28 identifies a target image, the target image and information indicating the detection target range 50 in the target image are stored in the memory 20 in association with each other. For example, when the detection target range 50 is a rectangle, the information indicating the detection target range 50 may be the coordinates of the four corners of the detection target range 50 (coordinates on the target image). Further, when the detection target range 50 has a shape other than a rectangle, the information indicating the detection target range 50 is shape information indicating the coordinates of the four corners of the circumscribed rectangle of the detection target range 50 and the shape of the detection target range 50. good. Further, the target image specifying unit 28 may hold a trimmed image in which the target image is trimmed based on the detection target range 50 (in other words, the detection target range 50 is extracted from the target image). In this case, since the entire trimmed image becomes the detection target range 50, the trimmed image itself becomes information indicating the detection target range 50.

商品検出処理部30は、対象画像特定部28が特定した対象画像のうちの、検出対象範囲設定部26が設定した検出対象範囲50に対して、商品を検出する商品検出処理を実行する。本実施形態における商品検出処理は、検出対象範囲50から物体を検出する物体検出処理、及び、検出された物体が何の商品であるかを特定する商品特定処理を含む。また、商品検出処理には、特定された商品の配置位置を検出する位置検出処理を含んでいてもよい。 The product detection processing unit 30 performs product detection processing for detecting products in the detection target range 50 set by the detection target range setting unit 26 in the target image specified by the target image specifying unit 28 . The product detection process in this embodiment includes an object detection process for detecting an object from the detection target range 50, and a product specifying process for specifying what type of product the detected object is. Further, the product detection process may include a position detection process for detecting the placement position of the specified product.

まず、商品検出処理部30は、検出対象範囲50に対して物体検出処理を実行する。物体検出処理としては、既知の技術を利用することができる。例えば、検出対象範囲50に対してエッジ抽出処理を実行することで物体像の輪郭を抽出し、抽出された物体像の輪郭に基づいて物体像を検出することができる。なお、物体検出処理の段階では、検出された物体(商品)の商品カテゴリや商品名はまだ特定されていない状態である。 First, the product detection processing section 30 performs object detection processing on the detection target range 50. Known techniques can be used for object detection processing. For example, by performing edge extraction processing on the detection target range 50, the outline of the object image can be extracted, and the object image can be detected based on the extracted outline of the object image. Note that at the stage of the object detection process, the product category and product name of the detected object (product) have not yet been specified.

次いで、商品検出処理部30は、物体検出処理で検出された物体が何の商品であるかを特定する商品特定処理を実行する。本実施形態では、商品検出処理部30は、商品像を含む画像を入力することで当該商品が何であるかを特定するように十分に学習された学習器を用いて、当該商品を特定する。具体的には、商品検出処理部30は、物体検出処理により得られた物体像の外接矩形(バウンディングボックス)内の範囲を対象画像から切り出して商品画像を得て、当該商品画像を学習器に入力し、当該学習器の出力に基づいて当該商品を特定する。 Next, the product detection processing unit 30 executes product identification processing to identify what product the object detected in the object detection processing is. In this embodiment, the product detection processing unit 30 specifies the product using a learning device that is sufficiently trained to identify the product by inputting an image including the product image. Specifically, the product detection processing unit 30 obtains a product image by cutting out a range within a circumscribed rectangle (bounding box) of the object image obtained by the object detection process from the target image, and sends the product image to a learning device. input, and identify the product based on the output of the learning device.

ここで、学習器の出力結果の精度を向上させるべく、ユーザは、商品画像が示す商品の商品カテゴリ(例えば「飲み物」や「お菓子」など)を併せて学習器に入力するとよい。一般的に、商品棚において、同じ商品カテゴリの商品がまとめて置かれる場合が多いため、検出対象範囲50に同じ商品カテゴリの商品が含まれるようにすることで、ユーザは、1つの対象画像から検出された複数の商品の商品カテゴリを一括して指定することも可能である。 Here, in order to improve the accuracy of the output results of the learning device, the user may also input the product category of the product indicated by the product image (for example, "drinks", "sweets", etc.) into the learning device. Generally, products of the same product category are often placed together on a product shelf, so by including products of the same product category in the detection target range 50, the user can It is also possible to specify the product category of multiple detected products at once.

なお、物体検出処理によって、商品ではない物体が検出される場合もあり得る。その場合、商品検出処理部30は、当該物体像を含む画像を入力した学習器の出力に基づいて、当該画像には商品像が含まれていないと判定することができる。 Note that an object that is not a product may be detected by the object detection process. In that case, the product detection processing unit 30 can determine that the image does not include the product image, based on the output of the learning device that has input the image including the object image.

また、商品検出処理部30は、検出対象範囲50における各商品像(商品が特定された物体像)の検出位置に基づいて、商品の配置位置を検出する位置検出処理を実行する。例えば、商品検出処理部30は、検出対象範囲50において、複数の商品像が上下方向に3つ並ぶように検出されたのであれば、当該検出対象範囲50において3段の棚があると把握することができる。また、検出対象範囲50における、左右方向における商品像の検出位置に基づいて、検出対象範囲50内において、当該商品が商品棚の左から(又は右から)何番目に配置されているかを把握することができる。 Further, the product detection processing unit 30 executes a position detection process for detecting the placement position of the product based on the detected position of each product image (object image in which the product is identified) in the detection target range 50. For example, if a plurality of product images are detected in the detection range 50 such that three product images are lined up in the vertical direction, the product detection processing unit 30 determines that there are three shelves in the detection range 50. be able to. Furthermore, based on the detected position of the product image in the left and right direction in the detection range 50, it is determined which position from the left (or from the right) the product is placed on the product shelf within the detection range 50. be able to.

商品検出処理部30は、上述のような商品検出処理を実行することで、検出対象範囲50から検出された商品とその位置を示す棚割情報を生成する。図9は、棚割情報の例を示す図である。図9に示す棚割情報においては、当該検出対象範囲50から検出された商品を一意に識別する識別ID、特定された商品名、及び当該商品の配置位置(商品棚の何段目か、及び、商品棚の左右方向における位置)などが互いに関連付けられて記憶される。棚割情報には、撮像対象の商品棚の設置店舗、当該商品棚が当該店舗内のどの商品棚であるのか、あるいは、対象画像の撮影日時などの属性情報が付加されていてもよい。 The product detection processing unit 30 generates planogram information indicating the products detected from the detection target range 50 and their positions by executing the product detection process as described above. FIG. 9 is a diagram showing an example of planogram information. In the planogram information shown in FIG. 9, the identification ID that uniquely identifies the product detected from the detection target range 50, the specified product name, and the placement position of the product (which stage on the product shelf, and , the position of the product shelf in the left-right direction), etc. are stored in association with each other. The shelf allocation information may include attribute information such as the store where the product shelf to be imaged is installed, which product shelf in the store the product shelf is located in, or the date and time when the target image was taken.

当該棚割情報はユーザに提供される。 The planogram information is provided to the user.

商品検出処理部30は、対象画像特定部28により対象画像が特定されるに先立って、ライブビュー画像42のうちの検出対象範囲50に対して、商品検出処理のうちの物体検出処理を実行し、表示処理部24が、当該物体検出処理の結果をライブビュー画像42と共にディスプレイ16に表示させるようにしてもよい。例えば、表示処理部24は、図10に示すように、物体検出処理により検出された物体の外接矩形であるバウンディングボックス54をライブビュー画像42に重畳させて表示させることができる。これにより、ユーザは、目的とする商品が正しく物体として検出されることを確認しながら、検出対象範囲50を設定することができる。 The product detection processing unit 30 performs object detection processing of the product detection processing on the detection target range 50 of the live view image 42 before the target image is specified by the target image specification unit 28. The display processing unit 24 may display the result of the object detection process on the display 16 together with the live view image 42. For example, as shown in FIG. 10, the display processing unit 24 can display a bounding box 54, which is a circumscribed rectangle of the object detected by the object detection process, superimposed on the live view image 42. Thereby, the user can set the detection target range 50 while confirming that the target product is correctly detected as an object.

なお、プロセッサ22の処理性能が十分に高い場合には、商品検出処理部30は、ライブビュー画像42に対して、リアルタイムに商品特定処理を含む商品検出処理を実行し、ライブビュー画像42と共に、リアルタイムに商品特定処理の結果を表示するようにしてもよい。例えば、ライブビュー画像42に重畳させて、検出された商品の近傍に特定された商品名を表示させるようにしてもよい。 Note that when the processing performance of the processor 22 is sufficiently high, the product detection processing unit 30 executes product detection processing including product identification processing on the live view image 42 in real time, The results of product identification processing may be displayed in real time. For example, the specified product name may be displayed in the vicinity of the detected product by superimposing it on the live view image 42.

第1実施形態に係る情報処理装置10の概要は以上の通りである。情報処理装置10によれば、ユーザは、商品棚を被写体とする撮像画像の撮像時において、当該撮像画像における検出対象範囲50を設定することができる。これにより、撮像画像の撮像後において検出対象範囲50を設定する手間がかからないし、撮像画像の撮像後において検出対象範囲50を設定する際に正しい検出対象範囲50が分からなくなってしまうことも防止される。 The outline of the information processing device 10 according to the first embodiment is as described above. According to the information processing device 10, the user can set the detection target range 50 in the captured image when capturing the captured image with the product shelf as the subject. This eliminates the hassle of setting the detection target range 50 after capturing the captured image, and also prevents the user from not knowing the correct detection target range 50 when setting the detection target range 50 after capturing the captured image. Ru.

<第2実施形態>
図11は、第2実施形態に係る情報処理システム60の構成概略図である。情報処理システム60は、情報処理装置62及び商品検出処理装置64を含んで構成される。情報処理装置62と商品検出処理装置64は、LANやWANなどの通信回線66を介して互いに通信可能に接続されている。
<Second embodiment>
FIG. 11 is a schematic configuration diagram of an information processing system 60 according to the second embodiment. The information processing system 60 includes an information processing device 62 and a product detection processing device 64. The information processing device 62 and the product detection processing device 64 are communicably connected to each other via a communication line 66 such as a LAN or WAN.

商品検出処理装置64は、情報処理装置62から送信された対象画像を解析することで、商品を検出する商品検出処理を実行する装置である。商品検出処理装置64は、情報処理装置62と通信するための通信インターフェース、データを記憶するためのメモリ、商品検出処理を実行するプロセッサなどを含んで構成される。商品検出処理装置64は、代表的にはサーバであるが、商品検出処理を実行可能な限りにおいてどのような装置であってもよい。第1実施形態では、情報処理装置10が商品検出処理を実行していたが、第2実施形態では、情報処理装置10ではなく商品検出処理装置64が商品検出処理を実行する。 The product detection processing device 64 is a device that executes product detection processing to detect a product by analyzing the target image transmitted from the information processing device 62. The product detection processing device 64 includes a communication interface for communicating with the information processing device 62, a memory for storing data, a processor for executing product detection processing, and the like. The product detection processing device 64 is typically a server, but may be any device as long as it can execute product detection processing. In the first embodiment, the information processing device 10 executed the product detection process, but in the second embodiment, the product detection processing device 64 instead of the information processing device 10 executes the product detection process.

図12は、第2実施形態に係る情報処理装置62の構成概略図である。情報処理装置62は、ユーザが携帯して利用可能なカメラ機能を備える装置であって、商品棚を撮像して撮像画像を取得する装置である。第1実施形態に係る情報処理装置10同様、情報処理装置62は、例えば、タブレット端末やスマートフォンなどであるが、これらに限られるものではない。 FIG. 12 is a schematic diagram of the configuration of the information processing device 62 according to the second embodiment. The information processing device 62 is a device equipped with a camera function that can be carried and used by a user, and is a device that captures an image of a product shelf to obtain a captured image. Similar to the information processing device 10 according to the first embodiment, the information processing device 62 is, for example, a tablet terminal or a smartphone, but is not limited to these.

情報処理装置62の通信インターフェース70、入力インターフェース72、ディスプレイ74、カメラ76、及びメモリ78は、第1実施形態における情報処理装置10の通信インターフェース12、入力インターフェース14、ディスプレイ16、カメラ18、及びメモリ20と同様であるため、重複する説明は省略する。 The communication interface 70, input interface 72, display 74, camera 76, and memory 78 of the information processing device 62 are the same as the communication interface 12, input interface 14, display 16, camera 18, and memory of the information processing device 10 in the first embodiment. Since it is the same as No. 20, duplicate explanation will be omitted.

また、情報処理装置62のプロセッサ80が発揮する表示処理部82、検出対象範囲設定部84、及び対象画像特定部86の各機能の処理は、第1実施形態における情報処理装置10のプロセッサ22が発揮する表示処理部24、検出対象範囲設定部26、及び対象画像特定部28の各機能の処理と同様であるため、こちらも重複する説明は省略する。プロセッサ22は、商品検出処理部30としての機能を発揮していたが、プロセッサ80では商品検出処理部30に代えて、送信処理部88としての機能を発揮する。 Further, the processing of each function of the display processing unit 82, the detection target range setting unit 84, and the target image specifying unit 86 performed by the processor 80 of the information processing device 62 is performed by the processor 22 of the information processing device 10 in the first embodiment. Since the processing is the same as that of the display processing section 24, the detection target range setting section 26, and the target image specifying section 28, a redundant explanation will be omitted here as well. Although the processor 22 previously functioned as the product detection processing section 30, the processor 80 functions as a transmission processing section 88 instead of the product detection processing section 30.

送信処理部88は、対象画像特定部86が特定した対象画像と、検出対象範囲設定部84が設定した、当該対象画像における検出対象範囲50を示す情報とを関連付けて商品検出処理装置64に送信する。上述のように、検出対象範囲50を示す情報とは、例えば、検出対象範囲50の四隅の座標(対象画像上の座標)などである。対象画像特定部28が検出対象範囲50に基づいて対象画像をトリミングした場合、送信処理部68は、トリミングされた対象画像(トリミング画像)を商品検出処理装置64に送信する。上述のように、トリミング画像自体が検出対象範囲50を示す情報となる。 The transmission processing unit 88 associates the target image specified by the target image specifying unit 86 with information indicating the detection target range 50 in the target image, which is set by the detection target range setting unit 84, and transmits it to the product detection processing device 64. do. As described above, the information indicating the detection target range 50 is, for example, the coordinates of the four corners of the detection target range 50 (coordinates on the target image). When the target image specifying unit 28 trims the target image based on the detection target range 50, the transmission processing unit 68 transmits the trimmed target image (trimmed image) to the product detection processing device 64. As described above, the trimmed image itself becomes information indicating the detection target range 50.

商品検出処理装置64は、情報処理装置62から受信した対象画像の検出対象範囲50に対して商品検出処理を実行する。商品検出処理装置64が実行する商品検出処理は、第1実施形態におけるプロセッサ22の商品検出処理部30が実行する商品検出処理と同様であるため、重複する説明は省略する。 The product detection processing device 64 performs product detection processing on the detection target range 50 of the target image received from the information processing device 62 . The product detection process executed by the product detection processing device 64 is the same as the product detection process executed by the product detection processing unit 30 of the processor 22 in the first embodiment, and therefore, duplicate explanation will be omitted.

以上、本発明に係る実施形態を説明したが、本発明は上記実施形態に限られるものではなく、本発明の趣旨を逸脱しない限りにおいて種々の変更が可能である。 Although the embodiments according to the present invention have been described above, the present invention is not limited to the above embodiments, and various changes can be made without departing from the spirit of the present invention.

10,62 情報処理装置、12,70 通信インターフェース、14,72 入力インターフェース、16,74 ディスプレイ、18,76 カメラ、20,78 メモリ、22,80 プロセッサ、24,82 表示処理部、26,84 検出対象範囲設定部、28,86 対象画像特定部、30 商品検出処理部、40 撮影画面、42 ライブビュー画像、44 撮影ボタン、46 スライドバー、48 スライダ、50 検出対象範囲、52 枠、54 バウンディングボックス、60 情報処理システム、64 商品検出処理装置、88 送信処理部。 10, 62 information processing device, 12, 70 communication interface, 14, 72 input interface, 16, 74 display, 18, 76 camera, 20, 78 memory, 22, 80 processor, 24, 82 display processing unit, 26, 84 detection Target range setting unit, 28, 86 Target image specifying unit, 30 Product detection processing unit, 40 Shooting screen, 42 Live view image, 44 Shooting button, 46 Slide bar, 48 Slider, 50 Detection target range, 52 Frame, 54 Bounding box , 60 information processing system, 64 product detection processing device, 88 transmission processing unit.

Claims (11)

プロセッサを備え、
前記プロセッサは、
カメラによって商品棚を撮像して得られるライブビュー画像を表示部に表示させ、
前記ライブビュー画像の表示中におけるユーザの操作に応じて、前記カメラで撮像して得られる撮像画像における、商品を検出する商品検出処理の対象範囲である検出対象範囲を設定し、
前記検出対象範囲に対して前記商品検出処理を実行する、
ことを特徴とする情報処理装置。
Equipped with a processor,
The processor includes:
A live view image obtained by capturing an image of the product shelf with a camera is displayed on the display unit,
Setting a detection target range that is a target range of product detection processing for detecting products in a captured image obtained by capturing with the camera according to a user's operation while displaying the live view image,
performing the product detection process on the detection target range;
An information processing device characterized by:
プロセッサを備え、
前記プロセッサは、
カメラによって商品棚を撮像して得られるライブビュー画像を表示部に表示させ、
前記ライブビュー画像の表示中におけるユーザの操作に応じて、前記カメラで撮像して得られる撮像画像における、商品を検出する商品検出処理の対象範囲である検出対象範囲を設定し、
前記検出対象範囲に対して前記商品検出処理を実行する商品検出処理装置に対して、前記撮像画像及び前記検出対象範囲を示す情報を送信する、
ことを特徴とする情報処理装置。
Equipped with a processor,
The processor includes:
A live view image obtained by capturing an image of the product shelf with a camera is displayed on the display unit,
Setting a detection target range that is a target range of product detection processing for detecting products in a captured image obtained by capturing with the camera according to a user's operation while displaying the live view image,
transmitting the captured image and information indicating the detection target range to a product detection processing device that executes the product detection process on the detection target range;
An information processing device characterized by:
前記プロセッサは、
前記ライブビュー画像が表示された前記表示部に対する前記ユーザの操作に応じて、前記検出対象範囲を設定する、
ことを特徴とする請求項1又は2に記載の情報処理装置。
The processor includes:
setting the detection target range according to the user's operation on the display unit on which the live view image is displayed;
The information processing device according to claim 1 or 2, characterized in that:
前記プロセッサは、
前記表示部に対する前記ユーザのスライド操作に応じて、前記検出対象範囲の大きさを変更する、
ことを特徴とする請求項3に記載の情報処理装置。
The processor includes:
changing the size of the detection target range according to the user's sliding operation on the display unit;
The information processing device according to claim 3, characterized in that:
前記プロセッサは、
前記ユーザから前記検出対象範囲の輪郭の指定を受け付ける、
ことを特徴とする請求項1から4のいずれか1項に記載の情報処理装置。
The processor includes:
receiving a designation of the outline of the detection target range from the user;
The information processing device according to any one of claims 1 to 4.
前記プロセッサは、
設定した前記検出対象範囲を示す態様で前記ライブビュー画像を前記表示部に表示させる、
ことを特徴とする請求項1から5のいずれか1項に記載の情報処理装置。
The processor includes:
displaying the live view image on the display unit in a manner indicating the set detection target range;
The information processing device according to any one of claims 1 to 5.
前記プロセッサは、
前記ライブビュー画像の前記検出対象範囲以外の部分は表示しない、
ことを特徴とする請求項6に記載の情報処理装置。
The processor includes:
not displaying a portion of the live view image other than the detection target range;
7. The information processing apparatus according to claim 6.
前記プロセッサは、
前記検出対象範囲に対して物体を検出する物体検出処理を実行し、
前記物体検出処理の結果を示す情報を前記ライブビュー画像と共に前記表示部に表示させる、
ことを特徴とする請求項1から7のいずれか1項に記載の情報処理装置。
The processor includes:
Executing object detection processing to detect an object in the detection target range,
displaying information indicating a result of the object detection process on the display unit together with the live view image;
The information processing device according to any one of claims 1 to 7.
前記プロセッサは、
前記検出対象範囲に基づいて前記撮像画像をトリミングし、
トリミングされた前記撮像画像を前記商品検出処理装置に送信する、
ことを特徴とする請求項2に記載の情報処理装置。
The processor includes:
trimming the captured image based on the detection target range;
transmitting the trimmed captured image to the product detection processing device;
The information processing device according to claim 2, characterized in that:
コンピュータに、
カメラによって商品棚を撮像して得られるライブビュー画像を表示部に表示させ、
前記ライブビュー画像の表示中におけるユーザの操作に応じて、前記カメラで撮像して得られる撮像画像における、商品を検出する商品検出処理の対象範囲である検出対象範囲を設定させ、
前記検出対象範囲に対して前記商品検出処理を実行させる、
ことを特徴とする情報処理プログラム。
to the computer,
A live view image obtained by capturing an image of the product shelf with a camera is displayed on the display unit,
Set a detection target range that is a target range of product detection processing for detecting products in a captured image obtained by capturing with the camera according to a user's operation while displaying the live view image;
executing the product detection process on the detection target range;
An information processing program characterized by:
コンピュータに、
カメラによって商品棚を撮像して得られるライブビュー画像を表示部に表示させ、
前記ライブビュー画像の表示中におけるユーザの操作に応じて、前記カメラで撮像して得られる撮像画像における、商品を検出する商品検出処理の対象範囲である検出対象範囲を設定させ、
前記検出対象範囲に対して前記商品検出処理を実行する商品検出処理装置に対して、前記撮像画像及び前記検出対象範囲を示す情報を送信させる、
ことを特徴とする情報処理プログラム。

to the computer,
A live view image obtained by capturing an image of the product shelf with a camera is displayed on the display unit,
Set a detection target range that is a target range of product detection processing for detecting products in a captured image obtained by capturing with the camera according to a user's operation while displaying the live view image;
causing a product detection processing device that performs the product detection process on the detection target range to transmit information indicating the captured image and the detection target range;
An information processing program characterized by:

JP2022035208A 2022-03-08 2022-03-08 Information processing unit and information processing program Pending JP2023130743A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022035208A JP2023130743A (en) 2022-03-08 2022-03-08 Information processing unit and information processing program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022035208A JP2023130743A (en) 2022-03-08 2022-03-08 Information processing unit and information processing program

Publications (1)

Publication Number Publication Date
JP2023130743A true JP2023130743A (en) 2023-09-21

Family

ID=88050462

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022035208A Pending JP2023130743A (en) 2022-03-08 2022-03-08 Information processing unit and information processing program

Country Status (1)

Country Link
JP (1) JP2023130743A (en)

Similar Documents

Publication Publication Date Title
JP6270325B2 (en) Information processing apparatus and control method thereof
JP6191511B2 (en) Method, system and program for capturing an image sequence
JP2011029737A (en) Surveillance image retrieval apparatus and surveillance system
CN107526985B (en) Eye gaze detection controlled marker scanning system and method
US20160353021A1 (en) Control apparatus, display control method and non-transitory computer readable medium
JP2019176378A (en) Control device, monitoring system, and monitoring camera control method
US9979858B2 (en) Image processing apparatus, image processing method and program
CN112368724A (en) Learning device, learning system, and learning method
US9871947B2 (en) Image processing apparatus, image processing method, and storage medium
US11927540B2 (en) Information processing apparatus, information processing method, and recording medium
US11989928B2 (en) Image processing system
JP2023130743A (en) Information processing unit and information processing program
JP2013195524A (en) Image display device
JP6175583B1 (en) Image processing apparatus, actual dimension display method, and actual dimension display processing program
JPWO2015141185A1 (en) Imaging control apparatus, imaging control method, and program
KR102505705B1 (en) Image analysis server, object counting method using the same and object counting system
JP2007316832A (en) Parts catalog display system and its control method
US9041973B2 (en) Support system, control device, image forming apparatus, and support method utilizing cards on which written information is printed
US20220283698A1 (en) Method for operating an electronic device in order to browse through photos
JP2018092507A (en) Image processing apparatus, image processing method, and program
CN108317954B (en) Laser guide scanning system and method
JP6312488B2 (en) Image processing apparatus, image processing method, and program
JP6221452B2 (en) Image processing apparatus, image display apparatus, and imaging apparatus
JP2014067142A (en) Image processing apparatus, image processing method, imaging apparatus, and imaging method
JP6733945B1 (en) Imaging device, information processing device, method and program