[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP7459128B2 - 対象物への注意を引かせる装置、対象物への注意を引かせるための方法、およびコンピュータで読み取り可能な非一過性の記憶媒体 - Google Patents

対象物への注意を引かせる装置、対象物への注意を引かせるための方法、およびコンピュータで読み取り可能な非一過性の記憶媒体 Download PDF

Info

Publication number
JP7459128B2
JP7459128B2 JP2021557846A JP2021557846A JP7459128B2 JP 7459128 B2 JP7459128 B2 JP 7459128B2 JP 2021557846 A JP2021557846 A JP 2021557846A JP 2021557846 A JP2021557846 A JP 2021557846A JP 7459128 B2 JP7459128 B2 JP 7459128B2
Authority
JP
Japan
Prior art keywords
information
person
processor
emitter
personal information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021557846A
Other languages
English (en)
Other versions
JP2022525815A (ja
Inventor
士朗 小林
昌哉 山下
岳史 石井
壮一 目島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Asahi Kasei Corp
Original Assignee
Asahi Kasei Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Asahi Kasei Corp filed Critical Asahi Kasei Corp
Publication of JP2022525815A publication Critical patent/JP2022525815A/ja
Application granted granted Critical
Publication of JP7459128B2 publication Critical patent/JP7459128B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/20Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • H04S7/302Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303Tracking of listener position or orientation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/20Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/403Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers loud-speakers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S1/00Two-channel systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/20Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/323Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only for loudspeakers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2201/00Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
    • H04R2201/40Details of arrangements for obtaining desired directional characteristic by combining a number of identical transducers covered by H04R1/40 but not provided for in any of its subgroups
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2203/00Details of circuits for transducers, loudspeakers or microphones covered by H04R3/00 but not provided for in any of its subgroups
    • H04R2203/12Beamforming aspects for stereophonic sound reproduction with loudspeaker arrays
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2217/00Details of magnetostrictive, piezoelectric, or electrostrictive transducers covered by H04R15/00 or H04R17/00 but not provided for in any of their subgroups
    • H04R2217/03Parametric transducers where sound is generated or captured by the acoustic demodulation of amplitude modulated ultrasonic waves
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2400/00Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11Positioning of individual sound objects, e.g. moving airplane, within a sound field

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)

Description

本開示は、物体への注意を引かせる装置、物体への注意を引かせるための方法、およびコンピュータで読み取り可能な非一過性の記憶媒体に関する。
指向性スピーカは、展示会、ギャラリー、美術館などで、特定のエリアにいる人だけが聞くことができる音声情報を提供するために使用されてきた。例えば、特許文献1は、指向性スピーカを介して、特定の人物に個人情報を含む音声通知を提供するためのシステムを開示している。
これらの従来システムは、不特定の人物に一般的な情報を送信する、あるいは、固定されたスピーカから、特定の人物に関連付けられた特定の情報を送信する。
米国特許第9392389号明細書
デパート、ドラッグストア、スーパーマーケットなどのような小売店は、通路で区切られた長い棚に類似商品を配置することがよくある。買い物客は、必要な商品を探しながら通路を歩く。類似商品の売り上げは、買い物客の目を引く商品の魅力および商品の配置に大きく依存する。
しかしながら、商品の包装は慣習的に制限されているため、買い物客の興味に関連する特定の商品に、買い物客の注意を引かせるためのより効果的な方法を実現したいという要望がある。
かかる事情に鑑みてなされた本開示の目的は、人物から取得した情報に基づいて、特定の対象物に人物の注意を引かせることが可能な物体への注意を引かせる装置、物体への注意を引かせるための方法、およびコンピュータで読み取り可能な非一過性の記憶媒体を提供することにある。
一実施形態に係る対象物への注意を引かせる装置は、人物の個人情報を取得するように構成された情報取得ユニットと、前記個人情報に基づいて、対象物を決定し、前記対象物の位置情報を識別するプロセッサと、前記位置情報に基づいて、前記対象物に、超音波を放射するエミッタと、前記対象物の位置情報を含むデータベースと、を備え、前記プロセッサは、前記データベースから前記対象物の前記位置情報を検索して識別し、前記プロセッサは、前記対象物の前記位置情報に基づいて、前記エミッタのビーム方向を調整することで前記対象物から可聴音を発生させる、ことを特徴とする。
一実施形態に係る対象物への注意を引かせるための方法は、人物の個人情報を取得するステップと、前記個人情報に基づいて、対象物を決定するステップと、前記対象物の位置情報を含むデータベースから、前記対象物の前記位置情報を検索して識別するステップと、前記位置情報に基づいて、エミッタのビーム方向を調整するステップと、前記エミッタから前記対象物に、超音波を放射するステップと、前記対象物から可聴音を発生させるステップと、を含む、ことを特徴とする。
一実施形態に係るコンピュータで読み取り可能な非一過性の記憶媒体は、対象物への注意を引かせるための操作を実行させるプログラムを格納した記憶媒体であって、コンピュータに、人物の個人情報を取得するステップと、前記個人情報に基づいて、対象物を決定するステップと、前記対象物の位置情報を含むデータベースから、前記対象物の前記位置情報を検索し、前記対象物の前記位置情報を識別するステップと、前記位置情報に基づいて、エミッタのビーム方向を調整するステップと、前記エミッタから前記対象物に、超音波を放射するステップと、前記対象物から可聴音を発生させるステップと、を含む操作を実行させる、ことを特徴とする。
本開示によれば、人物の興味に関連する特定の商品に、人物の注意を効果的に引き付けることが可能な物体への注意を引かせる装置、物体への注意を引かせるための方法、およびコンピュータで読み取り可能な非一過性の記憶媒体を提供することができる。
本発明に係る各種の他の目的、特徴、および付随する利点は、添付している図面と併せて検討すると、よりよく理解されるようになり、且つ、十分に認識されるようになるであろう。ここで、同様の参照文字は、複数の図面を通して同じ部分または類似の部分を示している。
本開示の一実施形態に係る物体への注意を引かせる装置の一例を示す概略図である。 本開示の一実施形態に係る注意を引かせる装置におけるデータベーステーブルの一例を示す図である。 本開示の一実施形態に係る注意を引かせる装置における動作の一例を示すフローチャートである。 本開示の別の実施形態に係る注意を引かせる装置における動作の一般的な流れの一例を示す図である。 本開示の別の実施形態に係る注意を引かせる装置における動作の一般的な流れの一例を示す図である。 本開示のさらに別の実施形態に係る注意を引かせる装置における動作の一般的な流れの一例を示す図である。
以下、図面を参照して実施形態について説明する。図1は、本開示の一実施形態に係る物体への注意を引かせる装置10の一例を示すブロック図である。
注意を引かせる装置10は、一般的に、後述する個人情報を取得し、個人情報に基づいて、対象物を決定するように構成されている。そして、注意を引かせる装置10は、対象物の位置情報を識別し、識別された位置情報に基づいて、エミッタ15から対象物に超音波および/または光を放射して、対象物を目立たせる。例えば、超音波が使用される場合、対象物は、対象物の近くにいる人物の注意を引かせるために可聴音を生成する。例えば、光が使用される場合、対象物は、対象物の近くにいる人物の注意を引かせるためにスポットライトが当てられる。
対象物は、人物以外の物体であってよい。対象物は、人物以外の商品であってよい。対象物は、食品、飲料、家庭用品、衣服、化粧品、家電製品、医薬品などのような販売商品、標識、看板、バナーなどの広告用材料を含む任意の物体であってよい。超音波が使用される場合、対象物は、超音波を受信すると可聴音を生成できることが好ましい。注意を引かせる装置10における各構成要素について、以下、さらに詳細に説明する。
<注意を引かせる装置10の構成>
図1に示すように、注意を引かせる装置10は、情報取得ユニット11と、ネットワークインターフェース12と、メモリ13と、プロセッサ14と、エミッタ15と、を備え、これらは、それぞれバス16を介して、互いに電気的に接続されている。
情報取得ユニット11は、注意を引かせる人物に関連する任意の情報である個人情報を取得する。個人情報は、例えば、人物の静止画情報および動画情報(以下、総称して画像情報と呼ぶ)、あるいは人物が発生した発話情報を含んでよい。情報取得ユニット11は、個人情報を取得することができる1つまたは複数のセンサを備えており、例えば、カメラおよびマイクロフォンを含んでよいが、当該センサは、これらに限定されるものではない。情報取得ユニット11は、取得した個人情報を、プロセッサ14へ出力する。
ネットワークインターフェース12は、注意を引かせる装置10をネットワークに接続する通信モジュールを含む。ネットワークは、特定の通信ネットワークに限定されず、例えば、移動通信ネットワークおよびインターネットを含む任意の通信ネットワークを含んでよい。ネットワークインターフェース12は、第4世代(4G)および第5世代(5G)などのようなモバイル通信規格と互換性のある通信モジュールを含んでよい。通信ネットワークは、アドホックネットワーク、ローカルエリアネットワーク(LAN)、メトロポリタンエリアネットワーク(MAN)、無線パーソナルエリアネットワーク(WPAN)、公衆交換電話網(PSTN)、地上無線ネットワーク、光ネットワーク、またはこれらの任意の組み合わせであってよい。
メモリ13は、例えば、半導体メモリ、磁気メモリ、または光メモリを含む。メモリ13は、これらに特に限定されるものではなく、長期記憶、短期記憶、揮発性、不揮発性、および他のメモリの何れかを含んでよい。さらに、メモリ13として機能するメモリモジュールの数、および情報が記憶された記憶媒体の種類は、限定されない。メモリ13は、例えば、主記憶装置、補助記憶装置、またはキャッシュメモリとして機能してよい。メモリ13は、注意を引かせる装置10の動作に使用される各種の情報を記憶してもよい。例えば、メモリ13は、システムプログラムおよびアプリケーションプログラムを記憶してよい。メモリ13に記憶された情報は、例えば、ネットワークインターフェース12が、外部装置から取得した情報に基づいて更新可能であってよい。
メモリ13はまた、データベース131を格納する。データベース131は、対象物、およびそれらの位置情報を含有するテーブルを含む。データベース131の一例が、図2に示されている。図2において、対象物A-Dのそれぞれは、位置情報の記録であるPos_A、Pos_B、Pos_C、およびPos_Dにそれぞれ関連付けられている。位置情報は、対象物の位置座標を指定するために必要とされる情報を含む。あるいは、またはさらに、位置情報は、エミッタ15によって放射される超音波または光のビーム方向を調整するために使用され得る情報を含んでよい。このような情報は、エミッタ15と対象物との間の距離、エミッタ15の位置および傾きに対する対象物の相対位置および/または相対角度を含んでよい。それゆえ、プロセッサ14は、データベース131のテーブルを検索し、対象物の位置を規定することができる。データベース131は、例えば、ネットワークインターフェース12を介して、外部装置から取得された情報により更新されてよい。例えば、対象物の実際の位置が変更された場合、プロセッサ14は、対象物に関連付けられた記録である位置情報を、ネットワークインターフェース12を介して、外部装置から取得された情報に、更新してよい。あるいは、例えば、プロセッサ14は、ネットワークインターフェース12を介して、外部装置から対象物の位置情報を定期的に取得してよく、取得した情報に基づいて、それぞれの対象物に関連付けられた記録である位置情報を、更新してよい。
プロセッサ14は、特定のプロセスに特化した汎用プロセッサまたは専用プロセッサであってよいが、これらに限定されない。プロセッサ14は、マイクロプロセッサ、中央処理装置(CPU)、特定用途向け集積回路(ASIC)、デジタルシグナルプロセッサ(DSP)、プログラマブルロジックデバイス(PLD)、フィールドプログラマブルゲートアレイ(FPGA)、コントローラ、マイクロコントローラ、およびこれらの任意の組み合わせであってよい。プロセッサ14は、注意を引かせる装置10の全体的な動作を制御する。
例えば、プロセッサ14は、情報取得ユニット11によって取得された個人情報に基づいて対象物を決定する。具体的には、プロセッサ14は、例えば、以下の手順によって、個人情報に基づいて対象物を決定する。
個人情報が、画像センサによってキャプチャされた人物の画像から取得された画像情報を含む場合、プロセッサ14は、画像情報から抽出された人物の属性情報に基づいて対象物を決定する。属性情報は、人物の属性を示す任意の情報であり、人物の性別、年齢層、身長、体型、髪型、服装、感情、所持品、頭の向き、視線方向などを含む情報である。プロセッサ14は、画像情報に対して画像認識処理を実行して、人物の属性情報の中から少なくとも1つの種類の属性情報を抽出してよい。プロセッサ14は、画像認識処理から得られた複数種類の属性情報に基づいて、対象物を決定してもよい。画像認識処理としては、当該技術分野で提案されている様々な画像認識方法が使用されてよい。例えば、プロセッサ14は、ニューラルネットワークまたは深層学習などの機械学習に基づく画像認識方法により画像情報を分析してよい。画像認識処理で使用されるデータは、メモリ13に記憶されてよい。あるいは、画像認識処理で使用されるデータは、注意を引かせる装置10におけるネットワークインターフェース12を介してアクセス可能な外部装置(以下、単に、外部装置と呼ぶ)の記憶装置に記憶されてよい。
画像認識処理は、外部装置上で実行されてよい。また、対象物の決定は、外部装置上で実行されてもよい。この場合、プロセッサ14は、画像情報を、ネットワークインターフェース12を介して、外部装置へ送信する。外部装置は、画像情報から属性情報を抽出し、複数種類の属性情報に基づいて対象物を決定する。その後、属性情報および対象物の情報は、ネットワークインターフェース12を介して、外部装置からプロセッサ14へ送信される。
個人情報が人物により発声された発話情報を含む場合、プロセッサ14は、発話情報をテキストデータへ変換するために、発話情報に対して音声認識処理を施し、重要用語を抽出し、抽出された重要用語に基づいて、対象物を決定する。重要用語は、単語、句、または文であってよい。プロセッサ14は、様々な従来の音声認識方法を使用してよい。例えば、プロセッサ14は、隠れマルコフモデル(HMM)を使用して音声認識処理を実行してよい。また、例えば、プロセッサ14は、音声認識処理を実行する前に訓練データを使用して訓練されていてもよい。音声認識処理で使用される辞書およびデータは、メモリ13に記憶されてよい。あるいは、音声認識処理で使用される辞書およびデータは、ネットワークインターフェース12を介してアクセス可能な外部装置に記憶されてよい。テキストデータから重要用語を抽出するために、様々な方法を採用することができる。例えば、プロセッサ14は、形態素解析によってテキストデータを形態素単位に分割してよい。また、例えば、プロセッサ14は、構文解析によって形態素単位の依存関係をさらに分析してよい。そして、プロセッサ14は、分析結果に基づいて、発話情報から重要用語を抽出してよい。
音声認識処理は、外部装置上で実行されてよい。また、対象物の決定は、外部装置上で実行されてもよい。この場合、プロセッサ14は、発話情報を、ネットワークインターフェース12を介して、外部装置へ送信する。外部装置は、画像情報から重要用語を抽出し、重要用語に基づいて対象物を決定する。その後、重要用語および対象物の情報は、ネットワークインターフェース12を介して、外部装置からプロセッサ14へ送信される。
プロセッサ14はまた、決定された対象物の位置情報を識別する。具体的には、プロセッサ14は、対象物に関連付けられた位置情報の記録を見つけるために、メモリ13に格納されたデータベース131を検索する。プロセッサ14は、識別された対象物の位置情報に基づいて、音波/光がエミッタ15から対象物へ向けられるように、エミッタ15のビーム方向を調整する。ビーム方向とは、エミッタ15によって放射される超音波または光のビームの方向のことである。
エミッタ15は、所定の方向に超音波を放射する指向性スピーカであってよい。対象物に超音波が当たると、対象物は、超音波を反射して、可聴音を発生させる。エミッタ15は、指向性スピーカであってよく、指向性スピーカは、パラメトリックアレイを実装するための超音波変換器アレイを含んでよい。パラメトリックアレイは、複数の超音波変換器で構成され、所望の可聴音に基づいて、超音波の振幅を変調する。それぞれの変換器は、変調された超音波の細いビームを、高エネルギーレベルで投射して、通過する空気中の音速を大幅に変更する。ビーム内の空気は、非線形に振る舞い、超音波から変調信号を抽出する。その結果、ビームが当たる対象物の表面から可聴音が発生する。これにより、音のビームを長距離で投影することができるため、限られたエリア内でのみ、音を聞くことが可能となる。エミッタ15のビーム方向は、パラメトリックアレイを制御することにより調整されてもよいし、および/または、エミッタの向きあるいはエミッタの傾きを変えることにより調整されてもよい。
<注意を引かせる装置10の動作>
図3を参照して、注意を引かせる装置10の音声再生方法について説明する。
ステップS10において、情報取得ユニット11は、個人情報を取得し、取得した個人情報をプロセッサ14へ送信する。
ステップS20において、プロセッサ14は、情報取得ユニット11から受信した個人情報に基づいて、対象物を決定する。
ステップS30において、プロセッサ14は、対象物の位置情報を識別する。具体的には、プロセッサ14は、メモリ13に記憶されたデータベース131を検索し、対象物に関連付けられた位置情報の記録を読み出す。
ステップS40において、プロセッサ14は、対象物の位置情報に基づいて、エミッタ15のビーム方向を調整し、超音波または光のビームを対象物に放射するように、エミッタに指令を送信する。
ビームが当てられることで、対象物は、可聴音を発生させる、あるいは、周囲の物体と区別することができるように強調表示される。このようにして、本開示に係る注意を引かせる装置10は、対象物に人の注意を引かせることができる。
さらに、注意を引かせる装置10は、データベース311から対象物の位置情報を読み出し、これにより、対象物の正確な位置を、迅速かつ容易に特定することができる。
図4は、本開示の別の実施形態に係る注意を引かせる装置における動作の一般的な流れの一例を示す図である。本実施形態では、情報取得ユニット11は、2Dカメラ、3Dカメラ、赤外線カメラなどのカメラを含み、所定の画面解像度および所定のフレームレートで、人物の画像をキャプチャする。キャプチャされた画像は、バス16を介して、プロセッサ14へ送信される。所定の画面解像度は、例えば、フルハイビジョン(FHD;1920×1080画素)であってよいが、キャプチャされた画像が次の処理である画像認識処理の実行に適している限り、別の解像度であっても構わない。所定のフレームレートは、30fpsであってよいが、これに限定されるものではない。エミッタ15は、変調された超音波の細いビームを投射する指向性スピーカである。
ステップS110において、カメラは、人物の画像をキャプチャし、人物の画像情報をプロセッサ14へ送信する。
ステップS120において、プロセッサ14は、キャプチャされた画像情報から人物の属性情報を抽出する。プロセッサ14は、画像情報に対して画像認識処理を施して、人物の1つまたは複数の種類の属性情報を抽出してよい。属性情報は、年齢層(例えば、40代など)、性別(例えば、女性など)を含んでよい。
ステップS130において、プロセッサ14は、抽出された1つまたは複数の種類の属性情報に基づいて、対象物を決定する。例えば、プロセッサ14は、データベース131から抽出された属性に属する人々により、頻繁に購入される商品を検索する。例えば、40代の女性に属する人々により、食品ラップが最も頻繁に購入される場合、プロセッサ14は、当該食品ラップに関連する音声情報を検索する。食品ラップが40代の女性に属する人々によって最も頻繁に購入されるとき、プロセッサ14はさらに、食品ラップに関連する音声情報を読み出す。音声情報は、商品の詳細を説明する人の声、または、商品のテレビコマーシャルで使用される歌であってよい。
それぞれの商品に対して、1種類の音声情報が用意されてよい。あるいは、1つの商品に対して、複数種類の音声情報が用意されてよく、複数種類の音声情報は、属性情報に基づいて選択されてよい。
ステップS140において、プロセッサ14は、決定された対象物(例えば、食品ラップ)の位置情報を識別する。具体的には、プロセッサ14は、データベース131を再び検索し、対象物における位置情報の記録を読み出す。例えば、プロセッサ14は、食品ラップが、通路X1、倉庫Y1の棚に置かれていることを識別する。
ステップS150において、プロセッサ14は、通路X1、倉庫Y1の方へ、エミッタ15のビーム方向を調整する。食品ラップに関連する音声情報、食品ラップの位置情報、および超音波を放射するという指令は、プロセッサ14からエミッタ15へ送信される。エミッタ15は、指令により動作し、食品ラップから可聴音が発生するように、超音波を食品ラップへ放射する。
対象となる商品から発生する可聴音により、人物の目は、対象となる商品へ向けられ、人物の注意を引かせ得る。視覚情報と聴覚情報との組み合わせにより、人物が、対象となる商品を購入しようという動機付けを高められる。
図5は、本開示の別の実施形態に係る注意を引かせる装置における動作の一般的な流れの一例を示す図である。本実施形態は、注意を引かせる装置10が、外部装置からの補足情報を用いて対象物を決定する以外は、図4に示される実施形態と同様である。プロセッサ14は、補足情報を取得するために、ネットワークインターフェース12を介して、外部装置と通信する。補足情報は、気象条件、季節、気温、湿度、現在時刻、商品の販売情報、商品の価格情報、商品の在庫情報、ニュース情報などのような対象物を決定するために役立つ任意の情報であってよい。
ステップS210およびステップS220は、上述した、ステップS110およびステップS120と同様である。この場合において、人物の属性は、性別:男性、年齢層:30代とする。ステップS230において、プロセッサ14は、抽出された1つまたは複数の種類の属性情報に基づいて、さらに補足情報を考慮して、対象物を決定する。この場合において、補足情報は、気象条件および現在時刻、それぞれ、例えば、晴れ、午後6時などを含む。上述した属性情報(例えば、30代男性)および補足情報(例えば、午後6時晴れ)に基づいて、プロセッサ14は、ビールなどのような対象物を決定する。プロセッサ14は、データベース131または外部装置から、ビールに関連する音声情報を読み出す。
次に、ステップS240において、プロセッサ14は、決定された対象物(例えば、ビール)の位置情報を識別する。具体的には、プロセッサ14は、データベース311を検索し、対象物における位置情報の記録を読み出す。例えば、プロセッサ14は、ビールが、通路X2、倉庫Y2の棚に置かれていることを識別する。
ステップS250において、プロセッサ14は、通路X2、倉庫Y2の方へ、エミッタ15のビーム方向を調整する。ビールに関連する音声情報、ビールの位置情報、および超音波を放射するという指令は、プロセッサ14からエミッタ15へ送信される。エミッタ15は、指令により動作し、ビールから可聴音が発生するように、超音波を食品ラップへ放射する。
本実施形態によれば、対象物の商品(対象物)の決定に使用される情報は、動的に変更することができ、これにより、人物が、対象物となる商品を購入しようという動機付けをさらに高められる。
図6は、本開示のさらに別の実施形態に係る注意を引かせる装置における動作の一般的な流れの一例を示す図である。本実施形態は、情報取得ユニット11が、無指向性マイクロフォンおよび指向性マイクロフォンなどのマイクロフォンなどのようなマイクロフォンである以外は、図4に示される実施形態と同様である。
ステップS310において、マイクロフォンは、発話情報として人物からの音または声を拾い上げ、それをプロセッサ14へ送信する。本実施形態では、例えば、「私の車の鍵はどこですか?」という文が、人物から発せられたものとする。
ステップS320において、プロセッサ14は、発話情報から人物の属性情報を抽出する。プロセッサ14は、発話情報に対して音声認識処理を施して、発話情報をテキストデータに変換してよい。プロセッサ14は、テキストデータから、車の鍵などのような重要用語をさらに抽出し、抽出された重要用語に基づいて対象物を決定してよい。次に、プロセッサ14は、データベース131から、対象物に関連する音声情報を読み出す。音声情報は、例えば、ビープ音であってよい。
ステップS330において、プロセッサ14は、決定された対象物(例えば、車の鍵)の位置情報を識別する。具体的には、プロセッサ14は、メモリ13に記憶されたデータベース131を検索し、対象物における位置情報の記録を読み出す。例えば、プロセッサ14は、車の鍵の位置情報がダイニングテーブル上にあるということを特定する。
位置情報に基づいて、プロセッサ14は、ダイニングテーブルの方へ、エミッタ15のビーム方向を調整する。車の鍵に関連する音声情報、車の鍵の位置情報、および超音波を放射する指令は、プロセッサ14からエミッタ15へ送信される。エミッタ15は、指令により動作し、車の鍵からビープ音が発生するように、超音波をダイニングテーブルへ放射する。
対象の商品から発生するビープ音は、人物の注意を引き付け、人物の目を、その人物が探している物体に向けさせ得る。指向性スピーカの代わりに、または、指向性スピーカに加えて、エミッタ15は、レーザ発振器などの発光デバイスを含んでよく、対象物を照らしてよい。これにより、対象物の視認性を向上させ、人物の注意を、より多く引かせることができる。エミッタ15が発光デバイスを含む場合、1つまたは複数の作動ミラーまたはプリズムは、エミッタ15のビーム方向を調整するために使用されてよい。
本実施形態では、使用される音声情報が、ビープ音である場合を一例に挙げて説明したが、特に限定されるものではなく、使用される音声情報は、対象物の名前についての人物の発話情報であってよい。あるいは、注意を引かせる装置10は、位置情報のテキストデータを人物の発話情報に変換するテキスト-音声変換シンセサイザーをさらに含んでよい。
上述の実施形態は代表的な例として説明したが、本開示の趣旨及び範囲内で、多くの変更および置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、請求の範囲から逸脱することなく、種々の変形および変更が可能である。
例えば、上記の実施形態は、コンピュータシステムまたはプログラムを実行可能な他のハードウェアによって実行される一連の操作または操作に関連するプログラムとして、コンピュータで読み取り可能な非一過性の記憶媒体に記憶されてよい。本明細書で使用されるコンピュータシステムは、汎用コンピュータ、パーソナルコンピュータ、専用コンピュータ、ワークステーション、PCS(パーソナル通信システム)、携帯電話、スマートフォン、RFID受信機、ラップトップコンピュータ、タブレットコンピュータ、およびその他のプログラム可能なデータ処理装置を含む。加えて、操作は、プログラムコードを実装する専用回路、1つまたは複数のプロセッサなどによって実行される論理ブロックまたはプログラムモジュールによって実行されてよい。さらに、ネットワークインターフェース12を含む注意を引かせる装置10についても上述した説明の通りである。しかしながら、ネットワークインターフェース12は、取り外されてよく、注意を引かせる装置10は、独立した装置として構成されてよい。
さらに、音と光に加えて、またはその代わりに、振動が使用されてよい。この場合、エミッタは、例えば、空気圧のパルスを生成して対象物に空気を吹き込むことが可能な空気注入器であってよい。対象物がパルス状の空気に当たると、振動して人の注意を引きつける。
求められる保護の実際の範囲は、先行技術に基づく適切な視点で見た場合、以下の特許請求の範囲で定義されることを意図している。
10 注意を引かせる装置
11 情報取得ユニット
12 ネットワークインターフェース
13 メモリ
14 プロセッサ
15 エミッタ
16 バス
20 人物
30 対象物
131 データベース

Claims (17)

  1. 人物の個人情報を取得するように構成された情報取得ユニットと、
    前記個人情報に基づいて、対象物を決定し、前記対象物の位置情報を識別するプロセッサと、
    前記位置情報に基づいて、前記対象物に、超音波を放射するエミッタと、
    前記対象物の位置情報を含むデータベースと、
    を備え、
    前記プロセッサは、前記データベースから前記対象物の前記位置情報を検索して識別し、
    前記プロセッサは、前記対象物の前記位置情報に基づいて、前記エミッタのビーム方向を調整することで前記対象物から可聴音を発生させる、対象物への注意を引かせる装置。
  2. 前記情報取得ユニットは、カメラを備え、
    前記個人情報は、前記カメラで撮影された前記人物の画像情報を含み、
    前記プロセッサは、前記画像情報から前記人物の属性情報を抽出し、抽出された前記属性情報に基づいて、前記対象物を決定する、
    請求項1に記載の装置。
  3. 前記情報取得ユニットは、マイクロフォンを備え、
    前記個人情報は、前記人物が発声し、前記マイクロフォンで拾った音声情報を含み、
    前記プロセッサは、前記音声情報から重要用語を抽出し、抽出された前記重要用語に基づいて、前記対象物を決定する、
    請求項1に記載の装置。
  4. 前記情報取得ユニットは、カメラおよびマイクロフォンを備え、
    前記個人情報は、前記カメラで撮影された前記人物の画像情報、および前記人物が発声し、前記マイクロフォンで拾った音声情報を含み、
    前記プロセッサは、前記画像情報から前記人物の属性情報を抽出し、前記音声情報から重要用語を抽出し、抽出された前記属性情報および抽出された前記重要用語に基づいて、前記対象物を決定する、
    請求項1に記載の装置。
  5. ネットワークインターフェースをさらに備え、
    前記プロセッサは、前記ネットワークインターフェースを介して補足情報を取得し、前記個人情報および前記補足情報に基づいて、前記対象物を決定する、
    請求項1に記載の装置。
  6. ネットワークインターフェースをさらに備え、
    前記プロセッサは、前記ネットワークインターフェースを介して外部装置と通信する、
    請求項1に記載の装置。
  7. 前記エミッタは、所定の方向に超音波を放射する指向性スピーカを備える、
    請求項1に記載の装置。
  8. 前記エミッタは、所定の方向に光ビームを生成する発光デバイスを備える、
    請求項1に記載の装置。
  9. 前記対象物は、販売商品である、
    請求項1に記載の装置。
  10. データ処理装置による、対象物への注意を引かせるための方法であって、
    人物の個人情報を取得するステップと、
    前記個人情報に基づいて、対象物を決定するステップと、
    前記対象物の位置情報を含むデータベースから、前記対象物の前記位置情報を検索して識別するステップと、
    前記位置情報に基づいて、エミッタのビーム方向を調整するステップと、
    前記エミッタから前記対象物に、超音波を放射するステップと、
    前記対象物から可聴音を発生させるステップと、
    を含む、対象物への注意を引かせるための方法。
  11. 前記個人情報は、カメラで撮影された前記人物の画像情報を含み、
    前記画像情報から前記人物の属性情報を抽出するステップと、
    抽出された前記属性情報に基づいて、前記対象物を決定するステップと、
    をさらに含む、請求項10に記載の方法。
  12. 前記個人情報は、前記人物が発声し、マイクロフォンで拾った音声情報を含み、
    前記音声情報から重要用語を抽出するステップと、
    抽出された前記重要用語に基づいて、前記対象物を決定するステップと、
    をさらに含む、請求項10に記載の方法。
  13. ネットワークインターフェースを介して補足情報を取得するステップと、
    前記個人情報および前記補足情報に基づいて、前記対象物を決定するステップと、
    をさらに含む、請求項10に記載の方法。
  14. ネットワークインターフェースを介して外部装置と通信するステップをさらに含む、
    請求項10に記載の方法。
  15. 前記エミッタは、所定の方向に超音波を放射する指向性スピーカを備える、
    請求項10に記載の方法。
  16. 前記エミッタは、所定の方向に光ビームを生成する発光デバイスを備える、
    請求項10に記載の方法。
  17. 対象物への注意を引かせるための操作を実行させるプログラムを格納した記憶媒体であって、
    コンピュータに、
    人物の個人情報を取得するステップと、
    前記個人情報に基づいて、対象物を決定するステップと、
    前記対象物の位置情報を含むデータベースから、前記対象物の前記位置情報を検索し、前記対象物の前記位置情報を識別するステップと、
    前記位置情報に基づいて、エミッタのビーム方向を調整するステップと、
    前記エミッタから前記対象物に、超音波を放射するステップと、
    前記対象物から可聴音を発生させるステップと、
    を含む操作を実行させる、
    前記コンピュータで読み取り可能な非一過性の記憶媒体。
JP2021557846A 2019-03-29 2020-03-27 対象物への注意を引かせる装置、対象物への注意を引かせるための方法、およびコンピュータで読み取り可能な非一過性の記憶媒体 Active JP7459128B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/370,600 US11102572B2 (en) 2019-03-29 2019-03-29 Apparatus for drawing attention to an object, method for drawing attention to an object, and computer readable non-transitory storage medium
US16/370,600 2019-03-29
PCT/JP2020/014335 WO2020203898A1 (en) 2019-03-29 2020-03-27 Apparatus for drawing attention to an object, method for drawing attention to an object, and computer readable non-transitory storage medium

Publications (2)

Publication Number Publication Date
JP2022525815A JP2022525815A (ja) 2022-05-19
JP7459128B2 true JP7459128B2 (ja) 2024-04-01

Family

ID=72605400

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021557846A Active JP7459128B2 (ja) 2019-03-29 2020-03-27 対象物への注意を引かせる装置、対象物への注意を引かせるための方法、およびコンピュータで読み取り可能な非一過性の記憶媒体

Country Status (4)

Country Link
US (1) US11102572B2 (ja)
JP (1) JP7459128B2 (ja)
CA (1) CA3134893A1 (ja)
WO (1) WO2020203898A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11256878B1 (en) * 2020-12-04 2022-02-22 Zaps Labs, Inc. Directed sound transmission systems and methods

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003166847A (ja) 2001-11-29 2003-06-13 Kyocera Corp ナビゲーション情報提供システム及び通信端末
JP2006172189A (ja) 2004-12-16 2006-06-29 Seiko Epson Corp 販売支援システム、販売支援方法、販売支援カード、販売支援プログラム、及び、記憶媒体
WO2019026361A1 (ja) 2017-08-01 2019-02-07 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
WO2019059213A1 (ja) 2017-09-20 2019-03-28 パナソニックIpマネジメント株式会社 商品案内システム、商品案内方法及びプログラム

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3292488B2 (ja) 1991-11-28 2002-06-17 富士通株式会社 個人追従型音響生成装置
ATE276636T1 (de) * 1999-04-30 2004-10-15 Sennheiser Electronic Verfahren zur wiedergabe von audioschall mit ultraschall-lautsprechern
FR2811107B1 (fr) * 2000-06-29 2002-10-18 Jean Pierre Nikolovski Plaque acoustique interactive de precision
JP4460528B2 (ja) * 2004-12-14 2010-05-12 本田技研工業株式会社 識別対象識別装置およびそれを備えたロボット
JP2009111833A (ja) 2007-10-31 2009-05-21 Mitsubishi Electric Corp 情報提示装置
JP4560078B2 (ja) * 2007-12-06 2010-10-13 本田技研工業株式会社 コミュニケーションロボット
JP2013057705A (ja) 2011-09-07 2013-03-28 Sony Corp 音声処理装置、音声処理方法および音声出力装置
JP2013251751A (ja) 2012-05-31 2013-12-12 Nikon Corp 撮像装置
WO2014069111A1 (ja) 2012-11-02 2014-05-08 ソニー株式会社 信号処理装置、信号処理方法、測定方法、測定装置
US20150379494A1 (en) 2013-03-01 2015-12-31 Nec Corporation Information processing system, and information processing method
JP6468497B2 (ja) * 2013-09-26 2019-02-13 パナソニックIpマネジメント株式会社 情報提供方法
KR101680128B1 (ko) * 2014-03-11 2016-11-28 한국전자통신연구원 조명 네트워크와 가시광 무선 통신을 이용하는 매장 관리 장치 및 그 방법
US10318016B2 (en) 2014-06-03 2019-06-11 Harman International Industries, Incorporated Hands free device with directional interface
US9392389B2 (en) * 2014-06-27 2016-07-12 Microsoft Technology Licensing, Llc Directional audio notification
JP2016076047A (ja) * 2014-10-04 2016-05-12 ゲヒルン株式会社 商品推薦システム、商品推薦方法、商品推薦システム用プログラム
JP2017191967A (ja) 2016-04-11 2017-10-19 株式会社Jvcケンウッド 音声出力装置、音声出力システム、音声出力方法およびプログラム
US10169608B2 (en) * 2016-05-13 2019-01-01 Microsoft Technology Licensing, Llc Dynamic management of data with context-based processing
CN109328374B (zh) * 2016-07-21 2021-12-03 松下知识产权经营株式会社 声响再生装置以及声响再生系统
JP2018107678A (ja) 2016-12-27 2018-07-05 デフセッション株式会社 イベントの会場施設及びその設置方法
CN109146450A (zh) * 2017-06-16 2019-01-04 阿里巴巴集团控股有限公司 支付方法、客户端、电子设备、存储介质和服务器
WO2019195799A1 (en) * 2018-04-05 2019-10-10 Synaptics Incorporated Context-aware control for smart devices

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003166847A (ja) 2001-11-29 2003-06-13 Kyocera Corp ナビゲーション情報提供システム及び通信端末
JP2006172189A (ja) 2004-12-16 2006-06-29 Seiko Epson Corp 販売支援システム、販売支援方法、販売支援カード、販売支援プログラム、及び、記憶媒体
WO2019026361A1 (ja) 2017-08-01 2019-02-07 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
WO2019059213A1 (ja) 2017-09-20 2019-03-28 パナソニックIpマネジメント株式会社 商品案内システム、商品案内方法及びプログラム

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
OCHIAI,Yoichi ほか2名,Holographic Whisper: Rendering Audible Sound Spots in Three-dimensional Space by Focusing Ultrasonic Waves,Sound of Music,CHI 2017,2017年05月,[検索日2023.07.31],インターネット<URL:https://dl.acm.org/doi/pdf/10.1145/3025453.3025989>,p.4314-4325
山本友紀子 ほか3名,指向性スピーカを用いたオブジェクト提示システム,ヒューマンインタフェースシンポジウム2006論文集,2006年,p.303-308
戒能孝治 ほか4名,超指向性スピーカを用いたロボットによる視覚障がい者のための遠隔作業訓練に関する基礎的検討と評価実験,FIT2014 第13回情報科学技術フォーラム講演論文集第3分冊,社団法人電子情報通信学会,一般社団法人情報処理学会,2014年,p.429-430

Also Published As

Publication number Publication date
WO2020203898A1 (en) 2020-10-08
CA3134893A1 (en) 2020-10-08
US20200314536A1 (en) 2020-10-01
JP2022525815A (ja) 2022-05-19
US11102572B2 (en) 2021-08-24

Similar Documents

Publication Publication Date Title
JP5015926B2 (ja) 物件に関心を有する個人を監視する装置及び方法
US20140214600A1 (en) Assisting A Consumer In Locating A Product Within A Retail Store
US20150199566A1 (en) Smart necklace with stereo vision and onboard processing
EP3794577B1 (en) Smart platform counter display system and method
US9367869B2 (en) System and method for virtual display
TWI775135B (zh) 互動方法、裝置、設備以及記錄媒體
US20130278760A1 (en) Augmented reality product display
JP2022552770A (ja) ライトフィールドディスプレイシステムに基づいたデジタルサイネージシステム発明者:ジョナサン・シャン・カラフィン、ブレンダン・エルウッド・ベベンシー、ジョン・ドーム
US9953359B2 (en) Cooperative execution of an electronic shopping list
JP7459128B2 (ja) 対象物への注意を引かせる装置、対象物への注意を引かせるための方法、およびコンピュータで読み取り可能な非一過性の記憶媒体
TWI712903B (zh) 商品資訊查詢方法和系統
US10019489B1 (en) Indirect feedback systems and methods
JP7425090B2 (ja) 複数の指向性スピーカを有する音声再生装置、および音声再生方法
US9449340B2 (en) Method and system for managing an electronic shopping list with gestures
CN110832525A (zh) 在对象上的增强现实广告
US20140214612A1 (en) Consumer to consumer sales assistance
JP7189406B2 (ja) コミュニケーション装置及び遠隔コミュニケーションシステム
WO2023093329A1 (zh) 信息输出方法、头戴式显示设备及可读存储介质
US20200098012A1 (en) Recommendation Method and Reality Presenting Device
TW202002665A (zh) 智慧型商品介紹系統及其方法
JP2017116693A (ja) コンテンツ再生装置、コンテンツ再生方法及びプログラム
JP2018055270A (ja) プレゼンテーション資料生成装置、プレゼンテーション資料生成システム、コンピュータプログラム及びプレゼンテーション資料生成方法
CA3134935C (en) Sound reproducing apparatus, sound reproducing method, and computer readable storage medium
Bhatlawande et al. Audio guided aid for assisting visually challenged people for shopping of grocery items
US20140236764A1 (en) Remote sales assistance tracking

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210928

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221004

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221205

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230322

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230622

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20230629

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20230804

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240129

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240319

R150 Certificate of patent or registration of utility model

Ref document number: 7459128

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150