[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP2020518992A - 音声制御 - Google Patents

音声制御 Download PDF

Info

Publication number
JP2020518992A
JP2020518992A JP2019561145A JP2019561145A JP2020518992A JP 2020518992 A JP2020518992 A JP 2020518992A JP 2019561145 A JP2019561145 A JP 2019561145A JP 2019561145 A JP2019561145 A JP 2019561145A JP 2020518992 A JP2020518992 A JP 2020518992A
Authority
JP
Japan
Prior art keywords
user
command
feedback
luminaires
lighting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019561145A
Other languages
English (en)
Other versions
JP7190446B2 (ja
JP2020518992A5 (ja
Inventor
レムコ マヒールセ
レムコ マヒールセ
ゲオルゲ フレデリック ヤンニ
ゲオルゲ フレデリック ヤンニ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Signify Holding BV
Original Assignee
Signify Holding BV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Signify Holding BV filed Critical Signify Holding BV
Publication of JP2020518992A publication Critical patent/JP2020518992A/ja
Publication of JP2020518992A5 publication Critical patent/JP2020518992A5/ja
Application granted granted Critical
Publication of JP7190446B2 publication Critical patent/JP7190446B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F21LIGHTING
    • F21VFUNCTIONAL FEATURES OR DETAILS OF LIGHTING DEVICES OR SYSTEMS THEREOF; STRUCTURAL COMBINATIONS OF LIGHTING DEVICES WITH OTHER ARTICLES, NOT OTHERWISE PROVIDED FOR
    • F21V23/00Arrangement of electric circuit elements in or on lighting devices
    • F21V23/04Arrangement of electric circuit elements in or on lighting devices the elements being switches
    • F21V23/0435Arrangement of electric circuit elements in or on lighting devices the elements being switches activated by remote control means
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • G10L15/18Speech classification or search using natural language modelling
    • G10L15/1815Semantic context, e.g. disambiguation of the recognition hypotheses based on word meaning
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00Speaker identification or verification techniques
    • G10L17/22Interactive procedures; Man-machine interfaces
    • HELECTRICITY
    • H05ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05BELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B47/00Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
    • H05B47/10Controlling the light source
    • H05B47/105Controlling the light source in response to determined parameters
    • H05B47/115Controlling the light source in response to determined parameters by determining the presence or movement of objects or living beings
    • H05B47/12Controlling the light source in response to determined parameters by determining the presence or movement of objects or living beings by detecting audible sound
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223Execution procedure of a spoken command
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/225Feedback of the input speech
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02BCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
    • Y02B20/00Energy efficient lighting technologies, e.g. halogen lamps or gas discharge lamps
    • Y02B20/40Control techniques providing energy savings, e.g. smart controller or presence detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Circuit Arrangement For Electric Light Sources In General (AREA)

Abstract

発話認識を使用してユーティリティを制御する方法は、ユーザによって発話され、少なくとも1つのマイクロフォンによって捕捉される、発話コマンドを受信するステップと、コマンド内の一連の発話要素のそれぞれにおけるユーザの意図を、自動的に認識及び実施するために、発話コマンドを処理するステップであって、要素が、最初から最後までの時間的な順序を有し、要素のうちの少なくとも1つが、ユーティリティを制御するというユーザの意図を示し、要素のうちの更なる1つ以上が、それぞれ、ユーザによって意図されている制御の対応のパラメータを指定している、ステップと、音声コマンド内の第1の要素の発話の後であるが、コマンドの最後の要素を実施する前に、発話コマンドの処理に関するフィードバックをユーザに供給するために、照明システムの1つ以上の照明器具によって放射される照明を制御するステップとを含み、ユーティリティは、暖房、空調、換気、窓周りの装飾、又は、娯楽システムからのメディアのプレイアウトのうちの1つを含む。

Description

本開示は、照明、暖房、空調、換気、窓周りの装飾(window treatment)、又は家庭用娯楽システムなどのユーティリティを制御するための、発話認識(speech recognition)の使用に関する。
音声制御(voice control)は、ユーザが、自宅周辺で、又は、オフィスなどの他の場所であっても、様々な機器を制御することが可能な手段として、ますます一般的になりつつある。例えば、スマートスピーカは、仮想デジタルアシスタントが組み込まれているスピーカデバイスであり、ユーザがスピーカを通じてプレイアウトされる音楽を制御することを可能にすると共に、他の機能、例えば、持ち帰り用の飲食物を注文すること、To−doリストを作成することなどを実行することも可能にする。同様に、仮想デジタルアシスタントは、現在、スマートフォン、タブレット、デスクトップ及びラップトップコンピュータ、並びに、スマートウォッチ及びスマートグラスなどのウェアラブルスマートデバイスなどの、多くの他の形態のユーザ端末内に含まれる場合が多い。
音声ベースの制御はまた、ユーザが、無線接続された照明システム、暖房システムなどを制御するためなどの、自宅又はオフィス周辺のユーティリティを制御することが可能な手段にもなりつつある。このことは、対象とするユーティリティシステムの構成要素(例えば、照明システムの場合には、照明ブリッジ又は壁パネル)内に含まれる、専用の音声認識エージェントに基づいて実現されてもよい。又は次第に、ユーティリティの制御は、ユーザ端末とユーティリティシステムとの間の有線接続を介して、又は、より多くの場合には無線接続(例えば、Wi−Fi、Bluetooth(登録商標)、又はZigBee)を介して、ユーティリティシステムにインタフェースすることが可能なユーザデバイス上で実行される、汎用デジタルアシスタントを介して達成されてもよい。一例として、ユーザは単に、自分の家の部屋の中で声に出して、「ライトを減光して」、「暖房を21度まで上昇させて」、又は「雰囲気を居心地よく設定して」などの音声コマンドを発話することができ、聞き取り範囲内の任意の好適なコネクテッドスマートデバイス(例えば、ユーザのスマートスピーカ、モバイル端末、デスクトップPC、又はウェアラブルデバイス)上の仮想デジタルアシスタントが、この音声コマンドを検出して、ライト及び/又は暖房を適宜に制御してもよい。
仮想デジタルアシスタント(場合により、単にデジタルアシスタント又は仮想アシスタントとも呼ばれるもの)とは、任意の種類の機器の機能をユーザが制御することが可能な手段として、発話認識を採用している、任意のソフトウェアエージェントを指す場合がある。仮想デジタルアシスタントの背後にある全機能は、原則として、対象とするローカルのユーザデバイス上の同じアプリケーション内に含まれてもよいが、より多くの場合、VDAは、実際には、サーバ上でホスティングされている、より高度なバックエンドサービスにアクセスする、フロントエンドのクライアントアプリケーションである。いずれにせよ、エージェントに対するユーザのインタフェースは、ユーザがVDAをインストールしている特定のユーザデバイスを介したものである。
しかしながら、このことは、発話インタフェースと実際の出力との間に隔たりが存在するために、問題を引き起こす恐れがある。ユーザが音声コマンドを発行する場合は常に、コマンドは、ユーザがコマンドを完了した後にのみ処理される。ユーザは、少なくとも、完了したコマンドが自身の環境に対して所望の効果(例えば、ライトを調光すること、暖房を調節すること、特定の音楽トラックを再生することなど)をもたらしたか否かをユーザが見届けるまでは、自身が発話したばかりの音声コマンドについて、殆ど又は全くフィードバックを受けることがない。例えば、コマンドが失敗した場合には、ユーザは、いずれの箇所でコマンドが失敗したかについての指標を有さない。更には、ユーザは、完全な効果がレンダリングされる前に、効果の直接的なフィードバックを受け取ることがないため、音声コマンドが何を行うことになるかを、ユーザが理解することは困難である。そのような問題に対する現在のソリューションは、音声コマンドを受信するデバイスによって出力されるユーザフィードバック、例えば、携帯電話の画面上でのアニメーション、又はスマートスピーカ上のLEDのパルス発光に基づく。しかしながら、音声受信機が、ユーザの環境内に更に統合されることになる場合には、これらのソリューションは、もはや実用的ではない。このことは、音声が、自宅及びオフィスに偏在する隠れた特徴になるにつれて、より大きい問題となるが、これは、現在のデバイス上でのユーザフィードバックが、もはや不可能となるためである。
以下では、音声コマンドが発話され、システムによって処理されている際に、音声コマンドに関するフィードバックをユーザに供給する方法を提供する。ユーザは、音声コマンドを受信することが可能な、少なくとも1つのインタフェースを有し、また、音声インタフェースとの対話に基づいて制御されることが可能な、少なくとも1つの制御可能照明デバイスも提供される。本方法は、コマンドの処理についてのフィードバックを、当該コマンドが発話されている際に与えるために、ユーザがコマンドを発行する際に所望の光設定をプレビューすることによって、及び/又は、コマンドの処理の状態についてのフィードバックを供給するように、照明システムを介してアニメーションをレンダリングすることなどによって、照明を制御するステップを含む。
本明細書で開示される一態様によれば、発話認識を使用してユーティリティを制御する方法が提供され、本方法は、ユーザによって発話され、少なくとも1つのマイクロフォンによって捕捉される、発話コマンドを受信するステップと、コマンド内の一連の発話要素のそれぞれにおけるユーザの意図を、自動的に認識及び実施するために、発話コマンドを処理するステップであって、要素が、最初から最後までの時間的な順序を有し、要素のうちの少なくとも1つが、ユーティリティを制御するというユーザの意図を示し、要素のうちの更なる1つ以上が、それぞれ、ユーザによって意図されている制御の対応のパラメータを指定している、ステップと、音声コマンド内の第1の要素の発話の後であるが、コマンドの最後の要素を実施する前に、発話コマンドの処理に関するフィードバックをユーザに供給するために、照明システムの1つ以上の照明器具によって放射される照明を制御するステップとを含む。
それゆえ、一般照明システムを使用して、音声コマンド入力に関するリアルタイムのフィードバックが供給される。制御され、かつフィードバックが供給されるユーティリティは、ユーザと同じ場所(例えば、同じ部屋)内の照明、又は他の場所(すなわち、ユーザが、コマンドの発話時に、自身の感覚を通じてコマンドの効果を直接体験することができない場所)の照明を含んでもよい。あるいは、対象とするユーティリティは、空調、暖房、換気、電子制御された窓周りの装飾(カーテン又はブラインド)、又は更に、音楽若しくはビデオなどのメディアのプレイアウトなどの、照明以外の別のユーティリティであってもよい。この場合も同様に、制御されるユーティリティは、ユーザと同じ場所、又は(ユーザの直近の体験ゾーンを越えた)他の場所に存在してもよい。
実施形態では、フィードバックは、最後の要素が成功裏に認識されており、実施されるために実行されているプロセスにある場合に、確認応答することを少なくとも含む。あるいは、又は更に、フィードバックの少なくとも一部は、コマンドの最後の要素(53)の発話の前に供給される。例えば、フィードバックは、コマンドの第1の要素が認識されていることを確認応答する(それゆえ、発話認識アルゴリズムが、現在、コマンドの更なる要素を聞き取るように準備されていることを示す)ことを少なくとも含んでもよい。別の例として、フィードバックは、コマンドの要素のうちの1つを認識する際にエラーが存在したという指標を、少なくとも含むことにより、ユーザに、要素のうちの当該の1つを再発話するように促してもよい(例えば、過度に大きいバックグラウンドノイズが存在しているため、又は、コマンドが十分に大きい声で発話されなかったか、若しくは過度に早口で発話されたため、コマンド、又はコマンドの特定の要素が、成功裏に認識されなかった)。更に別の例として、フィードバックは、コマンドの要素のうちの1つ以上の、それぞれ個々の1つの効果のプレビューを供給することを、少なくとも含んでもよい。
更には、本明細書では、ユーザに供給されるフィードバックは、ユーザと同一位置に存在するべきであるが、コマンドの実行は、別の位置で行われてもよい点が特定されている。
それゆえ好ましくは、本方法は、ユーザの位置を自動的に決定するステップと、当該位置に基づいて、ユーザの検出された位置から視認可能な1つ以上の照明器具を自動的に識別するステップと、ユーザの検出された位置に基づいて識別された照明器具の中から、フィードバックを供給するための1つ以上の照明器具を自動的に選択するステップとを、更に含んでもよい。
例えば、ユーザは、リビングルーム内にいるが、寝室内のライトをオフにすることを望む場合がある。この場合には、実際のコマンドは、或る1つの位置(実行位置)となるが、フィードバックは、第2の位置(フィードバック位置)であってもよい。
更なる実施形態では、本方法は、照明システムのいずれの照明器具が、フィードバックをレンダリングすることが可能であるかに基づいて、フィードバックを供給するための1つ以上の照明器具を自動的に選択するステップを含んでもよい。
更なる実施形態では、本方法は、フィードバックを供給するために使用される1つ以上の照明器具によって現在レンダリングされている効果に応じて、フィードバックを供給するために使用する効果を自動的に選択するステップを含んでもよい。
また更なる実施形態では、本方法は、ユーザのアイデンティティを自動的に決定するステップと、決定されたユーザのアイデンティティに応じて、フィードバックを供給するための1つ以上の照明器具、及び/又は、フィードバックを供給するために使用する効果を、自動的に選択するステップを含んでもよい。
本明細書で開示される別の態様によれば、コンピュータ可読ストレージ上に具現化されているコードであって、制御システムの1つ以上の処理ユニット上で実行されると、開示される方法のうちのいずれかに従って動作を実行するよう構成されるコードを含む、コンピュータプログラム製品が提供される。
本明細書で開示される別の態様によれば、1つ以上のメモリユニットを含むメモリであって、コードを記憶しているメモリと、メモリからのコードを実行するよう構成される、1つ以上の処理ユニットであって、コードが、1つ以上の処理ユニット上で実行されると、開示される方法うちのいずれかに従って動作を実行するよう構成される、1つ以上の処理ユニットとを備える、制御システムが提供される。
本開示の理解を支援するために、及び、どのようにして実施形態が遂行され得るかを示すために、例としてのみ、添付図面が参照される。
照明システムを備える環境の概略図である。 ユーティリティを制御するための制御システムの概略ブロック図である。 種々の可能なフィードバックアニメーションの選択のタイミングを示すタイミング図である。
上述されたように、照明システムに関する音声ベースのコマンドは、スマートスピーカ、スマートフォンの音声アシスタントなどの発達に伴い、一般的になりつつある。これらは、より目立たないものとなるため、代替的なユーザフィードバックメカニズムを提供することが望ましいであろう。
以下では、音声コマンドが発話され、システムによって処理されている際に、音声コマンドに関するフィードバックをユーザに与える方法を提供する。ユーザに供給されるフィードバックは、ユーザと同一位置に存在するべきであるが、コマンドの実行は、別の位置で行われてもよい。
本方法は、フィードバックを供給するために、いずれの照明デバイス及び/又はいずれの光効果を使用するかを、自動的に決定するステップ(例えば、フィードバックをレンダリングするために、ユーザに最も近い照明器具又はユーザの視野内の照明器具を選択するステップ、あるいは、現在のシーンに調和する照明効果を選択するステップ)を更に含んでもよい。
フィードバックは、以下のプロセスにおける少なくとも3つの段階のうちの、任意の1つ以上に関連し得る:(a)システムが、現在の処理状態についてのフィードバックを供給し、(b)システムが、コマンドの完了及び最終結果についてのフィードバックを供給し、及び/又は(c)システムが、照明制御の場合に、コマンドの実行をプレビューする。
例えば、供給されるフィードバックは、システムが音声コマンドを受信している状態(システムが聞き取っていることをユーザに示すため)と、コマンドが処理されることができない状態(例えば、過度に大きいバックグラウンドノイズ)と、コマンドが成功裏に受信されており、処理中である状態(システムが応答する予定であることを示し、同じコマンドを再度ユーザが発行することを防止するため)となどを区別してもよい。フィードバックは更に、発話されたコマンドが十分に大きい声ではないこと、又はユーザが過度に早口で発話したことなどを、ユーザに示してもよい。
更なる実施形態では、コマンドが発話され次第、コマンドの各要素の直接プレビューが与えられる。例えば、ユーザが「set the lights...(ライトを設定して...)」と言うと、ユーザの近傍のライトが点滅し、次いで、ユーザが「...in the living room(...リビングルーム内の)」と続けると、特定の場所内のライトのみが点滅し続ける。また更なる実施形態では、ユーザにフィードバックを供給するために使用される照明器具は、単に場所に基づいて選択されるばかりではなく、能力(例えば、白色か、カラーか)、視認性(例えば、天井吊り下げ型か、キャビネットの下のライトストリップか)、及び/又は現在の状態(例えば、照明器具がアクティブとなっているシーン、いずれのユーザが当該シーンに照明器具を設定したか、及び/又は、いずれのユーザが音声コマンドを発行しているか)などの要因に基づいても選択される。
供給されるフィードバックは、照明システムに向けられたコマンドを対象範囲とすることができるが、他のシステム(例えば、HVAC、オーディオなど)もまた対象範囲とすることができる。例として、以下の実施形態は、ユーザが照明を制御するシナリオに関連して説明されるが、このことは、開示される技術の全ての可能な適用を限定するものではない点が理解されるであろう。
図1は、本明細書で開示される技術が採用されてもよい、例示的な環境102を示している。環境102は、家、オフィス、又は他の建物の、1つ以上の部屋などの屋内空間、庭園又は公園などの屋外空間、展望台などの部分的に覆われた空間、あるいは、屋内空間及び屋外空間の双方を含む、キャンパス又はスタジアムなどの、そのような空間の組み合わせの形態を取ってもよい。
環境102には、環境102の全体にわたって異なる位置に、設置されるか又は他の方式で配置されている、複数の照明器具104が装備されている。照明器具とは、アンビエント照明を供給するものであれ、又はタスク照明を供給するものであれ、ユーザ106によって占有される環境、又は環境の一部を照射するための、任意の種類の照明デバイスを指す場合がある。照明器具104のそれぞれは、天井若しくは壁に取り付けられた照明器具、自立型の床若しくはテーブル用照明器具、又は、表面若しくは家具に組み込まれた照明器具などの従来とはやや異なる形態などの、様々な可能な形態のうちのいずれかを呈してもよい(及び、環境102内の異なる照明器具104は、互いに同じ形態を取る必要がない)。いずれの形態を取るにせよ、各照明器具104は、少なくとも1つのランプ(照明要素)と、任意の関連するハウジング、ソケット、及び/又は支持体とを備える。好適なランプの例としては、LEDベースのランプ、又は従来のフィラメント電球若しくはガス放電ランプが挙げられる。
環境102にはまた、環境102の全体にわたって1つ以上の位置に配置されている、1つ以上のマイクロフォン108も装備されている。マイクロフォン108のそれぞれは、スタンドアロンのマイクロフォンデバイス、又は代替的に、固定ユーザ端末若しくはモバイルユーザ端末などの別のユーザデバイス内に組み込まれているマイクロフォンの形態を取ってもよい。本発明の目的に関してアクセスされ得るマイクロフォン108を有する、ユーザ端末の例としては、家又はオフィス周辺に配置されているラップトップ若しくはデスクトップコンピュータ、スマートフォン又はタブレットなどのモバイル端末、ユーザの身体周りに携行又は着用されているウェアラブルデバイス、あるいは、スマートスピーカ、スマートテレビセット又はセットトップボックス、ホームメディアセンタなどのメディアデバイスが挙げられる。
一部のシナリオでは、環境102は、異なる部屋などの、複数の異なるゾーン又は場所102a、102bへと分割されてもよく、それぞれが、照明器具104のうちの1つ以上の、異なる対応のサブセットによって照射される。本発明の目的に関して、これらの異なるゾーン102a、102bは、ユーザ106が一方のゾーン102aを占有している場合に、当該ユーザは、別のゾーン102b内のユーティリティ(この場合は、照明)に対して自身が実施している調節の効果を、直接体験することができず、すなわち、自分自身の体感を通じて、他の場所内のユーティリティを直接感知しないという点で、互いに別個のものである。照明の場合には、このことは、ユーザには他のゾーン(例えば、別の部屋などの、家又はオフィスの他の部分)内の照明が見えないことを意味する。例えば図1の概略的実施例では、階下の部屋102a及び階上の部屋102bの、2つの部屋が示されており、ユーザ106は、たまたま階下の部屋102aを現在占有している。当然ながら、ユーザの環境102は、実際には3つ以上の部屋(例えば、家の中のリビングルーム、キッチン、ホール、バスルーム、及び複数の寝室、あるいは、オフィスの建物内の複数のオフィス、廊下、待合室、及び食堂若しくは休憩室)を含んでもよい点が理解されるであろう。
図2は、ユーザ106によって発話され、1つ以上のマイクロフォン108のうちの少なくとも1つによって捕捉される発話コマンドに基づいて、照明器具104のうちの1つ以上からの照明を、ユーザ106が制御することを可能にする、制御システム202を示している。このことは、ユーザ106が音声コマンドを発話する、環境102aの同じ部分、又は、異なる部分102bにおける(例えば、ユーザ106が階下102aにいる間の、階上の部屋102bにおける)、照明を制御することであってもよい。
制御システム202は、環境102又は一部から、少なくとも1つのマイクロフォン108によって捕捉される、オーディオ信号を受信するように構成される、発話認識アルゴリズム208を備え、時には、オーディオ信号は、環境102の関連部分内のユーザ106によって発話された、発話コマンドを含むことになる。制御システム202は、受信されたオーディオ信号内の、発話認識アルゴリズムによって識別された制御要素の指標を受信するために、発話認識アルゴリズム208に結合されている、コントローラ210を更に備える。制御システム202のコントローラ210はまた、図1に関連して論じられた照明器具104を備える、照明システム204にも結合されている。それにより、コントローラ210は、照明器具104によって放射される照明の1つ以上の態様を調節するために、例えば、照明器具のうちの1つ以上をオン若しくはオフにするために、照明のレベルを上げるか若しくは下げるように調光するために、放射される照明の色を調節するために、又は動的効果を設定するために、識別された制御要素に基づいて、照明システムを制御することができる。
実施形態では、制御システム202のコントローラ210は、少なくとも、個別の既定のゾーン102a、102bのセットのうちのいずれのゾーン(例えば、いずれの部屋)においてユーザ106が現在見出されているかの観点から、ユーザ106の位置を自動的に決定するよう構成される。
一部のそのような場合には、コントローラ210は、マイクロフォン108によって捕捉されるオーディオに基づいて、この決定を行うよう構成されてもよい。音声コマンドを捕捉したマイクロフォン108の位置が、コントローラ210に既知である場合には、特定のマイクロフォン108を介して音声コマンドを受信したという事実は、コマンドを発話しているユーザ106の、近似的な場所の指標を与える。例えば、マイクロフォンが、各部屋又は各ゾーン102a、102b内に配置されており、音声が、部屋又はゾーン間を実質的に移動しない場合には、いずれのマイクロフォン108が音声コマンドを捕捉したかを識別することは、いずれの部屋又はゾーン内にユーザがいるかの指標を暗黙的に与える。オプションとして、マイクロフォン108が、マイクロフォン要素のアレイを備える指向性マイクロフォンである場合には、又は、コマンドが、異なる位置の複数のマイクロフォン108から捕捉される場合には、このこともまた、より正確なユーザの位置の推定値を計算するために使用されることができる。例えば、到来方向は、指向性マイクロフォン内の各要素において受信されている同じ信号の、相対位相及び/又は相対振幅に基づいて検出されることができる。及び/又は、信号のインスタンスが、異なる位置の複数のマイクロフォン108において受信される場合には、受信された信号のインスタンスに、三角測量(triangulation)、三辺測量(trilateration)、多辺測量(multilateration)、又はフィンガープリント法などの好適な位置特定計算を適用することによって、ユーザ106の座標が計算されることができる。
更なる代替的実施形態又は追加的実施形態では、制御システム202のコントローラ210は、ユーザ106の現在位置を自動的に検出するための、別個の位置特定システム206にアクセスすることによって、ユーザ106の位置を決定するよう構成されてもよい。位置特定システムは、1つ以上の基準ノード214のセットと、ノード214に基づいてユーザ106の位置を決定するための、位置特定アルゴリズム212とを備える。一部の場合には、基準ノード214のセットは、可能性のある異なるゾーン(例えば、部屋)102a、102bのそれぞれにおいて、単一のノード214のみ、又は少なくとも単一のノードを含んでもよい。例えば、ノード214のセットは、各ゾーン102a、102b内の単一のカメラを含んでもよく、位置特定アルゴリズム212は、対応のゾーン(例えば、部屋)内にユーザ106が存在しているか否かを(はい−いいえ基準で)検出するよう構成される、画像認識アルゴリズムを含んでもよい。それゆえ、ユーザの位置は、少なくともゾーンごと(例えば、部屋ごと)に検出される。
他の実施形態では、ノード214のセットは、環境102全体にわたるユーザの座標の検出を可能にする、無線ノードのネットワークを含んでもよい。これらは、屋内測位ネットワークの専用のアンカーノード、又は、発見目的のために既にビーコンを発信している、無線アクセスポイントなどの既存の無線ノード、又は更に、衛星測位ネットワーク内の衛星とすることも可能である。いずれの形態を取るにせよ、信号は、複数の無線基準ノード214のそれぞれから送信され、ユーザの身体周りに配置されているポータブルデバイス又はウェアラブルデバイスによって測定される(デバイス中心のアプローチ)か、又はその逆に、信号は、ユーザのデバイスによって送信され、複数のノード214によって検出される(ネットワーク中心のアプローチ)。デバイス又はノードは、それぞれ、信号の受信された種々のインスタンスの特性(例えば、受信信号強度、飛行時間、又は到来角)の測定を実施する。位置特定アルゴリズム212は、これらの測定値を受信して、三角測量、三辺測量、多辺測量、又はフィンガープリント法アルゴリズムなどの、任意の好適な位置特定計算を適用することにより、ユーザ106の推定位置の座標を検出するよう構成される。次いで、位置特定アルゴリズム212は、いずれのゾーン(例えば、いずれの部屋)においてユーザ106が見出されているかを検出するために、環境102のマップ(例えば、間取り図)内で座標を調べることができる。
又は、このことのより単純な変形例として、ユーザ106の最も近くに存在することが見出された基準ノード214が、ユーザ106が現在いずれのゾーン(例えば、部屋)内にいるかの指標として解釈されることが可能である。例えば、特定の部屋の中の特定のアンカーノード又はアクセスポイントが、最も強い信号強度を有するか、又は、ノードとユーザの身体周りのデバイスとの間の最短の飛行時間を有する場合には、ユーザ106は、妥当な信頼度で、当該部屋の中にいると想定されることができる。
様々な好適な位置特定技術は、それら自体が当業者には周知であり、本明細書では詳細に繰り返されない。位置決め精度を向上させるために、技術の組み合わせもまた採用されてもよい。
いずれの技術が選択されるにせよ、検出された位置は、コントローラ210に利用可能にされる。別個の位置システム206が、実際に使用される場合には、位置特定アルゴリズム212はまた、コントローラ210が、発話認識アルゴリズムによって検出された音声コマンドと一致させるために、ユーザ106のアイデンティティを検出してもよい。このことは、例えば、顔認識によって行われることができ、又は、ユーザの身体周りに携行されているモバイルデバイス若しくはウェアラブルデバイスからID信号を受信して、ユーザ106のアイデンティティをユーザの声紋から検出することが可能な発話認識アルゴリズム208と組み合わせることによって行われることもできる。あるいは、1人のみのユーザの存在が検出された場合には、コマンド及び検出された位置は、コントローラ210によって、同じ人物に由来していると単純に想定されてもよい。又は、別の変形例として、ユーザ106は、ジェスチャ感知位置特定ノード214(例えば、カメラ)によって検出される、発話時を示すジェスチャを行う。
物理的実装の観点から、発話認識アルゴリズム208、コントローラ210、及びオプションの位置特定アルゴリズム212のそれぞれは、メモリ上に記憶されて、処理装置上で実行されるよう構成される、コード(ソフトウェア)の形態で実装されてもよい。これらのモジュール208、210、212のうちの任意の所与の1つが記憶されているメモリは、1つ以上の地理的サイトにおける1つ以上のデバイス内に収容されている、1つ以上のメモリ媒体(例えば、電子的、磁気的、又は光学的)を採用する1つ以上のメモリユニットを含んでもよい。これらのモジュール208、210、212のうちの任意の所与の1つが記憶されている処理装置は、1つ以上の地理的サイトにおける1つ以上のデバイス内に収容されている、1つ以上の処理ユニットを含んでもよい。必要とされる場合には、分散型の記憶及び処理技術は、それら自体が当業者には既知である。
代替的実装形態では、発語認識アルゴリズム208、コントローラ210、及びオプションの位置特定アルゴリズム212のうちの任意の1つ以上は、ハードワイヤード回路、又は、PGA若しくはFPGAなどの、コンフィギュラブル若しくはリコンフィギュラブルなハードウェア、又は、ハードウェア若しくはソフトウェアの任意の組み合わせの形態で実装されてもよい点が排除されるものではない。
いずれの形態で実装されるにせよ、これらのモジュール208、210、212のそれぞれは、様々な物理的位置のうちの任意の1つ以上において、任意の1つ以上のデバイス内に実装されてもよい。例えば、発話認識アルゴリズム208、コントローラ210、及び位置特定アルゴリズム212のうちの任意の1つ以上は、ユーザの家又は環境102周辺に配置されている、デスクトップコンピュータ、ラップトップ、タブレット、又はスマートスピーカなどのユーザ端末、あるいは、ユーザの身体周りに携行されている、スマートフォン又はタブレットなどのポータブルユーザ端末、ユーザの身体周りに着用されているウェアラブルデバイス、及び/又は、リモート位置のサーバ(1つ以上の地理的サイトにおける1つ以上のサーバユニットを含むサーバ)内に実装されてもよい。別の実施例として、発話認識アルゴリズム208、コントローラ210、及び位置特定アルゴリズム212のうちの任意の1つ以上は、照明器具104のそれぞれに組み込まれている分散機能として実装されてもよい。マイクロフォン108は、発話認識アルゴリズム208、コントローラ210、及び/又は位置特定アルゴリズム212のうちの任意の1つ以上と同じデバイス内に、あるいは異なるデバイス内に組み込まれてもよい。発話認識アルゴリズム208、コントローラ210、及び位置特定アルゴリズム212は、互いに同じデバイス内に、又は別個に収容されているデバイス内に実装されてもよい。更には、これらのうちの任意の所与の1つは、単一のデバイス内に実装されることが可能であり、又は、複数のデバイスにわたって分散されることも可能である。この場合も同様に、分散コンピューティング技術は、それ自体が当該技術分野において既知である点に留意されたい。
モジュール208、210、212が、互いに外部的に、及び/又は、それらモジュール自体の異なる分散部分間で、及び/又は、マイクロフォン108及び/又は基準ノード214などの外部要素と通信する必要がある場合、この通信は、任意の好適な有線又は無線の接続若しくはネットワーク、あるいは、そのようなものの組み合わせによって実施されてもよい。好適な有線技術の例としては、Ethernet、DMX、及びインターネットが挙げられる。好適な無線技術の例としては、Wi−Fi、Bluetooth(登録商標)、ZigBeeなどが挙げられる。
物理的実装がいずれの形態を取るにせよ、発話認識アルゴリズム208は、照明システム204内の照明器具104のうちの1つ以上を制御するために、ユーザによって発話された発話コマンドにおける、ユーザ106によって意図された意味を識別するよう構成される。
図3に示されるように、音声コマンドは、典型的には、2つ以上の発話要素又は構成要素51、52、53を含み、それぞれが、コマンドの異なる態様を指定している。図3では、例として3つの要素が示されているが、他の数も可能である点が理解されるであろう。要素のうちの少なくとも1つは、照明を制御するというユーザの要望を示し、この要素は、典型的には、時系列的に発話される第1の要素51であるが、必ずしもそうでなくともよい。
例えば、単純なコマンドは、「lights on(ライトをオンにして)」であってもよい。第1の要素「lights(ライトを)」は、照明を制御することをユーザが望んでいることを示し、第2の要素「on(オンにして)」は、パラメータon/offの所望の値を指定する。別の例として、コマンドは、少なくとも3つの要素を含み、1つは、ライトを制御するという要望を表し、1つは、光設定を指定し、1つは、制御を遂行する場所を指定する。指定される光設定は、例えば、オン/オフ、調光レベルの変更、色設定、又は、動的効果(すなわち、時変効果又は時空間効果)の名前であってもよい。例えば、3つの要素は、「dim up[51]the lights[52]in the kitchen[53](キッチン内[53]のライト[52]を増光して[51])」とすることが可能である。この例では、第1の要素51は、全体の強度を増大させる設定変更を指定し、第2の要素52は、照明を制御するという要望を表し(あるいは、このことは、単語「dim」又は語句「dim up」において暗黙的であり得る)、第3の要素53は、キッチン102aのみにおいて変更が遂行されるべきであることを指定する。別の例は、「(System,set the lights[51]in the bedroom[52]to a cozy colour temperature[53](システム、寝室内[52]のライト[51]を、居心地のよい色温度[53]に設定して)」などとなる。この例では、第1の要素51は、ユーザ106が照明制御コマンドを発行することを意図していることを、発話認識アルゴリズム208に伝え、第2の要素52は、制御に関する場所が寝室102bであることを指定し、第3の要素は、色設定(この場合、所望の照明雰囲気として表されるもの)を指定する。
発話認識アルゴリズム208は、仮想デジタルアシスタント(場合により、単にデジタルアシスタント又は仮想アシスタントと称されるもの)の一部として実装される、汎用発話認識アルゴリズムであってもよい。あるいは、発話認識アルゴリズム208は、照明制御に特化されてもよい。いずれにせよ、発話認識アルゴリズムは、例えば、キーワード認識に基づいて、又は自然言語処理(natural language processing;NLP)などのより高度な技術に基づいて、発話要素51、52、53のそれぞれにおけるユーザ106の意図を認識するよう構成されてもよい。発話認識は、それ自体が既知の技術である。
コントローラ210は、発話認識アルゴリズム208から、発話認識アルゴリズム208によって発話コマンドの要素51、52、53のそれぞれから抽出されるようなユーザ106の意図の指標を受信する。これらの指標に基づいて、コントローラ210は、照明システム204を制御して、照明器具104のうちの1つ以上によって放射される照明を適宜に設定する。
それゆえ、発話コマンドの処理は、発話の認識、及びコマンドの実行(すなわち、指定された照明効果の実際のレンダリング)の、少なくとも2つの態様を含む。
更には、本明細書で開示される実施形態によれば、コントローラ210はまた、照明システム204を制御して、発話コマンドの処理についてのフィードバックも供給し、当該フィードバックは、全コマンドのレンダリングの完了の前に供給される。このことは、コマンドの認識についてのフィードバックを供給すること、及び/又は、コマンドの実行の状態についてのフィードバックを供給することを含んでもよい。フィードバックは、照明器具104のうちの1つ以上を介して、特定の表示色、パターン、動的効果、又はアニメーションを出力することを含んでもよい。
例えば、フィードバックは、コマンドの最終要素53の発語の後であるが、実行の前に出力されることにより、コマンドが受信及び認識されているが、指定された効果の実際の実行のために依然として処理中であることを示してもよい。このことは、ユーザが、システムによってコマンドが成功裏に登録されていないと感じて、恐らくは再度コマンドを発話しようと試みることを防止する。
更なる実施例では、フィードバックは、ユーザがコマンドの最終要素53を発話する前に出力されてもよい。例えば、このことは、発話認識アルゴリズムが第1の要素51(例えば、起動ワード)を認識しており、1つ以上の更なる要素52、53を待機していることを示すために、使用されることが可能である。あるいは、フィードバックは、1つ以上の要素51、52の認識が失敗したことを示してもよく、恐らくはまた、その理由、例えば、バックグラウンドノイズが過度に高いこと、又は、ユーザ106が過度に小さい声若しくは早口で発話したことを示してもよい。すると、ユーザ106は、コマンドの失敗部分を再発話することができる。
別の例として、フィードバックは、個々の要素51、52、53の個々の効果のプレビューを供給してもよい。例えば、ユーザが、照明器具104の特定のグループを指定すると、この照明器具は、それらの照明器具を他の周囲の照明器具と区別するために、点滅するか又は何らかの他の効果を放射し、次いで、ユーザが特定の色を指定すると、指定された照明器具は、この色を現在の調光レベルで採用し、次いで、ユーザが調光レベルを指定すると、指定された照明器具は、既に設定されている色で、適宜に増光又は減光する。このことは、ユーザ106が、コマンドを作成している際に、コマンドの種々の部分の効果を理解するために役立つ。
一般に、フィードバック場所は、特に、プレビューを供給するために使用されるのではない場合には、ライトが制御されている場所と必ずしも同じである必要はない。例えば、音声コマンドは、現在ユーザ106が位置している部屋とは異なる部屋102b内のライトの制御を指定してもよい。この場合、コントローラ210は、フィードバックをレンダリングするために最も適切な照明器具104を選択してもよい。この照明器具は、上述の位置特定技術のうちのいずれかに基づいた、最も近い照明器具104であってもよい。及び/又は、照明器具の能力などの、1つ以上の他の要因が考慮されてもよい。それゆえ、コントローラ210は、ユーザに対する視認性が良好であり、かつ関連情報を表示するために十分な能力を有する照明器具104を、フィードバックを供給するために選択する。例えば、色能力を有する照明器具104は、ユーザからたとえ遠く離れている場合であっても、調光能力のみを有する照明器具よりも好ましい場合がある。
例として、いくつかの例示的なフィードバックのタイプが、以下の表1に示される。
Figure 2020518992
実施形態では、コントローラ210は、(前述のように)マイクロフォン108及び/又は位置システム206に基づいて、ユーザ106の現在位置を自動的に決定するように、及び、現在位置に基づいて、制御される照明に関する音声コマンドにおいて指定されている位置に関わりなく、ユーザ106の位置に、フィードバック位置を設定するよう構成される。そのため、ユーザ106が、キッチンなどの、或る1つの部屋又はゾーン102a内で現在検出されているが、音声コマンドにおいて、(ユーザが、自身の現在位置からはコマンドの効果を見ることができない)寝室などの別の部屋又はゾーン102b内の照明を制御するように指定する場合には、コントローラ210は、コマンドの発話時に、ユーザ106が現在いずれの部屋又はゾーン102内に位置しているかを自動的に検出し、この検出に基づいて、当該部屋又はゾーン102aから視認可能な、照明器具104のうちの1つ以上を選択し、選択された照明器具104を介してフィードバックを供給することになる。
このことを達成するために、コントローラ210には、照明器具104の位置を、例えば、いずれの部屋若しくはゾーン内にそれら照明器具が配置されているかの観点から、又はそれら照明器具の座標の観点から記録している、位置データベースが提供されてもよい。すると、コントローラ210は、いずれの照明器具が、ユーザ106と同じ部屋若しくはゾーン102a内に配置されているか、又は、いずれの照明器具が、現在ユーザの推定位置の最も近くに存在しているかを、自動的に決定することができる。別の代替案では、データベースは、各マイクロフォン108を、最も近い照明器具104に、又は、各マイクロフォンと同じ部屋若しくはゾーン内の1つ以上の照明器具104にマッピングしてもよい。このマッピングに基づいて、次いで、コントローラ210は、いずれのマイクロフォン108を介してユーザの発話が現在検出されているかの観点から、ユーザの位置を検出して、この位置を、フィードバックを供給するためにいずれの照明器具104を使用するかについての選択に、直接マッピングすることができる。
代替的又は追加的な変形形態では、コントローラ210は、照明システム内の情報を使用して、最も適切な照明器具104の選択を通知するよう構成される。例えば、強力なアップライト照明は、たとえ遠く離れている場合であっても、キャビネットの下の小さいライトに優先して選択されてもよく、又は、色能力を有するライトは、調光能力のみを有するライトに優先して選択されてもよい。そのような情報は、製品情報に基づいてコミッショニング時に取り込まれるか、又は、ユーザによってタグ付けされてもよい。
更なる代替的実施形態又は追加的実施形態では、コントローラ210は、照明システム204によって現在レンダリングされている効果に応じて、フィードバック効果を選択してもよい。例えば、ユーザ106がコマンドを発話する或る1つの部屋102a内のライトが、現在、日没シーンなどの特定のシーンを示しており、ここでまた、別の部屋102b内で実行される音声コマンドについての、フィードバックを供給することが必要とされるシナリオを考察する。この場合、コントローラ210は、現在のシーンと調和するフィードバック効果を選択してもよい。
また更なる代替的実施形態又は追加的実施形態では、コントローラ210は、コマンドを発話しているユーザ106のアイデンティティに少なくとも部分的に基づいて、いずれの照明器具104をフィードバックのために使用するか、及び/又は、いずれのフィードバック効果を使用するかを、選択するよう構成されてもよい。例えば、フィードバック効果は、識別されたユーザ106にマッピングされている、ユーザ設定であってもよい。又は別の例として、照明器具及び/又は効果は、近傍の別のユーザを妨害しないように、又は、近傍の別の場所で検出された別のユーザによって設定されているアンビエント照明シーンを妨害しないように選択されてもよい。
図3は、システム202が応答することが可能な種々の方式の一部の実施例を、上記の表1で提示された例示的なフィードバックIDコードを参照して、経時的に(左から右に)示している。
ユーザ106が、音声コマンドを発行する場合は常に、制御システム202は、処理の第1段階へと進み、音声コマンドを受信していることを示す。このフィードバックは、フィードバック位置において、すなわち、ユーザの近くに存在するか又はユーザの視界の中に存在する光源104を介して、示される。論じられたように、いずれのライトがユーザの近くに存在しているかをシステムが決定する種々の方式、例えば、ビーコン技術、受動型赤外線、カメラビジョンなどが存在してもよい。実施形態では、このことは、ユーザが中にいる部屋102aを決定することを含む。フィードバック光はまた、いずれの音声受信機108がコマンドを受信するかに応じて、異なることも可能である。
ユーザが発話すると、システム202は、音声コマンドを直接処理して、ユーザ106に示されるフィードバック(例えば、アニメーション)を継続的に更新する。
ページ上の上部のタイムラインは、本明細書では「通常アニメーション」と称され得る、例示的なフィードバックのタイプを示している。ユーザ106が、音声コマンドの発話を開始する場合は常に、照明システム204は、アニメーション01を表示して、制御システム202が聞き取っているというフィードバックを、ユーザ106に供給する。ユーザ106が、音声コマンドを完了すると、照明システム204は、アニメーション02へと進み、制御システム202が聞き取りを停止したことをユーザ106に示し、次いで、03へと進み、音声コマンドを処理していることをユーザ106に通知する。次いで、システムによるコマンドの処理の成功を確認応答するために、アニメーション04がユーザ106に示される。この最後のアニメーション04は、示されずにスキップされてもよく、効果が直接レンダリングされてもよい。
一実施形態では、ユーザ106は、自身が現在位置していない場所102bに関する音声コマンドを発行する。そのため、実行位置とフィードバック位置とは、同一位置ではない。例えば、ユーザ106は、自身のソファ上にいて、リラックスして入浴するために自身のバスルームを準備することを望む。ユーザが、音声コマンド「<システム名>」を開始すると、システム202は、ユーザの近くに存在するライトを選び出し、システムが聞き取っていることをユーザに識別させるために、アニメーション01を表示する。次いで、ユーザは、「...prepare the bathroom with my relaxing scene...(バスルームを私のリラックスシーンで準備して)」と続ける。音声コマンドの間、システム202、204は、アニメーション01を表示する。ユーザ106が、コマンドを完了すると、システムは、アニメーション02を表示して、聞き取りを停止したことを確認し、次いで、アニメーション03を表示して、思考中であることを示す。コントローラ210が、照明システム204から確認を受信すると、照明システムは、アニメーション04を表示して、コマンドが受信され、処理され、適切に実行されたことをユーザ106に示す。
ページ上の中央のタイムラインは、本明細書では「直接アニメーション」と称され得る、別の例示的なフィードバックのタイプを示している。この場合、フィードバックは、ユーザが発話する際に供給される。例えば、上記で提示された同じシナリオにおいて、ユーザが、「<System name>,set the lights in my bathroom...(<システム名>、私のバスルーム内のライトを設定して)」と言う。制御システム202は、音声コマンドを直接処理して、「バスルーム」と命名されている部屋が存在しないことを認識する。それゆえ、制御システムは、ユーザが「バスルーム」と言った後に、ユーザ106に効果05を示すことにより、ユーザ106に、コマンドが失敗した箇所の、直接フィードバックを与える。システムは、任意の所与の要素51、52、53において失敗し得る。このことは、ユーザ106が、より良好にシステムの能力を理解するために役立つことになるが、これは、ユーザが、エラーについての直接フィードバックを受け取るためである。
本明細書では「直接プレビュー」と称され得る、別の例示的なフィードバックのタイプが、図3のページ上の下部のタイムラインに示されている。そのような実施形態では、実行位置とフィードバック位置とは、同様のものである。この状況では、照明システム204は、ユーザ106が音声コマンドを発話する際に、処理された音声コマンドを直接示すことができる。例えば、ユーザは、3つの「領域」を有するオープンプランの部屋を有し、1つの領域は「キッチン」と命名され、もう1つは「ダイニング」と命名され、3つ目は「リビング」と命名されている。ユーザ106が、「Set the lights...(ライトを設定して...)」と言うと、全てのライト104が、01のアニメーションを表示する。ユーザが、「...in my living room...(...私のリビングルーム内の...)」と続けると、キッチン及びダイニング内のライトは、アニメーションの表示を停止する。次いで、ユーザ106が、「...to my sunset scene(...私の日没シーンに)」と言うと、次いで、リビングルーム内のライト104が、日没シーンに移行する。
上記のフィードバックのタイプのうちのいずれかの変形例は、本明細書では「グレースフルデグラデーション」と称され得る。この場合、より低い能力を有する(例えば、色能力がない)ライト104は、最善の努力を尽くしてアニメーションをレンダリングすることになる。照明システムが、フィードバックを表示するためのライトを決定する場合、照明システムは、ユーザ106の近くに存在する、最も能力のある照明器具104を選択することを目標とする。
上記の実施形態は、単に例として説明されている点が理解されるであろう。
例えば、スマートホームアプリケーションにおいては、フィードバック能力を有さない多くの機器が存在し得る。例えば、窓用ブラインド、暖房システム、空調システム、及び換気などのユーティリティは、オン及びオフに切り替えられることのみが可能である。これらのデバイスのうちの1つに対して向けられる、誤った音声コマンドが処理されないことは、ユーザにとって明らかとならない場合がある。それゆえ、照明システム204はまた、他のスマートホーム機器へのフィードバックメカニズムとしての役割を果たすことも可能である。そのような実施形態では、コントローラ210は、対象とするユーティリティシステム(図示せず)に結合されており、発話認識アルゴリズムによって認識された音声コマンドに従って、当該ユーティリティシステムを制御するよう構成されるが、依然として、照明システムを使用して音声コマンドの処理についてのフィードバックを供給するために、照明システム204にも結合されている。
図面、本開示、及び添付の請求項の検討によって、開示される実施形態に対する他の変形形態が、当業者により理解されることができ、また、特許請求される発明を実施する際に実行されることができる。請求項では、単語「備える(comprising)」は、他の要素又はステップを排除するものではなく、不定冠詞「1つの(a)」又は「1つの(an)」は、複数を排除するものではない。単一のプロセッサ又は他のユニットが、請求項において列挙される、いくつかの項目の機能を果たすことができる。特定の手段が、互いに異なる従属請求項内に列挙されているという単なる事実は、これらの手段の組み合わせが、有利に使用され得ないことを示すものではない。コンピュータプログラムは、他のハードウェアと共に、又は他のハードウェアの一部として供給される、光学記憶媒体又は固体媒体などの、好適な媒体上に記憶及び/又は分散されてもよいが、また、インターネット、又は他の有線若しくは無線の電気通信システムなどを介して、他の形態で分散されてもよい。請求項中のいかなる参照符号も、範囲を限定するものとして解釈されるべきではない。

Claims (14)

  1. 発話認識を使用してユーティリティを制御する方法であって、
    ユーザによって発話され、少なくとも1つのマイクロフォンによって捕捉される、発話コマンドを受信するステップと、
    前記コマンド内の一連の発話要素のそれぞれにおける前記ユーザの意図を、自動的に認識及び実施するために、前記発話コマンドを処理するステップであって、前記要素が、最初から最後までの時間的な順序を有し、前記要素のうちの少なくとも1つが、前記ユーティリティを制御するという前記ユーザの意図を示し、前記要素のうちの更なる1つ以上が、それぞれ、前記ユーザによって意図されている前記制御の対応のパラメータを指定している、ステップと、
    音声コマンド内の第1の前記要素の発話の後であるが、前記コマンドの最後の前記要素を実施する前に、前記発話コマンドの前記処理に関するフィードバックを前記ユーザに供給するために、照明システムの1つ以上の照明器具によって放射される照明を制御するステップと、を含み、
    前記ユーティリティが、暖房、空調、換気、窓周りの装飾、又は、娯楽システムからのメディアのプレイアウトのうちの1つを含む、方法。
  2. 前記ユーザの位置を自動的に決定するステップと、前記位置に基づいて、前記ユーザの検出された前記位置から視認可能な1つ以上の照明器具を自動的に識別するステップと、前記ユーザの前記検出された位置に基づいて識別された前記照明器具の中から、前記フィードバックを供給するための前記1つ以上の照明器具を自動的に選択するステップと、
    を含む、請求項1に記載の方法。
  3. 制御される前記ユーティリティが、前記ユーザの前記位置とは異なる位置にあり、前記異なる位置から、前記ユーザが現時点で、前記制御されるユーティリティを直接体験することができない、請求項2に記載の方法。
  4. 前記ユーザの前記位置の検出が、少なくとも、前記ユーザが位置している部屋を検出することを含み、前記異なる位置が、異なる部屋を含む、請求項3に記載の方法。
  5. 前記ユーティリティが、前記フィードバックが供給される前記照明器具以外の、前記照明システムの1つ以上の他の照明器具によって放射される照明を含む、請求項4に記載の方法。
  6. 前記ユーティリティが、前記フィードバックが供給されるものと同じ前記1つ以上の照明器具のうちの、少なくとも1つによって放射される前記照明を含む、請求項1に記載の方法。
  7. 前記フィードバックが、前記最後の要素が成功裏に認識されており、実施されるために実行されているプロセスにある場合に、確認応答することを少なくとも含む、請求項1乃至6のいずれか一項に記載の方法。
  8. 前記フィードバックの少なくとも一部が、前記コマンドの前記最後の要素の発話の前に供給される、請求項1乃至7のいずれか一項に記載の方法。
  9. 前記フィードバックが、前記コマンドの前記第1の要素が認識されていることを確認応答することを少なくとも含む、請求項8に記載の方法。
  10. 前記フィードバックが、前記コマンドの前記要素のうちの1つを認識する際にエラーが存在したという指標を、少なくとも含むことにより、前記ユーザに、前記要素のうちの前記1つを再発話するように促す、請求項8又は9に記載の方法。
  11. 前記フィードバックが、前記コマンドの前記要素のうちの1つ以上の、それぞれ個々の1つの効果のプレビューを供給することを、少なくとも含む、請求項8、9、又は10に記載の方法。
  12. 前記照明システムのいずれの照明器具が、前記フィードバックをレンダリングすることが可能であるかに基づいて、前記フィードバックを供給するための前記1つ以上の照明器具を自動的に選択するステップを含む、請求項1乃至11のいずれか一項に記載の方法。
  13. コンピュータ可読ストレージ上に具現化されているコードであって、制御システムの1つ以上の処理ユニット上で実行されると、請求項1乃至12のいずれか一項に記載の動作を実行するよう構成されるコードを含む、コンピュータプログラム。
  14. 1つ以上のメモリユニットを含むメモリであって、コードを記憶しているメモリと、
    前記メモリからの前記コードを実行するよう構成される、1つ以上の処理ユニットであって、前記コードが、前記1つ以上の処理ユニット上で実行されると、請求項1乃至12のいずれか一項に記載の動作を実行するよう構成される、1つ以上の処理ユニットと、
    を備える、制御システム。
JP2019561145A 2017-05-08 2018-05-02 音声制御 Active JP7190446B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP17169899 2017-05-08
EP17169899.6 2017-05-08
PCT/EP2018/061156 WO2018206359A1 (en) 2017-05-08 2018-05-02 Voice control

Publications (3)

Publication Number Publication Date
JP2020518992A true JP2020518992A (ja) 2020-06-25
JP2020518992A5 JP2020518992A5 (ja) 2021-06-17
JP7190446B2 JP7190446B2 (ja) 2022-12-15

Family

ID=58709234

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019561145A Active JP7190446B2 (ja) 2017-05-08 2018-05-02 音声制御

Country Status (5)

Country Link
US (1) US11158317B2 (ja)
EP (1) EP3622784B1 (ja)
JP (1) JP7190446B2 (ja)
CN (1) CN110603901B (ja)
WO (1) WO2018206359A1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102443052B1 (ko) * 2018-04-13 2022-09-14 삼성전자주식회사 공기 조화기 및 공기 조화기의 제어 방법
JP7165908B2 (ja) * 2018-12-28 2022-11-07 パナソニックIpマネジメント株式会社 照明システム、照明システムの制御方法及びプログラム
CN110176234B (zh) * 2019-05-30 2021-05-25 芋头科技(杭州)有限公司 移动智能终端的控制方法、装置、控制器、介质及终端
CN110491379B (zh) * 2019-07-22 2021-11-26 青岛海信日立空调系统有限公司 一种家用电器的语音控制方法、语音控制器和空调器
US11749265B2 (en) * 2019-10-04 2023-09-05 Disney Enterprises, Inc. Techniques for incremental computer-based natural language understanding
US11972760B1 (en) * 2020-07-28 2024-04-30 United Services Automobile Association (Usaa) Systems and methods for detecting fake voice commands to smart devices
CN112087847B (zh) * 2020-08-18 2021-09-07 深圳市中天视觉数码科技有限公司 一种用于智能建筑的室内光控系统及其设计方法
US11984124B2 (en) * 2020-11-13 2024-05-14 Apple Inc. Speculative task flow execution
CN114449710A (zh) * 2022-02-09 2022-05-06 哈尔滨立锦科技有限公司 一种场景联动中灯光控制及智能调节匹配系统及其构建方法
EP4447616A1 (en) * 2023-04-13 2024-10-16 Zumtobel Lighting GmbH Lighting device with voice control

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002116792A (ja) * 2000-10-11 2002-04-19 Sony Corp ロボット制御装置およびロボット制御方法、並びに記録媒体
JP2002289371A (ja) * 2001-03-28 2002-10-04 Matsushita Electric Works Ltd 音声認識型照明用スイッチ
JP2006286275A (ja) * 2005-03-31 2006-10-19 Koizumi Sangyo Corp 照明器具の制御装置
JP2014060657A (ja) * 2012-09-19 2014-04-03 Sharp Corp 無線通信端末、無線操作機、方法、およびプログラム
JP2014535154A (ja) * 2011-11-11 2014-12-25 オスラム・シルバニア・インコーポレイテッド 光制御方法及び該光制御方法を使用する照明装置
WO2016055648A1 (en) * 2014-10-10 2016-04-14 Philips Lighting Holding B.V. Light effect control
WO2016083113A1 (en) * 2014-11-24 2016-06-02 Philips Lighting Holding B.V. Controlling a network connected lighting device
WO2016173914A2 (en) * 2015-04-28 2016-11-03 Philips Lighting Holding B.V. Portable lighting device
JP2017009867A (ja) * 2015-06-24 2017-01-12 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 制御装置、その方法及びプログラム
JP2017506794A (ja) * 2014-01-30 2017-03-09 フィリップス ライティング ホールディング ビー ヴィ ジェスチャ制御

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19533541C1 (de) * 1995-09-11 1997-03-27 Daimler Benz Aerospace Ag Verfahren zur automatischen Steuerung eines oder mehrerer Geräte durch Sprachkommandos oder per Sprachdialog im Echtzeitbetrieb und Vorrichtung zum Ausführen des Verfahrens
US6188986B1 (en) 1998-01-02 2001-02-13 Vos Systems, Inc. Voice activated switch method and apparatus
JP2001319045A (ja) * 2000-05-11 2001-11-16 Matsushita Electric Works Ltd 音声マンマシンインタフェースを用いたホームエージェントシステム、及びプログラム記録媒体
WO2002011497A1 (en) * 2000-07-27 2002-02-07 Color Kinetics Incorporated Lighting control using speech recognition
WO2005045311A2 (en) * 2003-11-03 2005-05-19 Monolithic Power Systems, Inc. Driver for light source having integrated photosensitive elements for driver control
EP1756539A1 (en) * 2004-06-04 2007-02-28 Philips Intellectual Property & Standards GmbH Performance prediction for an interactive speech recognition system
US8694322B2 (en) * 2005-08-05 2014-04-08 Microsoft Corporation Selective confirmation for execution of a voice activated user interface
US20080114603A1 (en) * 2006-11-15 2008-05-15 Adacel, Inc. Confirmation system for command or speech recognition using activation means
CN101998138A (zh) * 2009-08-25 2011-03-30 北京达鸣慧科技有限公司 电视频道监控系统及其实时监控方法
US8581707B2 (en) * 2009-12-16 2013-11-12 Pyramid Meriden Inc. Methods and apparatus for identifying and categorizing distributed devices
JP2014109897A (ja) * 2012-11-30 2014-06-12 Toshiba Corp 情報処理装置およびコンテンツ検索方法
KR102009316B1 (ko) * 2013-01-07 2019-08-09 삼성전자주식회사 대화형 서버, 디스플레이 장치 및 그 제어 방법
US9721587B2 (en) * 2013-01-24 2017-08-01 Microsoft Technology Licensing, Llc Visual feedback for speech recognition system
CN103106061A (zh) * 2013-03-05 2013-05-15 北京车音网科技有限公司 语音输入方法和装置
US9721586B1 (en) * 2013-03-14 2017-08-01 Amazon Technologies, Inc. Voice controlled assistant with light indicator
US10133546B2 (en) * 2013-03-14 2018-11-20 Amazon Technologies, Inc. Providing content on multiple devices
CN103542687B (zh) * 2013-09-29 2015-09-30 澳柯玛股份有限公司 一种用于冰箱的智能控制系统及其运行方法
US9900177B2 (en) * 2013-12-11 2018-02-20 Echostar Technologies International Corporation Maintaining up-to-date home automation models
CN103874292A (zh) 2014-03-04 2014-06-18 浙江生辉照明有限公司 智能led照明系统及其监控方法
US9860076B2 (en) * 2014-05-07 2018-01-02 Vivint, Inc. Home automation via voice control
CN105206275A (zh) * 2015-08-31 2015-12-30 小米科技有限责任公司 一种设备控制方法、装置及终端
US10595380B2 (en) * 2016-09-27 2020-03-17 Ideal Industries Lighting Llc Lighting wall control with virtual assistant

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002116792A (ja) * 2000-10-11 2002-04-19 Sony Corp ロボット制御装置およびロボット制御方法、並びに記録媒体
JP2002289371A (ja) * 2001-03-28 2002-10-04 Matsushita Electric Works Ltd 音声認識型照明用スイッチ
JP2006286275A (ja) * 2005-03-31 2006-10-19 Koizumi Sangyo Corp 照明器具の制御装置
JP2014535154A (ja) * 2011-11-11 2014-12-25 オスラム・シルバニア・インコーポレイテッド 光制御方法及び該光制御方法を使用する照明装置
JP2014060657A (ja) * 2012-09-19 2014-04-03 Sharp Corp 無線通信端末、無線操作機、方法、およびプログラム
JP2017506794A (ja) * 2014-01-30 2017-03-09 フィリップス ライティング ホールディング ビー ヴィ ジェスチャ制御
WO2016055648A1 (en) * 2014-10-10 2016-04-14 Philips Lighting Holding B.V. Light effect control
WO2016083113A1 (en) * 2014-11-24 2016-06-02 Philips Lighting Holding B.V. Controlling a network connected lighting device
WO2016173914A2 (en) * 2015-04-28 2016-11-03 Philips Lighting Holding B.V. Portable lighting device
JP2017009867A (ja) * 2015-06-24 2017-01-12 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 制御装置、その方法及びプログラム

Also Published As

Publication number Publication date
US20200168220A1 (en) 2020-05-28
EP3622784A1 (en) 2020-03-18
WO2018206359A1 (en) 2018-11-15
US11158317B2 (en) 2021-10-26
JP7190446B2 (ja) 2022-12-15
CN110603901B (zh) 2022-01-25
CN110603901A (zh) 2019-12-20
EP3622784B1 (en) 2020-11-11

Similar Documents

Publication Publication Date Title
JP7190446B2 (ja) 音声制御
JP7184798B2 (ja) 対象物の位置を決定するための位置決めシステム
CN110199254B (zh) 用于控制多个光源的控制器
US11149938B2 (en) Luminaire system with trim component and integrated user experience elements
JP7266537B2 (ja) コネクテッド照明システムの使用方法
CN110870387B (zh) 控制光照的方法、计算机可读存储介质和照明控制系统
JP2018524777A (ja) 照明システム内の装置を設定するための方法
EP4055998B1 (en) Defining one or more groups in a configurable system based on device name similarity
JP7089644B2 (ja) 照明デバイス
EP4108049B1 (en) Determining an adjusted daylight-mimicking light output direction

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210428

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210428

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220323

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220509

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221114

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221205

R150 Certificate of patent or registration of utility model

Ref document number: 7190446

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150