[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JPWO2019198222A1 - Equipment control system, equipment, equipment control method and program - Google Patents

Equipment control system, equipment, equipment control method and program Download PDF

Info

Publication number
JPWO2019198222A1
JPWO2019198222A1 JP2020513032A JP2020513032A JPWO2019198222A1 JP WO2019198222 A1 JPWO2019198222 A1 JP WO2019198222A1 JP 2020513032 A JP2020513032 A JP 2020513032A JP 2020513032 A JP2020513032 A JP 2020513032A JP WO2019198222 A1 JPWO2019198222 A1 JP WO2019198222A1
Authority
JP
Japan
Prior art keywords
server
control command
end server
air conditioner
created
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020513032A
Other languages
Japanese (ja)
Other versions
JP6921311B2 (en
Inventor
恵美 竹田
恵美 竹田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of JPWO2019198222A1 publication Critical patent/JPWO2019198222A1/en
Application granted granted Critical
Publication of JP6921311B2 publication Critical patent/JP6921311B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q9/00—Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Selective Calling Equipment (AREA)
  • Telephonic Communication Services (AREA)
  • Air Conditioning Control Device (AREA)

Abstract

スマートスピーカ（２０）は、入力された音声に基づく音声情報をフロントエンドサーバ（４０）に送信する。フロントエンドサーバ（４０）は、受信した音声情報に基づく制御指令をバックエンドサーバ（５０）に送信する。バックエンドサーバ（５０）は、受信した制御指令に基づく詳細制御指令を空調機（１０）に送信する。空調機（１０）は、バックエンドサーバ（５０）から受信した詳細制御指令に基づいた動作を行う。空調機（１０）は、フロントエンドサーバ（４０）が作成した制御指令に基づいて制御されることを、音を発することによりユーザに報知する。このとき、空調機（１０）は、フロントエンドサーバ（４０）以外が作成した制御指令に基づいて制御されることを報知する場合に発せられる音とは異なる音を発することにより、報知を行う。The smart speaker (20) transmits voice information based on the input voice to the front-end server (40). The front-end server (40) transmits a control command based on the received voice information to the back-end server (50). The back-end server (50) transmits a detailed control command based on the received control command to the air conditioner (10). The air conditioner (10) operates based on the detailed control command received from the back-end server (50). The air conditioner (10) notifies the user by emitting a sound that the air conditioner (10) is controlled based on the control command created by the front-end server (40). At this time, the air conditioner (10) performs notification by emitting a sound different from the sound emitted when notifying that control is performed based on a control command created by a server other than the front-end server (40).

Description

本発明は、機器制御システム、機器、機器制御方法及びプログラムに関する。 The present invention relates to device control systems, devices, device control methods and programs.

サーバ経由で機器を制御する技術が知られている。例えば、特許文献１には、携帯電話の操作に基づく操作情報をサーバが受信し、受信した操作情報に基づいて、サーバがインターネットを介して住宅内の機器を制御するネットワーク家電システムが開示されている。 Technology for controlling devices via a server is known. For example, Patent Document 1 discloses a network home appliance system in which a server receives operation information based on the operation of a mobile phone, and the server controls devices in a house via the Internet based on the received operation information. There is.

特開２００８−２８３４３３号公報Japanese Unexamined Patent Publication No. 2008-283433

しかし、特許文献１に開示されたネットワーク家電システムでは、サーバ経由で機器が制御されることを好適に報知するという観点からは不十分である。例えば、第三者が携帯電話の操作によりサーバ経由で不正に機器を制御した場合、当該携帯電話を所有しない住宅内のユーザには、サーバ経由で機器が制御されることを知ることが困難である。 However, the network home appliance system disclosed in Patent Document 1 is insufficient from the viewpoint of preferably notifying that the device is controlled via the server. For example, if a third party illegally controls a device via a server by operating a mobile phone, it is difficult for a user in a house who does not own the mobile phone to know that the device is controlled via the server. is there.

本発明の目的は、上記の事情に鑑み、サーバ経由で機器が制御されることを好適に報知できる機器制御システム等を提供することにある。 An object of the present invention is to provide a device control system or the like that can suitably notify that a device is controlled via a server in view of the above circumstances.

上記の目的を達成するため、本発明に係る機器制御システムは、
入力装置と、第１のサーバと、報知手段と、を備え、
前記入力装置は、
入力操作を受け付ける入力手段と、
前記入力操作に基づく操作情報を作成する操作情報作成手段と、を備え、
前記第１のサーバは、
前記操作情報を通信により前記入力装置から取得する操作情報取得手段と、
機器を制御する制御指令を前記操作情報に基づいて作成する指令作成手段と、を備え、
前記報知手段は、前記第１のサーバにより作成された制御指令に基づいて前記機器が制御されることを報知し、前記第１のサーバ以外により作成された制御指令に基づいて前記機器が制御されることを報知する。In order to achieve the above object, the device control system according to the present invention is
It is provided with an input device, a first server, and a notification means.
The input device is
An input means that accepts input operations and
An operation information creating means for creating operation information based on the input operation is provided.
The first server is
An operation information acquisition means for acquiring the operation information from the input device by communication,
A command creating means for creating a control command for controlling a device based on the operation information is provided.
The notification means notifies that the device is controlled based on a control command created by the first server, and the device is controlled based on a control command created by a server other than the first server. Notify that.

本発明によれば、サーバにより作成された制御指令に基づいて機器が制御されることを報知し、サーバ以外により作成された制御指令に基づいて機器が制御されることを報知するので、サーバ経由で機器が制御されることを好適に報知できる。 According to the present invention, it is notified that the device is controlled based on the control command created by the server, and that the device is controlled based on the control command created by a device other than the server. It is possible to preferably notify that the device is controlled by.

本発明の実施の形態１に係る機器制御システムの構成を示す図The figure which shows the structure of the device control system which concerns on Embodiment 1 of this invention. 本発明の実施の形態１に係る空調機の機能的構成を示す図The figure which shows the functional structure of the air conditioner which concerns on Embodiment 1 of this invention. 本発明の実施の形態１に係るスマートスピーカの機能的構成を示す図The figure which shows the functional structure of the smart speaker which concerns on Embodiment 1 of this invention. 本発明の実施の形態１に係るフロントエンドサーバ及びバックエンドサーバの機能的構成を示す図The figure which shows the functional configuration of the front-end server and the back-end server which concerns on Embodiment 1 of this invention. 本発明の実施の形態１に係るフロントエンドサーバの記憶部に格納される制御指令データベースの一例を示す図The figure which shows an example of the control command database stored in the storage part of the front-end server which concerns on Embodiment 1 of this invention. 本発明の実施の形態１に係るフロントエンドサーバの記憶部に格納される返答データベースの一例を示す図The figure which shows an example of the response database stored in the storage part of the front-end server which concerns on Embodiment 1 of this invention. 本発明の実施の形態１に係るバックエンドサーバの記憶部に格納される詳細制御指令データベースの一例を示す図The figure which shows an example of the detailed control command database stored in the storage part of the back-end server which concerns on Embodiment 1 of this invention. 本発明の実施の形態１に係る空調機のハードウェア構成の一例を示す図The figure which shows an example of the hardware composition of the air conditioner which concerns on Embodiment 1 of this invention. 本発明の実施の形態１に係る機器制御システムにおける機器制御の動作の流れを示すシーケンス図A sequence diagram showing an operation flow of device control in the device control system according to the first embodiment of the present invention. 本発明の実施の形態２に係る機器制御システムの構成を示す図The figure which shows the structure of the device control system which concerns on Embodiment 2 of this invention.

以下、図面を参照しながら、本発明の実施の形態に係る機器制御システムについて説明する。各図面においては、同一又は同等の部分に同一の符号を付す。 Hereinafter, the device control system according to the embodiment of the present invention will be described with reference to the drawings. In each drawing, the same or equivalent parts are designated by the same reference numerals.

（実施の形態１）
図１を参照しながら、実施の形態１に係る機器制御システム１について説明する。機器制御システム１は、スマートスピーカ２０によって、フロントエンドサーバ４０及びバックエンドサーバ５０を介して住宅２内の空調機１０を制御するシステムである。また、機器制御システム１によれば、空調機１０がフロントエンドサーバ４０経由で制御されたことと、フロントエンドサーバ４０を経由せずに制御されたこととをユーザに報知できる。(Embodiment 1)
The device control system 1 according to the first embodiment will be described with reference to FIG. The device control system 1 is a system in which the smart speaker 20 controls the air conditioner 10 in the house 2 via the front-end server 40 and the back-end server 50. Further, according to the device control system 1, it is possible to notify the user that the air conditioner 10 is controlled via the front-end server 40 and that the air conditioner 10 is controlled without passing through the front-end server 40.

機器制御システム１は、フロントエンドサーバ４０と、バックエンドサーバ５０と、空調機１０と、リモコン１１と、スマートスピーカ２０と、ルータ３０と、を備える。図１において、空調機１０、リモコン１１、スマートスピーカ２０及びルータ３０は、住宅２内に設けられている。フロントエンドサーバ４０、バックエンドサーバ５０及びルータ３０は、インターネットＮＴに接続されている。 The device control system 1 includes a front-end server 40, a back-end server 50, an air conditioner 10, a remote controller 11, a smart speaker 20, and a router 30. In FIG. 1, the air conditioner 10, the remote controller 11, the smart speaker 20, and the router 30 are provided in the house 2. The front-end server 40, the back-end server 50, and the router 30 are connected to the Internet NT.

理解を容易にするため、まず、機器制御システム１による空調機１０の制御の大まかな流れについて説明する。 In order to facilitate understanding, first, a rough flow of control of the air conditioner 10 by the device control system 1 will be described.

（１）ユーザが、空調機１０を制御するためのフレーズを、口頭にてスマートスピーカ２０に入力する。つまり、ユーザがスマートスピーカ２０に話しかける。空調機１０を制御するためのフレーズの例として、「エアコンつけて」「朝７時にエアコンつけて」「朝７時に２６℃にして」などが挙げられる。 (1) The user verbally inputs a phrase for controlling the air conditioner 10 into the smart speaker 20. That is, the user speaks to the smart speaker 20. Examples of phrases for controlling the air conditioner 10 include "turn on the air conditioner", "turn on the air conditioner at 7:00 am", and "set the temperature to 26 ° C. at 7:00 am".

（２）スマートスピーカ２０は、ユーザが入力した音声を音声情報に変換してフロントエンドサーバ４０に送信する。 (2) The smart speaker 20 converts the voice input by the user into voice information and transmits it to the front-end server 40.

（３）フロントエンドサーバ４０は、スマートスピーカ２０から受信した音声情報に対して、音声認識を行う。 (3) The front-end server 40 performs voice recognition on the voice information received from the smart speaker 20.

（４）フロントエンドサーバ４０は、音声認識の結果に基づいて、空調機１０に対して行うべき制御指令を作成し、作成した制御指令をバックエンドサーバ５０に送信する。例えば、音声認識の結果、音声情報が「朝７時にエアコンつけて」と認識された場合、フロントエンドサーバ４０は、「７時に空調機１０を起動」という内容の制御指令を作成する。 (4) The front-end server 40 creates a control command to be given to the air conditioner 10 based on the result of voice recognition, and transmits the created control command to the back-end server 50. For example, when the voice information is recognized as "turn on the air conditioner at 7:00 am" as a result of voice recognition, the front-end server 40 creates a control command having the content "start the air conditioner 10 at 7:00 am".

（５）バックエンドサーバ５０は、受信した制御指令に基づいて、詳細制御指令を作成し、作成した詳細制御指令を空調機１０に送信する。詳細制御指令とは、制御指令に基づく制御を空調機１０に対して行うために、空調機１０に対して行うべき制御をより詳細に定めた指令である。例えば、受信した制御指令が「７時に空調機１０を起動」という内容であった場合、バックエンドサーバ５０は、「自動オンタイマーを７時に設定」という詳細制御指令を作成する。 (5) The back-end server 50 creates a detailed control command based on the received control command, and transmits the created detailed control command to the air conditioner 10. The detailed control command is a command that defines in more detail the control to be performed on the air conditioner 10 in order to perform the control based on the control command on the air conditioner 10. For example, if the received control command has the content of "starting the air conditioner 10 at 7 o'clock", the back-end server 50 creates a detailed control command of "set the automatic on timer at 7 o'clock".

（６）空調機１０は、受信した詳細制御指令に基づいた動作を実行する。また、空調機１０は、フロントエンドサーバ４０が作成した制御指令に基づいて制御されることを、音を発することによりユーザに報知する。つまり、空調機１０がフロントエンドサーバ４０経由で制御されることを、音により報知する。このとき、空調機１０は、フロントエンドサーバ４０以外が作成した制御指令に基づいて制御されることを報知する場合に発せられる音とは異なる音を発することにより、報知を行う。フロントエンドサーバ４０以外が作成した制御指令に基づいて制御される場合とは、例えばリモコン１１の操作に基づいて制御される場合である。 (6) The air conditioner 10 executes an operation based on the received detailed control command. Further, the air conditioner 10 notifies the user by emitting a sound that the air conditioner 10 is controlled based on the control command created by the front-end server 40. That is, the sound informs that the air conditioner 10 is controlled via the front-end server 40. At this time, the air conditioner 10 performs notification by emitting a sound different from the sound emitted when notifying that control is performed based on a control command created by a server other than the front-end server 40. The case where the control is performed based on the control command created by a server other than the front-end server 40 is, for example, the case where the control is performed based on the operation of the remote controller 11.

（７）空調機１０は、詳細制御指令の受信に応答する返答情報をバックエンドサーバ５０に送信する。バックエンドサーバ５０は、受信した返答情報をフロントエンドサーバ４０に送信する。フロントエンドサーバ４０は、受信した返答情報に基づいた返答音声情報を作成し、スマートスピーカ２０に送信する。スマートスピーカ２０は、受信した返答音声情報に基づいた返答音声を再生する。スマートスピーカ２０により再生される返答音声の例として、「設定温度が変更されました」「フィルタの自動清掃を開始します」「エラー。この機種にはフィルタ清掃機能がありません」などのメッセージを発する音声が挙げられる。 (7) The air conditioner 10 transmits the response information in response to the reception of the detailed control command to the back-end server 50. The back-end server 50 transmits the received response information to the front-end server 40. The front-end server 40 creates response voice information based on the received response information and transmits it to the smart speaker 20. The smart speaker 20 reproduces the response voice based on the received response voice information. As an example of the response voice played by the smart speaker 20, messages such as "The set temperature has been changed", "Automatic filter cleaning will start", and "Error. This model does not have a filter cleaning function" are issued. Audio can be mentioned.

次に、機器制御システム１の各構成について説明する。 Next, each configuration of the device control system 1 will be described.

空調機１０は、インターネットＮＴを介した通信が可能な空調機である。図２に示すとおり、空調機１０は、第１通信部１００と、第２通信部１１０と、制御部１２０と、報知部１３０と、を備える。また、空調機１０は、熱交換器、モータなど、空調機を構成するために必要な各機能部を備えるが、図２には図示しない。空調機１０は、本発明に係る機器の一例である。 The air conditioner 10 is an air conditioner capable of communicating via the Internet NT. As shown in FIG. 2, the air conditioner 10 includes a first communication unit 100, a second communication unit 110, a control unit 120, and a notification unit 130. Further, the air conditioner 10 includes various functional parts necessary for forming the air conditioner, such as a heat exchanger and a motor, but is not shown in FIG. The air conditioner 10 is an example of the device according to the present invention.

空調機１０は、ルータ３０と接続されている。空調機１０とルータ３０とは、例えば無線LAN（Local Area Network）により接続されている。空調機１０は、リモコン１１との通信が可能である。空調機１０とリモコン１１とは、例えば赤外線通信により通信できる。 The air conditioner 10 is connected to the router 30. The air conditioner 10 and the router 30 are connected by, for example, a wireless LAN (Local Area Network). The air conditioner 10 can communicate with the remote controller 11. The air conditioner 10 and the remote controller 11 can communicate with each other by, for example, infrared communication.

第１通信部１００は、ルータ３０及びインターネットＮＴを介して、バックエンドサーバ５０と通信する。第１通信部１００は、例えば無線LANモジュールによって実現される。第１通信部１００は、バックエンドサーバ５０から詳細制御指令を受信する。第１通信部１００は、制御部１２０が作成した返答情報をバックエンドサーバ５０に送信する。 The first communication unit 100 communicates with the back-end server 50 via the router 30 and the Internet NT. The first communication unit 100 is realized by, for example, a wireless LAN module. The first communication unit 100 receives a detailed control command from the back-end server 50. The first communication unit 100 transmits the response information created by the control unit 120 to the back-end server 50.

第２通信部１１０は、リモコン１１と通信する。第２通信部１１０は、例えば赤外線通信モジュールによって実現される。第２通信部１１０は、リモコン１１に入力された操作に基づく制御指令をリモコン１１から受信し、リモコン１１の表示部に表示すべき情報をリモコン１１に送信する。例えば、リモコン１１に入力された操作が設定温度を１℃下げる操作であったとき、リモコン１１に入力された操作に基づく制御指令は、空調機１０の設定温度を１℃下げることを示す指令となる。 The second communication unit 110 communicates with the remote controller 11. The second communication unit 110 is realized by, for example, an infrared communication module. The second communication unit 110 receives the control command based on the operation input to the remote controller 11 from the remote controller 11, and transmits the information to be displayed on the display unit of the remote controller 11 to the remote controller 11. For example, when the operation input to the remote controller 11 is an operation of lowering the set temperature by 1 ° C., the control command based on the operation input to the remote controller 11 is a command indicating to lower the set temperature of the air conditioner 10 by 1 ° C. Become.

制御部１２０は、第１通信部１００がバックエンドサーバ５０から受信した詳細制御指令に基づいて、空調機１０の各機能を制御する。例えば、詳細制御指令の内容が、空調機１０の設定温度変更である場合、空調機１０の設定温度を変更する動作を実行する。 The control unit 120 controls each function of the air conditioner 10 based on the detailed control command received from the back-end server 50 by the first communication unit 100. For example, when the content of the detailed control command is to change the set temperature of the air conditioner 10, the operation of changing the set temperature of the air conditioner 10 is executed.

上述のとおり、バックエンドサーバ５０が作成する詳細制御指令は、フロントエンドサーバ４０が作成する制御指令に基づいて作成される。したがって、制御部１２０は、フロントエンドサーバ４０により作成された制御指令に基づいた動作を行う、といえる。 As described above, the detailed control command created by the back-end server 50 is created based on the control command created by the front-end server 40. Therefore, it can be said that the control unit 120 operates based on the control command created by the front-end server 40.

制御部１２０は、第２通信部１１０がリモコン１１から受信した制御指令に基づいて、空調機１０の各機能を制御する。これは、フロントエンドサーバ４０以外により作成された制御指令に基づいた動作を行う、といえる。 The control unit 120 controls each function of the air conditioner 10 based on the control command received from the remote controller 11 by the second communication unit 110. It can be said that this operates based on the control command created by a server other than the front-end server 40.

以上より、制御部１２０は、フロントエンドサーバ４０により作成された制御指令に基づいた動作を行い、フロントエンドサーバ４０以外により作成された制御指令に基づいた動作を行う、といえる。制御部１２０は、本発明に係る実行手段の一例である。 From the above, it can be said that the control unit 120 performs an operation based on the control command created by the front-end server 40, and performs an operation based on the control command created by other than the front-end server 40. The control unit 120 is an example of an execution means according to the present invention.

制御部１２０は、詳細制御指令の受信に応答して、返答情報を作成する。返答情報が示す内容の例として、正常に詳細制御指令を受信できたこと、詳細制御指令に基づく動作を正常に実行できたこと、詳細制御指令を受信したが詳細制御指令に基づく動作を正常に実行できなかったこと、などが挙げられる。 The control unit 120 creates response information in response to the reception of the detailed control command. As an example of the contents indicated by the response information, the detailed control command could be received normally, the operation based on the detailed control command could be executed normally, and the detailed control command was received but the operation based on the detailed control command was normally executed. For example, it could not be executed.

例えば、詳細制御指令の内容が、設定温度変更、運転モード変更など、即座に結果を得ることができるものである場合、制御部１２０は、動作を正常に実行できたこと又はできなかったことを返答情報として作成することが好ましい。一方、詳細制御指令の内容が、フィルタの自動清掃、空気清浄など、結果を得るのに時間を要するものである場合、制御部１２０は、正常に詳細制御指令を受信できたことを返答情報として作成することが好ましい。 For example, when the content of the detailed control command is such that the set temperature is changed, the operation mode is changed, or the like, the result can be obtained immediately, the control unit 120 indicates that the operation could or could not be executed normally. It is preferable to create it as response information. On the other hand, when the content of the detailed control command is such as automatic filter cleaning, air cleaning, etc., that it takes time to obtain a result, the control unit 120 receives the detailed control command as response information. It is preferable to create it.

制御部１２０は、報知部１３０を制御して、空調機１０がフロントエンドサーバ４０により作成された制御指令に基づいて制御されることと、空調機１０がフロントエンドサーバ４０以外により作成された制御指令に基づいて制御されることとを報知する。 The control unit 120 controls the notification unit 130 so that the air conditioner 10 is controlled based on the control command created by the front-end server 40, and the air conditioner 10 is controlled by a device other than the front-end server 40. Notifies that it is controlled based on a command.

報知部１３０は、制御部１２０の制御により、空調機１０がフロントエンドサーバ４０により作成された制御指令に基づいて制御されることと、空調機１０がフロントエンドサーバ４０以外により作成された制御指令に基づいて制御されることとを、それぞれ異なる音を発することにより報知する。ユーザは、報知部１３０から発せられる音を聞くことにより、前者の場合か後者の場合かを認識できる。報知部１３０は、本発明に係る報知手段の一例である。 In the notification unit 130, the air conditioner 10 is controlled based on the control command created by the front-end server 40 under the control of the control unit 120, and the air conditioner 10 is controlled by a control command other than the front-end server 40. It notifies that it is controlled based on the above by emitting different sounds. By listening to the sound emitted from the notification unit 130, the user can recognize whether it is the former case or the latter case. The notification unit 130 is an example of the notification means according to the present invention.

報知部１３０は、例えば、前者の場合と後者の場合とで異なるブザー音を発することにより報知する。あるいは、前者の場合と後者の場合の一方あるいは双方で、合成音声を再生することによって報知してもよい。例えば、空調機１０がフロントエンドサーバ４０により作成された制御指令に基づいて制御される場合には「A社システムにより制御されました」というメッセージを合成音声の再生にて報知し、空調機１０がフロントエンドサーバ４０以外により作成された制御指令に基づいて制御される場合には単にブザー音を発することにより報知する。なお、この場合において、A社とは、例えばフロントエンドサーバ４０を運営する会社である。 For example, the notification unit 130 notifies by emitting different buzzer sounds in the former case and the latter case. Alternatively, notification may be performed by reproducing the synthetic voice in one or both of the former case and the latter case. For example, when the air conditioner 10 is controlled based on the control command created by the front-end server 40, the message "controlled by the system of company A" is notified by reproducing the synthetic voice, and the air conditioner 10 is played. Is controlled based on a control command created by a server other than the front-end server 40, and is notified by simply emitting a buzzer sound. In this case, the company A is, for example, a company that operates the front-end server 40.

なお、制御指令に基づく動作の実行のタイミングと、報知のタイミングとの前後関係は、ユーザの認識に支障がでない範囲で任意である。例えば、先に設定温度を変更し、数秒後に報知をしてもよいし、先に報知をし、数秒後に設定温度を変更してもよい。いずれの場合においても、ユーザは、空調機１０が制御指令に基づいて制御されることを支障なく知ることができる。したがって、いずれの場合も、報知部１３０は、空調機１０が制御指令に基づいて制御されることを報知する、といえる。 The context of the execution timing of the operation based on the control command and the notification timing is arbitrary as long as it does not interfere with the user's recognition. For example, the set temperature may be changed first and the notification may be made after a few seconds, or the notification may be made first and the set temperature may be changed after a few seconds. In any case, the user can know that the air conditioner 10 is controlled based on the control command without any trouble. Therefore, in any case, it can be said that the notification unit 130 notifies that the air conditioner 10 is controlled based on the control command.

再び図１を参照する。リモコン１１は、空調機１０を制御し、空調機１０の状態に関する情報を表示するためのリモコンである。リモコン１１は、空調機１０に関する情報を表示するための表示部を備える。リモコン１１は、ユーザの入力操作を受け付ける。リモコン１１は、ユーザの入力操作に基づいて制御指令を作成する。リモコン１１は、作成した制御指令を空調機１０に送信する。リモコン１１は、空調機１０から、表示部に表示すべき情報を受信し、当該情報を表示部に表示させる。 See FIG. 1 again. The remote controller 11 is a remote controller for controlling the air conditioner 10 and displaying information regarding the state of the air conditioner 10. The remote controller 11 includes a display unit for displaying information about the air conditioner 10. The remote controller 11 accepts a user's input operation. The remote controller 11 creates a control command based on a user's input operation. The remote controller 11 transmits the created control command to the air conditioner 10. The remote controller 11 receives information to be displayed on the display unit from the air conditioner 10 and displays the information on the display unit.

リモコン１１の表示部に表示すべき情報とは、設定温度、風量、風向、タイマー設定状態など、空調機１０の状態に関する情報である。また、空調機１０がフロントエンドサーバ４０により作成された制御指令に基づいて制御されることを示す情報を、表示部に表示すべき情報としてもよい。そして、リモコン１１の表示部に、空調機１０がフロントエンドサーバ４０により作成された制御指令に基づいて制御されることを表示してもよい。 The information to be displayed on the display unit of the remote controller 11 is information related to the state of the air conditioner 10, such as the set temperature, the air volume, the wind direction, and the timer setting state. Further, information indicating that the air conditioner 10 is controlled based on the control command created by the front-end server 40 may be information to be displayed on the display unit. Then, the display unit of the remote controller 11 may indicate that the air conditioner 10 is controlled based on the control command created by the front-end server 40.

スマートスピーカ２０は、ユーザの発話により入力された音声に基づいて様々なサービスを提供するための装置である。図３に示すとおり、スマートスピーカ２０は、マイク２００と、制御部２１０と、通信部２２０と、スピーカ２３０と、を備える。スマートスピーカ２０は、本発明に係る入力装置及び音声入力装置の一例である。 The smart speaker 20 is a device for providing various services based on the voice input by the user's utterance. As shown in FIG. 3, the smart speaker 20 includes a microphone 200, a control unit 210, a communication unit 220, and a speaker 230. The smart speaker 20 is an example of an input device and a voice input device according to the present invention.

マイク２００は、ユーザの発話により入力された音声を入力操作として受け付ける。マイク２００は、本発明に係る入力手段の一例である。 The microphone 200 receives the voice input by the user's utterance as an input operation. The microphone 200 is an example of the input means according to the present invention.

制御部２１０は、マイク２００に入力された音声に基づいて、操作情報としての音声情報を作成する。音声情報は、例えば、マイク２００に入力された音声を示すアナログ音声信号にPCM（Pulse Code Modulation: パルス符号変調）を適用してデジタル音声信号に変換し、さらに非可逆圧縮を適用することにより作成される。制御部２１０は、本発明に係る操作情報作成手段の一例である。 The control unit 210 creates voice information as operation information based on the voice input to the microphone 200. Audio information is created, for example, by applying PCM (Pulse Code Modulation) to an analog audio signal indicating the audio input to the microphone 200 to convert it into a digital audio signal, and then applying lossy compression. Will be done. The control unit 210 is an example of the operation information creating means according to the present invention.

制御部２１０は、スピーカ２３０を制御して、通信部２２０が受信した返答音声情報に基づく音声を再生する。 The control unit 210 controls the speaker 230 to reproduce the voice based on the response voice information received by the communication unit 220.

通信部２２０は、ルータ３０及びインターネットＮＴを介してフロントエンドサーバ４０と通信する。通信部２２０は、例えば無線LANモジュールにより実現される。通信部２２０は、制御部２１０が作成した音声情報をフロントエンドサーバ４０に送信する。通信部２２０は、フロントエンドサーバ４０から返答音声情報を受信する。 The communication unit 220 communicates with the front-end server 40 via the router 30 and the Internet NT. The communication unit 220 is realized by, for example, a wireless LAN module. The communication unit 220 transmits the voice information created by the control unit 210 to the front-end server 40. The communication unit 220 receives the reply voice information from the front-end server 40.

スピーカ２３０は、制御部２１０の制御により、返答音声情報に基づく音声を再生する。 The speaker 230 reproduces the voice based on the response voice information under the control of the control unit 210.

再び図１を参照する。ルータ３０は、例えば無線LANによる宅内ネットワークを構築できるブロードバンドルータである。ルータ３０に接続された住宅２内の装置は、ルータ３０を介してインターネットＮＴに接続できる。 See FIG. 1 again. The router 30 is, for example, a broadband router capable of constructing a home network by wireless LAN. The device in the house 2 connected to the router 30 can be connected to the Internet NT via the router 30.

フロントエンドサーバ４０は、例えばスマートスピーカ２０の製造者が運営するサーバである。図４に示すとおり、フロントエンドサーバ４０は、通信部４００と、制御部４１０と、記憶部４２０と、を備える。フロントエンドサーバ４０は、本発明に係る第１サーバの一例である。 The front-end server 40 is, for example, a server operated by the manufacturer of the smart speaker 20. As shown in FIG. 4, the front-end server 40 includes a communication unit 400, a control unit 410, and a storage unit 420. The front-end server 40 is an example of the first server according to the present invention.

なお、図４においては、ルータ３０及びインターネットＮＴの記載を省略している。また、それに伴い、スマートスピーカ２０とフロントエンドサーバ４０とが接続され、フロントエンドサーバ４０とバックエンドサーバ５０とが接続され、バックエンドサーバ５０と空調機１０とが接続された記載となっている。しかし、実際には、スマートスピーカ２０及びフロントエンドサーバ４０はルータ３０及びインターネットＮＴを介して通信し、フロントエンドサーバ４０及びバックエンドサーバ５０はインターネットＮＴを介して通信し、バックエンドサーバ５０と空調機１０とはインターネットＮＴ及びルータ３０を介して通信する。 In FIG. 4, the description of the router 30 and the Internet NT is omitted. Along with this, the smart speaker 20 and the front-end server 40 are connected, the front-end server 40 and the back-end server 50 are connected, and the back-end server 50 and the air conditioner 10 are connected. .. However, in reality, the smart speaker 20 and the front-end server 40 communicate with each other via the router 30 and the Internet NT, and the front-end server 40 and the back-end server 50 communicate with each other via the Internet NT to air-condition the back-end server 50. It communicates with the machine 10 via the Internet NT and the router 30.

通信部４００は、インターネットＮＴ及びルータ３０を介してスマートスピーカ２０と通信する。通信部４００は、インターネットＮＴを介してバックエンドサーバ５０と通信する。 The communication unit 400 communicates with the smart speaker 20 via the Internet NT and the router 30. The communication unit 400 communicates with the back-end server 50 via the Internet NT.

通信部４００は、スマートスピーカ２０から操作情報としての音声情報を受信する。通信部４００は、制御部４１０が作成した返答音声情報をスマートスピーカ２０に送信する。通信部４００は、本発明に係る操作情報取得手段の一例である。 The communication unit 400 receives voice information as operation information from the smart speaker 20. The communication unit 400 transmits the response voice information created by the control unit 410 to the smart speaker 20. The communication unit 400 is an example of the operation information acquisition means according to the present invention.

通信部４００は、制御部４１０が作成した制御指令をバックエンドサーバ５０に送信する。通信部４００は、バックエンドサーバ５０から返答情報を受信する。 The communication unit 400 transmits the control command created by the control unit 410 to the back-end server 50. The communication unit 400 receives the reply information from the back-end server 50.

制御部４１０は、通信部４００が受信した音声情報に基づいた音声認識を行い、音声認識の結果を示すテキストデータを取得する。音声認識は、記憶部４２０に格納される音響モデルを参照して行われる。音響モデルとして、例えば隠れマルコフモデルが採用可能である。 The control unit 410 performs voice recognition based on the voice information received by the communication unit 400, and acquires text data indicating the result of the voice recognition. Speech recognition is performed with reference to an acoustic model stored in the storage unit 420. As an acoustic model, for example, a hidden Markov model can be adopted.

制御部４１０は、音声認識の結果を示すテキストデータに基づいて制御指令を作成する。制御指令は、記憶部４２０に格納される制御指令データベースを参照して作成される。図５に示すとおり、制御指令データベースは、音声認識の結果と制御指令との対応を表すデータベースである。例えば、制御指令データベースにより、「エアコンつけて」という認識結果と「空調機１０を起動」という制御指令とが対応付けられる。制御部４１０は、本発明に係る指令作成手段の一例である。 The control unit 410 creates a control command based on text data indicating the result of voice recognition. The control command is created by referring to the control command database stored in the storage unit 420. As shown in FIG. 5, the control command database is a database showing the correspondence between the result of voice recognition and the control command. For example, the control command database associates the recognition result of "turn on the air conditioner" with the control command of "start the air conditioner 10." The control unit 410 is an example of a command creating means according to the present invention.

再び図４を参照する。制御部４１０は、通信部４００が受信した返答情報に基づいて、返答音声情報を作成する。返答音声情報は、記憶部４２０に格納される返答データベースを参照して作成される。図６に示すとおり、返答データベースは、返答情報と返答音声情報との対応を表すデータベースである。例えば、「正常に設定温度を変更した」ことを示す返答情報と、「設定温度が変更されました」という内容を表す返答音声情報とが返答データベースにより対応付けられる。 See FIG. 4 again. The control unit 410 creates the response voice information based on the response information received by the communication unit 400. The response voice information is created by referring to the response database stored in the storage unit 420. As shown in FIG. 6, the response database is a database showing the correspondence between the response information and the response voice information. For example, the response information indicating that "the set temperature has been changed normally" and the response voice information indicating that "the set temperature has been changed" are associated with each other by the response database.

再び図４を参照する。上述のとおり、記憶部４２０には、音響モデルと、制御指令データベースと、返答データベースとが格納される。 See FIG. 4 again. As described above, the storage unit 420 stores the acoustic model, the control command database, and the response database.

バックエンドサーバ５０は、例えば空調機１０の製造者が運営するサーバである。バックエンドサーバ５０は、通信部５００と、制御部５１０と、記憶部５２０と、を備える。 The back-end server 50 is, for example, a server operated by the manufacturer of the air conditioner 10. The back-end server 50 includes a communication unit 500, a control unit 510, and a storage unit 520.

通信部５００は、インターネットＮＴを介してフロントエンドサーバ４０と通信する。通信部５００は、インターネットＮＴ及びルータ３０を介して空調機１０と通信する。 The communication unit 500 communicates with the front-end server 40 via the Internet NT. The communication unit 500 communicates with the air conditioner 10 via the Internet NT and the router 30.

通信部５００は、フロントエンドサーバ４０から制御指令を受信する。通信部５００は、制御部５１０が作成した詳細制御指令を空調機１０に送信する。通信部５００は、空調機１０から返答情報を受信する。通信部５００は、空調機１０から受信した返答情報をフロントエンドサーバ４０に送信する。 The communication unit 500 receives a control command from the front-end server 40. The communication unit 500 transmits the detailed control command created by the control unit 510 to the air conditioner 10. The communication unit 500 receives the response information from the air conditioner 10. The communication unit 500 transmits the response information received from the air conditioner 10 to the front-end server 40.

制御部５１０は、通信部５００が受信した制御指令に基づいて詳細制御指令を作成する。詳細制御指令は、記憶部５２０に格納される詳細制御指令データベースを参照して作成される。図７に示すとおり、詳細制御指令データベースは、制御指令と詳細制御指令との対応を表すデータベースである。例えば、「７時に空調機を起動」という内容を表す制御指令と、「自動オンタイマーを７時に設定」という内容を表す詳細制御指令とが詳細制御指令データベースにより対応付けられる。 The control unit 510 creates a detailed control command based on the control command received by the communication unit 500. The detailed control command is created by referring to the detailed control command database stored in the storage unit 520. As shown in FIG. 7, the detailed control command database is a database showing the correspondence between the control command and the detailed control command. For example, a control command indicating the content of "starting the air conditioner at 7 o'clock" and a detailed control command indicating the content of "setting the automatic on timer at 7 o'clock" are associated with each other by the detailed control command database.

再び図４を参照する。上述のとおり、記憶部５２０には詳細制御指令データベースが格納される。 See FIG. 4 again. As described above, the storage unit 520 stores the detailed control command database.

なお、通信部５００は、空調機１０から受信した返答情報を、制御部５１０により適宜変換してからフロントエンドサーバ４０に送信してもよい。例えば、空調機１０から受信した返答情報が、フロントエンドサーバ４０にとって不適切な形式で表現された情報である場合、返答情報をフロントエンドサーバ４０にとって適切な形式に変換してから送信することが好ましい。 The communication unit 500 may appropriately convert the response information received from the air conditioner 10 by the control unit 510 and then transmit it to the front-end server 40. For example, when the response information received from the air conditioner 10 is information expressed in a format inappropriate for the front-end server 40, the response information may be converted into a format appropriate for the front-end server 40 and then transmitted. preferable.

以上、機器制御システム１の各構成について説明した。次に、空調機１０のハードウェア構成の一例について、図８を参照しながら説明する。図８に示す空調機１０は、例えば組み込み機器向けのコンピュータであるマイクロコントローラにより実現される。 Each configuration of the device control system 1 has been described above. Next, an example of the hardware configuration of the air conditioner 10 will be described with reference to FIG. The air conditioner 10 shown in FIG. 8 is realized by, for example, a microcontroller which is a computer for embedded devices.

空調機１０は、バス１０００を介して互いに接続された、プロセッサ１００１と、メモリ１００２と、インタフェース１００３と、二次記憶装置１００４と、を備える。 The air conditioner 10 includes a processor 1001, a memory 1002, an interface 1003, and a secondary storage device 1004, which are connected to each other via a bus 1000.

プロセッサ１００１は、例えばCPU（Central Processing Unit: 中央演算装置）である。プロセッサ１００１が、二次記憶装置１００４に記憶された専用プログラムをメモリ１００２に読み込んで実行することにより、空調機１０の各機能が実現される。 The processor 1001 is, for example, a CPU (Central Processing Unit). Each function of the air conditioner 10 is realized by the processor 1001 reading the dedicated program stored in the secondary storage device 1004 into the memory 1002 and executing the program.

メモリ１００２は、例えば、RAM（Random Access Memory）により構成される主記憶装置である。メモリ１００２は、プロセッサ１００１が二次記憶装置１００４から読み込んだ専用プログラムを記憶する。また、メモリ１００２は、プロセッサ１００１が専用プログラムを実行する際のワークメモリとして機能する。 The memory 1002 is, for example, a main storage device configured by RAM (Random Access Memory). The memory 1002 stores a dedicated program read from the secondary storage device 1004 by the processor 1001. Further, the memory 1002 functions as a work memory when the processor 1001 executes a dedicated program.

インタフェース１００３は、例えばシリアルポート、USB（Universal Serial Bus）ポートなどのI/O（Input/Output）ポートである。 The interface 1003 is an I / O (Input / Output) port such as a serial port or a USB (Universal Serial Bus) port.

二次記憶装置１００４は、例えば、フラッシュメモリ、SSD（Solid State Drive）などの不揮発性メモリである。二次記憶装置１００４は、プロセッサ１００１が実行する専用プログラムを記憶する。 The secondary storage device 1004 is, for example, a non-volatile memory such as a flash memory or an SSD (Solid State Drive). The secondary storage device 1004 stores a dedicated program executed by the processor 1001.

図８に示すハードウェア構成においては、空調機１０が二次記憶装置１００４を備えている。しかし、これに限らず、二次記憶装置１００４を空調機１０の外部に設け、インタフェース１００３を介して空調機１０と二次記憶装置１００４とが接続される形態としてもよい。この形態においては、USBフラッシュドライブ、メモリカードなどのリムーバブルメディアも二次記憶装置１００４として使用可能である。 In the hardware configuration shown in FIG. 8, the air conditioner 10 includes the secondary storage device 1004. However, the present invention is not limited to this, and the secondary storage device 1004 may be provided outside the air conditioner 10 and the air conditioner 10 and the secondary storage device 1004 may be connected via the interface 1003. In this form, removable media such as a USB flash drive and a memory card can also be used as the secondary storage device 1004.

また、図８に示すハードウェア構成に代えて、ASIC（Application Specific Integrated Circuit: 特定用途向け集積回路）、FPGA（Field Programmable Gate Array）などを用いた専用回路により空調機１０を構成してもよい。また、図８に示すハードウェア構成において、空調機１０の機能の一部を、例えばインタフェース１００３に接続された専用回路により実現してもよい。 Further, instead of the hardware configuration shown in FIG. 8, the air conditioner 10 may be configured by a dedicated circuit using an ASIC (Application Specific Integrated Circuit), an FPGA (Field Programmable Gate Array), or the like. .. Further, in the hardware configuration shown in FIG. 8, a part of the functions of the air conditioner 10 may be realized by, for example, a dedicated circuit connected to the interface 1003.

なお、スマートスピーカ２０、フロントエンドサーバ４０及びバックエンドサーバ５０も、概ね図８に示すハードウェア構成と同様のコンピュータシステムにより実現できる。 The smart speaker 20, the front-end server 40, and the back-end server 50 can also be realized by a computer system substantially similar to the hardware configuration shown in FIG.

次に、図９を参照しながら、機器制御システム１における機器制御の動作の流れについて説明する。 Next, the flow of the device control operation in the device control system 1 will be described with reference to FIG.

まず、スマートスピーカ２０は、マイク２００により、ユーザの発話による音声入力を受け付ける（ステップＴ１）。スマートスピーカ２０は、受け付けた入力音声に基づく音声情報を制御部２１０により作成し、作成した音声情報をフロントエンドサーバ４０に送信する。 First, the smart speaker 20 receives the voice input by the user's utterance by the microphone 200 (step T1). The smart speaker 20 creates voice information based on the received input voice by the control unit 210, and transmits the created voice information to the front-end server 40.

フロントエンドサーバ４０は、制御部４１０により、スマートスピーカ２０から受信した音声情報に基づいた音声認識を行い、認識結果に基づいて制御指令を作成する（ステップＴ２）。フロントエンドサーバ４０は、作成した制御指令をバックエンドサーバ５０に送信する。 The front-end server 40 uses the control unit 410 to perform voice recognition based on the voice information received from the smart speaker 20, and creates a control command based on the recognition result (step T2). The front-end server 40 transmits the created control command to the back-end server 50.

バックエンドサーバ５０は、制御部５１０により、フロントエンドサーバ４０から受信した制御指令に基づいて詳細制御指令を作成する（ステップＴ３）。バックエンドサーバ５０は、作成した詳細制御指令を空調機１０に送信する。 The back-end server 50 creates a detailed control command based on the control command received from the front-end server 40 by the control unit 510 (step T3). The back-end server 50 transmits the created detailed control command to the air conditioner 10.

空調機１０は、制御部１２０により、バックエンドサーバ５０から受信した詳細制御指令に基づいた動作を行う（ステップＴ４）。また、空調機１０は、報知部１３０により、空調機１０がフロントエンドサーバ４０により作成された制御指令に基づいて制御されることを、音を発することにより報知する（ステップＴ４）。このとき、空調機１０がフロントエンドサーバ４０以外により作成された制御指令に基づいて制御されることを報知する場合とは異なる音を発することにより報知する。 The air conditioner 10 is operated by the control unit 120 based on the detailed control command received from the back-end server 50 (step T4). Further, the air conditioner 10 notifies by the notification unit 130 that the air conditioner 10 is controlled based on the control command created by the front-end server 40 by emitting a sound (step T4). At this time, the air conditioner 10 is notified by emitting a sound different from the case of notifying that the air conditioner 10 is controlled based on the control command created by other than the front-end server 40.

空調機１０は、制御部１２０により、詳細制御指令の受信に応答する返答情報を作成する。空調機１０は、作成した返答情報をバックエンドサーバ５０に送信する。 The air conditioner 10 creates response information in response to the reception of the detailed control command by the control unit 120. The air conditioner 10 transmits the created response information to the back-end server 50.

バックエンドサーバ５０は、空調機１０から受信した返答情報をフロントエンドサーバ４０に送信する。上述したとおり、受信した返答情報を適宜変換してフロントエンドサーバ４０に送信してもよい。 The back-end server 50 transmits the response information received from the air conditioner 10 to the front-end server 40. As described above, the received response information may be appropriately converted and transmitted to the front-end server 40.

フロントエンドサーバ４０は、制御部４１０により、バックエンドサーバ５０から受信した返答情報に基づいて、返答音声情報を作成する（ステップＴ５）。フロントエンドサーバ４０は、作成した返答音声情報をスマートスピーカ２０に送信する。 The front-end server 40 creates reply voice information based on the reply information received from the back-end server 50 by the control unit 410 (step T5). The front-end server 40 transmits the created response voice information to the smart speaker 20.

スマートスピーカ２０は、スピーカ２３０により、フロントエンドサーバ４０から受信した返答音声情報に基づく音声を再生する（ステップＴ６）。 The smart speaker 20 reproduces the voice based on the response voice information received from the front-end server 40 by the speaker 230 (step T6).

以上、機器制御システム１について説明した。機器制御システム１によれば、空調機１０がフロントエンドサーバ４０により作成された制御指令に基づいて制御されることを、音を発することにより報知する。このとき、空調機１０がフロントエンドサーバ４０以外により作成された制御指令に基づいて制御されることを報知する場合とは異なる音を発することにより報知する。 The device control system 1 has been described above. According to the device control system 1, it is notified by emitting a sound that the air conditioner 10 is controlled based on the control command created by the front-end server 40. At this time, the air conditioner 10 is notified by emitting a sound different from the case of notifying that the air conditioner 10 is controlled based on the control command created by other than the front-end server 40.

そのため、ユーザは、空調機１０が制御されるとき、フロントエンドサーバ４０により作成された制御指令に基づいて制御されることと、フロントエンドサーバ４０以外により作成された制御指令に基づいて制御されることとのいずれについても知ることができる。 Therefore, when the air conditioner 10 is controlled, the user is controlled based on the control command created by the front-end server 40, and is controlled based on the control command created by other than the front-end server 40. You can know about both of them.

例えば、ユーザは、スマートスピーカ２０に話しかけて空調機１０を制御しようとするとき、空調機１０の報知部１３０から発せられる音を聞くことにより、スマートスピーカ２０に話しかけたことに応じて空調機１０が制御されることを知ることができる。 For example, when the user talks to the smart speaker 20 to control the air conditioner 10, the user hears the sound emitted from the notification unit 130 of the air conditioner 10 and responds to the talk to the smart speaker 20. Can be known to be controlled.

また、第三者が不正にフロントエンドサーバ４０経由で空調機１０を制御しようとするときにも、空調機１０の報知部１３０から発せられる音を聞くことにより、フロントエンドサーバ４０経由の意図しない制御がされることを知ることができる。 Further, even when a third party illegally tries to control the air conditioner 10 via the front-end server 40, the sound emitted from the notification unit 130 of the air conditioner 10 is heard, which is not intended via the front-end server 40. You can know that it will be controlled.

また、空調機１０の設置工事の際にも、フロントエンドサーバ４０により作成された制御指令に基づいて制御される場合と、そうでない場合とで異なる音が発せられることを確認することで、設置工事が正しく行われたことを確認できる。 Also, during the installation work of the air conditioner 10, it is possible to confirm that different sounds are emitted depending on whether the air conditioner 10 is controlled based on the control command created by the front-end server 40 or not. You can confirm that the construction was done correctly.

したがって、機器制御システム１によれば、空調機１０がフロントエンドサーバ４０経由で制御されることを好適に報知できる。 Therefore, according to the device control system 1, it is possible to preferably notify that the air conditioner 10 is controlled via the front-end server 40.

（実施の形態２）
図１０を参照しながら、実施の形態２に係る機器制御システム１Ａについて説明する。機器制御システム１Ａは、フロントエンドサーバ４０を複数備える点と、スマートスピーカ２０を複数備える点とが、実施の形態１に係る機器制御システム１との相違点である。なお、図１０には、スマートスピーカ２０を２つのみ図示しているが、それ以上の個数であってもよい。(Embodiment 2)
The device control system 1A according to the second embodiment will be described with reference to FIG. The device control system 1A is different from the device control system 1 according to the first embodiment in that it is provided with a plurality of front-end servers 40 and a plurality of smart speakers 20. Although only two smart speakers 20 are shown in FIG. 10, the number may be larger than that.

各スマートスピーカ２０は、例えば、それぞれ異なる製造者により製造される。各フロントエンドサーバ４０は、例えば、それぞれ異なる運営者により運営される。そして、各スマートスピーカ２０は、それぞれ異なるフロントエンドサーバ４０と通信する。したがって、ユーザは、スマートスピーカ２０ごとに、異なる製造者あるいは運営者から各種サービスの提供を受けることとなる。 Each smart speaker 20 is manufactured by, for example, a different manufacturer. Each front-end server 40 is operated by, for example, a different operator. Then, each smart speaker 20 communicates with a different front-end server 40. Therefore, the user receives various services from different manufacturers or operators for each smart speaker 20.

空調機１０の報知部１３０は、制御指令を作成したフロントエンドサーバ４０ごとに異なる音を発することによって、フロントエンドサーバ４０が作成した制御指令に基づいて制御されることを報知する。各フロントエンドサーバ４０は、本発明に係る第２のサーバの一例といえる。 The notification unit 130 of the air conditioner 10 notifies that control is performed based on the control command created by the front-end server 40 by emitting a different sound for each front-end server 40 for which the control command is created. Each front-end server 40 can be said to be an example of a second server according to the present invention.

機器制御システム１Ａによれば、フロントエンドサーバ４０ごとに異なる音によって報知することにより、ユーザは、どのフロントエンドサーバ４０経由で空調機１０が制御されるかを知ることができる。そのため、機器制御システム１Ａによれば、空調機１０がどのフロントエンドサーバ４０経由で制御されるのかを好適に報知できる。 According to the device control system 1A, the user can know which front-end server 40 the air conditioner 10 is controlled by by notifying the front-end server 40 with a different sound. Therefore, according to the device control system 1A, it is possible to preferably notify which front-end server 40 the air conditioner 10 is controlled through.

これにより、例えば、複数のスマートスピーカ２０を導入する際に、ユーザは、空調機１０の制御に関する設定を正しく行えているかを容易に確認できる。 Thereby, for example, when introducing a plurality of smart speakers 20, the user can easily confirm whether or not the settings related to the control of the air conditioner 10 are correctly performed.

（変形例）
機器制御システム１は、フロントエンドサーバ４０及びバックエンドサーバ５０の２種類のサーバを備える。しかし、バックエンドサーバ５０を備えず、フロントエンドサーバ４０のみを備える形態としてもよい。この場合、フロントエンドサーバ４０が空調機１０に制御指令あるいは制御指令に基づく詳細制御指令を送信することにより、空調機１０を制御する。(Modification example)
The device control system 1 includes two types of servers, a front-end server 40 and a back-end server 50. However, the back-end server 50 may not be provided, and only the front-end server 40 may be provided. In this case, the front-end server 40 controls the air conditioner 10 by transmitting a control command or a detailed control command based on the control command to the air conditioner 10.

機器制御システム１は、本発明に係る入力装置の一例として、スマートスピーカ２０を備える。しかし、スマートスピーカ２０に代えて、あるいはスマートスピーカ２０とともに、スマートフォンを備えてもよい。当該スマートフォンには、例えばフロントエンドサーバ４０経由で空調機１０を制御するためのアプリケーションがインストールされている。そして、当該スマートフォンを操作することにより、フロントエンドサーバ４０経由で空調機１０を制御できる。当該アプリケーションは、音声により操作するものであってもよいし、画面をタッチすることにより操作するものであってもよい。いずれの場合であっても、当該スマートフォンは、本発明に係る入力装置の一例である。 The device control system 1 includes a smart speaker 20 as an example of the input device according to the present invention. However, a smartphone may be provided in place of the smart speaker 20 or together with the smart speaker 20. An application for controlling the air conditioner 10 via, for example, the front-end server 40 is installed in the smartphone. Then, by operating the smartphone, the air conditioner 10 can be controlled via the front-end server 40. The application may be operated by voice or may be operated by touching the screen. In any case, the smartphone is an example of the input device according to the present invention.

機器制御システム１においては、音を発することによって報知する。しかし、音以外による報知であってもよい。例えば、空調機１０が備えるランプが発する光により報知をしてもよい。光による報知とは、例えば、空調機１０がフロントエンドサーバ４０経由で制御される場合とそうでない場合とで異なる色による光を発することによって報知をすることが挙げられる。あるいは、ランプが点滅する間隔を異なるものとすることで報知をしてもよい。この場合、報知部１３０は、空調機１０が備えるランプにより実現される、といえる。 In the device control system 1, notification is given by emitting a sound. However, it may be a notification other than sound. For example, the light emitted from the lamp provided in the air conditioner 10 may be used for notification. The light notification includes, for example, the notification by emitting light in different colors depending on whether the air conditioner 10 is controlled via the front-end server 40 or not. Alternatively, the notification may be performed by setting the blinking intervals of the lamps to be different. In this case, it can be said that the notification unit 130 is realized by the lamp included in the air conditioner 10.

また、空調機１０がフロントエンドサーバ４０経由で制御される場合には音で報知し、そうでない場合には光で報知してもよい。この場合、報知部１３０は、空調機１０が備えるスピーカ及びランプにより実現される、といえる。 If the air conditioner 10 is controlled via the front-end server 40, it may be notified by sound, and if not, it may be notified by light. In this case, it can be said that the notification unit 130 is realized by the speaker and the lamp provided in the air conditioner 10.

また、リモコン１１の表示部による画面表示あるいはスマートスピーカ２０のスピーカ２３０による音声再生によって報知をしてもよい。この場合、リモコン１１の表示部あるいはスマートスピーカ２０のスピーカ２３０が、本発明に係る報知手段の一例である。また、空調機１０がフロントエンドサーバ４０経由で制御される場合にはリモコン１１の表示部による画面表示にて報知し、そうでない場合には空調機１０が発する音により報知をしてもよい。この場合、リモコン１１の表示部及び空調機１０の報知部１３０が、本発明に係る報知手段の一例である。また、この例に限定されず、本発明の実施の形態において、報知手段は、フロントエンドサーバ４０で作成された制御指令に基づいて空調機１０が制御されることと、フロントエンドサーバ４０以外により作成された制御指令に基づいて空調機１０が制御されることを識別可能に報知できるならば、その構成と配置位置と報知の態様は任意である。さらに、報知の根拠となる情報の取得方法についても、報知手段自身が他装置にアクセスして情報を取得してもよく、他装置から提供される情報に基づいて判断してもよい。また、報知手段自身が報知内容を判別して報知してもよく、報知内容を判別した他装置からの指示に従って報知してもよい。 Further, the notification may be performed by the screen display by the display unit of the remote controller 11 or the voice reproduction by the speaker 230 of the smart speaker 20. In this case, the display unit of the remote controller 11 or the speaker 230 of the smart speaker 20 is an example of the notification means according to the present invention. Further, when the air conditioner 10 is controlled via the front-end server 40, the notification may be given by the screen display by the display unit of the remote controller 11, and if not, the notification may be made by the sound emitted by the air conditioner 10. In this case, the display unit of the remote controller 11 and the notification unit 130 of the air conditioner 10 are examples of the notification means according to the present invention. Further, not limited to this example, in the embodiment of the present invention, the notification means is that the air conditioner 10 is controlled based on the control command created by the front-end server 40 and that the notification means is other than the front-end server 40. If it is possible to identifiablely notify that the air conditioner 10 is controlled based on the created control command, the configuration, the arrangement position, and the mode of notification are arbitrary. Further, the method of acquiring the information that is the basis of the notification may be determined based on the information provided by the other device, or the notification means itself may access the other device to acquire the information. Further, the notification means itself may determine the content of the notification and notify it, or may notify according to an instruction from another device that has determined the content of the notification.

また、機器制御システム１では、制御対象として空調機１０を示しているが、空調機以外の機器も機器制御システム１における制御対象となりうる。例えば、給湯機、照明器具、冷蔵庫、テレビなどの家電機器も制御対象となりうる。この場合、当該家電機器が、本発明に係る機器の一例である。 Further, although the air conditioner 10 is shown as a control target in the device control system 1, devices other than the air conditioner can also be a control target in the device control system 1. For example, home appliances such as water heaters, lighting fixtures, refrigerators, and televisions can also be controlled. In this case, the home appliance is an example of the device according to the present invention.

また、住宅２内の機器を管理するHEMS（Home Energy Management System）コントローラもまた、機器制御システム１における制御対象となりうる。この場合、HEMSコントローラが、本発明に係る機器の一例である。 Further, the HEMS (Home Energy Management System) controller that manages the devices in the house 2 can also be the control target in the device control system 1. In this case, the HEMS controller is an example of the device according to the present invention.

例えば、ルータ３０と直接通信する機能は有さないがHEMSコントローラとの通信機能は有する機器を制御する場合を考える。この場合、機器制御システム１における制御対象をHEMSコントローラとすることで、ユーザはフロントエンドサーバ４０及びHEMSコントローラを介して当該機器を制御することができる。この場合において、HEMSコントローラを介して制御されることを当該機器が報知してもよいし、HEMSコントローラが報知してもよい。 For example, consider a case where a device that does not have a function of directly communicating with the router 30 but has a function of communicating with a HEMS controller is controlled. In this case, by setting the control target in the device control system 1 to the HEMS controller, the user can control the device via the front-end server 40 and the HEMS controller. In this case, the device may notify that it is controlled via the HEMS controller, or the HEMS controller may notify.

空調機１０、スマートスピーカ２０、フロントエンドサーバ４０及びバックエンドサーバ５０で用いられるプログラムはそれぞれ、CD-ROM（Compact Disc Read Only Memory）、DVD（Digital Versatile Disc）、USBフラッシュドライブ、メモリカード、HDD（Hard Disk Drive）等のコンピュータ読み取り可能な記録媒体に格納して配布することが可能である。そして、かかるプログラムを特定の又は汎用のコンピュータにインストールすることによって、当該コンピュータを空調機１０、スマートスピーカ２０、フロントエンドサーバ４０及びバックエンドサーバ５０としてそれぞれ機能させることが可能である。 The programs used in the air conditioner 10, smart speaker 20, front-end server 40, and back-end server 50 are CD-ROM (Compact Disc Read Only Memory), DVD (Digital Versatile Disc), USB flash drive, memory card, and HDD, respectively. It can be stored and distributed on a computer-readable recording medium such as (Hard Disk Drive). Then, by installing such a program on a specific or general-purpose computer, it is possible to make the computer function as an air conditioner 10, a smart speaker 20, a front-end server 40, and a back-end server 50, respectively.

また、上述のプログラムをインターネット上の他のサーバが有する記憶装置に格納しておき、当該サーバから上述のプログラムがダウンロードされるようにしてもよい。 Further, the above-mentioned program may be stored in a storage device of another server on the Internet so that the above-mentioned program can be downloaded from the server.

本発明は、本発明の広義の精神と範囲を逸脱することなく、様々な実施の形態及び変形が可能とされるものである。また、上述した実施の形態は、本発明を説明するためのものであり、本発明の範囲を限定するものではない。つまり、本発明の範囲は、実施の形態ではなく、請求の範囲によって示される。そして、請求の範囲内及びそれと同等の発明の意義の範囲内で施される様々な変形が、本発明の範囲内とみなされる。 The present invention allows for various embodiments and modifications without departing from the broad spirit and scope of the present invention. Moreover, the above-described embodiment is for explaining the present invention, and does not limit the scope of the present invention. That is, the scope of the present invention is indicated not by the embodiment but by the claims. Then, various modifications made within the scope of the claims and the equivalent meaning of the invention are considered to be within the scope of the present invention.

本発明は、機器制御システムに好適である。 The present invention is suitable for equipment control systems.

１ 機器制御システム、２ 住宅、１０ 空調機、１１ リモコン、２０ スマートスピーカ、３０ ルータ、４０ フロントエンドサーバ、５０ バックエンドサーバ、１００ 第１通信部、１１０ 第２通信部、１２０ 制御部、１３０ 報知部、２００ マイク、２１０ 制御部、２２０ 通信部、２３０ スピーカ、４００ 通信部、４１０ 制御部、４２０ 記憶部、５００ 通信部、５１０ 制御部、５２０ 記憶部、１０００ バス、１００１ プロセッサ、１００２ メモリ、１００３ インタフェース、１００４ 二次記憶装置、ＮＴ インターネット。 1 Equipment control system, 2 Housing, 10 Air conditioners, 11 Remote control, 20 Smart speakers, 30 Routers, 40 Front-end servers, 50 Back-end servers, 100 1st communication unit, 110 2nd communication unit, 120 Control unit, 130 Notification Unit, 200 microphone, 210 control unit, 220 communication unit, 230 speaker, 400 communication unit, 410 control unit, 420 storage unit, 500 communication unit, 510 control unit, 520 storage unit, 1000 bus, 1001 processor, 1002 memory, 1003 Interface, 1004 secondary storage, NT Internet.

上記の目的を達成するため、本発明に係る機器制御システムは、
入力装置と、フロントエンドサーバと、バックエンドサーバと、報知手段と、を備え、
前記入力装置と前記報知手段とは宅内ネットワークに接続され、
前記フロントエンドサーバと前記バックエンドサーバと前記宅内ネットワークとはインターネットに接続され、
前記入力装置は、
入力操作を受け付ける入力手段と、
前記入力操作に基づく操作情報を作成する操作情報作成手段と、を備え、
前記フロントエンドサーバは、
前記操作情報を、インターネットと前記宅内ネットワークとを介した通信により前記入力装置から取得する操作情報取得手段と、
前記宅内ネットワークに接続される機器を制御する制御指令を前記操作情報に基づいて作成する指令作成手段と、を備え、
前記バックエンドサーバは、
前記制御指令を、インターネットを介した通信により前記フロントエンドサーバから取得する制御指令取得手段と、
詳細制御指令を前記制御指令に基づいて作成する詳細制御指令作成手段と、を備え、
前記機器は、前記宅内ネットワークとインターネットとを介した通信により前記バックエンドサーバから前記詳細制御指令を取得し、
前記報知手段は、前記機器が前記フロントエンドサーバにより作成された制御指令に基づいた動作であって前記詳細制御指令に基づいた動作を実行するとき、前記フロントエンドサーバにより作成された制御指令に基づいて前記機器が制御されることを報知し、前記機器が前記フロントエンドサーバ以外により作成された制御指令に基づいた動作を実行するとき、前記フロントエンドサーバ以外により作成された制御指令に基づいて前記機器が制御されることを報知する。 In order to achieve the above object, the device control system according to the present invention is
It is equipped with an input device, a front-end server, a back-end server, and a notification means.
The input device and the notification means are connected to the home network and
The front-end server, the back-end server, and the home network are connected to the Internet.
The input device is
An input means that accepts input operations and
An operation information creating means for creating operation information based on the input operation is provided.
The front-end server
An operation information acquisition means for acquiring the operation information from the input device by communication via the Internet and the home network .
It is provided with a command creating means for creating a control command for controlling a device connected to the home network based on the operation information.
The back-end server
A control command acquisition means for acquiring the control command from the front-end server by communication via the Internet,
A detailed control command creating means for creating a detailed control command based on the control command is provided.
The device acquires the detailed control command from the back-end server by communicating with the home network via the Internet.
The notification means, when the device performs the operation based on the detail control command an act based on the control command created by the front-end server, based on a control command created by the front end server When the device is notified that the device is controlled and the device executes an operation based on a control command created by a server other than the front-end server, the device is based on a control command created by a server other than the front-end server. Notify that the device is controlled.

Claims (9)

入力装置と、第１のサーバと、報知手段と、を備え、
前記入力装置は、
入力操作を受け付ける入力手段と、
前記入力操作に基づく操作情報を作成する操作情報作成手段と、を備え、
前記第１のサーバは、
前記操作情報を通信により前記入力装置から取得する操作情報取得手段と、
機器を制御する制御指令を前記操作情報に基づいて作成する指令作成手段と、を備え、
前記報知手段は、前記第１のサーバにより作成された制御指令に基づいて前記機器が制御されることを報知し、前記第１のサーバ以外により作成された制御指令に基づいて前記機器が制御されることを報知する、
機器制御システム。It is provided with an input device, a first server, and a notification means.
The input device is
An input means that accepts input operations and
An operation information creating means for creating operation information based on the input operation is provided.
The first server is
An operation information acquisition means for acquiring the operation information from the input device by communication,
A command creating means for creating a control command for controlling a device based on the operation information is provided.
The notification means notifies that the device is controlled based on a control command created by the first server, and the device is controlled based on a control command created by a server other than the first server. Notify that
Equipment control system. 前記入力装置は音声入力装置であり、
前記入力手段は、入力された音声を前記入力操作として受け付け、
前記操作情報作成手段は、前記入力された音声に基づく音声情報を前記操作情報として作成する、
請求項１に記載の機器制御システム。The input device is a voice input device.
The input means receives the input voice as the input operation, and receives the input voice.
The operation information creating means creates voice information based on the input voice as the operation information.
The device control system according to claim 1. 前記報知手段は、前記第１のサーバにより作成された制御指令に基づいて前記機器が制御されることを第１の音を発することによって報知し、前記第１のサーバ以外により作成された制御指令に基づいて前記機器が制御されることを第２の音を発することによって報知する、
請求項１または２に記載の機器制御システム。The notification means notifies that the device is controlled based on the control command created by the first server by emitting a first sound, and the control command created by a server other than the first server. Notifies that the device is controlled based on the above by emitting a second sound.
The device control system according to claim 1 or 2. 前記報知手段は、前記第１のサーバにより作成された制御指令に基づいて前記機器が制御されることを、前記機器と通信するリモコンの画面にて報知する、
請求項１または２に記載の機器制御システム。The notification means notifies on the screen of the remote controller that communicates with the device that the device is controlled based on the control command created by the first server.
The device control system according to claim 1 or 2. 第２のサーバをさらに備え、
前記第２のサーバは、
前記操作情報を通信により前記入力装置から取得する操作情報取得手段と、
前記機器を制御する制御指令を前記操作情報に基づいて作成する指令作成手段と、を備え、
前記報知手段はさらに、前記第２のサーバにより作成された制御指令に基づいて前記機器が制御されることを報知する、
請求項１から４のいずれか１項に記載の機器制御システム。With a second server
The second server is
An operation information acquisition means for acquiring the operation information from the input device by communication,
A command creating means for creating a control command for controlling the device based on the operation information is provided.
The notification means further notifies that the device is controlled based on the control command created by the second server.
The device control system according to any one of claims 1 to 4. サーバにより作成された制御指令に基づいた動作と、前記サーバ以外により作成された制御指令に基づいた動作と、を行う実行手段と、
前記サーバにより作成された制御指令に基づいた動作を行うことを報知し、前記サーバ以外により作成された制御指令に基づいた動作を行うことを報知する報知手段と、
を備える機器。An execution means for performing an operation based on a control command created by a server and an operation based on a control command created by a server other than the server.
A notification means for notifying that an operation based on a control command created by the server is to be performed and an operation for performing an operation based on a control command created by a server other than the server.
Equipment equipped with. 前記報知手段は、前記サーバにより作成された制御指令に基づいた動作を行うことを第１の音を発することによって報知し、前記サーバ以外により作成された制御指令に基づいた動作を行うことを第２の音を発することによって報知する、
請求項６に記載の機器。The notifying means notifies by emitting a first sound that an operation based on a control command created by the server is performed, and performs an operation based on a control command created by a server other than the server. Notify by emitting the sound of 2,
The device according to claim 6. サーバにより作成された制御指令に基づいて機器を制御し、
前記サーバ以外により作成された制御指令に基づいて前記機器を制御し、
前記サーバにより作成された制御指令に基づいて前記機器を制御することを報知し、
前記サーバ以外により作成された制御指令に基づいて前記機器を制御することを報知する、
機器制御方法。Control the equipment based on the control commands created by the server
Control the device based on a control command created by a server other than the server.
Notifying that the device is controlled based on the control command created by the server,
Notifying that the device is controlled based on a control command created by a server other than the server.
Device control method. コンピュータを、
サーバにより作成された制御指令に基づいた動作と、前記サーバ以外により作成された制御指令に基づいた動作と、を行う実行手段、
前記サーバにより作成された制御指令に基づいた動作を行うことを報知し、前記サーバ以外により作成された制御指令に基づいた動作を行うことを報知する報知手段、
として機能させるプログラム。Computer,
An execution means for performing an operation based on a control command created by a server and an operation based on a control command created by a server other than the server.
A notification means for notifying that an operation based on a control command created by the server is performed and performing an operation based on a control command created by a server other than the server.
A program that functions as.
JP2020513032A 2018-04-13 2018-04-13 Equipment control system, equipment, equipment control method and program Active JP6921311B2 (en)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/015474 WO2019198222A1 (en) 2018-04-13 2018-04-13 Device control system, device, device control method, and program

Publications (2)

Publication Number Publication Date
JPWO2019198222A1 true JPWO2019198222A1 (en) 2020-12-03
JP6921311B2 JP6921311B2 (en) 2021-08-18

Family

ID=68163364

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020513032A Active JP6921311B2 (en) 2018-04-13 2018-04-13 Equipment control system, equipment, equipment control method and program

Country Status (2)

Country Link
JP (1) JP6921311B2 (en)
WO (1) WO2019198222A1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111936981A (en) 2018-04-17 2020-11-13 三菱电机株式会社 Device control system and device control method

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016136779A (en) * 2016-04-26 2016-07-28 三菱電機株式会社 Remote control system
JP2017046295A (en) * 2015-08-28 2017-03-02 シャープ株式会社 Equipment operation confirmation system and remote control device

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017046295A (en) * 2015-08-28 2017-03-02 シャープ株式会社 Equipment operation confirmation system and remote control device
JP2016136779A (en) * 2016-04-26 2016-07-28 三菱電機株式会社 Remote control system

Also Published As

Publication number Publication date
WO2019198222A1 (en) 2019-10-17
JP6921311B2 (en) 2021-08-18

Similar Documents

Publication Publication Date Title
US11631403B2 (en) Apparatus, system and method for directing voice input in a controlling device
US11489691B2 (en) Apparatus, system and method for directing voice input in a controlling device
JP6739907B2 (en) Device specifying method, device specifying device and program
EP2926502B1 (en) Voice-controlled configuration of an automation system
WO2018113672A1 (en) Smart speaker, smart home system, and implementation method thereof
US20180308483A1 (en) Voice recognition apparatus and voice recognition method
JP3838029B2 (en) Device control method using speech recognition and device control system using speech recognition
WO2019202666A1 (en) Apparatus control system and apparatus control method
CN111667825A (en) Voice control method, cloud platform and voice equipment
JP6921311B2 (en) Equipment control system, equipment, equipment control method and program
JP7374099B2 (en) Apparatus, system and method for instructing voice input in a control device
CN112838967A (en) Main control equipment, intelligent home and control device, control system and control method thereof
WO2018158894A1 (en) Air conditioning control device, air conditioning control method, and program
JP7456387B2 (en) Information processing device and information processing method
CN109458720B (en) Central air-conditioning system
CN115379022B (en) Equipment network access control method and device, interaction panel and storage medium
JP2020122585A (en) Air-conditioning system
JP7159773B2 (en) VOICE OPERATING DEVICE, VOICE OPERATING METHOD, AND VOICE OPERATING SYSTEM
JP3107142U (en) Voice recognition remote control device
CN111048081B (en) Control method, control device, electronic equipment and control system
JP7182154B2 (en) Equipment control system
JP3225101U (en) Infrared voice control system and infrared voice control device
TWM523126U (en) Automatic circumstance controlling system
EP3382474A1 (en) Information processing apparatus, information processing system, and information processing method
JP2020129183A (en) Control device, control system, and control method

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200401

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200401

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210525

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210624

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210629

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210727

R150 Certificate of patent or registration of utility model

Ref document number: 6921311

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150