[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN112262584B - 设备控制装置、设备控制系统、设备控制方法和设备控制程序 - Google Patents

设备控制装置、设备控制系统、设备控制方法和设备控制程序 Download PDF

Info

Publication number
CN112262584B
CN112262584B CN201880094408.6A CN201880094408A CN112262584B CN 112262584 B CN112262584 B CN 112262584B CN 201880094408 A CN201880094408 A CN 201880094408A CN 112262584 B CN112262584 B CN 112262584B
Authority
CN
China
Prior art keywords
information
unit
function
target
operation command
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880094408.6A
Other languages
English (en)
Other versions
CN112262584A (zh
Inventor
平井正人
北村宪史郎
石川美穗
饭泽大介
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of CN112262584A publication Critical patent/CN112262584A/zh
Application granted granted Critical
Publication of CN112262584B publication Critical patent/CN112262584B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/083—Recognition networks
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/1815—Semantic context, e.g. disambiguation of the recognition hypotheses based on word meaning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q9/00—Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/226—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics
    • G10L2015/228—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics of application context

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Selective Calling Equipment (AREA)

Abstract

具有：设备功能信息取得部(11)，其取得将根据讲话语音判定出的对象设备与使该对象设备执行的1个以上的对象功能对应起来的设备功能信息；过程判定部(12)，其根据设备功能信息取得部(11)取得的设备功能信息，判定用于执行1个以上的对象功能的1次以上的手动操作和该1次以上的手动操作的顺序；以及操作命令发送控制部(13)，其根据过程判定部(12)判定出的1次以上的手动操作的顺序，向对象设备依次发送用于输出分别与该1次以上的手动操作对应的操作响应输出控制信息的操作命令。

Description

设备控制装置、设备控制系统、设备控制方法和设备控制程序
技术领域
本发明涉及根据讲话语音来控制设备的设备控制装置、设备控制系统、设备控制方法和设备控制程序。
背景技术
以往，已知有根据用户的讲话语音来控制设备的技术。根据这样的技术，用户针对在手动操作设备的情况下需要多个手动操作的功能，也能够通过一次讲话使该设备执行该功能。以下，将用户通过讲话操作设备称作“语音操作”。
例如，在专利文献1中公开有如下的语音识别控制装置：在根据用户的讲话语音识别出的语音命令是反复命令的情况下，该语音识别控制装置在接收到一次与语音命令对应的信号时，向被控制设备多次反复发送相当于识别出的语音命令的控制信号。
现有技术文献
专利文献
专利文献1：日本特开2009-104025号公报
发明内容
发明要解决的课题
在现有技术中存在如下课题：用户无法确认在通过一次讲话指示了执行在手动操作的情况下需要多个手动操作的1个以上的功能时，在该设备中执行了与所述多个手动操作分别相当的功能。专利文献1公开的语音识别控制装置仅是通过用户的一次讲话使设备多次反复相同的功能，依然没有解决上述的课题。
本发明正是为了解决上述的课题而完成的，其目的在于提供一种设备控制装置，用户能够确认在通过一次讲话指示了执行在手动操作的情况下需要多个手动操作的1个以上的功能时，在该设备中执行了与所述多个手动操作分别相当的功能。
用于解决课题的手段
本发明的设备控制装置根据讲话语音来控制设备，其中，所述设备控制装置具有：设备功能信息取得部，其取得将根据讲话语音判定出的对象设备与使该对象设备执行的1个以上的对象功能对应起来的设备功能信息；过程判定部，其根据设备功能信息取得部取得的设备功能信息，判定用于执行1个以上的对象功能的1次以上的手动操作和该1次以上的手动操作的顺序；以及操作命令发送控制部，其根据过程判定部判定出的1次以上的手动操作的顺序，按照1次以上的手动操作的每次手动操作，向对象设备依次发送用于输出分别与该1次以上的手动操作对应的操作响应输出控制信息的操作命令。
发明效果
根据本发明，用户能够确认在通过一次讲话指示了执行在手动操作的情况下需要多个手动操作的1个以上的功能时，在该设备中执行了与所述多个手动操作分别相当的功能。
附图说明
[图1]是说明具有实施方式1的设备控制装置的设备控制系统的结构的一例的图。
[图2]是用于说明在实施方式1中设备功能DB中存储的设备相关信息的一例的图。
[图3]是用于说明在实施方式1中过程DB中存储的过程信息的一例的图。
[图4]是用于示出在实施方式1中按照0.2秒的间隔发送各操作命令的图像的图。
[图5]是用于说明实施方式1的设备控制装置的动作的一例的流程图。
[图6]是用于说明实施方式1的语音操作装置的动作的一例的流程图。
[图7]是用于说明实施方式1的家电设备的动作的一例的流程图。
[图8]是用于说明在实施方式1中，在用户通过讲话使微波炉以手动模式执行了500W、2分钟的加热功能的情况下，显示部根据操作响应输出控制信息来显示信息的显示画面的图像的一例，和声音输出部根据操作响应输出控制信息输出的声音的图像的一例的图。
[图9]是示出在实施方式1中，用户通过手动操作使微波炉以手动模式执行了500W、2分钟的加热功能的情况下，与执行该加热功能之前的操作对应地由显示部显示的画面和由声音输出部输出的声音的图像的一例的图。
[图10]示出在实施方式1中，与用各操作命令中包含的操作信息表示的操作对应地按照不同的间隔发送该各操作命令的图像。
[图11]是用于说明在实施方式1中，在操作响应输出控制信息的输出间隔发生变化的情况下，显示部根据操作响应输出控制信息来显示信息的显示画面的图像的一例，和声音输出部根据操作响应输出控制信息输出的声音的图像的一例的图。
[图12]图12A、图12B是示出实施方式1的设备控制装置的硬件结构的一例的图。
[图13]是说明具有实施方式2的设备控制装置的设备控制系统的结构的一例的图。
[图14]是用于说明在IH烹调加热器中使火力从火力3变更成火力5时的、实施方式1中的设备控制装置的动作与实施方式2中的设备控制装置的动作的不同的图像的图。图14A示出在实施方式1中，将IH烹调加热器的火力从火力3变更成火力5时的动作的图像，图14B示出在实施方式2中，将IH烹调加热器的火力从火力3变更成火力5时的动作的图像。
[图15]是用于说明实施方式2的设备控制装置的动作的流程图。
[图16]是用于说明在实施方式1的设备控制系统中使得家电设备具有设备控制装置具备的操作命令发送控制部的功能的系统结构例的图。
具体实施方式
以下，参照附图详细说明本发明的实施方式。
实施方式1
在用户对设备进行语音操作的情况下，实施方式1的设备控制装置1能够使该设备执行基于讲话语音的功能，并且输出用户是否通过手动操作执行了功能的反应。
另外，在以下的说明中，作为一例，设用户通过讲话语音使其执行功能的设备为家电设备。
图1是说明具有实施方式1的设备控制装置1的设备控制系统100的结构的一例的图。
设备控制系统100具有设备控制装置1、语音操作装置2、家电设备3、语音输入装置4和语音输出装置5。语音操作装置2经由网络与语音输入装置4和语音输出装置5连接。此外，语音操作装置2经由网络与设备控制装置1连接。设备控制装置1经由网络与语音操作装置2和家电设备3连接。
家电设备3包含微波炉、IH烹调加热器、电饭煲、电视或空调等在家庭中使用的全部电器产品。
另外，在图1中，仅示出一个设备控制系统100具备的家电设备3，但是，设备控制系统100可以与2个以上的家电设备3连接。
语音操作装置2根据用户的讲话语音来判定作为控制对象的家电设备3，并且判定该家电设备3具有的功能中的使该家电设备3执行的1个以上的功能。
在实施方式1中，将根据用户的讲话语音判定出的作为控制对象的家电设备3称作“对象设备”。此外，假设将“对象设备”具有的功能中的根据用户的讲话语音执行的功能也称作“对象功能”。
语音操作装置2向设备控制装置1发送将判定出的对象设备与1个以上的对象功能对应起来的信息(以下，称作“设备功能信息”)。
设备控制装置1根据从语音操作装置2发送的设备功能信息，判定通过手动操作执行了对象设备具有的1个以上的对象功能时的操作过程。然后，设备控制装置1按照判定出的操作过程，以已设定的间隔向对象设备按照每个操作依次发送用于输出分别与该操作对应的操作响应输出控制信息的操作命令。
家电设备3根据从设备控制装置1发送的操作命令，执行自身具有的功能。
此外，家电设备3在每次接收到从设备控制装置1发送的操作命令时，向输出部34(之后叙述)输出与该操作命令对应的操作响应输出控制信息，进行与基于该操作命令的操作对应的声音输出或信息显示。
家电设备3还能够受理用户的手动操作，根据受理的手动操作来执行自身具有的功能。在该情况下，家电设备3也在每次受理手动操作时，向输出部34输出与受理的该手动操作相应的操作响应输出控制信号，进行与受理的该手动操作对应的声音输出或信息显示。
另外，在基于从设备控制装置1发送的操作命令的操作与受理的手动操作是相同的操作的情况下，家电设备3输出的声音和家电设备3显示的信息的内容分别成为相同的声音和相同的信息。
语音输入装置4是能够受理用户的讲话语音而向语音操作装置2输入语音信号的麦克风等。
语音输出装置5是能够向外部输出语音的扬声器等。
语音输入装置4和语音输出装置5也可以设置在所谓智能扬声器中。在该情况下，语音输出装置5例如能够输出针对用户使用语音输入装置4输入的用户的讲话语音的回答。
分别说明设备控制装置1、语音操作装置2和家电设备3的结构例。
首先，对语音操作装置2的结构例进行说明。
如图1所示，语音操作装置2具有语音取得部21、语音识别部22、设备功能判定部23、语音识别词典DB(DataBase：数据库)24和设备功能DB25。
语音取得部21从语音输入装置4取得讲话语音。
用户对语音输入装置4讲出用于执行家电设备3具有的1个以上的功能的指示。例如，在家电设备3是微波炉的情况下，用户通过对语音输入装置4讲出“使用微波炉手动、500W、加热2分钟”，输入使微波炉执行以手动模式、500W的设定温度加热2分钟的功能的执行指示。此外，例如，用户通过讲出“使用微波炉将牛奶加热成温润”，输入使微波炉执行以饮品模式将牛奶加热至50℃的功能的执行指示。此外，例如，在家电设备3是IH烹调加热器的情况下，用户通过讲出“使用IH烹调加热器使右侧炉为中火”，输入使IH烹调加热器执行使右侧炉的火力为火力4的功能的执行指示。
如上述的例子那样，语音输入装置4受理用户讲出的讲话语音。语音取得部21取得语音输入装置4受理的用户的讲话语音。
语音取得部21向语音识别部22输出已取得的讲话语音。
语音识别部22对语音取得部21取得的讲话语音与语音识别词典DB24进行对照，识别讲话内容。
语音识别词典DB24是存储有用于进行语音识别的语音识别词典的数据库。
语音识别部22使用语音识别词典DB24中存储的语音识别词典进行语音识别，识别讲话内容。语音识别部22使用现有的语音识别技术识别讲话内容即可。
语音识别部22可以通过进行用户的意图估计来识别讲话内容，也可以使用人工智能来识别讲话内容。在该情况下，语音识别部22使用现有的意图估计技术和人工智能技术即可。
语音识别部22能够根据讲话语音识别讲话内容即可，讲话内容的识别方法是任意的。
例如，当使用上述的例子说明时，针对讲话语音“使用微波炉手动、500W、加热2分钟”，语音识别部22识别出如“微波炉”、“手动”、“500W”和“2分钟”的讲话内容。此外，例如，针对讲话语音“使用微波炉将牛奶加热成温润”，语音识别部22识别出如“微波炉”、“牛奶”和“温润”的讲话内容。此外，例如，针对讲话语音“使用IH烹调加热器使右侧炉为中火”，语音识别部22识别出如“IH烹调加热器”、“右侧炉”和“中火”的讲话内容。
语音识别部22向设备功能判定部23输出讲话内容的识别结果。
设备功能判定部23将从语音识别部22输出的讲话内容的识别结果与设备功能DB25进行对照，判定对象设备和1个以上的对象功能。
在设备功能DB25存储有设备相关信息。设备相关信息是指将讲话内容与家电设备3对应起来并且将讲话内容与家电设备3具有的1个以上的功能对应起来的信息。假设设备相关信息是关于能够通过讲话语音进行控制的1个以上的家电设备3预先生成的，并存储于设备功能DB25。
在此，图2是用于说明在实施方式1中设备功能DB25中存储的设备相关信息的一例的图。
如图2所示，在设备相关信息中，将作为语音识别结果的讲话内容与家电设备3及功能对应起来。例如，在从语音识别部22输出的讲话内容包含“微波炉”、“手动”、“500W”和“2分钟”的情况下，设备功能判定部23根据设备相关信息，判定为对象设备是“微波炉”。并且，设备功能判定部23判定为对象功能是“微波炉”具有的“手动模式”、“输出500W”和“加热时间2分钟”。
此外，例如，在从语音识别部22输出的讲话内容包含“微波炉”、“牛奶”和“温润”的情况下，设备功能判定部23根据设备相关信息，判定为对象设备是“微波炉”。并且，设备功能判定部23判定为对象功能是“微波炉”具有的“饮品模式”和“设定温度50℃”。
此外，例如，在从语音识别部22输出的讲话内容包含“IH烹调加热器”、“右侧炉”和“中火”的情况下，设备功能判定部23根据设备相关信息，判定为对象设备是“IH烹调加热器”。并且，设备功能判定部23判定为对象功能是“IH烹调加热器”具有的“右侧炉”和“火力4”。
设备功能判定部23生成将对象设备与1个以上的对象功能对应起来的设备功能信息，并向设备控制装置1发送已生成的设备功能信息。
在上述的例子中，设备功能判定部23生成将“微波炉”的信息与“手动模式”、“输出500W”及“加热时间2分钟”的信息对应起来的设备功能信息，并发送到设备控制装置1。或者，设备功能判定部23生成将“微波炉”的信息与“饮品模式”及“设定温度50℃”的信息对应起来的设备功能信息，并发送到设备控制装置1。或者，设备功能判定部23生成将“IH烹调加热器”的信息与“右侧炉”及“火力4”的信息对应起来的设备功能信息，并发送到设备控制装置1。
另外，在实施方式1中，如图1所示，假设语音识别词典DB24和设备功能DB25设置于语音操作装置2，但这仅是一例。语音识别词典DB24和设备功能DB25也可以设置于语音操作装置2外部的、语音操作装置2可参考的场所。
接着，对设备控制装置1的结构例进行说明。
如图1所示，设备控制装置1具有设备功能信息取得部11、过程判定部12、操作命令发送控制部13和过程DB14。
设备功能信息取得部11取得从语音操作装置2发送的设备功能信息。
设备功能信息取得部11向过程判定部12输出已取得的设备功能信息。
过程判定部12根据设备功能信息取得部11取得的设备功能信息，参考过程DB14来判定用户通过手动操作执行1个以上的对象功能时的、用于执行该对象功能的1次以上的操作和该1次以上的操作的顺序。
在过程DB14按照每个家电设备3存储有将家电设备3具有的功能与在用户通过手动操作使家电设备3执行该功能时进行的操作及该操作的顺序对应起来而定义的过程信息。假设过程信息是预先生成的，并存储于过程DB14。
在此，图3是用于说明在实施方式1中过程DB14中存储的过程信息的一例的图。
另外，关于图3所示的过程信息，按照每个家电设备3，按照执行功能的操作的顺序定义该操作，因此，省略操作的顺序的信息，但是，也可以在过程信息中，对执行功能的操作的内容赋予该操作的顺序。
如图3所示，在过程信息中，与功能对应地多次反复相同的操作的情况下，将该多次反复的操作汇总成一个进行定义。
在图3所示的过程信息的过程操作过程中，针对功能，定义从初始值起进行几次操作即可。后述的过程判定部12根据图3所示的过程信息，判定从初始值起执行基于设备功能信息的功能所需的操作次数。另外，初始值是按照每个功能预先设定的。
过程判定部12根据设备功能信息取得部11取得的设备功能信息和图3所示的过程信息，判定用于执行1个以上的对象功能的1次以上的操作的内容和该1次以上的操作的顺序。
使用上述的例子，例如，假设设备功能信息取得部11取得的设备功能信息是将“微波炉”的信息与“手动模式”、“输出500W”及“加热时间2分钟”的信息对应起来的设备功能信息。在该情况下，过程判定部12判定为按照“微波炉”按钮2次→“-(负)”按钮1次→“分钟”按钮2次→“开始”按钮1次的顺序进行操作。
即，在通过手动操作执行通过如“使用微波炉手动、500W、加热2分钟”的讲话语音指示的功能的情况下，判定为执行“微波炉”按钮按下2次→“-(负)”按钮按下1次→“分钟”按钮按下2次→“开始”按钮按下1次的操作。
另外，假设对过程信息定义有指示开始最终的设备动作的功能(以下，称作“开始功能”)作为在各家电设备3中执行的一个功能。在用户通过手动操作使对象设备动作的情况下，首先，通过必要的1次以上的操作使该设备执行用于设定设备的动作条件的功能(以下，称作“设定功能”)。然后，当用户进行用于最终指示开始动作的操作时，该设备执行开始功能，首先，开始基于已设定的条件的动作。考虑这样的用户的手动操作，在语音操作的情况下，也使得通过用户的讲话自动地开始动作，因此，假设对图3所示的过程信息定义有开始功能。
但是，不需要必须对过程信息定义开始功能，最终开始执行动作的指示也可以由用户另行通过手动操作进行。此外，根据用户使其进行动作的对象设备，有时也不定义开始功能。例如，在用户使IH烹调加热器动作的情况下，有时也不定义开始功能。即，在设备功能信息包含“IH烹调加热器”的信息的情况下，有时也不对过程信息定义开始功能。另外，在图3中，假设在“IH烹调加热器”的情况下，也定义开始功能。
过程判定部12在根据设备功能信息判定出的操作的最后，施加与指示执行开始的功能对应的操作。在图3中，在微波炉中，指示执行开始的功能为“加热开始”，用于执行“加热开始”的操作将“开始”按钮定义为1次。
此外，在过程信息中定义有从按照每个功能而预先确定的初始值起执行功能所需的操作。具体而言，作为加热时间的初始值，设定为0分00秒，将针对0分00秒的状态进行的操作与通过该操作执行的功能对应起来进行定义。在上述的例子中，为了执行“加热时间2分钟”的功能，需要从0分00秒的状态起按下2次“分钟”按钮的操作。
过程判定部12针对判定出的1个以上的功能，按照每个功能向操作命令发送控制部13输出表示与该功能对应的1次以上的操作的信息(以下，称作“各功能操作次数信息”)和表示该1次以上的操作的顺序的信息(以下，称作“顺序信息”)。具体而言，例如，过程判定部12按照各功能操作次数信息赋予顺序信息，并输出到操作命令发送控制部13。以下，假设将过程判定部12向操作命令发送控制部13输出的对各功能操作次数信息赋予顺序信息的信息也称作“手动操作过程信息”。
在上述的例子中，过程判定部12向操作命令发送控制部13输出手动操作过程信息，在该手动操作过程信息中，对“微波炉”按钮2次的各功能操作次数信息赋予“第1”的顺序信息，对“-(负)”按钮1次的各功能操作次数信息赋予“第2”的顺序信息，对“分钟”按钮2次的各功能操作次数信息赋予“第3”的顺序信息，对“开始”按钮1次的各功能操作次数信息赋予“第4”的顺序信息。
此外，例如，假设设备功能信息取得部11取得的设备功能信息是将“微波炉”的信息与“饮品模式”及“设定温度50℃”的信息对应起来的设备功能信息。在该情况下，过程判定部12判定为按照“微波炉”按钮3次→“-(负)”按钮2次→“开始”按钮1次的顺序进行操作。
即，在通过手动操作执行通过如“使用微波炉将牛奶加热成温润”的讲话语音指示的功能的情况下，判定为执行“微波炉”按钮按下3次→“-(负)”按钮按下2次→“开始”按钮按下1次的操作。
过程判定部12向操作命令发送控制部13输出手动操作过程信息，在该手动操作过程信息中，对“微波炉”按钮3次的各功能操作次数信息赋予“第1”的顺序信息，对“-(负)”按钮2次的各功能操作次数信息赋予“第2”的顺序信息，对“开始”按钮1次的各功能操作次数信息赋予“第3”的顺序信息。
此外，例如，假设设备功能信息取得部11取得的设备功能信息是将“IH烹调加热器”的信息与“右侧炉”及“火力4”的信息对应起来的设备功能信息。
设备功能信息包含“IH烹调加热器”的信息，因此，有时不对过程信息定义开始功能。在该情况下，过程判定部12判定为按照打开“右侧炉的旋转编码器”→朝正向旋转4次“旋转编码器”的顺序进行操作。
即，在通过手动操作执行通过如“使用IH烹调加热器使右侧炉为中火”的讲话语音指示的功能的情况下，判定为执行打开“右侧炉的旋转编码器”→朝正向旋转4次“旋转编码器”的操作。
过程判定部12向操作命令发送控制部13输出手动操作过程信息，在该手动操作过程信息中，对打开“右侧炉的旋转编码器”的各功能操作次数信息赋予“第1”的顺序信息，对朝正向旋转4次“旋转编码器”的各功能操作次数信息赋予“第2”的顺序信息。
此外，例如，在对过程信息定义有开始功能的情况下(参照图3)，过程判定部12判定为按照打开“右侧炉的旋转编码器”→朝正向旋转4次“旋转编码器”→“开始”按钮1次的顺序进行操作。
即，在通过手动操作执行通过如“使用IH烹调加热器使右侧炉为中火”的讲话语音指示的功能的情况下，判定为执行打开“右侧炉的旋转编码器”→朝正向旋转4次“旋转编码器”→“开始”按钮按下1次的操作。
过程判定部12向操作命令发送控制部13输出手动操作过程信息，在该手动操作过程信息中，对打开“右侧炉的旋转编码器”的各功能操作次数信息赋予“第1”的顺序信息，对朝正向旋转4次“旋转编码器”的各功能操作次数信息赋予“第2”的顺序信息，对“开始”按钮1次的各功能操作次数信息赋予“第3”的顺序信息。
操作命令发送控制部13根据从过程判定部12输出的手动操作过程信息，根据过程判定部12判定出的操作顺序，按照每个操作向作为对象设备的家电设备3发送操作命令。
操作命令是包含操作信息并用于根据该操作命令向家电设备3输出与通过该操作命令确定的操作对应的操作响应输出控制信息的信息。在实施方式1中，操作命令中包含的“操作信息”是表示基于手动操作过程信息的具体操作内容的信息。例如，在手动操作过程信息包含如“微波炉”按钮3次的各功能操作次数信息的情况下，用该各功能操作次数信息表示的具体操作内容是指按下“微波炉”按钮。操作命令发送控制部13将按下“微波炉”按钮的意思的“操作信息”包含到操作命令。
操作命令发送控制部13以预先设定的间隔(第1间隔)发送各操作命令。第1间隔是预先设定的，是0.2秒等较短的间隔。
当使用上述的例子具体地说明时，例如，假设从过程判定部12输出了手动操作过程信息，在该手动操作过程信息中，对“微波炉”按钮2次的各功能操作次数信息赋予“第1”的顺序信息，对“-(负)”按钮1次的各功能操作次数信息赋予“第2”的顺序信息，对“分钟”按钮2次的各功能操作次数信息赋予“第3”的顺序信息，对“开始”按钮1次的各功能操作次数信息赋予“第4”的顺序信息。在该情况下，操作命令发送控制部13按照包含按下“微波炉”按钮的意思的操作信息的操作命令、包含按下“微波炉”按钮的意思的操作信息的操作命令、包含按下“-(负)”按钮的意思的操作信息的操作命令、包含按下“分钟”按钮的意思的操作信息的操作命令、包含按下“分钟”按钮的意思的操作信息的操作命令和包含按下“开始”按钮的意思的操作信息的操作命令的顺序，以0.2秒间隔向家电设备3分别发送这些操作命令。图4示出以0.2秒间隔发送各操作命令的图像。
此外，例如，假设从过程判定部12输出了手动操作过程信息，在该手动操作过程信息中，对“微波炉”按钮3次的各功能操作次数信息赋予“第1”的顺序信息，对“-(负)”按钮2次的各功能操作次数信息赋予“第2”的顺序信息，对“开始”按钮1次的各功能操作次数信息赋予“第3”的顺序信息。在该情况下，操作命令发送控制部13按照包含按下“微波炉”按钮的意思的操作信息的操作命令、包含按下“微波炉”按钮的意思的操作信息的操作命令、包含按下“微波炉”按钮的意思的操作信息的操作命令、包含按下“-(负)”按钮的意思的操作信息的操作命令、包含按下“-(负)”按钮的意思的操作信息的操作命令和包含按下“开始”按钮的意思的操作信息的操作命令的顺序，以0.2秒间隔向家电设备3分别发送这些操作命令。省略示出以0.2秒间隔发送各操作命令的图像的图。
此外，例如，假设从过程判定部12输出了手动操作过程信息，在该手动操作过程信息中，对打开“右侧炉的旋转编码器”的各功能操作次数信息赋予“第1”的顺序信息，对朝正向旋转4次“旋转编码器”的各功能操作次数信息赋予“第2”的顺序信息。在该情况下，操作命令发送控制部13按照包含打开“右侧炉的旋转编码器”的意思的操作信息的操作命令、包含朝正向旋转“旋转编码器”的意思的操作信息的操作命令、包含朝正向旋转“旋转编码器”的意思的操作信息的操作命令、与朝正向旋转“旋转编码器”的意思的操作信息相关的操作命令和包含朝正向旋转“旋转编码器”的意思的操作信息的操作命令的顺序，以0.2秒间隔向家电设备3分别发送这些操作命令。省略示出以0.2秒间隔发送各操作命令的图像的图。
此外，例如，假设从过程判定部12输出了手动操作过程信息，在该手动操作过程信息中，对打开“右侧炉的旋转编码器”的各功能操作次数信息赋予“第1”的顺序信息，对朝正向旋转4次“旋转编码器”的各功能操作次数信息赋予“第2”的顺序信息，对“开始”按钮1次的各功能操作次数信息赋予“第3”的顺序信息。在该情况下，操作命令发送控制部13按照包含打开“右侧炉的旋转编码器”的意思的操作信息的操作命令、包含朝正向旋转“旋转编码器”的意思的操作信息的操作命令、包含朝正向旋转“旋转编码器”的意思的操作信息的操作命令、与朝正向旋转“旋转编码器”的意思的操作信息相关的操作命令、包含朝正向旋转“旋转编码器”的意思的操作信息的操作命令和包含按下“开始”按钮的意思的操作信息的操作命令的顺序，以0.2秒间隔向家电设备3分别发送这些操作命令。省略示出以0.2秒间隔发送各操作命令的图像的图。
另外，之后叙述在家电设备3中，根据操作命令发送控制部13发送的操作命令，输出与通过该操作命令确定的操作对应的操作响应输出控制信息的动作的详细情况。
此外，在实施方式1中，如图1所示，过程DB14设置于设备控制装置1，但这仅是一例。过程DB14也可以设置于设备控制装置1外部的设备控制装置1可参考的场所。
接着，对家电设备3的结构例进行说明。
如图1所示，家电设备3具有手动操作受理部31、设备控制部32、功能执行部33和输出部34。
输出部34具有显示部341和声音输出部342。
手动操作受理部31受理手动操作。用户例如对家电设备3的输入装置(省略图示)进行操作，从而进行用于执行该家电设备3具有的1个以上的功能的操作。手动操作受理部31受理用户使用输入装置而进行的操作。
例如，在输入装置为触摸面板的情况下，用户触摸触摸面板，手动操作受理部31受理基于用户触摸触摸面板而进行的操作的操作信息。
另外，用户为了通过手动操作执行家电设备3具有的某一功能而具体地进行的操作是如在图3中定义的过程信息那样的操作。例如，用户想使用微波炉进行用于手动模式、500W、加热2分钟的手动操作。在该情况下，用户按照微波炉具备的“微波炉”按钮按下2次→“-(负)”按钮按下1次→“分钟”按钮按下2次→“开始”按钮按下1次的顺序进行操作。
手动操作受理部31在受理手动操作时，相应地生成与受理的操作相关的操作命令，向设备控制部32输出已生成的操作命令。手动操作受理部31输出的操作命令的内容与上述的操作命令发送控制部13发送的操作命令的内容相同。
在上述的例子中，手动操作受理部31按照包含按下“微波炉”按钮的意思的操作信息的操作命令、包含按下“微波炉”按钮的意思的操作信息的操作命令、包含按下“-(负)”按钮的意思的操作信息的操作命令、包含按下“分钟”按钮的意思的操作信息的操作命令、包含按下“分钟”按钮的意思的操作信息的操作命令和包含按下“开始”按钮的意思的操作信息的操作命令的顺序，向设备控制部32分别输出这些操作命令。
在从设备控制装置1的操作命令发送控制部13发送了操作命令的情况下，设备控制部32取得已发送的操作命令，在每次取得该操作命令时，向输出部34输出操作响应输出控制信息。此外，设备控制部32在每次取得操作命令时，向功能执行部33输出功能执行指示。
此外，在被从手动操作受理部31输出了操作命令的情况下，设备控制部32进行与从操作命令发送控制部13发送了操作命令时相同的动作。针对具体动作，省略重复的说明。
功能执行部33在被从设备控制部32输出功能执行指示时，执行通过功能执行指示而指示的家电设备3的功能。
输出部34进行基于从设备控制部32输出的操作响应输出控制信息的声音的输出或基于从设备控制部32输出的操作响应输出控制信息的信息的显示。
输出部34的显示部341是显示器等显示装置，根据从设备控制部32输出的操作响应输出控制信息来显示信息。
设备控制部32能够根据操作命令中包含的操作信息来输出使要显示的信息发生变化的操作响应输出控制信息。
输出部34的声音输出部342是扬声器等语音输出装置，根据从设备控制部32输出的操作响应输出控制信息来输出声音。
设备控制部32能够根据操作命令中包含的操作信息来输出使要输出的声音发生变化的操作响应输出控制信息。另外，设备控制部32使要输出的声音发生变化不是必须的。设备控制部32是否使要输出的声音发生变化取决于对象设备原来具有的功能。例如，如果对象设备原来具有向多个按钮输出相同声音的功能，则设备控制部32输出操作响应输出控制信息，该操作响应输出控制信息使得与操作信息无关地输出相同的声音。另一方面，例如，如果对象设备原来具有按照每个按钮输出不同声音的功能，则设备控制部32根据操作信息来输出使要输出的声音发生变化的操作响应输出控制信息，以成为对象设备原来要输出的声音。在实施方式1中，设对象设备原来具有按照每个按钮输出不同声音的功能进行说明。
之后叙述显示部341显示的画面的具体图像和声音输出部342输出的声音的具体图像。
另外，在实施方式1中，如图1所示，输出部34设置于家电设备3，但这仅是一例。输出部34也可以设置于家电设备3外部的、用户能够确认显示或声音的场所。
此外，在实施方式1中，如图1所示，输出部34具有显示部341和声音输出部342，显示部341为显示器，但是不限于此。例如，显示部341也可以为LED等发光部(省略图示)。在该情况下，发光部根据从设备控制部32输出的操作响应输出控制信息来发光。此外，设备控制部32能够根据操作命令中包含的操作信息来输出使发光部的闪烁方法发生变化的操作响应输出控制信息。
对实施方式1的设备控制装置1的动作进行说明。
图5是用于说明实施方式1的设备控制装置1的动作的一例的流程图。
以下，作为一例，假设用户讲出“使用微波炉手动、500W、加热2分钟”，使微波炉以手动模式执行500W、2分钟的加热功能。
在执行图5所示的设备控制装置1的动作之前，在语音操作装置2中执行如下动作：根据用户的讲话语音来判定对象设备和在对象设备中执行的1个以上的对象功能，生成设备功能信息。
首先，对在图5所示的设备控制装置1的动作之前进行的语音操作装置2的动作进行说明。
图6是用于说明实施方式1的语音操作装置2的动作的一例的流程图。
另外，在以下的说明中，假设在设备功能DB25存储有图2所示的设备相关信息。
语音取得部21从语音输入装置4取得讲话语音(步骤ST601)。在此，语音取得部21取得如“使用微波炉手动、500W、加热2分钟”的讲话语音。
语音取得部21向语音识别部22输出已取得的讲话语音。
语音识别部22将在步骤ST601中语音取得部21取得的讲话语音与语音识别词典DB24进行对照，识别讲话内容(步骤ST602)。
在此，语音识别部22针对讲话语音“使用微波炉手动、500W、加热2分钟”，识别如“微波炉”、“手动”、“500W”和“2分钟”的讲话内容。
语音识别部22向设备功能判定部23输出讲话内容的识别结果。
设备功能判定部23将在步骤ST602中从语音识别部22输出的讲话内容的识别结果与设备功能DB25进行对照，判定对象设备和1个以上的对象功能，生成设备功能信息(步骤ST603)。
在此，设备功能判定部23判定为对象设备是“微波炉”。并且，设备功能判定部23判定为对象功能是“微波炉”具有的“手动模式”、“输出500W”和“加热时间2分钟”。
然后，设备功能判定部23生成将“微波炉”的信息与“手动模式”、“输出500W”及“加热时间2分钟”的信息对应起来的设备功能信息(步骤ST603)。
设备功能判定部23向设备控制装置1发送在步骤ST603中生成的设备功能信息(步骤ST604)。
如上所述，在图5所示的设备控制装置1的动作之前进行语音操作装置2的动作。
接下来，使用图5对设备控制装置1的动作进行说明。
另外，在以下的说明中，假设在过程DB14存储有图3所示的过程信息。
设备功能信息取得部11取得从语音操作装置2发送的设备功能信息(参照图6的步骤ST604)(步骤ST501)。
设备功能信息取得部11向过程判定部12输出已取得的设备功能信息。
过程判定部12根据在步骤ST501中设备功能信息取得部11取得的设备功能信息，参考过程DB14来判定用于执行1个以上的对象功能的1次以上的操作和该1次以上的操作的顺序(步骤ST502)。
在此，过程判定部12根据将“微波炉”的信息与“手动模式”、“输出500W”及“加热时间2分钟”的信息对应起来的设备功能信息，判定为按照“微波炉”按钮2次→“-(负)”按钮1次→“分钟”按钮2次→“开始”按钮1次的顺序进行操作。
然后，过程判定部12向操作命令发送控制部13输出手动操作过程信息，在该手动操作过程信息中，对“微波炉”按钮2次的各功能操作次数信息赋予“第1”的顺序信息，对“-(负)”按钮1次的各功能操作次数信息赋予“第2”的顺序信息，对“分钟”按钮2次的各功能操作次数信息赋予“第3”的顺序信息，对“开始”按钮1次的各功能操作次数信息赋予“第4”的顺序信息。
操作命令发送控制部13根据在步骤ST502中从过程判定部12输出的手动操作过程信息，根据过程判定部12判定出的1次以上的操作的顺序，按照1次以上的操作的每次操作，向对象设备以第1间隔发送操作命令(步骤ST503)。
在此，设第1间隔为0.2秒。操作命令发送控制部13按照包含按下“微波炉”按钮的意思的操作信息的操作命令、包含按下“微波炉”按钮的意思的操作信息的操作命令、包含按下“-(负)”按钮的意思的操作信息的操作命令、包含按下“分钟”按钮的意思的操作信息的操作命令、包含按下“分钟”按钮的意思的操作信息的操作命令和包含按下“开始”按钮的意思的操作信息的操作命令的顺序，以0.2秒的间隔向微波炉分别发送这些操作命令。
如上所述，设备控制装置1根据从语音操作装置2发送的设备功能信息，判定手动执行对象设备具有的1个以上的对象功能时的操作过程。然后，设备控制装置1根据判定出的操作过程，按照每个操作以已设定的间隔向对象设备依次发送操作命令。
在作为对象设备的家电设备3(在此，微波炉)中，根据从设备控制装置1发送的操作命令来执行各功能。此外，微波炉在接收到从设备控制装置1发送的操作命令时，在每次接收该操作命令时依次进行与通过该操作命令确定的操作对应的声音的输出或信息的显示。
图7是用于说明实施方式1的家电设备3的动作的一例的流程图。
根据图7，说明通过在图6中说明的动作而接收到从设备控制装置1发送的操作命令的微波炉根据该操作命令来执行各功能的动作。
另外，微波炉在每次从设备控制装置1接收到操作命令时，进行图7所示的动作。
微波炉在被从设备控制装置1的操作命令发送控制部13发送操作命令时(参照图6的步骤ST502)，取得已发送的操作命令，在每次取得该操作命令时，执行以下说明的动作。
设备控制部32根据从操作命令发送控制部13取得的操作命令，向输出部34输出操作响应输出控制信息(步骤ST701)。
输出部34的显示部341根据在步骤ST701中从设备控制部32输出的操作响应输出控制信息来显示信息(步骤ST702)。
此外，输出部34的声音输出部342根据在步骤ST701中从设备控制部32输出的操作响应输出控制信息来输出声音(步骤ST703)。
另外，在图7中，假设在步骤ST702之后进行步骤ST703，但是，步骤ST702和步骤ST703优选同时进行。
设备控制部32向功能执行部33输出功能执行指示(步骤ST704)。
功能执行部33执行在步骤ST704中从设备控制部32输出的功能执行指示(步骤ST705)。
另外，在被从设备控制部32输出设定功能的功能执行指示的情况下，功能执行部33执行设定功能。
在被从设备控制部32输出开始功能的功能执行指示的情况下，功能执行部33根据已执行的设定功能开始微波炉的动作。在此，功能执行部33开始“手动模式、500W、2分钟的加热功能”的动作。
在此，图8是用于说明在实施方式1中，显示部341根据操作响应输出控制信息来显示信息的(参照步骤ST702)显示画面的图像的一例和声音输出部342根据操作响应输出控制信息而输出的声音(参照步骤ST703)的图像的一例的图。在图8中，在功能执行部33开始动作之前反复进行上述的步骤ST701～步骤ST705的动作的情况下，汇总成一个示出连续地显示的显示画面和连续地输出的声音的图像的一例。
在此，从操作命令发送控制部13以0.2秒的间隔依次发送包含按下“微波炉”按钮的意思的操作信息的操作命令、包含按下“微波炉”按钮的意思的操作信息的操作命令、包含按下“-(负)”按钮的意思的操作信息的操作命令、包含按下“分钟”按钮的意思的操作信息的操作命令、包含按下“分钟”按钮的意思的操作信息的操作命令和包含按下“开始”按钮的意思的操作信息的操作命令。
为了方便说明，针对设备控制部32接受按照上述的顺序取得的各操作命令而依次输出到显示部341和声音输出部342的操作响应输出控制信息，将第1个输出的与包含按下“微波炉”按钮的意思的操作信息的操作命令对应的操作响应输出控制信息称作“第1操作响应”。
此外，将第2个输出的与包含按下“微波炉”按钮的意思的操作信息的操作命令对应的操作响应输出控制信息称作“第2操作响应”。
此外，将第3个输出的与包含按下“-(负)”按钮的意思的操作信息的操作命令对应的操作响应输出控制信息称作“第3操作响应”。
此外，将第4个输出的与包含按下“分钟”按钮的意思的操作信息的操作命令对应的操作响应输出控制信息称作“第4操作响应”。
此外，将第5个输出的与包含按下“分钟”按钮的意思的操作信息的操作命令对应的操作响应输出控制信息称作“第5操作响应”。
然后，将最后输出的与包含按下“开始”按钮的意思的操作信息的操作命令对应的操作响应输出控制信息称作“第6操作响应”。
当从初始画面800的状态起发送第1操作响应时，显示部341根据第1操作响应来显示表示按下了1次“微波炉”按钮的信息的画面(参照图8的8011)。具体而言，显示部341显示选择了“加热”模式的状态的画面。这样，显示部341显示与操作响应输出控制信息中包含的操作信息对应的画面。另外，设备控制部32在输出操作响应输出控制信息时，移交操作命令中包含的操作信息，并包含到该操作响应输出控制信息。显示部341显示基于操作响应输出控制信息中包含的操作信息的画面。此外，显示部341预先确定根据哪个操作信息来显示哪个信息。
声音输出部342根据第1操作响应来输出“噼”的声音(参照图8的8012)。
当在0.2秒之后，从设备控制部32发送第2操作响应时，显示部341根据第2操作响应从图8的8011的状态起显示表示进一步按下了1次“微波炉”按钮的信息的画面(参照图8的8021)。具体而言，显示部341显示选择了“手动”模式的状态的画面。这时，显示部341还一并显示输出为“600w”、加热时间为“0分0秒”的信息(参照后述的图9)。另外，输出“600w”和加热时间“0分0秒”是对微波炉预先设定的初始值。在选择了“手动”模式的情况下，显示部341被预先确定成显示该输出的初始值和加热时间的初始值。
此外，声音输出部342根据第2操作响应来输出“噼”的声音(参照图8的8022)。
当在0.2秒之后，从设备控制部32发送第3操作响应时，显示部341根据第3操作响应从图8的8021的状态起显示表示按下了1次“-(负)”按钮的信息的画面(参照图8的8031)。具体而言，显示表示输出为“500w”的信息的画面。此外，声音输出部342根据第3操作响应来输出“噼”的声音(参照图8的8032)。
在此，通过第3操作响应的操作信息确定的操作(按下“-(负)”按钮)与通过第1操作响应和第2操作响应的操作信息确定的操作(按下“微波炉”按钮)不同。因此，声音输出部342根据第3操作响应来输出的声音与声音输出部342根据第1操作响应及第2操作响应而输出的声音不同。在实施方式1中，声音输出部342输出的声音不同例如是指音程不同。
这样，声音输出部342根据操作响应输出控制信息中包含的操作信息来输出不同的声音。
当在0.2秒之后，从设备控制部32发送第4操作响应时，显示部341根据第4操作响应从图8的8031的状态起显示表示按下了1次“分钟”按钮的信息的画面(参照图8的8041)。具体而言，显示表示加热时间为“1分00秒”的信息的画面(参照后述的图9)。此外，声音输出部342根据第4操作响应来输出“噼”的声音(参照图8的8042)。
在此，通过第4操作响应的操作信息确定的操作(按下“分钟”按钮)与通过第1操作响应及第2操作响应的操作信息确定的操作(按下“微波炉”按钮)不同，与第3操作响应的操作信息(按下“-(负)”按钮)也不同。因此，声音输出部342根据第4操作响应输出的声音与声音输出部342根据第1操作响应及第2操作响应输出的声音不同，与根据第3操作响应输出的声音也不同。
当在0.2秒之后，从设备控制部32发送第5操作响应时，显示部341根据第5操作响应从图8的8041的状态起显示表示进一步按下了1次“分钟”按钮的信息的画面(参照图8的8051)。具体而言，显示表示加热时间为“2分00秒”的信息的画面(参照后述的图9)。此外，声音输出部342根据第5操作响应来输出“噼”的声音(参照图8的8052)。
在此，通过第5操作响应的操作信息确定的操作(按下“分钟”按钮)与通过第4操作响应的操作信息确定的操作相同。因此，声音输出部342根据第5操作响应输出的声音成为与声音输出部342根据第3操作响应输出的声音相同的声音。
当在0.2秒之后，从设备控制部32发送第6操作响应时，显示部341根据第6操作响应从图8的8051的状态起显示表示按下了1次“开始”按钮的状态的画面(参照图8的8061)。
在发送了第6操作响应时，从设备控制部32向功能执行部33输出指示开始功能的功能执行指示，功能执行部33开始对象设备的动作(图7的步骤ST705)。因此，显示部341显示表示对象设备的动作状况的画面。具体而言，显示部341显示表示“手动模式、500W、2分钟的加热功能”的动作状况的画面。在图8的8061中，可知从加热时间被设定成2分00秒的状态(参照图8的8051)起开始加热，显示有加热的剩余时间减少后的状态。
此外，声音输出部342根据第6操作响应来输出“噼”的声音(参照图8的8062)。声音输出部342根据第6操作响应输出的声音成为与声音输出部342根据第1操作响应～第5操作响应输出的声音不同的声音。
图9是示出在实施方式1中，在用户通过手动操作使微波炉以手动模式执行了500W、2分钟的加热功能的情况下，与执行该加热功能之前的操作对应地由显示部341显示的画面和由声音输出部342输出的声音的图像的一例的图。
在该情况下，用户实际进行的操作流程为按下1次“微波炉”按钮→按下1次“微波炉”按钮→按下1次“-(负)”按钮→按下1次“分钟”按钮→按下1次“分钟”按钮→按下1次“开始”按钮这样的流程。
为了方便说明，将用户最初按下1次“微波炉”按钮的操作称作“第1操作”。将用户接着按下1次“微波炉”按钮的操作称作“第2操作”。将用户接着按下1次“-(负)”按钮的操作称作“第3操作”。将用户接着按下1次“分钟”按钮的操作称作“第4操作”。将用户接着按下1次“分钟”按钮的操作称作“第5操作”。然后，将用户最后按下1次“开始”按钮的操作称作“第6操作”。
当用户进行第1操作～第6操作时，手动操作受理部31受理依次进行的操作，设备控制部32相应地向显示部341和声音输出部342输出与第1操作～第6操作对应的操作响应输出控制信息。
显示部341根据从设备控制部32输出的操作响应输出控制信息依次显示图9的8011～8061所示的画面。
此外，如图9的8012～8062所示，声音输出部342根据从设备控制部32输出的操作响应输出控制信息依次输出声音。
图9的8011～8061所示的画面分别为与上述的图8的8011～8061所示的画面相同的画面。
此外，图9的8012～8062所示的声音分别为与上述的图8的8012～8062所示的声音相同的声音。
这样，在实施方式1的设备控制系统100中，在用户对家电设备3进行语音操作的情况下，设备控制装置1能够进行如用户是否正在通过手动操作对家电设备3进行操作那样的画面显示和声音的输出。
在现有技术中，例如，在用户想使微波炉以500w的输出动作2分钟的情况下，当讲出“以500w加热2分钟”时，从微波炉输出“噼”的反应声，以500w的输出执行2分钟的加热动作。
这样，在现有技术中，仅是针对为了执行用户通过讲话指示的功能而进行的1次以上的操作，从微波炉输出1次“噼”的反应声。
因此，用户无法掌握在微波炉中是否执行了分别相当于自身期待的操作的功能。
例如，在用户想使微波炉以500w的输出进行2分钟的加热动作的情况和想以700w的输出进行8分钟的加热动作的情况下，当要手动执行该功能时，为了输出的设定和加热时间的设定而进行的操作次数不同。但是，当用户要通过讲话语音执行该功能时，在讲出“以500w加热2分钟”的情况和讲出“以700w加热8分钟”的情况下，都从微波炉以相同的方式输出“噼”的反应声。其结果是，用户无法掌握实际上是对微波炉进行了用于以500w的输出进行2分钟的加热动作的操作，还是进行了用于以700w的输出进行8分钟的加热动作的操作的差异。此外，由于在微波炉中是在一瞬间执行功能，因此，用户无法掌握在微波炉中发生了什么。
这样，在现有技术中，不能确认用户在通过一次讲话指示了执行在手动操作的情况下需要多个手动操作的1个以上的功能时，在家电设备3中执行了分别相当于所述多个手动操作的功能。
与此相对，实施方式1的设备控制装置1能够确认用户在通过一次讲话指示了执行在手动操作的情况下需要多个手动操作的1个以上的功能时，在家电设备3中执行了分别相当于多个手动操作的功能。
此外，在用户对家电设备3进行语音操作的情况下，通过进行如是否正在通过手动操作对家电设备3进行操作那样的画面显示和声音的输出，用户能够得到如由他人替代自己进行操作那样的感觉。
此外，例如，即使在用户位于从设置有家电设备3的场所离开到该家电设备3的显示部341无法确认的程度的场所的情况下，也能够与讲话语音相呼应地确认以与按钮被操作时的操作次数相同的次数输出的声音。由此，用户能够根据手动操作时的操作次数与声音的输出次数的比较或输出的声音的音程，确认进行了恰如想像的操作。
此外，如上所述，在家电设备3中，从手动操作受理部31向设备控制部32输出的操作命令的内容与从操作命令发送控制部13向设备控制部32发送的操作命令的内容相同。因此，仅通过使得家电设备3具有能够从该家电设备3外部的设备控制装置1接收操作命令的功能，就能够使家电设备3成为与基于用户的讲话语音的、上述的执行家电设备3具有的功能的控制对应的家电设备3。即，能够不花费成本地通过简单的作业使已经存在的家电设备3与语音操作功能对应。
此外，用户以较短的间隔确认以与手动操作家电设备3的按钮时相同的操作次数输出的画面和声音。其结果是，与自身手动操作家电设备3的按钮的情况相比，用户能够得到以较短的间隔高速地进行操作的感觉，能够感受到可通过讲话语音快捷地进行家电设备3的动作控制的便利性。
在以上的说明中，在设备控制装置1中，与通过操作信息确定的操作内容无关地，操作命令发送控制部13以相同的第1间隔(例如，0.2秒的间隔)向对象设备发送操作命令。
这仅是一例，操作命令发送控制部13也能够根据通过操作信息确定的操作的内容，使发送操作命令的间隔发生变化。具体而言，操作命令发送控制部13能够在发送通过操作信息确定的操作相同的操作命令的期间内，例如以比第1间隔短的某一间隔(例如第2间隔)发送该操作命令。
以下，举出具体例子进行说明。
另外，在以下的说明中，也与使用图5～图9说明动作时举出的一例同样地，假设用户讲出“使用微波炉手动、500W、加热2分钟”，使微波炉以手动模式执行500W、2分钟的加热功能。
在以下举出的具体例子中，作为通常时的间隔，如使用图5～图9说明动作的一例那样，设定成按照第1间隔发送操作命令，但是，假设在发送通过操作信息确定的操作相同的操作命令的期间内，按照比该第1间隔短的第2间隔发送操作命令。
在设备控制装置1中，操作命令发送控制部13在按照包含按下“微波炉”按钮的意思的操作信息的操作命令、包含按下“微波炉”按钮的意思的操作信息的操作命令、包含按下“-(负)”按钮的意思的操作信息的操作命令、包含按下“分钟”按钮的意思的操作信息的操作命令、包含按下“分钟”按钮的意思的操作信息的操作命令和包含按下“开始”按钮的意思的操作信息的操作命令的顺序向微波炉发送这些操作命令时，使各发送操作命令的间隔发生变化。
为了方便说明，以下，设包含按下“微波炉”按钮的意思的操作信息的操作命令为第1操作命令，包含按下“-(负)”按钮的意思的操作信息的操作命令为第2操作命令，包含按下“分钟”按钮的意思的操作信息的操作命令为第3操作命令，包含按下“开始”按钮的意思的操作信息的操作命令为第4操作命令。操作命令发送控制部13按照第1操作命令→第1操作命令→第2操作命令→第3操作命令→第3操作命令→第4操作命令的顺序，向微波炉发送各操作命令。
在此，操作命令发送控制部13在发送第1操作命令的期间内，按照第2间隔(例如，0.1秒)发送该第1操作命令。然后，操作命令发送控制部13在发送第2操作命令时，判断为通过操作信息确定的操作与之前发送的第1操作命令不同且不是相同的操作命令的发送，隔开作为通常时的间隔的第1间隔发送该第2操作命令。
接着，操作命令发送控制部13发送第3操作命令，但是，通过该第3操作命令的操作信息确定的操作与通过第2操作命令的操作信息确定的操作不同。因此，操作命令发送控制部13隔开第1间隔发送该第3操作命令。
并且，操作命令发送控制部13发送第3操作命令。由于连续地发送第3操作命令，因此，操作命令发送控制部13隔开第2间隔发送该第3操作命令。
最后，操作命令发送控制部13发送第4操作命令。在该情况下，操作命令发送控制部13隔开第1间隔发送该第4操作命令。
操作命令发送控制部13使得发送包含与紧前发送的操作命令相同的操作信息的操作命令时的发送间隔(第2间隔)比作为通常时的间隔设定的间隔(第1间隔)短。
图10示出在实施方式1中，与该各操作命令中包含的操作信息所示的操作对应地以不同的间隔发送各操作命令的图像。
在图10中，作为一例，示出发送上述的第1操作命令～第4操作命令时的图像。
此外，在图10中，设第1间隔为0.2秒间隔，设第2间隔为0.1秒间隔。
这样，操作命令发送控制部13能够根据通过操作信息确定的操作的内容，使发送操作命令的间隔发生变化。具体而言，操作命令发送控制部13在连续地发送通过操作信息确定的操作相同的操作命令的期间内，以比连续地发送通过操作信息确定的操作不同的操作命令时短的间隔发送操作命令。
其结果是，在对象设备(在上述的例子中，微波炉)中，设备控制部32接收操作命令的间隔发生变化，设备控制部32向输出部34输出的操作响应输出控制信息的输出间隔也发生变化。具体而言，从设备控制部32向输出部34输出的操作响应输出控制信息的输出间隔以与操作命令发送控制部13向对象设备发送操作命令的发送间隔相同的方式发生变化。
与此相伴，在对象设备中，显示部341显示的画面的切换间隔和声音输出部342输出声音的间隔发生变化。
在对象设备中，在发送相同操作命令的期间内，显示部341显示的画面的切换间隔和声音输出部342输出声音的间隔为比通常时短的间隔，因此，从显示部341进行如分组那样的显示，从声音输出部342输出如分组那样的声音。
图11是用于说明在实施方式1中，在操作响应输出控制信息的输出间隔发生变化的情况下，显示部341根据操作响应输出控制信息显示信息的显示画面的图像的一例和声音输出部342根据操作响应输出控制信息输出的声音的图像的一例的图。
另外，图11示出在上述的例子中，在从设备控制部32向微波炉按照图10所示的输出间隔输出了操作响应的情况下，显示部341显示的显示画面的图像的一例和声音输出部342输出的声音的图像的一例。
在图8所示的显示画面的图像和声音的图像中，显示8011～8061所示的显示画面的间隔和输出8012～8062所示的声音的间隔是固定的。
与此相对，在此，操作响应输出控制信息的输出间隔发生变化，因此，如图11所示，例如，从显示8021所示的显示画面到显示8031所示的显示画面为止的间隔(第1间隔)为比从显示8011所示的显示画面到显示8021所示的画面为止的间隔(第2间隔)长的间隔。
此外，从显示8041所示的显示画面到显示8051所示的显示画面为止的间隔(第2间隔)为比从显示8031所示的显示画面到显示8041所示的画面为止的间隔(第1间隔)短的间隔。
此外，如图11所示，例如，从输出8012所示的声音到输出8022所示的声音为止的间隔比从输出8022所示的声音到输出8032所示的声音为止的间隔短。此外，8012、8022所示的声音与8032所示的声音不同。
这样，在设备控制装置1中，操作命令发送控制部13借助通过操作信息确定的操作使发送操作命令的间隔发生变化，由此，用户在通过一次讲话指示执行在手动操作的情况下需要多个手动操作的1个以上的功能时，对连续地进行相同操作的情况与连续地进行相互不同的操作的情况进行区分，因此，能够更加可靠地确认家电设备3中的功能执行。此外，用户能够直观地感受到要执行的功能的差异。
图12A、图12B是示出实施方式1的设备控制装置1的硬件结构的一例的图。
在实施方式1中，设备功能信息取得部11、过程判定部12和操作命令发送控制部13的功能通过处理电路1201实现。即，设备控制装置1具有处理电路1201，该处理电路1201用于根据设备功能信息，进行向家电设备3发送用于输出分别与1次以上的操作对应的操作响应输出控制信息的操作命令的控制。
处理电路1201可以如图12A所示是专用的硬件，也可以如图12B所示是执行存储器1206中存储的程序的CPU(Central Processing Unit：中央处理装置)1205。
在处理电路是专用的硬件的情况下，处理电路1201例如是单一电路、复合电路、程序化的处理器、并行程序化的处理器、ASIC(Application Specific Integrated Circuit：专用集成电路)、FPGA(Field-Programmable Gate Array：现场可编程门阵列)或者将它们组合而成的部件。
在处理电路1201是CPU 1205的情况下，通过软件、固件或者软件与固件的组合来实现设备功能信息取得部11、过程判定部12和操作命令发送控制部13的功能。即，设备功能信息取得部11、过程判定部12和操作命令发送控制部13通过HDD(Hard Disk Drive：硬盘驱动器)1202、执行存储器1206等中存储的程序的CPU 1205或系统LSI(Large-ScaleIntegration：大规模集成电路)等处理电路来实现。此外，HDD 1202或存储器1206等中存储的程序也可以说是使计算机执行设备功能信息取得部11、过程判定部12和操作命令发送控制部13的过程或方法的程序。在此，存储器1206例如是RAM(Random Access Memory：随机存取存储器)、ROM(Read Only Memory：只读存储器)、闪存、EPROM(Erasable ProgrammableRead Only Memory：可擦除可编程只读存储器)、EEPROM(Electrically ErasableProgrammable Read Only Memory：电可擦除可编程只读存储器)等非易失性或者易失性的半导体存储器、磁盘、软盘、光盘、紧凑盘或DVD(Digital Versatile Disk：数字多功能盘)等。
另外，关于设备功能信息取得部11、过程判定部12和操作命令发送控制部13的功能，也可以通过专用的硬件实现一部分，通过软件或者固件实现一部分。例如，也可以是，关于设备功能信息取得部11，通过作为专用的硬件的处理电路1201实现其功能，关于过程判定部12和操作命令发送控制部13，通过处理电路读出并执行存储器1206中存储的程序来实现其功能。
此外，过程DB14使用存储器1206。另外，这仅是一例，过程DB14也可以由HDD1202、SSD(Solid State Drive：固态硬盘)或DVD等构成。
此外，设备控制装置1具有与家电设备3等进行通信的输入接口装置1203和输出接口装置1204。
实施方式1的家电设备3也具有图12A、图12B示出一例的硬件结构。
手动操作受理部31、设备控制部32和功能执行部33具有与设备控制装置1中的设备功能信息取得部11等相同的硬件结构。
此外，家电设备3具有显示装置(在图12中省略图示)和语音输出装置(在图12中省略图示)。
显示部341是显示装置，声音输出部342是语音输出装置。
此外，实施方式1的语音操作装置2也具有图12A、图12B示出一例的硬件结构。
语音取得部21、语音识别部22和设备功能判定部23具有与设备控制装置1中的设备功能信息取得部11等相同的硬件结构。
语音识别词典DB24和设备功能DB25使用存储器1206。另外，这仅是一例，语音识别词典DB24和设备功能DB25也可以由HDD 1202、SSD(Solid State Drive：固态硬盘)或DVD等构成。
如上所述，根据实施方式1，将设备控制装置1构成为具有：设备功能信息取得部11，其取得将根据讲话语音判定出的对象设备与使该对象设备执行的1个以上的对象功能对应起来的设备功能信息；过程判定部12，其根据设备功能信息取得部11取得的设备功能信息，判定用于执行1个以上的对象功能的1次以上的手动操作和该1次以上的手动操作的顺序；以及操作命令发送控制部13，其根据过程判定部12判定出的1次以上的手动操作的顺序，按照1次以上的手动操作的每次手动操作，向对象设备依次发送用于输出分别与该1次以上的手动操作对应的操作响应输出控制信息的操作命令。因此，用户能够确认在家电设备3中，在通过一次讲话指示执行在手动操作的情况下需要多个手动操作的1个以上的功能时，执行了与所述多个手动操作分别相当的功能。
此外，在设备控制装置1中，在1次以上的手动操作包含内容彼此相同的多个手动操作和内容彼此不同的多个手动操作的情况下，操作命令发送控制部13能够使连续地发送与内容彼此相同的多个手动操作对应的操作命令时的该操作命令的发送间隔与连续地发送与内容彼此不同的多个手动操作对应的操作命令时的该操作命令的发送间隔，成为相互不同的发送间隔。因此，用户在通过一次讲话指示执行在手动操作的情况下需要多个手动操作的1个以上的功能时，对连续地进行相同操作的情况与连续地进行相互不同的操作的情况进行区分，因此，能够更加可靠地确认家电设备3中的功能执行。此外，用户能够直观地感受到要执行的功能的差异。
实施方式2
在实施方式1中，在设备控制装置1中，过程判定部12根据设备功能信息，参考过程DB14，判定用于执行1个以上的对象功能的1次以上的操作。即，过程判定部12判定从按照每个功能预先确定的初始值起，执行基于设备功能信息的功能所需的操作次数。
在实施方式2中，对过程判定部12考虑目前的家电设备3的状态来判定执行基于设备功能信息的功能所需的操作次数的实施方式进行说明。
图13是说明具有实施方式2的设备控制装置1a的设备控制系统100a的结构的一例的图。
设备控制系统100a的结构与在实施方式1中使用图1说明的设备控制系统100的结构相同。
在实施方式2中，设置于设备控制系统100a的设备控制装置1a和家电设备3a的结构与设置于实施方式1的设备控制系统100的设备控制装置1和家电设备3的结构不同。
以下，针对设备控制装置1a和家电设备3a，仅说明与实施方式1中的设备控制装置1和家电设备3不同的结构，针对与实施方式1中的设备控制装置1和家电设备3相同的结构标注相同的标记而省略重复的说明。
另外，设备控制装置1a和家电设备3a的硬件结构与实施方式1的设备控制装置1和家电设备3的硬件结构相同，因此，省略重复的说明。设备控制装置1a的设备状态取得部15(之后叙述)具有与设备功能信息取得部11相同的硬件结构。此外，家电设备3a的状态信息收集部35(之后叙述)具有与设备控制部32相同的硬件结构。
设备控制装置1a具有设备状态取得部15。
设备状态取得部15从家电设备3a取得目前的与该家电设备3a的状态相关的信息。在实施方式2中，与家电设备3a的状态相关的信息是指由于执行了设定功能而引起的家电设备3a的设定状态或执行开始功能之后的动作中的家电设备3a的状态等。具体而言，例如，在家电设备3a是加热动作中的IH烹调加热器的情况下，目前的火力的设定信息是与IH烹调加热器的状态相关的信息。此外，例如，在家电设备3是制冷动作中的空调的情况下，处于制冷模式的意思的设定信息是与空调的状态相关的信息。
以下，将目前的与家电设备3a的状态相关的信息称作“设备状态信息”。
在实施方式2中，过程判定部12a根据从语音操作装置2取得的设备功能信息和设备状态取得部15取得的设备状态信息，参考过程DB14，判定用于执行1个以上的对象功能的1次以上的操作和该1次以上的操作的顺序。
例如，假设用户为了提升至火力5，对目前正在以火力3进行加热动作的IH烹调加热器的右侧炉，讲出“使右侧炉的火力为火力5”。
在该情况下，从语音操作装置2发送将作为对象设备的“IH烹调加热器”的信息与作为对象功能的“右侧炉”及“火力5”的信息对应起来的设备功能信息。语音操作装置2的具体动作已经在实施方式1中进行了说明，因此，省略重复的说明。
过程判定部12a取得上述的设备功能信息。
此外，过程判定部12a经由设备状态取得部15从IH烹调加热器取得表示目前的火力是火力3的设备状态信息。
过程判定部12a根据设备功能信息和设备状态信息，针对对象设备的对象功能判定实际上执行什么样的功能才执行通过设备功能信息指示的对象功能。在上述的例子中，基于设备状态信息的IH烹调加热器的目前的火力是火力3，基于设备功能信息的对象功能是火力5。在该情况下，过程判定部12a能够判定为在根据火力3与火力5的差分从目前的火力提升2档火力时，执行通过设备功能信息表示的对象功能。因此，过程判定部12a判定为实际上要执行的功能是针对“IH烹调加热器”的“右侧炉”和“火力2”提升。
然后，过程判定部12a根据判定为实际上要执行的功能，参考过程DB14，判定对“IH烹调加热器”进行了使“右侧炉”的火力提升“火力2”的手动操作时的操作和该操作的顺序。
针对过程判定部12a参考过程DB14判定操作和该操作的顺序的具体动作，与在实施方式1中说明的过程判定部12的具体动作相同，因此，省略重复的说明。
在未对过程DB14定义开始功能的情况下，过程判定部12a判定为按照打开“右侧炉的旋转编码器”→朝正向旋转2次“旋转编码器”的顺序进行操作。然后，过程判定部12a向操作命令发送控制部13输出手动操作过程信息，在该手动操作过程信息中，对打开“右侧炉的旋转编码器”的各功能操作次数信息赋予“第1”的顺序信息，对朝正向旋转4次“旋转编码器”的各功能操作次数信息赋予“第2”的顺序信息。另外，假设在过程DB14存储有如在实施方式1中使用图3说明的过程信息。但是，在该情况下，针对图3所示的过程信息，作为与“IH烹调加热器”对应的功能，未定义“开始”。
此外，在对过程DB14定义有开始功能的情况下，过程判定部12a判定为按照打开“右侧炉的旋转编码器”→朝正向旋转2次“旋转编码器”→“开始”按钮1次的顺序进行操作。然后，过程判定部12a向操作命令发送控制部13输出手动操作过程信息，在该手动操作过程信息中，对打开“右侧炉的旋转编码器”的各功能操作次数信息赋予“第1”的顺序信息，对朝正向旋转4次“旋转编码器”的各功能操作次数信息赋予“第2”的顺序信息，对“开始”按钮1次的各功能操作次数信息赋予“第3”的顺序信息。另外，假设在过程DB14存储有如在实施方式1中使用图3说明的过程信息。
当列举其他例子时，例如，假设用户为了降低设定温度，对目前正在以设定温度25℃动作的空调讲出“使空调为23℃”。
在该情况下，从语音操作装置2发送将作为对象设备的“空调”的信息与作为对象功能的“23℃”的信息对应起来的设备功能信息。语音操作装置2的具体动作已经在实施方式1中进行了说明，因此，省略重复的说明。另外，关于在实施方式1中使用图2说明的设备相关信息，省略与空调对应的设备和功能的信息的记载。
过程判定部12a取得上述的设备功能信息。
此外，过程判定部12a从空调取得表示设定温度为25℃的设备状态信息。
过程判定部12a判定为基于设备状态信息的空调目前的设定温度为25℃，基于设备功能信息的对象功能为23℃。在该情况下，过程判定部12a能够判定为在根据25℃与23℃的差分使设定温度从目前的设定温度下降2℃时，执行基于设备功能信息的对象功能。因此，过程判定部12a判定为实际上要执行的功能是针对“空调”的“负2℃”。
接着，过程判定部12a根据判定为实际上要执行的功能，参考过程DB14，判定对“空调”进行了成为“负2℃”的手动操作时的操作和该操作的顺序。
关于在实施方式1中使用图3说明的过程信息省略记载，但是，过程判定部12a参考过程DB14，判定按下“2次负的温度设定按钮”的操作。然后，过程判定部12a向操作命令发送控制部13输出手动操作过程信息，该手动操作过程信息对按下“2次负的温度设定按钮”的各功能操作次数信息赋予“第1”的顺序信息。
返回到图13的说明。
家电设备3a具有状态信息收集部35。
状态信息收集部35收集设备状态信息。
状态信息收集部35向设备控制装置1a发送收集到的设备状态信息。
另外，状态信息收集部35例如针对目前的家电设备3的状态，始终收集设备状态信息并发送到设备控制装置1a即可。此外，例如，也可以使得设备控制装置1a的设备状态取得部15向状态信息收集部35发送设备状态信息请求，状态信息收集部35在接收到设备状态信息请求的情况下，收集通过该设备状态信息请求而请求的设备状态信息，并返还到设备状态取得部15。
在此，图14是用于说明例如在IH烹调加热器中使火力从火力3变更成火力5时的、实施方式1中的设备控制装置1的动作与实施方式2中的设备控制装置1a的动作的差异的图像的图。图14A示出在实施方式1中，将IH烹调加热器的火力从火力3变更成火力5时的设备控制装置1a的动作的图像，图14B示出在实施方式2中，将IH烹调加热器的火力从火力3变更成火力5时的设备控制装置1a的动作的图像。
在实施方式1中，过程判定部12参考过程DB14，始终判定从初始值起的操作次数。例如，在上述的例子中，在实施方式1中，过程判定部12判定如从火力0起朝正向旋转5次旋转编码器的操作。在IH烹调加热器中，执行使右侧的旋转编码器从目前的火力3暂时返回到火力0并使火力从火力0增加到火力5的功能(参照图14A)。
与此相对，在实施方式2中，过程判定部12a取得设备状态信息，考虑目前的对象设备的状态来判定实际上执行什么样的功能才执行基于设备功能信息的对象功能。其结果是，在上述的例子中，过程判定部12a判定如从目前的火力起朝正向旋转2次旋转编码器的操作。在IH烹调加热器中，执行从右侧的旋转编码器的目前的火力3起增加2档火力的功能(参照图14B)。
由此，设备控制装置1a能够以较少的过程和较短的时间进行上述的判定动作和由操作命令发送控制部13向对象设备发送操作命令的发送处理。
此外，用户也能够通过“稍微进行○○”或“以△△进行××”等指示与目前的对象设备的状态之间的差分的讲话语音，使对象设备执行对象功能。
例如，用户能够通过“稍微增强火力”或“减弱一档火力”这样的讲话语音，使IH烹调加热器执行使IH烹调加热器的炉的火力从目前的火力起增大已设定的火力的动作或使IH烹调加热器的炉的火力为从目前的火力起减弱1档后的火力的控制。
此外，例如，用户能够通过“稍微调低制冷”这样的讲话语音，使空调执行使空调的设定温度从目前的设定温度起提高已设定的温度的控制。
对实施方式2的设备控制系统100a中的设备控制装置1a和家电设备3a的动作进行说明。
图15是用于说明实施方式2的设备控制装置1a的动作的流程图。
图15的步骤ST1501和步骤ST1505的具体动作分别与在实施方式1中使用图5说明的步骤ST501和步骤ST503的具体动作相同，因此，省略重复的说明。
过程判定部12a从家电设备3取得设备状态信息(步骤ST1502)。
另外，步骤ST1501和步骤ST1502的顺序可以相反，也可以同时。
过程判定部12a根据在步骤ST1501中从语音操作装置2取得的设备功能信息和在步骤ST1502中取得的设备状态信息，针对对象设备的对象功能判定实际上执行什么样的功能才执行基于设备功能信息的对象功能(步骤ST1503)。
然后，过程判定部12a根据在步骤ST1503中判定为实际上执行的功能，参考过程DB14，判定针对对象设备进行了执行判定为实际上要执行的功能的手动操作时的操作和该操作的顺序(步骤ST1504)。
对实施方式2的设备控制系统100a中的家电设备3a的动作进行说明。
在家电设备3a中，除了在实施方式1中使用图7说明的动作以外，状态信息收集部35进行收集设备状态信息的动作。
状态信息收集部35向设备控制装置1a发送收集到的设备状态信息。
如上所述，根据实施方式2，将设备控制装置1a构成为除了实施方式1的设备控制装置1的结构以外，还具有取得与对象设备的状态相关的信息的设备状态取得部15，过程判定部12a根据与设备状态取得部15取得的状态相关的信息和设备功能信息，判定用于执行1个以上的对象功能的1次以上的操作和该1次以上的操作的顺序。因此，设备控制装置1a能够以较少的过程和较短的时间，进行上述的判定动作和操作命令发送控制部13向家电设备3a发送操作命令的发送处理。
此外，用户也能够通过“稍微进行○○”或“以△△进行○○”等指示与目前的对象设备的状态之间的差分的讲话语音，使对象设备执行对象功能。
另外，在以上的实施方式1和实施方式2中，设对象设备为家电设备3、3a，但是，对象设备不限于家电设备3、3a。例如，能够将设置于工厂的设备、智能手机或车载设备等用户能够手动操作的全部设备作为对象设备。用户手动操作也包含用户使用遥控器进行操作。
此外，在以上的实施方式1和实施方式2中，如图1和图13所示，在设备控制系统100、100a中，将设备控制装置1、1a、语音操作装置2、家电设备3、3a、语音输入装置4和语音输出装置5作为分别独立的装置进行了说明，但是，这仅是一例。
例如，设备控制装置1、1a也可以搭载于家电设备3、3a。此外，例如，设备控制装置1、1a和语音操作装置2也可以搭载于相同的装置。此外，语音输入装置4和语音输出装置5也可以搭载于家电设备3、3a。此外，如上所述，语音输入装置4和语音输出装置5也可以设置于智能扬声器。
此外，例如，在设备控制系统100、100a中，也可以使得家电设备3、3a具有设备控制装置1、1a具备的操作命令发送控制部13的功能(参照图16)。另外，图16示出在实施方式1的设备控制系统100中使得家电设备3具有设备控制装置1具备的操作命令发送控制部13的功能时的结构例。
此外，例如，设备控制装置1、1a和语音操作装置2可以与屋内的网络连接，设备控制装置1、1a或设备控制装置1、1a和语音操作装置2也可以设置于屋外的服务器并与屋内的家电设备3、3a进行通信。
此外，本申请能够在本发明的范围内，实现各实施方式的自由组合、或各实施方式的任意结构要素的变形、或各实施方式中的任意结构要素的省略。
产业上的可利用性
本发明的设备控制装置构成为用户能够确认在通过一次讲话指示执行在手动操作的情况下需要多个手动操作的1个以上的功能时，在该设备中执行了与所述多个手动操作分别相当的功能，因此，例如，可应用于对能够根据讲话语音执行自身具有的功能的家电设备进行执行基于该讲话语音的功能的控制的设备控制装置。
标号说明
1、1a：设备控制装置；2：语音操作装置；3、3a：家电设备；4：语音输入装置；5：语音输出装置；11：设备功能信息取得部；12、12a：过程判定部；13：操作命令发送控制部；14：过程DB；15：设备状态取得部；21：语音取得部；22：语音识别部；23：设备功能判定部；24：语音识别词典DB；25：设备功能DB；31：手动操作受理部；32：设备控制部；33：功能执行部；34：输出部；341：显示部；342：声音输出部；35：状态信息收集部；100、100a：设备控制系统；1201：处理电路；1202：HDD；1203：输入接口装置；1204：输出接口装置；1205：CPU；1206：存储器。

Claims (13)

1.一种设备控制装置，其根据讲话语音来控制设备，其中，所述设备控制装置具有：
设备功能信息取得部，其取得将根据所述讲话语音判定出的对象设备与使该对象设备执行的1个以上的对象功能对应起来的设备功能信息；
过程数据库，在所述过程数据库中，按照每个所述设备，将该设备具有的1个以上的功能与用于执行该1个以上的功能的1次以上的手动操作对应起来；
过程判定部，其根据所述设备功能信息取得部取得的设备功能信息，参考所述过程数据库判定用于执行所述1个以上的对象功能的1次以上的手动操作和该1次以上的手动操作的顺序；以及
操作命令发送控制部，其根据所述过程判定部判定出的所述1次以上的手动操作的顺序，按照所述1次以上的手动操作的每次手动操作，向所述对象设备依次发送用于输出分别与该1次以上的手动操作对应的操作响应输出控制信息的操作命令。
2.根据权利要求1所述的设备控制装置，其特征在于，
在所述1次以上的手动操作包含内容彼此相同的多个手动操作和内容彼此不同的多个手动操作的情况下，
所述操作命令发送控制部使连续地发送与所述内容彼此相同的多个手动操作对应的操作命令时的该操作命令的发送间隔、和连续地发送与所述内容彼此不同的多个手动操作对应的操作命令时的该操作命令的发送间隔，成为相互不同的发送间隔。
3.根据权利要求2所述的设备控制装置，其特征在于，
连续地发送与所述内容彼此相同的多个手动操作对应的操作命令时的该操作命令的发送间隔，比连续地发送与所述内容彼此不同的多个手动操作对应的操作命令时的该操作命令的发送间隔短。
4.根据权利要求1所述的设备控制装置，其特征在于，
所述设备控制装置具有设备状态取得部，该设备状态取得部取得与所述对象设备的状态相关的信息，
所述过程判定部根据所述设备状态取得部取得的与所述状态相关的信息和所述设备功能信息，判定用于执行所述1个以上的对象功能的所述1次以上的操作和该1次以上的操作的顺序。
5.根据权利要求1所述的设备控制装置，其特征在于，
所述设备控制装置具有：
语音取得部，其取得所述讲话语音；
语音识别部，其根据所述语音取得部取得的所述讲话语音来识别讲话内容；以及
设备功能判定部，其根据所述语音识别部识别出的所述讲话内容，判定通过所述讲话语音确定的所述对象设备和使该对象设备执行的1个以上的所述对象功能，输出将所述对象设备与1个以上的所述对象功能对应起来的所述设备功能信息，
所述设备功能信息取得部取得所述设备功能判定部输出的所述设备功能信息。
6.一种能够手动操作的设备，该设备具有：
权利要求1～5中的任意一项所述的设备控制装置；以及
设备控制部，其取得从所述操作命令发送控制部发送的所述操作命令，在每次取得该操作命令时，输出所述操作响应输出控制信息。
7.根据权利要求6所述的设备，其特征在于，
所述设备具有声音输出部，该声音输出部根据所述设备控制部输出的所述操作响应输出控制信息来输出声音。
8.根据权利要求7所述的设备，其特征在于，
所述操作命令包含表示所述1次以上的操作的操作信息，
所述设备控制部根据所述操作信息，输出使要输出的声音发生变化的所述操作响应输出控制信息。
9.根据权利要求6所述的设备，其特征在于，
所述设备具有显示部，该显示部显示基于所述设备控制部输出的所述操作响应输出控制信息的信息。
10.根据权利要求9所述的设备，其特征在于，
所述操作命令包含表示所述1次以上的操作的操作信息，
所述设备控制部根据所述操作信息，输出使要显示的信息发生变化的所述操作响应输出控制信息。
11.一种设备控制系统，该设备控制系统具有设备控制装置和由所述设备控制装置控制的设备，
所述设备控制装置具有：
设备功能信息取得部，其取得将根据讲话语音判定出的对象设备与使该对象设备执行的1个以上的对象功能对应起来的设备功能信息；
过程数据库，在所述过程数据库中，按照每个所述设备，将该设备具有的1个以上的功能与用于执行该1个以上的功能的1次以上的手动操作对应起来；以及
过程判定部，其根据所述设备功能信息取得部取得的所述设备功能信息，参考所述过程数据库判定用于执行所述1个以上的对象功能的1次以上的手动操作和该1次以上的手动操作的顺序，
所述设备具有：
操作命令发送控制部，其根据所述过程判定部判定出的所述1次以上的手动操作的顺序，按照所述1次以上的手动操作的每次手动操作，依次输出用于输出分别与所述1次以上的操作对应的操作响应输出控制信息的操作命令；以及
设备控制部，其取得所述操作命令发送控制部输出的所述操作命令，在每次取得该操作命令时，输出所述操作响应输出控制信息。
12.一种设备控制方法，根据讲话语音来控制设备，其中，所述设备控制方法具有以下步骤：
设备功能信息取得部取得将根据所述讲话语音判定出的对象设备与使该对象设备执行的1个以上的对象功能对应起来的设备功能信息；
过程数据库在所述过程数据库中，按照每个所述设备，将该设备具有的1个以上的功能与用于执行该1个以上的功能的1次以上的手动操作对应起来；
过程判定部根据所述设备功能信息取得部取得的设备功能信息，参考所述过程数据库判定用于执行所述1个以上的对象功能的1次以上的手动操作和该1次以上的手动操作的顺序；以及
操作命令发送控制部根据所述过程判定部判定出的所述1次以上的手动操作的顺序，按照所述1次以上的手动操作的每次手动操作，向所述对象设备依次发送用于输出分别与该1次以上的手动操作对应的操作响应输出控制信息的操作命令。
13.一种设备控制程序，其根据讲话语音来控制设备，其中，所述设备控制程序使计算机作为以下部分发挥功能：
设备功能信息取得部，其取得将根据所述讲话语音判定出的对象设备与使该对象设备执行的1个以上的对象功能对应起来的设备功能信息；
过程数据库，在所述过程数据库中，按照每个所述设备，将该设备具有的1个以上的功能与用于执行该1个以上的功能的1次以上的手动操作对应起来；
过程判定部，其根据所述设备功能信息取得部取得的设备功能信息，参考所述过程数据库判定用于执行所述1个以上的对象功能的1次以上的手动操作和该1次以上的手动操作的顺序；以及
操作命令发送控制部，其根据所述过程判定部判定出的所述1次以上的手动操作的顺序，按照所述1次以上的手动操作的每次手动操作，向所述对象设备依次发送用于输出分别与该1次以上的手动操作对应的操作响应输出控制信息的操作命令。
CN201880094408.6A 2018-06-15 2018-06-15 设备控制装置、设备控制系统、设备控制方法和设备控制程序 Active CN112262584B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/022932 WO2019239582A1 (ja) 2018-06-15 2018-06-15 機器制御装置、機器制御システム、機器制御方法、および、機器制御プログラム

Publications (2)

Publication Number Publication Date
CN112262584A CN112262584A (zh) 2021-01-22
CN112262584B true CN112262584B (zh) 2023-03-21

Family

ID=66625520

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880094408.6A Active CN112262584B (zh) 2018-06-15 2018-06-15 设备控制装置、设备控制系统、设备控制方法和设备控制程序

Country Status (4)

Country Link
US (1) US11443745B2 (zh)
JP (1) JP6516938B1 (zh)
CN (1) CN112262584B (zh)
WO (1) WO2019239582A1 (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6584439B1 (en) * 1999-05-21 2003-06-24 Winbond Electronics Corporation Method and apparatus for controlling voice controlled devices
JP2005107425A (ja) * 2003-10-02 2005-04-21 Mitsubishi Electric Corp 家電機器の報知音発声装置
CN105320404A (zh) * 2014-07-31 2016-02-10 三星电子株式会社 用于执行功能的设备和方法
CN105529025A (zh) * 2014-09-28 2016-04-27 联想(北京)有限公司 一种语音操作输入方法及电子设备
CN106233246A (zh) * 2014-04-22 2016-12-14 三菱电机株式会社 用户界面系统、用户界面控制装置、用户界面控制方法和用户界面控制程序
CN106716407A (zh) * 2014-09-15 2017-05-24 株式会社电装 车辆用设备控制装置、控制内容检索方法
CN107209758A (zh) * 2015-01-28 2017-09-26 三菱电机株式会社 意图估计装置以及意图估计方法
JP2018088723A (ja) * 2013-10-17 2018-06-07 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 通信装置の子機、通信装置及び通信装置の子機の制御方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005284492A (ja) 2004-03-29 2005-10-13 Mitsubishi Electric Corp 音声利用操作装置
JP2009104025A (ja) 2007-10-25 2009-05-14 Panasonic Electric Works Co Ltd 音声認識制御装置
JP4302173B2 (ja) * 2008-04-03 2009-07-22 シャープ株式会社 電気機器の報知音の発生方法
DE102011075467A1 (de) * 2011-05-06 2012-11-08 Deckel Maho Pfronten Gmbh Vorrichtung zum bedienen einer automatisierten maschine zur handhabung, montage oder bearbeitung von werkstücken
JP6123121B2 (ja) * 2011-10-14 2017-05-10 ヴイアールアイ株式会社 音声制御システム及びプログラム
JP2014043964A (ja) * 2012-08-24 2014-03-13 Toshiba Home Technology Corp 加熱調理器
US9280314B2 (en) 2013-10-17 2016-03-08 Panasonic Intellectual Property Corporation Of America Method for controlling cordless telephone device, handset of cordless telephone device, and cordless telephone device
JP6406957B2 (ja) * 2014-09-25 2018-10-17 シャープ株式会社 サーバ、サーバの制御方法、サーバの制御プログラム、および制御システム
JP2016163636A (ja) * 2015-03-06 2016-09-08 株式会社東芝 洗濯機
US10063002B2 (en) * 2015-08-31 2018-08-28 Deako, Inc. Configurable device control network
US9934782B2 (en) * 2015-09-22 2018-04-03 Meshrose Ltd. Automatic performance of user interaction operations on a computing device
KR102498007B1 (ko) * 2018-01-08 2023-02-08 엘지전자 주식회사 음성인식을 이용한 세탁물 처리기기 제어시스템 및 동작방법
JP6435068B2 (ja) * 2018-01-24 2018-12-05 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 複数機器の機器管理システム、機器制御方法及び、プログラム

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6584439B1 (en) * 1999-05-21 2003-06-24 Winbond Electronics Corporation Method and apparatus for controlling voice controlled devices
JP2005107425A (ja) * 2003-10-02 2005-04-21 Mitsubishi Electric Corp 家電機器の報知音発声装置
JP2018088723A (ja) * 2013-10-17 2018-06-07 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 通信装置の子機、通信装置及び通信装置の子機の制御方法
CN106233246A (zh) * 2014-04-22 2016-12-14 三菱电机株式会社 用户界面系统、用户界面控制装置、用户界面控制方法和用户界面控制程序
CN105320404A (zh) * 2014-07-31 2016-02-10 三星电子株式会社 用于执行功能的设备和方法
CN106716407A (zh) * 2014-09-15 2017-05-24 株式会社电装 车辆用设备控制装置、控制内容检索方法
CN105529025A (zh) * 2014-09-28 2016-04-27 联想(北京)有限公司 一种语音操作输入方法及电子设备
CN107209758A (zh) * 2015-01-28 2017-09-26 三菱电机株式会社 意图估计装置以及意图估计方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
陈致远 ; 朱叶承 ; 周卓泉 ; 祝磊.一种基于STM32的智能家居控制系统.《电子技术应用》.2012, *

Also Published As

Publication number Publication date
CN112262584A (zh) 2021-01-22
US20210035584A1 (en) 2021-02-04
US11443745B2 (en) 2022-09-13
JP6516938B1 (ja) 2019-05-22
WO2019239582A1 (ja) 2019-12-19
JPWO2019239582A1 (ja) 2020-06-25

Similar Documents

Publication Publication Date Title
CN105706395B (zh) 控制设备及其控制方法
EP3077921B1 (en) Natural language control of secondary device
CN105765514B (zh) 控制设备及其控制方法
KR102231105B1 (ko) 제어 장치 및 그 제어 방법
US20150220075A1 (en) System and method for remote control of home appliances without infrastructure changes
WO2018107973A1 (zh) 烹饪电器的控制方法和控制装置以及烹饪电器
WO2019202666A1 (ja) 機器制御システム及び機器制御方法
CN112262584B (zh) 设备控制装置、设备控制系统、设备控制方法和设备控制程序
JP2005086768A (ja) 制御装置、制御方法およびプログラム
JP6625233B2 (ja) コントローラ、空気調和システムおよび空気調和機の制御方法
US11009238B2 (en) Staged oven self-clean preheat temperature control
AU2011306045B2 (en) Programmable multimedia control system having a tactile remote control
US20200327386A1 (en) Two-dimensional code based communication method, apparatus, and lift desk
JP7175211B2 (ja) 情報処理システム
CN113711307B (zh) 设备控制装置及设备控制方法
US20170063568A1 (en) Method For Controlling Multiple Electric Appliances
JP7503759B2 (ja) 音声制御システム、及び、音声制御方法
JP2011250054A (ja) リモートコントロール装置、その制御方法及びプログラム
JP7074596B2 (ja) ネットワークシステム、サーバおよび情報処理方法
EP3712507A1 (en) Input and/or control system for a household appliance, method for operating a household appliance and/or for providing a household appliance with input and household appliance
JP2008514087A (ja) ユーザとターゲット装置との間のインタフェースとして利用される装置
JP7432996B2 (ja) 音声制御システムおよび音声制御装置
CN107943342B (zh) 触控控制系统
TWI601026B (zh) 物聯網控制系統及其方法
KR100425130B1 (ko) 홈 네트워크 시스템의 제품 제어장치 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant