JP6632095B1 - 学習済モデル生成装置、ロボット制御装置、及び、プログラム - Google Patents

Abstract

【課題】全ての動作環境に対応する動作を規定することなく、様々な動作環境においてロボットの適切な動作を実現する。【解決手段】 複数の動作から構成されるタスクを実行するロボットの動作に関する学習済モデルを生成する学習済モデル生成装置は、複数の動作環境のそれぞれに関するセンサデータを取得する手段を備え、センサデータから、動作環境を表す特徴量を抽出する手段を備え、抽出された特徴量と、動作と、が関連付けられた学習用データセットを記憶する手段を備え、学習用データセットを参照して、動作環境及び動作の関係が規定された学習済モデルを生成する手段を備える。【選択図】図６

Description

本発明は、学習済モデル生成装置、ロボット制御装置、及び、プログラムに関する。

近年、様々な分野へのロボットの導入に注目が集まっている。例えば、製造向上にロボットを導入することにより、製造コストの低下や歩留まりの向上が期待されている。

ロボットの導入には、ロボットに対して適切な制御命令を与えることが重要である。
ロボットに対して制御命令を与えるための技術として、例えば、特許文献１は、ロボットに制御命令を与えるためのユーザインタフェースを開示している。

特開２０１６−１１２６５１号公報

ロボットを動作させるためには、ロボットにタスクを実行させるための動作を定義する必要がある。一般に、ロボットの動作は、動作環境と、当該動作環境において実行すべき動作と、の組み合わせによって規定される。ロボットを適切に動作させるためには、想定される全ての動作環境に対応する動作を規定する必要がある。
動作が規定されていない動作環境が存在すると、ロボットの動作に不具合が生じる。

しかし、特許文献１において、ＧＵＩをディスプレイに表示することは、動作環境を予め規定することに等しい。つまり、予め規定されていなかった動作環境については、ＧＵＩをディスプレイに表示することはできない。したがって、動作が規定されていない動作環境では、ロボットは適切に動作することはできない。

このように、従来、動作が規定されていない動作環境ではロボットを適切に動作させることはできない。

本発明の目的は、全ての動作環境に対応する動作を規定することなく、様々な動作環境においてロボットの適切な動作を実現することである。

本発明の一態様は、
複数の動作から構成されるタスクを実行するロボットの動作に関する学習済モデルを生成する学習済モデル生成装置であって、
ロボットの複数の動作環境のそれぞれに関するセンサデータを取得する手段を備え、
前記センサデータから、前記動作環境を表す特徴量を抽出する手段を備え、
前記抽出された特徴量と、前記動作と、が関連付けられた学習用データセットを記憶する手段を備え、
前記学習用データセットを参照して、前記動作環境及び前記動作の関係が規定された学習済モデルを生成する手段を備える、
学習済モデル生成装置である。

本発明によれば、全ての動作環境に対応する動作を規定することなく、様々な動作環境においてロボットの適切な動作を実現することができる。

本実施形態の情報処理システムの構成を示すブロック図である。 図１の学習済モデル生成装置の機能ブロック図である。 図１のロボットの機能ブロック図である。 図１の学習済モデル生成装置の機能ブロック図である。 図１の制御対象ロボットの機能ブロック図である。 本実施形態の概要の説明図である。 本実施形態のタスクデータベースのデータ構造を示す図である。 本実施形態の学習用データセットのデータ構造を示す図である。 本実施形態の学習済モデル生成処理のフローチャートである。 図９の処理において表示される画面例を示す図である。 図９の処理において生成される学習済モデルのネットワーク図である。 本実施形態のロボット制御処理のフローチャートである。 図１２の処理において表示される画面例を示す図である。 変形例１の情報処理において表示される画面例を示す図である。 変形例３の子タスクデータベースのデータ構造を示す図である。 変形例３の学習済モデル生成処理のフローチャートである。 変形例３の学習済モデルのネットワーク図である。

以下、本発明の一実施形態について、図面に基づいて詳細に説明する。なお、実施形態を説明するための図面において、同一の構成要素には原則として同一の符号を付し、その繰り返しの説明は省略する。

（１）情報処理システムの構成
情報処理システムの構成を説明する。図１は、本実施形態の情報処理システムの構成を示すブロック図である。

図１に示すように、情報処理システム１は、学習済モデル生成装置１０と、センサユニット２０と、ロボット３０と、ロボット制御装置５０と、制御対象ロボット７０と、を備える。

学習済モデル生成装置１０は、センサユニット２０と、ロボット３０と、ロボット制御装置５０と、に接続される。

センサユニット２０は、学習済モデル生成装置１０と、ロボット制御装置５０と、に接続される。

ロボット３０は、学習済モデル生成装置１０に接続される。
制御対象ロボット７０は、ロボット制御装置５０に接続される。
ロボット３０及び制御対象ロボット７０は、自律的に動作するように構成された自立動作装置の一例である。ロボット３０及び制御対象ロボット７０は、例えば、以下を含む。
・ロボットアーム
・工作機械
・ロボット掃除機
・ドローン
・自立駆動型の医療機器（一例として、内視鏡）

ロボット制御装置５０は、学習済モデル生成装置１０と、センサユニット２０と、制御対象ロボット７０と、に接続される。

学習済モデル生成装置１０は、ロボット３０を制御するための学習済モデルを生成するように構成される。学習済モデル生成装置１０は、例えば、パーソナルコンピュータ、又は、サーバコンピュータである。

センサユニット２０は、ロボット３０及び制御対象ロボット７０の動作環境に関するセンサデータを取得するように構成される。センサデータは、例えば、以下の少なくとも１つを含む。
・ロボット３０及びロボット３０の周囲の静止画、並びに、制御対象ロボット７０及び制御対象ロボット７０の周囲の静止画
・ロボット３０及びロボット３０の周囲の動画、並びに、制御対象ロボット７０及び制御対象ロボット７０の周囲の動画
・ロボット３０及びロボット３０の周囲の音声、並びに、制御対象ロボット７０及び制御対象ロボット７０の周囲の音声

ロボット３０は、ユーザ指示に応じて動作するように構成される。

ロボット制御装置５０は、制御対象ロボット７０を制御するように構成される。ロボット制御装置５０は、例えば、パーソナルコンピュータ、又は、サーバコンピュータである。

制御対象ロボット７０は、ロボット制御装置５０の制御に従って動作するように構成される。

（１−１）学習済モデル生成装置の構成
学習済モデル生成装置１０の構成を説明する。図２は、図１の学習済モデル生成装置の機能ブロック図である。

図２に示すように、学習済モデル生成装置１０は、記憶装置１１と、プロセッサ１２と、入出力インタフェース１３と、通信インタフェース１４とを備える。

記憶装置１１は、プログラム及びデータを記憶するように構成される。記憶装置１１は、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、及び、ストレージ（例えば、フラッシュメモリ又はハードディスク）の組合せである。

プログラムは、例えば、以下のプログラムを含む。
・ＯＳ（Operating System）のプログラム
・情報処理を実行するアプリケーション（例えば、学習済モデル生成アプリケーション）のプログラム

データは、例えば、以下のデータを含む。
・情報処理において参照されるデータベース
・情報処理を実行することによって得られるデータ（つまり、情報処理の実行結果）

プロセッサ１２は、記憶装置１１に記憶されたプログラムを起動することによって、学習済モデル生成装置１０の機能を実現するように構成される。プロセッサ１２は、コンピュータの一例である。

入出力インタフェース１３は、学習済モデル生成装置１０に接続される入力デバイスからユーザの指示を取得し、かつ、学習済モデル生成装置１０に接続される出力デバイスに情報を出力するように構成される。
入力デバイスは、例えば、キーボード、ポインティングデバイス、タッチパネル、又は、それらの組合せである。また、入力デバイスは、センサユニット２０を含む。
出力デバイスは、例えば、ディスプレイである。

通信インタフェース１４は、学習済モデル生成装置１０、ロボット３０及びロボット制御装置５０との間の通信を制御するように構成される。

（１−２）ロボットの構成
本実施形態のロボット３０の構成を説明する。図３は、図１のロボットの機能ブロック図である。

図３に示すように、ロボット３０は、記憶装置３１と、プロセッサ３２と、通信インタフェース３４と、駆動部３５と、を備える。

記憶装置３１は、プログラム及びデータを記憶するように構成される。記憶装置３１は、例えば、ＲＯＭ、ＲＡＭ、及び、ストレージ（例えば、フラッシュメモリ又はハードディスク）の組合せである。

プロセッサ３２は、記憶装置３１に記憶されたプログラムを起動することによって、ロボット３０の機能を実現するように構成される。プロセッサ３２は、コンピュータの一例である。

通信インタフェース３４は、ロボット３０と、学習済モデル生成装置１０との間の通信を制御するように構成される。

駆動部３５は、例えば、関節を有するロボットアームである。駆動部３５は、プロセッサ３２の制御に従い、駆動するように構成される。

（１−３）ロボット制御装置の構成
ロボット制御装置５０の構成を説明する。図４は、図１の学習済モデル生成装置の機能ブロック図である。

図４に示すように、ロボット制御装置５０は、記憶装置５１と、プロセッサ５２と、入出力インタフェース５３と、通信インタフェース５４とを備える。

記憶装置５１は、プログラム及びデータを記憶するように構成される。記憶装置５１は、例えば、ＲＯＭ、ＲＡＭ、及び、ストレージ（例えば、フラッシュメモリ又はハードディスク）の組合せである。

プログラムは、例えば、以下のプログラムを含む。
・ＯＳ（Operating System）のプログラム
・情報処理を実行するアプリケーション（例えば、ロボット制御アプリケーション）のプログラム

データは、例えば、以下のデータを含む。
・情報処理において参照されるデータベース
・情報処理を実行することによって得られるデータ（つまり、情報処理の実行結果）

プロセッサ５２は、記憶装置５１に記憶されたプログラムを起動することによって、ロボット制御装置５０の機能を実現するように構成される。プロセッサ５２は、コンピュータの一例である。

入出力インタフェース５３は、ロボット制御装置５０に接続される入力デバイスからユーザの指示を取得し、かつ、ロボット制御装置５０に接続される出力デバイスに情報を出力するように構成される。
入力デバイスは、例えば、キーボード、ポインティングデバイス、タッチパネル、又は、それらの組合せである。また、入力デバイスは、センサユニット２０を含む。
出力デバイスは、例えば、ディスプレイである。

通信インタフェース５４は、ロボット制御装置５０と、学習済モデル生成装置１０及び制御対象ロボット７０との間の通信を制御するように構成される。

（１−４）制御対象ロボットの構成
本実施形態の制御対象ロボット７０の構成を説明する。図５は、図１の制御対象ロボットの機能ブロック図である。

図５に示すように、制御対象ロボット７０は、記憶装置７１と、プロセッサ７２と、通信インタフェース７４と、駆動部７５と、を備える。

記憶装置７１は、プログラム及びデータを記憶するように構成される。記憶装置７１は、例えば、ＲＯＭ、ＲＡＭ、及び、ストレージ（例えば、フラッシュメモリ又はハードディスク）の組合せである。

プロセッサ７２は、記憶装置７１に記憶されたプログラムを起動することによって、制御対象ロボット７０の機能を実現するように構成される。プロセッサ７２は、コンピュータの一例である。

通信インタフェース７４は、制御対象ロボット７０と、ロボット制御装置５０との間の通信を制御するように構成される。

駆動部７５は、例えば、関節を有するロボットアームである。駆動部７５は、プロセッサ７２の制御に従い、駆動するように構成される。

（２）実施形態の概要
本実施形態の概要を説明する。図６は、本実施形態の概要の説明図である。

本実施形態では、「タスク」とは、ロボット３０及び制御対象ロボット７０が完了すべき作業である。
「動作」とは、タスクを完了させるために必要な要素である。
「動作環境」とは、動作を実行するときの状況及び動作を実行する場所の組合せである。
つまり、ロボット３０及び制御対象ロボット７０が複数の動作環境のそれぞれにおいて動作を行った結果、タスクが完了する。

図６に示すように、学習済モデル生成装置１０は、ユーザから、動作環境に応じたロボット３０の動作の指定を受け付ける。
ロボット３０は、ユーザ指示に応じて動作する。
センサユニット２０は、ロボット３０の複数の動作環境のそれぞれに関するセンサデータを生成する。
学習済モデル生成装置１０は、センサユニット２０から、センサデータを取得する。
学習済モデル生成装置１０は、センサデータから、各動作環境の特徴量を抽出する。
学習済モデル生成装置１０は、特徴量（つまり、動作環境）と、動作と、が関連付けられた学習用データセットを生成する。
学習済モデル生成装置１０は、学習用データセットを参照して、動作環境及び動作の関係が規定された学習済モデルを生成する。

本実施形態では、制御対象ロボット７０を制御するロボット制御装置５０は、学習済モデル生成装置１０によって生成された学習済モデルを参照して、制御対象ロボット７０にコマンドを送信する。制御対象ロボット７０は、ロボット制御装置５０から送信されたコマンドに従って、動作環境に応じて適切な動作を実行する。これにより、全ての動作環境に対応する動作を規定することなく、制御対象ロボット７０にタスクを実行させることができる。

（３）データテーブル
本実施形態のデータテーブルを説明する。

（３−１）タスクデータベース
本実施形態のタスクデータベースを説明する。図７は、本実施形態のタスクデータベースのデータ構造を示す図である。

図７のタスクデータベースには、タスクに関するタスク情報が格納される。
タスクデータベースは、「タスクＩＤ」フィールドと、「タスク名」フィールドと、複数の「動作環境」フィールド（「動作環境Ａ」フィールド、「動作環境Ｂ」フィールド…）と、を含む。
各フィールドは、互いに関連付けられている。

「タスクＩＤ」フィールドには、タスクを識別するタスク識別情報が格納される。

「タスク名」フィールドには、タスク名に関する情報（例えば、テキスト）が格納される。

複数の「動作環境」フィールドは、タスクにおいて想定される複数の動作環境（例えば、動作環境Ａ、動作環境Ｂ…）に対応する。各「動作環境」フィールドは、「画像」フィールドと、「コマンド」フィールドと、を含む。

「画像」フィールドには、各動作環境に対応する画像が格納される。

「コマンド」フィールドには、各動作環境において割当可能な複数のコマンドが格納される。コマンドは、例えば、以下の少なくとも１つである。
・動作を表す抽象的な命令（一例として、「パレットに収容された対象物のうち、「１」が付された対象物を掴む」という命令）
・動作を表す駆動パラメータ（例えば、ロボット３０に含まれるジョイント部のジョイント角度の値）

（３−２）学習用データセット
本実施形態の学習用データセットを説明する。図８は、本実施形態の学習用データセットのデータ構造を示す図である。

図８の学習用データセットには、学習用データが格納されている。学習用データセットは、タスク識別情報に関連付けられている。
学習用データセットは、「データＩＤ」フィールドと、「時刻」フィールドと、「センサデータ」フィールドと、「特徴量」フィールドと、「コマンド」フィールドと、を含む。
各フィールドは、互いに関連付けられている。

「データＩＤ」フィールドには、学習用データを識別する学習用データ識別情報が格納される。

「時刻」フィールドには、センサユニット２０によって動作が検出された時刻が格納される。

「センサデータ」フィールドには、センサユニット２０によって取得されたセンサデータが格納される。センサデータは、例えば、以下の少なくとも１つである。
・静止画データ
・動画データ
・音声データ

「特徴量」フィールドには、ロボット３０の動作環境に対応する特徴量が格納される。

「コマンド」フィールドには、ロボット３０に対する動作命令であるコマンドが格納される。

（４）情報処理
本実施形態の情報処理を説明する。

（４−１）学習済モデル生成処理
本実施形態の学習済モデル生成処理を説明する。図９は、本実施形態の学習済モデル生成処理のフローチャートである。図１０は、図９の処理において表示される画面例を示す図である。図１１は、図９の処理において生成される学習済モデルのネットワーク図である。

図９に示すように、学習済モデル生成装置１０は、タスクの指定の受付（Ｓ１１０）を実行する。
具体的には、プロセッサ１２は、画面Ｐ１０（図１０）をディスプレイに表示する。

画面Ｐ１０は、操作オブジェクトＢ１０と、フィールドオブジェクトＦ１０と、を含む。
フィールドオブジェクトＦ１０は、タスク識別情報のユーザ入力を受け付けるオブジェクトである。
操作オブジェクトＢ１０は、フィールドオブジェクトＦ１０に対するユーザ入力を確定させるためのオブジェクトである。

ユーザがフィールドオブジェクトＦ１０に任意のタスク識別情報を入力し、且つ、操作オブジェクトＢ１０を操作すると、プロセッサ１２は、フィールドオブジェクトＦ１０に入力されたタスク識別情報を、学習済モデルの生成の対象となるタスクのタスク識別情報として特定する。

ステップＳ１１０の後、動作命令の受付（Ｓ１１１）を実行する。
具体的には、タスクデータベース（図７）を参照して、ステップＳ１１０で特定したタスク識別情報に関連付けられたレコードを特定する。
プロセッサ１２は、特定したレコードの「動作Ａ」フィールドの「画像」フィールド及び「コマンド」フィールドの組合せに基づく画面Ｐ１１をディスプレイに表示する。

画面Ｐ１１は、操作オブジェクトＢ１１ａ〜Ｂ１１ｃと、画像オブジェクトＩＭＧ１１と、を含む。
画像オブジェクトＩＭＧ１１は、「動作Ａ」フィールドの「画像」フィールドの画像（つまり、動作環境Ａに対応する画像）である。動作環境Ａは、「１」〜「３」が付された対象物がパレットに収容されている環境である。
操作オブジェクトＢ１１ａ〜Ｂ１１ｃには、それぞれ、「動作Ａ」フィールドの「コマンド」フィールドの値（つまり、動作環境Ａにおいてロボット３０に与えることができるコマンド）が割り当てられている。例えば、操作オブジェクトＢ１１ａ〜Ｂ１１ｃには、それぞれ、画像オブジェクトＩＭＧ１１において「１」〜「３」が付された対象物を掴む動作を実行させるためのコマンドが割り当てられている。ユーザが操作オブジェクトＢ１１ａ〜Ｂ１１ｃの何れかを操作すると、ユーザによって操作されたオブジェクトに割り当てられたコマンドが特定される。

画面Ｐ１２は、操作オブジェクトＢ１２ａ〜Ｂ１２ｂと、画像オブジェクトＩＭＧ１２と、を含む。
画像オブジェクトＩＭＧ１２は、「動作Ｂ」フィールドの「画像」フィールドの画像（つまり、動作環境Ｂに対応する画像）である。動作環境Ｂは、「１」〜「２」が付された対象物がパレットに収容されている環境である。動作環境Ａでは、「３」が付された対象物がパレットに収容されているのに対して、動作環境Ｂでは、「３」が付された対象物がパレットに存在しない。つまり、動作環境Ｂのパレットにおける対象物の配置は、動作環境Ａとは異なる。
操作オブジェクトＢ１２ａ〜Ｂ１２ｂには、それぞれ、「動作Ｂ」フィールドの「コマンド」フィールドの値（つまり、動作環境Ｂにおいてロボット３０に与えることができるコマンド）が割り当てられている。例えば、操作オブジェクトＢ１２ａ〜Ｂ１２ｂには、それぞれ、画像オブジェクトＩＭＧ１２において「１」〜「２」が付された対象物を掴む動作を実行させるためのコマンドが割り当てられている。ユーザが操作オブジェクトＢ１２ａ〜Ｂ１２ｂの何れかを操作すると、ユーザによって操作されたオブジェクトに割り当てられたコマンドが特定される。

なお、画面Ｐ１１〜Ｐ１２の遷移は順不同である。

ステップＳ１１１の後、学習済モデル生成装置１０は、コマンドの決定（Ｓ１１２）を実行する。
具体的には、ユーザが操作オブジェクトＢ１１ａを操作すると、プロセッサ１２は、操作オブジェクトＢ１１ａに割り当てられたコマンドを特定する。
プロセッサ１２は、特定されたコマンドをロボット３０に送信する。

ロボット３０のプロセッサ３２は、プロセッサ１２から送信されたコマンドに対応する制御信号を生成する。
駆動部３５は、プロセッサ３２により生成された制御信号に従って駆動する。その結果、ロボット３０は、動作環境Ａにおいてユーザの制御命令に応じて動作する。

ステップＳ１１２の後、学習済モデル生成装置１０は、センサデータの取得（Ｓ１１３）を実行する。
具体的には、センサユニット２０は、ステップＳ１１２において動作したロボット３０の動作環境に関するセンサデータを生成する。
プロセッサ１２は、センサユニット２０によって生成されたセンサデータを取得する。

ステップＳ１１３の後、学習済モデル生成装置１０は、特徴量の抽出（Ｓ１１４）を実行する。
具体的には、プロセッサ１２は、ステップＳ１１３において取得されたセンサデータの特徴量を抽出する。
例えば、センサデータが静止画又は動画である場合、プロセッサ１２は、センサデータに対して画像解析アルゴリズムを適用することにより、動作環境に対応する画像特徴量を抽出する。
例えば、センサデータが音声である場合、プロセッサ１２は、センサデータに対して音声解析アルゴリズムを適用することにより、動作環境に対応する音声特徴量を抽出する。

ステップＳ１１４の後、学習済モデル生成装置１０は、学習用データセットの生成（Ｓ１１５）を実行する。
具体的には、ステップＳ１１０で特定したタスク識別情報と、新規の学習用データセット（図８）と、を関連付けて記憶装置１１に記憶する。
プロセッサ１２は、ステップＳ１１４で抽出された特徴量と、ステップＳ１１４が実行された時刻と、ステップＳ１１２で特定されたコマンドと、を関連付けて学習用データセットの新規レコードに格納する。

ステップＳ１１１〜Ｓ１１５は、所定の動作環境の全てについてステップＳ１１５が終了するまで繰り返し実行される（Ｓ１１６）。
所定の動作環境の全てについてステップＳ１１５が終了していない場合（Ｓ１１６−ＮＯ）、ステップＳ１１１が実行される。
所定の動作環境の全てについてステップＳ１１５が終了している場合（Ｓ１１６−ＹＥＳ）、ステップＳ１１７が実行される。

所定の動作環境の全てについてステップＳ１１５が終了している場合（Ｓ１１６−ＹＥＳ）、学習済モデル生成装置１０は、学習済モデルの生成（Ｓ１１７）を実行する。
具体的には、プロセッサ１２は、ステップＳ１１５で生成された学習用データセット（図８）に対して所定の学習アルゴリズムを適用することにより、学習済モデルを生成する。
学習アルゴリズムは、例えば、以下の何れかである。
・ＲＮＮ（Recurrent Neural Network）
・ＬＳＴＭ（Long Short-Term Memory）
・ＣＮＮ（Convolution Neural Network）
・ＳＶＭ（Support Vector Machine）

図１１は、学習済モデルの一例であるＲＮＮのネットワークを示している。

ＲＮＮのネットワークは、入力Ｘと、出力Ｙと、隠れ要素Ｓと、を含む。

例えば、ステップｔ１における入力Ｘｔ１は、ステップＳ１１４で抽出された複数の特徴量Ｘｔ１１〜Ｘｔ１３である。
ステップｔ１における隠れ要素Ｓｔ１は、ステップｔ１における動作環境情報（つまり、特徴量）Ｘｔ１１〜Ｘｔ１３の関数である。
ステップｔ１における出力Ｙｔ１は、特徴量Ｘｔ１１〜Ｘｔ１３に基づいて計算される。出力Ｙｔ１は、特徴量Ｘｔ１１〜Ｘｔ１３によって決定される動作環境における動作の予測確率である。出力Ｙｔ１が所定値より高い、又は、最も高い動作が、当該動作環境において実行すべき動作を意味する。

ステップｔ２における入力Ｘｔ２は、ステップＳ１１４で抽出された複数の特徴量Ｘｔ２１〜Ｘｔ２３である。
ステップｔ２における隠れ要素Ｓｔ２は、ステップｔ２における動作環境情報（つまり、特徴量）Ｘｔ２１〜Ｘｔ２３の関数である。
ステップｔ２における出力Ｙｔ２は、特徴量Ｘｔ２１〜Ｘｔ２３及び隠れ要素Ｓｔ１の組合せに基づいて計算される。出力Ｙｔ２は、特徴量Ｘｔ２１〜Ｘｔ２３によって決定される動作環境における動作の予測確率である。出力Ｙｔ２が所定値より高い、又は、最も高い動作が、当該動作環境において実行すべき動作を意味する。

ステップｔ３における入力Ｘｔ３は、ステップＳ１１４で抽出された複数の特徴量Ｘｔ３１〜Ｘｔ３３である。
ステップｔ３における隠れ要素Ｓｔ３は、ステップｔ３における動作環境情報（つまり、特徴量）Ｘｔ３１〜Ｘｔ３３の関数である。
ステップｔ３における出力Ｙｔ３は、特徴量Ｘｔ３１〜Ｘｔ３３及び隠れ要素Ｓｔ２の組合せに基づいて計算される。出力Ｙｔ３は、特徴量Ｘｔ３１〜Ｘｔ３３によって決定される動作環境における動作の予測確率である。出力Ｙｔ３が所定値より高い、又は、最も高い動作が、当該動作環境において実行すべき動作を意味する。

プロセッサ３２は、ステップＳ１１０で特定したタスク識別情報と、学習済モデル（図１１）と、を関連付けて記憶装置１１に記憶する。

（４−２）ロボット制御処理
本実施形態のロボット制御処理を説明する。図１２は、本実施形態のロボット制御処理のフローチャートである。図１３は、図１２の処理において表示される画面例を示す図である。

図１２に示すように、ロボット制御装置５０は、タスクの指定の受付（Ｓ１５０）を実行する。
具体的には、プロセッサ１２は、画面Ｐ２０（図１３）をディスプレイに表示する。

画面Ｐ２０は、操作オブジェクトＢ２０と、フィールドオブジェクトＦ２０と、を含む。
フィールドオブジェクトＦ２１０は、タスク識別情報のユーザ入力を受け付けるオブジェクトである。
操作オブジェクトＢ２０は、フィールドオブジェクトＦ２０に対するユーザ入力を確定させるためのオブジェクトである。

ユーザがフィールドオブジェクトＦ２０に任意のタスク識別情報を入力し、且つ、操作オブジェクトＢ２０を操作すると、プロセッサ１２は、フィールドオブジェクトＦ２０に入力されたタスク識別情報を、実行対象となるタスクのタスク識別情報として特定する。

ステップＳ１５０の後、ロボット制御装置５０は、センサデータの取得（Ｓ１５１）を実行する。
具体的には、センサユニット２０は、制御対象ロボット７０の動作環境に関するセンサデータを生成する。
プロセッサ１２は、センサユニット２０によって生成されたセンサデータを取得する。

ステップＳ１５１の後、ロボット制御装置５０は、特徴量の抽出（Ｓ１５２）を実行する。
具体的には、プロセッサ１２は、ステップＳ１１４（図９）と同様に、ステップＳ１５１において取得されたセンサデータの特徴量を抽出する。

ステップＳ１５２の後、ロボット制御装置５０は、コマンドの生成（Ｓ１５３）を実行する。
具体的には、プロセッサ５２は、学習済モデル生成装置１０の記憶装置１１にアクセスして、ステップＳ１５０で特定したタスク識別情報に関連付けられた学習済モデル（図１１）を読み出す。
プロセッサ５２は、読み出した学習済モデルに対して、ステップＳ１５２で抽出された特徴量を入力することにより、制御対象ロボット７０の動作環境に対応するコマンドを生成する。
プロセッサ５２は、生成したコマンドを制御対象ロボット７０に送信する。

制御対象ロボット７０のプロセッサ７２は、プロセッサ５２から送信されたコマンドに対応する制御信号を生成する。
駆動部７５は、プロセッサ７２により生成された制御信号に従って駆動する。

ステップＳ１５１〜Ｓ１５３は、所定の動作環境の全てについてステップＳ１５３が終了するまで繰り返し実行される（Ｓ１５４）。
所定の動作環境の全てについてステップＳ１５３が終了していない場合（Ｓ１５４−ＮＯ）、ステップＳ１５１が実行される。
所定の動作環境の全てについてステップＳ１５３が終了している場合（Ｓ１５４−ＹＥＳ）、ロボット制御処理が終了する。

本実施形態によれば、ロボット制御装置５０は、学習済モデル生成装置１０によって生成された学習済モデルを参照して、制御対象ロボット７０を制御する。これにより、全ての動作環境に対応する動作を規定することなく、制御対象ロボット７０にタスクを実行させることができる。

（５）変形例
本実施形態の変形例を説明する。

（５−１）変形例１
変形例１を説明する。変形例１は、動作環境の代替例である。図１４は、変形例１の情報処理において表示される画面例を示す図である。

ステップＳ１１１（図９）において、プロセッサ１２は、特定したレコードの「動作Ｃ」フィールドの「画像」フィールド及び「コマンド」フィールドの組合せに基づく画面Ｐ２０（図１４）をディスプレイに表示する。

画面Ｐ２０は、操作オブジェクトＢ２０ａ〜Ｂ２０ｃと、画像オブジェクトＩＭＧ２０と、を含む。
画像オブジェクトＩＭＧ２０は、「動作Ｃ」フィールドの「画像」フィールドの画像（つまり、動作環境Ｃに対応する画像）である。動作環境Ｃは、「４」〜「６」が付された対象物がパレットに収容されている環境である。動作環境Ａでは、丸型の対象物が３スロットを有するパレットに収容されているのに対して、動作環境Ｂでは、矩形型の対象物が６スロットを有するパレットに収容されている。つまり、動作環境Ｂのパレット及び対象物は、動作環境Ａとは異なる。
操作オブジェクトＢ２０ａ〜Ｂ２０ｃには、それぞれ、「動作Ｃ」フィールドの「コマンド」フィールドの値（つまり、動作環境Ｃにおいてロボット３０に与えることができるコマンド）が割り当てられている。例えば、操作オブジェクトＢ２０ａ〜Ｂ２０ｃには、それぞれ、画像オブジェクトＩＭＧ２０において「４」〜「６」が付された対象物を掴む動作を実行させるためのコマンドが割り当てられている。ユーザが操作オブジェクトＢ２０ａ〜Ｂ２０ｃの何れかを操作すると、ユーザによって操作されたオブジェクトに割り当てられたコマンドが特定される。

なお、画面Ｐ１１〜Ｐ２０の遷移は順不同である。

（５−２）変形例２
変形例２を説明する。変形例２は、センサデータがロボット３０の物理量に関するデータである例である。

変形例２のセンサユニット２０は、ロボット３０の物理量に関するセンサデータを取得する。
ロボット３０の物理量は、例えば、以下の少なくとも１つを含む。
・ロボット３０に配置された力覚センサにかかる力
・ロボット３０に配置されたトルクセンサによって取得された各軸にかかるトルク
・ロボット３０に配置された圧力センサの接触面にかかる圧力
・ロボット３０に配置された電圧センサによって取得された電圧（具体的には、ロボット３０の各軸を動かす際に生じた電圧）
・ロボット３０又はロボット３０の周囲に配置された温度センサによって取得された温度

変形例２のセンサデータは、本実施形態のセンサデータ（静止画、動画、及び、音声の少なくとも１つ）と代替又は組合せ可能である。

変形例２によれば、ロボット３０の物理量を用いた場合であっても、全ての動作環境に対応する動作を規定することなく、ロボット３０にタスクを実行させることができる。

（５−３）変形例３
変形例３を説明する。変形例３は、本実施形態のタスク（以下「親タスク」という）に関連付けられる子タスクが存在する例である。

（５−３−１）子タスクデータベース
変形例３の子タスクデータベースを説明する。図１５は、変形例３の子タスクデータベースのデータ構造を示す図である。

図１５の子タスクデータベースには、子タスクに関する子タスク情報が格納される。子タスクデータベースは、タスク識別情報に関連付けられている。子タスクデータベースは、学習用データセットの一例である。
子タスクデータベースは、「子タスクＩＤ」フィールドと、「時刻」フィールドと、「コマンド」フィールドと、「センサデータ」フィールドと、を含む。
各フィールドは、互いに関連付けられている。

「子タスクＩＤ」フィールドには、子タスクを識別する子タスク識別情報が格納される。

「時刻」フィールドには、センサユニット２０によって動作が検出された時刻が格納される。

「コマンド」フィールドには、ロボット３０に対する動作命令であるコマンド（例えば、ロボット３０に配置されるｎ（ｎ＝１以上の整数）個の軸１〜軸ｎのジョイント角度の値）が格納される。

「特徴量」フィールドには、ロボット３０の動作環境に対応する特徴量が格納される。

（５−３−３）情報処理
変形例３の情報処理を説明する。図１６は、変形例３の学習済モデル生成処理のフローチャートである。図１７は、変形例３の学習済モデルのネットワーク図である。

図１６に示すように、学習済モデル生成装置１０は、動作入力（Ｓ２１０）を実行する。
具体的には、ユーザがタスク識別情報を指定し、且つ、ロボット３０ａを操作すると、ロボット３０ａは、ユーザの操作に応じたジョイント角度での動作を実行する。
プロセッサ１２は、ロボット３０ａから、実行された動作の制御パラメータ（例えば、ジョイント角度の値）を取得する。

ステップＳ２１０の後、学習済モデル生成装置１０は、動作出力（Ｓ２１１）を実行する。
具体的には、プロセッサ１２は、ステップＳ２１０で取得した制御パラメータをロボット３０ｂに出力する。

ステップＳ２１１の後、学習済モデル生成装置１０は、センサデータの取得（Ｓ２１２）を実行する。
具体的には、ロボット３０ｂは、ステップＳ２１１で出力された制御パラメータに応じて動作する。
センサユニット２０は、センサユニット２０は、ステップＳ１１２において動作したロボット３０の動作環境に関するセンサデータを生成する。
プロセッサ１２は、センサユニット２０によって生成されたセンサデータを取得する。

ステップＳ２１２の後、学習済モデル生成装置１０は、特徴量の抽出（Ｓ２１３）を実行する。
具体的には、プロセッサ１２は、ステップＳ１１３において取得されたセンサデータの特徴量を抽出する。

ステップＳ２１３の後、学習済モデル生成装置１０は、学習用データセットの生成（Ｓ２１４）を実行する。
具体的には、プロセッサ１２は、ステップＳ２１０でユーザによって指定されたタスク識別情報に関連付けられた子タスクデータベース（図１５）に新規レコードを追加する。新規レコードの各フィールドには、以下の情報が格納される。
「子タスクＩＤ」フィールドには、新規の子タスク識別情報が格納される。
「時間」フィールドには、ステップＳ２１２でセンサデータが取得された時刻の値が格納される。
「コマンド」フィールドには、ステップＳ２１０で取得された制御パラメータが格納される。
「センサデータ」フィールドには、ステップＳ２１２で取得されたセンサデータが格納される。

ステップＳ２１０〜Ｓ２１４は、所定の動作環境の全てについてステップＳ２１４が終了するまで繰り返し実行される（Ｓ２１５）。
所定の動作環境の全てについてステップＳ２１４が終了していない場合（Ｓ２１５−ＮＯ）、ステップＳ２１０が実行される。
所定の動作環境の全てについてステップＳ２１４が終了している場合（Ｓ２１５−ＹＥＳ）、ステップＳ２１６が実行される。

学習済モデル生成装置１０は、学習済モデルの生成（Ｓ２１６）を実行する。
具体的には、プロセッサ１２は、ステップＳ２１５で生成された学習用データセット（図１５）に対して所定の学習アルゴリズム（例えば、ＲＮＮ又はＬＳＴＭ）を適用することにより、学習済モデルを生成する。

図１７は、変形例３の学習済モデルの一例であるＲＮＮのネットワークを示している。この学習済モデルは、上位レイヤのネットワーク（図１７Ａ）と、下位レイヤのネットワーク（図１７Ｂ）と、を含む。

上位レイヤのネットワーク（図１７Ａ）は、本実施形態のネットワーク（図１１）と同様である。

下位レイヤのネットワーク（図１７Ｂ）には、ＤＣＡＥ（Deep Convolutional. Autoencoder）アルゴリズムが用いられる。下位レイヤのネットワークは、複数段のオートエンコーダを含む。最上位段のオートエンコーダには、センサユニット２０によって生成されたセンサデータが入力される。各段のオートエンコーダは、センサデータの次元を圧縮することにより、特徴量を抽出する。抽出された特徴量は、ｙ（ジョイント角度）と関連付けられる。

変形例３のプロセッサ３２は、ステップＳ２１０でユーザによって指定されたタスク識別情報と、学習済モデル（図１７）と、を関連付けて記憶装置１１に記憶する。

変形例３によれば、親タスクを構成する詳細な小タスクの単位で用意された学習用データセットから学習済モデルを生成する。これにより、小タスクの単位での学習を実現することができる。この場合、ユーザは、小タスクの単位で動作命令を与えれば良いので、ユーザの動作命令を与えることの難易度を低減することができる。

（６）本実施形態の小括
本実施形態を小括する。

本実施形態の第１態様は、
複数の動作から構成されるタスクを実行するロボット３０の動作に関する学習済モデルを生成する学習済モデル生成装置１０であって、
ロボット３０の複数の動作環境のそれぞれに関するセンサデータを取得する手段（例えば、ステップＳ１１３の処理を実行するプロセッサ１２）を備え、
センサデータから、動作環境を表す特徴量を抽出する手段（例えば、ステップＳ１１４の処理を実行するプロセッサ１２）を備え、
抽出された特徴量と、動作（例えば、コマンド）と、が関連付けられた学習用データセットを記憶する手段（例えば、ステップＳ１１５の処理を実行するプロセッサ１２）を備え、
学習用データセットを参照して、動作環境及び動作の関係が規定された学習済モデルを生成する手段（例えば、ステップＳ１１７の処理を実行するプロセッサ１２）を備える、
学習済モデル生成装置１０である。

本実施形態の第２態様は、
動作環境は、動画、静止画、及び、音声の少なくとも１つである、
学習済モデル生成装置１０である。

本実施形態の第３態様は、
センサデータを取得する手段は、センサからロボット３０の物理量に関するセンサデータを取得する、
学習済モデル生成装置１０である。

本実施形態の第４態様は、
センサデータは、センサ部にかかる力、ロボット３０の各軸にかかるトルク、センサの接触面にかかる圧力、温度、及び、ロボット３０の各軸を動かす際に生じた電圧の少なくとも１つを含む、
学習済モデル生成装置１０である。

本実施形態の第５態様は、
タスクを識別するタスク識別情報と、学習用データセットと、を関連付けて記憶する手段（例えば、図８の学習用データセット）を備える、
学習済モデル生成装置１０である。

本実施形態の第６態様は、
タスクを識別するタスク識別情報と、学習済モデルと、を関連付けて記憶する手段（例えば、ステップＳ１１７の処理を実行するプロセッサ１２）を備える、
学習済モデル生成装置１０である。

本実施形態の第７態様は、
学習用データセットは、タスクを構成する複数の子タスク毎に、特徴量と、動作と、が関連付けられており、
学習済モデルを生成する手段は、タスクに対応する上位ネットワークと、子タスクに対応する下位ネットワークと、に特徴量及び動作の組合せを入力することにより、学習済モデルを生成する、
学習済モデル生成装置１０である。

本実施形態の第８態様は、
生成する手段は、学習用データセットに対して、ＲＮＮ（Recurrent Neural Network）、ＬＳＴＭ（Long Short-Term Memory）、ＣＮＮ（Convolution Neural Network）、又は、ＳＶＭ（Support Vector Machine）を適用することにより、学習済モデルを生成する、
学習済モデル生成装置１０である。

本実施形態の第９態様は、
上記の学習済モデル生成装置１０によって生成された学習済モデルにアクセス可能なロボット制御装置５０であって、
制御対象となるロボット３０の動作環境に関するセンサデータを取得する手段を備え、
センサデータの特徴量を抽出する手段を備え、
抽出された特徴量を学習済モデルに入力することにより、動作環境に対応するコマンドを生成する手段を備え、
コマンドを制御対象ロボット７０に送信することにより、制御対象ロボット７０を動作させる手段を備える、
ロボット制御装置５０である。

本実施形態の第１０態様は、コンピュータ（例えば、プロセッサ１２又は５２）を、上記の何れかに記載の各手段として機能させるためのプログラムである。

（７）その他の変形例
その他の変形例を説明する。

記憶装置１１は、ネットワークを介して、学習済モデル生成装置１０と接続されてもよい。
記憶装置５１は、ネットワークを介して、ロボット制御装置５０と接続されてもよい。

学習済モデル生成装置１０とロボット制御装置５０は、同一の装置であっても良い（つまり、一体的に構成されても良い）。

学習済モデル生成処理（図９）において使用されるロボット３０と、ロボット制御処理（図１２）において使用される制御対象ロボット７０は、同一のロボットであっても良いし、異なるロボットであっても良い。

ロボット３０に対するユーザの動作命令を受け付ける方法は、図１０の例に限られない。例えば、ロボット３０と接続されたハプティクスデバイスに対するユーザの操作を介して、ロボット３０に対して動作命令を与えても良い。

図１の例では、センサユニット２０は、学習済モデル生成装置１０と接続される例を示したが、これに限られない。センサユニット２０は、ロボット３０を介して、学習済モデル生成装置１０と接続されても良い。この場合、学習済モデル生成装置１０は、ロボット３０を介して、センサデータを取得する。
なお、センサユニット２０は、ロボット３０に配置されても良い。

図１の例では、センサユニット２０は、ロボット制御装置５０と接続される例を示したが、これに限られない。センサユニット２０は、制御対象ロボット７０を介して、ロボット制御装置５０と接続されても良い。この場合、ロボット制御装置５０は、制御対象ロボット７０を介して、センサデータを取得する。
なお、センサユニット２０は、制御対象ロボット７０に配置されても良い。

本実施形態では、特徴量の抽出（Ｓ１５２）及びコマンドの生成（Ｓ１５３）をロボット制御装置５０が実行する例を示したが、ステップＳ１５２〜Ｓ１５３の実行主体はこれに限られない。制御対象ロボット７０がステップＳ１５２〜Ｓ１５３を実行しても良い。この場合、制御対象ロボット７０のプロセッサ７２は、ステップＳ１１４（図９）と同様に、ステップＳ１５１において取得されたセンサデータの特徴量を抽出する。プロセッサ７２は、記憶装置１１に記憶された学習済モデルに当該特徴量を入力することにより、制御対象ロボット７０の動作環境に対応する制御信号を生成する。

以上、本発明の実施形態について詳細に説明したが、本発明の範囲は上記の実施形態に限定されない。また、上記の実施形態は、本発明の主旨を逸脱しない範囲において、種々の改良や変更が可能である。また、上記の実施形態及び変形例は、組合せ可能である。

１ ：情報処理システム
１０ ：学習済モデル生成装置
１１ ：記憶装置
１２ ：プロセッサ
１３ ：入出力インタフェース
１４ ：通信インタフェース
２０ ：センサユニット
２０ ：センサ
３０ ：ロボット
３１ ：記憶装置
３２ ：プロセッサ
３４ ：通信インタフェース
３５ ：駆動部
５０ ：ロボット制御装置
５１ ：記憶装置
５２ ：プロセッサ
５３ ：入出力インタフェース
５４ ：通信インタフェース
７０ ：制御対象ロボット
７１ ：記憶装置
７２ ：プロセッサ
７４ ：通信インタフェース
７５ ：駆動部

Claims (9)

1. 複数の動作から構成されるタスクを実行するロボットの動作に関する学習済モデルを生成する学習済モデル生成装置であって、
   前記ロボットの複数の動作環境のそれぞれに関するセンサデータを取得する手段を備え、
   前記センサデータから、前記動作環境を表す特徴量を抽出する手段を備え、
   前記抽出された特徴量と、前記動作と、が関連付けられた学習用データセットを生成する手段を備え、
   前記学習用データセットは、前記タスクを構成する複数の子タスク毎に、前記特徴量と、前記動作と、が関連付けられており、
   前記タスクに対応する上位ネットワークと、前記子タスクに対応する下位ネットワークと、に前記特徴量及び前記動作の組合せを入力することにより、前記動作環境及び前記動作の関係が規定された学習済モデルを生成する手段を備える、
   学習済モデル生成装置。
2. 前記動作環境を表す特徴量は、動画の画像特徴量、静止画の画像特徴量、及び、音声特徴量の少なくとも１つである、
   請求項１に記載の学習済モデル生成装置。
3. 前記センサデータを取得する手段は、センサから前記ロボットの物理量に関するセンサデータを取得する、
   請求項１又は２に記載の学習済モデル生成装置。
4. 前記センサデータは、前記センサにかかる力、前記ロボットの各軸にかかるトルク、前記センサの接触面にかかる圧力、温度、及び、前記ロボットの各軸を動かす際に生じた電圧の少なくとも１つを含む、
   請求項３に記載の学習済モデル生成装置。
5. 前記タスクを識別するタスク識別情報と、前記学習用データセットと、を関連付けて記憶する手段を備える、
   請求項１〜４の何れかに記載の学習済モデル生成装置。
6. タスクを識別するタスク識別情報と、前記学習済モデルと、を関連付けて記憶する手段を備える、
   請求項１〜５の何れかに記載の学習済モデル生成装置。
7. 前記生成する手段は、前記学習用データセットに対して、ＲＮＮ（Recurrent Neural Network）、ＬＳＴＭ（Long Short-Term Memory）、ＣＮＮ（Convolution Neural Network）、又は、ＳＶＭ（Support Vector Machine）を適用することにより、前記学習済モデルを生成する、
   請求項１〜６の何れかに記載の学習済モデル生成装置。
8. 請求項１〜７の何れかに記載の学習済モデル生成装置によって生成された学習済モデルにアクセス可能なロボット制御装置であって、
   制御対象となる制御対象ロボットの動作環境に関するセンサデータを取得する手段を備え、
   前記センサデータの特徴量を抽出する手段を備え、
   前記抽出された特徴量を前記学習済モデルに入力することにより、前記動作環境に対応するコマンドを生成する手段を備え、
   前記コマンドを前記制御対象ロボットに送信することにより、前記制御対象ロボットを動作させる手段を備える、
   ロボット制御装置。
9. コンピュータを、請求項１〜８の何れかに記載の各手段として機能させるためのプログラム。