JP2020182987A - ロボット教示装置 - Google Patents

Abstract

【課題】所望の操作画面に遷移する際のオペレータの負担を軽減することのできるロボット教示装置を提供する。【解決手段】表示装置３１と、音声を収集し音声信号を出力するマイクロホン４０と、音声信号に対し音声認識処理を行い音声が表す文字情報を出力する音声認識部３１１と、ロボット１０の教示に係わる複数種類の操作画面の各々と認識対象語とを対応付ける情報を記憶する対応関係記憶部３１２と、文字情報が表す言葉と所定の関連性を有する１以上の認識対象語を対応関係記憶部３１２に記憶された情報から抽出する認識対象語抽出部３１３と、抽出された１以上の認識対象語に対応する１以上の操作画面のリストを表す画像を、対応関係記憶部３１２に記憶された情報に基づいて生成して表示装置３１に表示する画面リスト表示部３１４と、を備えるロボット教示装置３０である。【選択図】図２

Description

本発明は、ロボット教示装置に関する。

音声入力による操作を受け付け可能に構成されたロボット教示装置が提案されている。特許文献１には、「ロボットに対して教示を行うプログラミングペンダントにおいて、操作者の音声を入力する音声入力部６と、前記音声入力部の入力を有効にする音声入力有効スイッチ７と、前記音声入力部から入力した音声を認識するための音声認識処理部８と、前記音声認識処理部８の認識結果に基づいて、前記プログラミングペンダントの操作画面を選択し前記プログラミングペンダント上に表示する画面選択部９とを備える。」（要約書）と記載されている。

特許文献２には、「音声認識手段５は、音声入力手段から入力された音声に含まれる複数の単語を予め辞書手段に記憶されている複数の単語とそれぞれ比較し、競合候補の中から一番競合確率の高い単語を認識結果とする。単語訂正手段９は、画面に表示された単語列を構成する複数の単語を訂正する単語訂正機能を有している。」（要約書）と記載されている。

特開２００６−６８８６５号公報 特開２００６−１４６００８号公報

ロボット教示装置においてロボットの教示に必要な操作画面の種類は多岐にわたるため選択メニューが階層化されるのが一般的である。そのため、オペレータがキー操作により目的の操作画面に遷移するためには、複数回のキー操作が必要であるとともに、目的の操作画面が階層化された選択メニューのどこにあるか把握しておく必要も生じる。

本開示の一態様は、ロボットの教示を行うためのロボット教示装置であって、表示装置と、音声を収集し音声信号を出力するマイクロホンと、前記音声信号に対し音声認識処理を行い前記音声が表す文字情報を出力する音声認識部と、前記ロボットの教示に係わる複数種類の操作画面の各々と認識対象語とを対応付ける情報を記憶する対応関係記憶部と、前記文字情報が表す言葉と所定の関連性を有する１以上の前記認識対象語を前記対応関係記憶部に記憶された情報から抽出する認識対象語抽出部と、抽出された１以上の前記認識対象語に対応する１以上の前記操作画面のリストを表す画像を、前記対応関係記憶部に記憶された情報に基づいて生成して前記表示装置に表示する画面リスト表示部と、を備えるロボット教示装置である。

上記構成により、オペレータは発話した言葉に関連する操作画面のリストを表示画面に表示させることができ、それによりオペレータは操作画面の名称を正確に覚えていなくても所望の操作画面に容易に遷移することが可能となる。

添付図面に示される本発明の典型的な実施形態の詳細な説明から、本発明のこれらの目的、特徴および利点ならびに他の目的、特徴および利点がさらに明確になるであろう。

一実施形態に係るロボット教示装置を含むロボットシステムの全体構成を表す図である。 ロボット教示装置の機能ブロック図である。 操作画面のリストを表示する画面リストの表示例を示す図である。 オペレータにより音声入力された言葉と所定の関連性を有する操作画面のリストを表示する画面リスト表示処理を表すフローチャートである。 音声入力により操作画面が選択された状態を表す図である。 音声入力により操作画面中の選択項目が選択された状態を表す図である。 動作プログラムの編集画面の例を示す図である。

次に、本開示の実施形態について図面を参照して説明する。参照する図面において、同様の構成部分または機能部分には同様の参照符号が付けられている。理解を容易にするために、これらの図面は縮尺を適宜変更している。また、図面に示される形態は本発明を実施するための一つの例であり、本発明は図示された形態に限定されるものではない。

図１は一実施形態に係るロボット教示装置３０を含むロボットシステム１００の全体構成を表す図である。図２は、ロボット教示装置３０の機能ブロック図である。図１に示すように、ロボットシステム１００は、ロボット１０と、ロボット１０を制御するロボット制御装置２０と、ロボット制御装置２０に接続されたロボット教示装置３０とを備える。ロボット教示装置３０には、音声を収集し音声信号を出力するマイクロホン４０が有線又は無線により接続される。マイクロホン４０は、ロボット教示装置３０に内蔵されていても良い。マイクロホン４０は、ロボット教示装置３０を操作するオペレータが装着するヘッドセットタイプのマイクとして構成されていても良い。

ロボット１０は、例えば、垂直多関節ロボットである。ロボット１０として他のタイプのロボットが用いられても良い。ロボット制御装置２０は、ロボット教示装置３０から入力される各種指令に応じてロボット１０の動作を制御する。ロボット制御装置２０は、ＣＰＵ、ＲＯＭ、ＲＡＭ、記憶装置、表示部、操作部、外部機器インタフェース、ネットワークインタフェース等を有する一般的なコンピュータとしての構成を有していても良い。ロボット教示装置３０は、例えば、教示操作盤、或いはタブレット端末等の携帯型情報端末である。ロボット教示装置３０は、ＣＰＵ、ＲＯＭ、ＲＡＭ、記憶装置、表示部、操作部、外部機器インタフェース、ネットワークインタフェース等を有する一般的なコンピュータとしての構成を有していても良い。

ロボット教示装置３０は、表示装置３１を備える。表示装置３１は、一例として、バックライト付き液晶ディスプレイ等のフラットパネルディスプレイである。また、表示装置３１は、タッチパネルを有し、表示装置３１の表示画面上には画像として配列されるソフトキー（不図示）が設けられている。オペレータは、操作キー（ソフトキー）を操作してロボット１０の教示或いは操作を行うことができる。ソフトキーは、音声入力を受け付けるか否かを切り替えるための音声入力切替スイッチを有する。なお、ロボット教示装置３０が教示操作盤として構成されている場合には、ロボット教示装置３０は操作キーとしてソフトキー及びハードキーを有する。

図２に示すように、ロボット教示装置３０は、マイクロホン４０から入力される音声信号に対し音声認識処理を行い音声が表す文字情報を出力する音声認識部３１１と、ロボット１０の教示に係わる複数種類の操作画面の各々と認識対象語とを対応付ける情報を記憶する対応関係記憶部３１２と、音声入力された文字情報が表す言葉と所定の関連性を有する１以上の認識対象語を対応関係記憶部３１２に記憶された情報から抽出する認識対象語抽出部３１３と、抽出された１以上の認識対象語に対応する１以上の操作画面のリストを表す画像（図３参照）を、対応関係記憶部３１２に記憶された情報に基づいて生成して表示装置３１に表示する画面リスト表示部３１４とを備える。

対応関係記憶部３１２は、操作画面と認識対象語との対応関係を示す情報として、操作画面の名称（或いはＩＤ）と認識対象語とを対応付けて記憶する構成であっても良い。下記表１は、対応関係記憶部３１２に記憶された情報の例を示す。表１では、操作画面「プログラムシフト」に認識対象語“ぷろぐらむしふと”が対応付けられ、操作画面「プログラム一覧」に認識対象語“ぷろぐらむいちらん”が対応付けられ、操作画面“プログラムタイマ”に認識対象語“ぷろぐらむたいま”が対応付けられ、操作画面「バックグランド演算」に認識対象語“ばっくぐらんどえんざん”が対応付けられ、操作画面「ツール座標系設定」に認識対象語“つーるざひょうけいせってい”が対応付けられ、操作画面「動作モード設定」に認識対象語“どうさもーどせってい”が対応付けられている。なお、一つの操作画面の名称に複数の認識対象語が対応付けられていても良い。

表１に例示した操作外面は各々次のような処理のための画面である。
・プログラムシフト：ロボットの動作プログラムの教示点位置を修正（シフト）する処理に関する操作画面。
・プログラム一覧：ロボット教示装置に登録されている動作プログラムの一覧の表示・選択するための操作画面。
・プログラムタイマ：動作プログラムの実行時間に関する操作画面。
・バックグラウンド演算：動作プログラムのバックグラウンドで演算を実行する処理を指定する操作画面。
・ツール座標系設定：ロボットのツール座標系の設定のための操作画面。
・動作モード設定：ロボットの動作モード設定のための操作画面。

図４は、オペレータにより音声入力された言葉と所定の関連性を有する操作画面のリストを表示する画面リスト表示処理を表すフローチャートである。画面リスト表示処理は、ロボット教示装置３０のＣＰＵによる制御の下で実行される。はじめに、オペレータは音声入力切替スイッチを操作して、音声入力を有効にする（ステップＳ１１）。次に、オペレータは、音声を入力する（ステップＳ１２）。ここでは、対応関係記憶部３１２に表１に示す情報が記憶されており、オペレータが動作プログラムに関する操作画面を操作することを意図して、例えば“ぷろぐらむ”と発話をした場合を想定する。音声認識部３１１は、音響モデル、言語モデル等の音声認識に必要な辞書データ３３１を複数種類の言語について有しており、辞書データ３３１を用いて入力された音声信号に対して音声認識処理を行う。本例においては、音声認識部３１１は、文字情報として“ぷろぐらむ”を出力する。

次に、認識対象語抽出部３１３は、音声入力された言葉と所定の関連性を有する認識対象語を対応関係記憶部３１２から抽出する（ステップＳ１３）。所定の関連性の有無の判断基準は、例えば、以下の判断基準（ｒ１）から（ｒ３）の１以上を含む。
（ｒ１）認識対象語が音声入力された言葉を含む。
（ｒ２）認識対象語と音声入力された言葉との意味が共通する。
（ｒ３）認識対象語に対応する操作画面内に、音声入力された言葉に対応する内容が含まれる。

ステップＳ１４では、例えば上記判断基準（ｒ１）から（ｒ３）により、音声入力された言葉と関連性のある認識対象語が抽出できたか否かが判定される。その結果、音声入力された言葉との間に所定の関連性がある認識対象語が抽出された場合（Ｓ１４：Ｙｅｓ）、ロボット教示装置３０（画面リスト表示部３１４）は、抽出された認識対象語と対応関係記憶部３１２において対応付けられている操作画面のリストを表示装置３１上に表示させる（ステップＳ１５）。認識対象語が抽出されなかった場合（Ｓ１４：Ｎｏ）、処理はステップＳ１２に戻る。

図３は、例示として、オペレータが“ぷろぐらむ”と発話した場合に上記判断基準（ｒ１）から（ｒ３）に基づいて表１に示した情報に基づいて抽出された操作画面の画面リスト９０を示す。画面リスト９０中に一覧表示された操作画面のうち「１．プログラムシフト」、「２．プリグラム一覧」、「３．プログラムタイマ」は、上記判断基準（ｒ１）により、発話内容の“ぷろぐらむ”という言葉を含む認識対象語であるとして選択されたものである。画面リスト９０中の「４．バックグラウンド演算」は、動作プログラムのバックグラウンドで動作する演算処理に関する操作画面であり、上記判断基準（ｒ３）により発話内容の“ぷろぐらむ”に対応する内容を含むものとして選択されたものである。

図３に示すように、画面リスト９０は、表示装置３１の表示画面上の中央にポップアップ形式の画像として表示されても良い。図３の例では、画面リスト９０は、表示画面に表示されていたウィンドウ８１から８３の上に上書きする形で表示されている。ロボット教示装置３０は、画面リスト９０から所望の操作画面を選択するキー操作又は音声入力による選択を受け付け、選択された操作画面への遷移を行う。

以上説明した本実施形態に係る画面リスト表示処理によれば、オペレータは発話した言葉に関連する操作画面のリストを表示画面に表示させることができ、それによりオペレータは操作画面の名称を正確に覚えていなくても所望の操作画面に容易に遷移することが可能となる。

認識対象語抽出部３１３は、音声入力された言葉との相違が所定の判定基準を満たす認識対象語が検出された場合、音声入力された言葉を、検出された認識対象語と対応関係記憶部３１２において対応付けられた操作画面に対応する新たな認識対象語として、対応関係記憶部３１２に追加するように構成されていても良い。所定の判定基準は、例えば、以下のようなものである。
（ｈ１）発話された言葉と認識対象語との間の文字の相違が所定文字数以内。
（ｈ２）発話された言葉と認識対象語との意味が共通する。

例えば、オペレータが操作画面「プログラムシフト」を呼び出すことを意図して“ぷろぐらむをしふと”と発話したとする。この場合、認識対象語抽出部３１３は、“ぷろぐらむをしふと”を新たな認識対象語として、操作画面「プログラムシフト」と関連付けて対応関係記憶部３１２に記憶させる。この構成により、オペレータが認識対象語の言い方を多少間違えて発話したような場合や、音声認識処理に多少の認識誤りが生じた場合でも、それらを認識対象語として追加することで、それ以降、そのような認識対象語を画面リスト表示部３１４による画面リストの生成に用いることが可能になる。

図２の機能ブロック図に示すように、ロボット教示装置３０は、更に、認識対象語編集部３１５、プログラム名登録部３１６、操作画面遷移部３１７、操作画面選択部３１８、項目選択部３１９、画面保存部３２０、動作プログラム記憶部３２１、プログラム編集部３２２、及びバックライトオンオフ切替部３２３を備えていてもよい。

認識対象語編集部３１５は、対応関係記憶部３１２に記憶された情報の追加、変更、削除等の編集を行う機能を提供する。この機能により、オペレータは、自身にとってよりいっそう都合の良い認識対象語を操作画面に対応付けて記憶させることができる。なお、認識対象語編集部３１５は、新たに対応関係記憶部３１２に登録すべき認識対象語を、音声入力により受け付けるように構成されていても良い。

プログラム編集部３２２は、動作プログラムの作成及び編集を行うための機能を提供する。動作プログラム記憶部３２１は、例えば、プログラム編集部３２２により作成された動作プログラムを記憶する。図７は、例示として、プログラム編集部３２２により表示装置３１に表示された動作プログラムの編集画面３５１を示している。オペレータＯＰは、例えば、編集画面３５１上で４行目をキー操作により選択した上で、音声入力切替スイッチを操作して音声入力を有効にし、命令文“ＲＯ［１］”に関するコメント文“ハンドトジル”を音声入力により入力することができる。編集画面３５１における１行目の“ワークホジ”、５行目の“ワークホジフラグ”は、音声入力により入力されたコメント文の例である。

プログラム名登録部３１６は、プログラム編集部３２２を介して新たに作成された動作プログラムのプログラム名を、ロボット１０の動作プログラムの実行又は編集に係わる操作画面と関連付けて、新たな認識対象語として対応関係記憶部３１２に記憶させる。例えば、オペレータが「ハンドリング」という名称の動作プログラムを新規作成すると、“はんどりんぐ”という認識対象語が動作プログラム「ハンドリング」の編集画面と関連付けて対応関係記憶部３１２に記憶される。この場合、オペレータは、“はんどりんぐ”と発話することで、簡単に、動作プログラム「ハンドリング」の編集画面を呼び出すことができる。

操作画面遷移部３１７は、オペレータの操作による操作画面についての遷移の履歴を保存する。そして、操作画面遷移部３１７は、遷移の履歴に基づいて、音声入力された言葉に所定の対象語（以下、第１対象語と記す）が含まれることに応じて、表示装置３１に現在表示されている操作画面を、直前に表示されていた操作画面に戻す機能を提供する。第１対象語は、例えば、“もどる”、“もどす”等である。

操作画面選択部３１８は、表示装置３１に表示されている２以上の操作画面のうち操作対象となる操作画面を、音声入力された言葉に基づいて選択する機能を提供する。具体的には、操作画面選択部３１８は、音声入力された言葉が操作画面の位置を示す所定の対象語（例えば、“ひだり”、“みぎうえ”）を含むことに応じて、表示中の操作画面から、オペレータの指定に対応する一つの操作画面を選択するように構成される。例えば、図５に示すように表示装置３１の表示画面上に３つのウィンドウ（操作画面）Ｗ１、Ｗ２、Ｗ３が表示されている状態を想定する。オペレータがウィンドウＷ１を選択することを意図して例えば“ひだり”と発話すると、ウィンドウＷ１が操作対象として選択され、ウィンドウＷ１の周囲が太枠線７１により強調表示される。

項目選択部３１９は、操作中の操作画面に複数の選択項目が含まれる場合に、音声が表す文字情報に基づいていずれかの選択項目を選択する機能を提供する。例えば、図６に示すように、機能設定に関する操作画面において複数の設定項目を含むメニュー８５が表示されている状態でオペレータが発話すると、項目選択部３１９は、発話された言葉に対応する項目を選択する。図６では、オペレータが例えば“せっていでぃー”又は“きゅうじゅうよん”と発話したことにより、項目「９４：設定Ｄ」が選択され、この項目「９４：設定Ｄ」が太枠７２により強調表示されている状態が示されている。

バックライトオンオフ切替部３２３は、音声入力された言葉に基づいて表示装置３１のバックライトを点灯又は消灯する機能を提供する。例えば、バックライトが点灯している状態で、音声入力としてバックライトの消灯を指示する所定の対象語“しょうとう”が入力されることに応じて、バックライトオンオフ切替部３２３はバックライトを消灯する。また、バックライトが消灯している状態で、音声入力としてバックライトの点灯を指示する所定の対象語“てんとう”が入力されることに応じて、バックライトオンオフ切替部３２３はバックライトを点灯する。

画面保存部３２０は、音声入力された言葉に画面を保存するための所定の対象語（以下、第２対象語と記す）が含まれる場合に、表示装置３１に現在表示されている操作画面の情報を保存する機能を提供する。画面保存部３２０は、操作画面の画像を保存する構成であっても良い。第２対象語は、例えば画面保存を意味する“がめんほぞん”である。

操作画面遷移部３１７、操作画面選択部３１８、項目選択部３１９、バックライトオンオフ切替部３２３及び画面保存部３２０に機能を実行させる指令となる上述の対象語や言葉は、ロボット教示装置３０の記憶装置に予め記憶される。操作画面遷移部３１７、操作画面選択部３１８、項目選択部３１９、バックライトオンオフ切替部３２３及び画面保存部３２０は、音声認識部３１１により認識された言葉に、ロボット教示装置３０に記憶された上述の所定の対象語や言葉が含まれる場合に動作を実行するように構成されていても良い。

以上、典型的な実施形態を用いて本発明を説明したが、当業者であれば、本発明の範囲から逸脱することなしに、上述の各実施形態に変更及び種々の他の変更、省略、追加を行うことができるのを理解できるであろう。

上述した実施形態に示した画面リスト表示処理（図４）を実行するプログラムは、コンピュータに読み取り可能な各種記録媒体（例えば、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ等の半導体メモリ、磁気記録媒体、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ等の光ディスク）に記録することができる。

１０ ロボット
２０ ロボット制御装置
３０ ロボット教示装置
４０ マイクロホン
１００ ロボットシステム
３１１ 音声認識部
３１２ 対応関係記憶部
３１３ 認識対象語抽出部
３１４ 画面リスト表示部
３１５ 認識対象語編集部
３１６ プログラム名登録部
３１７ 操作画面遷移部
３１８ 操作画面選択部
３１９ 項目選択部
３２０ 画面保存部
３２１ 動作プログラム記憶部
３２２ プログラム編集部
３２３ バックライトオンオフ切替部

Claims (9)

1. ロボットの教示を行うためのロボット教示装置であって、
   表示装置と、
   音声を収集し音声信号を出力するマイクロホンと、
   前記音声信号に対し音声認識処理を行い前記音声が表す文字情報を出力する音声認識部と、
   前記ロボットの教示に係わる複数種類の操作画面の各々と認識対象語とを対応付ける情報を記憶する対応関係記憶部と、
   前記文字情報が表す言葉と所定の関連性を有する１以上の前記認識対象語を前記対応関係記憶部に記憶された情報から抽出する認識対象語抽出部と、
   抽出された１以上の前記認識対象語に対応する１以上の前記操作画面のリストを表す画像を、前記対応関係記憶部に記憶された情報に基づいて生成して前記表示装置に表示する画面リスト表示部と、を備えるロボット教示装置。
2. 前記対応関係記憶部に記憶される前記情報を編集するための認識対象語編集部を更に備える、請求項１に記載のロボット教示装置。
3. 前記ロボットの動作プログラムを作成及び編集するためのプログラム編集部と、
   前記プログラム編集部により作成された前記動作プログラムのプログラム名を、前記動作プログラムの実行又は編集に係わる操作画面と対応付けて、新たな認識対象語として前記対応関係記憶部に記憶するプログラム名登録部を更に備える、請求項１又は２に記載のロボット教示装置。
4. 前記認識対象語抽出部は、前記文字情報が表す言葉との相違が所定の判定基準を満たす前記認識対象語が検出された場合、前記文字情報が表す言葉を、検出された前記認識対象語と前記対応関係記憶部において対応付けられた前記操作画面に対応する新たな認識対象語として、前記対応関係記憶部に追加する、請求項１から３のいずれか一項に記載のロボット教示装置。
5. 複数種類の前記操作画面についての遷移の履歴を保存すると共に、該履歴に基づいて、前記音声が表す前記文字情報に第１対象語が含まれることに応じて、前記表示装置に現在表示されている前記操作画面を、直前に表示されていた前記操作画面に戻す操作画面遷移部を更に備える、請求項１から４のいずれか一項に記載のロボット教示装置。
6. 前記表示装置に表示されている２以上の前記操作画面のうち操作対象となる操作画面を、前記音声が表す前記文字情報に基づいて選択する操作画面選択部を更に備える、請求項１から５のいずれか一項に記載のロボット教示装置。
7. 前記表示装置はバックライトを有し、
   前記ロボット教示装置は、前記音声が表す前記文字情報に基づいて前記バックライトのＯＮ／ＯＦＦを切り替えるバックライトオンオフ切替部を更に備える、請求項１から６のいずれか一項に記載のロボット教示装置。
8. 前記表示装置に表示されている前記操作画面に複数の選択項目が含まれる場合に、前記音声が表す文字情報に基づいて、複数の前記選択項目のいずれかを選択する項目選択部を更に備える、請求項１から７のいずれか一項に記載のロボット教示装置。
9. 前記音声が表す前記文字情報に画面を保存するための第２対象語が含まれる場合に、前記表示装置に現在表示されている前記操作画面の情報を保存する画面保存部を更に備える、請求項１から８のいずれか一項に記載のロボット教示装置。