JP6944920B2 - スマートインタラクティブの処理方法、装置、設備及びコンピュータ記憶媒体 - Google Patents

Description

本発明は、コンピュータ応用技術分野に関するものであり、特にスマートインタラクティブの処理方法、装置、設備及びコンピュータ記憶媒体に関するものである。

移動ネットワーク及びクラウドエンド計算の飛躍な発展に従って、スマートアシスタント類アプリケーション、特に音声アシスタントが既に複数の種類のタイプのユーザ設備、例えば携帯電話、スマートテレビ、スマートサウンドボックス等に応用されている。それは、スマート会話及び即時応答のスマートインタラクティブによって、ユーザへユーザの取得したい様々な情報を返信し、更にアプリケーションを設置し、他のユーザ設備等を制御する。

現在のスマートアシスタントは、ユーザｑｕｅｒｙを取得した後に、ユーザへ単一の帰還項を返信する。例えば、ユーザが「マンチェスター・ユナイテッドの最新の試合はいつですか」とのｑｕｅｒｙを入力した時に、スマートアシスタントは「マンチェスター・ユナイテッドの最新の試合は、２０１７年１１月２日の０５：００に行い、相手がアーセナルです」を返信する。ユーザが後続の操作をしたい或いは後続の情報を取得したければ、更にｑｕｅｒｙを入力する必要がある。また、例えば、ユーザが「おはよう」とのｑｕｅｒｙを入力すると、スマートアシスタントに返信された帰還項が、当日の天気情報である。一般的に、ユーザが当日の道路交通状況の情報を更に獲得したくなり、この時、「今日の道路交通状況如何」とのｑｕｅｒｙを続けて入力する必要がある。明らかに、スマート化及び豊富さが乏しく、操作が煩雑である。

そこで、本発明は、スマートインタラクティブの処理方法、装置、設備及びコンピュータ記憶媒体を提供して、スマートインタラクティブのスマート化程度及び豊富さを向上し、ユーザ操作を簡単化する。

具体的な技術案は、以下のようである。

本発明に係るスマートインタラクティブの処理方法は、
既にユーザへ返信した前序帰還項に対して意図識別を行うこと、
前記前序帰還項の意図に基づいて、続けてユーザへ後序帰還項を返信すること、を含む。

本発明の１つの具体的な実施の形態によると、
前記前序帰還項の意図に基づいて、ユーザへ後序帰還項を返信することは、
該意図に対応する後序帰還項のタイプを確定すること、
後序帰還項の実体を取得すること、
前記後序帰還項の実体及び前記後序帰還項のタイプを利用して、ユーザへ返信する後序帰還項を確定すること、を含む。

本発明の１つの具体的な実施の形態によると、
前記既にユーザへ返信した前序帰還項に対して意図識別を行うことは、
前記前序帰還項からキーワードを抽出し、該キーワードに基づき前記前序帰還項の意図を確定すること、或いは、
前記前序帰還項に対して語意分析を行い、前記前序帰還項の意図を確定すること、或いは、
前記前序帰還項を予め設定されたテンプレートにマッチングし、マッチングしたテンプレートに対応する意図を前記前序帰還項の意図として確定すること、或いは、
予め訓練して得られた機器学習モデルを利用し、前記前序帰還項に対して意図分析を行い、前記前序帰還項の意図を得ること、を含む。

本発明の１つの具体的な実施の形態によると、
前記該意図に対応する後序帰還項のタイプを確定することは、
予め設定された意図と後序帰還項のタイプとの対応関係に基づき、識別された意図に対応する後序帰還項のタイプを確定すること、を含む。

本発明の１つの具体的な実施の形態によると、
前記対応関係は前序帰還項のタイプを更に含み、
該方法は、前記既にユーザへ返信した前序帰還項のタイプを確定すること、を更に含み、
前記予め設定された意図と後序帰還項のタイプとの対応関係に基づき、識別された意図に対応する後序帰還項のタイプを確定することは、
前記前序帰還項のタイプ及び前序帰還項の意図に基づいて前記対応関係を問い合わせ、対応する後序帰還項のタイプを確定すること、を含む。

本発明の１つの具体的な実施の形態によると、
前記該意図に対応する後序帰還項のタイプを確定する前に、
前記前序帰還項の意図信頼度が予め設けられた信頼度に関する要求を満足するかを判断し、満足すれば、前記該意図に対応する後序帰還項のタイプを確定することを続けて実行すること、を更に含む。

本発明の１つの具体的な実施の形態によると、
識別された意図に対応する後序帰還項のタイプを確定する時に、更に前記ユーザの環境情報に基づく。

本発明の１つの具体的な実施の形態によると、
前記ユーザの環境情報は、システム時間、ユーザ設備タイプ及びユーザ設備動作の中の少なくとも１つを含む。

本発明の１つの具体的な実施の形態によると、
前記後序帰還項の実体を取得することは、
前記前序帰還項から抽出された実体を後序帰還項の実体とすること、或いは、
ユーザデータ或いはユーザ環境情報から実体を取得して後序帰還項の実体とすること、を含む。

本発明の１つの具体的な実施の形態によると、
前記後序帰還項の実体及び前記後序帰還項のタイプを利用して、後序帰還項を確定することは、
前記後序帰還項の実体及び前記後序帰還項のタイプを利用して検索項を構造すること、
前記検索項に対応する垂直検索結果を取得して前記後序帰還項とすること、を含む。

本発明の１つの具体的な実施の形態によると、
前記後序帰還項の実体及び前記後序帰還項のタイプを利用して検索項を構造することは、
前記後序帰還項のタイプに対応するテンプレートを確定すること、
前記後序帰還項の実体を確定されたテンプレートに記入して、検索項を得ること、含む。

本発明の１つの具体的な実施の形態によると、
前記後序帰還項の実体及び前記後序帰還項のタイプを利用して、後序帰還項を確定することは、
前記後序帰還項の実体と前記後序帰還項のタイプを利用して制御指令を生成すること、
前記制御指令を前記後序帰還項のタイプに対応するアプリケーションプログラム或いはユーザ設備に送信すること、を含む。

本発明の１つの具体的な実施の形態によると、
前記ユーザへ後序帰還項を返信することは、
直接に前記ユーザへ確定された後序帰還項を返信すること、或いは、
ユーザからの返信に基づいて、ユーザへ確定された後序帰還項を返信するかを確定することを、含む。

本発明の１つの具体的な実施の形態によると、
既にユーザへ返信した前序帰還項と前記ユーザへ返信する後序帰還項との間に、タンデムスピーチを返信し、
前記タンデムスピーチは、一般的な単語、余白、符号、光と影或いはオーディオを含む。

本発明の１つの具体的な実施の形態によると、
前記後序帰還項は、
テキスト、オーディオ、ビデオ、画像、リンク、及びアプリケーションプログラム又はユーザ設備に対する制御イベントを含む。

本発明に係るスマートインタラクティブの処理装置は、
既にユーザへ返信した前序帰還項に対して意図識別を行う意図識別手段と、
前記前序帰還項の意図に基づいて、ユーザへ後序帰還項を返信する後序帰還手段と、を含む。

本発明の１つの具体的な実施の形態によると、
前記後序帰還手段は、
前記前序帰還項の意図に基づいて、該意図に対応する後序帰還項のタイプを確定するタイプ確定手段と、
後序帰還項の実体を取得する実体取得手段と、
前記後序帰還項の実体及び前記後序帰還項のタイプを利用して、後序帰還項を確定する帰還項確定手段と、
前記ユーザへ確定された後序帰還項を返信する帰還項返信手段と、を含む。

本発明の１つの具体的な実施の形態によると、
前記意図識別手段は、
前記前序帰還項からキーワードを抽出し、該キーワードに基づき前記前序帰還項の意図を確定すること、或いは、
前記前序帰還項に対して語意分析を行い、前記前序帰還項の意図を確定すること、或いは、
前記前序帰還項を予め設定されたテンプレートにマッチングし、マッチングしたテンプレートに対応する意図を前記前序帰還項の意図として確定すること、或いは、
予め訓練して得られた機器学習モデルを利用し、前記前序帰還項に対して意図分析を行い、前記前序帰還項の意図を得ること、を具体的に実行する。

本発明の１つの具体的な実施の形態によると、
前記タイプ確定手段は、
予め設定された意図と後序帰還項のタイプとの対応関係に基づき、識別された意図に対応する後序帰還項のタイプを確定すること、を具体的に実行する。

本発明の１つの具体的な実施の形態によると、
前記タイプ確定手段は、識別された意図に対応する後序帰還項のタイプを確定する時に、更に前記ユーザの環境情報に基づく。

本発明の１つの具体的な実施の形態によると、
前記実体取得手段は、
前記前序帰還項から抽出された実体を後序帰還項の実体とすること、或いは、
ユーザデータ或いはユーザ環境情報から実体を取得して後序帰還項の実体とすること、を具体的に実行する。

本発明の１つの具体的な実施の形態によると、
前記帰還項確定手段は、
前記後序帰還項の実体と前記後序帰還項のタイプを利用して検索項を構造し、前記検索項に対応する垂直検索結果を取得して前記後序帰還項とすること、或いは、
前記後序帰還項の実体と前記後序帰還項のタイプを利用して制御指令を生成し、前記制御指令を前記後序帰還項のタイプに対応するアプリケーションプログラム或いはユーザ設備に送信すること、を具体的に実行する。

本発明の１つの具体的な実施の形態によると、
前記後序帰還手段は、
直接に前記ユーザへ確定された後序帰還項を返信すること、或いは、
ユーザからの返信に基づいて、ユーザへ確定された後序帰還項を返信するかを確定すること、を具体的に実行する。

本発明の１つの具体的な実施の形態によると、
前記後序帰還手段は、既にユーザへ返信した前序帰還項と前記ユーザへ返信する後序帰還項との間に、タンデムスピーチを帰還し、
前記タンデムスピーチは、一般的な単語、余白、符号、光と影或いはオーディオを含む。

本発明に係る設備は、
１つ又は複数のプログラムを記憶する記憶装置と、を含み、
前記１つ又は複数のプログラムが前記１つ又は複数のプロセッサによって実行される時に、前記１つ又は複数のプロセッサに上記方法を実現させる。

本発明に係るコンピュータ実行可能な指令を含む記憶媒体は、前記コンピュータ実行可能な指令がコンピュータプロセッサによって実行される時に、上記方法を実行する。
以上の技術案から分かるように、本発明は、前序帰還項の意図に基づいて続けてユーザへ後序帰還項を返信することで、ユーザの後続の意図を推測し、ユーザが操作しなくても続けてユーザへそれの獲得したい後序帰還項を返信することができ、更にスマート化及び豊富となり、ユーザ操作を簡単化する。

本発明の実施例に係る方法フローチャートである。 本発明の実施例に係る装置構成図である。 本発明の実施形態を実現することに適する、例示的なコンピュータシステム／サーバ０１２の図面を示す。

本発明の目的、技術案及び利点をより明確で簡潔させるために、以下、図面を参照して実施例を挙げて、本発明に係る技術案を更に説明する。

本発明の実施例で使用される用語は、特定の実施例を説明するためのものだけで、本発明を限定するものではない。本発明の実施例と特許請求の範囲に使用されている単数の「１つ」、「前記」和「該」は、コンテキストが他の意味を明確に示していない限り、複数形を含むことも意図する。

理解されるべきことは、本願で使用される用語「及び／或いは」は、関連対象の関連関係を記述ものだけで、３つの関係があり、例えば、Ａ及び／或いはＢは、Ａが単独で存在し、ＡとＢが同時に存在し、Ｂが単独で存在するという３つの場合を表す。また、本願の符号「／」は、一般に、コンテキストが「或いは」の関係であることを示す。

コンテキストによって、本願で使用される「…と」という用語は、「…時」、「…場合に」、「確定されたことに応じて」或いは「検出されたことに応じて」と解釈され得る。類似に、コンテキストによって、フレーズ「確定すると」、「（記載の条件或いはイベントが）検出すると」は、「確定された時」、「確定されたことに応じて」、「（記載の条件或いはイベントが）検出すると」或いは「（記載の条件或いはイベントが）検出されたことに応じて」と解釈され得る。

本発明の基本的な中心は、既にユーザへ返信した前序帰還項に対して意図識別を行い、前序帰還項の意図に基づいて、続けてユーザへ後序帰還項を返信することである。従って、ユーザの後続の意図を推測し、ユーザが操作しなくても続けてユーザへそれの獲得したい後序帰還項を返信することができる。以下、実施例を参照して、本発明に係る方法を詳細に説明する。

図１は、本発明の実施例に係る方法フローチャートであり、図１に示すように、該方法は、以下のステップを含むことができる。

１０１において、既にユーザへ返信した前序帰還項に対して意図識別を行う。

本ステップにおいて、既にユーザへ返信した前序帰還項は、既にユーザへ返信した最新の１つの帰還項であってもよく、ユーザのあるｑｕｅｒｙに基づいて既にユーザへ返信した全ての帰還項であってもよい。前者の場合に、既にユーザへ返信した最新の１つの帰還項に対して意図識別を行う。後者の場合に、既にユーザへ返信した全ての帰還項に対して全体の意図識別を行う。

１つの例として、ユーザが「陳奕迅」とのｑｕｅｒｙを入力したら、該ｑｕｅｒｙに基づいてユーザへ帰還項「陳奕迅百科」を返信し、「陳奕迅の百科」を前序帰還項として本発明のフローを実行して、後序帰還項である「陳奕迅の音楽リスト」を確定することができる。そして、「陳奕迅の音楽リスト」を前序帰還項として本発明のフローを実行し、続けて後序帰還項を確定してもよく、「陳奕迅の百科」と「陳奕迅の音楽リスト」とを共に前序帰還項として、本発明のフローを実行して、続けて後序帰還項を確定してもよい。

具体的に、前序帰還項に対して意図識別を行う時に、複数の種類の方式を採用することができ、現在既に比較的に成熟した意図識別方式がある。以下、幾つかの実現方式を説明するが、以下の幾つかの実現方式中の少なくとも１つに限定されない。

第１の方式：前序帰還項からキーワードを抽出し、キーワードに基づいて前序帰還項の意図を確定する。

このような方式において、予め様々な意図タイプに対応するキーワードを設定することができ、例えばキーワード「試合」に対応する意図が「試合結果を取得する」である。前序帰還項からキーワードを抽出した後に、キーワードに基づいて前序帰還項の意図を確定することができる。ただし、１つの意図タイプは、１つ或いは複数のキーワードに対応することができる。

第２の方式：前序帰還項に対して語意分析を行い、前序帰還項の意図を確定する。

予め語意と意図との対応関係を定義し、前序帰還項に対して語意分析を行った後に、語意に対応する意図を前序帰還項の意図として確定することができる。本発明の実施例は、語意分析の具体的な方式を制限しない。

第３の方式：前序帰還項と予め設定されたテンプレートとをマッチングし、マッチングしたテンプレートに対応する意図を前序帰還項の意図として確定する。

予め各意図に対して対応するテンプレートを設定することができ、例えばテンプレート「 の試合は 開始」に対して設定する意図が「喚起設定」である。前序帰還項が「マンチェスター・ユナイテッドとアーセナルの試合は２０１７年１１月２０日午後８時に開始」であると、該前序帰還項が上記テンプレートにマッチングし、その意図が「喚起設定」であると確定する。

第４の方式：予め訓練して得られた機器学習モデルを利用し、前序帰還項に対して意図分析を行い、前序帰還項の意図を得る。

予め意図を標注した各帰還項を訓練サンプルとして、機器学習モデルを訓練することができる。訓練して得られた機器学習モデルを利用して前序帰還項に対して意図識別を行い、前序帰還項の意図を得る。

１０２において、該意図に対応する後序帰還項のタイプを確定する。

本ステップにおいて、予め各意図に対応する後序帰還項のタイプを設定することができる。例えば「試合結果を取得する」との意図に対応する後序帰還項のタイプが、「試合結果の垂直検索結果」或いは「試合結果のニュース」である。更に例えば「喚起設定」との意図に対応する後序帰還項のタイプが、「目覚ましイベントを制御する」等である。

上記意図と後序帰還項のタイプとの対応関係は、予め人手で設定してもよく、機器学習の方式を採用して予め設定してもよい。

また、後序帰還項のタイプを確定する時に、前序帰還項の意図以外に、更に前序帰還項のタイプ及び／或いは前序帰還項の意図の信頼度を結合してもよい。

例えば、予め確立した対応関係は、前序帰還項のタイプ、意図に対応する後序帰還項のタイプであることができる。即ち、前序帰還項のタイプ及び意図が同時に符合した時に、対応する後序帰還項のタイプを確定できる。

更に例えば、前序帰還項の意図が一定の信頼度要求を満足すれば、該意図に対応する後序帰還項のタイプを確定できる。信頼度が低ければ、続けて後序帰還項を返信しない、即ち後序帰還項を確定する必要がない。

また、後序帰還項のタイプを確定する時に、更にユーザの環境情報を考量することができる。

ただし、環境情報は、システム時間、ユーザ設備タイプ及びユーザ設備動作等の少なくとも１つを含むことができる。例えば、前序帰還項が「マンチェスター・ユナイテッドとアーセナルの試合は２０１７年１１月２０日午後８時に開始」であると、当前のシステム時間が既に試合時間２０１７年１１月２０日午後８時以降であれば、後序帰還項は「喚起設定」であるべきではない。更に例えば、前序帰還項が「宋小寶」であると、当前設備タイプがスマートテレビ又は携帯電話等のディスプレイスクリーンを有する設備であれば、対応する後序帰還項を「宋小寶コメディービデオ」と確定することができる。更に例えば、ユーザ設備動作が機関車の始動であると、ユーザへ例えば道路交通状況情報、天気情報、交通規制情報、違反実況等の相関帰還項を返信することができる。

１０３において、後序帰還項の実体を取得する。

本ステップにおいて後序帰還項を取得する実体方式は、次の２つを採用することができるが、それらに限定されない。

第１の方式：前序帰還項から実体を代入する。即ち、前序帰還項から抽出した実体を後序帰還項の実体として、例えば前序帰還項が「今日の天気」であると、その中の「今日」との実体を後序帰還項の実体とすることができる。更に例えば、前序帰還項が「マンチェスター・ユナイテッドとアーセナルの試合は２０１７年１１月２０日午後８時に開始」であると、その中の「２０１７年１１月２０日午後８時」との実体を後序帰還項の実体とすることができる。また、ある場合に、前序帰還項から抽出した実体に対してスティッチング処理を行った後に、後序帰還項の実体とすることができる。

第２の方式：ユーザデータ或いはユーザ環境情報から実体を代入する。即ち、ユーザデータ或いはユーザ環境情報から実体を取得して後序帰還項の実体とする。例えば、後序帰還項が「道路交通状況情報」であると確定すると、ユーザデータからユーザ住宅及び会社のアドレスを抽出して道路交通状況情報を返信してもよく、ユーザ環境情報からユーザの当前の測位アドレスを取得して、道路交通状況情報を返信してもよい。

１０４において、後序帰還項の実体及び後序帰還項のタイプを利用して、後序帰還項を確定する。

本ステップにおいて後序帰還項を確定する方式は、以下の２つの方式を含むことができるが、それらに限定されない。

第１の方式：後序帰還項の実体と後序帰還項のタイプを利用して検索項を構造し、検索項に対応する垂直検索結果を取得して後序帰還項とする。

ただし、検索項を構造する時に、後序帰還項のタイプに対応するテンプレートを確定し、後序帰還項の実体を確定されたテンプレートに記入して、検索項を得ることができる。

例えば、前序帰還項が「今日の天気」であると、「今日」との実体をテンプレート「 交通規制」に記入して、検索項として「今日規制」を得ることができる。そして、「今日規制」との検索項を利用して垂直検索を行い、「今日規制」の検索結果が「今日最後数の２，７が規制」であることを得て、それを後序帰還項とする。

更に例えば、前序帰還項が「陳奕迅百科」であると、「陳奕迅」との実体をテンプレート「 の歌」に記入して、「陳奕迅の歌」との検索項を得ることができる。そして、「陳奕迅の歌」との検索項を利用して垂直検索を行い、「陳奕迅の歌」の検索結果が陳奕迅の歌に関するリンクリスト、或いは陳奕迅の歌に関するオーディオ資源を得る。

第２の方式：後序帰還項の実体と後序帰還項のタイプを利用して、制御指令を生成し、制御指令を後序帰還項のタイプに対応するアプリケーションプログラム或いはユーザ設備に送信する。

例えば、前序帰還項が「マンチェスター・ユナイテッドとアーセナルの試合は２０１７年１１月２０日午後８時に開始」であると、その中の「２０１７年１１月２０日午後８時」との実体と「喚起設定」を結合して、「２０１７年１１月２０日午後８時の喚起」との制御指令を生成し、そして、目覚まし或いは喚起類のアプリケーションプログラムへ送信し、或いは目覚まし設備へ送信する。

１０５において、ユーザへ確定された後序帰還項を返信する。

ユーザへ確定された後序帰還項を返信する時に、直接にユーザへ返信してもよく、ユーザからの返信に基づいてユーザへ返信するかを確定してもよい。例えば、仮に「２０１７年１１月２０日午後８時の喚起」との後序帰還項を生成したら、ユーザに対して該喚起を設定するかを提示し、ユーザが設定を選択すると、喚起設定を行い、喚起設定の成功を返信することができる。更に例えば、「陳奕迅の歌の資源」との後序帰還項を生成したら、ユーザに対して該歌の資源を再生するかを提示し、ユーザが再生を選択すると、ユーザへ該陳奕迅の歌の資源を再生することができる。

本発明の実施例に係った上記後序帰還項は、テキスト、オーディオ、ビデオ、画像、リンク、アプリケーションプログラム或いはユーザ設備に対する制御イベントを含むことができるが、これに限定されない。

また、前序帰還項とユーザへ返信する後序帰還項との間に、タンデムスピーチが存在することができ、該タンデムスピーチを前後の２つの帰還項の間の過渡とすることができる。ただし、該タンデムスピーチは、若干の一般的な単語、例えば「次に」、「そして」、「次の帰還項」等であることができる。

タンデムスピーチは余白であってもよく、即ち前序帰還項と後序帰還項との間は余白であってもよい。

タンデムスピーチは若干の符号であってもよく、このような場合は、携帯電話、スマートテレビ等のスクリーンを有する設備に適し、例えば前後の２つの帰還項の間に「〜〜〜〜〜〜〜」を採用して区画することができる。

タンデムスピーチは若干の光と影であってもよく、このような場合は、任意タイプのユーザ設備に適しており、該設備の光源、例えばＬＥＤ等によって、一定の光と影を生成する。例えば前後の２つの帰還項の間に、ＬＥＤ等によって特定色の絞りを生成して、前後の２つの帰還項に対して区画を行うことができる。

タンデムスピーチは若干のオーディオであってもよく、このような場合は、携帯電話、スマートサウンドボックス、スマートテレビ等のスピーカを有する設備に適し、例えば前後の２つの帰還項の間に例えば「ピンポン」等の短いオーディオを採用して区画することができる。

以上は、本発明に係る方法の詳細な説明であり、上記方法の実行主体はスマートインタラクティブの処理装置であることができ、該装置は、ユーザ設備におけるアプリケーションに位置することができ、或いはユーザ設備のアプリケーションにおけるインレット或いはソフトウェア開発キット（Ｓｏｆｔｗａｒｅ Ｄｅｖｅｌｏｐｍｅｎｔ Ｋｉｔ，ＳＤＫ）等の機能手段に位置することもでき、本発明の実施例はこれを限定しない。以下、実施例を挙げて、本発明に係る装置を詳細に説明する。

図２は、本発明の実施例に係る装置構成図であり、該装置は、スマートアシスタント類アプリケーションに設けることができ、図２に示すように、該装置は、意図識別手段００と後序帰還手段１０とを含む。ただし、各構成手段の主な機能が、以下とおりである。

意図識別手段００は、既にユーザへ返信した前序帰還項に対して意図識別を行う。

既にユーザへ返信した前序帰還項は、既にユーザへ返信した最新の１つの帰還項であってもよく、ユーザのあるｑｕｅｒｙに基づいて既にユーザへ返信した全ての帰還項であってもよい。前者の場合に、既にユーザへ返信した最新の１つの帰還項に対して意図識別を行う。後者の場合に、既にユーザへ返信した全ての帰還項に対して全体の意図識別を行う。

具体的に、意図識別手段００は、以下のような方式を採用して、既にユーザへ返信した前序帰還項に対して意図識別を行うことができるが、それらに限定されない。

第１の方式：前序帰還項からキーワードを抽出し、該キーワードに基づいて前序帰還項の意図を確定する。

このような方式において、予め様々な意図タイプに対応するキーワードを設定することができる。前序帰還項からキーワードを抽出した後に、キーワードに基づいて前序帰還項の意図を確定することができる。ただし、１つの意図タイプは、１つ或いは複数のキーワードに対応することができる。

第２の方式：前序帰還項に対して語意分析を行い、前序帰還項の意図を確定する。

予め語意と意図との対応関係を定義し、前序帰還項に対して語意分析を行った後に、語意に対応する意図を前序帰還項の意図として確定することができる。本発明の実施例は、語意分析の具体的な方式を制限しない。

第３の方式：前序帰還項と予め設定されたテンプレートとをマッチングし、マッチングしたテンプレートに対応する意図を前序帰還項の意図として確定する。

第４の方式：予め訓練して得られた機器学習モデルを利用し、前序帰還項に対して意図分析を行い、前序帰還項の意図を得る。

予め意図を標注した各帰還項を訓練サンプルとして、機器学習モデルを訓練することができる。訓練して得られた機器学習モデルを利用して前序帰還項に対して意図識別を行い、前序帰還項の意図を得る。

後序帰還手段１０は、前序帰還項の意図に基づいてユーザへ後序帰還項を返信する。

具体的に、後序帰還手段１０は、タイプ確定手段１１、実体取得手段１２、帰還項確定手段１３及び帰還項返信手段１４を含むことができる。

ただし、タイプ確定手段１１は、前序帰還項の意図に基づいて該意図に対応する後序帰還項のタイプを確定する。

具体的に、タイプ確定手段１１は、予め設定された意図と後序帰還項のタイプとの対応関係に基づき、識別された意図に対応する後序帰還項のタイプを確定することができる。

上記意図と後序帰還項のタイプとの対応関係は、予め人手で設定してもよく、機器学習の方式を採用して予め設定してもよい。

また、タイプ確定手段１１は、後序帰還項のタイプを確定する時に、前序帰還項の意図以外に、更に前序帰還項のタイプ及び／或いは前序帰還項の意図の信頼度を結合してもよい。

例えば、予め確立した対応関係は、前序帰還項のタイプ、意図に対応する後序帰還項のタイプであることができる。即ち、前序帰還項のタイプ及び意図が同時に符合した時に、対応する後序帰還項のタイプを確定できる。

更に例えば、前序帰還項の意図が一定の信頼度要求を満足すれば、該意図に対応する後序帰還項のタイプを確定できる。信頼度が低ければ、続けて後序帰還項を返信しない、即ち後序帰還項を確定する必要がない。

また、タイプ確定手段１１は、後序帰還項のタイプを確定する時に、更にユーザの環境情報を考量することができる。ただし、環境情報は、システム時間、ユーザ設備タイプ及びユーザ設備動作等の少なくとも１つを含むことができる。

実体取得手段１２は、後序帰還項の実体を取得する。

具体的に、実体取得手段１２は、前序帰還項から抽出した実体を後序帰還項の実体とすることができ、或いは、ユーザデータ或いはユーザ環境情報から実体を取得して後序帰還項の実体とすることができる。

帰還項確定手段１３は、後序帰還項の実体及び後序帰還項のタイプを利用して、後序帰還項を確定するために用いられる。

ただし、帰還項確定手段１３が後序帰還項を確定する方式は、以下の２つの方式を含むことができるが、それらに限定されない。

第１の方式：後序帰還項の実体と後序帰還項のタイプを利用して検索項を構造し、検索項に対応する垂直検索結果を取得して後序帰還項とする。

ただし、検索項を構造する時に、後序帰還項のタイプに対応するテンプレートを確定し、後序帰還項の実体を確定されたテンプレートに記入して、検索項を得ることができる。

第２の方式：後序帰還項の実体と後序帰還項のタイプを利用して、制御指令を生成し、制御指令を後序帰還項のタイプに対応するアプリケーションプログラム或いはユーザ設備に送信する。

帰還項返信手段１４は、ユーザへ確定された後序帰還項を返信する。

帰還項返信手段１４は、直接にユーザへ確定された後序帰還項を返信してもよく、ユーザからの返信に基づいてユーザへ返信するかを確定してもよい。

本発明の実施例に関する上記後序帰還項は、テキスト、オーディオ、ビデオ、画像、リンク、アプリケーションプログラム或いはユーザ設備に対する制御イベントを含むことができるが、これに限定されない。

また、帰還項返信手段１４は、既にユーザへ返信した前序帰還項とユーザへ返信する後序帰還項との間に、タンデムスピーチを帰還することができる。

ただし、該タンデムスピーチは、若干の一般的な単語、例えば「次に」、「そして」、「次の帰還項」等であることができる。

タンデムスピーチは余白であってもよく、即ち前序帰還項と後序帰還項との間は余白であってもよい。

タンデムスピーチは若干の符号であってもよく、このような場合は、携帯電話、スマートテレビ等のスクリーンを有する設備に適し、例えば前後の２つの帰還項の間に「〜〜〜〜〜〜〜」を採用して区画することができる。

タンデムスピーチは若干の光と影であってもよく、このような場合は、任意タイプのユーザ設備に適しており、該設備の光源、例えばＬＥＤ等によって、一定の光と影を生成する。例えば前後の２つの帰還項の間に、ＬＥＤ等によって特定色の絞りを生成して、前後の２つの帰還項に対して区画を行うことができる。

タンデムスピーチは若干のオーディオであってもよく、このような場合は、携帯電話、スマートサウンドボックス、スマートテレビ等のスピーカを有する設備に適し、例えば前後の２つの帰還項の間に例えば「ピンポン」等の短いオーディオを採用して区画することができる。

２つの例子を挙げる。

ユーザがスマートサウンドボックスによって「マンチェスター・ユナイテッドの最新の試合はいつですか」とのｑｕｅｒｙを入力した時に、スマートアシスタントは、「マンチェスター・ユナイテッドの最新の試合は、２０１７年１１月２日の０５：００に行い、相手がアーセナルです」との帰還項を返信し、該帰還項を前序帰還項とし、そして、本発明に係った方式を採用して後序帰還項が「２０１７年１１月２日０５：００の試合喚起」であると確定し、スマートアシスタントは、ユーザへ該喚起設定を行うかの提示情報を返信し、ユーザが設定を選択したら、「２０１７年１１月２日０５：００の試合喚起を設置する」との制御指令を生成してスマート目覚ましに送信することで、喚起設定を行う。ユーザが人手で喚起設定を行う必要がなく、明らかに、更にスマート化となり、ユーザーの操作が簡単化される。

ユーザが車載スマートアシスタントによって「おはよう」とのｑｕｅｒｙを入力した時に、スマートアシスタントの返信する帰還項が「今日の天気」であり、即ち今日の天気の情報である。「今日の天気」を前序帰還項とし、発明に係った方式を採用して後序帰還項が「今日の道路交通状況」であると確定し、自動的に当前時間がユーザ出勤時間であることを取得して、自動的にユーザ住宅から会社までの道路交通状況情報を検索してユーザに返信することができる。ユーザが今日の道路交通状況を取得するためのｑｕｅｒｙを入力し、人手で出発地及び目的地を設定する必要がなく、明らかに、更にスマート化となり、ユーザーの操作が簡素化される。

ユーザが携帯電話によって「陳奕迅」を入力した時に、スマートアシスタントにて返信される帰還項が「陳奕迅百科」であり、該帰還項を前序帰還項とし、本発明に係った方式を採用して後序帰還項が「陳奕迅の歌」であると確定し、自動的に陳奕迅の人気歌を検索してユーザに返信する。ユーザは、人手で陳奕迅の歌を検索する必要がなく、直接に該歌の再生を選択することができ、明らかに、更にスマート化となり、更に豊富となり、ユーザーの操作が簡素化される。

図３は、本発明の実施形態を実現するために適応する例示的なコンピュータシステム／サーバ０１２のブロック図を示す。図３に示すコンピュータシステム／サーバ０１２は、１つの例だけであり、本発明の実施例の機能及び使用範囲を制限していない。

図３に示すように、コンピュータシステム／サーバ０１２は、汎用演算設備の形態で表現される。コンピュータシステム／サーバ０１２の構成要素には、１つ又は複数のプロセッサ又は処理ユニット０１６と、システムメモリ０２８と、異なるシステム構成要素（システムメモリ０２８と処理ユニット０１６とを含む）を接続するためのバス０１８を含んでいるが、これに限定されない。

バス０１８は、複数種類のバス構成の中の１つ又は複数の種類を示し、メモリバス又はメモリコントローラ、周辺バス、グラフィック加速ポート、プロセッサ又は複数種類のバス構成でのいずれかのバス構成を使用したローカルバスを含む。例えば、それらの架構には、工業標準架構（ＩＳＡ）バス、マイクロチャンネル架構（ＭＡＣ）バス、増強型ＩＳＡバス、ビデオ電子規格協会（ＶＥＳＡ）ローカルバス及び周辺コンポーネント接続（ＰＣＩ）バスを含んでいるが、これに限定されない。

コンピュータシステム／サーバ０１２には、典型的には複数の種類のコンピュータシステム読取り可能な媒体を含む。それらの媒体は、コンピュータシステム／サーバ０１２にアクセスされて使用可能な任意な媒体であり、揮発性の媒体と不揮発性の媒体や移動可能な媒体と移動不可な媒体を含む。

メモリ０２８には、揮発性メモリ形式のコンピュータシステム読取り可能な媒体、例えばランダムアクセスメモリ（ＲＡＭ）０３０及び／又はキャッシュメモリ０３２を含むことができる。コンピュータシステム／サーバ０１２には、更に他の移動可能／移動不可なコンピュータシステム記憶媒体や揮発性／不揮発性のコンピュータシステム記憶媒体を含むことができる。例として、ストレジ０３４は、移動不可能な不揮発性磁媒体を読み書くために用いられる（図３に示していないが、常に「ハードディスクドライブ」とも呼ばれる）。図３に示していないが、移動可能な不揮発性磁気ディスク（例えば「フレキシブルディスク」）に対して読み書きを行うための磁気ディスクドライブ、及び移動可能な不揮発性光ディスク（例えばＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ又は他の光媒体）に対して読み書きを行うための光ディスクドライブを提供できる。このような場合に、ドライブは、それぞれ１つ又は複数のデータ媒体インターフェースによってバス０１８に接続される。メモリ０２８には少なくとも１つのプログラム製品を含み、該プログラム製品には１組の（例えば少なくとも１つの）プログラムモジュールを含み、それらのプログラムモジュールは、本発明の各実施例の機能を実行するように配置される。

１組の（少なくとも１つの）プログラムモジュール０４２を含むプログラム／実用ツール０４０は、例えばメモリ０２８に記憶され、このようなプログラムモジュール０４２には、オペレーティングシステム、１つの又は複数のアプリケーションプログラム、他のプログラムモジュール及びプログラムデータを含んでいるが、これに限定しておらず、それらの例示での１つ又はある組み合にはネットワーク環境の実現を含む可能性がある。プログラムモジュール０４２は、常に本発明に記載されている実施例における機能及び／又は方法を実行する。

コンピュータシステム／サーバ０１２は、１つ又は複数の周辺設備０１４（例えばキーボード、ポインティングデバイス、ディスプレイ０２４等）と通信を行ってもよく、本発明において、コンピュータシステム／サーバ０１２は外部レーダ設備と通信を行い、ユーザと該コンピュータシステム／サーバ０１２とのインタラクティブを実現することができる１つ又は複数の設備と通信を行ってもよく、及び／又は該コンピュータシステム／サーバ０１２と１つ又は複数の他の演算設備との通信を実現することができるいずれかの設備（例えばネットワークカード、モデム等）と通信を行っても良い。このような通信は入力／出力（Ｉ／Ｏ）インターフェース０２２によって行うことができる。そして、コンピュータシステム／サーバ０１２は、ネットワークアダプタ０２０によって、１つ又は複数のネットワーク（例えばローカルエリアネットワーク（ＬＡＮ）、広域ネットワーク（ＷＡＮ）及び／又は公衆回線網、例えばインターネット）と通信を行っても良い。図に示すように、ネットワークアダプタ０２０は、バス０１８によって、コンピュータシステム／サーバ０１２の他のモジュールと通信を行う。当然のことながら、図３に示していないが、コンピュータシステム／サーバ０１２と連携して他のハードウェア及び／又はソフトウェアモジュールを使用することができ、マイクロコード、設備ドライブ、冗長処理手段、外部磁気ディスクドライブアレイ、ＲＡＩＤシステム、磁気テープドライブ及びデータバックアップストレジ等を含むが、これに限定されない。

プロセッサ０１６は、メモリ０２８に記憶されているプログラムを実行することで、様々な機能応用及びデータ処理、例えば本発明に記載されている実施例における方法フローを実現する。

上記のコンピュータプログラムは、コンピュータ記憶媒体に設けることができ、即ち該コンピュータ記憶媒体にコンピュータプログラムが記憶されており、該プログラムが１つ又は複数のコンピュータに実行される時に、１つ又は複数のコンピュータに本発明の上記の実施例に記載されている方法フロー及び／又は装置操作を実行させる。例えば、上記１つ或いは複数のプロセッサによって本発明の実施例における方法フローを実行する。

時間と技術の発達に伴い、メディアの意味もますます広がり、コンピュータプログラムの伝送方式も、具体的なメディアに限らず、ネットワーク等から直接ダウンロードすることもできる。１つ又は複数のコンピューター読み取り可能な媒体の任意な組合を採用しても良い。コンピューター読み取り可能な媒体は、コンピューター読み取り可能な信号媒体又はコンピューター読み取り可能な記憶媒体である。コンピューター読み取り可能な記憶媒体は、例えば、電気、磁気、光、電磁気、赤外線、又は半導体のシステム、装置又はデバイス、或いは上記ものの任意な組合であるが、これに限定されない。コンピューター読み取り可能な記憶媒体の更なる具体的な例（網羅していないリスト）には、１つ又は複数のワイヤを具備する電気的な接続、携帯式コンピュータ磁気ディスク、ハードディクス、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、消去可能なプログラマブルリードオンリーメモリ（ＥＰＲＯＭ又はフラッシュ）、光ファイバー、携帯式コンパクト磁気ディスクリードオンリーメモリ（ＣＤ−ＲＯＭ）、光メモリ部材、磁気メモリ部材、又は上記ものの任意で適当な組合を含む。本願において、コンピューター読み取り可能な記憶媒体は、プログラムを含む又は記憶する任意な有形媒体であってもよく、該プログラムは、命令実行システム、装置又はデバイスに使用される又はそれらと連携して使用されるができる。

コンピューター読み取り可能な信号媒体には、ベースバンドにおいて伝搬されるデータ信号或いはキャリアの一部として伝搬されるデータ信号を含み、それにコンピューター読み取り可能なプログラムコードが載っている。このような伝搬されるデータ信号は、複数種類の形態を採用でき、電磁気信号、光信号又はそれらの任意で適当な組合を含んでいるが、これに限定されない。コンピューター読み取り可能な信号媒体は、コンピューター読み取り可能な記憶媒体以外の任意なコンピューター読み取り可能な媒体であってもよく、該コンピューター読み取り可能な媒体は、命令実行システム、装置又はデバイスによって使用される又はそれと連携して使用されるプログラムを送信、伝搬又は転送できる。

コンピューター読み取り可能な媒体に記憶されたプログラムコードは、任意で適正な媒体によって転送されてもよく、無線、電線、光ケーブル、ＲＦ等、又は上記ものの任意で適当な組合が含まれているが、これに限定されない。

１つ又は複数の種類のプログラミング言語又はそれらの組合で、本発明の操作を実行するためのコンピュータプログラムコードを編集することができ、前記プログラミング言語には、オブジェクト向けのプログラミング言語、例えばＪａｖａ、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋が含まれ、通常のプロシージャ向けプログラミング言語、例えば「Ｃ」言葉又は類似しているプログラミング言語も含まれる。プログラムコードは、完全的にユーザコンピュータに実行されてもよく、部分的にユーザコンピュータに実行されてもよく、１つの独立のソフトウェアパッケージとして実行されてもよく、部分的にユーザコンピュータに実行され且つ部分的に遠隔コンピュータに実行されてもよく、又は完全的に遠隔コンピュータ又はサーバに実行されてもよい。遠隔コンピュータに係る場合に、遠隔コンピュータは、ローカルエリアネットワーク（ＬＡＮ）又は広域ネットワーク（ＷＡＮ）を含む任意の種類のネットワークを介して、ユーザコンピュータ、又は、外部コンピュータに接続できる（例えば、インターネットサービス事業者を利用してインターネットを介して接続できる）。

本発明における幾つかの実施例において、開示されたデバイス、装置と方法は、他の方法で開示され得ることを理解されたい。例えば、上述した装置は単なる例示に過ぎず、例えば、前記手段の分割は、論理的な機能分割のみであり、実際には、別の方法で分割することもできる。

以上は、本発明の好ましい実施例のみであり、本発明を制限しなく、本発明の精神および原則の範囲内で行われた変更、同等の置換、改善等は、全て本発明の請求の範囲に含めるべきである。

Claims (14)

1. スマートインタラクティブの処理方法であって、
   既にユーザへ返信した前序帰還項に対して意図識別を行うこと、
   前記前序帰還項の意図に基づいて、続けてユーザへ後序帰還項を返信すること、を含み、
   前記前序帰還項の意図に基づいて、ユーザへ後序帰還項を返信することは、
   該意図に対応する後序帰還項のタイプを確定すること、
   後序帰還項の実体を取得すること、
   前記後序帰還項の実体及び前記後序帰還項のタイプを利用して、ユーザへ返信する後序帰還項を確定すること、を含み、
   ここで、前記該意図に対応する後序帰還項のタイプを確定することは、
   予め設定された意図と後序帰還項のタイプとの対応関係に基づき、識別された意図に対応する後序帰還項のタイプを確定すること、を含み、
   ここで、前記後序帰還項の実体を取得することは、
   前記前序帰還項の一部のキーワードを実体として抽出し、当該実体を後序帰還項の実体とすること、或いは、
   ユーザデータ或いはユーザ環境情報からそれらの一部のキーワードを実体として取得して後序帰還項の実体とすること、を含み、
   ここで、前記後序帰還項の実体及び前記後序帰還項のタイプを利用して、後序帰還項を確定することは、
   前記後序帰還項の実体及び前記後序帰還項のタイプを利用して検索用句を構成すること、
   前記検索用句に対応するバーティカル検索結果を取得して前記後序帰還項とすること、を含み、
   前記後序帰還項の実体及び前記後序帰還項のタイプを利用して検索用句を構成することは、
   前記後序帰還項のタイプに対応するテンプレートを確定すること、
   前記後序帰還項の実体を確定されたテンプレートに記入して、検索用句を得ること、含む
   ことを特徴とするスマートインタラクティブの処理方法。
2. 前記既にユーザへ返信した前序帰還項に対して意図識別を行うことは、
   前記前序帰還項からキーワードを抽出し、該キーワードに基づき前記前序帰還項の意図を確定すること、或いは、
   前記前序帰還項に対して語意分析を行い、前記前序帰還項の意図を確定すること、或いは、
   前記前序帰還項を予め設定されたテンプレートにマッチングし、マッチングしたテンプレートに対応する意図を前記前序帰還項の意図として確定すること、或いは、
   予め訓練して得られた機器学習モデルを利用し、前記前序帰還項に対して意図分析を行い、前記前序帰還項の意図を得ること、を含む
   ことを特徴とする請求項１に記載のスマートインタラクティブの処理方法。
3. 前記対応関係は前序帰還項のタイプを更に含み、
   該方法は、前記既にユーザへ返信した前序帰還項のタイプを確定すること、を更に含み、
   前記予め設定された意図と後序帰還項のタイプとの対応関係に基づき、識別された意図に対応する後序帰還項のタイプを確定することは、
   前記前序帰還項のタイプ及び前序帰還項の意図に基づいて前記対応関係を問い合わせ、対応する後序帰還項のタイプを確定すること、を含み、
   前記既にユーザへ返信した前序帰還項のタイプを確定することは、
   予め設定された意図と前序帰還項のタイプとの対応関係に基づき、識別された意図に対応する前序帰還項のタイプを確定すること、を含む
   ことを特徴とする請求項１に記載のスマートインタラクティブの処理方法。
4. 前記該意図に対応する後序帰還項のタイプを確定する前に、
   前記前序帰還項の意図信頼度が予め設けられた信頼度に関する要求を満足するかを判断し、満足すれば、前記該意図に対応する後序帰還項のタイプを確定することを続けて実行すること、を更に含む
   ことを特徴とする請求項１に記載のスマートインタラクティブの処理方法。
5. 識別された意図に対応する後序帰還項のタイプを確定する時に、前記ユーザの環境情報も参考にする
   ことを特徴とする請求項１に記載のスマートインタラクティブの処理方法。
6. 前記ユーザの環境情報は、システム時間、ユーザ設備タイプ及びユーザ設備動作の中の少なくとも１つを含む
   ことを特徴とする請求項５に記載のスマートインタラクティブの処理方法。
7. 前記ユーザへ後序帰還項を返信することは、
   直接に前記ユーザへ確定された後序帰還項を返信すること、或いは、
   ユーザからの返信に基づいて、ユーザへ確定された後序帰還項を返信するかを確定することを、含む
   ことを特徴とする請求項１に記載のスマートインタラクティブの処理方法。
8. 前記後序帰還項は、
   テキスト、オーディオ、ビデオ、画像、リンク、及びアプリケーションプログラム又はユーザ設備に対する制御イベントを含む
   ことを特徴とする請求項１に記載のスマートインタラクティブの処理方法。
9. スマートインタラクティブの処理装置であって、
   既にユーザへ返信した前序帰還項に対して意図識別を行う意図識別手段と、
   前記前序帰還項の意図に基づいて、ユーザへ後序帰還項を返信する後序帰還手段と、を含み、
   前記後序帰還手段は、
   前記前序帰還項の意図に基づいて、該意図に対応する後序帰還項のタイプを確定するタイプ確定手段と、
   後序帰還項の実体を取得する実体取得手段と、
   前記後序帰還項の実体及び前記後序帰還項のタイプを利用して、後序帰還項を確定する帰還項確定手段と、
   前記ユーザへ確定された後序帰還項を返信する帰還項返信手段と、を含み、
   前記タイプ確定手段は、
   予め設定された意図と後序帰還項のタイプとの対応関係に基づき、識別された意図に対応する後序帰還項のタイプを確定すること、を具体的に実行し、
   前記実体取得手段は、
   前記前序帰還項の一部のキーワードを実体として抽出し、当該実体を後序帰還項の実体とすること、或いは、
   ユーザデータ或いはユーザ環境情報からそれらの一部のキーワードを実体として取得して後序帰還項の実体とすること、を具体的に実行し、
   前記帰還項確定手段は、
   前記後序帰還項の実体と前記後序帰還項のタイプを利用して検索用句を構成し、前記検索用句に対応するバーティカル検索結果を取得して前記後序帰還項とすること、を具体的に実行し、
   前記帰還項確定手段は、さらに、
   前記後序帰還項のタイプに対応するテンプレートを確定し、
   前記後序帰還項の実体を確定されたテンプレートに記入して、検索用句を得る、
   ことを特徴とするスマートインタラクティブの処理装置。
10. 前記意図識別手段は、
    前記前序帰還項からキーワードを抽出し、該キーワードに基づき前記前序帰還項の意図を確定すること、或いは、
    前記前序帰還項に対して語意分析を行い、前記前序帰還項の意図を確定すること、或いは、
    前記前序帰還項を予め設定されたテンプレートにマッチングし、マッチングしたテンプレートに対応する意図を前記前序帰還項の意図として確定すること、或いは、
    予め訓練して得られた機器学習モデルを利用し、前記前序帰還項に対して意図分析を行い、前記前序帰還項の意図を得ること、を具体的に実行する
    ことを特徴とする請求項９に記載のスマートインタラクティブの処理装置。
11. 前記タイプ確定手段は、識別された意図に対応する後序帰還項のタイプを確定する時に、前記ユーザの環境情報も参考にする
    ことを特徴とする請求項９に記載のスマートインタラクティブの処理装置。
12. 前記後序帰還手段は、
    直接に前記ユーザへ確定された後序帰還項を返信すること、或いは、
    ユーザからの返信に基づいて、ユーザへ確定された後序帰還項を返信するかを確定すること、を具体的に実行する
    ことを特徴とする請求項９に記載のスマートインタラクティブの処理装置。
13. 設備であって、
    １つ又は複数のプロセッサと
    １つ又は複数のプログラムを記憶する記憶装置と、を含み、
    前記１つ又は複数のプログラムが前記１つ又は複数のプロセッサによって実行される時に、前記１つ又は複数のプロセッサに請求項１乃至８中のいずれか１項に記載の方法を実現させる
    ことを特徴とする設備。
14. コンピュータ実行可能な指令を含む記憶媒体であって、
    前記コンピュータ実行可能な指令がコンピュータプロセッサによって実行される時に、請求項１乃至８のいずれか１項に記載の方法を実行する
    ことを特徴とする記憶媒体。

Images