JP2024542416A - 人工知能ベースの質問回答システムの要約を生成する方法、システム、プログラム - Google Patents

Abstract

人工知能ベースの質問回答システムの要約を生成する方法、システム、およびプログラムが、本明細書で提供される。コンピュータ実装方法は、少なくとも１つのテスト・エンジンを使用して、テーブル形式データに対して少なくとも１つの所与の人工知能ベースの質問回答システムを処理することと、処理に基づいて、特定のテーブル形式データに関連して少なくとも１つの所与の人工知能ベースの質問回答システムに帰属する精度値を生成することと、処理に基づいて、特定のテーブル形式データに対して少なくとも１つの所与の人工知能ベースの質問回答システムによって対処可能であると判定されたクエリのセットを生成することと、精度値および対処可能であると判定されたクエリに基づいて、少なくとも１つの所与の人工知能ベースの質問回答システムの少なくとも１つの人間可読要約を生成することと、少なくとも１つの人間可読要約に基づいて、１つまたは複数の自動化されたアクションを実行することとを含む。

Description

本出願は一般に情報技術に関し、より詳細にはデータ処理技術に関する。より具体的には、人工知能（ＡＩ）ファクトシートは、異なる候補モデル間の比較を標準化するためにますます使用されるようになっている。本明細書で使用される場合、ＡＩファクトシートとは、所与のモデルに関する関連情報を取り込むために情報テンプレートを標準化する試みを表現し、エンド・ユーザ間での情報に基づく再利用性のための信頼性、透明性、および比較公平性を促進することを目的とするものである。しかしながら、従来のデータ処理手法では、例えば、あるテーブルと、そのテーブル上で回答可能な自然言語の質問とを受け取って、テーブルから正しい答えを見つけることを目的とする、ＴａｂｌｅＱＡシステムなど、他の人工知能ベースのツール向けのＡＩファクトシートに相当するものを提供することができない。

本発明の一実施形態では、人工知能ベースの質問回答システムのためのファクトシートを自動的に生成する技術が提供される。例示的なコンピュータ実装方法は、少なくとも１つのテスト・エンジンを使用して、テーブル形式データに対して少なくとも１つの所与の人工知能ベースの質問回答システムを処理することと、少なくとも１つの所与の人工知能ベースの質問回答システムの処理に少なくとも部分的に基づいて、特定のテーブル形式データに関連して少なくとも１つの所与の人工知能ベースの質問回答システムに帰属する１つまたは複数の精度値を生成することとを含むことができる。方法はまた、少なくとも１つの所与の人工知能ベースの質問回答システムの処理に少なくとも部分的に基づいて、特定のテーブル形式データに対して少なくとも１つの所与の人工知能ベースの質問回答システムによって対処可能であると判定された１つまたは複数のクエリのセットを生成することを含む。加えて、方法は、１つまたは複数の精度値および対処可能であると判定された１つまたは複数のクエリに少なくとも部分的に基づいて、少なくとも１つの所与の人工知能ベースの質問回答システムの少なくとも１つの人間可読要約を生成することと、少なくとも１つの人間可読要約に少なくとも部分的に基づいて、１つまたは複数の自動化されたアクションを実行することとを含む。

本発明の別の実施形態またはその要素は、コンピュータ可読命令を有形に具体化するコンピュータ・プログラム製品の形態で実装することが可能であり、コンピュータ可読命令は、実施されると、本明細書で説明されるように、コンピュータに複数の方法ステップを実行させる。さらには、本発明の別の実施形態またはその要素は、メモリと、そのメモリに結合され、上記の方法ステップを実行するように構成された少なくとも１つのプロセッサとを含むシステムの形態で実装することができる。なお、さらには、本発明の別の実施形態またはその要素は、本明細書で説明される方法ステップを実行するための手段またはその要素の形態で実装することが可能である。手段は、ハードウェア・モジュール、またはハードウェア・モジュールとソフトウェア・モジュールとの組合せを含むことが可能であり、ソフトウェア・モジュールは、有形なコンピュータ可読記憶媒体（または複数のそのような媒体）に記憶される。

本発明のこれらおよび他の目的、特徴および利点は、添付の図面と合わせて読まれる、以下の例示的な実施形態の詳細な説明から明らかとなろう。

本発明の実施形態による、システム・アーキテクチャの図である。 本発明の実施形態による、ユニバーサル・テスト・エンジン（ＵＴＥ）アーキテクチャを含むシステム・アーキテクチャを示す図である。 本発明の例示的な実施形態による、クエリ生成制御モジュールを示す図である。 本発明の例示的な実施形態による、技術を描いたフロー図である。 本発明の少なくとも１つの実施形態を実装することが可能な例示的なコンピュータ・システムのシステム図である。 本発明の例示的な実施形態による、クラウド・コンピューティング環境の図である。 本発明の例示的な実施形態による、抽象的なモデル・レイヤの図である。

本明細書で説明するように、本発明の一実施形態は、人工知能ベースの質問回答システムのためのファクトシートを自動的に生成することを含む。例として、少なくとも１つの実施形態は、１つまたは複数の質問回答システム（例えば、ＴａｂｌｅＱＡシステム）のための少なくとも１つのファクトシートを、所与のテーブルに関して自動的に生成することを含むことができる。このような実施形態は、様々な質問の複雑さのために、あらゆるブラックボックスなＴａｂｌｅＱＡシステムＳをテストするためにＵＴＥを生成すること、または実装すること、あるいはその両方を含む。したがって、このような実施形態では、ＴａｂｌｅＱＡシステムＳおよびテーブルＴが与えられると、ＵＴＥは複数の出力を生成する。例えば、このような出力には、ＵＴＥによって自動生成された様々な複雑さのクエリに関してテーブルＴが与えられた場合の、システムＳの、異なる複雑さの次元に渡る精度を含め、全体的な精度の判定を含むことができる。このような精度の判定は、例えば、自然言語質問の少なくとも１つの標準化されたテスト・ベッドに基づいて測定することができる。加えて、ＵＴＥ出力は、システムＳがテーブルＴで扱うことが期待される例示的なクエリを含むことができる。さらに、このような実施形態は、ＴａｂｌｅＱＡシステムＳを改善するために、人間理解可能要約（human understandable summary）を生成することも含む。

単に例および説明として、このような要約は、以下のような記述を含むことができる：このシステムは、単純な検索クエリを高い精度で扱い、また集計に明確に言及するいくつかの単純な集計クエリを扱う。このシステムは自然言語の言い換えを理解するが、略語または非正確一致を伴う言い換えに関するクエリを扱うことはできない。このシステムは、回答不可能なクエリを認識せず、約５１２セルを超えるデータ量を持つテーブルでは失敗する。

したがって、１つまたは複数の実施形態は、所与のＴａｂｌｅＱＡシステムの現在の能力をユーザに周知させることを含むことができる。加えて、このような実施形態は、所与のクエリ・シートの周りでアプリケーション・プログラミング・インターフェース（ＡＰＩ）を生成すること、または利用すること、あるいはその両方を含む。本明細書で使用される場合、クエリ・シートは、所与のシステムが正しく回答するようにテストされたクエリの多様なセットを含む。例えば、システムＳが特定のクエリＱを扱うことができるかどうかを問い合わせる場合、所与のクエリ・シート内でクエリＱを探索するようにＡＰＩを実装することができる。

ＡＩベースのＱＡシステムには、例えば、システムが回答できるクエリのタイプ、システムが認識できる自然言語の言い回しの種類、システムによって暗黙的に推測できることと（システムに対して）明示的に述べるべきことの違い、およびシステムが回答不可能なクエリを検出できるかどうかなど、様々な暗黙的な重要性がある。例えば、クエリ・タイプには、以下を挙げることができる：単一のテーブルに対する単純なｐｒｏｊｅｃｔクエリ、単一のテーブルに対するｓｅｌｅｃｔ（ｆｉｌｔｅｒ）－ｐｒｏｊｅｃｔクエリ（ここで、フィルタリングは、例えば、エンティティ名、数値比較、時間ベース・フィルタなどに関するものであり得る）、単一のテーブルに対するａｇｇｒｅｇａｔｉｏｎ－ｓｅｌｅｃｔ－ｐｒｏｊｅｃｔクエリ（例えば、合計、平均、最大値、最小値などの演算など）、複数のテーブルに対するａｇｇｒｅｇａｔｉｏｎ－ｓｅｌｅｃｔ－ｐｒｏｊｅｃｔ－ｊｏｉｎクエリ、複数のテーブルに対するａｇｇｒｅｇａｔｉｏｎ－ｓｅｌｅｃｔ－ｐｒｏｊｅｃｔ－ｊｏｉｎ－ｇｒｏｕｐ－ｂｙ／ｏｒｄｅｒ－ｂｙ／ｈａｖｉｎｇクエリ、入れ子クエリなど。

さらに、自然言語言い回しサポートは、例えば「３０を超える（more than 30）」と「３０より上（above 30）」、「合計金額（total amount）」と「合計金額（sum amount）」などのエイリアス言い回しに関して、また例えば「合計金額（total amount）」と「合計金額（amount in total）」など、引数の位置に関して与えられ得る。また、システムの暗黙的な能力とその明示的なステートメントの必要性との違いは、例えば、時間フィルタ引数（例えば、「２０１９年中のローン（loans in 2019）」と「２０１９年に開始日があるローン（loan with start date in 2019）」との違い）、集計引数（例えば、「平均ローン（average loans）」と「ローンの平均額（average amount of loans）」との違い）、およびエンティティ・リンキングまたは略語あるいはその両方に、少なくとも部分的に基づくことができる。

図１は、本発明の実施形態による、システム・アーキテクチャを示す図である。例として、図１は、ファクトシート生成器および拡張ＡＰＩ１０５の中に、テーブルＴ１０４を入力とし、異なるテスト・ケースをカバーする異なるカテゴリの質問を生成して、一様なテスト・ベッドＱＳを作成する、ユニバーサル・テスト・エンジン１０８を描いている。ユーザ１０２は、ＱＡシステムＳ１０６をテストするために、このようなクエリをいくつ使用できるかに関するバジェット情報をユニバーサル・テスト・エンジン１０８に提供することができ、その結果、テスト・ベッド・サイズを決定する支援を行うことができる。すべてのこのようなクエリは、ＱＳに関するＱＡシステムＳ１０６のパフォーマンスを評価するために、クエリ評価器１１０に送られる。クエリ評価器１１０の出力は、２つのファクトシート・コンポーネント、すなわち、ＱＡシステムＳ１０６によって正しく回答されたクエリを取り込むクエリ・シート１１４、およびテスト・ベッド中の異なるカテゴリのクエリに対するＱＡシステムＳ１０６のパフォーマンスを記述する精度シート１１６を作成するために使用される。クエリ・シート１１４および精度シート１１６によって生成されたレポートに基づいて、ユーザ１０２はクラウドベースのＡＰＩ１１８を実行し、システム・パフォーマンスを向上させることができる。

少なくとも１つの例示的な実施形態では、ｇｅｎｅｒａｔｅ ｔｒａｉｎｉｎｇ ｅｘａｍｐｌｅ ＡＰＩ（ＡＰＩ１）およびｉｍｐｒｏｖｅ ＱＡ ｐｅｒｆｏｒｍａｎｃｅ ＡＰＩ（ＡＰＩ２）を含む、少なくとも２つのこのような高レベルＡＰＩが存在する可能性がある。ｇｅｎｅｒａｔｅ ｔｒａｉｎｉｎｇ ｅｘａｍｐｌｅ ＡＰＩ（ＡＰＩ１）に関して、ユーザ１０２は、システム・パフォーマンスに関してさらに精査するため、またはシステム・パフォーマンスを向上させるため、あるいはその両方のために、彼または彼女自身の訓練例（ｔｒａｉｎｉｎｇ ｅｘａｍｐｌｅ）のセットを（クエリ評価器１１０に）提供することができる。ｉｍｐｒｏｖｅ ＱＡ ｐｅｒｆｏｒｍａｎｃｅ ＡＰＩ（ＡＰＩ２）に関して、ユーザ１０２は、（自己教師あり訓練コンポーネント１１２を介して）自己教師ありベースの訓練例生成メカニズムを開始することができ、これはシステムＳ１０６が失敗したクエリ・カテゴリに関してより多くの訓練例を生成するため、システムＳ１０６の全体的なパフォーマンスを向上させる可能性が高い。

図２は、本発明の実施形態による、ＵＴＥアーキテクチャを含むシステム・アーキテクチャを示す図である。例として、図２は、ファクトシート生成器および拡張ＡＰＩ２０５の中に、ＱＡシステムＳ２０６をテストする様々な側面をカバーするクエリを生成することを目的としたユニバーサル・テスト・エンジン２０８のコンポーネントを描いている。例えば、バジェットベースのクエリ生成（ＱＧ）プラン２２０は、ユーザ２０２によって与えられるバジェット情報に応じて、異なるクエリ・タイプの比率をインテリジェントに選択する。絞り込まれたＱＧ２２２は、コンポーネント２２０によって決定されたバジェット計画に従った、異なるカテゴリの絞り込まれた（focused）クエリ生成を実行する。敵対的言い換え２２４は、コンポーネント２２２によって生成された質問の言い換えを導入して、自然言語クエリに敵対的ノイズを導入し、言い回しが異なる場合の自然言語クエリの理解または取り扱いあるいはその両方に関してＱＡシステムＳ２０６のパフォーマンスをテストすることを目的とする。テーブル摂動を伴うＱＧ２２６はさらに、テーブル構造に関連付けられる異なる複雑さを導入するために、入力テーブルＴ２０４に摂動を与えることによって異なるタイプのテーブルに対してＱＡシステムＳ２０６のパフォーマンスをテストしようと試みる。

ＱＡシステムＳ２０６のパフォーマンスに基づいて、インテリジェント・クエリ要約化２３０は、クエリ・シート２１４に入れられる動作クエリのサブセット、精度シート２１６中の精度レポート、さらにｇｅｎｅｒａｔｅ ｓｕｍｍａｒｙコンポーネント２２８に関連して、動作クエリ対非動作クエリのタイプに関する人間可読要約２１７を選択することによって、パフォーマンスを要約する。要約２１７は、人間ユーザがテキスト記述を通じてＱＡシステムＳ２０６のパフォーマンスを理解することを目的としている。図２にも描かれるように、フィードバック用の拡張ＡＰＩ２３２は、ユーザ２０２によって与えることができ、クラウドＡＰＩ２１８は、クラウドＡＰＩ１１８に関連して図１で説明したのと同様に機能する。

本明細書で詳述するように、少なくとも１つの実施形態は、絞り込まれたクエリ生成を含む。このような実施形態は、あるテーブルが与えられることに関連付けられて質問と回答のペアを生成することを含む。加えて、または代替として、このような実施形態は、１つまたは複数の調整可能な制御で質問を生成することを含むことができ、これは、所与のテーブルに少なくとも１つのサンプル構造クエリ言語（ＳＱＬ）を使用すること、およびこのようなＳＱＬコンテンツを少なくとも１つの自然言語質問に翻訳することを含むことができる。調整可能な制御に関して、１つまたは複数の実施形態では、そのような制御として以下を挙げることができる：集計（例えば、ＳＵＭ、ＡＶＧ、ＣＯＵＮＴ、ＭＩＮ、ＭＡＸなど）、ＷＨＥＲＥ条件の数、入れ子クエリ（例えば、ｇｒｏｕｐ ｂｙ、ｈａｖｉｎｇなど）、不等式条件（例えば、より大きい（greater than）、より小さい（less than）、等しくない（not equal）など）、行順依存性（例えば、最初（first）、最後（last）、次（next）など）、マルチセル対シングルセルの回答、選び取る列と行のタイプ（例えば、テキスト対数値、固有表現認識（ＮＥＲ：ｎａｍｅｄ ｅｎｔｉｔｙ ｒｅｃｏｇｎｉｔｉｏｎ）によって識別される列カテゴリなど）、略語または同義語あるいはその両方の使用など。

また、本明細書でさらに説明されるように（例えば、以下の図３に関連して）、１つまたは複数の実施形態は、バジェットベースのスマート・クエリ配信を含む。例えば、ＱＧシステムはテーブルごとに多くの（例えば、数千もの）質問を生成することができるが、そのような生成されたすべての質問でＴａｂｌｅＱＡシステムをテストすることはコスト的に不可能かもしれない。したがって、少なくとも１つの実施形態は、一定数の事例に関してＴａｂｌｅＱＡシステムを決定すること、および使用することを含むことができる。

図３は、本発明の例示的な実施形態による、クエリ生成制御モジュールを示す図である。例として、図３は、テーブル３５０のリストと既に生成された質問に関する（ＴａｂｌｅＱＡシステム３５６からの）１つまたは複数の予測とが与えられると、テーブルの１つと、次に生成する質問のタイプを定義する１つまたは複数の制御パラメータのセットとを選択する、ＱＧ制御モジュール３５２を描いている。選択されたテーブルはＴａｂｌｅＱＡシステム３５６に与えられ、一方、制御パラメータのセットは質問生成器３５４に提供され、この質問生成器３５４は少なくとも１つの質問－回答のペアを生成してＴａｂｌｅＱＡシステム３５６に与える。加えて、ＴａｂｌｅＱＡシステム３５６は、質問生成器３５４によって与えられた少なくとも１つの質問－回答のペアに関連する１つまたは複数の予測を生成して、ＱＧ制御モジュール３５２に戻すことができる。

質問－回答のペアの生成は、１つまたは複数の実施形態において、規則ベースの技術を使用することを含むことができ、そのような実施形態は、１つまたは複数の単純な質問から開始し、モデルがうまく機能すれば、より複雑な質問に移る。あるいは、例えば、モデルが２節の質問で失敗した場合、そのような実施形態は３節または４節の質問を生成しない。また、１つまたは複数の実施形態は、所与のバジェットに関連してカバーされる質問のタイプの最小セットを利用すること、および生成される質問のタイプに従ってテーブルを選択すること（例えば、サイズ、数値対テキストなど）を含むことができる。さらに、少なくとも１つの実施形態は、過去のパフォーマンスを分析することによって、所与のタイプの質問に対してモデルがどのように動作するかを推定する確率論的なシステムを実装することを含むことができる。そのような実施形態は、システムが（過去に回答することに関して）不確かである質問、または不確かであった質問、あるいはその両方の質問の生成を強調することを含むことができる。

本明細書でも詳述するように（例えば、図２のコンポーネント２３０に関連して）、少なくとも１つの実施形態は、インテリジェント・クエリ要約化を含む。単に例として、どのようなタイプのクエリがモデルで動作するかを要約するために、ユーザが数字（例えば、１００）を与える例示のユースケースを考える。例示的な実施形態では、要約化は、その例がすべてのテスト・セグメントをカバーし、またそのタイプが多様であるような、動作クエリのサブセットを（例えば、ＵＴＥ生成のクエリから）選択するべきである。したがって、このような実施形態は、テスト・セグメントごとに、ＵＴＥにおけるのと同様に相応数のテスト・ケースを選択することを含むことができるが、ユーザが与えたバジェット（すなわち１００）を使用してスケーリングされる。例えば、このような選択には、２５％の単純検索テスト・ケース、２０％の単純集計テスト・ケース、１５％の高度なクエリ・テスト・ケース、１５％の言い換えテスト・ケース、１５％の非正確一致テスト・ケース、および１０％の略語テスト・ケースが含まれ得る。特定のセグメントが完全に失敗した場合（例えば、略語テスト・ケース）、テスト・ケースのこの配分は、他のすべてのセグメントに分散される（例えば、均等に分散される）。

加えて、または代替として、テスト・セグメントごとに、１つまたは複数の実施形態は、入力テーブルＴの完全なテスト空間をカバーするために、必要なプロパティおよび演算の最小のペアワイズ重複を有するクエリのサブセットを選択することを含むことができる。例えば、集計クエリで使用される数値プロパティは、バジェット制約のために検索クエリのテストに再使用されない可能性がある。

また、少なくとも１つの実施形態は、言い換え生成も含む。このような実施形態には、エンティティ・タイプによるエンティティ一致、および特定のアクション演算子による自然言語言い回しをマスク化することが含まれる。例えば、このようなマスクは、エンティティ（例えば、人、会社など）、固有表現、数値エンティティ、数値比較演算子、集計演算子、数値などに関連することができる。加えて、または代替として、このような実施形態は、１つまたは複数の適用可能なマスクを使用して自然言語クエリをマスク化することを含むことができる。例として、以下を考える：「Ｓｈｏｗ ｍｅ ｃｏｍｐａｎｉｅｓ ｉｎ Ｃａｌｉｆｏｒｎｉａ」は、「Ｓｈｏｗ ｍｅ ［エンティティ］ ｉｎ ［固有表現］」と読めるようにマスク化することができ、「Ｗｈａｔ ｉｓ ｔｈｅ ａｖｅｒａｇｅ ｓａｌａｒｙ ｏｆ ｐｅｒｓｏｎｓ ｗｉｔｈ ａｎ ａｇｅ ｏｆ ｍｏｒｅ ｔｈａｎ ３０」は、「Ｗｈａｔ ｉｓ ｔｈｅ ［集計演算子］ ［数値エンティティ１］ ｏｆ ［エンティティ］ ｗｉｔｈ ［数値エンティティ２］ ［数値比較演算子］ ［数値］」と読めるようにマスク化することができる。

また、１つまたは複数の実施形態は、少なくとも１つの高レベル文法を使用すること、または、クエリのタイプごとに、そのタイプのクエリを生成するためにマスク化されたテンプレートのセットを実装することができるように、マスク化されたクエリに対して言語モデルを学習すること、あるいはその両方を含むことができる。このようなクエリとしては、例えば以下を挙げることができる：例えば「Ｓｈｏｗ ｍｅ［エンティティ］」などの単一テーブルに対する単純なｐｒｏｊｅｃｔクエリ；例えば「Ｓｈｏｗ ｍｅ［エンティティ］ｏｆ［固有表現］｜Ｓｈｏｗ ｍｅ［エンティティ］ｗｉｔｈ［数値エンティティ］［数値比較演算子］［数値］｜、」などの単一テーブルに対するｓｅｌｅｃｔ（ｆｉｌｔｅｒ）－ｐｒｏｊｅｃｔクエリ；例えば「Ｓｈｏｗ ｍｅ［集計］［数値エンティティ］ｏｆ［固有表現］」などの単一テーブルに対するａｇｇｒｅｇａｔｉｏｎ－ｓｅｌｅｃｔ－ｐｒｏｊｅｃｔクエリ；例えば「Ｓｈｏｗ ｍｅ［集計］［数値エンティティ］ｏｆ［固有表現］ｂｙ［エンティティ］｜Ｓｈｏｗ ｍｅ ｔｏｐ［数値］［エンティティ］ｂｙ［数値エンティティ］」などの複数のテーブルに対するａｇｇｒｅｇａｔｉｏｎ－ｓｅｌｅｃｔ－ｐｒｏｊｅｃｔ－ｊｏｉｎ－ｇｒｏｕｐ－ｂｙ／ｏｒｄｅｒ－ｂｙ／ｈａｖｉｎｇクエリ。

また、マスク化されたエンティティ・タイプごとに、少なくとも１つの実施形態は、同じテンプレートから自然言語クエリの変形を生成する可能性を変化させることを含むことができる。例として、このような実施形態は、一意な部分単語を使用することによって非正確一致を導入すること、少なくとも１つの語彙データベースおよび／もしくはシソーラスを使用することによってより広義の同義語を導入すること、または省略された言及を持つｆｉｌｔｅｒおよび／もしくはｓｅｌｅｃｔ節候補を導入すること、あるいはその組合せを含むことができる。

加えて、少なくとも１つの実施形態は、テーブル摂動に関するパフォーマンス分析を含む。あるテーブルＴが与えられると、このような実施形態は、合成行ｒを追加することを含む（ここで、ｒ中の各列ｃの値は、元のテーブルＴのｃのデータ分布を見て生成される）。このような実施形態は、２列（列値が数値の場合は、それより多い列）に対して、１つもしくは複数の算術演算または１つもしくは複数の他の集約演算あるいはその両方を適用することによって、既存のテーブルに１つまたは複数の新しい列を追加することも含む。新しい列は、２列からの値をテキスト・データと組み合わせて追加することもできる。

さらに、質問ＱとテーブルＴが与えられると、１つまたは複数の実施形態は、トリガ・ワードを分析して、質問から可能な集約演算を識別し、そのトリガ・ワードに応じて、列に対する集約演算後に返される値を持つ新しいテーブル列を追加することを含む。単に例として、「ｓｕｍ（合計）」および「ｔｏｔａｌ（合計）」などの単語は、「ＳＵＭ」タイプ集計のトリガ・ワードとなり得、「ｍｅａｎ（平均）」、「ａｖｇ（平均）」などの単語は、「ＡＶＥＲＡＧＥ」タイプ集計のトリガ・ワードとなり得る。テーブルＴ中の列ｃごとに、少なくとも１つの実施形態は、既存の情報源（例えば、ＷｏｒｄＮｅｔ、単語オントロジーなど）を使用して、列名として可能な頭字語または略語あるいはその両方を決定することを含む。列名をその対応する略語または頭字語あるいはその両方で置き換えた、テーブルＴを作成することができる。このような実施形態は、すべての行に行ヘッダを組み込み、行ヘッダと列ヘッダを入れ替えることによって、テーブルＴをテーブルＴプライム（Ｔ’）に変換することを含むことができる。

少なくとも１つの実施形態は、回答不可能なクエリを生成することも含むことができる。回答可能な質問Ｑと、回答Ａを直接または間接的に含む、それに対応するテーブルＴとが与えられた場合、このような実施形態は、テーブルＴを直接または間接的に使用して質問に回答できず、かつ質問Ｑ’が質問ＱおよびテーブルＴに関連していなければならないような、回答不可能な質問Ｑ’を生成することを含む。より具体的には、回答不可能な質問を生成することは、例えば、類似の列を持つテーブルをクラスタ化すること、所与のクラスタ内のテーブルごとに少なくとも１つの質問生成モジュールを使用して回答可能な質問を生成すること、およびクラスタ内のテーブルに付加される質問が回答不可能になるようにクラスタ内の質問をシャッフルすることを含むことができる。

本明細書にも詳述されているように（図２の要素２２８を介してなど）、１つまたは複数の実施形態は、ｇｅｎｅｒａｔｅ ｓｕｍｍａｒｙ応答（例えば、行われた所与のセットのテストの人間可読要約）を含む。例として、このような要約は、テスト・インスタンスのサブセットに少なくとも部分的に基づくモデル・パフォーマンスのテーブルまたはチャートあるいはその両方を含むことができる。少なくとも１つの実施形態では、要約応答を生成することは、興味深いパターンのモデル・パフォーマンスまたは一貫したパターンのモデル・パフォーマンスあるいはその両方を識別するために使用することができ、重要な数値または顕著な数値あるいはその両方を視覚的に表現することができる（例えば、モデル・パフォーマンス対集計演算）。さらに、いくつかの実施形態では、要約応答は、質問と予測の１つまたは複数の逸話的な例（例えば、モデルが良好に動作する質問のタイプを表現する例、モデルが予期しない動作をする質問の例（例えば、モデルが簡単な質問で失敗する、または難しい質問の答えを正しく予測する、あるいはその両方））を含むことができる。加えて、または代替として、１つまたは複数の実施形態は、要約応答テキストを生成するためにテンプレートベースの方法を使用することを含むこと、または１つもしくは複数の自然言語生成（ＮＬＧ）技術を使用することを含むこと、あるいはその両方が可能である。

少なくとも１つの実施形態は（例えば、図２の要素２３２を介して）、１つもしくは複数の拡張ＡＰＩを生成すること、または実装すること、あるいはその両方を追加的に含み得る。このような実施形態には、様々なユースケース向けに、少なくとも１つのＴａｂｌｅＱＡファクトシート周りのエコシステムを作成することが含まれる。例として、モデルＭ、テーブルＴ、または自然言語クエリＱあるいはその組合せに関する探索操作に関連する第１のＡＰＩを考える。例えば、Ｔが与えられた場合にＭがＱを扱えるかどうかを判断することに関連して、この第１のＡＰＩのユースケースを考える。そうでない場合、例示的な実施形態は、第１のＡＰＩを使用して、Ｑに最も近いクエリＱ’を提供すること、またはＴが与えられるとＭによってＱ’を扱うことができるように、ＱをＱ’に言い換えること、あるいはその両方を含むことができる。そのようなＱ’が存在しない場合、そのような実施形態は、Ｍ、Ｔが与えられた所与のファクトシート中の例示的なクエリから少なくとも１つの類似のクエリＱ’’を検索することを含むことができる。

加えて、または代替として、モデルＭまたはテーブルＴあるいはその両方のための訓練データを取得することに関連する、第２のＡＰＩを考える。例えば、この第２のＡＰＩのユースケースとして、ユーザが外部モデルＭを有しており、Ｔに関する精度を上げるために追加的な訓練データでモデルＭを改善したい場合を考える。少なくとも１つの実施形態は、第２のＡＰＩに関連して、ＵＴＥを使用してテーブルＴに関する１つまたは複数の質問を生成し、モデルＭがＴに対して失敗した質問を返すことを含むことができる。

さらに、テーブルＴに関してモデルを改善することに関連する第３のＡＰＩを考える。例えば、この第３のＡＰＩのユースケースとして、モデルが所与の企業内部にあり、ユーザがテーブルＴについてモデルを微調整したい場合を考える。少なくとも１つの実施形態は、この第３のＡＰＩと併せて上述の第２のＡＰＩ（例えば、ｇｅｔ＿ｔｒａｉｎｉｎｇ＿ｄａｔａ（）ＡＰＩ）を使用して非動作クエリを取得し、非動作クエリの少なくとも一部を用いて自己教師あり技術を使用してモデルを改善することを含むことができる。

１つまたは複数の実施形態は、ブラックボックスなｎａｔｕｒａｌ ｌａｎｇｕａｇｅ ｉｎｔｅｒｆａｃｅ ｔｏ ｄａｔａｂａｓｅ（ＮＬＩＤＢ）システムの回答可能なクエリを導出することも含むことができる。このような実施形態は、ＱＡ言語モデルから生成されたクエリのリストからサンプル自然言語クエリｑを取得すること、およびＳ_Ｄ上でｑを実行することを含むことができる。ここでＳ_Ｄとは、ドメインＤでシステムＳをインスタンス化したものを指す。ｑが失敗した場合、そのような実施形態は、クエリｑの言い換えバージョンｑ’を生成すること（例えば、クエリ中の特定の引数単語の言い回しまたは位置あるいはその両方を変更することなどを含むことができる、１つまたは複数の規則ベースの生成技術を使用する）、およびＳ_Ｄ上でｑ’を実行することを含むことができる。ｑ’が成功した場合、このような実施形態は、ｑがなぜ失敗したかに関する少なくとも１つの失敗規則をエンコードすること、ｑをｑ’に変換した書き換え規則をエンコードすること、訓練データの少なくとも１つのセットに＜ｑ，ｑ’＞を追加すること、およびｑ’を回答可能なクエリのリストに追加することを含むことができる。そうでなければ、ｑが最初の実行試行で成功した場合、そのような実施形態は、ｑを回答可能なクエリのリストに追加することと、例えば回答されたクエリの数を質問されたクエリの数で除算したものに基づいて、少なくとも１つの精度測定を計算することとを含むことができる。加えて、このような実施形態の最終的な出力は、回答可能なクエリ・リスト、および１つまたは複数のマーク付き書き換え規則を含むことができる。

図４は、本発明の実施形態による、技術を示すフロー図である。ステップ４０２は、少なくとも１つのテスト・エンジンを使用して、テーブル形式データに対して少なくとも１つの所与の人工知能ベースの質問回答システムを処理することを含む。少なくとも１つの実施形態では、少なくとも１つのテスト・エンジンを使用して、テーブル形式データに対して少なくとも１つの所与の人工知能ベースの質問回答システムを処理することは、様々な複雑さの複数の質問を使用して、特定のテーブル形式データに対して少なくとも１つの所与の人工知能ベースの質問回答システムをテストすることを含む。

ステップ４０４は、少なくとも１つの所与の人工知能ベースの質問回答システムの処理に少なくとも部分的に基づいて、特定のテーブル形式データに関連して少なくとも１つの所与の人工知能ベースの質問回答システムに帰属する１つまたは複数の精度値を生成することを含む。１つまたは複数の実施形態において、１つまたは複数の精度値を生成することは、自然言語質問の少なくとも１つの標準化されたテスト・セットに対して測定された少なくとも１つの精度値を生成することを含む。

ステップ４０６は、少なくとも１つの所与の人工知能ベースの質問回答システムの処理に少なくとも部分的に基づいて、特定のテーブル形式データに対して少なくとも１つの所与の人工知能ベースの質問回答システムによって対処可能であると判定された１つまたは複数のクエリのセットを生成することを含む。

ステップ４０８は、１つまたは複数の精度値および対処可能であると判定された１つまたは複数のクエリに少なくとも部分的に基づいて、少なくとも１つの所与の人工知能ベースの質問回答システムの少なくとも１つの人間可読要約を生成することを含む。１つまたは複数の実施形態では、少なくとも１つの人間可読要約を自動的に生成することは、少なくとも１つの所与の人工知能ベースの質問回答システムを改善するための１つまたは複数の提案を決定して出力することを含む。

少なくとも１つの実施形態では、少なくとも１つのテスト・エンジンを使用して、テーブル形式データに対して少なくとも１つの所与の人工知能ベースの質問回答システムを処理することは、少なくとも１つのテスト・エンジンを使用してテーブル形式データに対して複数の人工知能ベースの質問回答システムを処理することを含み、複数の人工知能ベースの質問回答システムの処理に少なくとも部分的に基づいて、１つまたは複数のクエリのセットを生成することは、複数の人工知能ベースの質問回答システムによって対処可能であると判定されたクエリのユニバーサル・テスト・ベッドを生成することを含む。このような実施形態は、クエリのユニバーサル・テスト・ベッドに関連して、複数の人工知能ベースの質問回答システムのパフォーマンスを比較することも含むことができる。

ステップ４１０は、少なくとも１つの人間可読要約に少なくとも部分的に基づいて、１つまたは複数の自動化されたアクションを実行することを含む。少なくとも１つの実施形態において、１つまたは複数の自動化されたアクションを実行することは、少なくとも１つの人間可読要約に少なくとも部分的に基づいて、少なくとも１つの所与の人工知能ベースの質問回答システムに関連する１つまたは複数のアプリケーション・プログラミング・インターフェースを自動的に生成することを含む。このような実施形態では、少なくとも１つの所与の人工知能ベースの質問回答システムに関連する１つまたは複数のアプリケーション・プログラミング・インターフェースを生成することは、少なくとも１つの所与の人工知能ベースの質問回答システム、特定のテーブル形式データ、および１つまたは複数の自然言語クエリに関する探索操作に関連する少なくとも１つのアプリケーション・プログラミング・インターフェースを生成することを含むことができる。加えて、または代替として、少なくとも１つの所与の人工知能ベースの質問回答システムに関連する１つまたは複数のアプリケーション・プログラミング・インターフェースを生成することは、少なくとも１つの所与の人工知能ベースの質問回答システムおよび特定のテーブル形式データのうちの少なくとも１つのための訓練データを取得することに関連する少なくとも１つのアプリケーション・プログラミング・インターフェースを生成することを含むことができる。さらに、少なくとも１つの所与の人工知能ベースの質問回答システムに関連する１つまたは複数のアプリケーション・プログラミング・インターフェースを生成することは、特定のテーブル形式データに関して少なくとも１つの所与の人工知能ベースの質問回答システムを修正すること、または改善すること、あるいはその両方に関連する少なくとも１つのアプリケーション・プログラミング・インターフェースを生成することを含むことができる。

１つまたは複数の実施形態では、１つまたは複数の自動化されたアクションを実行することは、少なくとも１つの人間可読要約の少なくとも一部に少なくとも部分的に基づいて、少なくとも１つの所与の人工知能ベースの質問回答システムを訓練することも含むことができる。加えて、または代替として、１つまたは複数の自動化されたアクションを実行することは、少なくとも１つの人間可読要約に少なくとも部分的に基づいて、少なくとも１つの所与の人工知能ベースの質問回答システムに関連する１つまたは複数の既存のアプリケーション・プログラミング・インターフェースを自動的に更新することを含むことができる。

さらに、少なくとも１つの実施形態において、図４に描かれた技術を実装するソフトウェアは、クラウド環境におけるサービスとして提供することができる。

本明細書で使用される場合、「モデル」とは、互いに関連付けられた、電子的でデジタルに記憶された実行可能命令とデータ値のセットを指し、指定された入力値に基づいて、プログラム的なもしくは他のデジタルなコール、呼び出し、または解決要求を受け取って応答することができ、コンピュータ実装による推奨、出力データ表示、機械制御などの基礎となる１つまたは複数の出力値を与えることができることを諒解されたい。当分野の技術者は、数式を用いてモデルを表現することが便利であると考えるが、そのような表現形式は、本明細書に開示されるモデルを抽象的な概念に制約するものではなく、その代わりに、本明細書の各モデルは、コンピュータを使用してモデルを実装する記憶された実行可能命令およびデータの形態で、コンピュータに実際に適用される。

図４に描かれる技術はまた、本明細書で説明されるように、システムを提供することを含むことが可能であり、システムは別個のソフトウェア・モジュールを含み、別個のソフトウェア・モジュールのそれぞれは、有形なコンピュータ可読記録可能記憶媒体に具体化される。モジュールのすべて（またはその任意のサブセット）は、例えば同一の媒体上にあってもよいし、それぞれが異なる媒体上にあってもよい。モジュールは、図面で示されるコンポーネントまたは本明細書で説明されるコンポーネントあるいはその組合せの、いずれかまたはすべてを含むことが可能である。本発明の実施形態では、モジュールは、例えばハードウェア・プロセッサで実行することが可能である。この時、方法ステップは、ハードウェア・プロセッサで実行される、上述のようなシステムの別個のソフトウェア・モジュールを使用して実行することができる。さらには、コンピュータ・プログラム製品は、別個のソフトウェア・モジュールを有するシステムの提供を含め、本明細書において説明される少なくとも１つの方法ステップを実行するために実行されるように適合されたコードを有する有形なコンピュータ可読記録可能記憶媒体を含むことができる。

加えて、図４に描かれる技術は、データ処理システム中のコンピュータ可読記憶媒体に記憶されるコンピュータ使用可能プログラム・コードを含み得るコンピュータ・プログラム製品を用いて実装することが可能であり、コンピュータ使用可能プログラム・コードは、リモートのデータ処理システムからネットワーク上でダウンロードされたものである。また、本発明の実施形態では、コンピュータ・プログラム製品は、サーバ・データ処理システム内のコンピュータ可読記憶媒体に記憶されたコンピュータ使用可能プログラム・コードを含むことが可能であり、コンピュータ使用可能プログラム・コードは、リモートのシステムのコンピュータ可読記憶媒体における使用のために、リモートのデータ処理システムにネットワーク上でダウンロードされる。

本発明の実施形態またはその要素は、メモリと、そのメモリに結合され、例示的な方法ステップを実行するように構成された少なくとも１つのプロセッサとを含む装置の形態で実装することができる。

加えて、本発明の実施形態は、コンピュータまたはワークステーションで実行中のソフトウェアを利用することが可能である。図５を参照すると、そのような実装形態は、例えばプロセッサ５０２、メモリ５０４、ならびに例えばディスプレイ５０６およびキーボード５０８から形成される入出力インターフェースを利用することがある。本明細書で使用される際、用語「プロセッサ」は、例えばＣＰＵ（中央処理装置）または他の形態の処理回路あるいはその両方を含むデバイスなどの、あらゆる処理デバイスを含むよう意図される。さらには、用語「プロセッサ」は、２つ以上の個別のプロセッサを称する場合がある。用語「メモリ」は、例えばＲＡＭ（ランダム・アクセス・メモリ）、ＲＯＭ（読み取り専用メモリ）、固定メモリ・デバイス（例えば、ハード・ドライブ）、リムーバブルのメモリ・デバイス（例えば、ディスケット）、フラッシュ・メモリなどのプロセッサまたはＣＰＵに関連付けられるメモリを含むよう意図される。加えて、本明細書において使用される場合、「入出力インターフェース」という言い回しは、例えば処理ユニットへデータを入力するためのメカニズム（例えば、マウス）、および処理ユニットに関連付けられる結果を提供するためのメカニズム（例えば、プリンタ）を含むよう意図される。プロセッサ５０２、メモリ５０４、ならびにディスプレイ５０６およびキーボード５０８などの入出力インターフェースは、例えば、データ処理ユニット５１２の一部としてのバス５１０を介して相互接続することが可能である。好適な相互接続はまた、例えばバス５１０を介して、コンピュータ・ネットワークとインターフェースするように提供されるネットワーク・カードなどのネットワーク・インターフェース５１４に対して、およびメディア５１８とインターフェースするように提供されるディスケットまたはＣＤ－ＲＯＭドライブなどのメディア・インターフェース５１６に対しても設けることができる。

したがって、本発明の方法を実行するための命令またはコードを含むコンピュータ・ソフトウェアは、本明細書において説明されるように、関連するメモリ・ドライブ（例えば、ＲＯＭ、固定またはリムーバブルのメモリ）に記憶することができ、利用される用意ができると、部分的または全体的に（例えば、ＲＡＭに）ロードされ、ＣＰＵによって実装することができる。そのようなソフトウェアとしては、ファームウェア、常駐ソフトウェア、マイクロコードなどが含まれる可能性あるが、それに限定されない。

プログラム・コードを記憶することまたは実行することあるいはその両方に好適なデータ処理システムは、直接的にまたは間接的にシステム・バス５１０を介してメモリ要素５０４に結合された少なくとも１つのプロセッサ５０２を含む。メモリ要素としては、プログラム・コードの実際の実行中に利用されるローカル・メモリ、バルク・ストレージ、および実行中にコードがバルク・ストレージから検索されなければならない回数を減らすために、少なくともいくつかのプログラム・コードの一時的な記憶を提供するキャッシュ・メモリを挙げることができる。

入出力デバイス、すなわちＩ／Ｏデバイス（キーボード５０８、ディスプレイ５０６、ポインティング・デバイスなどを含むがそれに限定されない）は、直接的に（バス５１０を介するなど）、または介在的なＩ／Ｏコントローラ（分かりやすくするために省略）を通じてのいずれかで、システムに結合することができる。

データ処理システムが、介在的なプライベートまたはパブリックなネットワークを通じて他のデータ処理システムまたはリモートのプリンタもしくはストレージ・デバイスに結合することができるようにするために、ネットワーク・インターフェース５１４などのネットワーク・アダプタはまた、システムに結合することもできる。現在利用可能なタイプのネットワーク・アダプタとしては、モデム、ケーブル・モデム、およびイーサネット（Ｒ）・カードなどが挙げられる。

特許請求の範囲を含め、本明細書において使用される場合、「サーバ」には、サーバ・プログラムを実行中の物理的なデータ処理システム（例えば、図５に示されるようなシステム５１２）が含まれる。そのような物理的なサーバは、ディスプレイおよびキーボードを含んでもよいし、含んでいなくてもよいことを理解されたい。

本発明は、統合のあらゆる可能な技術的詳細レベルにおける、システム、方法、またはコンピュータ・プログラム製品あるいはその組合せであってもよい。コンピュータ・プログラム製品は、プロセッサに本発明の態様を実行させるためのコンピュータ可読プログラム命令を有するコンピュータ可読記憶媒体を含むことができる。

コンピュータ可読記憶媒体は、命令実行デバイスによる使用のための命令を保持および記憶することができる有形のデバイスであり得る。コンピュータ可読記憶媒体は、例えば、電子ストレージ・デバイス、磁気ストレージ・デバイス、光学ストレージ・デバイス、電磁気ストレージ・デバイス、半導体ストレージ・デバイスまたは前述のあらゆる好適な組合せであってもよいが、それに限定はしない。コンピュータ可読記憶媒体のより具体的な例の非網羅的な列挙としては、以下が挙げられる：ポータブル・コンピュータ・ディスケット、ハード・ディスク、ランダム・アクセス・メモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭまたはフラッシュ・メモリ）、静的ランダム・アクセス・メモリ（ＳＲＡＭ）、ポータブル・コンパクト・ディスク読み取り専用メモリ（ＣＤ－ＲＯＭ）、デジタル・バーサタイル・ディスク（ＤＶＤ）、メモリ・スティック、フロッピ・ディスク、命令が記録されたパンチカードまたは溝に刻まれた構造などの機械的にエンコードされたデバイス、および前述のあらゆる好適な組合せ。本明細書において使用される場合、コンピュータ可読記憶媒体は、電波もしくは他の自由に伝搬する電磁波、導波路もしくは他の送信媒体を介して伝搬する電磁波（例えば、光ファイバ・ケーブルを通過する光パルス）、または電線を介して伝送される電気的信号など、一過性の信号そのものであると解釈されてはならない。

本明細書において説明されるコンピュータ可読プログラム命令は、コンピュータ可読記憶媒体から、個別のコンピューティング／処理デバイスに、あるいは、例えばインターネット、ローカル・エリア・ネットワーク、ワイド・エリア・ネットワークもしくは無線ネットワークまたはその組合せなどのネットワークを介して、外部のコンピュータまたは外部のストレージ・デバイスに、ダウンロードすることができる。ネットワークは、銅の送信ケーブル、光学送信ファイバ、無線送信、ルータ、ファイヤウォール、スイッチ、ゲートウェイ・コンピュータまたはエッジ・サーバあるいはその組合せを含むことができる。それぞれのコンピューティング／処理デバイスのネットワーク・アダプタ・カードまたはネットワーク・インターフェースは、ネットワークからコンピュータ可読プログラム命令を受信し、個別のコンピューティング／処理デバイス内のコンピュータ可読記憶媒体に記憶するためにコンピュータ可読プログラム命令を転送する。

本発明の動作を実行するためのコンピュータ可読プログラム命令は、アセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、機械命令、機械依存命令、マイクロコード、ファームウェア命令、状態設定データ、集積回路用の構成データ、あるいはＳｍａｌｌｔａｌｋ（Ｒ）、Ｃ＋＋などのオブジェクト指向プログラミング言語、および「Ｃ」プログラミング言語などの手続き型プログラミング言語もしくは類似するプログラミング言語、を含む１つまたは複数のプログラミング言語のあらゆる組合せで記述された、ソース・コードまたはオブジェクト・コードのいずれかであってもよい。コンピュータ可読プログラム命令は、すべてユーザのコンピュータ上で、一部はユーザのコンピュータ上でスタンドアロンのソフトウェア・パッケージとして、一部はユーザのコンピュータ上で一部はリモートのコンピュータ上で、またはすべてリモートのコンピュータ上もしくはサーバ上で、実行することができる。後者のシナリオでは、リモートのコンピュータは、ローカル・エリア・ネットワーク（ＬＡＮ）もしくはワイド・エリア・ネットワーク（ＷＡＮ）を含むあらゆるタイプのネットワークを介してユーザのコンピュータに接続することができ、または接続は外部のコンピュータ（例えば、インターネット・サービス・プロバイダを使用するインターネットを介して）に対してなされてもよい。一部の実施形態において、例えば、プログラマブル・ロジック回路、フィールドプログラマブル・ゲート・アレイ（ＦＰＧＡ）、またはプログラマブル・ロジック・アレイ（ＰＬＡ）を含む電子回路は、本発明の態様を実施するために、コンピュータ可読プログラム命令の状態情報を利用することによって、コンピュータ可読プログラム命令を実行して電子回路を個別化することができる。

本発明の態様は、本発明の実施形態による方法、装置（システム）、およびコンピュータ・プログラム製品のフロー・チャート図またはブロック図あるいはその両方を参照しながら本明細書において説明される。フロー・チャート図またはブロック図あるいはその両方のそれぞれのブロック、およびフロー・チャート図またはブロック図あるいはその両方におけるブロックの組合せは、コンピュータ可読プログラム命令によって実装されることが理解されよう。

これらのコンピュータ可読プログラム命令は、コンピュータまたは他のプログラマブル・データ処理装置のプロセッサを介して実行する命令が、フロー・チャートまたはブロック図あるいはその両方の１つまたは複数のブロックに指定される機能／作用を実施する手段を作成すべく、コンピュータ、または他のプログラマブル・データ処理装置のプロセッサに提供されて機械を作るものであってよい。これらのコンピュータ可読プログラム命令はまた、命令が記憶されているコンピュータ可読記憶媒体が、フロー・チャートまたはブロック図あるいはその両方の１つまたは複数のブロックに指定される機能／作用の態様を実装する命令を含む製造物品を備えるべく、コンピュータ、プログラマブル・データ処理装置、または他のデバイスあるいはその組合せに特定のやり方で機能するように指示することができるコンピュータ可読記憶媒体に記憶されてもよい。

コンピュータ可読プログラム命令はまた、コンピュータ、他のプログラマブル装置、または他のデバイスで実行する命令が、フロー・チャートまたはブロック図あるいはその両方の１つまたは複数のブロックに指定される機能／作用を実施するように、コンピュータ実装プロセスを作るべく、コンピュータ、他のプログラマブル・データ処理装置、または他のデバイス上にロードされ、コンピュータ、他のプログラマブル装置、または他のデバイス上で一連の動作ステップを実施させるものであってもよい。

図面中のフロー・チャートおよびブロック図は、本発明の様々な実施形態にしたがって、システム、方法、およびコンピュータ・プログラム製品の可能な実装形態の、アーキテクチャ、機能性、および動作を図示している。この点において、フロー・チャートまたはブロック図のそれぞれのブロックは、指定される論理機能を実施するための１つまたは複数の実行可能な命令を含む、命令のモジュール、セグメント、または部分を表現することができる。一部の代替的な実装形態において、ブロックにおいて示した機能は図面で示した順とは異なって発生してもよい。例えば、連続して示される２つのブロックは、実際には１つのステップとして遂行されてもよく、同時に、実質的に同時に、部分的もしくは全体的に時間的に重なるやり方で実行されてもよく、またはブロックは関与する機能性によっては、時に逆の順で実行されてもよい。ブロック図またはフロー・チャート図あるいはその両方のそれぞれのブロック、およびブロック図またはフロー・チャート図あるいはその両方のブロックの組合せは、指定される機能もしくは作用を実施する、または特殊目的ハードウェアとコンピュータ命令との組合せを実行する、特殊目的ハードウェア・ベースのシステムによって実装されることにも留意されたい。

本明細書で説明される方法のいずれも、コンピュータ可読記憶媒体に具体化される別個のソフトウェア・モジュールを含むシステムを提供する追加的なステップを含むことが可能であり、モジュールは、例えば、本明細書で詳細に説明されるコンポーネントのいずれかまたはすべてを含むことが可能であることに留意されたい。この時、方法ステップは、ハードウェア・プロセッサ５０２で実行される、上述のようなシステムの別個のソフトウェア・モジュールまたはサブモジュールあるいはその両方を使用して遂行することができる。さらには、コンピュータ・プログラム製品は、別個のソフトウェア・モジュールを有するシステムの提供を含め、本明細書において説明される少なくとも１つの方法ステップを実行するために実装されるように適合されたコードを有するコンピュータ可読記憶媒体を含むことができる。

いずれにせよ、本明細書で例示されるコンポーネントは、様々な形態のハードウェア、ソフトウェア、またはそれらの組合せ、例えば特定用途向け集積回路（ＡＳＩＣ）、機能的な回路網、関連メモリを有する適当にプログラムされたデジタル・コンピュータなどに実装することが可能であることを理解されたい。本明細書で提供される本発明の教示が与えられれば、当業者は本発明のコンポーネントの他の実装形態を検討することができるであろう。

加えて、本明細書で述べられる教示の実装形態は、特定のコンピューティング環境に限定されないことを、まず理解されたい。むしろ、本発明の実施形態は、現在既知の、または後に開発されるあらゆるタイプのコンピューティング環境と併せて実装することができる。

例えば、クラウド・コンピューティングは、構成可能なコンピューティング・リソースの共有プール（例えば、ネットワーク、ネットワーク帯域幅、サーバ、処理、メモリ、ストレージ、アプリケーション、仮想機械、およびサービス）への便利でオンデマンドのネットワーク・アクセスを可能とするためのサービス提供のモデルであり、最小限の管理努力で、またはサービスのプロバイダとの対話で迅速にプロビジョニングおよびリリースすることができる。このクラウド・モデルは、少なくとも５つの特徴、少なくとも３つのサービス・モデル、および少なくとも４つの展開モデルを含むことができる。

特徴は以下のとおりである：

オン・デマンドなセルフサービス：クラウド消費者は、サービスのプロバイダとの人間対話を要求することなく必要に応じて自動的に、サーバ時間およびネットワーク・ストレージなどのコンピューティング機能を一方的にプロビジョニングすることができる。

幅広いネットワーク・アクセス：機能はネットワーク上で利用可能であり、異質なシン・クライアントまたはシック・クライアントのプラットフォーム（例えば、携帯電話、ラップトップ、およびＰＤＡ）による使用を促進する標準的なメカニズムを通じてアクセスされる。

リソース・プール：プロバイダのコンピューティング・リソースは、マルチテナントのモデルを使用して複数の消費者にサービス提供するためにプールされ、異なる物理的および仮想的なリソースが需要に応じて動的に割り当ておよび再割り当てされる。消費者が、提供されるリソースの正確な場所についての制御または情報を一般的に持たない点で、場所独立性の意味があるが、高い抽象レベル（例えば、国、州、またはデータセンタ）で場所を特定できることもある。

迅速な拡張性：機能は迅速かつ拡張可能にプロビジョニングすることができ、いくつかの場合において、自動的に、素早くスケール・アウトされ、迅速にリリースされて素早くスケール・インされる。消費者にとって、プロビジョニングのために利用可能な機能は、しばしば無制限に見え、いつでもいくらでも購入することができる。

サービスの計測：クラウド・システムは、サービスのタイプ（例えば、ストレージ、処理、帯域幅、およびアクティブなユーザ・アカウント）に適当な抽象化のいくつかのレベルにおいて計測機能を活用することによりリソースの使用を自動的に制御し、最適化する。リソースの使用量は監視され、制御され、および報告され、利用されるサービスのプロバイダおよび消費者の両方にとって透明性を与えている。

サービス・モデルは以下のとおりである：

サービスとしてのソフトウェア（Ｓｏｆｔｗａｒｅ ａｓ ａ Ｓｅｒｖｉｃｅ（ＳａａＳ））：消費者に提供される機能は、クラウド・インフラストラクチャで実行するプロバイダのアプリケーションを使用することである。アプリケーションは、ウェブ・ブラウザなどのシン・クライアント・インターフェース（例えば、ウェブ・ベースの電子メール）を通じて様々なクライアント・デバイスからアクセス可能である。消費者は、ネットワーク、サーバ、オペレーティング・システム、ストレージ、またはさらには個々のアプリケーション機能を含む基礎となるクラウド・インフラストラクチャを管理または制御することはなく、例外として限定されたユーザ固有アプリケーションの構成設定が可能である。

サービスとしてのプラットフォーム（Ｐｌａｔｆｏｒｍ ａｓ ａ Ｓｅｒｖｉｃｅ（ＰａａＳ））：消費者に提供される機能は、プロバイダによってサポートされるプログラミング言語およびツールを使用して作成された、消費者作成の、または取得されたアプリケーションをクラウド・インフラストラクチャに展開することである。消費者は、ネットワーク、サーバ、オペレーティング・システム、またはストレージを含む基礎となるクラウド・インフラストラクチャの管理または制御をしないが、展開されたアプリケーション、および場合によっては環境構成をホストするアプリケーションについての制御を有する。

サービスとしてのインフラストラクチャ（Ｉｎｆｒａｓｔｒｕｃｔｕｒｅ ａｓ ａ Ｓｅｒｖｉｃｅ（ＩａａＳ））：消費者に提供される機能は、任意のソフトウェアを消費者が展開および実行することができる処理、ストレージ、ネットワーク、および他の基本的なコンピューティング・リソースをプロビジョニングすることであり、これにはオペレーティング・システムおよびアプリケーションが含まれ得る。消費者は、基礎となるクラウド・インフラストラクチャの管理または制御をしないが、オペレーティング・システム、ストレージ、展開されたアプリケーションの制御、および場合によっては選択ネットワーキング・コンポーネント（例えば、ホスト・ファイヤウォール）の限定された制御を有する。

展開モデルは以下のとおりである：

プライベート・クラウド：クラウド・インフラストラクチャは、ある組織のためだけに運用される。その組織またはサード・パーティによって管理され、オンプレミスまたはオフプレミスで存在することができる。

コミュニティ・クラウド：クラウド・インフラストラクチャは、いくつかの組織によって共有され、共有される事案（例えば、ミッション、セキュリティ要件、ポリシ、およびコンプライアンス懸案事項）を有する特定のコミュニティをサポートする。その組織またはサード・パーティによって管理され、オンプレミスまたはオフプレミスで存在することができる。

パブリック・クラウド：クラウド・インフラストラクチャは、一般公衆または大規模な業界団体に対して利用可能とされ、クラウド・サービスを販売する組織によって所有される。

ハイブリッド・クラウド：クラウド・インフラストラクチャは、一意なエンティティのままである２つ以上のクラウド（プライベート、コミュニティ、またはパブリック）を組み合わせたものであるが、データおよびアプリケーションのポータビリティを可能にする標準化された、または専有的な技術（例えば、クラウド間でロード・バランシングを行うためのクラウド・バースト）によって結合される。

クラウド・コンピューティング環境は、ステートレス性、低い結合性、モジュール性、および意味論的な相互運用性に焦点をあてたサービス指向である。クラウド・コンピューティングの中心は、相互接続されたノードのネットワークを含むインフラストラクチャである。

次に図６を参照すると、例示的なクラウド・コンピューティング環境５０が描写されている。示されるように、クラウド・コンピューティング環境５０は、例えば、携帯情報端末（ＰＤＡ）または携帯電話５４Ａ、デスクトップ・コンピュータ５４Ｂ、ラップトップ・コンピュータ５４Ｃ、または自動車コンピュータ・システム５４Ｎあるいはその組合せなど、クラウドの消費者によって使用されるローカルのコンピューティング・デバイスと通信することができる１つまたは複数のクラウド・コンピューティング・ノード１０を含む。ノード１０は互いに通信することができる。これらは、本明細書において上述したようなプライベート、コミュニティ、パブリック、もしくはハイブリッドのクラウド、またはそれらの組合せなど、１つまたは複数のネットワークにおいて、物理的または仮想的にグループ化することができる（図示せず）。これにより、クラウド・コンピューティング環境５０は、クラウドの消費者がローカルのコンピューティング・デバイスでリソースを維持する必要のない、インフラストラクチャ、プラットフォーム、またはソフトウェアあるいはその組合せをサービスとして提供することができる。図６に示されるコンピューティング・デバイス５４Ａ～Ｎのタイプは、単に例示的であることを意図されており、コンピューティング・ノード１０およびクラウド・コンピューティング環境５０は、あらゆるタイプのネットワーク上またはネットワーク・アドレス可能接続で（例えば、ウェブ・ブラウザを使用して）あるいはその両方で、あらゆるタイプのコンピュータ化されたデバイスと通信することができることが理解されよう。

次に図７を参照すると、クラウド・コンピューティング環境５０（図６）によって提供される機能的な抽象化レイヤのセットが示されている。図７に示されるコンポーネント、レイヤ、および機能は、単に例示的であることを意図されており、本発明の実施形態はそれに限定されないことが、予め理解されるべきである。描写されるように、以下のレイヤおよび対応する機能が提供される。

ハードウェアおよびソフトウェア・レイヤ６０は、ハードウェアおよびソフトウェア・コンポーネントを含む。ハードウェア・コンポーネントの例として、以下が挙げられる：メインフレーム６１、ＲＩＳＣ（縮小命令セット・コンピュータ）アーキテクチャ・ベースのサーバ６２、サーバ６３、ブレード・サーバ６４、ストレージ・デバイス６５、ならびにネットワークおよびネットワーキング・コンポーネント６６。いくつかの実施形態において、ソフトウェア・コンポーネントとしては、ネットワーク・アプリケーション・サーバ・ソフトウェア６７、およびデータベース・ソフトウェア６８が挙げられる。

仮想化レイヤ７０は、仮想エンティティの以下の例が提供される抽象化レイヤを提供する：仮想サーバ７１、仮想ストレージ７２、仮想プライベート・ネットワークを含む仮想ネットワーク７３、仮想アプリケーションおよびオペレーティング・システム７４、ならびに仮想クライアント７５。一例において、管理レイヤ８０は以下で説明される機能を提供することができる。リソース・プロビジョニング８１は、コンピューティング・リソースおよびクラウド・コンピューティング環境内でタスクを実施するために利用される他のリソースの動的な調達を提供する。計測および課金８２は、クラウド・コンピューティング環境内でリソースが利用される際のコスト追跡、およびこれらのリソースの消費についての課金または請求書発行を提供する。

一例において、これらのリソースはアプリケーション・ソフトウェア・ライセンスを含む場合がある。セキュリティは、クラウド消費者およびタスクについての識別情報の検証、ならびにデータおよび他のリソースについての保護を与える。ユーザ・ポータル８３は、クラウド・コンピューティング環境へのアクセスを消費者およびシステム管理者に提供する。サービス水準管理８４は、要求されるサービス水準が満たされるように、クラウド・コンピューティング・リソースの割り当ておよび管理を提供する。サービス水準合意（ＳＬＡ）計画および遂行８５は、ＳＬＡにしたがって将来的な要求が予期されるクラウド・コンピューティング・リソースについての事前申し合わせ、およびクラウド・コンピューティング・リソースの調達を提供する。

ワークロード・レイヤ９０はクラウド・コンピューティング環境が利用される機能性の例を提供する。このレイヤからもたらされるワークロードおよび機能の例として以下が挙げられる：マッピングおよびナビゲーション９１、ソフトウェア開発およびライフサイクル管理９２、仮想授業教育配信９３、データ分析処理９４、取引処理９５、ならびに本発明の１つまたは複数の実施形態による、ファクトシート生成９６。

本明細書で使用される用語法は、特定の実施形態を説明するためだけのものであり、本発明を限定することを意図されていない。本明細書で使用される場合、コンテキストが明確にそうではないと指示しない限り、単数形「１つの（ａ）」、「１つの（ａｎ）」および「その（ｔｈｅ）」は複数形を同様に含むように意図されている。用語「を含む（ｃｏｍｐｒｉｓｅ）」または「を含む（ｃｏｍｐｒｉｓｉｎｇ）」あるいはその両方は、本明細書で使用される場合、述べられた特徴、ステップ、動作、要素、またはコンポーネントあるいはその組合せの存在を特定するが、別の特徴、ステップ、動作、要素、コンポーネントまたはそのグループあるいはその組合せの、存在または追加を排除しないことが、さらに理解されよう。

本発明の少なくとも１つの実施形態は、例えば、人工知能ベースの質問回答システム用のファクトシートを自動的に生成するなどの有益な効果を提供することができる。

例示を目的として本発明の様々な実施形態の説明を提示してきたが、網羅的であること、または開示された実施形態に限定することは意図されていない。説明された実施形態の範囲から逸脱することなく、多くの修正形態および変形形態が当業者にとって明らかとなろう。本明細書において使用される用語法は、実施形態の原理、実践的な用途もしくは市場で見られる技術より優れた技術的な改善を最良に説明するため、または当業者の他の者が本明細書において開示される実施形態を理解できるように選ばれたものである。

Claims (20)

1. コンピュータ実装方法であって、
   少なくとも１つのテスト・エンジンを使用して、テーブル形式データに対して少なくとも１つの所与の人工知能ベースの質問回答システムを処理することと、
   前記少なくとも１つの所与の人工知能ベースの質問回答システムの前記処理に少なくとも部分的に基づいて、特定のテーブル形式データに関連して前記少なくとも１つの所与の人工知能ベースの質問回答システムに帰属する１つまたは複数の精度値を生成することと、
   前記少なくとも１つの所与の人工知能ベースの質問回答システムの前記処理に少なくとも部分的に基づいて、前記特定のテーブル形式データに対して前記少なくとも１つの所与の人工知能ベースの質問回答システムによって対処可能であると判定された１つまたは複数のクエリのセットを生成することと、
   前記１つまたは複数の精度値および対処可能であると判定された前記１つまたは複数のクエリに少なくとも部分的に基づいて、前記少なくとも１つの所与の人工知能ベースの質問回答システムの少なくとも１つの人間可読要約を生成することと、
   前記少なくとも１つの人間可読要約に少なくとも部分的に基づいて、１つまたは複数の自動化されたアクションを実行することと
   を含み、前記方法が、少なくとも１つのコンピューティング・デバイスによって実行される、コンピュータ実装方法。
2. 少なくとも１つのテスト・エンジンを使用して、テーブル形式データに対して少なくとも１つの所与の人工知能ベースの質問回答システムを処理することが、前記少なくとも１つのテスト・エンジンを使用して前記テーブル形式データに対して複数の人工知能ベースの質問回答システムを処理することを含み、
   前記複数の人工知能ベースの質問回答システムの前記処理に少なくとも部分的に基づいて、１つまたは複数のクエリのセットを生成することが、前記複数の人工知能ベースの質問回答システムによって対処可能であると判定されたクエリのユニバーサル・テスト・ベッドを生成することを含む、請求項１に記載のコンピュータ実装方法。
3. 前記クエリのユニバーサル・テスト・ベッドに関連して、前記複数の人工知能ベースの質問回答システムのパフォーマンスを比較することをさらに含む、請求項２に記載のコンピュータ実装方法。
4. 前記１つまたは複数の自動化されたアクションを実行することが、前記少なくとも１つの人間可読要約に少なくとも部分的に基づいて、前記少なくとも１つの所与の人工知能ベースの質問回答システムに関連する１つまたは複数のアプリケーション・プログラミング・インターフェースを自動的に生成することを含む、請求項１に記載のコンピュータ実装方法。
5. 前記少なくとも１つの所与の人工知能ベースの質問回答システムに関連する１つまたは複数のアプリケーション・プログラミング・インターフェースを生成することが、前記少なくとも１つの所与の人工知能ベースの質問回答システム、前記特定のテーブル形式データ、および１つまたは複数の自然言語クエリに関する探索操作に関連する少なくとも１つのアプリケーション・プログラミング・インターフェースを生成することを含む、請求項４に記載のコンピュータ実装方法。
6. 前記少なくとも１つの所与の人工知能ベースの質問回答システムに関連する１つまたは複数のアプリケーション・プログラミング・インターフェースを生成することが、前記少なくとも１つの所与の人工知能ベースの質問回答システムおよび前記特定のテーブル形式データのうちの少なくとも１つのための訓練データを取得することに関連する少なくとも１つのアプリケーション・プログラミング・インターフェースを生成することを含む、請求項４に記載のコンピュータ実装方法。
7. 前記少なくとも１つの所与の人工知能ベースの質問回答システムに関連する１つまたは複数のアプリケーション・プログラミング・インターフェースを生成することが、前記特定のテーブル形式データに関して前記少なくとも１つの所与の人工知能ベースの質問回答システムを修正することに関連する少なくとも１つのアプリケーション・プログラミング・インターフェースを生成することを含む、請求項４に記載のコンピュータ実装方法。
8. 前記１つまたは複数の自動化されたアクションを実行することが、前記少なくとも１つの人間可読要約の少なくとも一部に少なくとも部分的に基づいて、前記少なくとも１つの所与の人工知能ベースの質問回答システムを訓練することを含む、請求項１に記載のコンピュータ実装方法。
9. 少なくとも１つのテスト・エンジンを使用して、テーブル形式データに対して前記少なくとも１つの所与の人工知能ベースの質問回答システムを処理することが、様々な複雑さの複数の質問を使用して、前記特定のテーブル形式データに対して前記少なくとも１つの所与の人工知能ベースの質問回答システムをテストすることを含む、請求項１に記載のコンピュータ実装方法。
10. 前記少なくとも１つの人間可読要約を自動的に生成することが、前記少なくとも１つの所与の人工知能ベースの質問回答システムを改善するための１つまたは複数の提案を決定して出力することを含む、請求項１に記載のコンピュータ実装方法。
11. 前記１つまたは複数の精度値を生成することが、自然言語質問の少なくとも１つの標準化されたテスト・セットに対して測定された少なくとも１つの精度値を生成することを含む、請求項１に記載のコンピュータ実装方法。
12. 前記１つまたは複数の自動化されたアクションを実行することが、前記少なくとも１つの人間可読要約に少なくとも部分的に基づいて、前記少なくとも１つの所与の人工知能ベースの質問回答システムに関連する１つまたは複数の既存のアプリケーション・プログラミング・インターフェースを自動的に更新することを含む、請求項１に記載のコンピュータ実装方法。
13. 前記方法を実施するソフトウェアが、クラウド環境においてサービスとして提供される、請求項１に記載のコンピュータ実装方法。
14. プログラム命令が具体化されたコンピュータ可読記憶媒体を含む、コンピュータ・プログラム製品であって、コンピューティング・デバイスによって実行可能な前記プログラム命令が、前記コンピューティング・デバイスに、
    少なくとも１つのテスト・エンジンを使用して、テーブル形式データに対して少なくとも１つの所与の人工知能ベースの質問回答システムを処理することと、
    前記少なくとも１つの所与の人工知能ベースの質問回答システムの前記処理に少なくとも部分的に基づいて、特定のテーブル形式データに関連して前記少なくとも１つの所与の人工知能ベースの質問回答システムに帰属する１つまたは複数の精度値を生成することと、
    前記少なくとも１つの所与の人工知能ベースの質問回答システムの前記処理に少なくとも部分的に基づいて、前記特定のテーブル形式データに対して前記少なくとも１つの所与の人工知能ベースの質問回答システムによって対処可能であると判定された１つまたは複数のクエリのセットを生成することと、
    前記１つまたは複数の精度値および対処可能であると判定された前記１つまたは複数のクエリに少なくとも部分的に基づいて、前記少なくとも１つの所与の人工知能ベースの質問回答システムの少なくとも１つの人間可読要約を生成することと、
    前記少なくとも１つの人間可読要約に少なくとも部分的に基づいて、１つまたは複数の自動化されたアクションを実行することと
    を行わせる、コンピュータ・プログラム製品。
15. 前記１つまたは複数の自動化されたアクションを実行することが、前記少なくとも１つの人間可読要約に少なくとも部分的に基づいて、前記少なくとも１つの所与の人工知能ベースの質問回答システムに関連する１つまたは複数のアプリケーション・プログラミング・インターフェースを自動的に生成することを含む、請求項１４に記載のコンピュータ・プログラム製品。
16. 前記少なくとも１つの所与の人工知能ベースの質問回答システムに関連する１つまたは複数のアプリケーション・プログラミング・インターフェースを生成することが、前記少なくとも１つの所与の人工知能ベースの質問回答システム、前記特定のテーブル形式データ、および１つまたは複数の自然言語クエリに関する探索操作に関連する少なくとも１つのアプリケーション・プログラミング・インターフェースを生成することを含む、請求項１５に記載のコンピュータ・プログラム製品。
17. 前記少なくとも１つの所与の人工知能ベースの質問回答システムに関連する１つまたは複数のアプリケーション・プログラミング・インターフェースを生成することが、前記少なくとも１つの所与の人工知能ベースの質問回答システムおよび前記特定のテーブル形式データのうちの少なくとも１つのための訓練データを取得することに関連する少なくとも１つのアプリケーション・プログラミング・インターフェースを生成することを含む、請求項１５に記載のコンピュータ・プログラム製品。
18. 前記少なくとも１つの所与の人工知能ベースの質問回答システムに関連する１つまたは複数のアプリケーション・プログラミング・インターフェースを生成することが、前記特定のテーブル形式データに関して前記少なくとも１つの所与の人工知能ベースの質問回答システムを修正することに関連する少なくとも１つのアプリケーション・プログラミング・インターフェースを生成することを含む、請求項１５に記載のコンピュータ・プログラム製品。
19. 前記１つまたは複数の自動化されたアクションを実行することが、前記少なくとも１つの人間可読要約の少なくとも一部に少なくとも部分的に基づいて、前記少なくとも１つの所与の人工知能ベースの質問回答システムを訓練することを含む、請求項１４に記載のコンピュータ・プログラム製品。
20. システムであって、
    プログラム命令を記憶するように構成されたメモリと、
    前記メモリに動作可能に結合されたプロセッサであって、
    少なくとも１つのテスト・エンジンを使用して、テーブル形式データに対して少なくとも１つの所与の人工知能ベースの質問回答システムを処理することと、
    前記少なくとも１つの所与の人工知能ベースの質問回答システムの前記処理に少なくとも部分的に基づいて、特定のテーブル形式データに関連して前記少なくとも１つの所与の人工知能ベースの質問回答システムに帰属する１つまたは複数の精度値を生成することと、
    前記少なくとも１つの所与の人工知能ベースの質問回答システムの前記処理に少なくとも部分的に基づいて、前記特定のテーブル形式データに対して前記少なくとも１つの所与の人工知能ベースの質問回答システムによって対処可能であると判定された１つまたは複数のクエリのセットを生成することと、
    前記１つまたは複数の精度値および対処可能であると判定された前記１つまたは複数のクエリに少なくとも部分的に基づいて、前記少なくとも１つの所与の人工知能ベースの質問回答システムの少なくとも１つの人間可読要約を生成することと、
    前記少なくとも１つの人間可読要約に少なくとも部分的に基づいて、１つまたは複数の自動化されたアクションを実行することと
    を行うために前記プログラム命令を実行する、前記プロセッサと
    を備える、システム。