JP7044916B2 - データ送信のためのフィードバックコントローラ - Google Patents

Description

本願は、発明の名称を「データ送信のためのフィードバックコントローラ」とした２０１６年１２月３０日に出願された米国特許出願番号第１５／３９５、６９４号の利益を主張し、本明細書に引用によりすべての目的で全体として取り込まれる。

コンピューティングデバイスの間のパケット・ベースのまたは、ネットワークトラフィックデータの過度なネットワーク送信は、コンピューティングデバイスが当該ネットワークトラフィックデータを正しく処理し、当該ネットワークトラフィックデータに関連する動作を完了し、または当該ネットワークトラフィックデータにタイムリーに応答することを不可能としうる。ネットワークトラフィックデータの当該過度なネットワーク送信はまた、応答するコンピューティングデバイスがその処理能力を上回る場合に、データのルーティングを複雑化しまたは当該応答の品質を劣化させうる、これは非効率的な帯域幅利用をもたらしうる。コンテンツ・アイテム・オブジェクトに対応するネットワーク送信の制御は、コンピューティングデバイスの間のネットワークトラフィックデータのネットワーク送信を開始しうる多数のコンテンツ・アイテム・オブジェクトにより複雑化されうる。

本開示は一般に、１つまたは複数のインタフェースまたは１つまたは複数のタイプのコンピュータネットワーク上のデータ送信に対するフィードバックコントローラに関する。例えば、コンピューティングシステムは制限された数のインタフェース、制限されたタイプのインタフェースにアクセスでき、または制限された数の利用可能なインタフェースが所与の時点にあるかもしれない。特定のタイプのインタフェースがより多いコンピューティングリソースまたはバッテリを消費しうるので、システムが現在利用可能なインタフェースに応答して情報を効率的に送信するのは困難であるかもしれない。異種のコンピューティングリソースが音声ベースのコンピューティング環境においてオーディオベースの命令を効率的に処理し、一貫しておよび正確に解析するのは困難であるので、効率的に、信頼性高く、および正確に異種のコンピューティングリソース上で情報を通信するのは困難であるかもしれない。例えば、当該異種のコンピューティングリソースは、同一の音声モデルへのアクセスを有さないかもしれず、または当該オーディオベースの命令を正確かつ一貫して解析するのを困難にしうる古いまたは非同期の音声モデルにアクセスするかもしれない。

本開示のシステムおよび方法は一般にデータ送信のためのフィードバックコントローラに関する。データ処理システムは、当該音声ベースの命令を解析し、コンテンツセレクタコンポーネントにより実施されるリアルタイムコンテンツ選択プロセスを介してコンテンツ・アイテムを選択するように集約音声に基づいてトレーニングされる音声モデルを用いて、当該音声ベースの入力を処理することができる。データ処理システムは、当該選択されたコンテンツ・アイテムを当該クライアントコンピューティングデバイスに送信して、当該クライアントコンピューティングデバイスおよび当該選択されたコンテンツ・アイテムに関連付けられたサードパーティプロバイダデバイスの間の通信セッションを開始することができる。データ処理システムは当該通信セッションに関する情報を監視または受信して、当該通信セッションの特性を測定し品質信号を生成することができる。データ処理システムは次いで、当該リアルタイムコンテンツ選択プロセスに影響を及ぼすために、当該品質信号に基づいて当該コンテンツセレクタコンポーネントを調節または制御することができる。例えば、当該コンテンツセレクタコンポーネントが低品質通信セッションに関連付けられたコンテンツ・アイテム・オブジェクトを選択するのをブロックまたは防止することは、当該コンテンツ・アイテムを選択し通信セッションを確立するのを許可するのと比べて、無駄なリソース消費を減らすことができる。さらに、バッテリ電力を利用するクライアントデバイスに対して、当該フィードバックモニタコンポーネントはバッテリ利用を節約することができる。

少なくとも１つの態様はコンピュータネットワーク上のデータ送信に対するフィードバック制御システムに関する。当該システムは自然言語プロセッサおよびコンテンツセレクタコンポーネントを実行するデータ処理システムを含むことができる。当該システムはフィードバックモニタコンポーネントを含むことができる。自然言語プロセッサコンポーネントは、データ処理システムのインタフェースを介して、クライアントデバイスのセンサにより検出された入力オーディオ信号を含むデータパケットを受信することができる。自然言語プロセッサコンポーネントは当該入力オーディオ信号を解析して、要求および当該要求に対応するトリガキーワードを識別することができる。データ処理システムは、自然言語プロセッサにより識別された当該トリガキーワードを受信し、当該トリガキーワードに基づいて、リアルタイムコンテンツ選択プロセスを介してコンテンツ・アイテムを選択するコンテンツセレクタコンポーネントを含むことができる。当該システムはフィードバックモニタコンポーネントを含むことができる。当該フィードバックモニタコンポーネントは、クライアントデバイスと、当該コンテンツ・アイテムとの対話に応答してクライアントデバイスとの通信セッションを確立した会話アプリケーションプログラミングインタフェースとの間で送信された可聴信号を運搬するデータパケットを受信することができる。当該フィードバックモニタは、当該可聴信号に基づいて当該通信セッションの特性を測定することができる。当該フィードバックモニタコンポーネントは当該測定された特性に基づいて品質信号を生成することができる。当該コンテンツセレクタコンポーネントは当該品質信号に基づいて当該リアルタイム選択プロセスを調節することができる。

少なくとも１つの態様はフィードバック制御システムを用いてコンピュータネットワーク上でデータを送信する方法に関する。当該方法を、少なくとも部分的に、自然言語プロセッサコンポーネントおよびコンテンツセレクタコンポーネントを実行するデータ処理システムにより実施することができる。当該方法を、少なくとも部分的にフィードバックモニタコンポーネントにより実施することができる。当該方法は、自然言語プロセッサコンポーネントが、データ処理システムのインタフェースを介して、クライアントデバイスのセンサにより検出された入力オーディオ信号を含むデータパケットを受信するステップを含むことができる。当該方法は、データ処理システムが当該入力オーディオ信号を解析して、要求および当該要求に対応するトリガキーワードを識別するステップを含むことができる。当該方法は、当該コンテンツセレクタコンポーネントが自然言語プロセッサにより識別された当該トリガキーワードを受信するステップを含むことができる。当該方法は、当該コンテンツセレクタコンポーネントが、当該トリガキーワードに基づいて、リアルタイムコンテンツ選択プロセスを介してコンテンツ・アイテムを選択するステップを含むことができる。当該方法は、当該フィードバックモニタコンポーネントが、クライアントデバイスと、当該コンテンツ・アイテムとの対話に応答してクライアントデバイスとの通信セッションを確立した会話アプリケーションプログラミングインタフェースとの間で送信された可聴信号を運搬するデータパケットを受信するステップを含むことができる。当該方法は、当該フィードバックモニタコンポーネントが当該可聴信号に基づいて当該通信セッションの品質を測定するステップを含むことができる。当該方法は、当該フィードバックモニタコンポーネントが当該測定された特性に基づいて品質信号を生成するステップを含むことができる。当該方法は、当該フィードバックモニタコンポーネントが当該品質信号に基づいて当該リアルタイム選択プロセスを調節するステップを含むことができる。

これらのおよび他の態様および実装を以下で説明する。以上の情報および以下の詳細な説明は様々な態様および実装の例示的な例を含み、クレームした態様および実装の性質と特徴を理解するための概要またはフレームワークを提供する。当該図面は当該様々な態様および実装の例示とさらなる理解を提供し、本明細書に組み込まれ本明細書の一部を構成する。

添付図面は正しい縮尺で描かれていない。当該様々な図面における同じ参照番号および指定は同じ要素を示す。明確さの目的のため、全てのコンポーネントが全ての図面においてラベル付けされていないかもしれない。

コンピュータネットワーク上のデータ送信に対するフィードバック制御システムの例示を示す図である。 コンピュータネットワーク上のデータ送信に対するフィードバック制御システムの動作の例示を示す図である。 フィードバック制御システムを用いてデータをコンピュータネットワーク上で送信する方法の例示を示す図である。 本明細書で説明し図示したシステムおよび方法の要素を実装するために使用できるコンピュータシステム向けの汎用アーキテクチャを示すブロック図である。

以下は、およびコンピュータネットワーク上のデータ送信のためのフィードバック制御システムの方法、装置、およびシステムの実装に関連する様々な概念のより詳細な説明である。上で導入し以下でさらに詳細に説明する様々な概念を任意の多数の方法で実装してもよい。

本開示は一般に、１つまたは複数のインタフェースまたは１つまたは複数のタイプのコンピュータネットワーク上のデータ送信に対するフィードバックコントローラに関する。例えば、コンピューティングシステムは制限された数のインタフェース、制限されたタイプのインタフェースにアクセスでき、または制限された数の利用可能なインタフェースが所与の時点にあるかもしれない。特定のタイプのインタフェースがより多いコンピューティングリソースまたはバッテリを消費しうるので、システムが現在利用可能なインタフェースに応答して情報を効率的に送信するのは困難であるかもしれない。異種のコンピューティングリソースが音声ベースのコンピューティング環境においてオーディオベースの命令を効率的に処理し、一貫しておよび正確に解析するのは困難であるので、効率的に、信頼性高く、および正確に異種のコンピューティングリソース上で情報を通信するのは困難であるかもしれない。例えば、当該異種のコンピューティングリソースは、同一の音声モデルへのアクセスを有さないかもしれず、または当該オーディオベースの命令を解析するのを困難にしうる古いまたは非同期の音声モデルにアクセスするかもしれない。

本開示のシステムおよび方法は一般にデータ送信のためのフィードバックコントローラに関する。データ処理システムは、当該音声ベースの命令を解析し、コンテンツセレクタコンポーネントにより実施されるリアルタイムコンテンツ選択プロセスを介してコンテンツ・アイテムを選択するように集約音声に基づいてトレーニングされる音声モデルを用いて、当該音声ベースの入力を処理することができる。データ処理システムは、当該選択されたコンテンツ・アイテムを当該クライアントコンピューティングデバイスに送信して、当該クライアントコンピューティングデバイスおよび当該選択されたコンテンツ・アイテムに関連付けられたサードパーティプロバイダデバイスの間の通信セッションを開始することができる。データ処理システムは、当該通信セッションに関する情報を監視または受信して、当該通信セッションの特性を測定し品質信号を生成することができる。データ処理システムは次いで、当該リアルタイムコンテンツ選択プロセスに影響を及ぼすために、当該品質信号に基づいて当該コンテンツセレクタコンポーネントを調節または制御することができる。

図１は、コンピュータネットワーク上のデータ送信のための例示的なフィードバック制御システム１００を示す。システム１００はコンテンツ選択インフラを含むことができる。システム１００はデータ処理システム１０２を含むことができる。データ処理システム１０２はネットワーク１０５を介してコンテンツプロバイダコンピューティングデバイス１０６、サービスプロバイダコンピューティングデバイス１０８、またはクライアントコンピューティングデバイス１０４の１つまたは複数と通信することができる。ネットワーク１０５は、インターネット、ローカル・エリア・ネットワーク、広域ネットワーク、メトロポリタン・ネットワーク、または他の領域ネットワーク、イントラネット、衛星ネットワーク、および音声またはデータモバイル電話ネットワークのような他の通信ネットワークのようなコンピュータネットワークを含むことができる。ネットワーク１０５を、ラップトップ、デスクトップ、タブレット、携帯情報端末、スマートフォン、ポータブルコンピュータ、またはスピーカのような少なくとも１つのコンピューティングデバイス１０４に提供、出力、描画、または表示できる、ウェブページ、ウェブサイト、ドメイン名、またはユニフォーム・リソース・ロケータのような情報リソースにアクセスするために使用することができる。例えば、ネットワーク１０５を介してコンピューティングデバイス１０４のユーザは、サービスプロバイダ１０８またはコンテンツプロバイダ１０６により提供された情報またはデータにアクセスすることができる。

ネットワーク１０５は、コンテンツ配置または検索エンジン結果システムに関連付けられるか、または、サードパーティコンテンツ・アイテムをコンテンツ・アイテム配置キャンペーンの一部として含む権利があるディスプレイネットワーク、例えば、インターネット上で利用可能な情報リソースのサブセットを含むかまたは構成することができる。ネットワーク１０５を、クライアントコンピューティングデバイス１０４により提供、出力、描画、または表示できるウェブページ、ウェブサイト、ドメイン名、またはユニフォーム・リソース・ロケータのような情報リソースにアクセスするためにデータ処理システム１０２により使用することができる。例えば、ネットワーク１０５を介してクライアントコンピューティングデバイス１０４のユーザは、コンテンツプロバイダコンピューティングデバイス１０６またはサービスプロバイダコンピューティングデバイス１０８により提供された情報またはデータにアクセスすることができる。

ネットワーク１０５は、任意のタイプまたは形態のネットワークであってもよく、ポイント・ツー・ポイントネットワーク、ブロードキャストネットワーク、広帯域ネットワーク、ローカル・エリア・ネットワーク、電気通信ネットワーク、データ通信ネットワーク、コンピュータネットワーク、ＡＴＭ（Asynchronous Transfer Mode）ネットワーク、ＳＯＮＥＴ（Synchronous Optical Network）ネットワーク、ＳＤＨ（Synchronous Digital Hierarchy）ネットワーク、ワイヤレスネットワークおよび有線ネットワークのうち何れかを含んでもよい。ネットワーク１０５は赤外線チャネルまたは衛星帯域のような無線リンクを含んでもよい。ネットワーク１０５のトポロジはバス、星形、またはリング・ネットワークトポロジを含んでもよい。当該ネットワークは、高度携帯電話プロトコル（「ＡＭＰＳ」）、時分割多重アクセス（「ＴＤＭＡ」）、符号分割多重アクセス（「ＣＤＭＡ」）、グローバル・システム・フォー・モバイル・コミュニケーション（「ＧＳＭ(登録商標)」）、汎用パケット無線サービス（「ＧＰＲＳ」）またはユニバーサル・モバイル電気通信システム（「ＵＭＴＳ」）を含む、モバイルデバイスの間で通信するために使用される任意の１つまたは複数のプロトコルを用いた携帯電話ネットワークを含んでもよい。様々なタイプのデータが異なるプロトコルを介して送信されてもよい、または同一のタイプのデータが異なるプロトコルを介して送信されてもよい。

システム１００は少なくとも１つのデータ処理システム１０２を含むことができる。データ処理システム１０２は、ネットワーク１０５を介して、例えばコンピューティングデバイス１０４、コンテンツプロバイダデバイス１０６（コンテンツプロバイダ１０６）、またはサービスプロバイダデバイス１０８（またはサービスプロバイダ１０８）と通信するためのプロセッサを有するコンピューティングデバイスのような少なくとも１つの論理デバイスを含むことができる。データ処理システム１０２は、少なくとも１つの計算リソース、サーバ、プロセッサまたはメモリを含むことができる。例えば、データ処理システム１０２は少なくとも１つのデータセンタに配置された複数の計算リソースまたはサーバを含むことができる。データ処理システム１０２は、複数の、論理的にグループ化されたサーバを含むことができ、分散コンピューティング技術を促進する。サーバの当該論理グループをデータセンタ、サーバ・ファームまたはマシン・ファームと称してもよい。当該サーバはまた、地理的に分散されることができる。データセンタまたはマシン・ファームを単一のエンティティとして管理してもよく、または当該マシン・ファームは複数のマシン・ファームを含むことができる。各マシン・ファーム内の当該サーバは不均一であることができる。即ち、当該サーバまたはマシンのうち１つまたは複数が１つまたは複数のタイプのオペレーティング・システムプラットフォームに従って動作することができる。

当該マシン・ファーム内のサーバを、関連付けられた記憶システムとともに高密度ラック・システムに格納でき、エンタープライズデータセンタに配置することができる。例えば、当該サーバをこのように統合することで当該システムのシステム管理可能性、データセキュリティ、物理セキュリティを高めることができ、高性能ネットワーク上にサーバおよび高性能記憶システムを配置することでシステム性能を高めることができる。サーバおよび記憶システムを含むデータ処理システム１０２コンポーネントの全部または一部の集約化は、それらを高度なシステム管理ツールと組み合わせることで、サーバリソースのより効率的な利用を可能とし、これは電力および処理要件を節約し帯域幅利用を減らす。

システム１００は、少なくとも１つのサービスプロバイダデバイス１０８を含み、それにアクセスし、または対話することができる。サービスプロバイダデバイス１０８は、ネットワーク１０５を介して例えばコンピューティングデバイス１０４、データ処理システム１０２、またはコンテンツプロバイダ１０６と通信するためのプロセッサを有するコンピューティングデバイスのような少なくとも１つの論理デバイスを含むことができる。サービスプロバイダデバイス１０８は、少なくとも１つの計算リソース、サーバ、プロセッサまたはメモリを含むことができる。例えば、サービスプロバイダデバイス１０８は少なくとも１つのデータセンタに配置された複数の計算リソースまたはサーバを含むことができる。サービスプロバイダデバイス１０８はデータ処理システム１０２の１つまたは複数のコンポーネントまたは機能を含むことができる。

コンテンツプロバイダコンピューティングデバイス１０６は、クライアントコンピューティングデバイス１０４により表示するためのオーディオベースのコンテンツ・アイテムを、オーディオ出力コンテンツ・アイテムとして提供することができる。当該コンテンツ・アイテムは「Would you like me to order you a taxi?」と述べる音声ベースのメッセージのような商品またはサービスの申し出を含むことができる。例えば、コンテンツプロバイダコンピューティングデバイス１５５は、音声ベースのクエリに応答して提供できる一連のオーディオコンテンツ・アイテムを格納するためのメモリを含むことができる。コンテンツプロバイダコンピューティングデバイス１０６はまた、オーディオベースのコンテンツ・アイテム（または他のコンテンツ・アイテム）をデータ処理システム１０２に提供することができる。それらをデータリポジトリ１２４に格納することができる。データ処理システム１０２は当該オーディオコンテンツ・アイテムを選択し、当該オーディオコンテンツ・アイテムをクライアントコンピューティングデバイス１０４に提供する（または提供するようにコンテンツプロバイダコンピューティングデバイス１０４に指示する）ことができる。当該オーディオベースのコンテンツ・アイテムは、排他的にオーディオであることができ、または、テキスト、画像、またはビデオデータと組み合わせることができる。

サービスプロバイダデバイス１０８はインタフェースを含むことができ、または少なくとも１つのサービスプロバイダ自然言語プロセッサコンポーネント１４２およびサービスプロバイダインタフェース１４４と通信することができる。サービスプロバイダコンピューティングデバイス１０８は、少なくとも１つのサービスプロバイダ自然言語プロセッサ（ＮＬＰ）コンポーネント１４２および少なくとも１つのサービスプロバイダインタフェース１４４を含むことができる。サービスプロバイダＮＬＰコンポーネント１４２（またはサービスプロバイダコンピューティングデバイス１０８のダイレクト・アクションＡＰＩのような他のコンポーネント）は、クライアントコンピューティングデバイス１０４と（データ処理システム１０２を介してまたはデータ処理システム１０２をバイパスして）協働して、クライアントコンピューティングデバイス１０４およびサービスプロバイダコンピューティングデバイス１０８の間の行き来するリアルタイム音声またはオーディオベースの会話（例えば、セッション）を生成することができる。サービスプロバイダＮＬＰ１４２はデータ処理システム１０２のＮＬＰコンポーネント１１２としての１つまたは複数の機能または特徴を含むことができる。例えば、サービスプロバイダインタフェース１４４はデータメッセージを受信またはデータ処理システム１０２のダイレクト・アクションＡＰＩ１１６に提供することができる。サービスプロバイダコンピューティングデバイス１０８およびコンテンツプロバイダコンピューティングデバイス１０６を同一のエンティティに関連付けることができる。例えば、コンテンツプロバイダコンピューティングデバイス１０６はカーシェア・サービスに対して利用可能なコンテンツ・アイテムを生成、格納、または作成でき、サービスプロバイダコンピューティングデバイス１０８はクライアントコンピューティングデバイス１０６とのセッションを確立してクライアントコンピューティングデバイス１０４のエンド・ユーザをピックアップするためのタクシーまたはカーシェア・サービスの車の配送をアレンジすることができる。データ処理システム１０２、ダイレクト・アクションＡＰＩ１１６を介して、ＮＬＰコンポーネント１１２または他のコンポーネントはまた、当該クライアントコンピューティングデバイスとのセッションを確立し、サービスプロバイダコンピューティングデバイス１０４を含むかまたはバイパスして、例えばタクシーまたは当該カーシェア・サービスの車の配送をアレンジすることができる。

コンピューティングデバイス１０４は、インタフェースを含むことができ、または少なくとも１つのセンサ１３４、トランスデューサ１３６、オーディオドライバ１３８、またはプリプロセッサ１４０と通信することができる。センサ１３４は、例えば、周辺光センサ、近接性センサ、温度センサ、加速度計、ジャイロスコープ、動き検出器、ＧＰＳセンサ、位置センサ、マイクロフォン、またはタッチセンサを含むことができる。トランスデューサ１３６はスピーカまたはマイクロフォンを含むことができる。オーディオドライバ１３８はソフトウェアインタフェースをハードウェアトランスデューサ１３６に提供することができる。当該オーディオドライバはデータ処理システム１０２により提供されたオーディオファイルまたは他の命令を実行して、対応する音波または音波を生成するようにトランスデューサ１３６を制御することができる。プリプロセッサ１４０を、キーワードを検出し当該キーワードに基づいてアクションを実施するように構成することができる。プリプロセッサ１４０は、１つまたは複数の用語をフィルタするか、または、当該用語を、さらなる処理のために当該用語をデータ処理システム１０２に送信する前に修正することができる。プリプロセッサ１４０は当該マイクロフォンにより検出されたアナログオーディオ信号をデジタルオーディオ信号に変換し、ネットワーク１０５を介して、当該デジタルオーディオ信号を運搬する１つまたは複数のデータパケットをデータ処理システム１０２に送信することができる。幾つかのケースでは、プリプロセッサ１４０は、かかる送信を実施するための命令を検出したことに応答して、当該入力オーディオ信号の一部または全部を運搬するデータパケットを送信することができる。当該命令は、例えば、当該入力オーディオ信号を含むデータパケットをデータ処理システム１０２に送信するためのトリガキーワードまたは他のキーワードまたは承認を含むことができる。

クライアントコンピューティングデバイス１０４をエンド・ユーザに関連付けることができる。当該エンド・ユーザは、（センサ１３４を介して）音声クエリをオーディオ入力としてクライアントコンピューティングデバイス１０４に入力し、データ処理システム１０２（またはコンテンツプロバイダコンピューティングデバイス１０６またはサービスプロバイダコンピューティングデバイス１０８）からクライアントコンピューティングデバイス１０４に、トランスデューサ１３６（例えば、スピーカ）からの出力を提供できる、コンピュータ生成された音声の形でオーディオ出力を受信する。当該コンピュータ生成された音声は実際の人またはコンピュータ生成された言語からの記録を含むことができる。

データリポジトリ１２４は１つまたは複数のローカルまたは分散データベースを含むことができ、データベース管理システムを含むことができる。データリポジトリ１２４はコンピュータデータ記憶またはメモリを含むことができ、他のデータのうち１つまたは複数のパラメータ１２６、１つまたは複数のポリシ１２８、コンテンツデータ１３０、またはテンプレート１３２を格納することができる。パラメータ１２６、ポリシ１２８、およびテンプレート１３２は、音声ベースのセッションに関するルールクライアントコンピューティングデバイス１０４およびデータ処理システム１０２（またはサービスプロバイダコンピューティングデバイス１０８）の間のような情報を含むことができる。コンテンツデータ１３０は、オーディオ出力に対するコンテンツ・アイテムまたは関連付けられたメタデータ、ならびにクライアントコンピューティングデバイス１０４との１つまたは複数の通信セッションの一部でありうる入力オーディオメッセージを含むことができる。

データ処理システム１０２は少なくとも１つの計算リソースまたはサーバを有するコンテンツ配置システムを含むことができる。データ処理システム１０２は、インタフェースを含むことができ、または少なくとも１つのインタフェース１１０と通信することができる。データ処理システム１０２は、インタフェースを含むことができ、または少なくとも１つの自然言語プロセッサコンポーネント１１２と通信することができる。データ処理システム１０２は、インタフェースを含むことができ、または少なくとも１つのダイレクト・アクションアプリケーションプログラミングインタフェース（「ＡＰＩ」）１１６と通信することができる。データ処理システム１０２は、インタフェースを含むことができ、または少なくとも１つのセッションハンドラ１１４と通信することができる。データ処理システム１０２は、インタフェースを含むことができ、または少なくとも１つのコンテンツセレクタコンポーネント１１８と通信することができる。データ処理システム１０２は、インタフェースを含むことができ、または少なくとも１つのフィードバックモニタコンポーネント１２０と通信することができる。データ処理システム１０２は、インタフェースを含むことができ、または少なくとも１つのオーディオ信号ジェネレータ１２２と通信することができる。データ処理システム１０２は、インタフェースを含むことができ、または少なくとも１つのデータリポジトリ１２４と通信することができる。少なくとも１つのデータリポジトリ１２４は、１つまたは複数のデータ構造またはデータベースに、パラメータ１２６、ポリシ１２８、コンテンツデータ１３０、またはテンプレート１３２を含むかまたは格納することができる。パラメータ１２６は、例えば、閾値、距離、時間間隔、期間、スコア、または重みを含むことができる。コンテンツデータ１３０は、例えば、コンテンツキャンペーン情報、コンテンツグループ、コンテンツ選択基準、コンテンツ・アイテム・オブジェクトまたはコンテンツプロバイダ１０６により提供されたまたはコンテンツ選択を促進するためにデータ処理システムにより取得または決定された他の情報を含むことができる。コンテンツデータ１３０は、例えば、コンテンツキャンペーンの履歴性能を含むことができる。

インタフェース１１０、自然言語プロセッサコンポーネント１１２、セッションハンドラ１１４、ダイレクト・アクションＡＰＩ１１６、コンテンツセレクタコンポーネント１１８、フィードバックモニタコンポーネント１２０、またはオーディオ信号ジェネレータコンポーネント１２２はそれぞれ、プログラム可能論理アレイエンジンのような少なくとも１つの処理ユニットまたは他の論理デバイス、またはデータベースリポジトリまたはデータベース１２４と通信するように構成されたモジュールを含むことができる。インタフェース１１０、自然言語プロセッサコンポーネント１１２、セッションハンドラ１１４、ダイレクト・アクションＡＰＩ１１６、コンテンツセレクタコンポーネント１１８、フィードバックモニタコンポーネント１２０、オーディオ信号ジェネレータコンポーネント１２２およびデータリポジトリ１２４は別々のコンポーネント、単一のコンポーネント、またはデータ処理システム１０２の一部であることができる。データ処理システム１０２のようなシステム１００およびそのコンポーネント、は１つまたは複数のプロセッサ、論理デバイス、または回路のようなハードウェア要素を含むことができる。

データ処理システム１０２は複数のコンピューティングデバイス１０４に関連付けられた匿名コンピュータネットワーク活動情報を取得することができる。コンピューティングデバイス１０４のユーザは、データ処理システム１０２を肯定的に認証してユーザのコンピューティングデバイス１０４に対応するネットワーク活動情報を取得することができる。例えば、データ処理システム１０２は１つまたは複数のタイプのネットワーク活動情報を取得することに対する同意に関してコンピューティングデバイス１０４のユーザを促すことができる。コンピューティングデバイス１０４のユーザのアイデンティティは匿名のままであってもよくコンピューティングデバイス１０４を、一意な識別子（例えば、データ処理システムまたは当該コンピューティングデバイスのユーザにより提供された当該コンピューティングデバイスの一意な識別子）に関連付けることができる。データ処理システムは各観測を対応する一意な識別子に関連付けることができる。

コンテンツプロバイダ１０６は電子コンテンツキャンペーンを確立することができる。当該電子コンテンツキャンペーンをコンテンツデータ１３０としてデータリポジトリ１２４に格納することができる。電子コンテンツキャンペーンは、共通のテーマに対応する１つまたは複数のコンテンツグループを指すことができる。コンテンツキャンペーンは、コンテンツグループ、コンテンツ・アイテムデータオブジェクト、およびコンテンツ選択基準を含む階層的データ構造を含むことができる。コンテンツキャンペーンを生成するために、コンテンツプロバイダ１０６は、当該コンテンツキャンペーンのキャンペーンレベルパラメータの値を指定することができる。当該キャンペーンレベルパラメータは、例えば、キャンペーン名、コンテンツ・アイテム・オブジェクトを配置するための好適なコンテンツネットワーク、当該コンテンツキャンペーンに使用されるリソースの値、当該コンテンツキャンペーンの開始日と終了日、当該コンテンツキャンペーンの期間、コンテンツ・アイテム・オブジェクト配置のスケジュール、言語、地理的位置、コンテンツ・アイテム・オブジェクトを提供するコンピューティングデバイスのタイプを含むことができる。幾つかのケースでは、インプレッションは、コンテンツ・アイテム・オブジェクトがそのソース（例えば、データ処理システム１０２またはコンテンツプロバイダ１０６）からフェッチされたときを指すことができ、計測可能である。幾つかのケースでは、クリック詐欺の可能性のため、ロボット活動をインプレッションとしてフィルタし除外することができる。したがって、幾つかのケースでは、インプレッションはWebサーバからブラウザからのページ要求への応答の測定値を指すことができる、当該ページ要求はロボット活動およびエラーコードからフィルタされ、コンピューティングデバイス１０４に表示するためのコンテンツ・アイテム・オブジェクトを描画する機会にできるだけ近いポイントで記録される。幾つかのケースでは、インプレッションは視聴可能または可聴なインプレッションを指すことができる。例えば、当該コンテンツ・アイテム・オブジェクトは、少なくとも部分的に（例えば、２０％、３０％、３０％、４０％、５０％、６０％、７０％、またはそれ以上）クライアントコンピューティングデバイス１０４のディスプレイデバイスで視聴可能、またはコンピューティングデバイス１０４のスピーカ１３６を介して可聴である。クリックまたは選択は、可聴インプレッションへの音声応答、マウス・クリック、タッチ対話、ジェスチャ、振動、オーディオ対話、またはキーボードクリックのような当該コンテンツ・アイテム・オブジェクトとのユーザ対話を指すことができる。変換は、ユーザが、当該コンテンツ・アイテム・オブジェクトに関して所望のアクションをとったこと、例えば、製品またはサービスの購入、調査の完了、当該コンテンツ・アイテムに対応する物理的な店の訪問、または電子トランザクションの完了を指すことができる。

コンテンツプロバイダ１０６はさらに、コンテンツキャンペーンに対する１つまたは複数のコンテンツグループを確立することができる。コンテンツグループは、１つまたは複数のコンテンツ・アイテム・オブジェクトおよびキーワード、単語、用語、フレーズ、地理的位置、コンピューティングデバイスのタイプ、日時、関心、トピック、または垂直線のような対応するコンテンツ選択基準を含む。同一のコンテンツキャンペーンのもとでのコンテンツグループは同一のキャンペーンレベルパラメータを共有できるが、キーワード、（例えば、メイン・コンテンツに対するネガティブなキーワードの存在下で当該コンテンツ・アイテムの配置をブロックする）ネガティブなキーワード、キーワードに対する入札、または当該入札またはコンテンツキャンペーンに関連付けられたパラメータのような特定のコンテンツグループレベルパラメータに対して仕様をカスタマイズしているかもしれない。

新たなコンテンツグループを生成するために、コンテンツプロバイダは、コンテンツグループのコンテンツグループレベルパラメータの値を提供することができる。当該コンテンツグループレベルパラメータは、例えば、コンテンツグループの名前またはコンテンツグループのテーマ、および異なるコンテンツ配置の機会（例えば、自動配置または管理された配置）に対する入札または結果（例えば、クリック、インプレッション、または変換）を含む。コンテンツグループの名前またはコンテンツグループのテーマはコンテンツプロバイダ１０６が当該コンテンツグループのどのコンテンツ・アイテム・オブジェクトが表示のために選択されるべきかに対するトピックまたは主題をキャプチャするために使用できる、１つまたは複数の用語であることができる。例えば、カー・ディーラーは、それが有する車のブランドごとに異なるコンテンツグループを生成でき、さらに、それが有する車のモデルごとに異なるコンテンツグループを生成してもよい。当該カー・ディーラーが使用できるコンテンツグループテーマの例には、例えば、「Make A sports car」「Make B sports car」、「Make C sedan」、「Make C truck」、「Make C hybrid」、または「Make D hybrid」が含まれる。例示的なコンテンツキャンペーンテーマは「ハイブリッド」であることができ、例えば「Make C hybrid」および「Make D hybrid」の両方に対するコンテンツグループを含む。

コンテンツプロバイダ１０６は、１つまたは複数のキーワードおよびコンテンツ・アイテム・オブジェクトを各コンテンツグループに提供することができる。キーワードは、当該コンテンツ・アイテム・オブジェクトに関連付けられるかまたは識別された製品またはサービスに関連する用語を含むことができる。キーワードは１つまたは複数の用語またはフレーズを含むことができる。例えば、カー・ディーラーはコンテンツグループまたはコンテンツキャンペーンのためのキーワードとして、「スポーツカー」、「Ｖ６エンジン」、「四輪駆動」、「燃料効率」、を含むことができる。幾つかのケースでは、ネガティブなキーワードを、特定の用語またはキーワードに対するコンテンツ配置を回避、防止、ブロック、または無効にするためにコンテンツプロバイダにより指定することができる。コンテンツプロバイダは、コンテンツ・アイテム・オブジェクトを選択するために使用される厳密なマッチ、フレーズマッチ、または広義のマッチのようなマッチングのタイプを指定することができる。

コンテンツプロバイダ１０６は、コンテンツプロバイダ１０６により提供されたコンテンツ・アイテム・オブジェクトを選択するためにデータ処理システム１０２により使用される１つまたは複数のキーワードを提供することができる。コンテンツプロバイダ１０６は、入札する１つまたは複数のキーワードを識別でき、さらに様々なキーワードに対する入札量を提供することができる。コンテンツプロバイダ１０６は、コンテンツ・アイテム・オブジェクトを選択するためにデータ処理システム１０２により使用される追加のコンテンツ選択基準を提供することができる。複数のコンテンツプロバイダ１０６は同一のまたは異なるキーワードに入札でき、データ処理システム１０２は、電子メッセージのキーワードの指示を受信したことに応答して、コンテンツ選択プロセスまたは広告オークションを実行することができる。

コンテンツプロバイダ１０６は、データ処理システム１０２により選択するための１つまたは複数のコンテンツ・アイテム・オブジェクトを提供することができる。データ処理システム１０２（例えば、コンテンツセレクタコンポーネント１１８を介して）はリソース位置、コンテンツスケジュール、最大入札、キーワード、およびコンテンツグループに対して指定された他の選択基準にマッチするコンテンツ配置機会が利用可能になったとき、当該コンテンツ・アイテム・オブジェクトを選択することができる。様々なタイプのコンテンツ・アイテム・オブジェクトは、音声コンテンツ・アイテム、オーディオコンテンツ・アイテム、テキストコンテンツ・アイテム、画像コンテンツ・アイテム、ビデオコンテンツ・アイテム、マルチメディアコンテンツ・アイテム、またはコンテンツ・アイテムリンクのようなコンテンツグループに含まれることができる。コンテンツ・アイテムを選択すると、データ処理システム１０２は、コンピューティングデバイス１０４またはコンピューティングデバイス１０４のディスプレイデバイスに描画するために当該コンテンツ・アイテム・オブジェクトを送信することができる。描画は、当該コンテンツ・アイテムをディスプレイデバイスに表示すること、またはコンピューティングデバイス１０４のスピーカを介して当該コンテンツ・アイテムを再生することを含むことができる。データ処理システム１０２は、コンピューティングデバイス１０４への命令を、当該コンテンツ・アイテムを描画するオブジェクトに提供することができる。データ処理システム１０２は、オーディオ信号または音波を生成するように、コンピューティングデバイス１０４、またはコンピューティングデバイス１０４のオーディオドライバ１３８に指示することができる。

データ処理システム１０２は例えば、データパケットを用いて情報を送受信するように設計され、構成され、構築され、または動作するインタフェースコンポーネント１１０を含むことができる。インタフェース１１０は、ネットワークプロトコルのような１つまたは複数のプロトコルを用いて情報を送受信することができる。インタフェース１１０は、ハードウェアインタフェース、ソフトウェアインタフェース、有線インタフェース、またはワイヤレスインタフェースを含むことができる。インタフェース１１０は、或るフォーマットから別のフォーマットへのデータ変換またはデータ・フォーマットを促進することができる。例えば、インタフェース１１０は、ソフトウェアコンポーネントのような様々なコンポーネントの間で通信するための定義を含むアプリケーションプログラミングインタフェースを含むことができる。

データ処理システム１０２は、入力オーディオ信号をデータ処理システム１０２のインタフェース１１０に送信し当該クライアントコンピューティングデバイスのコンポーネントを駆動して、出力オーディオ信号を描画するためのアプリのようなクライアントコンピューティングデバイス１０４にインストールされたアプリケーション、スクリプトまたはプログラムを含むことができる。データ処理システム１０２はオーディオ入力信号を含むかまたは識別するデータパケットまたは他の信号を受信することができる。例えば、データ処理システム１０２は、ＮＬＰコンポーネント１１２を実行して、当該オーディオ信号を受信または取得し、当該オーディオ信号を解析することができる。例えば、ＮＬＰコンポーネント１１２は人間とコンピュータの間の対話を提供することができる。ＮＬＰコンポーネント１１２を、自然言語を理解しデータ処理システム１０２が人間または自然言語入力から意味を導出するための技術で構成することができる。ＮＬＰコンポーネント１１２は、統計的機械学習のような機械学習に基づく技術を含むことができるかまたはそれで構成することができる。ＮＬＰコンポーネント１１２は、決定木、統計的モデル、または確率論的モデルを利用して当該入力オーディオ信号を解析することができる。ＮＬＰコンポーネント１１２は、例えば、名前付きエンティティ認識（例えば、テキストのストリームが与えられると、当該テキスト内のどのアイテムを人または場所のような正確な名前にマップするか、および人、位置、または組織のような、各かかる名前がどんなタイプかを判定する）、自然言語生成（例えば、コンピュータデータベースまたはセマンティックな意図からの情報を理解可能な人間言語に変換する）、自然言語理解（例えば、コンピュータモジュールが操作できる１次論理構造のようなより形式的な表現にテキストを変換する）、マシン変換（例えば、自動的に或る人間の言語から別の人間の言語にテキストを翻訳する）、形態学的セグメンテーション（例えば、単語を独立な形態素に分離し当該形態素のクラスを識別する。これは、考慮されている言語の単語の形態学または構造の複雑性に基づいて困難なものでありうる）、質問回答（例えば、人間の言語の質問への回答を決定する。これは、特定的または制約なしであることができる）、セマンティック処理（例えば、識別された単語を、同様な意味を有する他の単語に関連付けるために単語を識別しその意味を符号化した後に発生しうる処理）のような機能を実施することができる。

ＮＬＰコンポーネント１１２は、入力信号を（例えば、データリポジトリ１２４に）格納された、代表的な組のオーディオ波形に対して比較し最も近いマッチを選択することで、当該オーディオ入力信号を認識されたテキストに変換する。当該１組のオーディオ波形を、データ処理システム１０２にアクセス可能なデータリポジトリ１２４または他のデータベースに格納することができる。当該代表的な波形は大規模な１組のユーザにわたって生成され、次いでユーザからの会話サンプルで補強してもよい。当該オーディオ信号が認識されたテキストに変換された後、ＮＬＰコンポーネント１１２は、当該テキストを、関連付けられた、例えばユーザにわたるトレーニングを介してまたはマニュアル手動を通じて、データ処理システム１０２がサービス提供できるアクションに関連付けられた単語にマッチする。

オーディオ入力信号はクライアントコンピューティングデバイス１０４のセンサ１３４またはトランスデューサ１３６（例えば、マイクロフォン）により検出されることができる。トランスデューサ１３６、オーディオドライバ１３８、または他のコンポーネントを介して、クライアントコンピューティングデバイス１０４は当該オーディオ入力信号をデータ処理システム１０２に（例えば、ネットワーク１０５を介して）提供することができる。それを、（例えば、インタフェース１１０により）受信でき、ＮＬＰコンポーネント１１２に提供するかまたはデータリポジトリ１２４に格納することができる。

ＮＬＰコンポーネント１１２は入力オーディオ信号を取得することができる。当該入力オーディオ信号から、ＮＬＰコンポーネント１１２は、少なくとも１つの要求または当該要求に対応する少なくとも１つのトリガキーワードを識別することができる。当該要求は当該入力オーディオ信号の意図または主題を示すことができる。当該トリガキーワードは行われる可能性があるアクションのタイプを示すことができる。例えば、ＮＬＰコンポーネント１１２は当該入力オーディオ信号を解析して、夕方に家を出てディナーおよび映画に参加する少なくとも１つの要求を識別することができる。当該トリガキーワードは、取るべきアクションを示す少なくとも１つの単語、フレーズ、語源または部分語、または派生物を含むことができる。例えば、当該入力オーディオ信号からのトリガキーワード「go」または「to go to」は輸送に対する必要性を示すことができる。本例では、当該入力オーディオ信号（または識別された要求）は輸送の意図を直接表現しないが、当該トリガキーワードは、輸送が当該要求により示される少なくとも１つの他のアクションに対する補完的アクションであることを示す。

ＮＬＰコンポーネント１１２は当該入力オーディオ信号を解析し、識別し、決定し、取り出し、または当該要求および当該トリガキーワードを取得することができる。例えば、ＮＬＰコンポーネント１１２は、セマンティック処理技術を当該入力オーディオ信号に適用して、当該トリガキーワードまたは当該要求を識別することができる。ＮＬＰコンポーネント１１２は、当該セマンティック処理技術を当該入力オーディオ信号に適用して、第１のトリガキーワードおよび第２のトリガキーワードのような１つまたは複数のトリガキーワードを含むトリガ・フレーズを識別することができる。例えば、当該入力オーディオ信号は「I need someone to do my laundry and my dry cleaning」という文章を含むことができる。ＮＬＰコンポーネント１１２は、セマンティック処理技術、または他の自然言語処理技術を、当該文章を含む当該データパケットに適用して、トリガ・フレーズ「do my laundry」および「do my dry cleaning」を識別することができる。ＮＬＰコンポーネント１１２はさらに、洗濯、およびドライ・クリーニングのような複数のトリガキーワードを識別することができる。例えば、ＮＬＰコンポーネント１１２は、当該トリガ・フレーズが当該トリガキーワードおよび第２のトリガキーワードを含むと判定することができる。

ＮＬＰコンポーネント１１２は、入力オーディオ信号をフィルタしてトリガキーワードを識別することができる。例えば、当該入力オーディオ信号を運搬する当該データパケットは「It would be great if I could get someone that could help me go to the airport」を含むことができる。この場合ＮＬＰコンポーネント１１２は、「it」、「would」、「be」、「great」、「if」、「I」、「could」、「get」、「someone」、「that」、「could」、または「help」といった１つまたは複数の用語をフィルタして除去することができる。これらの用語をフィルタして除去することで、ＮＬＰコンポーネント１１２は、「go to the airport」のようなトリガキーワードをより正確におよび信頼性高く識別し、これがタクシーまたは乗車共有サービスの要求であると判定することができる。

幾つかのケースでは、ＮＬＰコンポーネントは、入力オーディオ信号を運搬するデータパケットが１つまたは複数の要求を含むと判定することができる。例えば、当該入力オーディオ信号は「I need someone to do my laundry and my dry cleaning」という文章を含むことができる。ＮＬＰコンポーネント１１２はこれが洗濯サービスおよびドライ・クリーニングサービスの要求であると判定することができる。ＮＬＰコンポーネント１１２は、これが、洗濯サービスおよびドライ・クリーニングサービスの両方を提供できるサービスプロバイダに対する単一の要求であると判定することができる。ＮＬＰコンポーネント１１２は、これが２つの要求、即ち、洗濯サービスを実施するサービスプロバイダに対する第１の要求、およびドライ・クリーニングサービスを提供するサービスプロバイダに対する第２の要求であると判定することができる。幾つかのケースでは、ＮＬＰコンポーネント１１２は、当該複数の決定された要求を単一の要求に結合し、当該単一の要求をサービスプロバイダデバイス１０８に送信することができる。幾つかのケースでは、ＮＬＰコンポーネント１１２は当該独立な要求を各サービスプロバイダデバイス１０８に送信するか、または別々に両方の要求を同一のサービスプロバイダデバイス１０８に送信することができる。

データ処理システム１０２は、トリガキーワードに基づいて、当該要求に応答してアクションデータ構造を生成するように設計され構成されたダイレクト・アクションＡＰＩ１１６を含むことができる。データ処理システム１０２のプロセッサは、ダイレクト・アクションＡＰＩ１１６を起動して、カーシェア・サービスからの車のようなサービスまたは製品を要求または注文するためのサービスプロバイダデバイス１０８に対するデータ構造を生成するスクリプトを実行することができる。ダイレクト・アクションＡＰＩ１１６は、データをデータリポジトリ１２４から取得することができ、ならびにエンド・ユーザの同意によりクライアントコンピューティングデバイス１０４から受信されたデータを、サービスプロバイダデバイス１０８がカーシェア・サービスからの車の予約のような動作を実施できるようにするための位置、時間、ユーザアカウント、物流または他の情報を決定するために取得することができる。ダイレクト・アクションＡＰＩ１１６を用いて、データ処理システム１０２はまた、サービスプロバイダデバイス１０８と通信して、この例ではカーシェアのピックアップ予約を行うことによって変換を完了することができる。

ダイレクト・アクションＡＰＩ１１６はデータ処理システム１０２により決定されるように、指定されたアクションを実行してエンド・ユーザの意図を満たすことができる。その入力で指定された当該アクションに依存して、ダイレクト・アクションＡＰＩ１１６は、ユーザ要求を満たすのに必要なパラメータを識別するコードまたはダイアログスクリプトを実行することができる。かかるコードは、例えば、ホーム・オートメーションサービスの名前のようなデータリポジトリ１２４内の追加の情報を検索でき、またはエンド・ユーザに要求されたタクシーの意図した宛先のような質問をするために、クライアントコンピューティングデバイス１０４で描画するためのオーディオ出力を提供することができる。ダイレクト・アクションＡＰＩ１１６は必要なパラメータを決定し、当該情報をアクションデータ構造にパッケージ化することができ、当該データ構造を次いで、満たすべきコンテンツセレクタコンポーネント１１８またはサービスプロバイダコンピューティングデバイス１０８のような別のコンポーネントに送信することができる。

ダイレクト・アクションＡＰＩ１１６は当該アクションデータ構造を生成または構築するための命令またはコマンドを、ＮＬＰコンポーネント１１２、またはデータ処理システム１０２の他のコンポーネントから受信することができる。ダイレクト・アクションＡＰＩ１１６はデータリポジトリ１２４に格納されたテンプレートリポジトリ１３２からテンプレートを選択するためのアクションのタイプを決定することができる。アクションのタイプは、例えば、サービス、製品、予約、またはチケットを含むことができる。アクションのタイプはさらに、サービスまたは製品のタイプを含むことができる。例えば、サービスのタイプは、カーシェア・サービス、フード・デリバリーサービス、洗濯サービス、メイドサービス、修理サービス、または家庭サービスを含むことができる。製品のタイプは、例えば、衣服、靴、おもちゃ、電子、コンピュータ、ブック、または宝石を含むことができる。予約のタイプは、例えば、ディナー予約またはヘアサロンの予約を含むことができる。チケットのタイプは、例えば、映画チケット、競技場チケット、または飛行機チケットを含むことができる。幾つかのケースでは、サービス、製品、予約またはチケットのタイプを、価格、位置、発送、可用性、または他の属性のタイプに基づいて分類することができる。

ダイレクト・アクションＡＰＩ１１６は、要求のタイプを識別すると、対応するテンプレートにテンプレートリポジトリ１３２からアクセスすることができる。テンプレートは、ダイレクト・アクションＡＰＩ１１６により（エンド・ユーザをピックアップ位置でピックアップしてエンド・ユーザを目的地に輸送するためにタクシーを回す動作のような）サービスプロバイダデバイス１０８に要求されたさらなる動作に対して埋めることができる構造化データ・セット内のフィールドを含むことができる。ダイレクト・アクションＡＰＩ１１６は、テンプレートリポジトリ１３２内で検索を実施して、当該トリガキーワードおよび要求の１つまたは複数の特性にマッチするテンプレートを選択することができる。例えば、当該要求が宛先への車または乗車の要求に対応する場合、データ処理システム１０２はカーシェア・サービス・テンプレートを選択することができる。当該カーシェア・サービス・テンプレートは、以下のフィールド、即ち、デバイス識別子、ピックアップ位置、目的地、乗客の数、またはサービスのタイプのうち１つまたは複数を含むことができる。ダイレクト・アクションＡＰＩ１１６は当該フィールドを値で埋めることができる。当該フィールドを値で埋めるために、ダイレクト・アクションＡＰＩ１１６は、コンピューティングデバイス１０４の１つまたは複数のセンサ１３４またはデバイス１０４のユーザインタフェースをピングし、そこから情報をポーリングまたは取得することができる。例えば、ダイレクト・アクションＡＰＩ１１６は、ＧＰＳセンサのような位置センサを用いて当該ソース位置を検出することができる。ダイレクト・アクションＡＰＩ１１６は、コンピューティングデバイス１０４のエンド・ユーザに調査、プロンプト、またはクエリを送信することで、さらなる情報を取得することができる。当該ダイレクト・アクションＡＰＩは、データ処理システム１０２のインタフェース１１０およびコンピューティングデバイス１０４のユーザインタフェース（例えば、オーディオインタフェース、音声ベースのユーザインタフェース、ディスプレイ、またはタッチ・スクリーン）を介して、調査、プロンプト、またはクエリを送信することができる。したがって、ダイレクト・アクションＡＰＩ１１６は、当該トリガキーワードまたは当該要求に基づいて当該アクションデータ構造に対するテンプレートを選択し、１つまたは複数のセンサ１３４により検出されたまたはユーザインタフェースを介して取得された情報で当該テンプレート内の１つまたは複数のフィールドを埋め、サービスプロバイダデバイス１０８による動作の実施を促進するための当該アクションデータ構造を生成、作成、または構築することができる。

データ処理システム１０２は、例えば、当該トリガキーワード、要求、サードパーティプロバイダデバイス１０８、サードパーティプロバイダデバイス１０８のタイプ、サードパーティプロバイダデバイス１０８が入るカテゴリ（例えば、タクシーサービス、洗濯サービス、フラワー・サービス、またはフード・デリバリー）、位置、または他のセンサ情報を含む様々な因子のうち１つまたは複数に基づいて当該テンプレートをテンプレートデータ構造１３２から選択することができる。

当該トリガキーワードに基づいて当該テンプレートを選択するために、データ処理システム１０２は、（例えば、ダイレクト・アクションＡＰＩ１１６を介して）当該トリガキーワードを用いて検索または他のクエリ動作をテンプレートデータベース１３２に実施して、当該トリガキーワードにマップまたは対応するテンプレートデータ構造を識別することができる。例えば、テンプレートデータベース１３２内の各テンプレートを、当該テンプレートが、通信セッションを確立するためにサードパーティプロバイダデバイス１０８が処理できる当該トリガキーワードに応答してアクションデータ構造を生成するように構成されることを示すための１つまたは複数のトリガキーワードに関連付けることができる。

幾つかのケースでは、データ処理システム１０２は、当該トリガキーワードに基づいてサードパーティプロバイダデバイス１０８を識別することができる。サードパーティプロバイダ１０８を当該トリガキーワードに基づいて識別するために、データ処理システム１０２は、データリポジトリ１２４内で検索を実施して、当該トリガキーワードにマップするサードパーティプロバイダデバイス１０８を識別することができる。例えば、当該トリガキーワードが「ride」または「to go to」を含む場合、データ処理システム１０２は、（例えば、ダイレクト・アクションＡＰＩ１１６を介して）サードパーティプロバイダデバイス１０８をタクシーサービス会社Ａに対応するとして識別することができる。データ処理システム１０２は、識別されたサードパーティプロバイダデバイス１０８を用いて当該テンプレートをテンプレートデータベース１３２から選択することができる。例えば、テンプレートデータベース１３２は、通信セッションを確立するためにサードパーティプロバイダデバイス１０８が処理できる当該トリガキーワードに応答してアクションデータ構造を生成するように構成されたサードパーティプロバイダデバイス１０８またはエンティティの間のテンプレートに対するマッピングまたは相関関係を含むことができる。幾つかのケースでは、当該テンプレートを、サードパーティプロバイダデバイス１０８に対して、またはサードパーティプロバイダデバイス１０８のカテゴリに関してカスタマイズすることができる。データ処理システム１０２は、サードパーティプロバイダ１０８に対する当該テンプレートに基づいて当該アクションデータ構造を生成することができる。

当該アクションデータ構造を構築または生成するために、データ処理システム１０２は、値で埋めるべき当該選択されたテンプレート内の１つまたは複数のフィールドを識別することができる。当該フィールドを、数値、文字列、ユニコード値、ブール論理、二進値、１６進値、識別子、位置座標、地理的領域、タイムスタンプ、または他の値で埋めることができる。当該フィールドまたは当該データ構造自体を、データセキュリティを維持するために、暗号化またはマスクすることができる。

当該テンプレート内の当該フィールドを決定すると、データ処理システム１０２は、当該テンプレートのフィールドを埋めるための当該フィールドに対する値を識別して、当該アクションデータ構造を生成することができる。データ処理システム１０２は、検索または他のクエリ動作をデータリポジトリ１２４に実施することで、当該フィールドに対する値を取得し、取り出し、決定し、または識別することができる。

幾つかのケースでは、データ処理システム１０２は、当該フィールドに対する情報または値がデータリポジトリ１２４にないと判定することができる。データ処理システム１０２は、データリポジトリ１２４に格納された情報または値が古い、陳腐であるか、またはトリガキーワードおよび要求に応答してＮＬＰコンポーネント１１２により識別されたアクションデータ構造を構築する目的に適していないと判定することができる（例えば、クライアントコンピューティングデバイス１０４の位置が古い位置であり現在の位置でないかもしれないこと、アカウントが切れているかもしれないこと、当該宛先レストランが新たな位置に移動しているかもしれないこと、物理活動情報、または輸送のモード）。

データ処理システム１０２が、データ処理システム１０２のメモリ内で、当該テンプレートの当該フィールドに対する値または情報に対するアクセスを現在有さないと判定した場合、データ処理システム１０２は当該値または情報を取得することができる。データ処理システム１０２は、クライアントコンピューティングデバイス１０４の１つまたは複数の利用可能なセンサを問い合わせまたはポーリングし、クライアントコンピューティングデバイス１０４のエンド・ユーザに当該情報を促し、またはＨＴＴＰプロトコルを用いてオンラインのWebベースのリソースにアクセスすることによって、当該情報を取得することができる。例えば、データ処理システム１０２は、それがクライアントコンピューティングデバイス１０４の現在の位置を有さないと判定でき、現在の位置は当該テンプレートの必要とされるフィールドであってもよい。データ処理システム１０２は、クライアントコンピューティングデバイス１０４に当該位置情報を問い合わせることができる。データ処理システム１０２は、全地球測位システムセンサ、WIFI三角測量、携帯電波塔三角測量、Bluetooth（登録商標）ビーコン、ＩＰアドレス、または他の位置検知技術のような１つまたは複数の位置センサ１３４を用いて当該位置情報を提供するように、クライアントコンピューティングデバイス１０４に要求することができる。

ダイレクト・アクションＡＰＩ１１６は、当該アクションデータ構造をサードパーティプロバイダデバイス（例えば、サービスプロバイダデバイス１０８）に送信して、サードパーティプロバイダデバイス１０８に、会話アプリケーションプログラミングインタフェース（例えば、サービスプロバイダＮＬＰコンポーネント１４２）を起動してサードパーティプロバイダデバイス１０８およびクライアントコンピューティングデバイス１０４の間の通信セッションを確立させることができる。サービスプロバイダデバイス１０８およびクライアントコンピューティングデバイス１００４の間の通信セッションを確立したことに応答して、サービスプロバイダデバイス１０８は、データパケットをクライアントコンピューティングデバイス１０４にネットワーク１０５を介して直接に送信することができる。幾つかのケースでは、サービスプロバイダデバイス１０８は、データ処理システム１０２およびネットワーク１０５を介して、データパケットをクライアントコンピューティングデバイス１０４に送信することができる。

幾つかのケースでは、サードパーティプロバイダデバイス１０８は会話ＡＰＩ１４２の少なくとも一部を実行することができる。例えば、サードパーティプロバイダデバイス１０８は、当該通信セッションの特定の態様またはクエリのタイプを扱うことができる。サードパーティプロバイダデバイス１０８は、データ処理システム１０２により実行されるＮＬＰコンポーネント１１２を利用して、当該通信セッションに関連付けられたオーディオ信号の処理およびクエリに対する応答の生成を促進してもよい。幾つかのケースでは、データ処理システム１０２はサードパーティプロバイダ１０８に構成された会話ＡＰＩ１４２を含むことができる。幾つかのケースでは、データ処理システムは、当該クライアントコンピューティングデバイスおよび当該サードパーティプロバイダデバイスの間でデータパケットをルーティングして、当該通信セッションを確立する。データ処理システム１０２は、サードパーティプロバイダデバイス１０８から、当該サードパーティプロバイダデバイスがクライアントデバイス１０４との当該通信セッションを確立したとの指示を受信することができる。当該指示は、クライアントコンピューティングデバイス１０４の識別子、当該通信セッションが確立されたときに対応するタイムスタンプ、または当該通信セッションに関連付けられた当該アクションデータ構造のような当該通信セッションに関連付けられた他の情報を含むことができる。幾つかのケースでは、データ処理システム１０２は、当該通信セッションおよびフィードバックモニタコンポーネント１２０を管理して当該通信セッションの特性を測定するセッションハンドラコンポーネント１１４を含むことができる。

データ処理システム１０２は、クライアントデバイス１０４およびデータ処理システム１０２の間の通信セッションを確立するために、セッションハンドラコンポーネント１１４を包含し、実行し、アクセスし、または通信することができる。当該通信セッションは、クライアントデバイス１０４のセンサ１３４により検出された入力オーディオ信号、およびデータ処理システム１０２によりクライアントデバイス１０４に送信された出力信号を含むクライアントデバイス１０４およびデータ処理システム１０２の間の１つまたは複数のデータ送信を指すことができる。データ処理システム１０２は、当該入力オーディオ信号を受信したことに応答して、（例えば、セッションハンドラコンポーネント１１４を介して）当該通信セッションを確立することができる。データ処理システム１０２は当該通信セッションに対する期間を設定することができる。データ処理システム１０２は当該通信セッションに対して設定された当該期間に対してタイマまたはカウンタを設定することができる。当該タイマの期限切れに応答して、データ処理システム１０２は当該通信セッションを終了することができる。

当該通信セッションは、クライアントデバイス１０４が当該セッションを確立するための認証情報または証明書を提供するネットワークベースの通信セッションを指すことができる。幾つかのケースでは、当該通信セッションは、当該セッション中にデータパケットにより運搬されるオーディオ信号のトピックまたはコンテキストを指す。例えば、第１の通信セッションはタクシーサービスに関連する（例えば、キーワード、アクションデータ構造、またはコンテンツ・アイテム・オブジェクトを含む）クライアントデバイス１０４およびデータ処理システム１０２の間で送信されたオーディオ信号を指すことができ、第２の通信セッションは洗濯およびドライ・クリーニングサービスに関連するクライアントデバイス１０４およびデータ処理システム１０２の間で送信されたオーディオ信号を指すことができる。本例では、データ処理システム１０２は当該オーディオ信号のコンテキストが異なると（例えば、ＮＬＰコンポーネント１１２を介して）判定し、当該２つの組のオーディオ信号を異なる通信セッションに分離することができる。セッションハンドラ１１４は、ドライ・クリーニングおよび洗濯サービスに関連する１つまたは複数のオーディオ信号を識別したことに応答して乗車サービスに関連する第１のセッションを終了することができる。したがって、データ処理システム１０２は、当該オーディオ信号のコンテキストを検出したことに応答して当該ドライ・クリーニングおよび洗濯サービスに関連する当該オーディオ信号に対する第２のセッションを開始または確立することができる。

データ処理システム１０２は自然言語プロセッサにより識別されたトリガキーワードを受信し、当該トリガキーワードに基づいて、リアルタイムコンテンツ選択プロセスを介してコンテンツ・アイテムを選択するためにコンテンツセレクタコンポーネント１１８を包含、実行、または通信することができる。幾つかのケースでは、ダイレクト・アクションＡＰＩ１１６は当該アクションデータ構造をコンテンツセレクタコンポーネント１１８に送信して、リアルタイムコンテンツ選択プロセスを実施し、コンテンツプロバイダデバイス１０６（またはサードパーティプロバイダデバイス１０８）およびクライアントコンピューティングデバイス１０４の間の通信セッションを確立することができる。

当該コンテンツ選択プロセスは、サードパーティコンテンツプロバイダ１０６により提供されたスポンサーされたコンテンツ・アイテム・オブジェクトを選択するステップを指すかまたは含むことができる。当該コンテンツ選択プロセスは、複数のコンテンツプロバイダにより提供されたコンテンツ・アイテムを解析し、処理し、重み付けし、またはマッチして、コンピューティングデバイス１０４に提供するための１つまたは複数のコンテンツ・アイテムを選択するサービスを含むことができる。当該コンテンツ選択プロセスをリアルタイムまたはオフラインで実施することができる。当該コンテンツ選択プロセスをリアルタイムに実施することは、当該コンテンツ要求がクライアントコンピューティングデバイス１０４を介して受信されたことに応答して当該コンテンツ選択プロセスを実施するステップを指すことができる。当該リアルタイムコンテンツ選択プロセスを、当該要求を受信する時間間隔（例えば、５秒、１０秒、２０秒、３０秒、１分、２分、３分、５分、１０分、または２０分）内に実施（例えば、開始または完了）することができる。当該リアルタイムコンテンツ選択プロセスを、クライアントコンピューティングデバイス１０４との通信セッション中に、または、当該通信セッションが終了した後のある時間間隔内に、実施することができる。

例えば、データ処理システム１０２は、コンテンツ・アイテム・オブジェクトを選択するように設計、構築、構成、または動作可能なコンテンツセレクタコンポーネント１１８を含むことができる。音声ベースの環境内で表示するためのコンテンツ・アイテムを選択するために、データ処理システム１０２は（例えば、ＮＬＰコンポーネント１１２を介して）当該入力オーディオ信号を解析して、キーワード（例えば、トリガキーワード）を識別し、当該キーワードを使用して広いマッチ、厳密なマッチ、またはフレーズマッチに基づいてマッチングコンテンツ・アイテムを選択することができる。例えば、コンテンツセレクタコンポーネント１１８は候補コンテンツ・アイテムの主題を分析、解析、または処理して、当該候補コンテンツ・アイテムの主題が、クライアントコンピューティングデバイス１０４のマイクロフォンにより検出された入力オーディオ信号のキーワードまたはフレーズの主題に対応するかどうかを判定することができる。コンテンツセレクタコンポーネント１１８は、画像処理技術、文字認識技術、自然言語処理技術、またはデータベース検索を用いて、音声、オーディオ、当該候補コンテンツ・アイテムの用語、文字、テキスト、記号、または画像を識別、分析、または認識してもよい。当該候補コンテンツ・アイテムは当該候補コンテンツ・アイテムの主題を示すメタデータを含んでもよく、この場合コンテンツセレクタコンポーネント１１８は当該メタデータを処理して、当該候補コンテンツ・アイテムの主題が当該入力オーディオ信号に対応するかどうかを判定してもよい。

コンテンツプロバイダ１０６は、コンテンツ・アイテムを含むコンテンツキャンペーンをセットアップするときに、追加のインジケータを提供してもよい。コンテンツプロバイダ１０６は、コンテンツセレクタコンポーネント１１８が当該候補コンテンツ・アイテムに関する情報を用いて検索を実施することで識別しうる情報を当該コンテンツキャンペーンまたはコンテンツグループレベルで提供してもよい。例えば、当該候補コンテンツ・アイテムは一意な識別子を含んでもよく、当該一意な識別子を、コンテンツグループ、コンテンツキャンペーン、またはコンテンツプロバイダにマップしてもよい。コンテンツセレクタコンポーネント１１８は、データリポジトリ１２４内のコンテンツキャンペーンデータ構造に格納された情報に基づいて、コンテンツプロバイダ１０６に関する情報を決定してもよい。

データ処理システム１０２は、コンピュータネットワークを介して、コンピューティングデバイス１０４で提示するためのコンテンツに対する要求を受信することができる。データ処理システム１０２は、クライアントコンピューティングデバイス１０４のマイクロフォンにより検出された入力オーディオ信号を処理することによって当該要求を識別することができる。当該要求は、当該要求に関連付けられた当該デバイスのタイプ、位置、およびキーワードのような当該要求の選択基準を含むことができる。当該要求は当該アクションデータ構造を含むことができる。

当該要求に応答して、データ処理システム１０２は、コンテンツ・アイテム・オブジェクトをデータリポジトリ１２４またはコンテンツプロバイダ１０６に関連付けられたデータベースから選択し、ネットワーク１０５を介してコンピューティングデバイス１０４を介して提供するための当該コンテンツ・アイテムを提供することができる。当該コンテンツ・アイテム・オブジェクトを、サービスプロバイダデバイス１０８と異なるコンテンツプロバイダデバイス１０８により提供することができる。当該コンテンツ・アイテムは、当該アクションデータ構造のサービスのタイプと異なるサービスのタイプ（例えば、タクシーサービス対フード・デリバリーサービス）に対応することができる。コンピューティングデバイス１０４は当該コンテンツ・アイテム・オブジェクトと対話することができる。コンピューティングデバイス１０４は当該コンテンツ・アイテムへのオーディオ応答を受信することができる。コンピューティングデバイス１０４は、当該コンテンツ・アイテム・オブジェクトに関連付けられたハイパーリンクまたは他のボタンを選択するための指示を受信することができる。当該指示は、コンピューティングデバイス１０４に、サービスプロバイダ１０８を識別し、サービスプロバイダ１０８にサービスを要求し、サービスを実施し、情報をサービスプロバイダ１０８に送信し、またはサービスプロバイダデバイス１０８を問い合わせるようにサービスプロバイダ１０８に指示させるかまたはそれらを可能とする。

データ処理システム１０２は、出力信号を生成するためのオーディオ信号ジェネレータコンポーネント１２２を包含し、実行し、または通信する。当該出力信号は１つまたは複数の部分を含むことができる。例えば、当該出力信号は第１の部分および第２の部分を含むことができる。当該出力信号の第１の部分は当該アクションデータ構造に対応することができる。当該出力信号の第２の部分は、当該リアルタイムコンテンツ選択プロセス中にコンテンツセレクタコンポーネント１１８により選択されたコンテンツ・アイテムに対応することができる。

オーディオ信号ジェネレータコンポーネント１２２は、第１のデータ構造に対応する音を有する第１の部分で出力信号を生成することができる。例えば、オーディオ信号ジェネレータコンポーネント１２２は、ダイレクト・アクションＡＰＩ１１６によりアクションデータ構造のフィールドに埋められた１つまたは複数の値に基づいて当該出力信号の第１の部分を生成することができる。タクシーサービスの例では、当該フィールドに対する値は、例えば、ピックアップ位置に対する123 Main Street、目的地に対する1234 Main Street、乗客の数に関して２、およびサービスのレベルに関してエコノミーを含むことができる。オーディオ信号ジェネレータコンポーネント１２２は、コンピューティングデバイス１０４のエンド・ユーザがサービスプロバイダ１０８へ当該要求を送信することについて先に進みたいことを確認するために、当該出力信号の第１の部分を生成することができる。第１の部分は、以下の出力「Would you like to order an economy car from taxi service provider A to pick two people up at 123 Main Street and drop off at 1234 Main Street?」を含むことができる。

幾つかのケースでは、第１の部分は、サービスプロバイダデバイス１０８から受信された情報を含むことができる。サービスプロバイダデバイス１０８から受信された当該情報を、当該アクションデータ構造に対してカスタマイズすることができる。例えば、データ処理システム１０２は（例えば、ダイレクト・アクションＡＰＩ１１６を介して）動作を実施するようにサービスプロバイダ１０８に指示する前に、当該アクションデータ構造をサービスプロバイダ１０８に送信することができる。その代わり、データ処理システム１０２はサービスプロバイダデバイス１０８に、初期または予備的処理を当該アクションデータ構造に実施して当該動作に関する予備的情報を生成するように指示することができる。当該タクシーサービスの例において、当該アクションデータ構造に対する当該予備的処理は、当該ピックアップ位置の周囲に配置されたサービス要件のレベルを満たす利用可能なタクシーを識別するステップ、最も近い利用可能なタクシーが当該ピックアップ位置に到達するための時間を推定するステップ、当該目的地への到着時刻を推定するステップ、および当該タクシーサービスに対する価格を推定するステップを含むことができる。当該推定された予備値は、固定された値、様々な条件、または値の範囲に基づいて変化を受ける推定値を含んでもよい。サービスプロバイダデバイス１０８は、当該予備情報をデータ処理システム１０２に返すか、または直接ネットワーク１０４を介してクライアントコンピューティングデバイス１０４に返すことができる。データ処理システム１０２は、サービスプロバイダデバイス１０８からの当該予備的結果を当該出力信号に取り込み、当該出力信号をコンピューティングデバイス１０４に送信することができる。当該出力信号は、例えば、「Taxi Service Company A can pick you up at 123 Main Street in 10 minutes, and drop you off at 1234 Main Street by 9 AM for $10. Do you want to order this ride?」を含むことができ、これは当該出力信号の第１の部分を形成することができる。

幾つかのケースでは、データ処理システム１０２は当該出力信号の第２の部分を形成することができる。当該出力信号の第２の部分は、リアルタイムコンテンツ選択プロセス中にコンテンツセレクタコンポーネント１１８により選択されたコンテンツ・アイテムを含むことができる。第１の部分は第２の部分と異なることができる。例えば、第１の部分は、クライアントコンピューティングデバイス１０４のセンサ１３４により検出された入力オーディオ信号を運搬するデータパケットに直接応答するアクションデータ構造に対応する情報を含むことができ、第２の部分は、当該アクションデータ構造に垂直方向に関連しうるか、またはコンテンツプロバイダデバイス１０６により提供されたスポンサーされたコンテンツを含むコンテンツセレクタコンポーネント１０４により選択されたコンテンツ・アイテムを含むことができる。例えば、コンピューティングデバイス１０４のエンド・ユーザはタクシーをタクシーサービス会社Ａに要求することができる。データ処理システム１０２は、タクシーサービス会社Ａからのタクシーに関する情報を含むための当該出力信号の第１の部分を生成することができる。しかし、データ処理システム１０２は、キーワード「taxi service」およびエンド・ユーザが関心があるかもしれないアクションデータ構造に含まれる情報に基づいて選択されたコンテンツ・アイテムを含むための当該出力信号の第２の部分を生成することができる。例えば、第２の部分は、タクシーサービス会社Ｂのような異なるタクシーサービス会社により提供されたコンテンツ・アイテムまたは情報を含むことができる。ユーザはタクシーサービス会社Ｂに特段要求していないかもしれないが、データ処理システム１０２は、ユーザがタクシーサービス会社Ｂと動作を実施することを選択しうるので、それにもかかわらずタクシーサービス会社Ｂからのコンテンツ・アイテムを提供してもよい。

データ処理システム１０２は、ピックアップ時刻、宛先の到着時刻、および乗車の価格を決定するための情報を、当該アクションデータ構造からタクシーサービス会社Ｂに送信することができる。データ処理システム１０２は、この情報を受信して、「Taxi Service Company B can pick you up at 123 Main Street in 2 minutes, and drop you off at 1234 Main Street by 8:52 AM for $15. Do you want this ride instead?」のように当該出力信号の第２の部分を生成することができる。コンピューティングデバイス１０４のエンド・ユーザは次いで、タクシーサービス会社Ａにより提供された乗車またはタクシーサービス会社Ｂにより提供された乗車を選択することができる。

当該出力信号の第２の部分で、タクシーサービス会社Ｂにより提供されたサービスに対応するスポンサーされたコンテンツ・アイテムを提供する前に、データ処理システム１０２は、第２の部分が（例えば、コンテンツセレクタコンポーネント１１８により）リアルタイムコンテンツ選択プロセス中に選択されたコンテンツ・アイテム・オブジェクトに対応するとエンド・ユーザコンピューティングデバイスに通知することができる。しかし、データ処理システム１０２は、当該通知をコンピューティングデバイス１０４のエンド・ユーザに提供するための異なるタイプのインタフェースに対して制限されたアクセスを有することができる。例えば、コンピューティングデバイス１０４はディスプレイデバイスを含まなくてもよく、または、当該ディスプレイデバイスを無効またはターンオフしてもよい。コンピューティングデバイス１０４の当該ディスプレイデバイスはコンピューティングデバイス１０４のスピーカより多くのリソースを消費するかもしれず、コンピューティングデバイス１０４の当該スピーカを用いて当該通知を運搬することと比べて、コンピューティングデバイス１０４の当該ディスプレイデバイスをターンオンするのはあまり効率的でないかもしれない。したがって、幾つかのケースでは、データ処理システム１０２は、１つまたは複数のインタフェースまたは１つまたは複数のタイプのコンピュータネットワーク上の情報送信の効率および有効性を高めることができる。例えば、データ処理システム１０２は、（例えば、オーディオ信号ジェネレータコンポーネント１２２を介して）、当該コンテンツ・アイテムを含む出力オーディオ信号の部分をモジュール化して、当該出力信号のその部分が当該スポンサーされたコンテンツ・アイテムを含むという指示または通知をエンド・ユーザに提供することができる。

データ処理システム１０２（は例えば、インタフェース１１０およびネットワーク１０５を介して）、オーディオ信号ジェネレータコンポーネント１２２により生成された出力信号を含むデータパケットを送信することができる。当該出力信号は、クライアントデバイス１０４のオーディオドライバコンポーネント１３８またはクライアントデバイス１０４により実行されるオーディオドライバコンポーネント１３８に、クライアントデバイス１０４のスピーカ（例えば、トランスデューサ１３６）を駆動して当該出力信号に対応する音波を生成させることができる。

データ処理システム１０２はフィードバックモニタコンポーネント１２０を含むことができる。フィードバックモニタコンポーネント１２０は通信セッションの特性を測定するためのハードウェアまたはソフトウェアを含むことができる。フィードバックモニタコンポーネント１２０は、当該コンテンツ・アイテムとの対話に応答してクライアントデバイスとの通信セッションを確立した、クライアントデバイス（例えば、コンピューティングデバイス１０４）および会話アプリケーションプログラミングインタフェース（例えば、データ処理システムにより実行されるＮＬＰコンポーネント１１２またはサービスプロバイダデバイス１０８、サードパーティプロバイダデバイス、またはコンテンツプロバイダデバイス１０６により実行されるサービスプロバイダＮＬＰコンポーネント１４２）の間で送信された可聴信号を運搬するデータパケットを受信することができる。幾つかのケースでは、コンテンツプロバイダデバイス１０６は、サービスプロバイダＮＬＰコンポーネント１４２またはＮＬＰコンポーネント１１２の１つまたは複数の機能またはコンポーネントを含むＮＬＰコンポーネントを実行することができる。サービスプロバイダデバイス１０８またはコンテンツプロバイダデバイス１０６により実行されるＮＬＰコンポーネントを、サービスプロバイダデバイス１０８またはコンテンツプロバイダデバイス１０６に対してカスタマイズすることができる。ＮＬＰコンポーネントをカスタマイズすることで、ＮＬＰコンポーネントは、ＮＬＰコンポーネントを、ＮＬＰコンポーネントおよびクライアントコンピューティングデバイス１０４の間の削減された往来をもたらすより正確なクエリおよび応答で構成できるので、汎用または標準ＮＬＰコンポーネントと比較して帯域幅利用および要求応答を減らすことができる。

フィードバックモニタコンポーネント１２０は、可聴信号に基づいて通信セッションの特性を測定することができる。フィードバックモニタコンポーネント１２０は当該測定された特性に基づいて品質信号を生成することができる。当該品質信号は、品質レベル、品質メトリック、品質スコアまたは品質レベルを含むかまたは指すことができる。当該品質信号は、例えば、数値スコア（例えば、０を最低品質および１０を最高品質、またはその逆として０乃至１０）、文字グレード（例えば、Ａを最高品質としてＡ乃至Ｆ）、二進値（例えば、はい／いいえ、良／悪、１／０、高／低）、順位、またはパーセンタイルを含むことができる。当該品質信号は、同一のＮＬＰコンポーネントまたはプロバイダデバイス１０６または１０８と通信する複数のクライアントデバイスの間の通信から決定された平均品質信号を含むことができる。

フィードバックモニタコンポーネント１２０は、様々な測定技術、ヒューリスティック技術、ポリシ、条件、または試験を用いて当該通信セッションの特性を測定することができる。フィードバックモニタコンポーネント１２０は、クライアントデバイス１０４およびコンテンツプロバイダデバイス、サードパーティデバイス、サービスプロバイダまたはデータ処理システムの間で送信されたデータパケットを解析して、当該通信セッションの特性を決定することができる。当該品質は、通信されているデータまたは当該データの品質を送信するために使用される通信チャネルの品質を指すことができる。例えば、当該通信チャネルの品質は、信号雑音比、周辺雑音レベル、遅延、ラグ、レイテンシ、ばらつき、エコー、または通話途切れを指すことができる。通信されている当該データの品質は、コンピューティングデバイスのマイクロフォンにより検出されたオーディオ信号に応答しているＮＬＰコンポーネントにより生成された応答の品質を指すことができる。当該データの品質は、ＮＬＰコンポーネントがクライアントデバイス１０４から当該オーディオ信号またはクエリを受信することと応答を送信することの間のＮＬＰコンポーネントの応答性、ＮＬＰコンポーネントの精度、またはレイテンシに基づくことができる。

フィードバックモニタコンポーネント１２０は、背景雑音および当該信号レベルの量を測定して信号雑音（「ＳＮＲ」）比を決定することにより、当該通信チャネルの品質を決定することができる。フィードバックモニタコンポーネント１２０は、測定されたまたは決定されたＳＮＲを閾値と比較して、当該品質のレベルを決定することができる。例えば、１０ｄＢＳＮＲを良好と考えてもよい。当該閾値を、機械学習モデルを介して（例えば、複数のデバイスからのフィードバックに基づいて）予め決定または決定することができる。

フィードバックモニタコンポーネント１２０はさらに、クライアントデバイス１０４およびプロバイダデバイスまたはデータ処理システムの間のピング時間に基づいて通信チャネルの品質を決定することができる。データ処理システムは、当該ピング時間を閾値と比較して、当該品質のレベルを決定することができる。例えば、当該ピング閾値は、２０ｍｓ、３０ｍｓ、５０ｍｓ、１００ｍｓ、２００ｍｓまたはそれ以上であることができる。フィードバックモニタコンポーネント１２０は、オーディオのばらつき（例えば、当該オーディオ内のポーズまたはブレーク、当該オーディオの切り抜き）に基づいて当該通信チャネルの品質を決定することができる。フィードバックモニタコンポーネント１２０は、低品質レベルを決定するために当該通信チャネル内のエコーを識別することができる。フィードバックモニタコンポーネント１２０は、或る時間間隔中のＮＬＰコンポーネントに対する通話途切れの数または通話途切れの全通話数との比率を決定し、それを閾値と比較して、当該品質レベルを決定することができる。例えば、当該閾値は、毎時２つの通話途切れ、または１００通話ごとの１つの通話途切れであることができる。

フィードバックモニタコンポーネント１２０は、クライアントコンピューティングデバイス１０４と通信するＮＬＰコンポーネント（または会話ＡＰＩ）により生成された応答の品質に基づいて当該通信セッションの品質を決定することができる。当該応答の品質は、ＮＬＰコンポーネントにより提供された当該応答に応答して、例えば、ＮＬＰコンポーネントが応答を生成するのにかかった時間、当該応答のテキスト、当該応答の精度、当該応答の関連性、当該応答のセマンティック分析、またはクライアントデバイスのネットワーク活動を含むかまたはそれに基づくことができる。フィードバックモニタコンポーネント１２０は、ＮＬＰコンポーネントが、ＮＬＰコンポーネントが当該オーディオ信号をクライアントデバイス１０４から受信したときに対応するタイムスタンプ、およびＮＬＰが当該応答を送信するときに対応するタイムスタンプを区別することで当該応答を生成するのにかかった時間を決定することができる。フィードバックモニタコンポーネント１２０は、クライアントデバイスが当該オーディオ信号を送信するときに対応するタイムスタンプおよびクライアントデバイスが当該応答をＮＬＰコンポーネントから受信するときに対応するタイムスタンプを区別することで当該時間を決定することができる。

フィードバックモニタコンポーネント１２０は当該応答を含むデータパケットを解析することで当該応答の品質を決定することができる。例えば、フィードバックモニタコンポーネント１２０は、クライアントデバイスから、当該応答のテキスト、当該応答の精度、または当該クエリに対する当該応答の関連性を解析し分析することができる。フィードバックモニタコンポーネント１２０は、当該クエリを別のＮＬＰコンポーネントに提供することでこの評価を実施でき、当該２つのＮＬＰコンポーネントからの応答を比較することができる。フィードバックモニタコンポーネント１２０は、当該クエリおよびサードパーティ評価者への応答を提供することでこの評価を実施することができる。フィードバックモニタコンポーネント１２０は、複数の応答を複数のクライアントデバイスにより提供された複数の同様なクエリと比較することで、当該応答の一貫性を決定することができる。フィードバックモニタコンポーネント１２０は、クライアントデバイスが同一のクエリを含むオーディオ信号を送信する回数（例えば、当該応答がクライアントデバイスにより送信されたクエリに十分に応答していないことを示す）に基づいて当該応答の品質を決定することができる。

フィードバックモニタコンポーネント１２０は、クライアントデバイスのネットワーク活動に基づいてＮＬＰにより生成された応答の品質を決定することができる。例えば、ＮＬＰコンポーネントは、音声クエリをクライアントデバイスから受信し、当該音声クエリに対する応答を生成し、クライアントデバイスへの応答を運搬するデータパケットを送信することができる。クライアントデバイスは、ＮＬＰコンポーネントから応答を受信すると、ネットワーク活動を実施するかまたはネットワーク活動を変更することができる。例えば、クライアントデバイスは通信セッションを終了することができる。これは、ＮＬＰコンポーネントが完全にクライアントデバイスに応答したこと、またはＮＬＰがクライアントデバイスに完全に応答するのに失敗し、クライアントデバイスがＮＬＰコンポーネントに関して諦めたことを示すことができる。当該フィードバックモニタコンポーネントは、クライアントデバイスが、ＮＬＰコンポーネントにより生成された応答に関連付けられた確信度スコアに基づく良いまたは悪い理由のために通話を終了したと判定することができる。当該確信度スコアを、当該応答を生成するために使用される確率論的または統計的セマンティック分析に関連付けることができる。

フィードバックモニタコンポーネント１２０は、クライアントデバイスが、クライアントデバイスにより送信されたオーディオ信号の欠如に基づいて通信セッションを終了したと判定することができる。フィードバックモニタコンポーネント１２０は、クライアントデバイスが、クライアントデバイスにより送信された終了コマンドに基づいて当該通信セッションを終了したと判定することができる。フィードバックモニタコンポーネント１２０は、クライアントデバイスからの沈黙の量（例えば、オーディオ信号の欠如）に基づいて品質レベルを決定することができる。クライアントデバイスからのＳＮＲが閾値（例えば、６ｄＢ、３ｄＢ、または０ｄＢ）より小さいことに基づいて、オーディオ信号の欠如を識別することができる。当該フィードバックモニタコンポーネントは、当該通信セッションの期間に基づいて当該特性を測定することができる。例えば、閾値より大きい期間は、クライアントデバイスのエンド・ユーザが当該通信セッションに満足していること示すことができる。しかし当該クライアントのユーザが当該通信セッションに関与する不要なまたは望まない拡張された時間量を費やしたかもしれないので、オーディオ信号の増大された振幅、反復されたクエリ、および減少したテンポのような他の特性と結合された長期間は低品質を示してもよい。

ＮＬＰコンポーネントは、クライアントデバイスにより送信されたクエリに対するセマンティック分析を実施して、クライアントデバイスが、ＮＬＰコンポーネントが生成され応答を提供しているけれども、同一のまたは同様なクエリを反復的に送信すると判定することができる。フィードバックモニタコンポーネント１２０は、閾値（例えば、２、３、４、５、６、７またはそれ以上）を超える時間間隔（または逐次的に反復されたクエリ）内の反復クエリの数に基づいて、品質レベルが低いと判定することができる。

幾つかのケースでは、フィードバックモニタコンポーネント１２０は、当該通信セッションの異なる部分（例えば、開始、中央、または終了、または時間間隔）で当該通信セッションの品質を決定することができる。例えば、フィードバックモニタコンポーネント１２０は、当該通信セッションの第１の部分または第１の時間間隔の品質、および第１の部分または第１の時間間隔に続く当該通信セッション内の第２の部分または第２の時間間隔の品質を決定することができる。フィードバックモニタコンポーネント１２０は、当該品質を当該２つの部分で比較して、全体の通信セッションの品質を決定することができる。例えば、閾値より大きい当該２つの部分の間の品質の差異は、低品質、一貫しない品質、または信頼できない品質を示すことができる。

幾つかのケースでは、フィードバックモニタコンポーネント１２０は、当該通信セッションの特性またはその少なくとも一部に基づいて当該品質を決定することができる。当該特性は、例えば、振幅、周波数、テンポ、トーン、およびピッチのうち少なくとも１つを含むことができる。例えば、フィードバックモニタコンポーネント１２０は、当該クライアントのユーザデバイスの反応または当該クライアントのユーザの感情を決定するために当該特性を使用することができる。例えば、クライアントデバイスにより送信された当該オーディオ信号の振幅がＮＬＰからの各応答の後に増大した場合、当該フィードバックモニタは、エンド・ユーザがＮＬＰコンポーネント生成された応答に対して苛ついていると判定することができる。フィードバックモニタコンポーネント１２０は、クライアントデバイスにより検出された当該オーディオ信号の振幅を、同一の通信セッションまたは異なる通信セッション中にクライアントデバイスにより受信された閾値または他のオーディオ信号と比較することができる。

フィードバックモニタコンポーネント１２０は、クライアントデバイスにより検出されたおよびＮＬＰコンポーネントに送信されたオーディオ信号のテンポまたはピッチのような特性に基づいて品質を決定することができる。フィードバックモニタコンポーネント１２０は、例えば、各ＮＬＰ応答の後の当該テンポのスローダウン（例えば、時間間隔当たりに話された単語の割合）が、エンド・ユーザが、ＮＬＰコンポーネントにより生成された応答に満足しておらず、ＮＬＰコンポーネントが当該オーディオ信号をより良く解析し当該応答を改善できるようにより遅く繰り返していると示しうると判定することができる。幾つかのケースでは、増大したまたは一定のテンポが、クライアントデバイスの利用が、ＮＬＰにより生成された応答で満足され当該応答における確信度を有することを示すことができる。幾つかのケースでは、クライアントデバイスにより検出されたオーディオ信号のピッチの増大は、ＮＬＰからの応答の貧弱な品質または当該応答における確信度の欠如を示すことができる。

幾つかのケースでは、フィードバックモニタコンポーネント１２０は、品質を測定または決定するためのクエリをクライアントデバイスに送信することができる。例えば、フィードバックモニタコンポーネント１２０は、通信セッションの品質、ＮＬＰコンポーネント、またはプロバイダデバイスに関してエンド・ユーザに調査質問を送信することができる。幾つかのケースでは、フィードバックモニタコンポーネント１２０は、第１の品質信号が閾値より小さいとフィードバックモニタコンポーネント１２０が判定したことに応答して当該クエリを生成することができる。例えば、フィードバックモニタコンポーネント１２０は、クライアントデバイスにより検出された当該オーディオ信号のテンポの減少と組み合わせたクライアントデバイスにより検出された当該オーディオ信号の振幅の増大のような特性を用いて当該品質を測定することに基づいて第１の品質信号を決定することができる。フィードバックモニタコンポーネント１２０は、振幅およびテンポの結合された特性に基づいて低いレベルの品質を示す品質信号を生成することができる。当該結合特性に基づいて決定された低品質信号に応答して、フィードバックモニタコンポーネント１２０は、当該通信セッションの品質を暗黙的にまたは明示的に問い合わせる（例えば、ＮＬＰコンポーネントにより生成された応答にどれだけ満足していますか？、当該通信セッションにはどれだけ満足していますか？）クエリを生成しクライアントデバイスに送信することができる。別の例では、データ処理システムは、サービスプロバイダ１０８が当該要求されたサービスを提供できるかどうかに基づいて品質を決定することができる。例えば、エンド・ユーザは製品またはサービスを要求しうるが、サービスプロバイダ１０８は、彼らがその製品を持っておらずまたはそのサービスを実施できないと述べることで応答する。これは、エンド・ユーザにサービスプロバイダ１０８に対するフラストレーションを示させることができる。データ処理システム１０２は、このフラストレーションを識別し、それに応じて品質を割り当てることができる。

幾つかのケースでは、フィードバックモニタコンポーネント１２０は、複数の電子サーフェスでのネットワーク活動に基づいて特性を測定し、当該複数の電子サーフェスから測定された品質を集約して合計された品質信号を生成することができる。当該合計された品質信号は、平均、重み付き平均、絶対和、または他の結合された品質信号値であることができる。フィードバックモニタコンポーネント１２０はさらに、当該結合された品質信号値に対する統計値を生成し、または、標準偏差、分散、３シグマ品質、または６シグマ品質の決定のような統計的分析を実施することができる。

フィードバックモニタコンポーネント１２０は、コンテンツセレクタコンポーネント１１８により実施されたリアルタイムコンテンツ選択プロセスを調節することができる。当該リアルタイムコンテンツ選択プロセスを調節することは、クライアントデバイス１０４との通信セッションを確立するために使用されるＮＬＰコンポーネントを実行したコンテンツプロバイダデバイス１０６またはサービスプロバイダデバイス１０８またはサードパーティプロバイダデバイス１０８により提供されたコンテンツ・アイテムを選択するために使用される重みを調節することを指すことができる。例えば、当該コンテンツ・アイテムが低品質通信セッションをもたらしたとき、フィードバックモニタコンポーネント１２０は、コンテンツ・アイテムが同様なアクションデータ構造または同様なクライアントデバイス１０４（またはそのアカウントまたはプロフィール）に対して選択されている可能性を減らすために、当該コンテンツ・アイテムを含むコンテンツデータ１３０の属性またはパラメータを調節することができる。

幾つかのケースでは、フィードバックモニタコンポーネント１２０は、当該リアルタイム選択プロセスにおいて品質信号が閾値より小さいことに応答して、当該コンテンツ・アイテムをコンテンツセレクタコンポーネント１１８が選択することを防止またはブロックすることができる。幾つかのケースでは、フィードバックモニタコンポーネント１２０は、コンテンツセレクタコンポーネント１１８が、当該リアルタイム選択プロセスにおいて、当該品質信号が閾値以上であることに応答して当該コンテンツ・アイテムを選択することを可能または許可することができる。

図２は、コンピュータネットワーク上のデータ送信に対するフィードバック制御システムの動作の例示である。当該システムは、図１に示すシステム１００の１つまたは複数のコンポーネントを含むことができる。システム１００は、１つまたは複数のクライアントコンピューティングデバイス１０４ａ－ｎにより実行または提供される１つまたは複数の電子サーフェス２０２ａ－ｎを含むことができる。電子サーフェス２０２ａ－ｎの例はオーディオインタフェース、音声ベースのインタフェース、ディスプレイスクリーン、ＨＴＭＬコンテンツ・アイテム、マルチメディア、画像、ビデオ、テキストベースのコンテンツ・アイテム、ＳＭＳ、メッセージングアプリケーション、チャットアプリケーション、または自然言語プロセッサを含むことができる。

動作２０４で、クライアントコンピューティングデバイス１０４は、電子サーフェス２０２からまたはそれを介してフィードバックを示す信号または他の情報データパケットを受信することができる。動作２０６で、１つまたは複数のクライアントコンピューティングデバイス１０４ａ－ｎ、１つまたは複数のサービスプロバイダデバイス１０８ａ－ｎ、または１つまたは複数のコンテンツプロバイダデバイス１０６ａ－ｎはデータパケットをフィードバックモニタコンポーネント１２４に送信することができる。当該データパケットを、クライアントデバイス１０４およびサービスプロバイダデバイス１０８またはコンテンツプロバイダデバイス１０６のうち１つまたは複数の間で確立された当該通信セッションに関連付けることができる。当該データパケットを各デバイスからフィードバックモニタコンポーネント１２４に送信することができる。

幾つかのケースでは、フィードバックモニタコンポーネント１２４は、デバイス１０４、１０６または１０８から各デバイスに送信されたデータパケットをインターセプトしてもよい。フィードバックモニタコンポーネント１２４は、当該インターセプトされたデータパケットを分析し、当該データパケットをその意図した宛先にルーティングまたは転送することができる。したがって、フィードバックモニタコンポーネント１２４は、クライアントデバイス１０４およびサービス／サードパーティプロバイダデバイス１０８またはコンテンツプロバイダデバイス１０６に対する中間物であることができる。

動作２０８で、フィードバックモニタコンポーネント１２４は、当該通信セッションからインターセプトされたまたは受信されたデータパケットをＮＬＰコンポーネント１１２に送信することができる。動作２１０で、ＮＬＰコンポーネント１１２は、当該データパケットのセマンティック分析を実施し、それらをフィードバックコンポーネント１２４に提供し戻すことができる。幾つかのケースでは、ＮＬＰコンポーネント１１２は、通信セッション２０６からのオーディオ信号に自然言語処理を実施して、プロバイダデバイス１０６または１０８により生成されたＮＬＰコンポーネントの応答を比較することができる。フィードバックモニタコンポーネント１２４は、制御ＮＬＰコンポーネント１１２により生成された応答を比較して、当該サードパーティＮＬＰコンポーネントが比較可能なまたは満足できるレベルで機能しているかどうかを判定することができる。

動作２１２で、フィードバックモニタコンポーネント１２４は、通信セッション２０６に対する品質信号を決定し、コンテンツセレクタコンポーネント１１８により実施された当該リアルタイムコンテンツ選択プロセスを調節して、次回にコンテンツセレクタコンポーネント１１８がコンテンツに対する要求を受信したとき、コンテンツセレクタコンポーネント１１８が通信セッション２０６に関連付けられたコンテンツ・アイテム（またはコンテンツプロバイダ）を適切に重み付けして、当該コンテンツ・アイテムが選択されている可能性を増大または減少できるようにすることができる。例えば、プロバイダ１０８が複数の低品質通信セッションに関連付けられる場合、フィードバックモニタコンポーネント１２４は、プロバイダ１０８との通信セッションの確立をもたらしうるコンテンツ・アイテムの選択を防止するようにコンテンツセレクタコンポーネント１１８に指示することができる。

図３は、パケット化されたオーディオ信号の動的変調を実施するための例示的な方法の例示である。方法３００を、システム１００またはシステム４００の１つまたは複数のコンポーネント、システムまたは要素により実施することができる。方法３００は、データ処理システムが入力オーディオ信号を受信することを含むことができる（動作３０５）。データ処理システムは当該入力オーディオ信号をクライアントコンピューティングデバイスから受信することができる。例えば、データ処理システムにより実行される自然言語プロセッサコンポーネントは当該入力オーディオ信号を、データ処理システムのインタフェースを介してクライアントコンピューティングデバイスから受信することができる。データ処理システムは、当該クライアントコンピューティングデバイス（またはクライアントデバイス）のセンサにより検出された入力オーディオ信号を運搬または含むデータパケットを受信することができる。

動作３１０で、方法３００はデータ処理システムが入力オーディオ信号を解析することを含むことができる。自然言語プロセッサコンポーネントは当該入力オーディオ信号を解析して、要求および当該要求に対応するトリガキーワードを識別することができる。例えば、クライアントデバイスにより検出された当該オーディオ信号は、「Okay device, I need a ride from Taxi Service Company A to go to 1234 Main Street」を含むことができる。このオーディオ信号において、当該初期トリガキーワードは「Okay device」を含むことができ、これは、クライアントデバイスが入力オーディオ信号をデータ処理システムに送信することを示すことができる。クライアントデバイスのプリプロセッサは、残りのオーディオ信号をデータ処理システムに送信する前に用語「Okay device」をフィルタして除外することができる。幾つかのケースでは、クライアントデバイスは、追加の用語をフィルタして除外するか、または、さらなる処理のためにキーワードをデータ処理システムに送信することができる。

データ処理システムは当該入力オーディオ信号内のトリガキーワードを識別することができる。当該トリガキーワードは、例えば、「to go to」または「ride」またはこれらの用語の変形を含むことができる。当該トリガキーワードはサービスまたは製品のタイプを示すことができる。データ処理システムは当該入力オーディオ信号内の要求を識別することができる。当該要求を用語「I need」に基づいて決定することができる。当該トリガキーワードおよび要求を、セマンティック処理技術または他の自然言語処理技術を用いて決定することができる。

幾つかのケースでは、データ処理システムはアクションデータ構造を生成することができる。データ処理システムは当該トリガキーワード、要求、サードパーティプロバイダデバイス、または他の情報に基づいて、当該アクションデータ構造を生成することができる。当該アクションデータ構造は当該要求に応答することができる。例えば、当該クライアントコンピューティングデバイスのエンド・ユーザがタクシーをタクシーサービス会社Ａに要求した場合、当該アクションデータ構造はタクシーサービス会社Ａへタクシーサービスを要求する情報を含むことができる。データ処理システムは、タクシーサービス会社Ａに対するテンプレートを選択し、当該テンプレート内のフィールドを値で埋め、タクシーサービス会社Ａがタクシー当該クライアントのユーザコンピューティングデバイスに送り、ユーザをピックアップしユーザを当該要求された宛先に輸送できるようにすることができる。

動作３１５で、データ処理システムはコンテンツ・アイテムを選択することができる。例えば、コンテンツセレクタコンポーネントは、トリガキーワード、要求またはアクションデータ構造を受信し、リアルタイムコンテンツ選択プロセスを介してコンテンツ・アイテムを選択することができる。当該選択されたコンテンツ・アイテムはコンテンツプロバイダ、サービスプロバイダ、または他のサードパーティプロバイダに対応することができる。クライアントデバイスは、当該コンテンツ・アイテムと対話して、当該コンテンツ・アイテムのプロバイダまたは当該コンテンツ・アイテムに関連付けられた他のデバイスとの通信セッションを確立することができる。当該コンテンツ・アイテムに関連付けられたデバイスは、ＮＬＰのような会話ＡＰＩを用いてクライアントデバイスと対話することができる。

動作３２０で、フィードバックモニタコンポーネントは、当該コンテンツ・アイテムとの対話に応答してクライアントデバイスとの通信セッションを確立したクライアントデバイスおよび会話アプリケーションプログラミングインタフェースの間で送信された可聴信号を運搬するデータパケットを受信することができる。動作３２５で、当該フィードバックモニタコンポーネントは、当該可聴信号に基づいて当該通信セッションの品質または特性を測定し、当該測定された特性に基づいて品質信号を生成することができる。動作３３０で、当該フィードバックモニタコンポーネントまたはデータ処理システムは当該品質信号に基づいて当該リアルタイム選択プロセスを調節することができる。

図４は例示的なコンピュータシステム４００のブロック図である。当該コンピュータシステムまたはコンピューティングデバイス４００は、システム１００、またはデータ処理システム１０２のようなそのコンポーネントを含むことができるかまたはそれを実装するために使用される。データ処理システム１０２はインテリジェント・パーソナル・アシスタントまたは音声ベースのデジタルアシスタントを含むことができる。コンピューティングシステム４００は、情報を通信するためのバス４０５または他の通信コンポーネントおよび情報を処理するためにバス４０５に接続されるプロセッサ４１０または処理回路を含む。コンピューティングシステム４００はまた１つまたは複数のプロセッサ４１０または情報を処理するための当該バスに接続される処理回路を含むことができる。コンピューティングシステム４００はまた、情報、およびプロセッサ４１０により実行される命令を格納するためのバス４０５に接続されたランダム・アクセスメモリ（ＲＡＭ）または他の動的記憶デバイスのようなメイン・メモリ４１５を含む。メイン・メモリ４１５はデータリポジトリ１４５であることができるかまたはそれを含むことができる。メイン・メモリ４１５をまた、プロセッサ４１０による命令の実行中に位置情報、一時的変数、または他の中間情報を格納するために使用することができる。コンピューティングシステム４００はさらに、プロセッサ４１０のための静的情報および命令を格納するためにバス４０５に接続される読取専用メモリ（ＲＯＭ）４２０または他の静的記憶デバイスを含んでもよい。固体状態デバイス、磁気ディスクまたは光ディスクのような記憶デバイス４２５を、永続的に情報および命令を格納するためにバス４０５に接続することができる。記憶デバイス４２５はデータリポジトリ１４５を含むことができるかまたはその一部であることができる。

コンピューティングシステム４００を、情報をユーザに表示するために、バス４０５を介して、液晶ディスプレイ、またはアクティブ行列ディスプレイのようなディスプレイ４３５に接続してもよい。英数字および他のキーを含むキーボードのような入力デバイス４３０を、情報およびコマンド選択をプロセッサ４１０に通信するためにバス４０５に接続してもよい。入力デバイス４３０はタッチ・スクリーンディスプレイ４３５を含むことができる。入力デバイス４３０はまた、マウス、トラックボール、またはカーソル方向キーのようなカーソル・コントロールを、プロセッサ４１０に通信しディスプレイ４３５上のカーソル移動を制御するための方向情報およびコマンド選択を含むことができる。ディスプレイ４３５は、例えば、図１のデータ処理システム１０２の一部、クライアントコンピューティングデバイス１５０または他のコンポーネントであることができる。

本明細書で説明したプロセス、システムおよび方法を、プロセッサ４１０がメイン・メモリ４１５に含まれる命令の配置を実行したことに応答して、コンピューティングシステム４００により実装することができる。かかる命令を、記憶デバイス４２５のような別のコンピュータ可読媒体からメイン・メモリ４１５に読み込むことができる。メイン・メモリ４１５に含まれる命令の配置の実行は、コンピューティングシステム４００に本明細書で説明した例示的なプロセスを実施させる。マルチプロセッシング配置における１つまたは複数のプロセッサをまた、メイン・メモリ４１５に含まれる命令を実行するために使用することができる。ハードワイヤード回路を、本明細書で説明するシステムおよび方法とともにソフトウェア命令の代わりにまたはそれを組み合わせて使用することができる。本明細書で説明したシステムおよび方法はハードウェア回路およびソフトウェアの任意の特定の組合せに限定されない。

例示的なコンピューティングシステムを図４で説明したが、本明細書で説明した動作を含む当該主題を、本明細書で開示した構造およびそれらの構造的均等物を含む他のタイプのデジタル電子回路で、またはコンピュータソフトウェア、ファームウェア、またはハードウェアで、またはそれらの１つまたは複数の組合せで実装することができる。

本明細書で説明するシステムがユーザに関する個人情報を収集するか、または個人情報を利用しうる状況に対して、ユーザにプログラムまたは機能が個人情報（例えば、ユーザのソーシャルネットワーク、ソーシャルアクションまたはアクティビティ、ユーザの嗜好、またはユーザの位置に関する情報）を収集しうるかどうか、またはユーザにより関連しうるコンテンツサーバまたは他のデータ処理システムからコンテンツを受信するかどうかまたはその方法を制御するための機会を与えてもよい。さらに、特定のデータはそれが格納または使用される前に１つまたは複数の方法で匿名化してもよく、その結果個人的に識別可能な情報がパラメータを生成するときに除去される。例えば、ユーザのアイデンティティを匿名化してもよく、その結果個人的に識別可能な情報をユーザに対して決定できず、またはユーザの特定の位置を決定できないように、ユーザの地理的位置を位置情報が取得される場所で（例えば都市、郵便番号、または状態レベルに）一般化してもよい。したがって、ユーザは、どのように情報がユーザに関して収集され当該コンテンツサーバにより使用されるかを制御することができる。

当該主題および本明細書で説明した動作を、本明細書で開示した構造およびそれらの構造的均等物を含むデジタル電子回路で、またはコンピュータソフトウェア、ファームウェア、またはドウェアで、またはそれらの１つまたは複数の組合せで実装することができる。本明細書で説明した当該主題を、データ処理装置による実行のためにまたは当該装置の動作を制御するために１つまたは複数のコンピュータ記憶媒体で符号化された、１つまたは複数のコンピュータプログラム、例えば、コンピュータプログラム命令の１つまたは複数の回路として実装することができる。代替的にまたは追加として、当該プログラム命令を、人工的に生成された伝播信号、例えば、データ処理装置による実行のために適切な受信器装置に送信するための情報を符号化するために生成されたマシン生成された電気、光、または電磁気信号で符号化することができる。コンピュータ記憶媒体は、コンピュータ可読記憶デバイス、コンピュータ可読記憶基板、ランダムなまたはシリアル・アクセスメモリ・アレイまたはデバイス、またはそれらの１つまたは複数の組合せであることができ、または、それらに含まれることができる。コンピュータ記憶媒体は伝播信号ではないが、コンピュータ記憶媒体は、人工的に生成された伝播信号で符号化されたコンピュータプログラム命令のソースまたは宛先であることができる。当該コンピュータ記憶媒体はまた、１つまたは複数の別々のコンポーネントまたは媒体（例えば、複数のＣＤ、ディスク、または他の記憶デバイス）であることができ、または、それに含まれることができる。本明細書で説明した動作を、１つまたは複数のコンピュータ可読記憶デバイスに格納されまたは他のソースから受信されたデータに対してデータ処理装置により実施される動作として実装することができる。

「データ処理システム」「コンピューティングデバイス」「コンポーネント」または「データ処理装置」という用語は、例としてプログラム可能プロセッサ、コンピュータ、システム・オン・チップ、または以上のうち複数または組合せを含む、データを処理するための様々な装置、デバイス、およびマシンを包含する。当該装置は、特殊目的論理回路、例えば、ＦＰＧＡ（フィールドプログラム可能ゲート・アレイ）またはＡＳＩＣ（特殊用途向け集積回路）を含むことができる。当該装置はまた、ハードウェアに加えて、着目するコンピュータプログラムに対する実行環境を生成するコード、例えば、プロセッサファームウェア、プロトコル・スタック、データベース管理システム、オペレーティング・システム、クロス・プラットフォームランタイム環境、仮想マシン、またはそれらの１つまたは複数の組合せを構成するコードを含むことができる。当該装置および実行環境は、ウェブサービス、分散コンピューティングおよびグリッド・コンピューティングインフラのような様々な異なるコンピューティングモデルインフラを実現することができる。例えば、ダイレクト・アクションＡＰＩ１１６、コンテンツセレクタコンポーネント１１８、またはＮＬＰコンポーネント１１２および他のデータ処理システム１０２コンポーネントは、１つまたは複数のデータ処理装置、システム、コンピューティングデバイス、またはプロセッサを含むかまたは共有ことができる。

Ａコンピュータプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、アプリ、スクリプト、またはコードとしても知られる）を、コンパイル型言語またはインタプリタ型言語、宣言型または手続型言語を含む任意の形態のプログラミング言語で書くことができ、スタンドアロンプログラムまたはモジュール、コンポーネント、サブルーチン、オブジェクト、またはコンピューティング環境で使用するのに適した他のユニットを含む任意の形態で展開することができる。コンピュータプログラムはイルシステム内のファイルに対応することができる。コンピュータプログラムを、他のプログラムまたはデータを保持するファイル部分（例えば、マークアップ言語ドキュメントに格納された１つまたは複数のスクリプト）に、着目するプログラム専用の単一のファイルに、または複数の協調ファイルに（例えば、１つまたは複数のモジュール、サブプログラム、またはコード部分を格納するファイル）格納することができる。コンピュータプログラムを、１つのコンピュータ上でまたは１つのサイトに配置されるかまたは複数のサイトにわたって分散され通信ネットワークにより相互接続された複数のコンピュータ上で実行されるように展開することができる。

本明細書で説明した当該プロセスおよび論理フローを、入力データで動作し出力を生成することによって、１つまたは複数のコンピュータプログラムを実行する１つまたは複数のプログラム可能プロセッサ（例えば、データ処理システム１０２のコンポーネント）により実施して、アクションを実施することができる。当該プロセスおよび論理フローはまた、特殊目的論理回路、例えば、ＦＰＧＡ（フィールドプログラム可能ゲート・アレイ）またはＡＳＩＣ（特殊用途向け集積回路）により実施でき、装置をまた特殊目的論理回路、例えば、ＦＰＧＡ（フィールドプログラム可能ゲート・アレイ）またはＡＳＩＣ（特殊用途向け集積回路）として実装することができる。コンピュータプログラム命令およびデータを格納するのに適したデバイス、例として半導体メモリデバイス、例えば、ＥＰＲＯＭ、ＥＥＰＲＯＭ、およびフラッシュ・メモリデバイスを含むあらゆる形態の非揮発性メモリ、媒体およびメモリデバイス、磁気ディスク、例えば、内部ハードディスクまたは取外し可能ディスク、磁気光ディスク、およびＣＤＲＯＭおよびＤＶＤ－ＲＯＭディスクを含む。当該プロセッサおよび当該メモリを特殊目的論理回路で補完するかまたはそれに組み込むことができる。

本明細書で説明する主題を、バックエンドコンポーネントを、例えば、データサーバとして含むか、またはミドルウェアコンポーネント、例えば、アプリケーションサーバを含むか、またはフロントエンドコンポーネント、例えば、ユーザがそれを通じて本明細書で説明した当該主題の実装と対話できるグラフィカルユーザインタフェースまたはウェブブラウザを有するクライアントコンピュータ、または１つまたは複数のかかるバックエンド、ミドルウェア、またはフロントエンドコンポーネントの組合せを含むコンピューティングシステムで実装することができる。当該システムの当該コンポーネントはデジタルデータ通信、例えば、通信ネットワークの任意の形態または媒体により相互接続することができる。通信ネットワークの例は、ローカル・エリア・ネットワーク（「ＬＡＮ」）および広帯域ネットワーク（「ＷＡＮ」）、インターネットワーク（例えば、インターネット）、およびピア・ツー・ピアネットワーク（例えば、アドホックピア・ツー・ピアネットワーク）を含む。

システム１００またはシステム４００のようなコンピューティングシステムはクライアントおよびサーバを含むことができる。クライアントおよびサーバは一般に互いから離れており、一般に通信ネットワークを通じて対話する（例えば、ネットワーク１６５）。クライアントおよびサーバの関係は、当該各コンピュータで実行され互いにクライアントサーバ関係を有するコンピュータプログラムにより生ずる。幾つかの実装では、サーバは、（例えば、データを表示し、ユーザ入力をクライアントデバイスと対話するユーザから受信する目的で）データ（例えば、コンテンツ・アイテムを表すデータパケット）をクライアントデバイスに送信する。クライアントデバイスで生成されたデータ（例えば、ユーザ対話の結果）はクライアントデバイスから当該サーバでから受信されることができる（例えば、コンピューティングデバイス１５０またはコンテンツプロバイダコンピューティングデバイス１５５またはサービスプロバイダコンピューティングデバイス１６０からデータ処理システム１０２により受信される）。

動作を当該図面において特定の順序で説明したが、かかる動作を示した特定の順序でまたは逐次的な順序で実施する必要はなく、全ての図示した動作を実施する必要はない。本明細書で説明した動作を異なる順序で実施することができる。

様々なシステムコンポーネントの分離は全ての実装における分離を要求しないが、当該説明したプログラムコンポーネントを単一のハードウェアまたはソフトウェア製品に含めることができる。例えば、ＮＬＰコンポーネント１１０またはコンテンツセレクタコンポーネント１２５は、単一のコンポーネント、アプリ、またはプログラム、または１つまたは複数の処理回路を有する論理デバイス、またはデータ処理システム１０２の１つまたは複数のサーバの一部であることができる。

幾つかの例示的な実装を説明したので、以上は、例示的であり限定的ではなく、例として提示されていることは明らかである。特に、本明細書で提示した例の多くは方法の動作またはシステム要素の特定の組合せを含むが、これらの動作およびこれらの要素を他の方法で組み合わせて同一の目的を実現してもよい。１実装と関連して説明した動作、要素および特徴は他の実装または実装における類似の役割から排除されるものではない。

本明細書で使用したフレーズおよび用語は説明の目的のためであり限定として解釈されるべきではない。「～を含む」、「～を備える」、「～を有する」、「～を包含する」、「～が関与する」、「～により特徴付けられる」、「～の点で特徴付けられる」、およびその本明細書における変形の使用、は、その後に列挙された項目、その均等物、および追加の項目、ならびに排他的にその後に列挙された項目からなる代替的な実装を含むことを意味する。１実装では、本明細書で説明するシステムおよび方法は当該説明した要素、動作、またはコンポーネントの１つ、複数の各組合せ、または全てから成る。

本明細書で単一形で参照されるシステムおよび方法の実装または要素または動作に対する任意の言及は複数のこれらの要素を含む実装を含んでもよく、本明細書の任意の実装または要素または動作への複数形の任意の参照は単一の要素のみを含む実装を含んでもよい。単一形または複数形における参照は本明細書で開示したシステムまたは方法、それらのコンポーネント、動作、または要素を単一のまたは複数の構成に限定しようとするものではない。任意の情報、動作または要素に基づく任意の動作または要素への参照は当該動作または要素は任意の情報、動作、または要素に少なくとも部分的に基づく実装を含んでもよい。

本明細書で開示した任意の実装を任意の他の実装または実施形態と組み合わせてもよく「実装」、「幾つかの実装」、「１実装」等への言及は必ずしも相互に排他的ではなく、当該実装と関連して説明した特定の特徴、構造、または特性が少なくとも１つの実装または実施形態に含まれてもよいを示すことを意図している。本明細書で使用した用語は必ずしも全て同一の実装を参照しない。任意の実装を、任意の他の実装と、包含的にまたは排他的に、本明細書で開示した態様および実装と一貫する任意の方式で結合してもよい。

「または」に対する言及は、「または」を用いて説明された任意の用語が当該説明した用語のうち１つ、複数、および全ての何れかを示しうるように、包含的として解釈してもよい。例えば、「‘Ａ’および‘Ｂ’のうち少なくとも１つ」への言及は‘Ａ’のみ、‘Ｂ’のみ、ならびに‘Ａ’および‘Ｂ’の両方を含むことができる。「～を備える」または他のオープンな用語と関連して使用されるかかる言及は追加の項目を含むことができる。

当該図面、詳細な説明または任意の請求項における技術的特徴に参照記号が続く場合、当該参照記号は当該図面、詳細な説明、および特許請求の範囲の明瞭性を高めるために含まれている。したがって、当該参照記号もそれがないことも任意のクレーム要素の範囲に対する限定効果を有さない。

本明細書で説明するシステムおよび方法をその特徴から逸脱せずに他の特定の形態で具体化してもよい。例えば、データ処理システム１０２は、第２のアクション２１０が完了するかまたはまさに始まろうとすることを示す第２のアクション２１０からのデータのような、当該スレッド２００のアクションの当該シーケンスにおける過去のアクションからのデータに少なくとも部分的に基づいて、後続のアクションに対して（例えば、第３のアクション２１５に対して）コンテンツ・アイテムを選択することができる。以上の実装は説明したシステムおよび方法の限定ではなく例示的なものである。本明細書で説明するシステムおよび方法の範囲はしたがって以上の説明ではなく添付の特許請求の範囲により示され、添付の特許請求の範囲の均等物の意味と範囲に入る変更がそこに包含される。

１０２ データ処理システム
１０４ コンピューティングデバイス
１０５ ネットワーク
１０６ コンテンツプロバイダデバイス
１０８ サービスプロバイダデバイス
１１０ インタフェース
１１２ 自然言語プロセッサコンポーネント
１１４ セッションハンドラコンポーネント
１１６ ダイレクト・アクションＡＰＩ
１１８ コンテンツセレクタコンポーネント
１２０ フィードバック監視コンポーネント
１２２ オーディオ信号生成器コンポーネント
１２４ データリポジトリ
１２６ パラメータ
１２８ ポリシ
１３０ コンテンツデータ
１３２ テンプレート
１３４ センサ
１３６ トランスデューサ
１３８ オーディオドライバ
１４０ プリプロセッサ
１４２ サービスプロバイダの自然言語プロセッサコンポーネント
１４４ サービスプロバイダインタフェース

Claims (20)

1. コンピュータネットワーク上のデータ送信のためのシステムであって、
   データ処理システムを備え、前記データ処理システムは、1つまたは複数のプロセッサとメモリとを備え、
   入力オーディオ信号を含むデータパケットを、クライアントデバイスにより提供される電子サーフェスから受信し、
   前記入力オーディオ信号を解析して要求と前記要求に関連付けられるキーワードとを識別し、
   前記入力オーディオ信号に基づき特性を決定し、
   前記特性に基づき品質信号を生成し、
   前記キーワードおよび前記品質信号に基づきコンテンツ・アイテムを選択する、システム。
2. 前記データ処理システムが、前記入力オーディオ信号に応答して前記クライアントデバイスとの通信セッションを確立する、請求項1に記載のシステム。
3. 前記データ処理システムは、
   前記品質信号に基づき、リアルタイムコンテンツ選択プロセスを調節し、
   前記品質信号に基づき調節される前記リアルタイムコンテンツ選択プロセスを介して、前記要求および前記キーワードに応答して前記コンテンツ・アイテムを選択する、請求項1に記載のシステム。
4. 前記データ処理システムは、
   第1の時間間隔において前記入力オーディオ信号の第1の特性を決定するとともに、前記第1の時間間隔に続く第2の時間間隔において前記クライアントデバイスから受信される第2の入力オーディオ信号の第2の特性を決定し、
   前記第1の特性と前記第2の特性とを比較する、請求項1に記載のシステム。
5. 前記データ処理システムは、
   前記入力オーディオ信号を含む複数の入力オーディオ信号を前記クライアントデバイスから受信し、
   前記複数の入力オーディオ信号の比較に基づき前記特性を決定する、請求項1に記載のシステム。
6. 前記特性が、振幅、周波数、テンポ、トーン、およびピッチのうちの少なくとも1つを含む、請求項1に記載のシステム。
7. 前記特性が、前記クライアントデバイスに関連付けられるユーザの感情を示す、請求項1に記載のシステム。
8. 前記データ処理システムは、
   振幅、周波数、テンポ、トーン、およびピッチのうちの少なくとも1つに基づき前記特性を決定し、
   前記特性に基づき、前記クライアントデバイスに関連付けられるユーザの感情を決定する、請求項1に記載のシステム。
9. 前記データ処理システムは、
   前記クライアントデバイスに複数の音声ベースのクエリを送信し、
   前記複数の音声ベースのクエリに対する応答に基づき、前記特性を測定する、請求項1に記載のシステム。
10. 前記データ処理システムは、
    前記品質信号が閾値よりも小さいことに基づきクエリを生成し、
    前記クライアントデバイスから前記クエリに対する応答を受信し、
    前記応答に基づき第2の品質信号を生成する、請求項1に記載のシステム。
11. 前記データ処理システムは、前記クライアントデバイスと前記データ処理システムとの間の通信セッションの期間に基づき前記特性を測定し、
    前記通信セッションが前記入力オーディオ信号を含む、請求項1に記載のシステム。
12. 前記データ処理システムは、
    複数の電子サーフェス上のネットワーク活動に基づき前記特性を測定し、
    前記複数の電子サーフェスから測定した品質信号を集約し、合計された品質信号を生成する、請求項1に記載のシステム。
13. 前記データ処理システムは、
    前記品質信号が閾値を満たすことに応答して前記コンテンツ・アイテムの選択を許可する、請求項1に記載のシステム。
14. コンピュータネットワーク上のデータ送信のための方法であって、
    1つまたは複数のプロセッサとメモリとを含むデータ処理システムによって、入力オーディオ信号を含むデータパケットを、クライアントデバイスにより提供される電子サーフェスから受信するステップと、
    前記データ処理システムによって、前記入力オーディオ信号を解析して要求と前記要求に関連付けられるキーワードとを識別するステップと、
    前記データ処理システムによって、前記入力オーディオ信号に基づき特性を決定するステップと、
    前記データ処理システムによって、前記特性に基づき品質信号を生成するステップと、
    前記データ処理システムによって、前記キーワードおよび前記品質信号に基づきコンテンツ・アイテムを選択するステップと
    を含む、方法。
15. 前記データ処理システムによって、前記品質信号に基づき、リアルタイムコンテンツ選択プロセスを調節するステップと、
    前記データ処理システムによって、前記品質信号に基づき調節される前記リアルタイムコンテンツ選択プロセスを介して、前記要求および前記キーワードに応答して前記コンテンツ・アイテムを選択するステップと
    を含む、請求項14に記載の方法。
16. 前記データ処理システムによって、前記入力オーディオ信号を含む複数の入力オーディオ信号を前記クライアントデバイスから受信するステップと、
    前記データ処理システムによって、前記複数の入力オーディオ信号の比較に基づき前記特性を決定するステップと
    を含む、請求項14に記載の方法。
17. 前記データ処理システムによって、振幅、周波数、テンポ、トーン、およびピッチのうちの少なくとも1つに基づき前記特性を決定するステップと、
    前記データ処理システムによって、前記特性に基づき、前記クライアントデバイスに関連付けられるユーザの感情を決定するステップと
    を含む、請求項14に記載の方法。
18. 前記データ処理システムによって、前記データ処理システムによって、前記クライアントデバイスに複数の音声ベースのクエリを送信するステップと、
    前記データ処理システムによって、前記複数の音声ベースのクエリに対する応答に基づき、前記特性を測定するステップと
    を含む、請求項14に記載の方法。
19. 前記クライアントデバイスと前記データ処理システムとの間の通信セッションの期間に基づき前記特性を測定するステップであって、前記通信セッションが前記入力オーディオ信号を含む、ステップを含む、請求項14に記載の方法。
20. 前記データ処理システムによって、前記品質信号が閾値を満たすことに応答して前記コンテンツ・アイテムの選択を許可するステップを含む、請求項１４に記載の方法。

Images