JP7073437B2 - ハイパーネットワークトレーニングの方法及び装置、電子機器、記憶媒体 - Google Patents

Description

本願は、２０１９年１１月１２日に中国特許局に提出された、出願番号がＣＮ２０１９１１１０２２６１３である中国特許出願に基づいて提出されるものであり、当該中国特許出願の優先権を主張し、当該中国特許出願の全ての内容が参照によって本願に組み込まれる。

本開示は、深層学習技術分野に関し、特に、ハイパーネットワークトレーニングの方法および装置、電子機器、記憶媒体に関する。

現在は、既存のニューラルネットワークアーキテクチャ検索（ＮＡＳ）において、通常、シングルパスニューラルサブネットワークを使用して実現し、つまり、ハイパーネットワーク内の各レイヤから１つのサブモジュールのみをサンプリングし、サンプリングされたサブモジュールを順に直列に接続して、シングルパスニューラルサブネットワークを形成することができる。次に、ハイパーネットワークから各レイヤのサブモジュールのパラメータを共有し、その後、前記シングルパスニューラルサブネットワークに対してシングルステップトレーニングを実行する。前記シングルパスニューラルサブネットワークのトレーニングが完了した後に、各サブモジュールのパラメータをハイパーネットワークに再共有する。このように、ハイパーネットワークトレーニングが収束するまで、「サンプリング－パラメータ共有－シングルステップトレーニング－パラメータ更新」ステップを繰り返す。

上記のニューラルネットワークアーキテクチャ検索の技術案において、各サンプリングによってトレーニングされたシングルパスニューラルサブネットワークでは、サンプリングされたサブモジュールの公平性を確保するために、各レイヤでサンプリングできるサブ構造は１つだけであるが、これはニューラルネットワークの表現能力を制限する。

本開示は、関連技術の欠点を解決するためのハイパーネットワークトレーニングの方法および装置、電子機器、記憶媒体を提供する。

本開示の実施例の第１の態様によれば、ハイパーネットワークトレーニングの方法を提供し、前記方法は、
事前に構築された初期ハイパーネットワークに基づいて、トレーニング用マルチパスニューラルサブネットワーク（Ｍｕｌｔｉｐａｔｈ ｎｅｕｒａｌ ｓｕｂｎｅｔｗｏｒｋ）を取得することと、
前記トレーニング用マルチパスニューラルサブネットワークをトレーニングして、各トレーニング用マルチパスニューラルサブネットワークにおける各サブ構造の重みパラメータを更新することと、
前記トレーニング用マルチパスニューラルサブネットワークの各サブ構造の重みパラメータを前記初期ハイパーネットワークに同期することと、
前記初期ハイパーネットワークが収束するかどうかを判断し、収束しない場合、事前に構築された初期ハイパーネットワークに基づいてトレーニング用マルチパスニューラルサブネットワークを取得するステップに戻って実行し、収束する場合、トレーニングを終了し、ターゲットハイパーネットワークを取得することとを含み、
前記事前に構築された初期ハイパーネットワークに基づいて、トレーニング用マルチパスニューラルサブネットワークを取得することは、
事前に構築されたハイパーネットワークの各レイヤについて、前記各レイヤから複数のサブ構造をサンプリングし、前記複数のサブ構造の出力結果を加算するために使用される出力端を追加して、前記複数のサブ構造および前記出力端を含むサブ構造ユニットを取得することと、
前記各レイヤの順序に応じて各サブ構造ユニットを直列に接続して、初期トレーニング用マルチパスニューラルサブネットワークを取得することと、
前記初期ハイパーネットワークおよび初期トレーニング用マルチパスニューラルサブネットワークの同じサブ構造に対して、パラメータ共有を実行して、最終的なトレーニング用マルチパスニューラルサブネットワークを取得することとを含む。

選択的に、前記各レイヤから複数のサブ構造をサンプリングするステップでは、ベルヌーイサンプリング方法を使用してサブ構造を順次にサンプリングし、且つ前記各レイヤの各サブ構造がサンプリングされる確率は均等である。

選択的に、前記トレーニング用マルチパスニューラルサブネットワークをトレーニングすることは、
トレーニングセットの第１の数のトレーニングサンプルを取得することと、
前記トレーニングサンプルを前記トレーニング用マルチパスニューラルサブネットワークに順次に入力して、前記第１の数のトレーニングサンプルがすべて使用されるまで前記トレーニング用マルチパスニューラルサブネットワークをトレーニングすることとを含む。

選択的に、前記方法は、
前記ターゲットハイパーネットワークに基づいて新たに取得された複数のトレーニング用マルチパスニューラルサブネットワークを評価して、評価結果を取得することと、
前記評価結果に従って、設定条件を満たすトレーニング用マルチパスニューラルサブネットワークを決定し、前記トレーニング用マルチパスニューラルサブネットワークをターゲットシナリオに適用することとをさらに含む。

選択的に、前記ターゲットハイパーネットワークに基づいて新たに取得された複数のトレーニング用マルチパスニューラルサブネットワークを評価して、評価結果を取得することは、
前記ターゲットハイパーネットワークに基づいて、複数のトレーニング用マルチパスニューラルサブネットワークを取得することと、
前記ターゲットハイパーネットワーク内の各サブ構造の重みパラメータを、前記トレーニング用マルチパスニューラルサブネットワーク内の対応するサブ構造に共有することと、
前記複数のトレーニング用マルチパスニューラルサブネットワークを評価して、各トレーニング用マルチパスニューラルサブネットワークの評価結果を取得することとを含む。

選択的に、前記ターゲットシナリオは、画像の分類、ターゲットの検出、セマンティックセグメンテーション（Ｓｅｍａｎｔｉｃ ｓｅｇｍｅｎｔａｔｉｏｎ）、テキストから音声への変換、自然言語の翻訳、音声の強調のうちの少なくとも１つを含むが、これらに限定されない。

本開示の実施例の第２の態様によれば、ハイパーネットワークトレーニング装置を提供し、前記装置は、
事前に構築された初期ハイパーネットワークに基づいてトレーニング用マルチパスニューラルサブネットワークを取得するように構成されるサブネットワーク取得モジュールと、
前記トレーニング用マルチパスニューラルサブネットワークをトレーニングして、各トレーニング用マルチパスニューラルサブネットワークにおける各サブ構造の重みパラメータを更新するように構成されるサブネットワークトレーニングモジュールと、
前記トレーニング用マルチパスニューラルサブネットワーク内の各サブ構造の重みパラメータを前記初期ハイパーネットワークに同期するように構成される重みパラメータ同期モジュールと、
前記初期ハイパーネットワークが収束するかどうかを判断し、前記初期ハイパーネットワークが収束しない場合、前記サブネットワーク取得モジュールをトリガーし、前記初期ハイパーネットワークが収束する場合、トレーニングを終了し、ターゲットハイパーネットワークを取得するように構成されるハイパーネットワーク取得モジュールとを含み、
前記サブネットワーク取得モジュールは、
事前に構築されたハイパーネットワークの各レイヤについて、前記各レイヤから複数のサブ構造をサンプリングし、前記複数のサブ構造の出力結果を加算するために使用される出力端を追加して、前記複数のサブ構造および前記出力端を含むサブ構造ユニットを取得するように構成されるサブ構造取得ユニットと、
前記各レイヤの順序に応じて各サブ構造ユニットを直列に接続して、初期トレーニング用マルチパスニューラルサブネットワークを取得するように構成されるサブ構造直列ユニットと、
前記初期ハイパーネットワークおよび初期トレーニング用マルチパスニューラルサブネットワークの同じサブ構造に対して、パラメータ共有を実行して、最終的なトレーニング用マルチパスニューラルサブネットワークを取得するように構成されるパラメータ共有ユニットとを含む。

前記サブ構造取得ユニットは、ベルヌーイサンプリング方法を使用してサブ構造を順次にサンプリングするように構成され、前記各レイヤの各サブ構造がサンプリングされる確率は均等である。

選択的に、前記サブネットワークトレーニングモジュールは、
トレーニングセットの第１の数のトレーニングサンプルを取得するように構成されるトレーニングサンプル取得ユニットと、
前記トレーニングサンプルを前記トレーニング用マルチパスニューラルサブネットワークに順次に入力して、前記第１の数のトレーニングサンプルがすべて使用されるまで前記トレーニング用マルチパスニューラルサブネットワークをトレーニングするように構成されるサブネットワークトレーニングユニットとを含む。

選択的に、前記装置は、さらに、
前記ターゲットハイパーネットワークに基づいて新たに取得された複数のトレーニング用マルチパスニューラルサブネットワークを評価して、評価結果を取得するように構成される評価結果取得モジュールと、
前記評価結果に従って、設定条件を満たすトレーニング用マルチパスニューラルサブネットワークを決定し、前記トレーニング用マルチパスニューラルサブネットワークをターゲットシナリオに適用するように構成されるターゲットシナリオ決定モジュールとを含む。

選択的に、前記評価結果取得モジュールは、
前記ターゲットハイパーネットワークに基づいて、複数のトレーニング用マルチパスニューラルサブネットワークを取得するように構成されるサブネットワーク取得ユニットと、
前記ターゲットハイパーネットワーク内の各サブ構造の重みパラメータを、前記トレーニング用マルチパスニューラルサブネットワーク内の対応するサブ構造に共有するように構成されるパラメータ共有ユニットと、
前記複数のトレーニング用マルチパスニューラルサブネットワークに対して評価して、各トレーニング用マルチパスニューラルサブネットワークの評価結果を取得するように構成されるサブネットワーク評価ユニットとを含む。

本開示の実施例の第３の態様によれば、電子機器を提供し、前記機電子機器は、
プロセッサと、
前記プロセッサによって実行可能な命令を記憶するように構成されるメモリとを含み、
前記プロセッサは、前記メモリ内の実行可能な命令を実行して、上記に記載の方法を実現するように構成される。

本開示の実施例の第４の態様によれば、実行可能な命令を記憶するように構成される読み取り可能な記憶媒体を提供し、前記実行可能な命令がプロセッサによって実行されると、上記に記載の方法が実現される。

本開示の実施例によって提供される技術的解決策は、以下の有益な効果を含み得る。

上記した技術的解決策からわかるように、本開示の実施例において、マルチパスニューラルサブネットワークが取得し、次に、前記マルチパスニューラルサブネットワークをトレーニングすることにより、各サブ構造の重みパラメータを更新し、その後、前記マルチパスニューラルサブネットワークの各サブ構造の重みパラメータを前記初期ハイパーネットワークに同期し、最後に、ハイパーネットワークが収束する場合、トレーニングを終了し、ターゲットハイパーネットワークを取得する。このように、シングルパス表現能力に限界がある場合、本実施例のマルチパスニューラルサブネットワークを使用してハイパーネットワークをトレーニングすることは、ハイパーネットワークの表現能力を向上させるのに有益である。

上記の一般的な説明および後述する詳細な説明は、単なる例示および説明的であり、本開示を限定するものではないことを理解されたい。

ここでの図面は、本明細書に組み込まれてその一部を構成し、本開示と一致する実施例を示し、明細書とともに本開示の原理を説明するために使用される。
一例示的な実施例によって示されるハイパーネットワークトレーニングの方法のフローチャートである。 一例示的な実施例によって示されるハイパーネットワークの概略的な構造図である。 一例示的な実施例によって示されるマルチパスニューラルサブネットワークを取得するフローチャートである。 一例示的な実施例によって示されるサンプリングされたサブ構造の概略図である。 一例示的な実施例によって示されるパラメータ共有の概略図である。 一例示的な実施例によって示されるマルチパスニューラルサブネットワークをトレーニングするフローチャートである。 一例示的な実施例によって示されるハイパーネットワークに重みパラメータを同期する概略図である。 一例示的な実施例によって示されるマルチパスニューラルサブネットワークを評価するフローチャートである。 一例示的な実施例によって示されるハイパーネットワークトレーニング装置のブロック図である。 一例示的な実施例によって示される電子機器のブロック図である。

ここで、例示的な実施例について詳細に説明し、その例を添付の図面に示す。特に明記しない限り、以下の説明が添付の図面に関する場合、異なる図面の同じ数字は同じまたは類似の要素を表す。以下の例示的な実施例で説明される実施形態は、本開示と一致するすべての実施形態を表すものではない。逆に、これらは、添付の特許請求の範囲に詳述されるように、本開示のいくつかの態様と一致する装置の例にすぎない。

現在は、既存のニューラルネットワークアーキテクチャ検索（ＮＡＳ）において、通常、シングルパスニューラルサブネットワークを使用して実現し、つまり、ハイパーネットワーク内の各レイヤから１つのサブモジュールのみをサンプリングし、サンプリングされたサブモジュールを順に直列に接続して、シングルパスニューラルサブネットワークを形成することができる。次に、ハイパーネットワークから各レイヤのサブモジュールのパラメータを共有し、その後、前記シングルパスニューラルサブネットワークに対してシングルステップトレーニングを実行する。前記シングルパスニューラルサブネットワークのトレーニングが完了した後に、各サブモジュールのパラメータをハイパーネットワークに再共有する。このように、ハイパーネットワークトレーニングが収束するまで、「サンプリング－パラメータ共有－シングルステップトレーニング－パラメータ更新」ステップを繰り返す。

上記のニューラルネットワークアーキテクチャ検索の技術案において、各サンプリングによってトレーニングされたシングルパスニューラルサブネットワークでは、サンプリングされたサブモジュールの公平性を確保するために、各レイヤでサンプリングできるサブ構造は１つだけであるが、これはニューラルネットワークの表現能力を制限する。

上記した技術的課題を解決するために、本開示の実施例はハイパーネットワークトレーニングの方法を提供し、図１は、一例示的な実施例によって示されるハイパーネットワークトレーニングの方法のフローチャートである。ハイバーネットワークトレーニング方法は、画像の分類、ターゲットの検出、セマンティックセグメンテーション（Ｓｅｍａｎｔｉｃ ｓｅｇｍｅｎｔａｔｉｏｎ）、テキストから音声への変換、自然言語の翻訳、音声の強調のうちの少なくとも１つのターゲットシナリオに適用することができるが、ここでは限定されないことに留意されたい。図１を参照すると、ハイパーネットワークトレーニングの方法はステップ１０１ないしステップ１０４を含む。

ステップ１０１において、事前に構築された初期ハイパーネットワークに基づいて、マルチパスニューラルサブネットワークを取得する。

本実施例において、事前に１つのハイパーネットワークを構築することができ、ハイパーネットワークは、図２に示されるようである。ここで、ハイパーネットワークは、すべての検索ネットワーク構造スペースを含むネットワークを指す。前記ハイパーネットワークは、複数のレイヤを含み、各レイヤは複数の選択可能なサブ構造を含む。図２を参照すると、図２に示されるハイパーネットワークは、最初の４つのレイヤのみを示し、ここで、第２のレイヤは複数のサブ構造を含み、サブ構造Ａ、サブ構造Ｂおよびサブ構造Ｃのみが示される。

各サブ構造は、畳み込み、プーリングなどの選択的な演算子をいくつかを含み、各演算子は、ハイパーパラメータ（畳み込みサイズ、畳み込みステップサイズなど）および重みパラメータを含む。前記ハイパーネットワークは、関連技術の構築方法に従って構築を実行することができるが、ここでは詳細に説明しない。

ハイパーネットワークを構築した後、関連技術の初期化方法を使用して、前記重みパラメータの値を初期化し、例えば、ゼロ値初期化、ランダム初期化またはＨｅ ｉｎｉｔｉａｌｉｚａｔｉｏｎなどであり、ここでは限定しない。もちろん、前記ハイパーネットワークは、前にトレーニングした重みパラメータを今回のトレーニングの初期化後の重みパラメータの値として利用することができるため、初期化後のハイパーネットワーク、即ち、初期ハイパーネットワークを取得することができる。

本実施例において、事前に構築された初期ハイパーネットワークに基づいて、マルチパスニューラルサブネットワークを取得することができ、図３を参照すると、事前に構築されたハイパーネットワークの各レイヤについて、各レイヤから少なくとも１つのサブ構造をサンプリングし、少なくとも１つのサブ構造の出力結果を加算するために使用される出力端を追加して、少なくとも１つのサブ構造および前記出力端を含むサブ構造ユニット（図３のステップ３０１に対応する）を取得する。ここで、説明の便宜上、本実施例では、少なくとも１つのサブ構造と出力端を１つのサブ構造ユニットとして説明するが、実際の応用では、サブ構造ユニットを分割するステップを追加する必要がない。

トレーニングプロセス中に、各レイヤのサブ構造のサンプリングプロセスと他のレイヤのサブ構造のサンプリングプロセスは互いに独立し、同じレイヤの各サブ構造のサンプリングも互いに独立することを留意されたい。本例示では、サンプリング方法としてベルヌーイサンプリング方法を使用し、各サブ構造がアクティブ化または非アクティブ化される確率は同じであり、つまり、サンプリングプロセス中に、サブ構造は、サンプリングされ、またはサンプリングされない２つの状態があるため、サンプリングされた各サブ構造の公平性を確保し、さらに、トレーニング効果の安定性を確保する。

図４を参照すると、例えば、第２のレイヤから３つのサブ構造をサンプリングし、即ち、サブ構造Ａ、サブ構造Ｂ、およびサブ構造Ｃであり、３つのサブ構造の出力は、出力端（図４では「＋」を使用して出力端を表す）に接続される。前記出力端は、３つのサブ構造の出力結果を加算し、加算した結果を次のレイヤの各サブ構造の入力データとして使用するため、各レイヤの入力データの次元を減らし、計算量を削減することができる。

本実施例では、同じレイヤのサブ構造によって出力されるデータの次元は、原則として同じであるべきが、次元が異なる場合、低次元で設定値（０など）を補充して、同じレイヤのすべてサブ構造の次元を同じにして、同じレイヤのデータを加算する効果を確保する。もちろん、畳み込みカーネルは、次元の役割を増加または減少し得ることを考慮すると、各サブ構造で１＊１畳み込みカーネルを設置することもできるため、すべてのサブ構造の出力データ次元を同じにし、対応する技術案は本開示の保護範囲に入る。

そして、前記各レイヤの順序に従って各サブ構造ユニットを直列に接続して、初期マルチパスニューラルサブネットワーク（図３のステップ３０２に対応する）を取得する。実際の応用では、各レイヤのサブ構造を前のレイヤのサブ構造ユニットの出力端に接続することができ、つまり、同じレイヤの各サブ構造の入力データは同じである。理解できることとして、各レイヤは少なくとも１つのサブ構造を含むため、直列に接続されたサブネットワークの入力端から出力端まで複数のパスが存在するため、マルチパスニューラルサブネットワークと呼ばれる。

そして、初期ハイパーネットワークおよび初期マルチパスニューラルサブネットワークの同じサブ構造に対してパラメータ共有を実行して、最終的なマルチパスニューラルサブネットワーク（図３のステップ３０３に対応する）を取得する。ここで、パラメータ共有とは、マルチパスニューラルサブネットワーク内の各サブ構造の重みパラメータが、ハイパーネットワーク内の対応するサブ構造の重みパラメータと同じであることを指す。図５を参照すると、パラメータ共有プロセスでは、ハイパーネットワークの第２のレイヤのサブ構造Ａの重みパラメータをマルチパスニューラルの第２のレイヤのサブ構造Ａに共有し、ハイパーネットワークの第２のレイヤのサブ構造Ｂの重みパラメータをマルチパスニューラルの第２のレイヤのサブ構造Ｂに共有し、ハイパーネットワークの第２のレイヤのサブ構造Ｃの重みパラメータをマルチパスニューラルの第２のレイヤのサブ構造Ｃに共有する。上記のステップを繰り返すると、マルチパスニューラルサブネットワークのすべてのサブ構造に重みパラメータの割り当てを実行し得る。

ステップ１０２において、前記マルチパスニューラルサブネットワークをトレーニングして、各サブ構造の重みパラメータを更新する。

本実施例において、事前にトレーニングセットを設定することができ、前記トレーニングセットは、一定数のトレーニングサンプルを含み、一定数は、例えば、数万から数十万まで、具体的なシナリオに従って設定することができ、ここでは限定されない。一実施例では、トレーニングセット内のトレーニングサンプルをグループ化されてもよく、各グループには、第１の数のトレーニングサンプルが含まれ、ここで、第１の数は、数千のトレーニングサンプルであり得るため、毎回のトレーニングに使用されるサンプル数を減らし、トレーニング効率を向上させることに役立つ。実際の応用では、トレーニングセット内のすべてのサンプルを使用してトレーニングして、１つのＥｐｏｃｈ（１ラウンドのトレーニングとして理解できる）を完了する。トレーニングセットには、２００００個のトレーニングサンプルが含まれると仮定すると、ｂａｔｃｈ ｓｉｚｅ（グループのサイズとして理解できる）の値は１００である場合、トレーニングセットのｂａｔｃｈの数（グループの数として理解できる）は、２００００／１００＝２００であるため、各Ｅｐｏｃｈが完了する必要があるｂａｔｃｈの個数は２００である。つまり、各マルチパスニューラルサブネットワークは、１つのＥｐｏｃｈを完了するため、１００個のトレーニングサンプルを使用して２００個のマルチパスニューラルサブネットワークをトレーニングする必要がある。

本実施例において、上記のトレーニングサンプルを使用して、マルチパスニューラルサブネットワークをトレーニングし、例えば、シングルステップトレーニングをトレーニングすることができる。図６を参照すると、トレーニングセット内の第１の数のトレーニングサンプルを取得する（図６のステップ６０１に対応する）ことができる。そして、トレーニングサンプルを順次にマルチパスニューラルサブネットワークに入力して、第１の数のトレーニングサンプルがすべて使用されるまで前記マルチパスニューラルサブネットワークをトレーニングする（図６のステップ６０２に対応する）。マルチパスニューラルサブネットワークをトレーニングするプロセスでは、トレーニングサンプルは、トレーニングセットの一部であり、即ち、各サブ構造の重みパラメータを変更させることができればよく、トレーニング時間を短縮することができ、また、マルチパスニューラルサブネットワークをトレーニングする場合、マルチパスニューラルサブネットワークの収束を確保する必要がないため、トレーニング時間を短縮し、トレーニング効率を向上させることに留意されたい。

異なるマルチパスニューラルサブネットワークは、異なるトレーニングサンプルを使用してトレーニングすることができ、例えば、トレーニングセットは、１０個のグループに分けられることができ、１つのマルチパスニューラルサブネットワークをトレーニングするごとに、１つのグループのトレーニングサンプルを使用してトレーニングし、トレーニング回数が十分に多い場合、各パスを十分にトレーニングすることができるため、ハイパーネットワークの表現能力を向上させることに役立つことに留意されたい。加えて、ハイパーネットワークが収束した後、サンプリングされたシングルパスニューラルサブネットワークの表現能力は、関連技術のシングルパスニューラルサブネットワークよりも優れる。

ステップ１０３において、前記マルチパスニューラルサブネットワークの各サブ構造の重みパラメータを前記初期ハイパーネットワークに同期する。

本実施例において、トレーニングされたマルチパスニューラルサブネットワークの各サブ構造の重みパラメータを初期ハイパーネットワークに同期することができる。理解できることとして、前記重みパラメータの同期プロセスは、ステップ３０３におけるパラメータ共有の逆プロセスとして理解することができ、効果は図７に示すようである。このように、実質的にハイパーネットワークに対して重みパラメータの更新を完了し、間接的にハイパーネットワークをトレーニングする効果を達成する。

ステップ１０４において、前記初期ハイパーネットワークが収束するかどうかを判断し、収束しない場合、事前に構築された初期ハイパーネットワークに基づいてマルチパスニューラルサブネットワークを取得するステップに戻って実行し、収束する場合、トレーニングを終了し、ターゲットハイパーネットワークを取得する。

本実施例において、重みパラメータの値を更新するたびに、初期ハイパーネットワークが収束しているかどうかを判断することができ、収束しない場合、ステップ１０１に戻り、即ち、事前に構築された初期ハイパーネットワークに基づいてマルチパスニューラルサブネットワークを取得するステップを継続して実行し、収束する場合、トレーニングを終了し、ターゲットハイパーネットワークを取得する。例えば、損失関数の値が、設定された閾値より小さいか等しいかどうかを判断することができ、より大きい場合、初期ハイパーネットワークが収束しないことを意味し、ステップ１０１にジャンプし、より小さいか等しい場合、初期ハイパーネットワークが収束することを意味し、現在の初期ハイパーネットワークをターゲットハイパーネットワークとする。

一実施例において、ターゲットハイパーネットワークを取得した後、適用されるターゲットシナリオと組み合わせると、ハイパーネットワークトレーニングの方法は、マルチパスニューラルサブネットワークを評価するステップをさらに含み得る。図８を参照すると、図３に示す実施例の内容によれば、ターゲットハイパーネットワークに基づいて複数のマルチパスニューラルサブネットワークを取得することができ、前記ターゲットハイパーネットワークの各サブ構造の重みパラメータを前記マルチパスニューラルサブネットワークの対応するサブ構造に共有する。そして、新たに取得された複数のマルチパスニューラルサブネットワークを評価して、評価結果を取得する（図８のステップ８０１に対応する）。そして、評価結果に従って、設定条件を満たすマルチパスニューラルサブネットワークを決定し、前記マルチパスニューラルサブネットワークをターゲットシナリオに適用する（図８のステップ８０２に対応する）。

上記のターゲットシナリオは、画像の分類、ターゲットの検出、セマンティックセグメンテーション、テキストから音声への変換、自然言語の翻訳、音声の強調のうちの少なくとも１つを含むが、これらに限定されないことに留意されたい。技術者は、具体的なシナリオに従ってターゲットシナリオを設置することができる。

ターゲットハイパーネットワークからサンプリングされたマルチパスニューラルサブネットワークは、ターゲットシナリオに適用されることを考慮すると、評価インデックスを設計することは、ターゲットシナリオについての相対的な指標であり得ることに留意されたい。例えば、少数のデータセットで、低解像度でトレーニングされたモデルの精度、または少数のｅｐｏｃｈのトレーニング後のモデルの精度は、相対指標に対応する評価結果に基づいて、任意の複数のマルチパスニューラルネットワークの最適なマルチパスニューラルネットワークを決定することができ、その後に前記最適なマルチパスニューラルネットワークをターゲットシナリオに適用する。言い換えれば、設定条件は、複数のマルチパスニューラルサブネットワークの評価結果の最適値を指し得る。

ここまで、本開示の実施例において、マルチパスニューラルサブネットワークが取得し、次に、前記マルチパスニューラルサブネットワークをトレーニングすることにより、各サブ構造の重みパラメータを更新し、その後、前記マルチパスニューラルサブネットワークの各サブ構造の重みパラメータを前記初期ハイパーネットワークに同期し、最後に、ハイパーネットワークが収束する場合、トレーニングを終了し、ターゲットハイパーネットワークを取得する。このように、シングルパス表現能力に限界がある場合、本実施例のマルチパスニューラルサブネットワークを使用してハイパーネットワークをトレーニングすることは、ハイパーネットワークの表現能力を向上させるのに有益である。

本開示の実施例によって提供される技術的解決策を詳細に説明するために、以下の実施例を提供する。

画像の分類を例として、画像トレーニングセットＤは、Ｎ個のｂａｔｃｈに分割でき、各ｂａｔｃｈは、Ｍ個の画像データを含み、各画像データは１つの分類ラベルに対応し、Ｋ種類の分類があると仮定する。そして、前記画像トレーニングセットおよび前述のハイパーネットワークトレーニングの方法を使用して、ハイパーネットワークをトレーニングする。トレーニングした後、収束されたハイパーネットワークを取得することができる。

次に、前記ハイパーネットワークからマルチパスニューラルサブネットワークをサンプリングし、ハイパーネットワークで各サブ構造のパラメータを共有することにより、各マルチパスニューラルサブネットワークが画像トレーニングセット上の性能指標を取得する。

さらに、性能指標に従って、マルチパスニューラルサブネットワークから画像分類タスクシナリオに適用されるサブネットワークを選択して、実際のシナリオで最終的に使用されるモデルとする。

他の画像、音声、および自然言語処理のタスクにおいて、画像の分類との違いは、音声トレーニングセットおよび性能指標評価方法を置き換えることであり、残りのプロセスは、上記の画像の分類モデルの取得方法と同様であり、最終的に実際のシナリオで使用される画像、音声、および自然言語処理のモデルを取得することであるため、ここでは繰り返しないことに留意されたい。

図９は、一例示的な実施例によって示されるハイパーネットワークトレーニング装置のブロック図である。図９を参照すると、ハイパーネットワークトレーニング装置であって、
事前に構築された初期ハイパーネットワークに基づいてマルチパスニューラルサブネットワークを取得するように構成されるサブネットワーク取得モジュール９０１と、
前記マルチパスニューラルサブネットワークをトレーニングして、各サブ構造の重みパラメータを更新するように構成されるサブネットワークトレーニングモジュール９０２と、
前記マルチパスニューラルサブネットワーク内の各サブ構造の重みパラメータを前記初期ハイパーネットワークに同期するように構成される重みパラメータ同期モジュール９０３と、
前記初期ハイパーネットワークが収束するかどうかを判断し、前記初期ハイパーネットワークが収束しない場合、前記サブネットワーク取得モジュールをトリガーし、前記初期ハイパーネットワークが収束する場合、トレーニングを終了し、ターゲットハイパーネットワークを取得するように構成されるハイパーネットワーク取得モジュール９０４とを含む。

図１０は、一例示的な実施例によって示されるハイパーネットワークトレーニング装置のブロック図であり、図９に示されるハイパーネットワークトレーニング装置に基づいて、図１０を参照すると、前記サブネットワーク取得モジュール９０１は、
事前に構築されたハイパーネットワークの各レイヤについて、前記各レイヤから少なくとも１つのサブ構造をサンプリングし、前記少なくとも１つのサブ構造の出力結果を加算するために使用される出力端を追加して、前記少なくとも１つのサブ構造および前記出力端を含むサブ構造ユニットを取得するように構成されるサブ構造取得ユニット１００１と、
前記各レイヤの順序に応じて各サブ構造ユニットを直列に接続して、初期マルチパスニューラルサブネットワークを取得するように構成されるサブ構造直列ユニット１００２と、
前記初期ハイパーネットワークおよび初期マルチパスニューラルサブネットワークの同じサブ構造に対して、パラメータ共有を実行して、最終的なマルチパスニューラルサブネットワークを取得するように構成されるパラメータ共有ユニット１００３とを含む。

一実施例において、前記サブ構造取得ユニット１００１は、ベルヌーイサンプリング方法を使用してサブ構造を順次にサンプリングするように構成され、前記各レイヤの各サブ構造がサンプリングされる確率は均等である。

図１１は、一例示的な実施例によって示されるハイパーネットワークトレーニング装置のブロック図であり、図９に示されるハイパーネットワークトレーニング装置に基づいて、図１１を参照すると、前記サブネットワークトレーニングモジュール９０２は、
トレーニングセットの第１の数のトレーニングサンプルを取得するように構成されるトレーニングサンプル取得ユニット１１０１と、
前記トレーニングサンプルを前記マルチパスニューラルサブネットワークに順次に入力して、前記第１の数のトレーニングサンプルがすべて使用されるまで前記マルチパスニューラルサブネットワークをトレーニングするように構成されるサブネットワークトレーニングユニット１１０２とを含む。

図１２は、一例示的な実施例によって示されるハイパーネットワークトレーニング装置のブロック図であり、図９に示されるハイパーネットワークトレーニング装置に基づいて、図１２を参照すると、前記装置は、
前記ターゲットハイパーネットワークに基づいて、新たに取得された複数のマルチパスニューラルサブネットワークを評価して、評価結果を取得するように構成される評価結果取得モジュール１２０１と、
前記評価結果に従って、設定条件を満たすマルチパスニューラルサブネットワークを決定し、前記マルチパスニューラルサブネットワークをターゲットシナリオに適用するように構成されるターゲットシナリオ決定モジュール１２０２を含む。

図１３は、一例示的な実施例によって示されるハイパーネットワークトレーニング装置のブロック図であり、図１２に示されるハイパーネットワークトレーニング装置に基づいて、評価結果取得モジュール１２０１は、
前記ターゲットハイパーネットワークに基づいて、複数のマルチパスニューラルサブネットワークを取得するように構成されるサブネットワーク取得ユニット１３０１と、
前記ターゲットハイパーネットワーク内の各サブ構造の重みパラメータを、前記マルチパスニューラルサブネットワーク内の対応するサブ構造に共有するように構成されるパラメータ共有ユニット１３０２と、
前記複数のマルチパスニューラルサブネットワークに対して評価して、各マルチパスニューラルサブネットワークの評価結果を取得するように構成されるサブネットワーク評価ユニット１３０３とを含む。

上記の実施例の装置に関して、各モジュールが操作を実行する具体的な方法は、前記方法の実施例で詳細に説明され、ここでは詳細に説明しない。

ここまで、本開示の実施例において、マルチパスニューラルサブネットワークが取得し、次に、前記マルチパスニューラルサブネットワークをトレーニングすることにより、各サブ構造の重みパラメータを更新し、その後、前記マルチパスニューラルサブネットワークの各サブ構造の重みパラメータを前記初期ハイパーネットワークに同期し、最後に、ハイパーネットワークが収束する場合、トレーニングを終了し、ターゲットハイパーネットワークを取得する。このように、シングルパス表現能力に限界がある場合、本実施例のマルチパスニューラルサブネットワークを使用してハイパーネットワークをトレーニングすることは、ハイパーネットワークの表現能力を向上させるのに有益である。

図１４は、一例示的な実施例によって示される電子機器のブロック図である。例えば、電子機器１４００は、スマートフォン、コンピュータ、デジタル放送端末、タブレット機器、医療機器、フィットネス機器、携帯情報端末などであってもよい。

図１４を参照すると、電子機器１４００は、処理コンポーネント１４０２、メモリ１４０４、電力コンポーネント１４０６、マルチメディアコンポーネント１４０８、オーディオコンポーネント１４１０、入力／出力（Ｉ／Ｏ）インターフェース１４１２、センサコンポーネント１４１４、通信コンポーネント１４１６、および画像取得コンポーネント１４１８の１つまたは複数を含むことができる。

処理コンポーネント１４０２は、一般的に、ディスプレイ、電話の呼び出し、データ通信、カメラ操作及び記録操作に関する操作のような電子機器１４００の全般的な操作を制御する。処理コンポーネント１４０２は、命令を実行するように、１つまたは複数のプロセッサ１４２０を含むことができる。加えて、処理コンポーネント１４０２は、処理コンポーネント１４０２と他のコンポーネントの間の相互作用を容易にするために、１つまたは複数のモジュールを含むことができる。例えば、処理コンポーネント１４０２は、マルチメディアコンポーネント１４０８と処理コンポーネント１４０２の間の相互作用を容易にするために、マルチメディアモジュールを含むことができる。

メモリ１４０４は、電子機器１４００での操作をサポートするための様々なタイプのデータを記憶するように構成される。これらのデータの例には、電子機器１４００で動作する任意のアプリケーションまたは方法の命令、連絡先データ、電話帳データ、メッセージ、写真、ビデオ等が含まれる。メモリ１４０４は、スタティックランダムアクセスメモリ（ＳＲＡＭ）、電気的に消去可能なプログラム可能な読み取り専用メモリ（ＥＥＰＲＯＭ）、消去可能なプログラム可能な読み取り専用メモリ（ＥＰＲＯＭ）、プログラム可能な読み取り専用メモリ（ＰＲＯＭ）、磁気メモリ、フラッシュメモリ、磁気ディスクまたは光ディスクなど、あらゆるタイプの揮発性または不揮発性ストレージデバイスまたはそれらの組み合わせによって具現されることができる。

電力コンポーネント１４０６は、電子機器１４００の様々なコンポーネントに電力を提供する。電力コンポーネント１４０６は、電力管理システム、１つまたは複数の電源、及び電子機器１４００のための電力の生成、管理および割り当てに関する他のコンポーネントを含むことができる。

マルチメディアコンポーネント１４０８は、前記電子機器１４００と目標対象との間の出力インターフェースを提供するスクリーンを含む。いくつかの実施例において、スクリーンは、液晶ディスプレイ（ＬＣＤ）及びタッチパネル（ＴＰ）を含み得る。スクリーンがタッチパネルを含む場合、スクリーンは、目標対象からの入力信号を受信するためのタッチスクリーンとして具現されることができる。タッチパネルは、タッチ、スワイプ及びタッチパネルでのジェスチャーを感知するための１つまたは複数のタッチセンサを含む。前記タッチセンサは、タッチまたはスワイプ操作の境界を感知するだけでなく、前記タッチまたはスワイプ操作に関連する持続時間及び圧力も検出することができる。

オーディオコンポーネント１４１０は、オーディオ信号を出力及び／または入力するように構成される。例えば、オーディオコンポーネント１４１０は、１つのマイクロフォン（ＭＩＣ）を含み、電子機器１４００が通話モード、録音モード及び音声認識モードなどの動作モードである場合、マイクロフォンは、外部オーディオ信号を受信するように構成される。受信されたオーディオ信号は、さらに、メモリ１４０４に記憶されてもよく、または通信コンポーネント１４１６によって送信されてもよい。いくつかの実施例において、オーディオコンポーネント１４１０は、オーディオ信号を出力するためのスピーカをさらに含む。

Ｉ／Ｏインターフェース１４１２は、処理コンポーネント１４０２と周辺インターフェースモジュールとの間にインターフェースを提供し、前記周辺インターフェースモジュールは、キーボード、クリックホイール、ボタンなどであってもよい。

センサコンポーネント１４１４は、電子機器１４００に各態様の状態評価を提供するための１つまたは複数のセンサを含む。例えば、センサコンポーネント１４１４は、電子機器１４００のオン／オフ状態、コンポーネントの相対的な位置を検出することができ、前記ンポーネントは、電子機器１４００のディスプレイやキーパッドなどであり、センサコンポーネント１４１４は、電子機器１４００または１つのコンポーネントの位置の変化、目標対象と電子機器１４００との接触の有無、電子機器１４００の方位または加速／減速、及び電子機器１４００の温度の変化も検出することができる。

通信コンポーネント１４１６は、電子機器１４００と他の機器の間の有線または無線方式の通信を容易にするように構成される。電子機器１４００は、ＷｉＦｉ、２Ｇまたは３Ｇ、またはそれらの組み合わせなどの通信規格に基づく無線ネットワークにアクセスすることができる。一例示的な実施例において、通信コンポーネント１４１６は、放送チャンネルによって外部放送管理システムからの放送信号または放送関連情報を受信する。一例示的な実施例において、前記通信コンポーネント１４１６は、短距離通信を促進するための近距離通信（ＮＦＣ）モジュールをさらに含む。例えば、ＮＦＣモジュールは、無線周波数識別（ＲＦＩＤ）技術、赤外線データ協会（ＩｒＤＡ）技術、超広帯域（ＵＷＢ）技術、ブルートゥース（ＢＴ）技術及び他の技術に基づいて具現されることができる。

例示的な実施例において、電子機器１４００は、１つまたは複数の特定用途向け集積回路（ＡＳＩＣ）、デジタル信号プロセッサ（ＤＳＰ）、デジタル信号処理装置（ＤＳＰＤ）、プログラマブルロジックデバイス（ＰＬＤ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、コントローラ、マイクロコントローラ、マイクロプロセッサまたは他の電子素子によって具現されることができる。

当業者は、明細書を考慮して、本明細書に開示される発明を実施した後、本開示の他の実施形態を容易に想到し得るであろう。本開示は、前記各実施例のあらゆる変形、応用または適応性変化を網羅することを意図し、これらの変形、応用または適応性変化は、本開示の普通の原理に準拠し、本開示によって開示されない本技術分野における公知知識または従来の技術的手段を含む。明細書と実施例は、例示としてのみ考慮され、本開示の実施例の真の範囲及び思想は添付の特許請求の範囲によって示される。

本開示は、上記に既に説明し且つ図面に示した正確な構造に限定されるものではなく、その範囲から逸脱することなく様々な修正及び変更を行うことができることを理解されたい。本開示の範囲は、添付の特許請求の範囲によってのみ制限される。

Claims (13)

1. ハイパーネットワークトレーニングの方法であって、
   事前に構築された初期ハイパーネットワークに基づいて、トレーニング用マルチパスニューラルサブネットワークを取得することと、
   前記トレーニング用マルチパスニューラルサブネットワークをトレーニングして、各トレーニング用マルチパスニューラルサブネットワークにおける各サブ構造の重みパラメータを更新することと、
   前記トレーニング用マルチパスニューラルサブネットワークの各サブ構造の重みパラメータを前記初期ハイパーネットワークに同期することと、
   前記初期ハイパーネットワークが収束するかどうかを判断し、収束しない場合、事前に構築された初期ハイパーネットワークに基づいてトレーニング用マルチパスニューラルサブネットワークを取得するステップに戻って実行し、収束する場合、トレーニングを終了し、ターゲットハイパーネットワークを取得することとを含み、
   前記事前に構築された初期ハイパーネットワークに基づいて、トレーニング用マルチパスニューラルサブネットワークを取得することは、
   事前に構築されたハイパーネットワークの各レイヤについて、前記各レイヤから複数のサブ構造をサンプリングし、前記複数のサブ構造の出力結果を加算するために使用される出力端を追加して、前記複数のサブ構造および前記出力端を含むサブ構造ユニットを取得することと、
   前記各レイヤの順序に応じて各サブ構造ユニットを直列に接続して、初期トレーニング用マルチパスニューラルサブネットワークを取得することと、
   前記初期ハイパーネットワークおよび初期トレーニング用マルチパスニューラルサブネットワークの同じサブ構造に対して、パラメータ共有を実行して、最終的なトレーニング用マルチパスニューラルサブネットワークを取得することとを含むことを特徴とする、
   ハイパーネットワークトレーニングの方法。
2. 前記各レイヤから複数のサブ構造をサンプリングするステップでは、ベルヌーイサンプリング方法を使用してサブ構造を順次にサンプリングし、且つ前記各レイヤの各サブ構造がサンプリングされる確率は均等であることを特徴とする、
   請求項１に記載のハイパーネットワークトレーニングの方法。
3. 前記トレーニング用マルチパスニューラルサブネットワークをトレーニングすることは、
   トレーニングセットの第１の数のトレーニングサンプルを取得することと、
   前記トレーニングサンプルを前記トレーニング用マルチパスニューラルサブネットワークに順次に入力して、前記第１の数のトレーニングサンプルがすべて使用されるまで前記トレーニング用マルチパスニューラルサブネットワークをトレーニングすることとを含むことを特徴とする、
   請求項１に記載のハイパーネットワークトレーニングの方法。
4. 前記方法は、
   前記ターゲットハイパーネットワークに基づいて新たに取得された複数のトレーニング用マルチパスニューラルサブネットワークを評価して、評価結果を取得することと、
   前記評価結果に従って、設定条件を満たすトレーニング用マルチパスニューラルサブネットワークを決定し、前記トレーニング用マルチパスニューラルサブネットワークをターゲットシナリオに適用することとをさらに含むことを特徴とする、
   請求項１に記載のハイパーネットワークトレーニングの方法。
5. 前記ターゲットハイパーネットワークに基づいて新たに取得された複数のトレーニング用マルチパスニューラルサブネットワークを評価して、評価結果を取得することは、
   前記ターゲットハイパーネットワークに基づいて、複数のトレーニング用マルチパスニューラルサブネットワークを取得することと、
   前記ターゲットハイパーネットワーク内の各サブ構造の重みパラメータを、前記トレーニング用マルチパスニューラルサブネットワーク内の対応するサブ構造に共有することと、
   前記複数のトレーニング用マルチパスニューラルサブネットワークを評価して、各トレーニング用マルチパスニューラルサブネットワークの評価結果を取得することとを含むことを特徴とする、
   請求項４に記載のハイパーネットワークトレーニングの方法。
6. 前記ターゲットシナリオは、画像の分類、ターゲットの検出、セマンティックセグメンテーション、テキストから音声への変換、自然言語の翻訳、音声の強調のうちの少なくとも１つを含むことを特徴とする、
   請求項４に記載のハイパーネットワークトレーニングの方法。
7. ハイパーネットワークトレーニング装置であって、
   前記装置は、
   事前に構築された初期ハイパーネットワークに基づいてトレーニング用マルチパスニューラルサブネットワークを取得するように構成されるサブネットワーク取得モジュールと、
   前記トレーニング用マルチパスニューラルサブネットワークをトレーニングして、各トレーニング用マルチパスニューラルサブネットワークにおける各サブ構造の重みパラメータを更新するように構成されるサブネットワークトレーニングモジュールと、
   前記トレーニング用マルチパスニューラルサブネットワーク内の各サブ構造の重みパラメータを前記初期ハイパーネットワークに同期するように構成される重みパラメータ同期モジュールと、
   前記初期ハイパーネットワークが収束するかどうかを判断し、前記初期ハイパーネットワークが収束しない場合、前記サブネットワーク取得モジュールをトリガーし、前記初期ハイパーネットワークが収束する場合、トレーニングを終了し、ターゲットハイパーネットワークを取得するように構成されるハイパーネットワーク取得モジュールとを含み、
   前記サブネットワーク取得モジュールは、
   事前に構築されたハイパーネットワークの各レイヤについて、前記各レイヤから複数のサブ構造をサンプリングし、前記複数のサブ構造の出力結果を加算するために使用される出力端を追加して、前記複数のサブ構造および前記出力端を含むサブ構造ユニットを取得するように構成されるサブ構造取得ユニットと、
   前記各レイヤの順序に応じて各サブ構造ユニットを直列に接続して、初期トレーニング用マルチパスニューラルサブネットワークを取得するように構成されるサブ構造直列ユニットと、
   前記初期ハイパーネットワークおよび初期トレーニング用マルチパスニューラルサブネットワークの同じサブ構造に対して、パラメータ共有を実行して、最終的なトレーニング用マルチパスニューラルサブネットワークを取得するように構成されるパラメータ共有ユニットとを含むことを特徴とする、
   ハイパーネットワークトレーニング装置。
8. 前記サブ構造取得ユニットは、ベルヌーイサンプリング方法を使用してサブ構造を順次にサンプリングするように構成され、前記各レイヤの各サブ構造がサンプリングされる確率は均等であることを特徴とする、
   請求項７に記載のハイパーネットワークトレーニング装置。
9. 前記サブネットワークトレーニングモジュールは、
   トレーニングセットの第１の数のトレーニングサンプルを取得するように構成されるトレーニングサンプル取得ユニットと、
   前記トレーニングサンプルを前記トレーニング用マルチパスニューラルサブネットワークに順次に入力して、前記第１の数のトレーニングサンプルがすべて使用されるまで前記トレーニング用マルチパスニューラルサブネットワークをトレーニングするように構成されるサブネットワークトレーニングユニットとを含むことを特徴とする、
   請求項７に記載のハイパーネットワークトレーニング装置。
10. 前記装置は、さらに、
    前記ターゲットハイパーネットワークに基づいて新たに取得された複数のトレーニング用マルチパスニューラルサブネットワークを評価して、評価結果を取得するように構成される評価結果取得モジュールと、
    前記評価結果に従って、設定条件を満たすトレーニング用マルチパスニューラルサブネットワークを決定し、前記トレーニング用マルチパスニューラルサブネットワークをターゲットシナリオに適用するように構成されるターゲットシナリオ決定モジュールとを含むことを特徴とする、
    請求項７に記載のハイパーネットワークトレーニング装置。
11. 前記評価結果取得モジュールは、
    前記ターゲットハイパーネットワークに基づいて、複数のトレーニング用マルチパスニューラルサブネットワークを取得するように構成されるサブネットワーク取得ユニットと、
    前記ターゲットハイパーネットワーク内の各サブ構造の重みパラメータを、前記トレーニング用マルチパスニューラルサブネットワーク内の対応するサブ構造に共有するように構成されるパラメータ共有ユニットと、
    前記複数のトレーニング用マルチパスニューラルサブネットワークに対して評価して、各トレーニング用マルチパスニューラルサブネットワークの評価結果を取得するように構成されるサブネットワーク評価ユニットとを含むことを特徴とする、
    請求項１０に記載のハイパーネットワークトレーニング装置。
12. 電子機器であって、
    プロセッサと、
    前記プロセッサによって実行可能な命令を記憶するように構成されるメモリとを含み、
    前記プロセッサは、前記メモリ内の実行可能な命令を実行して、請求項１ないし６のいずれか一項に記載の方法を実現するように構成されることを特徴とする、前記電子機器。
13. 実行可能な命令を記憶するように構成される読み取り可能な記憶媒体であって、
    前記実行可能な命令がプロセッサによって実行されると、請求項１ないし６のいずれか一項に記載の方法が実現されることを特徴とする、前記読み取り可能な記憶媒体。

Images