JP7420957B2 - 深層学習を用いて画像類似度指標を展開し使用するための方法およびデバイス - Google Patents

Description

本発明は、深層学習を用いて２つのＨＤＲ効果コーティング画像間の画像類似度指標を展開し使用するためのコンピュータ実施方法およびデバイスに関する。

今日、色の探索および検索方法には、たとえば、粗さ、閃光面積、閃光強さ、閃光グレード、および／または閃光色バリエーション／分布のような追加の特徴が、色情報に加えて、特定の標的色／標的コーティングのための最適なソリューションを発見するための副条件として使用される。これらの追加の特徴は、色の質感の外観の様々な視覚的特性の指標である。

これらの追加の特徴は、通常、たとえば、Ｘｒｉｔｅ ＭＡ－Ｔ６（Ｒ）、ＭＡ－Ｔ１２（Ｒ）、またはＢｙｋ ｍａｃ ｉ（Ｒ）などの今日の光分光計機器によってキャプチャされた標的コーティングの画像生データから派生する。画像生データは、画像処理アルゴリズムによって処理される。これらのアルゴリズムの出力として、質感特徴、つまり、標的コーティングの質感の光学的特性を表すと考えられる質感値が取得される。これらの質感値は、知られている業界規格に従って分類される。

複雑なコーティング混合物の性質により、許容可能なマッチング配合および／または着色を配合、識別、および／または探索することが困難な場合がある。理想的には、人間は、複雑なコーティング混合物を見て、コーティング混合物内の適切な顔料を決定することができる。しかしながら、実際には、コーティング混合物における顔料は、マッチングコーティングを作成するために利用されるペイントシステムのトナーセットで容易に入手できない場合がある。したがって、カラーマッチングの熟練者は、ペイントシステムが、適切なオフセットを含んでいるか否かを判定する必要があり、含んでいると判定すると、オリジナルの着色と同一にマッチしないことを前提として、オフセットに対処するために行う必要がある追加の変更を決定する必要がある。

カラーコーティングの反射率（スペクトルデータ）および質感（画像データ）は、いくつかのジオメトリから測定される。測色データは、スペクトルデータから派生し、質感特徴は、画像データから派生する。カメラおよび／または分光計を使用し、任意に標的コーティングの顕微鏡評価と組み合わされた、知られている技法は、一般に、新しい効果の着色または複雑な混合物に効率的に対処するために適切に定義されておらず、主に標的コーティングの個別の評価、つまり、個々のケースからの分析に焦点を当てており、これは、新しい未知の標的コーティングがすべての分析工程を経る必要があるため、非常に時間のかかる方法である。したがって、そのような時間のかかる方法は、マッチング調合の提供と組み合わされた標的コーティングの時間効率のよい分析を必要とするアプリケーションの問題に十分に対処できない可能性がある。

様々な質感を表すペイントされた、または仮想的なサンプルを使用し、それらを未知の標的コーティングと比較する、さらに別のストラテジがある。しかしながら、そのような技法は、しばしばユーザの介入をかなり必要とするため、主観的であり、一貫性のない結果を生み出す可能性がある。

既存の色の、それぞれの調合を用いた色測定値は、配合データベースに格納される。色探索／検索方法は、多くの場合、そのようなデータベースにおける探索によって開始される。

色に関する測定値が近い調合が、仮マッチング結果／調合として選択され、測色データおよび質感特徴データを入力として使用するランク付け関数によって与えられる特定の順序で、ユーザに表示される。このランク付け関数の目的は、全体的な外観に関する最良の配合が、結果リストの先頭にあることである。

複数の視野角から許容可能なマッチ品質を、スペクトルデータだけで提供しているが、多くの場合、質感および閃光偏差により、全体的な外観が許容できなくなる。従来技術は、Ｂｙｋ－Ｇａｒｄｎｅｒ社によって導入されたように、白黒画像機能を備えた分光光度計を使用して、質感値Ｇｄｉｆｆ（拡散粒状性または粗さ）、Ｓｉ（閃光強度）、およびＳａ（閃光面積）を計算する。これは、標的コーティングの質感を特徴付けるための優れた第一歩であったが、標的コーティングの全体的な外観を識別する能力は限られていた。最近では、Ｘ－Ｒｉｔｅによる分光光度計で、カラー画像を入手できる。特許「ＰＩＧＭＥＮＴ ＩＤＥＮＴＩＦＩＣＡＴＩＯＮ ＯＦ ＣＯＭＰＬＥＸ ＣＯＡＴＩＮＧ ＭＩＸＴＵＲＥＳ ＷＩＴＨ ＳＰＡＲＫＬＥ ＣＯＬＯＲ」（米国特許出願公開第２０１７／０２００２８８Ａ１号）は、閃光色の分布を判定するために、色相分析を追加することにより、この技法を改良した。この進歩は、色検索のパフォーマンスを向上させるが、埋め込まれたすべての画像および効果特徴に対して、画像からの制限された特徴セットしか利用していない。

米国特許出願公開第２０１７／０２００２８８Ａ１号

未知の標的コーティングを測定でき、標的コーティングの測定データに基づいて、データベース内の１つまたは複数の最良のマッチングコーティング調合、つまり、１つまたは複数の仮マッチング調合についてデータベースを探索でき、深層学習技法を使用して、一方の側の１つまたは複数の最良なマッチングコーティング調合の画像と、他方の側の標的コーティングの画像との間の画像類似度指標を展開し使用することにより、探索を絞り込むことができる、方法およびデバイスを有することが望ましいであろう。しかしながら、現在のところ、知られているシステムは、スペクトル特徴や質感特徴など、標的コーティングの知られている（つまり、測定可能な）特徴を使用することしかできず、一般に、未知の標的コーティングのマッチングに必要な隠れた特徴を考慮することを支援できない。

上述した目的は、それぞれの独立請求項の特徴を有する方法およびデバイスによって解決される。さらなる実施形態は、以下の説明およびそれぞれの従属請求項によって提示される。

本開示は、スペクトル画像セットおよびＨＤＲ画像セットを有する配合データベースを使用して、探索／検索アプリケーションのための効果コーティングのカラーマッチ許容率を向上するためのコンピュータ実施方法を提案する。

本開示は、コンピュータ実施方法に関し、この方法は、少なくとも以下の工程、すなわち、
ａ）少なくとも１つの測定デバイスを使用して、少なくとも１つの測定ジオメトリの各々について、少なくとも１つのトレーニング標的コーティングの色値と、デジタル画像と、任意で質感値とを取得する工程と、
ｂ）コーティング組成のための調合と、少なくとも１つの測定ジオメトリの各々について、相互に関連付けられた色値（スペクトルデータ）と、相互に関連付けられたデジタル画像（たとえば、ＨＤＲ画像）と、任意で、相互に関連付けられた質感値とを含むデータベースを提供する工程と、
ｃ）プロセッサを使用して、データベースから、各トレーニング標的コーティングについて、それぞれのトレーニング標的コーティングについて取得された色値および任意で質感値に基づいて、複数の仮マッチング調合のリストを検索する工程と、
ｄ）少なくとも１つのトレーニング標的コーティングのデジタル画像と、仮マッチング調合に相互に関連付けられ、データベースから検索されたデジタル画像との目視検査を使用して、複数の仮マッチング調合のリストを２つのサブリストに分割する工程であって、第１のサブリストは、複数の仮マッチング調合の、視覚的に良好なマッチング調合を含み、第２のサブリストは、複数の仮マッチング調合の、視覚的に劣悪なマッチング調合を含む、分割する工程と、
ｅ）プロセッサを使用して、各トレーニング標的コーティングについて、複数のトリプレットを作成する工程であって、各トリプレットは、少なくとも１つの測定ジオメトリのうちの１つの測定ジオメトリについて、それぞれのトレーニング標的コーティングのデジタル画像と、第１のサブリストの視覚的に良好なマッチング調合と相互に関連付けられた少なくとも１つの測定ジオメトリのうちの１つの測定ジオメトリについて、データベースから検索されたデジタル画像と、第２のサブリストの視覚的に劣悪なマッチング調合と相互に関連付けられた少なくとも１つの測定ジオメトリのうちの１つの測定ジオメトリについて、データベースから検索されたデジタル画像とを含む、作成する工程と、
ｆ）作成されたトリプレットを、次々に、畳込ニューラルネットワークにそれぞれの入力として提供することにより、畳込ニューラルネットワークをトレーニングし、少なくとも１つのトレーニング標的コーティングへの類似性距離を、画像類似度指標として定義するｎ次元コスト関数を最適化する工程であって、このコスト関数は、それぞれの視覚的に良好なマッチング調合について最小化され、それぞれの視覚的に劣悪なマッチング調合について最大化される、最適化する工程と、
ｇ）標的コーティングのデジタル画像に関して、コーティング組成のデジタル画像をランク付けするために、トレーニング済のニューラルネットワークをプロセッサにおいて利用可能にする工程とを含む。

「調合」および「配合」という用語は、本明細書では同義的に使用される。「連動して」とは、それぞれの構成要素が、互いにデータを交換できるように、それぞれの構成要素が、互いに通信状態にあることを意味する。「関連付けられた」および「相互に関連付けられた」という用語は、同義的に使用される。両用語は、互いに関連付けられた／相互に関連付けられた構成要素の一体性を示す。

色値（スペクトルデータ）は、少なくとも１つのコーティング、たとえば、少なくとも１つのトレーニング標的コーティングのスペクトル曲線を分析することによって、少なくとも１つの測定デバイスを使用して取得され、スペクトル曲線は、それぞれのコーティング、たとえば、サンプル基板の表面に適用されるトレーニング標的コーティングの表面に関して、異なる測定ジオメトリにおいて測定される。一般に、スペクトル測定ジオメトリは、照明方向／角度と観測方向／角度によって定義される。典型的なスペクトル測定ジオメトリは、コーティングの表面法線に対して測定された４５°における固定照明角度と、鏡面角度、つまり、鏡面方向に対してそれぞれ測定された－１５°、１５°、２５°、４５°、７５°、１１０°の視野角であり、鏡面方向は、それぞれの光線の入射方向としてのコーティング表面の法線と同じ角度をなす出射方向として定義される。

画像および／または質感値は、画像キャプチャデバイスを使用して、各々、それぞれのコーティング、たとえば、それぞれのトレーニング標的コーティングの表面に関して異なる測定ジオメトリにおいて取得された、複数のデジタル画像、特にＨＤＲカラー画像をキャプチャすることによって取得される。典型的な画像ベースの質感測定ジオメトリは、トレーニング標的コーティングの表面のノミナルに対して（つまり、法線に対して）１５°における画像キャプチャデバイス、つまり、カメラの固定位置である。照明角度は、Ｘ－Ｒｉｔｅ ＭＡ－Ｔ６（Ｒ）で定義されているようなｒ１５ａｓ－１５、ｒ１５ａｓ１５、ｒ１５ａｓ－４５、ｒ１５ａｓ４５、ｒ１５ａｓ８０、および半拡散として選択される。本明細書で「半拡散」とは、測定デバイスおよびその空間寸法に関して「可能な限り拡散」することを意味する。幾何学的表示に関しては、少なくとも１つの測定デバイス、たとえばカメラの位置と、照明の位置とが逆になる。つまり、本明細書では、鏡面角度は、カメラの固定位置によって定義される。具体的には、これは、たとえば「ｒ１５ａｓ－１５」という指定は、「逆」を「ｒ」で、カメラの固定位置を「１５」で、すなわち、トレーニング標的コーティングの表面のノミナル（つまり、法線）に対する１５°の角度で、「鏡面」を「ａｓ」で、鏡面角度に対して測定された照明角度を「－１５」で表すことを意味する。

質感値／パラメータは、特に、標的コーティングの閃光グレードＳＧ、閃光色バリエーションＣＶ、および粗さＣ、または粒状性Ｇ、閃光強度Ｓｉ、および閃光面積Ｓａである。

少なくとも１つの測定デバイスは、たとえば、Ｘｒｉｔｅ ＭＡ－Ｔ６（Ｒ）、Ｘｒｉｔｅ ＭＡ－Ｔ１２（Ｒ）、またはＢｙｋ ｍａｃ ｉ（Ｒ）のような光分光計として選択され得る。そのような光分光計は、たとえば顕微鏡画像のような、さらに多くの画像データを取得するために、顕微鏡などのさらに適切なデバイスと組み合わせることもできる。

このデータベースは、コーティング組成のための調合と、相互に関連付けられた測色データとを含む配合データベースである。相互に関連付けられた測色データは、各調合について、それぞれの調合に基づいて、（サンプル基板の表面に適用される）サンプルコーティングのスペクトルデータ、つまり、色値、デジタル画像、および任意で質感値を含む。

提案された方法は、手作りの特徴に基づくモデルよりも、高い学習能力を有するモデルを提供する。この方法は、例による探索方法において標的画像に類似する画像を効率的に発見することを可能にする効果的な画像類似度指標を判定する。結果として得られる画像類似度指標は、人間の知覚と相関するはずである。この方法により、深層学習モデルを使用して、きめの細かい画像類似性を学習できる。

仮マッチング調合は、データベースの複数の調合の中から、第１のマッチング指標に基づいて選択される。第１のマッチング指標は、標的コーティング（たとえば、トレーニング標的コーティング）と、上述したスペクトル測定ジオメトリ、たとえば、ＣＩＥ ｄＥ^＊のすべてまたは少なくとも一部についてのそれぞれのサンプルコーティングとの間の色差指標によって定義／計算され、任意に、少なくとも１つの質感差指標、たとえば、Ｂｙｋ－Ｇａｒｄｎｅｒ［「Ｂｅｕｒｔｅｉｌｕｎｇ ｖｏｎ Ｅｆｆｅｋｔｌａｃｋｉｅｒｕｎｇｅｎ，Ｄｅｎ Ｇｅｓａｍｔｆａｒｂｅｉｎｄｒｕｃｋ ｏｂｊｅｋｔｉｖ ｍｅｓｓｅｎ」，Ｂｙｋ－Ｇａｒｄｎｅｒ ＧｍｂＨ］によって定義されるような質感差ｄＳｉ，ｄＳａ，ｄＧのうちの少なくとも１つによって補足される。色差指標と、少なくとも１つの質感差指標とは、任意で、加重合計によって合計することができる。色差指標は、３つの色値、すなわち、黒（０）から白（１００）までの明度に関するＬ^＊と、緑（－）から赤（＋）までの明度に関するａ^＊と、青（－）から黄（＋）までの明度に関するｂ^＊とを用いて、

のように記載できる。このように、色および任意で質感にも関して、測定値が近い調合が、仮マッチング調合として選択され、測色データおよび任意で質感特徴データを入力として用いて、ランク付け関数によって与えられた特定の順序のリストで、ユーザへ表示される。ランク付け関数は、スペクトル値および任意で質感値に関する最良の配合が、リストの先頭になるように選択される。

さらに、データベースは、複数のデジタル画像、特にＨＤＲカラー画像を含み、各々の画像は、それぞれの調合に対応するそれぞれのコーティングの表面に関して、異なる測定ジオメトリで取得される。

「～と通信する」とは、各構成要素間に通信接続があることを示す。

配合データベースから、各トレーニング標的コーティングについて、それぞれのトレーニング標的コーティングについて取得された色値および任意で質感値にも基づいて、複数の仮マッチング調合のリストを検索した後、それぞれのトレーニング標的コーティングのデジタル画像と、仮マッチング調合に相互に関連付けられ、データベースから検索されたデジタル画像との目視検査を使用して、それぞれのトレーニング標的コーティングの、複数の仮マッチング調合のリストが２つのサブリストに分割され、第１のサブリストは、複数の仮マッチング調合の、視覚的に良好な（つまり、相互に関連付けられたデジタル画像は、トレーニング標的コーティングのそれぞれのデジタル画像に視覚的に近い）マッチング調合を含み、第２のサブリストは、複数の仮マッチング調合の、視覚的に劣悪な（つまり、相互に関連付けられたデジタル画像は、トレーニング標的コーティングのそれぞれのデジタル画像に視覚的にさほど近くない）マッチング調合を含む。

１つの態様によれば、５００から１０００の、特に１０００の異なるトレーニング標的コーティングが選択され、各トレーニング標的コーティングについて、Ｎ個の仮マッチング調合が選択される。Ｎは整数、特に自然数である。これは、畳込ニューラルネットワーク（ＣＮＮ）は、約５００～１０００のパネルのトレーニング標的画像セットでトレーニングされることを意味する。各トレーニング標的画像について、複数のＮ個の仮マッチング調合のリストが、配合データベースから検索される。このリストは、たとえば２０の仮マッチング調合、つまりＮ＝２０、を含む。一般に、それらの２０の仮マッチング調合は、トレーニング標的コーティングのそれぞれの標的画像に対して許容可能なマッチおよび類似の着色を有する２０の最良のマッチング調合である。複数の仮マッチング調合は、各仮マッチング調合について、ｄＥなどの色ベースの距離、および任意に、ｄＳ、ｄＧ、ｄＳａ、ｄＳｉなどの質感ベースの距離、または、それぞれのトレーニング標的コーティングまでの色および質感ベースの距離の和、たとえばΣ（ｄＥ，ｄＳ，ｄＧ，ｄＳａ，ｄＳｉ）が、第１のしきい値よりも小さくなるように選択され得る。

その後、それぞれのトレーニング標的コーティングのそれぞれの標的画像のリストは、第１のサブリストおよび第２のサブリストに細分化され、第１のサブリストは、複数の仮マッチング調合の、視覚的に良好な（つまり、相互に関連付けられたデジタル画像は、トレーニング標的コーティングのそれぞれのデジタル画像に視覚的に近い）マッチング調合を含み、第２のサブリストは、複数の仮マッチング調合の、視覚的に劣悪な（つまり、相互に関連付けられたデジタル画像は、トレーニング標的コーティングのそれぞれのデジタル画像に視覚的にさほど近くない）マッチング調合を含む。その後、複数のトリプレットが作成され、各トリプレットは、それぞれのトレーニング標的コーティングのそれぞれの標的画像と、第１のサブリストのデジタル画像と、第２のサブリストのデジタル画像とを含む。標的画像ごとに、第１のサブリストおよび第２のサブリストの画像をランダムに組み合わせ、それぞれの標的画像と融合して、トリプレットを形成することができる。

モデル、つまり、ニューラルネットワークは、画像類似性（完全な画像）と効果顔料類似性（黒い背景のみを使って効果顔料のみを示す画像）との両方に対して開発された。効果顔料は、画像セグメンテーション方法を使用して識別された。可能なセグメンテーション技法は、しきい値方法、エッジベースの方法、クラスタリング方法、ヒストグラムベースの方法、ニューラルネットワークベースの方法、ハイブリッド方法などを含む。

各トレーニング標的コーティングの第１のサブリストＤ_ｉ＋および第２のサブリストＤ_ｉ－を使用して、複数のトリプレットが作成され、各トリプレットは、少なくとも１つの測定ジオメトリのうちの１つの測定ジオメトリのために、それぞれのトレーニング標的コーティングＣ_ｉ（ここでｉは、ｉ＞０である自然整数）のデジタル画像ｄ_ｉと、第１のサブリストＤ_ｉ＋の視覚的に良好なマッチング調合と相互に関連付けられた少なくとも１つの測定ジオメトリのうちの１つの測定ジオメトリのために、データベースから検索されたデジタル画像ｄ_ｉ＋と、第２のサブリストＤ_ｉ－の視覚的に劣悪なマッチング調合と相互に関連付けられた少なくとも１つの測定ジオメトリのうちの１つの測定ジオメトリのために、データベースから検索されたデジタル画像ｄ_ｉ－とを含む。画像類似性関係は、作成されたトリプレットにおいて、相対的な類似性順序によって特徴付けられる。つまり、画像類似性関係は、作成されたトリプレットでラベル付けされる。作成されたトリプレット（ｄ_ｉ，ｄ_ｉ＋，ｄ_ｉ－）は、畳込ニューラルネットワークに供給される。つまり、畳込ニューラルネットワークは、作成されたトリプレット（ｄ_ｉ，ｄ_ｉ＋，ｄ_ｉ－）を入力として受け取る。トリプレット（ｄ_ｉ，ｄ_ｉ＋，ｄ_ｉ－）は、含まれるそれぞれのデジタル画像ｄ_ｉ、ｄ_ｉ＋、ｄ_ｉ－について、相対的な類似性ランク付け順序を特徴付ける。利用可能なすべてのトレーニング標的コーティングＣ_ｉについて、（ｎが、自然整数である場合、ｎ次元パラメータ／特徴空間において）より小さな距離Ｆを、より類似した画像ペアに割り当てる、つまり、Ｆ（ｆ（ｄ_ｉ），ｆ（ｄ_ｉ＋））＜Ｆ（ｆ（ｄ_ｉ），ｆ（ｄ_ｉ－））となる、ｎ次元埋込関数ｆを学習することが目的である。これは、（それぞれの画像のすべての抽出可能な特徴、測定可能な特徴、および隠れた特徴を考慮することによって）少なくとも１つのトレーニング標的コーティングへの類似性距離を定義するｎ次元コスト関数Ｆが最適化され、これによって、コスト関数Ｆは、それぞれの視覚的に良好なマッチング調合について最小化され、それぞれの視覚的に劣悪なマッチング調合について最大化されることを意味する。ｎ次元埋込関数ｆは、各画像ｄ_ｉ、ｄ_ｉ＋、ｄ_ｉ－を、ｎ次元パラメータ／特徴空間Ｒ^ｎにおけるそれぞれの点、つまり、特徴マップにマッピングし、ここで、各次元は、１つの特徴を表し、各特徴は、それぞれの係数によって重み付けされ得、Ｆは、この空間における距離であることが理解される。２つの画像の距離Ｆが短いほど、２つの画像は類似している。提案された方法の目標は、より小さい距離Ｆを、より類似した画像ペアに割り当てる、つまり、埋込関数ｆにおいて、可能な限り多くの特徴、視覚的外観に対する影響を有する測定可能な隠れた特徴を考慮する、そのような埋込関数ｆを学習することである。

深層ニューラルネットワークｆは、画像ｄ_ｉ：ｆ（ｄ_ｉ）∈Ｒ^ｎの埋込を計算する。ここで、ｎは、特徴埋込の次元である。

本発明によれば、深層学習用の畳込ニューラルネットワークを備えた逆画像探索アルゴリズムを使用して、２つのＨＤＲ効果コーティング画像、つまり、標的コーティングとサンプルコーティングとをそれぞれ相互に関連付ける２つのデジタル画像間の類似性を比較することが提案される。

畳込ニューラルネットワークは、以前に開示された画像分類のパラメトリック方法に比べて以下のような利点を有する。
１．現在の業界規格の色および効果のパラメータは、視覚的評価を完全には説明していない。
２．畳込ニューラルネットワークは、複数レベルの隠れた画像の特徴を自動的かつ適応的に学習し、定義された色と効果のパラメータに制限されない。
３．畳込ニューラルネットワークは、利用可能な大量かつ増大する配合および測定データから学習を続けることができる。

畳込ニューラルネットワークは、標的コーティングの埋込画像と効果顔料の特徴を計算するためにトレーニングされ、類似度測定に基づいて、探索／検索アルゴリズムで実施される。

トレーニング済のニューラルネットワークｆは、標的コーティングのデジタル画像に関して、コーティング組成（つまり、サンプルコーティング）のデジタル画像をランク付けするために、プロセッサにおいて最終的に利用可能になる。

提案された方法の１つの実施形態によれば、方法は、工程ｅ．において、さらなる工程ｅｅ．を含み、これは、作成されたトリプレットのうちの少なくとも１つのトリプレットについて実行され、それぞれのトレーニング標的コーティングのデジタル画像を、中心画像回転軸の周りに、特定の角度だけ回転させ、それぞれの視覚的に良好なマッチング調合と相互に関連付けられたデータベースから検索されたデジタル画像を、中心画像回転軸の周りに、特定の角度だけ回転させ、それぞれの視覚的に劣悪なマッチング調合と相互に関連付けられたデータベースから検索されたデジタル画像を、中心画像回転軸の周りに、特定の角度だけ回転させ、それによって、それぞれのトレーニング標的コーティングについて、少なくとも１つのトリプレットに基づいて、少なくとも１つのさらなるトリプレットが対応して取得される。

さらに別の実施形態によれば、工程ｅｅ．は、特定の角度を変えて、何度か繰り返される。

それによって、特定の角度は、以下、すなわち、０°，３０°，６０°，９０°，１２０°，１５０°，１８０°，２１０°，２４０°，２７０°，３００°を含む群から選択される。

提案された方法の別の実施形態によれば、方法は、工程ｅ．において、さらなる工程ｅｅ．を含み、これは、作成されたトリプレットのうちの少なくとも１つのトリプレットについて実行され、それぞれのトレーニング標的コーティングのデジタル画像を、多数のパッチに分割し、それぞれの視覚的に良好なマッチング調合と相互に関連付けられたデータベースから検索されたデジタル画像を、同数の対応するパッチに分割し、それぞれの視覚的に劣悪なマッチング調合と相互に関連付けられたデータベースから検索されたデジタル画像を、同数の対応するパッチに分割し、それによって、それぞれのトレーニング標的コーティングについて、少なくとも１つのトリプレットに基づいて、パッチの数に対応するさらなるトリプレットが対応して取得される。

提案された方法のさらに別の実施形態によれば、工程ｆ．は、畳込ニューラルネットワークをトレーニングするためのｎ次元コスト関数Ｆを設定する工程を含み、これによって、対応するベクトルｆ（ｂ）によって表され、０≦ｉ≦ｎである場合、ｎ個のパラメータａ_ｉによって定義される、それぞれの仮マッチング調合のデジタル画像ｂに適用されるｎ次元埋込関数ｆが、スカラｓ（ｂ）（つまり、距離値）にマッピングされ、ベクトルｆ（ｂ）の各成分ｆ_ｉ（つまり、各次元）は、それぞれの仮マッチング調合の特徴の値を含み、各パラメータａ_ｉは、それぞれの特徴に対する重みを定義するようになる。

別の態様によれば、工程ｅ．において、デジタル画像は、効果顔料を識別するために画像セグメンテーション方法を使用して前処理され、デジタル画像は、黒い背景のみを使って効果顔料を画像化する。

本開示はまた、コンピュータ実施方法にも関し、この方法は、少なくとも以下の工程、すなわち、
Ａ．少なくとも１つの測定デバイスを使用して、少なくとも１つの測定ジオメトリについて、標的コーティングの色値と、デジタル画像と、任意で質感値とを取得する工程と、
Ｂ．コーティング組成のための調合と、少なくとも１つの測定ジオメトリについて、相互に関連付けられた色値（たとえば、スペクトルデータ）と、相互に関連付けられたデジタル画像（たとえば、ＨＤＲ画像）と、任意で、相互に関連付けられた質感値（たとえば、粒状性、粒度、閃光強度、閃光面積、・・・）とを含むデータベースを提供する工程と、
Ｃ．コンピュータに、トレーニング済の畳込ニューラルネットワークを提供する工程と、
Ｄ．データベースから、少なくとも１つの測定ジオメトリについて、標的コーティングについて取得された色値および任意で質感値に基づいて、１つまたは複数の仮マッチング調合を選択する工程と、
Ｅ．データベースから、１つまたは複数の仮マッチング調合の各々について、および、少なくとも１つの測定ジオメトリについて、それぞれの仮マッチング調合と相互に関連付けられたデジタル画像を検索する工程と、
Ｆ．１つまたは複数の仮マッチング調合の各々について、標的コーティングのために、および、少なくとも１つの測定ジオメトリのために取得されたデジタル画像とともに、それぞれの仮マッチング調合と相互に関連付けられた、それぞれの検索されたデジタル画像を、トレーニング済の畳込ニューラルネットワークへ提供（入力）する工程と、
Ｇ．１つまたは複数の仮マッチング調合の各々について、２つのデジタル画像、すなわち、それぞれの仮マッチング調合と相互に関連付けられた、それぞれの検索されたデジタル画像と、標的コーティングについて取得されたデジタル画像との間の埋込特徴層における類似性距離を計算するようにトレーニングされたトレーニング済のニューラルネットワークを使用して、標的コーティングと、それぞれの仮マッチング調合との間の類似性距離を判定する工程と、
Ｈ．コンピュータと連動している出力デバイスを使用して、１つまたは複数の仮マッチング調合について判定された類似性距離を、ユーザへ出力する工程とを含む。

１つの態様によれば、この方法は、コンピュータと通信接続しているディスプレイモニタのディスプレイインターフェースに、１つまたは複数の仮マッチング調合について判定された類似性距離を表示する工程をさらに含む。

提案された方法のさらなる実施形態によれば、１つまたは複数の仮マッチング調合について判定された類似性距離は、ランク付けリストの形態で表示され、類似性距離が短いほど、それぞれの仮マッチング調合の、標的コーティングとのマッチングが良好である。類似性距離が最も短い仮マッチング調合が、ランク付けリストの先頭に配置される。

本開示はまた、コンピュータを、トレーニング済の畳込ニューラルネットワークとともに使用して、サンプルコーティングのデジタル画像と、標的コーティングのデジタル画像との間の類似性をランク付けするためのコンピュータ実施方法にも関し、トレーニング済の畳込ニューラルネットワークは、２つのデジタル画像間の、トレーニング済の畳込ニューラルネットワークの埋込特徴層における類似性距離を計算するようにトレーニングされる。

トレーニング済の畳込ニューラルネットワークが提供される。つまり、本明細書に記載されたようにトレーニングされる。

本開示はまた、少なくとも
－ コーティング組成のための調合と、少なくとも１つの測定ジオメトリについて、相互に関連付けられた色値と、相互に関連付けられたデジタル画像と、任意で、相互に関連付けられた質感値とを含むデータベースと、
－ 少なくとも１つの測定デバイス、データベース、および畳込ニューラルネットワークと通信接続しており、少なくとも以下の工程、すなわち、
１．少なくとも１つの測定デバイスから、標的コーティングの色値、少なくとも１つのデジタル画像、および任意で質感値を受信する工程と、
２．畳込ニューラルネットワークをトレーニングするための上述した方法の工程ｃ．から工程ｇ．、および／または、トレーニング済のニューラルネットワークを使用するための上述した方法の工程Ｄ．から工程Ｈ．を実行する工程とを実行するようにプログラムされた、少なくとも１つのプロセッサとを備える、デバイスにも関する。

畳込ニューラルネットワークは、少なくとも１つのプロセッサにおいて実施され得るか、または、少なくとも１つのプロセッサと通信接続している別個のコンピューティングデバイスにインストールされ得る。「コンピュータ」、「プロセッサ」、および「コンピューティングデバイス」という用語は同義的に使用される。

本開示はさらに、少なくとも１つの測定ジオメトリの各々について、少なくとも１つの標的コーティングの色値、デジタル画像、および任意で質感値を提供するように構成された少なくとも１つの測定デバイスと、コーティング組成のための調合、少なくとも１つの測定ジオメトリについて、相互に関連付けられた色値、相互に関連付けられたデジタル画像、および任意で、相互に関連付けられた質感値を含むデータベースと、畳込ニューラルネットワークとそれぞれ通信接続している、少なくとも１つのプロセッサによって、コンピュータプログラムがロードされ、実行された場合、少なくとも以下の工程、すなわち、
１．測定デバイスから、少なくとも１つの測定ジオメトリについて、少なくとも１つの標的コーティングの色値、デジタル画像、および任意で質感値を受信する工程と、
２．畳込ニューラルネットワークをトレーニングするための上述した方法の工程ｃ．から工程ｇ．、および／または、トレーニング済のニューラルネットワークを使用するための上述した方法の工程Ｄ．から工程Ｈ．を実行する工程とを実行するように構成される、プログラムコードを備えたコンピュータプログラムを備えた、非一時的なコンピュータ可読媒体に関する。

提案された方法は、閃光色分布および／または閃光サイズ分布を使用するさらなる顔料識別方法に加えて、特に、それに続いて実行することができる。そのような方法は、たとえば、米国特許出願公開第２０１７／０２００２８８Ａ１号および欧州特許出願番号第１９１５４８９８．１号に記載されている。後者の出願の内容は、参照により本明細書に完全に含まれる。

最後に、（たとえば、ランク付けリストの先頭において）最良のマッチング調合が特定され、特定された最良のマッチング調合に基づいて、ペイント／コーティング組成を生成／混合するように構成された混合ユニットに転送される。混合ユニットは、標的コーティングの代わりに使用できるペイント／コーティング組成を生成する。混合ユニットは、提案されたデバイスの構成要素であり得る。

提案された方法で使用できる畳込ニューラルネットワークは、バックプロパゲーションと呼ばれる学習方法に基づく。畳込ニューラルネットワークのニューロンは層状に配置される。これらの層は、入力ニューロンを有する層（入力層）、出力ニューロンを有する層（出力層）、および１つまたは複数の内部層を含む。ニューラルネットワークの下流には、標的コーティングに関して、それぞれのサンプルコーティングについて判定／予測される、それぞれの類似性距離（類似度差）を出力するランク付け層がある。使用される畳込ニューラルネットワークは、バックプロパゲーションと呼ばれる学習方法に基づく。本明細書において、バックプロパゲーションは、エラーフィードバックによる教師あり学習方法の総称として理解する必要がある。たとえば、Ｑｕｉｃｋｐｒｏｐ、Ｒｅｓｉｌｉｅｎｔ Ｐｒｏｐａｇａｔｉｏｎ（ＲＰＲＯＰ）のように、様々なバックプロパゲーションアルゴリズムがある。この方法は、少なくとも３つの層、すなわち、入力ニューロンを有する第１の層、出力ニューロンを有する第ｎの層、および（ｎ－２）個の内部層、ここで、ｎは２より大きい自然数、を含むニューラルネットワークを使用する。「畳込ニューラルネットワーク」および「ニューラルネットワーク」という用語は、本明細書では同義的に使用される。

トレーニングデータとして、トレーニングフェーズにおいて、ニューラルネットワークのために使用される入力ニューロンは、サンプルコーティングとトレーニング標的コーティングとの画像のトリプレットであり、各サンプルコーティングは、トレーニング標的コーティングに関して、仮マッチング調合として、データベースから以前に識別された配合に基づく。各トリプレットは、トレーニング標的コーティングの標的画像ｄ_ｉと、（視覚的に）良好な仮マッチング調合のポジティブ画像ｄ_ｉ＋と、（視覚的に）劣悪な仮マッチング調合のネガティブ画像ｄ_ｉ－とを含む。トリプレット（ｄ_ｉ，ｄ_ｉ＋，ｄ_ｉ－）は、３つの画像の相対的な類似性関係を特徴付ける。

畳込ニューラルネットワークの内部層は、畳込層、最大プーリング層、ローカル正規化層、および全結合された密層のすべてまたはサブセットで構成される。畳込層は、別の層の画像または特徴マップを入力として受け取り、それをｐ個の学習可能なカーネルのセットで畳み込み、活性化関数を介してｐ個の特徴マップを生成する。畳込層は、ローカル特徴検出器のセットと見なすことができる。最大プーリング層は、畳込から、特徴の次元を削減する役割を果たす。ローカル正規化層は、ローカル近傍の特徴マップを正規化し、単位ノルムおよびゼロ平均を有する。これにより、照度およびコントラストの違いにロバストな特徴マップが得られる。積層された畳込層、最大プーリング層、およびローカル正規化層は、並進およびコントラストロバストなローカル特徴検出器として機能する。密層は、畳込層および最大プーリング層からの特徴マップをｎ次元特徴空間における点にマッピングする、ニューラルネットワークにおける標準的な全結合されたニューロンのセットであり、この点は、ニューラルネットワークによって定義され、サンプルコーティングのデジタル画像に適用されるｎ次元埋込関数ｆによって取得される。標的コーティングに関する類似性距離値、つまりコスト関数Ｆの値は、ｎ次元特徴空間における２つの点、つまり、標的コーティングに割り当てられた点と、それぞれのサンプルコーティングに割り当てられた点との間の距離である。

「コーティング組成および関連付けられた画像のための調合」とは、コーティング組成およびそれぞれのコーティングのキャプチャされた画像の調合を意味する。「１つまたは複数の仮マッチング調合に関連付けられた画像」とは、１つまたは複数の仮マッチング調合のそれぞれの（基板に適用された）コーティングのキャプチャした画像をそれぞれ意味する。

提案されたデバイスは、判定された類似性距離を出力するように構成された出力ユニットを備え得る。

提案されたデバイスは、特に、上述した方法の実施形態を実行するように構成される。

一般に、少なくとも（配合データベースとも呼ばれる）データベースおよび少なくとも１つのプロセッサは、それぞれの通信接続を介して互いにネットワーク化される。少なくとも１つの測定デバイスおよび畳込ニューラルネットワークが、別個の構成要素である（つまり、少なくとも１つのプロセッサにおいて実施されない）場合、デバイスの内部構成要素または外部構成要素に関わらず、データベースおよび少なくとも１つのプロセッサはまた、それぞれの通信接続を介してこれらの構成要素とネットワーク化されており、つまり、互いに通信している。異なる構成要素間の通信接続の各々は、それぞれ直接接続または間接接続であり得る。各通信接続は、ワイヤまたはワイヤレスの接続であり得る。適切な各通信技法が使用され得る。配合データベース、少なくとも１つのプロセッサは各々、互いに通信するための１つまたは複数の通信インターフェースを含み得る。そのような通信は、ワイヤデータ伝送プロトコル、たとえば、ファイバ分散データインターフェース（ＦＤＤＩ）、デジタル加入者線（ＤＳＬ）、イーサネット、非同期転送モード（ＡＴＭ）、または任意の他のワイヤ伝送プロトコルを使用して実行され得る。あるいは、通信は、汎用パケット無線サービス（ＧＰＲＳ）、ユニバーサル移動通信システム（ＵＭＴＳ）、符号分割多元接続（ＣＤＭＡ）、ロングタームエボリューション（ＬＴＥ）、ワイヤレスユニバーサルシリアルバス（ＵＳＢ）、および／または他のワイヤレスプロトコルのような様々なプロトコルのうちのいずれかを用いて、ワイヤレス通信ネットワークを経由する、ワイヤレスであり得る。それぞれの通信は、ワイヤレス通信とワイヤ通信との組合せであり得る。

プロセッサは、タッチスクリーン、オーディオ入力、移動入力、マウス、キーパッド入力、および／または同様のものなどの、１つまたは複数の入力デバイスを含むか、またはそれらと通信し得る。さらに、プロセッサは、オーディオ出力、ビデオ出力、スクリーン／ディスプレイ出力、および／または同様のものなどの、１つまたは複数の出力デバイスを含み得るか、またはそれらと通信し得る。

本発明の実施形態は、スタンドアローンユニットであり得るか、または、たとえばインターネットまたはイントラネットのようなネットワークを介して、たとえば、クラウドに配置された中央コンピュータと通信する１つまたは複数のリモート端末またはデバイスを含み得るコンピュータシステムとともに使用され得るか、またはこのコンピュータシステムに組み込まれ得る。したがって、本明細書に記載されるプロセッサおよび関連する構成要素は、ローカルコンピュータシステムまたはリモートコンピュータまたはオンラインシステムの一部またはそれらの組合せであり得る。本明細書に記載される配合データベースおよびソフトウェアは、コンピュータの内部メモリまたは非一時的なコンピュータ可読媒体に格納され得る。

本開示の範囲内で、データベースは、データ記憶ユニットの一部であり得るか、またはデータ記憶ユニット自体を表し得る。「データベース」と「データ記憶ユニット」という用語は同義的に使用される。

本発明は、以下の例においてさらに定義される。これらの例は、本発明の好ましい実施形態を示すことにより、説明のためにのみ与えられていると理解する必要がある。上記の議論および例から、当業者は、本発明の本質的な特徴を確認することができ、本発明の精神および範囲から逸脱することなく、本発明の様々な変更および変形を行って、本発明を様々な用途および条件に適合させることができる。

ニューラルネットワークをトレーニングするために提案された方法の実施形態の概略的なフロー図である。 提案されたトレーニング方法の実施形態に従ってトレーニングされた、トレーニング済のニューラルネットワークを使用するための提案された方法の実施形態の概略的なフロー図である。 提案されたトレーニング方法の実施形態に従って、ニューラルネットワークをトレーニングするための画像のトリプレットを示す図である。 提案されたデバイスの実施形態を概略的に示す図である。

図１は、ニューラルネットワーク１００をトレーニングするために提案された方法の実施形態のフロー図を概略的に示す。

各トレーニング標的コーティングＣ_ｉ、ここで１≦ｉ≦ｌ、について、配合データベースから、それぞれのトレーニング標的コーティングについて取得された色値および／または質感値に基づく複数の仮マッチング調合のリストを検索した後、それぞれのトレーニング標的コーティングの複数の仮マッチング調合のリストは、それぞれのトレーニング標的コーティングのデジタル画像ｄ_ｉと、仮マッチング調合に相互に関連付けられ、データベースから検索されたデジタル画像

ここで１≦ｋ≦ｍ、１≦ｊ≦ｐ、との目視検査を使用して、２つのサブリストＤ_ｉ＋、Ｄ_ｉ－に分割され、それぞれのトレーニング標的コーティングに関して、第１のサブリストＤ_ｉ＋は、複数の仮マッチング調合のうち視覚的に良好なマッチング調合を含み、第２のサブリストＤ_ｉ－は、複数の仮マッチング調合のうち視覚的に劣悪なマッチング調合を含む。

１つの態様によれば、５００から１０００の、特に１０００の異なるトレーニング標的コーティングＣ_ｉ、つまり、５００≦ｉ≦１０００が選択され、各トレーニング標的コーティングＣ_ｉについて、Ｎ個の仮マッチング調合が選択され、Ｎは整数であり、ｍ＋ｐ＝Ｎである。これは、畳込ニューラルネットワーク１００が、約５００から１０００のパネルの標的画像セットｉでトレーニングされることを意味する。各標的画像ｄ_ｉについて、複数のＮ個の仮マッチング調合のリストが、配合データベースから検索される。リストは、たとえば、２０の仮マッチング調合を含み、つまりＮ＝２０である。一般に、これらの２０の仮マッチング調合は、色値および任意で質感値を考慮して、それぞれのトレーニング標的コーティングに対して許容可能なマッチおよび同様の着色を有する２０の最良のマッチング調合である。複数の仮マッチング調合は、各仮マッチング調合について、それぞれのトレーニング標的コーティングへのｄＥなどの色ベースの距離、およびｄＳ、ｄＧ、ｄＳａ、ｄＳｉなどの任意で質感ベースの距離、またはΣ（ｄＥ，ｄＳ，ｄＧ，ｄＳａ，ｄＳｉ）などの色および質感ベースの距離の合計が、第１のしきい値よりも小さくなるように選択され得る。

それぞれの標的画像ｄ_ｉを含むそれぞれのトレーニング標的コーティングＣ_ｉのリストは、第１のサブリストＤ_ｉ＋および第２のサブリストＤ_ｉ－に細分化され、ここで、第１のサブリストＤ_ｉ＋は、複数の仮マッチング調合のうちのｍ個の視覚的に良好なマッチング調合を含み、そのデジタル画像１１０は、

として指定され、第２のサブリストＤ_ｉ－は、複数の仮マッチング調合のうちのｐ個の視覚的に劣悪なマッチング調合を含み、そのデジタル画像１１０は、

として指定される。その後、複数のトリプレット１２０が、工程１１１において作成され、各トリプレット

は、それぞれの標的画像ｄ_ｉ、第１のサブリストＤ_ｉ＋のデジタル画像

、および第２のサブリストＤ_ｉ－のデジタル画像

を含む。各標的画像ｄ_ｉについて、第１のサブリストＤ_ｉ＋および第２のサブリストＤ_ｉ－の画像

および

をランダムに組み合わせて、それぞれの標的画像ｄ_ｉと融合し、トリプレット

を形成できる。好ましくは、トリプレットに結合されるそれぞれの３つのデジタル画像

は、それぞれ同じ測定ジオメトリを使用してキャプチャされる。

モデル、つまりニューラルネットワークは、画像類似性（完全な画像）と、効果顔料類似性（黒い背景のみを使った効果顔料）との両方に対して開発された。効果顔料は、画像セグメンテーション方法を使用して識別された。可能なセグメンテーション技法は、しきい値方法、エッジベースの方法、クラスタリング方法、ヒストグラムベースの方法、ニューラルネットワークベースの方法、ハイブリッド方法などを含む。

各トレーニング標的コーティングＣ_ｉについて、第１のサブリストＤ_ｉ＋および第２のサブリストＤ_ｉ－を使用して、矢印１１１で示されるように、複数のトリプレット

が作成され、各トリプレット

は、少なくとも１つの測定ジオメトリのうちの１つの測定ジオメトリのための、それぞれのトレーニング標的コーティングＣ_ｉ（ｉは自然整数、ｉ＞０）のデジタル画像ｄ_ｉと、第１のサブリストＤ_ｉ＋の視覚的に良好なマッチング調合と相互に関連付けられた少なくとも１つの測定ジオメトリのうちの１つの測定ジオメトリについてデータベースから検索されたデジタル画像

と、第２のサブリストＤ_ｉ－の視覚的に劣悪なマッチング調合と相互に関連付けられた少なくとも１つの測定ジオメトリのうちの１つの測定ジオメトリについてデータベースから検索されたデジタル画像

とを含む。視覚的な画像類似性関係は、作成されたトリプレットにおける相対的な類似性順序によって特徴付けられる。つまり、画像の類似性関係が、作成されたトリプレットでラベル付けされる。作成されたトリプレット

は、畳込ニューラルネットワーク１００に供給される。つまり、畳込ニューラルネットワークは、作成されたトリプレット

を入力として受け取る。それにより、トリプレット

は、矢印１１２によって示されるように、次々にニューラルネットワーク１００に供給される。これは、実行パラメータｋ，ｊが、ｋ＝１，・・・，ｍおよびｊ＝１，・・・，ｐで連続的に増加することを意味する。トリプレット

は、それぞれ含まれるデジタル画像

のための相対的な類似性ランク付け順序を特徴付ける。

ｎ次元埋込関数ｆ１０１を、つまり、（ｎ次元パラメータ／特徴空間Ｒ^ｎ、ここでｎは自然整数、において）類似性距離関数Ｆ１０６によって定義された小さな距離を、より類似性の高い画像ペアへ割り当てる、つまり、すべての利用可能なトレーニング標的コーティングＣ_ｉについて

であるニューラルネットワーク１００を、学習することが目的である。ｎ次元埋込関数ｆ１０１は、ニューラルネットワーク１００のネットワーク層群によって実現される。距離関数Ｆ１０６は、コスト関数を表し、ニューラルネットワーク１００の最終出力層として、ランク付け層によって実現される。ｎ次元埋込関数ｆ１０１は、まず、それぞれのトリプレット

の各デジタル画像ｄ_ｉ、

を、ｎ次元空間Ｒ^ｎにおける１つの点

へそれぞれ正確に割り当てる。これは、ｎ次元空間Ｒ^ｎにおいて、ｄ_ｉが、ｆ（ｄ_ｉ）１０２に割り当てられ、

が

１０３に割り当てられ、

が

１０４に割り当てられることを意味する。それぞれのトレーニング標的コーティングＣ_ｉのデジタル画像ｄ_ｉに割り当てられた点ｆ（ｄ_ｉ）１０２と、それぞれの良好な仮マッチングコーティングのデジタル画像

に割り当てられた点

１０３との間の距離

、および／または、それぞれのトレーニング標的コーティングＣ_ｉのデジタル画像ｄ_ｉに割り当てられた点ｆ（ｄ_ｉ）１０２と、それぞれの劣悪な仮マッチングコーティングのデジタル画像

に割り当てられた点

１０４との間の距離

はそれぞれ、それぞれのトレーニング標的コーティングＣ_ｉと、それぞれの仮マッチングコーティングとの間の類似性の尺度である。この距離は、ｎ次元コスト関数Ｆ１０６によって定義される。

これは、（それぞれの画像のすべての抽出可能な特徴、測定可能な特徴、および隠れた特徴を考慮することによって）少なくとも１つのトレーニング標的コーティングＣ_ｉまでの類似性距離を定義するｎ次元コスト関数Ｆ１０６が最適化され、コスト関数Ｆ１０６が、それぞれの視覚的に良好なマッチング調合について、最小化

され、それぞれの視覚的に劣悪なマッチング調合について、最大化

されることを意味する。すでに上述したように、ｎ次元埋込関数ｆ１０１は、ｎ次元パラメータ空間Ｒ^ｎにおいて、各画像

を、それぞれの点

にマッピングし、各次元は
、１つの特徴を表し、各特徴は、それぞれの係数

によって重み付けられ得ることが理解されるべきである。

Ｆ１０６は、この空間における距離／距離指標を表す。２つの画像の距離Ｆ１０６が短いほど、２つの画像は類似している。ニューラルネットワーク１００をトレーニングするとき、つまり、埋込関数ｆ１０１において、外観に影響を与える可能な限り多くの特徴、測定可能で隠れた特徴を考慮するために、提案された方法の目標は、より短い距離Ｆ１０６を、より類似した画像ペアに割り当てる埋込関数ｆ１０１を学習することである。深層ニューラルネットワーク１００の層ｆ１０１は、画像ｄ_ｉ：ｆ（ｄ_ｉ）∈Ｒ^ｎの埋込、ここでｎは特徴埋込の次元である、を計算する。

ニューラルネットワーク１００をトレーニングすると、ニューラルネットワーク１００を経た後、第１のサブリストＤ_ｉ＋のすべてのデジタル画像が、視覚的に良好なマッチングコーティングを指定するカテゴリ１３０に割り当てられ、第２のサブリストＤ_ｉ－のすべてのデジタル画像が、複数の仮マッチングコーティングのうち、視覚的に劣悪なマッチングコーティングを指定するカテゴリ１４０に割り当てられるべきであることが知られている。この知識と、とりわけ、バックプロパゲーション概念の使用とにより、コスト関数Ｆ１０６は、視覚的に良好なマッチングコーティングに対する最小化と、視覚的に劣悪なマッチングコーティングに対する最大化とを同時にできる。したがって、埋込関数ｆ１０１およびその定義パラメータが決定される。

埋込関数ｆ１０１が決定されると、図２に概略的に示されるように、標的コーティングの利用可能なデジタル画像ｐ２１１に関して良好なマッチング調合を探索するときに、デバイス２００のトレーニング済のニューラルネットワークとして／において、使用するために提供される。

トレーニング済のニューラルネットワーク２０２を実施するデバイス２００の出力２５０は、標的コーティングのデジタル画像ｐ２１１（＝標的画像）、および、標的コーティングに対する類似性について分析されるそれぞれのサンプルコーティングのそれぞれのデジタル画像ｑ_１，ｑ_２，・・・，ｑ_ｉ、ここでｉ≧１、が通過した場合、それぞれの距離値Ｆ（ｆ（ｐ），ｆ（ｑ_ｊ））、ここで１≦ｊ≦ｉ２０６、である（図２ａ参照）。標的コーティングに対する類似性について分析される、対応する複数のサンプルコーティングの複数のデジタル画像ｑ_１，ｑ_２，・・・，ｑ_ｉ２１０が、タイムスケール２０１によって示されるように、評価のためにニューラルネットワーク２０２に次々に供給２１２される場合、ニューラルネットワーク２０２は、トレーニング済の埋込関数ｆ（・）を各デジタル画像に適用し、各デジタル画像について、それぞれの点／特徴マップｆ（ｐ），ｆ（ｑ_１），ｆ（ｑ_２），・・・，ｆ（ｑ_ｉ）を、矢印２０３によって示されるように出力する（図２ｂ参照）。コスト関数Ｆ（・）２０４は、特徴マップのそれぞれのペアに適用され、各ペアは、標的画像ｐに割り当てられた特徴マップと、サンプルコーティングのデジタル画像ｑ_ｊに割り当てられた特徴マップとを含む。それぞれの距離値Ｆ（ｆ（ｐ），ｆ（ｑ_ｊ））、ここで１≦ｊ≦ｉ２０６、により、サンプルコーティング間のランク付けを、標的コーティングに対する類似性について分析することができる。このランク付け順序２５０は、（図２ａおよび図２ｂに示すような）表、リスト、棒グラフ、または同様のものの形態で出力または表示できる。

図３は、トリプレット（ｄ_ｉ，ｄ_ｉ＋，ｄ_ｉ－）３００を概略的に示す。各トリプレット３００は、標的画像ｄ_ｉ３０１、ポジティブ画像ｄ_ｉ＋３０２、およびネガティブ画像ｄ_ｉ－３０３を含む。トリプレット３００は、３つの画像３０１，３０２，３０３の相対的な類似性関係を特徴付ける。モデル、つまりニューラルネットワークは、画像類似性（完全な画像）と効果顔料類似性（黒い背景のみを使った効果顔料）との両方に対して開発された。効果顔料は、画像セグメンテーション方法を使用して識別された。可能なセグメンテーション技法は、しきい値方法、エッジベースの方法、クラスタリング方法、ヒストグラムベースの方法、ニューラルネットワークベースの方法、ハイブリッド方法などを含む。

図４は、本明細書に記載された方法を実行するために使用され得るデバイス４００の実施形態を示す。ユーザ４０は、グラフィカルユーザインターフェースなどのユーザインターフェース４１を利用して、少なくとも１つの測定デバイス４２を操作して、標的コーティング４３の特性を測定する。つまり、カメラによって標的コーティングのデジタル画像をキャプチャし、たとえば、異なる角度で、異なる測定ジオメトリにおいて各画像が取得され、たとえば、分光光度計を使用して、異なるスペクトル測定ジオメトリの色値および任意で質感値を判定する。たとえばカメラ４２である、少なくとも１つの測定デバイスからのデータは、パーソナルコンピュータ、モバイルデバイス、または任意のタイプのプロセッサなどのコンピュータ４４へ転送され得る。コンピュータ４４は、ネットワーク４５を介してサーバ４６と通信状態にあり、つまり、通信接続し得る。ネットワーク４５は、インターネット、ローカルエリアネットワーク、イントラネット、またはワイヤレスネットワークなど、任意のタイプのネットワークであり得る。サーバ４６は、比較目的で、本発明の実施形態の方法によって使用される、データおよび情報を格納し得るデータベース４７と通信する。様々な実施形態において、データベース４７は、たとえば、クライアントサーバ環境、またはたとえばクラウドコンピューティング環境などのウェブベースの環境で利用することができる。本発明の実施形態の方法の様々な工程は、コンピュータ４４および／またはサーバ４６によって実行され得る。別の態様では、本発明は、コンピュータまたはコンピュータシステムに対して、上述した方法を実行させるためのソフトウェアを含む非一時的なコンピュータ可読媒体として実施され得る。ソフトウェアは、プロセッサおよびユーザインターフェースが、本明細書に記載された方法を実行できるようにするために使用される様々なモジュールを含むことができる。

１００ ニューラルネットワーク
１０１ 埋込関数
１０２ ｆ（ｄ_ｉ）
１０３

１０４

１０６ コスト関数Ｆ
１０７

１０８

１１０ 画像
１１１ 矢印
１１２ 矢印
１２０ トリプレット
１３０ カテゴリ「良好な」
１４０ カテゴリ「劣悪な」
２００ トレーニング済のニューラルネットワークが実施されるデバイス
２０１ タイムスケール
２０２ トレーニング済のニューラルネットワーク
２０３ 矢印
２０４ コスト関数Ｆ（・）
２１０ サンプルコーティングのデジタル画像
２１１ 標的コーティングのデジタル画像
２１２ ニューラルネットワークへの供給
２０６ ニューラルネットワークの出力、距離値Ｆ（ｆ（ｐ），ｆ（ｑ_ｊ））
２５０ ランク付け順序、ニューラルネットワークの出力
３０１ ｄ_ｉ
３０２ ｄ_ｉ＋
３０３ ｄ_ｉ－
４００ デバイス
４０ ユーザ
４１ ユーザインターフェース
４２ 測定デバイス
４３ 標的コーティング
４４ コンピュータ
４５ ネットワーク
４６ サーバ
４７ データベース

Claims (16)

1. コンピュータ実施方法であって、前記方法は、少なくとも以下の工程、すなわち、
   ａ）少なくとも１つの測定デバイス（４２）を使用して、少なくとも１つの測定ジオメトリの各々について、少なくとも１つのトレーニング標的コーティングの色値と、デジタル画像とを取得する工程と、
   ｂ）コーティング組成のための調合と、少なくとも１つの前記測定ジオメトリの各々について、相互に関連付けられた色値と、相互に関連付けられたデジタル画像とを含むデータベース（４７）を提供する工程と、
   ｃ）プロセッサ（４４，４６）を使用して、前記データベース（４７）から、各トレーニング標的コーティングについて、それぞれの前記トレーニング標的コーティングについて取得された前記色値に基づいて、複数の仮マッチング調合のリストを検索する工程と、
   ｄ）少なくとも１つの前記トレーニング標的コーティングのデジタル画像と、前記仮マッチング調合に相互に関連付けられ、前記データベース（４７）から検索されたデジタル画像との目視検査を使用して、複数の前記仮マッチング調合のリストを２つのサブリストに分割する工程であって、第１のサブリストは、複数の前記仮マッチング調合の、視覚的に良好なマッチング調合を含み、第２のサブリストは、複数の前記仮マッチング調合の、視覚的に劣悪なマッチング調合を含む、分割する工程と、
   ｅ）前記プロセッサ（４４，４６）を使用して、各トレーニング標的コーティングについて、複数のトリプレット（１２０）を作成する工程であって、各トリプレット（１２０）は、少なくとも１つの前記測定ジオメトリのうちの１つの測定ジオメトリについて、それぞれの前記トレーニング標的コーティングのデジタル画像と、前記第１のサブリストの視覚的に良好なマッチング調合と相互に関連付けられた少なくとも１つの前記測定ジオメトリのうちの１つの測定ジオメトリについて、前記データベース（４７）から検索されたデジタル画像と、前記第２のサブリストの視覚的に劣悪なマッチング調合と相互に関連付けられた少なくとも１つの前記測定ジオメトリのうちの１つの測定ジオメトリについて、前記データベース（４７）から検索されたデジタル画像とを含む、作成する工程と、
   ｆ）前記作成されたトリプレット（１２０）を、次々に、畳込ニューラルネットワーク（１００）にそれぞれの入力として提供することにより、前記畳込ニューラルネットワーク（１００）をトレーニングし、少なくとも１つの前記トレーニング標的コーティングへの類似性距離を定義するｎ次元コスト関数（１０６）を最適化する工程であって、前記コスト関数（１０６）は、それぞれの視覚的に良好なマッチング調合について最小化され、それぞれの視覚的に劣悪なマッチング調合について最大化される、最適化する工程と、
   ｇ）標的コーティングのデジタル画像に関して、コーティング組成のデジタル画像をランク付けするために、トレーニング済の前記ニューラルネットワークを、前記プロセッサ（４４，４６）において利用可能にする工程とを含む、コンピュータ実施方法。
2. 工程ｅ．において、さらなる工程ｅｅ．をさらに含み、前記工程ｅｅ．は、前記作成されたトリプレット（１２０）のうちの少なくとも１つのトリプレットについて実行され、それぞれの前記トレーニング標的コーティングの前記デジタル画像を、中心画像回転軸の周りに、特定の角度だけ回転させ、それぞれの視覚的に良好な前記マッチング調合と相互に関連付けられた前記データベース（４７）から検索された前記デジタル画像を、前記中心画像回転軸の周りに、前記特定の角度だけ回転させ、それぞれの視覚的に劣悪な前記マッチング調合と相互に関連付けられた前記データベース（４７）から検索された前記デジタル画像を、前記中心画像回転軸の周りに、前記特定の角度だけ回転させ、それによって、それぞれの前記トレーニング標的コーティングについて、少なくとも１つの前記トリプレットに基づいて、少なくとも１つのさらなるトリプレットが対応して取得される、請求項１に記載の方法。
3. 前記特定の角度を変えて、工程ｅｅ．を何度か繰り返す工程を含む、請求項２に記載の方法。
4. 前記特定の角度は、０°，３０°，６０°，９０°，１２０°，１５０°，１８０°，２１０°，２４０°，２７０°，３００°を含む群から選択される、請求項２または３に記載の方法。
5. 工程ｅ．において、さらなる工程ｅｅ．をさらに含み、前記工程ｅｅ．は、作成された前記トリプレット（１２０）のうちの少なくとも１つのトリプレットについて実行され、それぞれの前記トレーニング標的コーティングの前記デジタル画像を、多数のパッチに分割し、それぞれの視覚的に良好な前記マッチング調合と相互に関連付けられた前記データベース（４７）から検索された前記デジタル画像を、同数の対応する前記パッチに分割し、それぞれの視覚的に劣悪な前記マッチング調合と相互に関連付けられた前記データベース（４７）から検索された前記デジタル画像を、同数の対応する前記パッチに分割し、それによって、それぞれの前記トレーニング標的コーティングについて、少なくとも１つの前記トリプレットに基づいて、前記パッチの数に対応するさらなるトリプレットが対応して取得される、請求項１から４のいずれか一項に記載の方法。
6. 工程ｆ．は、前記畳込ニューラルネットワーク（１００）をトレーニングするための前記ｎ次元コスト関数Ｆ（１０６）を設定する工程を含み、これによって、対応するベクトルによって表され、０≦ｉ≦ｎである場合、ｎ個のパラメータａ_ｉによって定義されるｎ次元埋込関数ｆが、スカラｓにマッピングされるようになり、前記ベクトルｆの各成分ｆ_ｉは、それぞれの前記仮マッチング調合の特徴の値を含み、各パラメータａ_ｉは、それぞれの前記特徴に対する重みを定義する、請求項１から５のいずれか一項に記載の方法。
7. 工程ｅ．において、前記デジタル画像は、効果顔料を識別するために画像セグメンテーション方法を使用して前処理され、前記効果顔料を画像化する前記デジタル画像は、黒い背景のみを使って使用される、請求項１から６のいずれか一項に記載の方法。
8. ５００から１０００の、特に１０００の異なるトレーニング標的コーティングが選択され、各トレーニング標的コーティングについて、Ｎ個の仮マッチング調合が選択され、Ｎは整数である、請求項１から７のいずれか一項に記載の方法。
9. 複数の前記仮マッチング調合は、各仮マッチング調合について、それぞれの前記トレーニング標的コーティングへの、色ベースの距離、または色および質感ベースの距離が、第１のしきい値よりも小さくなるように選択される、請求項１から８のいずれか一項に記載の方法。
10. コンピュータ実施方法であって、前記方法は、少なくとも以下の工程、すなわち、
    Ａ．少なくとも１つの測定デバイス（４２）を使用して、少なくとも１つの測定ジオメトリについて、標的コーティングの色値と、デジタル画像とを取得する工程と、
    Ｂ．コーティング組成のための調合と、少なくとも１つの前記測定ジオメトリについて、相互に関連付けられた色値と、相互に関連付けられたデジタル画像とを含むデータベース（４７）を提供する工程と、
    Ｃ．コンピュータ（４４，４６）に、トレーニング済の畳込ニューラルネットワークを提供する工程と、
    Ｄ．前記データベース（４７）から、少なくとも１つの前記測定ジオメトリについて、前記標的コーティングについて取得された前記色値に基づいて、１つまたは複数の仮マッチング調合を選択する工程と、
    Ｅ．前記データベース（４７）から、１つまたは複数の前記仮マッチング調合の各々について、および、少なくとも１つの前記測定ジオメトリについて、それぞれの前記仮マッチング調合と相互に関連付けられたデジタル画像を検索する工程と、
    Ｆ．１つまたは複数の前記仮マッチング調合の各々について、前記標的コーティングのために、および、少なくとも１つの前記測定ジオメトリのために取得されたデジタル画像とともに、それぞれの前記仮マッチング調合と相互に関連付けられた、それぞれの検索された前記デジタル画像を、トレーニング済の前記畳込ニューラルネットワークへ提供する工程と、
    Ｇ．１つまたは複数の前記仮マッチング調合の各々について、２つの前記デジタル画像、すなわち、それぞれの前記仮マッチング調合と相互に関連付けられた、それぞれの検索された前記デジタル画像と、前記標的コーティングについて取得された前記デジタル画像との間の埋込特徴層における類似性距離を計算するようにトレーニングされたトレーニング済の前記ニューラルネットワークを使用して、前記標的コーティングと、それぞれの前記仮マッチング調合との間の類似性距離を判定する工程と、
    Ｈ．前記コンピュータ（４４，４６）と連動している出力デバイス（４１）を使用して、１つまたは複数の前記仮マッチング調合について判定された前記類似性距離を、ユーザ（４０）へ出力する工程とを含む、コンピュータ実施方法。
11. 前記コンピュータ（４４，４６）と通信接続しているディスプレイモニタのディスプレイインターフェース（４１）に、１つまたは複数の前記仮マッチング調合について判定された前記類似性距離を表示する工程を含む、請求項１０に記載の方法。
12. １つまたは複数の前記仮マッチング調合について判定された前記類似性距離は、ランク付けリストの形態で表示され、前記類似性距離が短いほど、それぞれの前記仮マッチング調合の、前記標的コーティングとのマッチングが良好である、請求項１１に記載の方法。
13. コンピュータを、トレーニング済の畳込ニューラルネットワークとともに使用して、サンプルコーティングのデジタル画像と、標的コーティングのデジタル画像との間の類似性をランク付けするためのコンピュータ実施方法であって、トレーニング済の前記畳込ニューラルネットワークは、２つの前記デジタル画像間の、トレーニング済の前記畳込ニューラルネットワークの埋込特徴層における類似性距離を計算するようにトレーニングされ、且つトレーニング済の畳込ニューラルネットワークが、請求項１～８の何れか１項に記載の方法に従ってトレーニングされている、コンピュータ実施方法。
14. 請求項１から９のいずれか一項に従って、トレーニング済の前記畳込ニューラルネットワークが提供される、請求項１０から１２のいずれか一項に記載の方法。
15. デバイスであって、少なくとも
    － コーティング組成のための調合と、少なくとも１つの測定ジオメトリについて、相互に関連付けられた色値と、相互に関連付けられたデジタル画像とを含むデータベース（４７）と、
    － 少なくとも１つの測定デバイス（４２）、前記データベース（４７）、および畳込ニューラルネットワーク（１００）と通信接続しており、少なくとも以下の工程、すなわち、
    １．少なくとも１つの前記測定デバイス（４２）から、標的コーティングの色値およびデジタル画像を受信する工程と、
    ２．請求項１の工程ｃ．から工程ｇ．、および／または、請求項１０の工程Ｄ．から工程Ｈ．を実行する工程とを実行するようにプログラムされた、少なくとも１つのプロセッサ（４４，４６）とを備える、デバイス。
16. 少なくとも１つの測定ジオメトリの各々について、少なくとも１つの標的コーティングの色値、およびデジタル画像を提供するように構成された少なくとも１つの測定デバイスと、コーティング組成のための調合、少なくとも１つの前記測定ジオメトリについて、相互に関連付けられた色値、および相互に関連付けられたデジタル画像を含むデータベースと、畳込ニューラルネットワークとそれぞれ通信接続している、少なくとも１つのプロセッサによって、コンピュータプログラムがロードされ、実行された場合、少なくとも以下の工程、すなわち、
    １．前記測定デバイスから、少なくとも１つの測定ジオメトリについて、少なくとも１つの標的コーティングの色値、およびデジタル画像を受信する工程と、
    ２．請求項１の工程ｃ．から工程ｇ．、および／または、請求項１０の工程Ｄ．から工程Ｈ．を実行する工程とを実行するように構成される、プログラムコードを備えた、前記コンピュータプログラムを備えた、非一時的なコンピュータ可読媒体。

Images