JP7040624B2 - 画像データの特徴データを判別する方法、装置、システム及びプログラム、並びに記憶媒体 - Google Patents

Description

本開示は、画像認識の分野に関し、特に、画像データの特徴データを判別する方法、装置、システム及びプログラム、並びに記憶媒体に関する。

現在、画像認識には様々な方法が用いられることができるが、その１つにＡＩを利用した方法がある。現在、人工知能（ＡＩ）技術は、画像認識を含む様々な分野で広く利用されている。中でも人工知能技術は画像認識に応用されて、人間に取って代わり大量の画像情報を処理している。人にとって、画像刺激は感覚器官に影響を与える。画像認識において、人は感覚に入る情報だけでなく、メモリに記憶されている情報も必要とする。現在の情報と記憶された情報を比較するプロセスによってのみ、画像認識を実現することができる。人工知能技術は、人間の認識能力に基づいて出力し、異なるモードの様々なターゲット及び対象を認識するために、画像を処理、分析、理解することができる。人工知能技術は、人間の代わりに大量の画像情報を自動的に処理し、認識に関する人間の生理学的欠点の問題を解決し、人間の脳を部分的に置き換えて機能させることができる。更に、ＡＩは画像データから、人々が気付いていない、又は生理学的に認識できない特徴を抽出することができる。

但し、画像認識にＡＩを使用する場合、ＡＩが認識した特徴は、人間が認識した特徴と一致しない場合がある。従って、画像の特徴を判別するためにＡＩを使用する場合、出力が人間にとって曖昧になることがある。

上記の問題に関して、有効な解決策はまだ提案されていない。

本開示の実施形態において提供されるのは、画像データの特徴データを判別する方法、装置、システム及びプログラム、並びに記憶媒体であり、これによって、少なくとも、ＡＩが認識した特徴は人間が認識した特徴と一致しない場合があるという技術的課題を解決する。

本開示の実施形態の一態様によれば、画像データの特徴データを判別する方法であって、画像データの特徴を取得し、前記特徴は、第１特徴及び第２特徴を含み、前記第１特徴は、第１モデルを使用して画像データから抽出され、前記第１モデルは機械学習方式で訓練され、前記第２特徴は、第２モデルを使用して画像データから抽出され、前記第２モデルは予め設定されたデータ処理アルゴリズムに基づいて構築されることと、前記第１特徴及び前記第２特徴に基づいて特徴データを判別することと、を含む方法が提供される。

このように、それぞれ訓練された人工知能機械と従来の画像特徴抽出アルゴリズムを格納するコンピュータによって画像データの特徴を取得すること、及びこれらの異なる方法で抽出された特徴間の違いを比較することにより、人工知能機械の訓練効果を学習することができる。

また、前記方法において、画像データの特徴を取得することは、前記画像データから前記第１特徴を抽出し、且つ前記画像データの前記第１特徴が配置されている特徴領域から前記第２特徴を抽出することと、前記画像データから前記第２特徴を抽出し、且つ前記画像データの前記第２特徴が配置されている特徴領域から前記第１特徴を抽出することと、前記画像データ全体に対して前記第１特徴及び前記第２特徴を抽出することと、のうち１つを含む。

このように、ユーザは、認識精度の要求に基づいて、第２特徴を抽出する領域を自由に選択することができる。

第１特徴と第２特徴を直列又は並列に抽出することにより、例えばＡＩベースの画像認識によって判別された特徴は、人間が認識した特徴とより一致することができる。

また、前記方法において、前記第１特徴及び前記第２特徴に基づいて特徴データを判別することは、前記第１特徴と前記第２特徴との比較結果に基づいて、前記特徴データとして前記第１特徴又は前記第２特徴にラベルを割り当てることを含む。

第１特徴又は第２特徴をラベルに割り当てることにより、異なるアプローチに基づいて判別された特徴が同じであるかどうかをより明確に示すことを補助することができる。

また、前記方法において、前記第１特徴及び前記第２特徴に基づいて特徴データを判別することは、前記第１特徴が前記第２特徴と異なる場合、それぞれ第１特徴データと第２特徴データとして、前記第１特徴と前記第２特徴にそれぞれ第１ラベルと第２ラベルを割り当てることと、前記第１特徴が前記第２特徴と同じ場合、第３特徴データとして、前記第１特徴又は前記第２特徴に第３ラベルを割り当てることと、を含む。

第１特徴又は第２特徴の比較結果に基づいて異なるラベルを割り当てることにより、異なるアプローチに基づいて判別された特徴が同じであるかどうかをより明確に示すこと、及び比較結果に基づいて特徴データを出力することを補助することができる。

また、前記方法において、前記特徴データは、前記画像データの色特徴、テクスチャ特徴、形状特徴、又は空間関係特徴を特徴付ける。

ＡＩベースと従来の画像認識技術を組み合わせることにより、画像データの色、テクスチャ、形状、又は空間関係の特徴を特徴付ける特徴データを、より効率的かつ迅速に判別することができる。

本開示の実施形態の別の態様によれば、画像データの特徴データを判別する装置であって、画像データの特徴を取得し、前記特徴は、第１特徴と第２特徴を含み、前記第１特徴は第１モデルを使用して画像データから抽出され、前記第１モデルは機械学習方式で訓練され、前記第２特徴は、第２モデルを使用して画像データから抽出され、前記第２モデルは、予め設定されたデータ処理アルゴリズムに基づいて構築される取得部と、前記第１特徴及び前記第２特徴に基づいて前記特徴データを判別する判別部と、を含む装置が更に提供される。

また、前記装置において、前記取得部は、前記画像データから前記第１特徴を抽出し、且つ前記画像データの前記第１特徴が配置されている特徴領域から前記第２特徴を抽出することと、前記画像データから前記第２特徴を抽出し、且つ前記画像データの前記第２特徴が配置されている特徴領域から前記第１特徴を抽出することと、前記画像データ全体に対して前記第１特徴及び前記第２特徴を抽出することと、のうち１つによって前記画像データの特徴を取得する。

また、前記装置において、前記判別部は、前記第１特徴と前記第２特徴との比較結果に基づいて、前記特徴データとして、前記第１特徴又は前記第２特徴にラベルを割り当てる。

また、前記装置において、前記第１特徴が前記第２特徴と異なる場合、前記判別部は、それぞれ第１特徴データと第２特徴データとして、前記第１特徴と前記第２特徴にそれぞれ第１ラベルと第２ラベルを割り当て、前記第１特徴が前記第２特徴と同じ場合、前記判別部は、第３特徴データとして、前記第１特徴又は前記第２特徴に第３ラベルを割り当てる。

また、前記装置において、前記特徴データは、前記画像データの色特徴、テクスチャ特徴、形状特徴、又は空間関係特徴を特徴付ける。

本開示の実施形態の別の態様によれば、前記方法を実行する処理手段と、前記特徴データを出力する出力手段と、を含む、画像データの特徴データを判別するシステムが更に提供される。

本開示の実施形態の別の態様によれば、実行されると、前記方法を実行する、画像データの特徴データを判別するプログラムが更に提供される。

本開示の実施形態の別の態様によれば、実行されると、前記方法を実行するプログラムが記憶されている記憶媒体が更に提供される。

本開示の実施形態では、例示的な目的はＡＩが認識した特徴は人間が認識した特徴と一致しない場合があるという技術的課題を解決する。

ここで説明される図面は、本開示の更なる理解を提供し、本願の一部を構成するために使用される。本開示の概略的な実施形態及びその説明は、本開示を説明するために使用されるものであって、本開示に対する不適切な制限を構成するものではない。

本開示の実施態様による画像データの特徴データを判別するシステムのハードウェア構成である。 本開示の第１実施形態による画像データの特徴データを判別するオプションの方法の概略図である。 本開示の第２実施形態による、画像データの特徴データを判別するオプションの方法の概略図である。 本開示の第３実施形態による、画像データの特徴データを判別するオプションの方法の概略図である。 本開示の第１実施形態による、画像データの特徴データを判別するためのオプションの装置の概略図である。 本開示の第２実施形態による、画像データの特徴データを判別するためのオプションの装置の概略図である。そして 本開示の第３実施形態による、画像データの特徴データを判別するためのオプションの装置の概略図である。

順を追って当業者に本開示の解決策をよりよく理解させるために、本開示の実施形態における技術的解決策について、本開示の実施形態における添付の図面を参照して以下に明確かつ完全に説明する。当然ながら、説明する実施形態は、本開示の実施形態の一部にすぎず、実施形態の全てではない。創造的な努力なしに本開示の実施形態に基づいて当業者によって得られる他の全ての実施形態は、本開示の保護範囲内に含まれるものとする。

本開示の説明及び特許請求の範囲並びに前述の図面における「第１」、「第２」等の用語は、類似対象を区別するために使用され、必ずしも特定順序又は時系列順序を説明するために使用されるものではないことに留意されたい。使用されるデータは、必要に応じて交換可能であり、ここで記載される本開示の実施形態は、ここで例示又は記載される以外の順序で実装されることができることを理解されたい。更に、「含む」及び「有する」という用語、及びそれらの任意のバリエーションは、非排他的な包含をカバーし、例えば、ステップ又は手段の列記を含むプロセス、方法、システム、製品、又はデバイスは、必ずしも列記されたステップ又は手段に限定されず、明示的に列記されていないか、これらのプロセス、方法、製品又はデバイスに固有である他のステップ又は手段を含むことができる。

本開示の一実施形態によれば、画像データの特徴データを判別する方法が提供される。留意すべきこととして、添付の図面のフローチャートに示されているステップは、一組のコンピュータ実行可能命令等のコンピュータシステムで実行されることができ、論理的順序はフローチャートに示されているが、場合によっては、図示又は説明されるステップは、それとは異なる順序で実行されてもよい。

本開示の画像データの特徴データを判別する方法の一実施形態では、画像データの特徴は、様々な手法、例えば、それぞれ訓練された人工知能機械及び従来の画像特徴抽出アルゴリズムを記憶するコンピュータを用いて画像データの特徴を取得することによって抽出される。これらの様々なアプローチで抽出された特徴の違いを比較することにより、人工知能機械の訓練効果を知ることができ、訓練プロセスを適切に向上させながら、単一のアプローチで特徴を抽出する精度を向上させることができる。様々なアプローチで抽出された画像データの特徴は、所定の規則に従って分類されることができる。例えば、異なるタイプの特徴は、異なるラベルを割り当てられることができ、それにより、分類された特徴データは、画像分析及び統計、人工知能機械の訓練等の目的に使用されることができる。なお、ここでいう画像は、いわゆる２次元画像に限定するものではなく、距離情報やサーモグラフィー等を含む３次元画像を含む。

先ず、本開示の実施態様による画像データの特徴データを判別するシステム１００のハードウェア構成を説明する。

図１は、本開示の実施態様による画像データの特徴データを判別するシステム１００のハードウェア構成のモード図である。図１に示すように、例えば、画像データの特徴データを判別するシステム１００は、一般的なコンピュータアーキテクチャの一般的なコンピュータによって実装されることができる。画像データの特徴データを判別するシステム１００は、プロセッサ１１０、メインメモリ１１２、メモリ１１４、入力インタフェース１１６、ディスプレイインタフェース１１８及び通信インタフェース１２０を含むことができる。これらのパーツは、例えば、内部バス１２２を介して相互に通信することができる。

プロセッサ１１０は、メモリ１１４に記憶されたプログラムをメインメモリ１１２上で展開して実行することにより、以下に説明する機能や処理を実現する。メインメモリ１１２は、不揮発性のメモリとして構成することができ、プロセッサ１１０のプログラム実行に必要なワーキングメモリとしての役割を果たす。

入力インタフェース１１６は、マウスやキーボード等の入力装置と接続されることができ、操作者が入力手段を操作することによって入力される指示を受け取る。

ディスプレイインタフェース１１８はディスプレイと接続されることができ、プロセッサ１１０のプログラム実行により生成された様々な処理結果をディスプレイに出力することができる。

通信インタフェース１２０は、ネットワーク２００を介してプログラマブルロジックコントローラ（ＰＬＣ）やデータベース装置等と通信するように構成されている。

メモリ１１４は、機能を実現するために画像データの特徴データを判別するシステム１００としてコンピュータを判別することができるプログラム、例えば、画像データの特徴データを判別するプログラム及びオペレーティングシステム（ＯＳ）を記憶することができる。

メモリ１１４に記憶された画像データの特徴データを判別するプログラムは、デジタルバーサタイルディスク（ＤＶＤ）等の光学記録媒体又はユニバーサルシリアルバス（ＵＳＢ）メモリ等の半導体記録媒体を介して識別システム１００にインストールされることができる。又は、画像データの特徴データを判別するプログラムは、ネットワーク上のサーバ装置等からダウンロードしてもよい。

実施態様による画像データの特徴データを判別するプログラムは、他のプログラムと組み合わせて提供されてもよい。このような条件下では、画像データの特徴データを判別するプログラムは、そのような組み合わせの他のプログラムに含まれるモジュールを含まないが、他のプログラムと連携して処理を行う。従って、実施態様による画像データの特徴データを判別するプログラムは、他のプログラムと組み合わせた形態であってもよい。

図２は、本開示の第１実施形態による画像データの特徴データを判別するオプションの方法の概略図である。図２に示すように、この方法には次のステップが含まれる。

ステップＳ１０２では、画像データが取得される。例えば、カメラ等によりリアルタイムに撮像された画像データが取得される。更に、画像データは、受信されることもでき、例えば、その画像データはネットワークを介して送信されるものである。場合によっては、後で認識及び分析するために大量の画像データを収集するために、事前に複数の画像が収集又は送信される必要がある。

ステップＳ１０４では、画像データの第１特徴が取得される。具体的には、第１特徴は、ステップＳ１０２で取得された画像データから第１モデルを介して取得され、第１モデルは、機械学習方式で訓練された人工神経ネットワークモデル等の人工知能ベースのモデルを含む。通常、人工神経ネットワークモデルの構築と使用は、関連付けられた２つのフェーズ、即ち、学習フェーズと実装フェーズを含む。前者は、サンプルの特徴を選択し、分類規則を見つけるものである。後者は、分類規則に従って未知のサンプルセットを分類及び認識するものである。

画像認識プロセスでは、画像認識メカニズムは冗長な入力情報を除外し、重要な情報を抽出する必要がある。第１特徴は、画像データの色特徴、テクスチャ特徴、形状特徴、又は空間関係特徴であることができる。このうち、カラー特徴は、画像又は画像領域に対応するシーンの表面特性を表すグローバル特徴である。一般的なカラー特徴は、ピクセルポイントベースの特徴であり、画像又は画像領域に属する全てのピクセルが独自の貢献を有する。テクスチャ特徴は、画像又は画像領域に対応するシーンの表面特性も記述するグローバル特徴でもある。空間関係機能とは、画像からセグメント化された複数の対象間の相互空間位置又は相対方向関係を指し、その関係は、接続／隣接関係、オーバーラップ／重ね合わせ関係、及び包含／受信関係に分類することもできる。一般に、空間位置情報は、相対空間位置情報と絶対空間位置情報の２つのカテゴリに分類することができる。

ステップＳ１０６では、画像データの第２特徴が取得される。具体的には、第２特徴は、ステップＳ１０２で取得された画像データから第２モデルを介して取得される。第２モデルは、ゼロクロッシングベースのアルゴリズムなどのエッジ検出アルゴリズム等の予め設定されたデータ処理アルゴリズムに基づいて構築される。第１特徴と同様に、第２特徴は、画像データの形状特徴、エッジ特徴、グレー特徴、色特徴、テクスチャ特徴、空間関係特徴等であることができる。このうち、エッジ検出は、局所的な画像の輝度が最も大きく変化する部分を検出するために使用され、局所的な画像の大きな変化を検出するための最も基本的な操作である。また、グレー特徴は、グローバル特徴ではなくローカル特徴であり、各ピクセルのグレー値の差によって表される特徴であることができる。従って、エッジ特徴は、グレー特徴の例と見なすことができる。

ステップＳ１０２で取得された画像データは、画像データの第１機能がステップＳ１０４で取得される前、又は第２機能がステップＳ１０６で取得される前に強化され得る。例えば、画像データの抽出及び認識をより容易にするために、画像データを前処理することによって、いくつかの不要な又は邪魔な情報を取り除くことが可能である。例えば、ステップＳ１０２で取得された画像データは、空間領域強化処理及び周波数領域画像強化処理によって強化されることができる。

ステップＳ１０８では、ステップＳ１０４で取得された第１特徴がステップＳ１０６で取得された第２特徴と比較され、それらが同じであるかどうかが判別される。なお、本明細書において「同じ」とは、完全に同一の場合だけでなく、両者の差が所定の閾値未満である場合も含む。上記の比較を行うための閾値又は閾値範囲は、第１特徴及び第２特徴によって特徴付けられる画像データの特徴に従って選択されることができる。例えば、第１特徴と第２特徴が画像データの形状特徴を特徴付ける場合、第１閾値が選択されることができ、第１特徴と第２特徴の差が第１閾値以下であれば、Ｓ１０４で取得された第１特徴とステップＳ１０６で取得された第２特徴は同じであると判別される。例えば、第１特徴及び第２特徴が画像データのグレー特徴を特徴付ける場合、第２閾値が選択されることができ、第１特徴と第２特徴との間の差が第２閾値以下であれば、ステップＳ１０４で取得された第１特徴とステップＳ１０６で取得された第２特徴は同じであると判別される。また、第１特徴と第２特徴の数学的形態が異なる場合は、正規化処理を行って第１特徴と第２特徴を同じ形態に変換して更なる比較を行うことができる。

ステップＳ１０８で第１特徴と第２特徴が異なると判別された場合、処理はステップＳ１１２に進み、第１特徴と第２特徴にそれぞれ第１ラベルと第２ラベルが割り当てられ、第１特徴と第２特徴は、それぞれ第１特徴データと第２特徴データとされる。次に、処理はステップＳ１１４に進み、第１ラベルと第２ラベルが出力され、第１特徴データ及び／又は第２特徴データが特徴データとして出力され、処理が終了する。

ステップＳ１０８で第１特徴と第２特徴が同じであると判別された場合、処理はステップＳ１１０に進み、第１特徴又は第２特徴に第３ラベルが割り当てられ、第１特徴又は第２特徴が第３特徴データとされる。次に処理はステップＳ１１４に進み、第３ラベルが出力され、第３特徴データが特徴データとして出力され、処理が終了する。

ここで、例えば、第１特徴と第２特徴に割り当てられたラベルは、０、１、２のいずれかの値をとる。第１特徴にラベル０が割り当てられ、第２特徴にラベル１が割り当てられる場合、第１特徴と第２特徴が異なることを示す。第１特徴又は第２特徴にラベル２が割り当てられる場合、第１特徴と第２特徴が同じであることを示す。従って、ラベルに値０、１、２を割り当てることにより、第１モデルで取得された第１特徴と第２モデルで取得された第２特徴が同じ確率を有すると判別することが可能であり、それによって認識の精度を更に向上させる。

また、ステップＳ１０４で取得された第１特徴とステップＳ１０６で取得された第２特徴は、所定の規則に従って、処理、例えば分類されることができる。例えば、統計モデルに従って、取得された特徴が特定の分布規則を満たすかどうかを判別することが可能である。具体的には、特徴抽出フェーズで取得された特徴は、全ての特徴を含む特徴空間にあると定義される。異なる特徴又は異なるタイプの対象は、空間内のポイントに対応する。分類フェーズでは、統計的判別の原理を使用して、特徴空間を分割し、異なる特徴を有する対象を認識する目的を達成する。統計モード認識の基本原理は、類似性を有するサンプルがモード空間で互いに接近し、「グループ」を形成することである。その分析方法は、測定された特徴ベクトルＸｉ＝（ｘｉ１、ｘｉ２、．．．、ｘｉｄ）Ｔ（ｉ＝１，２、．．．、Ｎ）に従って与えられたモードをＣカテゴリに分類し、モード間の距離の関数による分類を判別する。ここで、Ｔは転置を表し、Ｎはサンプルポイントの数であり、そして、ｄはサンプル特徴の数である。次に、異なるカテゴリの特徴に異なるラベルを割り当てることができ、それによって、分類された特徴データは、画像分析及び統計、人工知能機械の訓練等に使用されることができる。

上記ステップにより、ＡＩ判別方法と従来の画像認識アルゴリズムの判別結果の判別方法を組み合わせることで、出力とする判別結果を向上させる例示的な目的が達成され、それにより、ＡＩが認識した特徴が、人間が認識する特徴とより一致するという技術効果を達成する。

エッジ検出アルゴリズム等の従来の画像認識アルゴリズムの判別結果が人間の目で認識された結果と類似する理由は、これら従来の画像認識アルゴリズムによって演算された形状特徴、エッジ特徴、グレー特徴、及び色特徴等が人間の目で認識される特徴と類似することにある。

ここで、ＡＩ判別方法は、顔検出、製品外観検査、欠陥検査、スパム検出等に使用することができる。例えば、この方法は、特徴データを判別するために、携帯電話、スマートフォン、又は他の類似モバイルデバイス上に提供されるコンポーネントに適用することができる。走行車両の場合において、特徴データを判別するコンポーネントが移動物体の認識に使用される時、モバイルデバイスは、車両に取り付けることができるデバイスであり、車両の近く（例えば、前部）に出現する移動体（例えば、歩行者、動物、乗り物）又は静止物体（例えば、静止障害物、標識、信号機）を取得する。

また、ＡＩが認識した特徴と人間が認識した特徴とが一致しないと判別される時、画像中の対象のどの特徴について、判別方法の認識精度が低いかを判別することができ、ＡＩシステムを後で訓練することができる。例えば、特定の特徴を有する画像を訓練データとして追加して、ＡＩシステムに特定の特徴に対する強化訓練を実行させ、特定の特徴の認識精度を向上させることができる。

なお、この方法では、ステップＳ１０４とステップＳ１０６の順番を逆にしてもよく、又はステップＳ１０４とステップＳ１０６を同時に行ってもよい。また、上記処理は、必要に応じてステップＳ１０８で終了し、ステップＳ１１０、Ｓ１１２、Ｓ１１４を省略してもよい。また、必要に応じて、ステップＳ１０８において第１特徴と第２特徴が同じであると判別された場合に行われる分岐演算のみを行うこともでき、即ちステップＳ１１２を省略してもよい。ここで、ステップＳ１１４で出力された特徴データは、ステップＳ１０２で取得された画像データの色特徴、テクスチャ特徴、形状特徴、又は空間関係（例えば、隣接性、接続性、領域及び境界、距離計量）特徴を特徴付ける。上記の方法で取得した画像データの色特徴、テクスチャ特徴、形状特徴、空間関係特徴は、損傷検査や疾病診断に利用することができる。例えば、上記の方法で内視鏡画像を認識し、出力された特徴データを用いて、被検者が癌であるか否かを検出することができる。

図３は、本開示の第２実施形態による画像データの特徴データを判別するオプションの方法の概略図である。第１実施形態と異なる部分はステップＳ２０４とＳ２０６であり、異なる部分のみを以下に説明する。

ステップＳ２０４では、画像データの第１特徴が抽出される。具体的には、第１特徴は、第１モデルによってステップＳ２０２で取得した画像データから抽出され、第１モデルは、機械学習方式で訓練され、例えば、それは、人工知能ベースのモデルである。

ステップＳ２０６では、第２特徴が抽出される。具体的には、第２特徴は、ステップＳ２０４で抽出された第１特徴が配置されている特徴領域から第２モデルを介して抽出され、第２モデルは、予め設定されたデータ処理アルゴリズムに基づいて構築され、例えば、それは、エッジ検出ベースのモデルである。

本開示による第２実施形態では、第１特徴と第２特徴が同じである場合にそれらを抽出するだけでよい場合に特に有用である。

なお、この方法では、上記の処理を必要に応じてステップＳ２０８で終了し、ステップＳ２１０、Ｓ２１２、Ｓ２１４を省略してもよい。また、必要に応じて、ステップＳ２０８において第１特徴と第２特徴とが同じであると判別された場合に行われる分岐演算のみを行うこともでき、即ちステップＳ２１２を省略してもよい。ここで、ステップＳ２１４で出力される特徴データは、ステップＳ２０２で取得された画像データの色特徴、テクスチャ特徴、形状特徴、又は空間関係特徴を特徴付ける。上記の方法で取得した画像データの色特徴、テクスチャ特徴、形状特徴、空間関係特徴は、損傷検査や疾病診断に利用することができる。例えば、上記の方法で内視鏡画像を認識し、出力された特徴データを用いて、被検者が癌であるか否かを検出することができる。

図４は、本開示の第３実施形態による画像データの特徴データを判別するオプションの方法の概略図である。第１実施形態と異なる部分はステップＳ３０４及びＳ３０６であり、以下では異なる部分のみを説明する。

ステップＳ３０４では、画像データの第２特徴が抽出される。具体的には、第２モデルによってステップＳ２０２で取得された画像データから第２特徴が抽出され、第２モデルは、予め設定されたデータ処理アルゴリズムに基づいて構築され、例えば、それは、エッジ検出ベースのモデルである。

ステップＳ３０６では、第１特徴が抽出される。具体的には、ステップＳ３０４で抽出された第２特徴が配置されている特徴領域から第１モデルを介して第１特徴が抽出され、第１モデルは機械学習方式で訓練され、例えば、それは、人工知能ベースのモデルである。

なお、この方法では、必要に応じて、上記処理をステップＳ３０８で終了させ、ステップＳ３１０、Ｓ３１２、Ｓ３１４を省略してもよい。また、ステップＳ３０８において第１特徴と第２特徴とが同じであると判別された場合に行われる分岐演算のみを行うこともでき、即ちステップＳ３１２を省略してもよい。ここで、ステップＳ３１４で出力される特徴データは、ステップＳ３０２で取得された画像データの色特徴、テクスチャ特徴、形状特徴、又は空間関係特徴を特徴付ける。

上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを実行可能なコンピュータとして構成することが好ましい。コンピュータの例は、専用のハードウェアに組み込まれたコンピュータ及びそれにインストールされた様々なプログラムにより任意の機能を実行可能な汎用コンピュータを含む。

上記構成を有するコンピュータにおいて、例えば、ＣＰＵは、入出力インタフェースとバスを介して記憶手段に記憶されたプログラムをＲＡＭにロードすることにより、上記各装置のハードウェア構成の一部又は全部と同等の機能を実装し、そのプログラムを実行することができる。言い換えれば、上述した一連の処理の少なくとも一部が実行される。ＲＡＭは、ＣＰＵが各種処理を実行する上で必要なデータ等も適宜記憶する。

図５は、本開示の第１実施形態による画像データの特徴データを判別するためのオプションの装置の概略図である。この装置は、取得部４０、第１認識部４２、第２認識部４４及び判別部４６を含む。次に、各部について詳細に説明する。

取得部４０、第１認識部４２、第２認識部４４及び判別部４６は、上記プロセッサ１１０により実現されることができ、その分割又は組み合わせは限定しない。更に、これらのセクションの機能の一部又は全部は、専用回路（例えば、特定用途向け集積回路（ＡＳＩＣ）又はフィールドプログラマブルゲートアレイ（ＦＰＧＡ））を介して実現することもできる。また、ネットワークに接続された外部装置が一部の処理を担うこともできる。

取得部４０は、画像データを取得するように構成されたカメラであることができる。第１認識部４２は取得部４０に接続される。第１認識部４２は、取得部４０によって取得された画像データを受け取り、画像データの第１特徴を取得する。具体的には、第１認識部４２では、取得部４０によって取得された画像データから、機械学習で訓練された第１モデル、例えば、人工知能ベースのモデルを通じて第１特徴が取得される。第２認識部４４は取得部４０に接続される。第２認識部４４は、取得部４０によって取得された画像データを受け取り、画像データの第２特徴を取得する。具体的には、第２認識部４４では、第２特徴は、予め設定されたデータ処理アルゴリズムに基づいて構築された第２モデル、例えば、エッジ検出ベースのモデルを介して取得部４０によって取得された画像データから取得される。判別部４６は、判別及びラベリング部４６‐１と出力部４６‐２とを含む。判別及びラベリング部４６‐１は、第１認識部４２によって取得された第１特徴と第２認識部４４によって取得された第２特徴を比較して、それらが同じかどうかを判別するように構成される。また、判別及びラベリング部４６‐１は、更に、第１特徴と第２特徴が異なると判別された場合、第１特徴と第２特徴にそれぞれ第１ラベルと第２ラベルを割り当て、それぞれ第１特徴及び第２特徴を第１特徴データ及び第２特徴データとし、並びに第１特徴及び第２特徴が同じであると判別された場合、第１特徴又は第２特徴に第３ラベルを割り当て、第１特徴又は第２特徴を第３特徴データとするように構成される。出力部４６‐２は、判別及びラベリング部４６‐１が第１特徴と第２特徴が異なると判別した場合に、第１ラベルと第２ラベルを出力し、第１特徴データ及び／又は第２特徴データを特徴データとして出力し、判別及びラベリング部４６‐１が第１特徴と第２特徴が同じであると判別した場合、第３ラベルを出力し、第３特徴データを特徴データとして出力するように構成される。ここで、出力部４６‐２はディスプレイであることができる。

上記ステップにより、ＡＩ判別方法と人間の判別結果に近い判別方法を組み合わせることで、出力とする判別結果を向上させるという例示的な目的を達成し、それによって、ＡＩが認識する特徴と人間が認識する特徴をより一致させる技術効果を達成する。

なお、第１認識部４２と第２認識部４４で行われる処理は、並列的又は直列的に実行されることができる。第１認識部４２と第２認識部４４で行われる処理が直列的に実行される場合、両者の時系列は任意でよい。また、上記装置において、必要に応じて、判別部４６内の出力部４６‐２を省略してもよい。ここで、出力部４６‐２によって出力された特徴データは、取得部４０によって取得された画像データの色特徴、テクスチャ特徴、形状特徴、又は空間関係特徴を特徴付ける。上記の方法で取得した画像データの色特徴、テクスチャ特徴、形状特徴、空間関係特徴は、損傷検査や疾病診断に利用することができる。例えば、上記の方法で内視鏡画像を認識し、出力された特徴データを用いて、被検者が癌であるか否かを検出することができる。

図６は、本開示の第２実施形態による画像データの特徴データを判別するためのオプションの装置の概略図である。第１実施形態と異なる部分は第１認識部５２と第２認識部５４であり、以下では異なる部分のみ説明する。

第１認識部５２は取得部５０に接続される。第１認識部５２は、取得部５０によって取得された画像データを受け取り、画像データの第１特徴を抽出する。具体的には、第１認識部５２では、取得部５０によって取得された画像データから、機械学習で訓練された第１モデル、例えば、人工知能ベースのモデルを通じて第１特徴が抽出される。第２認識部５４は第１認識部５２に接続され、第２認識部５４は第２特徴を抽出する。具体的には、第２特徴は、第１認識部５２で抽出された第１特徴が配置されている特徴領域から抽出され、第２モデルは、予め設定されたデータ処理アルゴリズムに基づいて構築され、例えば、それは、エッジ検出ベースのモデルである。

図７は、本開示の第２実施形態による画像データの特徴データを判別するためのオプションの装置の概略図である。装置の第１実施形態と異なる部分は第２認識部６２及び第１認識部６４であり、異なる部分のみを以下に説明する。

第２認識部６２は取得部６０に接続される。第２認識部６２は、取得部６０によって取得された画像データを受け取り、画像データの第２特徴を抽出する。具体的には、第２認識部６２では、第２特徴は、予め設定されたデータ処理アルゴリズムに基づいて構築された第２モデル、例えばエッジ検出ベースのモデルを介して取得部６０によって取得された画像データから抽出される。第１認識部６４は第２認識部６２に接続され、第１認識部６４は第１特徴を抽出する。具体的には、第１特徴は、第２認識部６２により抽出された第２特徴が配置される特徴領域から、機械学習で訓練された第１モデル、例えば人工知能ベースのモデルを通じて抽出される。本開示の上記の実施形態のシリアル番号は、単に説明を目的としたものであり、実施形態の優劣を表すものではない。

本開示の前述の実施形態では、各実施形態の説明は、各自の要点を有している。一実施形態において詳細に説明されていない部分については、他の実施形態における関連する説明を参照することができる。

本願で提供されるいくつかの実施形態では、開示された技術的内容は他の方式で実装されてもよいことが理解されるべきである。上述の装置実装方式は、単なる例示である。例えば、手段の分割は、論理機能的分割であってもよく、実際の実装では他の分割であってもよい。例えば、複数の手段又はコンポーネントを組み合わせるか、別のシステムに統合するか、或いは一部の特徴を省略するか又は実行しないようにすることができる。更に、図示又は説明された相互結合又は直接結合又は通信接続は、いくつかのインタフェース、手段又はモジュールを介した間接結合又は通信接続であることができ、電気的又は他の形式であり得る。

個別のコンポーネントとして説明されている手段は、物理的に分離されていてもいなくてもよい。手段として表記されるコンポーネントは、物理的な手段であってもなくてもよい。即ち、１つの場所に配置されていてもよく、複数の手段に分散されていてもよい。一部又は全部の手段は、実施形態の解決策の目的を達成するための実際の必要に応じて選択されることができる。

また、本開示の実施形態における各機能部は、１つの処理手段に統合されてもよく、各手段が個別であってもよく、２つ以上の手段が１つの手段に統合されてもよい。上述の統合手段は、ハードウェアの形で、又はソフトウェア機能手段の形で実装されることができる。

統合手段がソフトウェア機能手段の形で実装され、独立した製品として販売又は使用される場合、統合手段は、コンピュータ可読記憶媒体に記憶されることができる。この理解に基づいて、本開示の技術的解決策は、本質的に、又は先行技術に寄与する部分、又は技術的解決策の全部又は一部が、本開示の実施形態による方法のステップの全部又は一部をコンピュータデバイス（パーソナルコンピュータ、サーバ又はネットワークデバイス等）に実行させるいくつかの命令を含む記憶媒体に記憶されたソフトウェア製品の形で実装され得る。上記の記憶媒体は、ＵＳＢフラッシュドライブ、読み取り専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、リムーバブルハードディスク、磁気ディスク、又は光ディスク等のプログラムコードを記憶することができる様々な媒体を含む。

上記は、本開示の好ましい実施形態にすぎず、当業者は、本開示の原理から逸脱することなく、改善及び修正を行うことができることに留意されたい。これらの改善及び修正は、本開示の保護の範囲内であると見なされるべきである。

１００：画像データの特徴データを判別するシステム
１１０：プロセッサ
１１２：メインメモリ
１１４：メモリ
１１６：入力インターフェース
１１８：ディスプレイインターフェイス
１２０：通信インターフェース
４０：取得部
４２：第１認識部
４４：第２認識部
４６：判別部
４６－１：判別及びラベリング部
４６－２：出力部
５０：取得部
５２：第１認識部
５４：第２認識部
５６：判別部
５６－１：判別及びラベリング部
５６－２：出力部
６０：取得部
６２：第２認識部
６４：第１認識部
６６：判別部
６６－１：判別及びラベリング部
６６－２：出力部

Claims (13)

1. 画像データの特徴データを判別する方法であって、
   前記画像データの特徴を取得し、前記特徴は、第１特徴及び第２特徴を含み、前記第１特徴は、第１モデルを使用して画像データから抽出され、前記第１モデルは機械学習方式で訓練され、前記第２特徴は、第２モデルを使用して画像データから抽出され、前記第２モデルは予め設定されたデータ処理アルゴリズムに基づいて構築されることと、
   前記第１特徴及び前記第２特徴に基づいて特徴データを判別することと、
   を含み、
   前記第１特徴及び前記第２特徴に基づいて前記特徴データを判別することは、
   前記第１特徴と前記第２特徴との比較結果に基づいて、前記特徴データとして前記特徴にラベルを割り当てることを含む方法。
2. 前記画像データの特徴を取得することは、
   前記画像データから前記第１特徴を抽出し、且つ前記画像データの前記第１特徴が配置されている特徴領域から前記第２特徴を抽出することと、
   前記画像データから前記第２特徴を抽出し、且つ前記画像データの前記第２特徴が配置されている特徴領域から前記第１特徴を抽出することと、
   前記画像データ全体に対して前記第１特徴及び前記第２特徴を抽出することと、
   のうち１つを含む請求項１に記載の画像データの特徴データを判別する方法。
3. 前記第１特徴及び前記第２特徴に基づいて前記特徴データを判別することは、
   前記第１特徴が前記第２特徴と異なる場合と同じ場合とで、前記特徴データとして前記特徴に異なる前記ラベルを割り当てることを含む請求項１又は２に記載の画像データの特徴データを判別する方法。
4. 前記第１特徴及び前記第２特徴に基づいて前記特徴データを判別することは、
   前記第１特徴が前記第２特徴と異なる場合、それぞれ第１特徴データと第２特徴データとして、前記第１特徴と前記第２特徴にそれぞれ第１ラベルと第２ラベルを割り当てることと、
   前記第１特徴が前記第２特徴と同じ場合、第３特徴データとして、前記第１特徴又は前記第２特徴に第３ラベルを割り当てることと、
   を含む請求項１又は２に記載の画像データの特徴データを判別する方法。
5. 前記特徴データは、前記画像データの輝度特徴、色特徴、テクスチャ特徴、形状特徴、又は空間関係特徴を特徴付ける請求項１又は２に記載の画像データの特徴データを判別する方法。
6. 画像データの特徴データを判別する装置であって、
   前記画像データの特徴を取得し、前記特徴は、第１特徴と第２特徴を含み、前記第１特徴は第１モデルを使用して画像データから抽出され、前記第１モデルは機械学習方式で訓練され、前記第２特徴は、第２モデルを使用して画像データから抽出され、前記第２モデルは、予め設定されたデータ処理アルゴリズムに基づいて構築される取得部と、
   前記第１特徴及び前記第２特徴に基づいて前記特徴データを判別する判別部と、
   を含み、
   前記判別部は、
   前記第１特徴と前記第２特徴との比較結果に基づいて、前記特徴データとして前記特徴にラベルを割り当てる装置。
7. 前記取得部は、
   前記画像データから前記第１特徴を抽出し、且つ前記画像データの前記第１特徴が配置されている特徴領域から前記第２特徴を抽出することと、
   前記画像データから前記第２特徴を抽出し、且つ前記画像データの前記第２特徴が配置されている特徴領域から前記第１特徴を抽出することと、
   前記画像データ全体に対して前記第１特徴及び前記第２特徴を抽出することと、
   のうち１つによって前記画像データの特徴を取得する請求項６に記載の画像データの特徴データを判別する装置。
8. 前記判別部は、
   前記第１特徴が前記第２特徴と異なる場合と同じ場合とで、前記特徴データとして前記特徴に異なる前記ラベルを割り当てる請求項６又は７に記載の画像データの特徴データを判別する装置。
9. 前記判別部は、
   前記第１特徴が前記第２特徴と異なる場合、それぞれ第１特徴データと第２特徴データとして、前記第１特徴と前記第２特徴にそれぞれ第１ラベルと第２ラベルを割り当て、
   前記第１特徴が前記第２特徴と同じ場合、第３特徴データとして、前記第１特徴又は前
   記第２特徴に第３ラベルを割り当てる請求項６又は７に記載の画像データの特徴データを判別する装置。
10. 前記特徴データは、前記画像データの色特徴、テクスチャ特徴、形状特徴、又は空間関係特徴を特徴付ける請求項６又は７に記載の画像データの特徴データを判別する装置。
11. 請求項１～５の何れか一項に記載の方法を実行する処理手段と、
    前記特徴データを出力する出力手段と、
    を含む、画像データの特徴データを判別するシステム。
12. 実行されると、請求項１～５の何れか一項に記載の方法を実行することを特徴とする、画像データの特徴データを判別するプログラム。
13. 実行されると、請求項１～５の何れか一項に記載の方法を実行するプログラムが記憶されている記憶媒体。

Images