JP2017049977A - 情報付与方法およびサーバ装置 - Google Patents

Abstract

【課題】撮影者の意図を含まない大量の画像から、特定の物体に関する画像のみを抽出し、大規模な画像データセットを生成する。【解決手段】ネットワークを介して、画像を撮像する機能もしくは他の機器から画像を取得する機能を有する１以上の端末のいずれかからネットワークを介して送信された画像を取得し、取得した前記画像に対して、所定の撮影対象物が含まれる確率を算出し、確率が第１の閾値より上である場合は、画像に対して所定の撮影対象物を示す情報を付与し、確率が第２の閾値より下である場合は、画像に対して前記所定の撮影対象物を示す情報を付与せず、確率が前記第２の閾値以上でありかつ第１の閾値以下である場合は、画像と、画像への情報付与を受付けるための依頼受付情報とを、１以上の端末のいずれかにネットワークを介して送信する。【選択図】図４

Description

本開示は、画像などに情報を付与する方法に関する。

近年、Deep Learningと呼ばれる画像認識技術の精度が急速に向上している。このDeep Learningは、従来とは違い認識に用いる特徴量を自動で学習するという特長を持つ。しかしその反面、Deep Learningによる認識システムを構築するためには大規模な学習用画像データセットが必要となる。

Deep Learningでは、画像中に含まれる何らかの特定の物体（例えば動物や階段など、あらゆる生物や構造物を含む）を認識したい場合、その特定の物体を映した画像を集めた大規模な画像データセットを作成し、学習に用いる。認識精度向上のためには、認識対象が映った多様な画像を網羅的かつ大量に収集することが効果的であるということが知られている。また、Deep Learningに用いることに限らなくとも、例えば研究用途や特定の画像を提供するサービスを運営する場合など、特定の撮影対象物が写っている多様な画像を収集したいというニーズは高まっている。

特許文献１、特許文献２では、大量の画像を集める手法をそれぞれ開示している。

特許第４２９７１９３号公報 特開平１０−２６７６７１号公報

しかし、特許文献１または特許文献２では、撮影者の意図を含まない大量の画像から、特定の物体に関する画像のみを抽出し、大規模な画像データセットを生成する（または特定の物体に関する画像にタグ情報を付与する）方法に関しては、検討がされていなかった。

上記課題を解決すべく、本開示に係る情報付与方法は、サーバの情報付与方法であって、前記サーバのプロセッサが、ネットワークを介して、画像を撮像する機能もしくは他の機器から画像を取得する機能を有する１以上の端末のいずれかからネットワークを介して送信された画像を取得し、取得した前記画像に対して、所定の撮影対象物が含まれる確率を算出し、前記確率が第１の閾値より上である場合は、前記画像に対して前記所定の撮影対象物を示す情報を付与し、前記確率が第２の閾値より下である場合は、前記画像に対して前記所定の撮影対象物を示す情報を付与せず、前記確率が前記第２の閾値以上でありかつ前記第１の閾値以下である場合は、前記画像と、前記画像への情報付与を受付けるための依頼受付情報とを、前記１以上の端末のいずれかに前記ネットワークを介して送信する。

なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたは記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。

本開示によれば、人の意図を反映しない多様な撮影画像に対して、システム全体の人的コストを抑えつつ網羅的かつ効率的に情報を付与できるという効果を発揮する。

図１は、システムの概略の一例を示す図である。 図２は、撮影機器およびサーバの構成の一例を示す図である。 図３は、算出部の機能構成の一例を示す図である。 図４は、撮影機器およびサーバ間で行われる処理の一例を示す図である。 図５は、確率導出、処理判別に関する処理の一例を示すフローチャートである。 図６は、確率導出、処理判別に関する処理の一例を示すフローチャートである。 図７は、判定入力を行う際に端末の表示例を示す図である。

（発明の基礎となった知見）
特定の物体について大量の画像を集めるにあたり、特許文献１のように、撮影依頼主が撮影者に対して特定の物体を含んだ画像の取得を依頼し撮影させる方法がある。この技術では、撮影依頼主は撮影者に対し、どのような物体が写った画像が必要か、すなわち撮影対象物について具体的な指示を出す。しかし、この場合、特に撮影依頼主からの指定の無い限り、撮影者は、撮影対象物の手前に遮蔽物がない、対象物が中心に写っている、撮影対象物にブレがないなどの、綺麗な画像を撮ろうとする。つまり撮影者が撮影を行う時点で、撮影画像には撮影者側の意図が含まれてしまい、撮影対象物を綺麗に写した類似画像が多くなる。学習に用いる画像データセットは、同じ画像データセット内に類似した画像が少ない場合（すなわち非類似の画像・多様な画像が多い場合）に画像認識精度が向上する。これに対し特許文献１の手法により集められる画像データセットは似たような画像を多く含んでしまう可能性がある。

また、特許文献２では、車等の移動物体にカメラを設置し、画像を自動的に取得する方法を開示している。これにより人の意図を含まない画像を大量に取得することが可能となる。しかしこの場合、取得画像は常に撮影対象物を含んでいるわけではない。このため、撮影者は全ての取得画像に対して、撮影対象物を含むかどうかを判別する必要が生じる。また特許文献２では、取得画像内に含まれる物体の判別に位置情報を用いる。すなわち特許文献２の手法を用いると、「道路」や「ランドマーク」など常に場所の変わらないものであれば、自動的にその画像を「道路」や「ランドマーク」に関する画像データセットに含めるか否かの判断ができる可能性がある。しかし、例えば撮影対象物が「自動車」など位置情報が常に変化するものである場合、撮影位置に基づいて「自動車」の画像データセットに含めるか否かの判断をすることは不可能となる。また、位置情報に基づいて取得した画像に何が写っているかを自動で判断することには限界がある。例えば同じ位置でも上空を撮影すると、「道路」などの所望の撮影対象物が含まれない可能性がある。従って、結局は、特許文献２の手法を用いると取得した全ての画像に対して、人が撮影対象物を含むかどうかを判別する必要が生じる。

これらの課題を解決すべく、本開示における情報付与方法は、サーバの情報付与方法であって、前記サーバのプロセッサが、画像を撮像する機能もしくは他の機器から画像を取得する機能を有する１以上の端末のいずれかからネットワークを介して送信された画像を取得し、取得した前記画像に対して、所定の撮影対象物が含まれる確率を算出し、前記確率が第１の閾値より上である場合は、前記画像に対して前記所定の撮影対象物を示す情報を付与し、前記確率が第２の閾値より下である場合は、前記画像に対して前記所定の撮影対象物を示す情報を付与せず、前記確率が前記第２の閾値以上でありかつ前記第１の閾値以下である場合は、前記画像と、前記画像への情報付与を受付けるための依頼受付情報とを、前記１以上の端末のいずれかに前記ネットワークを介して送信する。

これにより、大量の画像を取得し、撮影対象物が含まれるかどうかが簡単に判別できるものは機械により短時間で判別し、判別が難しいものは人がより高精度な判別を行う画像収集・タグ付けシステムが構築される。よって人の意図を反映しない多様な撮影画像に対して、システム全体の人的コストを抑えつつ網羅的かつ大量に、情報を付与できる。

また、前記依頼受付情報には、前記画像に前記撮影対象物が含まれるか否かの選択を前記端末から受け付ける指示画面を表示するコマンドが含まれてもよい。

これにより、端末を保持するユーザが簡易に画像に対して情報を付与することが可能となる。

また、前記指示画面に基づき受付けた前記画像に前記撮影対象物が含まれるか否かの選択結果を、前記端末から取得し、前記選択結果が、前記撮影対象物が含まれる旨の選択結果である場合は、前記画像に対して前記所定の撮影対象物を示す情報を付与し、前記選択結果が前記撮影対象物が含まれない旨の選択結果である場合は、前記画像に対して前記所定の撮影対象物を示す情報を付与しない、としてもよい。

これにより、サーバにて判別が難しかった画像に対しても、適切に判別を行い、情報を付与（もしくは付与しない）する判断が出来る。

また、前記確率の算出には、前記サーバが予め保持している所定の撮影対象物が含まれる確率を算出するための演算器を用いてもよい。

また、前記演算器は、Deep Learning、Hog(Histogram of Oriented Gradient)、SVM(Support Vector Machine)、またはそれらの組み合わせによって構築された演算器であってもよい。

また、複数枚の画像に対して前記情報付与方法を用いた情報の付与を行うことで、情報が付与された複数枚の画像を蓄積し、前記情報が付与された複数枚の画像を用いて、前記演算器を更新してもよい。

これにより、本情報付与方法によって情報の付与された画像が増えていけば増えていくほど、本情報付与方法による情報付与に関する精度が向上する。

また、所定の枚数未満の前記情報が付与された画像を用いて構築された前記演算器を用いて、前記確率を算出する場合と、所定の枚数以上の前記情報が付与された画像を用いて構築された前記演算器を用いて、前記確率を算出する場合とで、前記第１の閾値および前記第２の閾値を、変更してもよい。

また、所定の枚数未満の前記情報が付与された画像を用いて構築された前記演算器を用いて、前記確率を算出する場合は、所定の枚数以上の前記情報が付与された画像を用いて構築された前記演算器を用いて、前記確率を算出する場合よりも、前記第１の閾値を高く設定し、前記第２の閾値を低く設定してもよい。

これにより、本情報付与方法によって情報の付与された画像が所定枚数より少ない場合は、演算器が構築されていないので、第１の閾値を高く、第２の閾値を低く設定することで、より端末のユーザ（撮影者）が情報付与する枚数を多くすることが出来る。

また、前記サーバは、前記取得では、前記端末から前記画像とともに前記端末の機器ＩＤを取得し、前記送信では、前記画像とともに取得した前記機器ＩＤを特定し、前記１以上の端末のうち、前記特定した機器ＩＤの端末に前記画像および前記依頼受付情報を送信してもよい。

これにより、画像を取得した同一の者（撮影者）によって画像への情報付与を行うことが出来るので、各画像が所定の対象物に該当するか否かを効率的に判断できる。

また、前記取得では、前記端末から前記画像とともに前記端末の機器ＩＤを取得し、前記画像および前記依頼受付情報の送信では、前記画像とともに取得し前記機器ＩＤを特定し、前記１以上の端末のうち、前記特定した機器ＩＤとは異なる機器ＩＤの端末とは異なる端末に前記画像および前記依頼受付情報を送信してもよい。

これにより、画像を取得した者とは別の者によって画像への情報付与を行うことが出来るので、情報付与に対して客観的な判断が出来る。

さらに前記情報付与方法によって前記画像に対して情報を付与するか否かの処理をした後に、前記端末に対して報酬を提供する情報を送信し、前記報酬は、前記画像に関する前記確率が前記第２の閾値以上でありかつ前記第１の閾値以下である場合に、前記確率が第１の閾値より上である場合および前記確率が第２の閾値より下である場合よりも、高く設定してもよい。

これにより、画像に関する前記確率が前記第２の閾値以上でありかつ前記第１の閾値以下である画像が多いときは報酬が高くそうでないときは報酬が低いので、撮影者にとっては、撮影依頼者が要求する画像を把握することができる。

また前記画像を取得する前に、前記所定の撮影対象物に関する選択を、前記端末から受付けてもよい。

以下で説明する実施の形態は、いずれも本開示の一具体例を示すものである。以下の実施の形態で示される数値、形状、構成要素、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。また全ての実施の形態において、各々の内容を組み合わせることもできる。

（実施の形態１）
（システムの全体像）
図１は、本実施の形態における画像収集システムの概略を示す図である。以下、図１を用いて本画像収集システムの概要について説明する。

本画像収集システムは、撮影者１が所有する撮影機器１００と、撮影依頼者２が所有するサーバ装置２００とを含む。

撮影機器１００は、例えばスマートグラスなどのような通信、入力、画像の撮影および表示が可能なモバイル端末である。サーバ装置２００は、様々な撮影機器から大量の情報を収集し、それらの情報の処理を行うクラウドサーバである。

なお、撮影依頼者２はサーバ装置２００を所有すると表現したが、サーバ装置２００の置かれている場所や管理主体は特に限定しない。撮影依頼者２が直接的または間接的にサーバ装置２００の管理をしていればよい。

撮影機器１００とサーバ装置２００はインターネットなどのネットワークを介して接続され、相互に情報の送受信を行うことが出来る。

本開示によれば、まず撮影者１は、撮影機器１００により画像を大量に取得し、ネットワークを介して撮影依頼者２所有するサーバ装置２００へ送る。また撮影依頼者２は、サーバ装置２００における処理により画像内に所望の被写体が含まれているか判定する。ここで、撮影依頼者２の所望の被写体を撮影対象物と呼ぶこととする。撮影対象物とは、物に限られず、人や生物も含む。また撮影依頼者２は、撮影対象物が含まれているかどうかがわからない画像を撮影者１の所有する撮影機器１００に送る。また撮影者１は、画像内に撮影対象物が含まれているか否かを撮影依頼者の所有するサーバ装置２００に送る。詳しい処理の流れについては後述する。

なお、撮影者１は複数名いることが望ましい。すなわち、サーバ装置２００は、複数の撮影機器１００と接続されてもよい。

撮影依頼者２は、画像識別器の学習用または評価用などの目的で特定の撮影対象物を含む画像が大量に必要な個人または団体である。画像識別器の学習または評価用として画像を収集する場合、多種多様な画像が得られることが精度の向上に繋がる。

そこで撮影依頼者２は例えば、撮影者１により撮影された画像がレアな画像である場合、このレアな画像を取得した分、撮影者１に対して高い報酬を与えるといったサービスを提供する。

レアな画像とは、例えば、撮影依頼者２が既に所有している撮影対象物を含む画像と似ていないものの、撮影対象物を含むような画像である。画像がレアかどうかは、撮影依頼者２の所有するサーバ装置２００にて画像内に撮影対象物が含まれる確率を導出することで、判断する。導出された確率が低く、かつ撮影対象が含まれる画像であると判断されれば、レアな画像であると判断される。また、モバイル端末において位置情報が取得できる場合は、その情報を用いて画像がレアかどうかを判別しても良い。これにより、撮影者１はより多くの報酬を得るために、より多様な場所やシーンでの撮影対象物を含む画像を積極的に収集するようになる。なお確率導出などの処理については詳細を後述する。

（各装置の構成）
図２の（ａ）、（ｂ）を用いて、本実施の形態における撮影機器１００およびサーバ装置２００の構成について説明する。撮影機器１００およびサーバ装置２００の構成はさまざまな形式が考えられるが、今回は、一番単純な例を用いて説明する。

撮影機器１００は、たとえば、スマートグラスのような装着型のもの、デジタルカメラ・スマートフォンのような持ち歩き方のもの、車やバイクのような移動手段に設置されるカメラなど、あらゆる移動可能な撮影・通信端末を含む。

撮影機器１００は、図２の（ａ）に示すように、撮影部１１０と、撮影機器通信部１２０と、表示部１３０と、入力部１４０とを備える。

撮影部１１０は、自動または手動により周辺環境から画像を取得する。撮影部１１０は撮影機器１００に搭載される、撮像機能を有するあらゆるデバイスを含む。例えば撮影機器１００がスマートフォンである場合、スマートフォンに搭載される撮像デバイス（CCDイメージセンサやCMOSイメージセンサ）などである。

撮影機器通信部１２０は、撮影機器１００とサーバ装置２００との間の通信を行う。撮影機器通信部１２０は汎用の通信モジュールを採用すればよく、特に限定しない。サーバ装置２００との間で通信を行う際の通信方式に関しても、例えば３G・LTE・WiFiなど、特に限定しない。

表示部１３０は、撮影画像および操作画面を表示する。表示部１３０も汎用の表示デバイスを採用すればよく、特に限定しない。

入力部１４０は、表示部１３０において表示される撮影画像が撮影対象物を含むかどうかの撮影者による判別結果を受け付ける。入力部１４０はボタンの他、タッチパネル、音声入力など、あらゆるインタフェースを含む。

この撮影機器１００が上記した全ての構成（撮影部１１０、撮影機器通信部１２０、表示部１３０、入力部１４０）を含まなくてもよい。一部の構成が別の装置に含まれていてもよい。例えば、撮影部１１０はカメラ単体、撮影機器通信部１２０はスマートフォンなどの通信機器で行うという構成も可能である。撮影部１１０には、通常のカメラの他、ウェアラブルカメラ、車載カメラなど、撮影機器通信部との通信が可能な全てのカメラを採用可能である。スマートグラスやウェアラブルカメラなど、撮影部１１０が常時撮影可能な機器の場合、自動で画像を取得することにより、恣意的ではない大量の画像が取得可能となる。カメラにより取得される画像は高画質である必要性はない。

またサーバ装置２００は、図２の（ｂ）に示すように、制御処理部２１０とサーバ装置通信部２２０とを備える。

制御処理部２１０について、図３を用いて詳細に説明する。制御処理部２１０は、確率導出手段２１１と処理判別手段２１２と画像管理手段２１３とを含む。

確率導出手段２１１は撮影機器１００において撮影されたある画像１枚に撮影対象物が含まれる確率を算出する。

処理判別手段２１２は確率導出手段２１１において求められた画像に撮影対象物が含まれる確率に応じて、画像のその後の処理を判別する。

画像管理手段２１３は、撮影部１１０において取得され、入力部１４０または処理判別手段２１２において撮影対象物を含むと判別された画像を保存する。また画像管理手段２１３は、撮影部１１０において取得され、入力部１４０または処理判別手段２１２において撮影対象物を含まないと判別された画像を破棄する。

報酬導出手段２１４は、撮影対象物が含まれる画像について、確率導出手段２１１において求められた画像に撮影対象物が含まれる確率を用いて撮影者１が得られる報酬を導出する。なお、報酬導出手段２１４にて、もし画像に位置情報も付属していれば、その位置情報も一緒に用いて報酬を導出しても良い。

サーバ装置通信部２２０は、サーバ装置２００の内部間および撮影機器１００とサーバ装置２００との間の通信を行う。撮影機器通信部１２０と同様の通信モジュールであってもよい。

サーバ装置２００が上記した全ての構成（制御処理部２１０、サーバ装置通信部２２０）を含まなくてもよい。また、制御処理部２１０が上記した全ての機能（確率導出手段２１１、処理判別手段２１２、画像管理手段２１３、報酬導出手段２１４）を含まなくてもよい。一部の構成および機能が別の装置に含まれていてもよい。一部の構成および機能を含む装置を撮影依頼者２以外の第三者が所有していてもよい。

（処理の流れ）
次に図４を用いて、本実施の形態における処理の流れを説明する。

図４は、撮影機器およびサーバ間で行われる処理の一例を示す図である。

撮影機器１００は、画像の撮影および画像に撮影対象物が含まれているかどうかの手動判別を行い、依頼情報の選択を受け付けるステップＳ３０４と、撮影処理を行うステップＳ３０６と、後述するステップ３１２にて送信された画像を表示するステップＳ３１３と、表示された画像が撮影対象物を含むどうかの判定入力を受け付けるステップＳ３１４とが行われる。

サーバ装置２００は、画像に対象物が含まれているかどうかの確率の導出および画像の処理判別を行い、撮影者ＩＤを割り振るステップＳ３０２と、画像に対象物が含まれているかどうかの確率を導出するステップＳ３０８と、ステップＳ３０８で導出された確率に基づいてその後の処理を判別するステップＳ３０９と、後述するステップＳ３０７で取得した画像（第一画像）を保存するステップＳ３１０と、第一画像を破棄するステップＳ３１１と、ステップＳ３１４にて撮影対象物を含むと判別された画像（第二画像）保存するステップＳ３１６と、第二画像を破棄するステップＳ３１７と、画像に対する報酬を計算ステップＳ３１８が行われる。

撮影機器１００とサーバ装置２００との間ではデータの通信を行い、ユーザ登録をおこなうステップＳ３０１と、依頼情報を送信するステップＳ３０３と、選択された依頼情報を送信するステップＳ３０５と、取得した画像を送信するステップＳ３０７と、判別画像を送信するステップＳ３１２と、判別画像の判別結果を送信するステップＳ３１５と、ステップＳ３１８による計算に基づいた報酬を送信するステップＳ３１９とが行われる。

上述のステップの詳細に関し、以下に説明を行う。

ステップＳ３０１にて撮影者１は撮影機器１００を用いてサーバ装置２００に対しユーザ登録を行う。すなわちステップＳ３０１では、撮影機器１００は撮影者１から受け付けた登録情報を、サーバ装置２００に送信する。この際の登録情報は例えば、名前の他、使用端末情報、居住地、知識の範囲、年齢、性別などの情報を含んでもよい。

次に、ステップＳ３０２にて、サーバ装置２００は撮影機器１００に対して登録をおこなったユーザ（撮影者１）のＩＤである撮影者ＩＤを割り振る。

または、ステップＳ３０２にて、サーバ装置２００は撮影機器１００に対して登録をおこなったユーザが利用する撮影機器１００のＩＤである機器ＩＤを割り振ってもよい。

または、例えば、ユーザが撮影機器１００と、サーバ装置２００と通信を行う端末装置（図示せず）とを用いる場合、端末装置は、撮影機器１００で撮影した画像を取得し、取得した画像をサーバ装置２００へ送信する場合、ステップＳ３０２では、撮影者ＩＤとこのＩＤの撮影者が利用する複数の機器（この例では、撮影機器１００と端末装置）の機器ＩＤを関連付けて割り振ってもよい。

次に、ステップＳ３０３にてサーバ装置２００は、撮影機器１００に対して依頼情報の送信（紹介）を行う。サーバ装置２００は、ステップＳ３０２の後に、ステップＳ３０２にて登録された情報を用いて、撮影機器１００に紹介する依頼の取捨選択を行っても良い。また、ステップＳ３０３にて送信する依頼情報には、複数の依頼情報が含まれていてもよい。この複数の依頼情報には、撮影依頼者２からの依頼や、その他の事業者からの依頼が含まれていてもよい。依頼情報とは具体的に例えば「犬の画像」や「車の画像」といったように撮影対象物を指定する情報が含まれる。

次に、ステップＳ３０４にて、撮影機器１００は、撮影者１から依頼情報の選択を受け付ける。撮影者１は、ステップＳ３０３にて撮影機器１００が受信した依頼情報のうち所望の依頼情報の選択をすることで、実行する依頼情報を決定する。依頼情報の選択は撮影機器１００の入力部（例えばボタン・タッチパネルや音声入力）によって行う。すなわちステップＳ３０４の処理により、撮影対象物が決定されることになる。

次に、ステップＳ３０５にて、撮影機器１００はステップＳ３０４にて選択された依頼情報および撮影機器１００の持つ撮影者ＩＤを、サーバ装置２００に送信する。

次に、ステップＳ３０６にて、撮影機器１００の撮影部１１０は撮影者の周囲環境より画像を取得する。撮影部１１０における画像の取得は自動または撮影者１による手動で実施される。自動の場合は予め指示されたクラウドソーシングの会社からの指示を受けて数十秒または数分に１回程度、その時点で撮影部１１０に映っている画像を取得する。また、自動の場合は撮影機器１００の位置情報に応じて撮影部１１０に映っている画像を取得してもよい。例えば、ある２つの地点X、Yがあり、X地点における写真がY地点における写真より少ない場合、X地点における画像の取得頻度をY地点における画像の取得頻度より高くすることで、より類似部分の少ない画像を多く取得することができる。取得した画像は、撮影機器１００の記録部（図示せず）に保存する。なおこの際の保存は一時的なものであって、次に説明するステップＳ３０７で送信をした後に削除をしてもよい。

次に、ステップＳ３０７にて撮影機器１００の撮影機器通信部１２０は、撮影部１１０にて取得された画像をサーバ装置通信部２２０へ送信する。すなわちステップＳ３０７にてサーバ装置通信部２２０は、撮影機器通信部１２０にてサーバ装置２００に送られる画像を受信する。なおこの際、画像と共に撮影者ＩＤまたは機器ＩＤ、撮影時の位置情報、使用端末情報などを一緒に送受信しても良い。この際、撮影機器通信部１２０がサーバ装置２００に画像を送信するタイミングは特に限定しない。ステップＳ３０６にて撮像する度に、１枚ずつ送信してもよいし、所定の枚数の画像を取得した時点で送信してもよいし、撮影者１が入力部１４０を介して指定する所望のタイミングで送信してもよい。

次に、ステップＳ３０８にて確率導出手段２１１は、ステップＳ３０７にて受信した画像が、ステップＳ３０４にて決定された撮影対象物を含む確率を導出する。確率の導出は、例えば、制御処理部２１０に含まれるDeep Learningによって予め構築された当該撮影対象物を識別するための演算器に、ステップＳ３０７にて受信した画像を入力することで導出する。ここで当該演算器はDeep LearningのみならずHog、SVM、またはそれらの組み合わせなどを用いた画像認識手法によって構築された演算器を用いてもよい。

ステップＳ３０９にて処理判別手段２１２は、確率導出手段２１１において導出された確率に基づきその後の処理を判別する。図５を用いてステップＳ３０９における処理の詳細を説明する。ステップＳ３０９を実行する前に判別に必要な閾値に対応する確率A、Bが設定されているものとする。確率A、BはA＞Bとする。ステップＳ３０９にて処理判別手段２１２は、確率導出手段２１１において導出された確率を入力とする。入力された確率がＡより高いどうかを判断する（ステップＳ３９０１）。確率導出手段２１１において導出された確率がAより高ければ（ステップＳ３９０１でＹｅｓ）、入力された確率の導出に用いた画像が撮影対象物を含むと判断しステップＳ３１０を実行する。確率導出手段２１１において導出された確率がA以下（ステップＳ３９０１でＮｏ）であれば、ステップＳ３９０２を実行する。ステップＳ３９０２では、確率導出手段２１１において導出された確率がＢより低いかどうかを判断する。確率導出手段２１１において導出された確率がＢより低い（ステップＳ３９０２でＹｅｓ）のであれば、入力された確率の導出に用いた画像が、撮影対象物を含まないと判断しステップＳ３１１を実行する。

確率導出手段２１１において導出された確率がＢ以上（ステップＳ３９０２でＮｏ）であれば、ステップＳ３１２を実行する。

ステップＳ３０９は、図５に示す処理が行われるので、確率導出手段２１１において導出された確率がAより大きいのであれば、入力された確率の導出に用いた画像が撮影対象物を含むと判断しステップＳ３１０を実行する。また、確率導出手段２１１において導出された確率がA以下で、かつBより小さいのであれば、この確率の導出に用いた画像が撮影対象物を含まないと判断しステップＳ３１１を実行する。また、確率導出手段２１１において導出された確率がA以下で、かつB以上であれば、ステップＳ３１２を実行する。なお、判別に必要な確率A、Bは撮影者の負担や必要な画像のレベルに応じて適宜変更しても良い。また、確率導出手段２１１にて用いられる撮影対象物を含む確率の計算機（演算器とも言う）は、収集された画像（例えば、撮影対象物のタグが付与された画像）を用いて新たに作成し（又は再構築し）、更新してもよい。確率導出手段２１１における計算機の更新にあわせて確率A、Bの値をそれぞれ変更してもよい。確率導出手段２１１における計算機は、新たに取得した画像を用いて更新することで、より精度が高くなる。より高い精度で確率を導出できる場合、確率A、Bを適切に設定することで、人手でタグ付けを行う画像を減らすことが可能となる。図６を用いて処理判別ステップＳ３０９の具体例を示す。図６は、撮影対象物が犬である場合のステップＳ３０９の具体例である。撮影機器１００にて取得した３枚の画像を画像X、画像Y、画像Zとする。この場合、ステップＳ３０８にて確率導出手段２１１は、画像に犬の含まれる確率を導出する。画像に犬の含まれる確率が、画像Xは９５％、画像Yは５０％、画像Zは５％とステップＳ３０８において求められているものとする。また判別のための確率A、Bはそれぞれ８５％、２０％と設定されているとする。この場合、ステップＳ３０９において処理判別手段２１２は、確率導出手段２１１において導出された確率を入力とする。この時、まず画像Xに犬が含まれる確率は８５％より高いため、犬であると判断され、サーバ装置２００に保存するためステップＳ３１０へ進む。次に画像Yに犬が含まれる確率は８５％以下かつ２０％以上であるため、機械では犬かどうか分からないものと判断され、手動判別を行うためステップＳ３１２へ進む。最後に画像Zに犬が含まれる確率は２０％より低いため、犬ではないと判断され、破棄するためステップＳ３１１へ進む。

図４に戻って処理の流れを説明する。ステップＳ３１０にて画像管理手段２１３は、ステップＳ３０９にて撮影対象物を含むと判別された（確率Aより高いと判別された）画像を、撮影対象物のタグを付与して、サーバ装置２００が備える図示しないメモリに保存する。メモリとは、例えば、ハードディスク、書き込み可能な半導体メモリなどの書き込み可能な記録媒体である。

ステップＳ３１１にて画像管理手段２１３は、ステップＳ３０９にて撮影対象物を含まないと判別された（確率Bより低いと判別された）画像を、撮影対象物のタグを付与せずに破棄する。

ステップＳ３１２にてサーバ装置通信部２２０は、ステップＳ３０９にて確率A以下であり確率B以上と判別された画像および、この画像への情報付与に対応するタグ付けを受付けるための依頼受付情報を撮影機器１００へ送信する。すなわちステップＳ３１２にて撮影機器通信部１２０は、サーバ装置通信部２２０にて撮影機器１００へ送られる画像を受信する。

例えば、ステップＳ３０９にて確率A以下であり確率B以上と判別された画像は、ステップＳ３０７において、撮影機器１００からネットワークを介して受信された画像である。

例えば、ステップＳ３０７において、画像とともに撮影者ＩＤまたは機器ＩＤを受信した場合、であって、かつこの画像がステップＳ３０９にて確率A以下であり確率B以上と判別された場合、ステップＳ３１２では、ステップＳ３０７において、この画像とともに受信した撮影者ＩＤまたは機器ＩＤを特定する。そして特定した撮影者ＩＤに対応する機器または機器ＩＤに対応する機器へこの画像と依頼受付情報を送信する。例えば、ステップＳ３０２のユーザ（この例では、撮影者１）の登録において、撮影者１の撮影者ＩＤに複数の機器を関連付けて登録した場合を考える。この場合、ステップＳ３１２では、撮影者ＩＤと対応付けたタグ付けの作業が行いやすい機器（例えば、スマートフォン、タブレット型の携帯端末）へ画像と依頼受付情報を送信するのでもよい。このようにすれば、タグ付けの作業を行うものは、タグ付けの作業がより行いやすくなる。

なお、ステップＳ３１２では、ステップＳ３０７において、この画像とともに受信した撮影者ＩＤとは異なる撮影者ＩＤの機器へ、画像および依頼受付情報を送ってもよい。このようにすれば、この画像をサーバ装置２００へ送信した者（画像取得者）とは別の者（撮影者）へ送っても良い。画像を画像取得者とは別の、より手の空いた撮影者へ送ることで、タグ付けがよりスピーディーになる。また、画像を複数の撮影者へ送ることで、より精度の高いタグ付けを行うことが可能となる。画像をその画像の取得者へ送り戻す場合、ステップＳ３０７にて撮影者ＩＤを画像と一緒に送ることで、同じ画像取得者へと送ることが可能となる。

なお、ステップＳ３１２では、ステップＳ３０７において、この画像とともに受信した機器ＩＤを特定し、特定した機器ＩＤとは異なる機器ＩＤの機器へ、画像および依頼受付情報送ってもよい。

ステップＳ３１３にて表示部１３０は、撮影機器通信部１２０にて受信した依頼受付情報を受け付け、受信した画像を含み、画像に撮影対象物が含まれるか否かの選択を端末から受け付ける指示画面を表示する。指示画面は、例えば、撮影対象物が含まれるか否かの選択を行うアイコン画像（例えば、「Ｙｅｓ」および「Ｎｏ」に対応するアイコン画像）を含む。

ステップＳ３１４にて入力部１４０は、表示部１３０にて表示された画像が撮影対象物を含むどうかの撮影者による判別結果を受け付ける。

図７は、ステップＳ３１３にて画像を表示する際のインタフェース例である。処理判別ステップＳ３０９にて、撮影対象物が含まれるかどうかを機械によって判別できないと判断された画像（ステップＳ３１２にて送信される、確率A以下であり確率B以上と判別された画像）は、ステップＳ３１３にて図７の例のように表示部１３０に表示される。撮影者１はステップＳ３１３にて表示された画像について、ステップＳ３１４にて撮影対象物が含まれるかどうかを判断し、入力部１４０より判断結果を入力する。

ステップＳ３１５にて撮影機器通信部１２０は、入力部１４０にて入力された画像が撮影対象物を含むどうかの撮影者による判別結果を、サーバ装置２００へ送信する。すなわちステップＳ３１５にてサーバ装置通信部２２０は、入力部１４０にて入力された画像が撮影対象物を含むどうかの撮影者による判別結果を受信する。画像が撮影対象物を含むという判別結果を受信した場合、ステップＳ３１６を実施する。また画像が撮影対象物を含まないという判別結果を受信した場合、ステップＳ３１７を実施する。

ステップＳ３１６にて画像管理手段２１３は、ステップＳ３１４にて撮影対象物を含むと判別された画像に撮影対象物のタグを付与し、サーバ装置２００が備える図示しないメモリに保存する。なお、画像が撮影対象物を含むという判別結果として、撮影対象物のタグが付された画像をステップＳ３１５において受信した場合、ステップＳ３１６にて画像管理手段２１３は、この画像をメモリに保存すればよい。

ステップＳ３１７にて画像管理手段２１３は、ステップＳ３１４にて撮影対象物を含まないと判別された画像を破棄する。

ステップＳ３１８にて報酬導出手段２１４は、ステップＳ３１０にて求められた、画像に撮影対象物が含まれる確率を用いて報酬の導出を行う。ここでは例えば、ステップＳ３１２にて送信する画像が多いほど（すなわち、ステップＳ３０９にて確率A以下であり確率B以上と判別された画像が多いほど）、報酬を高く導出する。

ステップＳ３１９にてサーバ装置２００は、撮影機器１００に対して撮影者への報酬の送付を行う。報酬は、お金、ネットマネー、ゲームポイント、割引券、抽選券など、撮影者の利益となるあらゆるものを含む。

なお、ステップＳ３０８における確率の導出は、例えば、制御処理部２１０に含まれるDeep Learningによって予め構築された撮影対象物を識別するための演算器を用いることは前述したとおりである。より具体的には例えば、撮影対象物の認識のために予め用意された複数の学習用画像のデータセットを用いてDeep Learningによる学習が行われ、撮影対象物を識別するための演算器が予め構築される。

例えば、ステップＳ３１０、ステップＳ３１６により保存された複数枚の画像を学習用画像のデータセットに加えて学習を行い、撮影対象物を識別するための演算器を更新（又は再構築）してもよい。このような更新を行うことで、演算器を用いて導出される確率の精度（または信頼度）がより高くなる。

演算器を更新するタイミングは、例えば、ステップＳ３１０、ステップＳ３１６により画像を保存するタイミングで行ってもよいし、ステップＳ３０８を実行する前に行ってもよい。

例えば、所定の枚数未満の画像を用いて構築した演算器を用いて確率を導出する場合と、所定の枚数以上の画像を用いて構築した演算器を用いて確率を導出する場合とで、ステップ３０９において、判別に必要な確率A、Bの値を変更するのでもよい。

例えば、所定の枚数未満の画像を用いて構築した演算器を用いて確率を導出する場合において、設定する確率Aの値は、所定の枚数以上の画像を用いて構築した演算器を用いて確率を導出する場合において、設定する確率Aの値よりも高い値に設定してもよい。

また、例えば、所定の枚数未満の画像を用いて構築した演算器を用いて確率を導出する場合において、設定する確率Bの値は、所定の枚数以上の画像を用いて構築した演算器を用いて確率を導出する場合において、設定する確率Bの値よりも低い値に設定してもよい。

所定の枚数というのは、例えば、認識すべき撮影対象物に応じて決めてもよいし、サーバ装置２００を管理する管理者が適宜決めてもよい。

以上により、大量の画像を取得し、撮影対象物が含まれるかどうかが簡単に判別できるものは認識器により短時間で判別し、判別が難しいものは人がより高精度な判別を行う画像収集・タグ付けシステムが構築される。従来特許では、撮影対象物が含まれる大量の画像を収集する場合、撮影者の意図が含まれる画像が多く集まってしまい、画像に偏りが生じていた。また、撮影者の意図が含まれない大量の画像を収集した場合、その大量の画像に対して撮影対象物が含まれるか否かの情報を付与する具体的な手法が検討されていなかった。よって、収集した全ての画像に対して人手で撮影対象物が含まれるか否かの情報を付与する作業が必要となり、大きな手間が必要であった。しかし本開示により、所望の撮影対象物が含まれる画像であって、人の意図が含まれない多様な撮影画像を網羅的かつ大量に収集し、それら大量の画像に対して意図する情報（撮影対象物であるか否かに関する情報など）を、システム全体の人的コスト・負荷を抑えつつ効率的に付与することができる。これにより、所望の撮影対象物であるという情報が付与された大量の多様な画像データセット（似たような画像に偏らない画像データセット）を学習用画像として用いることで、より認識性能の高い画像認識器を構築することが可能となる。よって、例えばDeep Learningなどの手法を用いた画像認識システムを、従来よりも効率的かつ精度よく構築することが出来る。

以上、実施の形態にて本開示の処理について説明したが、各処理が実施される主体や装置に関しては特に限定しない。ローカルに配置された特定の装置内に組み込まれたプロセッサなど（以下に説明）によって処理されてもよい。またローカルの装置と異なる場所に配置されているクラウドサーバなどによって処理されてもよい。また、ローカルの装置とクラウドサーバ間で情報の連携を行うことで、本開示にて説明した各処理を分担してもよい。以下本開示の実施態様を説明する。

（１）上記の装置は、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、ハードディスクユニット、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムである。前記ＲＡＭまたはハードディスクユニットには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、各装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。

（２）上記の装置を構成する構成要素の一部または全部は、１個のシステムＬＳＩ（Large Scale Integration：大規模集積回路）から構成されているとしてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。前記ＲＡＭには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、システムＬＳＩは、その機能を達成する。

（３）上記の装置を構成する構成要素の一部または全部は、各装置に脱着可能なＩＣカードまたは単体のモジュールから構成されているとしてもよい。前記ＩＣカードまたは前記モジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどから構成されるコンピュータシステムである。前記ＩＣカードまたは前記モジュールは、上記の超多機能ＬＳＩを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、前記ＩＣカードまたは前記モジュールは、その機能を達成する。このＩＣカードまたはこのモジュールは、耐タンパ性を有するとしてもよい。

（４）本開示は、上記に示す方法であるとしてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、前記コンピュータプログラムからなるデジタル信号であるとしてもよい。

（５）また、本開示は、前記コンピュータプログラムまたは前記デジタル信号をコンピュータで読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Blu-ray（登録商標） Disc）、半導体メモリなどに記録したものとしてもよい。また、これらの記録媒体に記録されている前記デジタル信号であるとしてもよい。

また、本開示は、前記コンピュータプログラムまたは前記デジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。

また、本開示は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、前記メモリは、上記コンピュータプログラムを記憶しており、前記マイクロプロセッサは、前記コンピュータプログラムにしたがって動作するとしてもよい。

また、前記プログラムまたは前記デジタル信号を前記記録媒体に記録して移送することにより、または前記プログラムまたは前記デジタル信号を、前記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。

（６）上記実施の形態及びその変形例をそれぞれ組み合わせるとしてもよい。

本開示は、画像から、画像中に含まれる物体が何であるかを精度良く認識することができる物体認識方法及びシステムに関連し、デジタルカメラ、ムービー、監視カメラ、車載カメラ、ウェアラブルカメラなどの撮像装置として有用である。

１００ 撮影機器
１１０ 撮影部
１２０ 撮影機器通信部
１３０ 表示部
１４０ 入力部
２００ サーバ装置
２１０ 制御処理部
２１１ 確率導出手段
２１２ 処理判別手段
２１３ 画像管理手段
２１４ 報酬導出手段

Claims (15)

1. サーバの情報付与方法であって、前記サーバのプロセッサが、
   画像を撮像する機能もしくは他の機器から画像を取得する機能を有する１以上の端末のいずれかからネットワークを介して送信された画像を取得し、
   取得した前記画像に対して、所定の撮影対象物が含まれる確率を算出し、
   前記確率が第１の閾値より上である場合は、前記画像に対して前記所定の撮影対象物を示す情報を付与し、
   前記確率が第２の閾値より下である場合は、前記画像に対して前記所定の撮影対象物を示す情報を付与せず、
   前記確率が前記第２の閾値以上でありかつ前記第１の閾値以下である場合は、前記画像と、前記画像への情報付与を受付けるための依頼受付情報とを、前記１以上の端末のいずれかに前記ネットワークを介して送信する、
   情報付与方法。
2. 前記依頼受付情報には、前記画像に前記撮影対象物が含まれるか否かの選択を前記端末から受け付ける指示画面を表示するコマンドが含まれる、
   請求項１に記載の情報付与方法。
3. さらに、前記指示画面に基づき受付けた前記画像に前記撮影対象物が含まれるか否かの選択結果を、前記端末から取得し、
   前記選択結果が、前記撮影対象物が含まれる旨の選択結果である場合は、前記画像に対して前記所定の撮影対象物を示す情報を付与し、
   前記選択結果が、前記撮影対象物が含まれない旨の選択結果である場合は、前記画像に対して前記所定の撮影対象物を示す情報を付与しない、
   請求項２に記載の情報付与方法。
4. 前記確率の算出には、前記サーバが予め保持している所定の撮影対象物が含まれる確率を算出するための演算器を用いる、
   請求項１に記載の情報付与方法。
5. 前記演算器は、Deep Learning、Hog(Histogram of Oriented Gradient)、SVM(Support Vector Machine)、またはそれらの組み合わせによって構築された演算器である、
   請求項４に記載の情報付与方法。
6. 複数枚の画像に対して前記情報付与方法を用いた情報の付与を行うことで、情報が付与された複数枚の画像を蓄積し、
   前記情報が付与された複数枚の画像を用いて、前記演算器を更新する、
   請求項４または請求項５に記載の情報付与方法。
7. 所定の枚数未満の前記情報が付与された画像を用いて構築された前記演算器を用いて、前記確率を算出する場合と、所定の枚数以上の前記情報が付与された画像を用いて構築された前記演算器を用いて、前記確率を算出する場合とで、
   前記第１の閾値および前記第２の閾値を、変更する、
   請求項４または請求項５に記載の情報付与方法。
8. 所定の枚数未満の前記情報が付与された画像を用いて構築された前記演算器を用いて、前記確率を算出する場合は、
   所定の枚数以上の前記情報が付与された画像を用いて構築された前記演算器を用いて、前記確率を算出する場合よりも、前記第１の閾値を高く設定し、前記第２の閾値を低く設定する、
   請求項７に記載の情報付与方法。
9. 前記取得では、前記端末から前記画像とともに前記端末の機器ＩＤを取得し、
   前記送信では、前記画像とともに取得した前記機器ＩＤを特定し、前記１以上の端末のうち、前記特定した機器ＩＤの端末に前記画像および前記依頼受付情報を送信する、
   請求項１に記載の情報付与方法。
10. 前記画像の取得では、前記端末から前記画像とともに前記端末の機器ＩＤを取得し、
    前記送信では、前記画像とともに取得した前記機器ＩＤを特定し、前記１以上の端末のうち、前記特定した機器ＩＤの端末とは異なる端末に前記画像および前記依頼受付情報を送信する、
    請求項１に記載の情報付与方法。
11. さらに前記情報付与方法によって前記画像に対して情報を付与するか否かの処理をした後に、前記端末に対して報酬を提供する情報を送信し、
    前記報酬は、前記画像に関する前記確率が前記第２の閾値以上でありかつ前記第１の閾値以下である場合に、前記確率が第１の閾値より上である場合および前記確率が第２の閾値より下である場合よりも、高く設定する、
    請求項１に記載の情報付与方法。
12. 前記画像を取得する前に、前記所定の撮影対象物に関する選択を、前記端末から受付ける、
    請求項１に記載の情報付与方法。
13. 前記取得、前記算出、および前記付与の少なくとも１つは、プロセッサにより行われる請求項１に記載の情報付与方法。
14. プロセッサを備え、
    前記プロセッサは、
    画像を撮像する機能もしくは他の機器から画像を取得する機能を有する１以上の端末のいずれかからネットワークを介して画像を取得し、
    取得した前記画像に対して、所定の撮影対象物が含まれる確率を算出し、
    前記確率が第１の閾値より上である場合は、前記画像に対して前記所定の撮影対象物を示す情報を付与し、
    前記確率が第２の閾値より下である場合は、前記画像に対して前記所定の撮影対象物を示す情報を付与せず、
    前記確率が前記第２の閾値以上でありかつ前記第１の閾値以下である場合は、前記画像と、前記画像への情報付与を受付けるための依頼受付情報とを、前記１以上の端末のいずれかに送信する、
    サーバ装置。
15. プログラムを記録した記録媒体であって、
    前記プログラムは、コンピュータに、
    画像を撮像する機能もしくは他の機器から画像を取得する機能を有する１以上の端末のいずれかからネットワークを介して取得した画像に対して、所定の撮影対象物が含まれる確率を算出し、
    前記確率が第１の閾値より上である場合は、前記画像に対して前記所定の撮影対象物を示す情報を付与し、
    前記確率が第２の閾値より下である場合は、前記画像に対して前記所定の撮影対象物を示す情報を付与せず、
    前記確率が前記第２の閾値以上でありかつ前記第１の閾値以下である場合は、前記画像と、前記画像への情報付与を受付けるための依頼受付情報とを、前記１以上の端末のいずれかに送信する、処理を実行させる、
    記録媒体。