JP2022106354A - 遠隔収穫システム - Google Patents

Abstract

【課題】顧客が、遠隔で取得した風景画像から収穫物（農作物など）を特定しやすくする。
【解決手段】第１のシステム１は、収穫物を含む風景を撮像可能な収穫側撮像部１０と、収穫側撮像部１０が撮像した風景画像を表示する収穫側画像表示部１１とを備え、第２のシステム３は、通信手段を介して、収穫側撮像部１０が撮像した風景画像を取得する画像受信部３２と、画像受信部３２が受信した風景画像を表示する顧客側画像表示部３３とを備える。更に、収穫側撮像部１０が撮像した風景画像中の収穫物を抽出する抽出部２１と、抽出部２１の抽出情報に基づき、抽出部２１が抽出処理を行った風景画像に対し、収穫物の画像を強調表示する加工を行う強調処理部２２と、を有し、顧客側画像表示部３３が表示する風景画像は、強調処理部２２の処理で収穫物を強調表示された風景画像である。
【選択図】 図１

Description

特許法第３０条第２項適用申請有り （１）トッパンプレスリリース 掲載日 ：令和２年１０月２６日 掲載アドレス：ｈｔｔｐｓ：／／ｗｗｗ．ｔｏｐｐａｎ．ｃｏ．ｊｐ／ｎｅｗｓ／２０２０／１０／ｎｅｗｓｒｅｌｅａｓｅ＿２０１０２６＿１．ｈｔｍｌ （２）展示日 ：令和２年１１月１５日 展示会名：Ｏｓａｋａ Ｆｏｏｄ Ｌａｂ（りんごマルシェ内）

本発明は、実際の農場等の作物収穫場所にいなくても遠隔で収穫物を指定し収穫指示を行うことを可能とする遠隔収穫システムに関する技術である。
本発明は、例えば、果物や野菜などを作る農場、果樹園などに撮像装置を設置し、撮影した農作物（収穫物）の画像を顧客に送信することで、顧客が遠隔で疑似的に好みの農作物を刈り取る経験を行うための技術である。
なお、本明細書で顧客とは、一般消費者に限定されず、収穫物を収穫者する者以外を指す。

従来、消費者（非生産者）は、果実や野菜などの農作物を入手する場合、スーパーなどの小売店で購入する。また、個々の農作物の生育状態を実際に見て、気に入った特定の農作物を入手したい場合には、消費者は直接に農家など収穫場所に出向く必要があった。
これに対し、特許文献１には、消費者やバイヤーが栽培農家に出向くことなく、温室や果樹園等の栽培圃場で選択しながら果実を収穫する形に近い形で購入できる果実の遠隔収穫システムが記載されている。この従来のシステムでは、映像を用いて一般消費者等が遠隔地から映像ＩＤや座標軸を指定することで、所望の農作物を入手することができる。
しかし、この従来技術にあっては、果実を含む風景を撮像した映像からだけでは、素人である一般消費者には、風景画像中における選択対象となる果実の存在が分かり難かったり、各果実の適正な収穫時期か否かの判断が難しかったりするという問題があった。

特開２００４－２５８９８３号公報

本発明は、上記のような点に着目してなされたものであり、顧客が、遠隔で取得した風景画像から収穫物（農作物など）を特定しやすくすることを目的とする。

課題解決のために、本発明の一態様は、収穫者側の第１のシステムと顧客側の第２のシステムとが通信手段を介してデータの授受を行うシステムであって、第１のシステムは、収穫物を含む風景を撮像可能な収穫側撮像部と、上記収穫側撮像部が撮像した風景画像を表示可能な収穫側画像表示部と、を備え、上記第２のシステムは、通信手段を介して、上記収穫側撮像部が撮像した風景画像を取得する画像受信部と、上記画像受信部が受信した風景画像を表示する顧客側画像表示部とを備え、更に、上記収穫側撮像部が撮像した風景画像中の収穫物を抽出する抽出部と、上記抽出部の抽出情報に基づき、上記抽出部が抽出処理を行った風景画像に対し、収穫物の画像を強調表示する加工を行う強調処理部と、を有し、上記顧客側画像表示部が表示する風景画像は、上記強調処理部の処理で収穫物を強調表示された風景画像である、ことを要旨とする遠隔収穫システムである。

また、本発明の他の態様は、上記構成の遠隔収穫システムに用いられ、上記第１のシステムと第２のシステムとのデータの授受を仲介するサーバーであって、上記収穫側撮像部が撮像した風景画像を受信し、受信した風景画像を、上記第２のシステムに提供する画像提供部を備えると共に、上記抽出部及び上記強調処理部を有し、上記画像提供部は、上記抽出部及び強調処理部での処理で加工後の風景画像を、第２のシステムに提供する、遠隔収穫システム用のサーバーである。

本発明の態様によれば、通信手段を介して取得した風景画像に写っている選択対象となる各収穫物を、顧客が当該風景画像から特定しやすくなる。
この結果、本発明の対象によれば、例えば、一般消費者でも農作物の存在や、適正な収穫時期の判断がしやすくなる。

本発明に基づく実施形態に係る遠隔収穫システムの構成を示す図である。 本発明に基づく実施形態に係る第１のシステムの構成を示す図である。 本発明に基づく実施形態に係るサーバーの構成を示す図である。 本発明に基づく実施形態に係る第２のシステムの構成を示す図である。 タブレット等からなる顧客側画像表示部に表示される風景画像の例を示す図である。 本発明に基づく実施形態に係る第２のシステムの他の構成を示す図である。

次に、本発明に実施形態について説明する。
ここで、同一の構成要素については便宜上の理由がない限り同一の符号を付けて説明する。また、各図面において、各構成要素は誇張されて記載されていることがあり、構成要素の構想なども実際のシステムとは相違させて図示していることがある。また、本発明は、以下の実施形態に限定されるものではなく、その主旨を逸脱しない限りにおいて、適宜の組合せや変形によって具体化でき、そのような変更や改良を加えた形態も本発明に含まれ得る。

以下に説明する例では、主として、収穫物が農作物の一種であるリンゴの場合を例に挙げて説明する。
ただし、本発明が対象とする収穫物は、リンゴなどの樹に成る農作物に限定されず、地面近傍に成るイチゴや白菜などの農作物であっても良い。また、収穫物は、農作物に限定されず、家畜などの動物や魚類、卵、自生のキノコなどでもよい。
また、本実施形態では、撮像する収穫物は収穫前の収穫物とするが、本発明は、掘り起こしたサツマイモのなどの、収穫後の農作物を含む風景を撮像対象としても良い。

本実施形態の遠隔収穫システムは、図１に示すように、第１のシステム１と、第２のシステム３と、サーバー２とを備え、第１のシステム１と第２のシステム３とが無線通信手段を介してデータの授受を行うシステムである。
第１のシステム１は、農家側（収穫者側）に設けられたシステムである。
第２のシステム３は、受信した風景画像からリンゴ（収穫物）を選択して第１のシステム１に収穫指示を行う顧客側のシステムである。なお、顧客は、収穫物を購入したい一般消費者でも良いし、農家の管理者でも良い。
サーバー２は、第１のシステム１と第２のシステム３とのデータの授受を仲介するシステムである。サーバー２は、第１のシステム１に統合されて入れも良い。

＜第１のシステム１＞
第１のシステム１は、図２に示すように、収穫側撮像部１０、収穫側画像表示部１１、収穫物特定部１２、報知部１４、及び収穫側通信部１３を備える。
［収穫側撮像部１０］
収穫側撮像部１０は、収穫物を含む風景を撮像可能な装置である。収穫側撮像部１０は、スマートグラスのカメラ部、携帯カメラ、携帯端末のカメラ部などから構成される。収穫側撮像部１０を２以上有していてもよい。
収穫物撮像部は、例えば、５ｆｐｓのフレームレートで連続的に撮像する静止画（風景画像）を、収穫側通信部１３を介してサーバー２に連続的に送信すると共に、当該風景画像を、収穫側画像表示部１１に供給する。撮像した風景画像を不図示の記憶部に記憶しておいてもよい。撮像した風景画像はカラー画像とする。３Ｄ画像であってもよい。また、送信する風景画像は、これらに限るものではなく、フレームレートを３０ｆｐｓ以上としたいわゆる動画などを用いてもよい。

本実施形態では、収穫者が、収穫側撮像部１０を有する装置を所持して、収穫対象のリンゴの映しながら移動するとする。収穫者の移動は、収穫側撮像部１０を収穫者が身に付けて歩くようにしても良いし、収穫側撮像部１０を車やカートなどに取り付けて移動するようにしてもよい。

［収穫側画像表示部１１］
収穫側画像表示部１１は、収穫側撮像部１０から取得した風景画像を表示するディスプレイ装置である。収穫側画像表示部１１が２以上あってもよい。本実施形態では、収穫側撮像部１０と共に収穫側画像表示部１１を移動させる場合を例示するが、収穫側画像表示部１１を収穫側撮像部１０とは別の者が有していても良い。
収穫側画像表示部１１は、例えば、収穫側撮像部１０が取得した最新の風景画像を表示する。また、例えば、収穫側画像表示部１１は、最新の風景画像と共に、第２のシステム３で選択された風景画像を表示可能としてもよい。
収穫側画像表示部１１は、スマートグラスの表示部、携帯端末の表示部などから構成される。

［収穫物特定部１２］
収穫物特定部１２は、第２のシステム３の位置情報送信部３５が送信した収穫物の位置特定情報に基づき、当該位置特定情報に対応する収穫物の特定情報を収穫側画像表示部１１に表示する処理を行う。
例えば、収穫物特定部１２は、収穫側画像表示部１１が表示する、第２のシステム３で選択された風景画像（第１の風景画像と呼ぶ）、若しくは最新の風景画像（第２の風景画像と呼ぶ）に対し、上記位置特定情報で特定された収穫物の位置にポインタ画像を重ねる（付加する）処理を実行する。この場合、ポインタ画像が収穫物の特定情報となる。
ここで、第１の風景画像は、第２のシステム３に送った風景画像を第１のシステム１が保存したものを用いることができる。

例えば、顧客からの位置特定情報に応じた指示（ポインタなど）情報が、スマートグラスのレンズに投影され、スマートグラスを装着している収穫者が実際に目で見ている視覚情報に重なって見えるように処理を行ってもよい。この場合、顧客側の画像とその時に収穫者側がレンズ越しに見ている視界との同期（位置合わせ）を取るために、座標軸の補正処理を行ったうえでポインタなどをスマートグラスのレンズに投影する。

リンゴ（収穫物）の位置特定情報がユニバーサル座標の場合には、現在表示中の風景画像の特定位置のユニバーサル座標から、その風景画像中の指定されたリンゴの位置を特定すればよい。リンゴの位置特定情報が、例えばリンゴを指定した風景画像を特定する画像特定情報と、その風景画像中の指定したリンゴの位置情報とであれば、上記特定する画像特定情報と現在の風景画像との補間などから、現在の風景画像中のリンゴの位置を特定する。又は、その上記特定の風景画像にリンゴの位置を表示して、現在の風景画像とは別に表示するようにしてもよい。

ここで、第１の風景画像を用いる場合、第２のシステム３から取得したポインタの座標を第１のシステム１が保存している画像に重ねる（同じ画像なので）ことで実現すればよい。
第２の風景画像を用いる場合、画像の位置合わせ処理を行う手法を用いることで実現できる。例えば以下の方法を用いればよい。
すなわち、複数コマ前の画像（タブレットに送った画像）と現在の画像の差分をスマートグラス側（第１のシステム１）、タブレット側（第２のシステム３）、又はサーバー２で算出を行い、その結果を鑑みてポインタ座標を動かす処理を行い、第２の風景画像にポインタを重ねる。画像同士の差分は公知の画像処理で行うことができる。このとき、「ポインタを動かす」処理でも良いし、ポインタの座標を固定し「画像自体を動かす」処理でも良い。

なお、高精度のＧＰＳを用いれば、基準画像と共に基準画像のＧＰＳ情報、第一の端末の加速度センサーなどの情報を保存しておき、基準画像と現在の画像のＧＰＳ、加速度センサーの情報から、相対的な位置関係を算出し、画像が全く重なっていない場合でもどの程度のずれがあるか算出することはでき、例えば現在の画像をもう少し左の方にもっていけば基準画像と重なる場合は左の方に異動するように促すような表示を行い、画面上で重なったときに、ポインタ情報を重ねて表示するようにしてもよい。

また、サーバーが処理する場合、スマートグラス側から受信した画像（動画の場合は切り出した静止画）を基準画像としてサーバー内で保存し、この基準画像に処理をして顧客タブレットに送信し、顧客タブレットからは特定情報の座標情報のみを取得し、基準画像に重ねる処理を行いスマートグラスに送信し、スマートグラスは映すだけでも良い。現実的には、画像自体をスマートグラスに送信せずにサーバーにアクセスさせて表示する方が好ましい。ちなみに、ポイントの基点情報を収穫場所に物理的に設置（ポールなどで構成）し、撮影した画像上でその設置した基点情報からの位置として、表示することもできる。
なお、風景画像とポインタを重ねる作業は第１のシステムで行わなくてもよく、第２のシステムで風景画像とポインタを重ねて第１のシステムに送信しても良い。
また、スマートグラスとは別に、収穫側画像表示部１１としてタブレットを有していても良い。

［報知部１４］
報知部１４は、第１のシステム１が上記の位置特定情報を取得すると、停止指示を報知する。報知指示は、例えば、音声によって、「停止して下さい」となどと、収穫側画像表示部１１の操作者に通報する。収穫側画像表示部１１に「一時停止」などの警告画像を表示するようにしても良い。
これによって、収穫側撮像部１０が撮像している最新の風景画像中に、顧客が選択したリンゴが映っている可能性を高めることができる。
＜サーバー２＞
サーバー２は、図３に示すように、画像提供部２０及びデータベース２４を備える。本実施形態のサーバー２は、更に、抽出部２１、強調処理部２２、及び情報付加部２３を備える。

［画像提供部２０］
画像提供部２０は、収穫側撮像部１０が撮像した風景画像を受信し、受信した風景画像を第２のシステム３に提供する処理を行う。受信した画像は、適宜データベース２４に格納する。
なお、画像提供部２０は、抽出部２１、強調処理部２２、情報付加部２３の処理が実行された風景画像については、抽出部２１、強調処理部２２、情報付加部２３の処理で加工後の風景画像を、受信した風景画像として第２のシステム３に提供する処理を行う。

［抽出部２１］
抽出部２１は、収穫側撮像部１０が撮像した風景画像中の収穫物を抽出する処理を実行する。
本実施形態の抽出部２１は、画像提供部２０が受信した風景画像について、風景画像中の収穫物を抽出する処理を実行する。
本実施形態の抽出部２１では、りんごの色（赤色：成熟度を表現する色）に基づき、ＨＳＶの数値の範囲を指定して画像中のリンゴの抽出処理をしている。収穫物の抽出は、輪郭での判断に基づく抽出など、公知の抽出技術を用いれば良い。

リンゴやトマト、ブドウ、ナシ、みかんなど、収穫物の色が周囲の背景と大きく異なる場合は、色情報を用いて抽出することが好適である。さらに輪郭の形状情報を組み合わせることで精度を向上させることができる。また、周囲と温度が異なるものが対象となる場合、温度センサーを組み合わせ、温度情報を用いて抽出してもよい。
ここで、風景画像から、機械学習に基づき、リンゴの抽出を行ったり、リンゴの画像からリンゴの成熟度などの表示（差別化情報の表示）を行ったりしても良い。
なお、風景画像中において、部分的に見えているリンゴは、その一部露出している部分のみで１つのりんごとして扱ってもよいし、リンゴの形状を復元するように推定してリンゴを抽出するようにしてもよい。

［強調処理部２２］
強調処理部２２は、抽出部２１の抽出情報に基づき、抽出部２１が抽出処理を行った風景画像に対し、収穫物の画像を強調表示する加工を行う。
本実施形態の強調処理部２２は、画像提供部２０が受信した風景画像について、風景画像中の収穫物を強調表示する処理を実行する。
強調表示としては、例えば、図５に示すように、タブレット４の表示部に表示される風景画像に対し、抽出したリンゴ１０１を枠１０２で囲む強調表示や、抽出したリンゴ１０１以外の風景（背景）を、カラー画像から白黒画像にしたり全面的に白や灰色にしたりする強調表示や、リンゴである旨の注釈をつけるような強調表示がある。これにより、選択可能なリンゴを浮き上がられる強調処理が実行される。
他の強調表示としては、例えば、リンゴを囲む枠が揺れたり、動いたり、色が変わったり、点滅させたりしても良い。また抽出したリンゴ（収穫物）を擬人化して、リンゴから吹き出しが出たり、リンゴに表情を付けたりしても良い。

［情報付加部２３］
情報付加部２３は、抽出部２１が抽出処理を行った風景画像に対し、風景画像中の各リンゴ（収穫物）について選択判断情報を付加する処理を実行する。
例えば、抽出したリンゴを囲む枠内の赤色（農作物の成熟部の色）の面積を演算し、演算した面積を枠に紐付けて数字表示を行う（図５の符号１０３を参照、図５では数字は省略されている）。演算した面積に基づき、風景画像中における、面積の大きいリンゴ順の番号を選択判断情報として表示させるようにしても良いし、符号１０３の位置に、色区分により選択情報を表示しても良い。この情報が、リンゴ選択の判断情報（差別化情報）となる。

他の収穫物を選択する判断情報（差別化情報）としては、例えば下記のようなもの例示できる。
・画像認識により、各リンゴの外傷を強調する。
・画像認識により、形によりランク付けを行う。
・光透過からクロロフィル含有量を推定して、熟度を表示する。
・光透過から近赤外光Ｂｒｉｘ値を推定して、糖度を表示する。
・光透過からリンゴの密の状態を表示する。
・光透過からリンゴ内部の内部褐変の状態を表示する。
・香りセンサーが取得した情報を用いて、リンゴの香りの情報を表示する。
・超音波センサーが取得した情報を用いて、叩いたときの音の情報を表示する。
・温度が判断材料とされる収穫物であれば温度（サーモ）情報を表示する。
・摩擦センサーで取得した情報を用いて、収穫物の手触りの情報を表示する。

なお、この場合、触覚が伝わるようなグローブなどを第２のシステム側に設けることが好ましい。
なお、収穫物を選択する判断情報（差別化情報）は、対象とする収穫物に応じて、その収穫物の判断情報（差別化情報）を提示するようにすればよい。
なお、抽出部２１、強調処理部２２、情報付加部２３の処理は、例えば、図６に示すように、第２のシステム３が有し、第２のシステム３で実行しても良いし、第１のシステム１が有していても良い。

＜第２のシステム３＞
第２のシステム３は、タブレットやＰＣのアプリケーションで構成される。
第２のシステム３は、図４に示すように、顧客側通信部３１、画像受信部３２、顧客側画像表示部３３、収穫物指定部３４、位置情報送信部３５を備える。
顧客側通信部３１は、通信手段を介してサーバー２との間でデータの授受を実行する。

［画像受信部３２］
画像受信部３２は、顧客側通信部３１を介して、サーバー２から、収穫側撮像部１０が撮像した風景画像を取得する。
［顧客側画像表示部３３］
顧客側画像表示部３３は、画像受信部３２が受信した風景画像を表示する。
ここで、画像受信部３２が取得した風景画像は、抽出部２１、強調処理部２２、情報付加部２３の処理が施された後の風景画像であるが、これに限定されない。
例えば、連続的に画像受信部３２が取得し、顧客側画像表示部３３が連続的に表示する風景画像から、顧客の選択で特定の風景画像を特定し、その特定した画像情報をサーバー２側に送り、その特定した風景画像に対してのみ、抽出部２１、強調処理部２２、情報付加部２３の処理を実行し、画像受信部３２が加工後の賦形画像を再度、サーバー２側から取得する構成であって良い。

［収穫物指定部３４］
収穫物指定部３４は、顧客側画像表示部３３が表示する風景画像から、当該画像中の特定の収穫物を選択する処理を実行する。
例えば、収穫物指定部３４は、図５のように、連続的に変化する風景画像中の特定のリンゴ（収穫物）を棒５などでタッチされたと判定すると、そのタッチされたリンゴが選択されたと判定する。

［位置情報送信部３５］
位置情報送信部３５は、収穫物指定部３４によって収穫物が選択されたと判定すると、選択された収穫物の座標（風景画像における接触した位置の座標）を、収穫物指定部３４が選択した収穫物の位置特定情報として、通信手段を介して第１のシステム１に送信する。
座標は、収穫場所の特定位置を起点からのユニバーサル座標であることが好ましい。例えば、リンゴを指定した画像のユニバーサル座標から指定したリンゴのユニバーサル座標を演算する。また、収穫物の位置特定情報は、例えばリンゴを指定した風景画像を特定する画像特定情報と、その風景画像中の指定した収穫物の相対位置情報とから構成されていてもよい。

ここで、上述のように、第１又は第２の風景画像を用いた風景画像にポインタ画像を重ねる処理をサーバーで処理しても良い。
第１の風景画像を用いる場合、第２のシステム３から取得したポインタの座標を、第１のシステム１から受信してデータベース２４で保存している画像に重ねることで実現する。
第２の風景画像を用いる場合、例えば、複数コマ前の画像（タブレットに送った画像）と現在の画像の差分をサーバー２で算出を行い、その結果を鑑みてポインタ座標を動かすことで処理する。画像同士の差分は公知の画像処理で行うことができる。このとき、「ポインタを動かす」処理でも良いし、ポインタの座標を固定し「画像自体を動かす」処理でも良い。

そして、サーバー２が処理する場合、スマートグラス側から受信した画像（動画の場合は切り出した静止画）を基準画像としてサーバー２内で保存し、この基準画像に処理をして顧客タブレットに送信し、顧客タブレットからは特定情報の座標情報のみを取得し、基準画像に重ねる処理を行いスマートグラスに送信し、スマートグラスは映すだけでも良い。現実的には、画像自体をスマートグラスに送信せずにサーバーにアクセスさせて表示する方が好ましい。ちなみに、ポイントの基点情報を収穫場所に物理的に設置（ポールなどで構成）し、撮影した画像上でその設置した基点情報からの位置として、表示することもできる。

（動作その他）
本実施形態では、収穫者が、収穫可能なリンゴを含む風景を収穫側撮像部１０で連続的に撮像し、その撮像した風景画像が連続的に、顧客側に提示される。
顧客は顧客側画像表示部３３に連続して表示される風景画像を見て、欲しいリンゴが見つかったら、そのリンゴを指や棒５でタッチすることで、そのリンゴを選択する。リンゴの選択がなされると、選択されたことが第１のシステム１に送信され、収穫者に、リンゴが選択されたことが通知されると共に、選択されたリンゴの情報が収穫側画像表示部１１で特定される。そして、収穫者は、選択されたリンゴを収穫する。

本実施形態では、顧客側に対し、選択可能なリンゴを強調表示した風景画像を提供する。この結果、連続して変化する風景画像中の各リンゴを視認しやすくなり、リンゴの指定が容易となる。
更に本実施形態では、各リンゴに対して差別化情報を付与しているために、顧客は、どのリンゴを選べばよいか、判断基準を得ることもできて、リンゴの選択がより容易となる。
これによって、一般消費者でも、移り変わる風景画像中のリンゴの存在を視認しやすくなり、且つ、顧客（一般消費者）が、連続的に送られてくる風景画像に基づき、遠隔で疑似的に好みのリンゴを刈り取りのための指示を行うことが可能となる。

例えば、各赤色の面積の情報を表示することで、リンゴの成熟状態や大きさが、リンゴ選択情報として顧客に提示される。
また、顧客がリンゴの選択を行った際に、停止指示を収穫者側に報知することで、現在撮像中の風景画像に、顧客が選択したリンゴが位置するようになって、より精度良く指定されたリンゴの収穫が可能となる。
なお、収穫前に、「このリンゴを収穫するか否か」の問い合わせを第１のシステム１から第２のシステム３に送るようにして、より確実に指定されたリンゴを収穫可能としてもよい。

ここで、上記説明では、リアル画像を連続して送信し、顧客が同期された風景画像からリンゴの選択を遠隔で実行する場合を例示しているが、これに限定されない。
すなわち、第１のシステム１と第２のシステム３とで、風景画像の同期を必ずしも取らなくても良い。例えば、所定時間（例えば数時間）単位に、第１のシステム１で風景画像を撮像して、順次、サーバー２のデータベース２４に格納しておき、第２のシステム３では、データベース２４に格納されている風景画像を順次、受信してリンゴの選択処理を実行するようにしてもよい。この場合には、顧客が、好きな時間に、じっくりと時間を掛けてリンゴの選択が可能となる。

また、リンゴの選択が行われた際に、停止指示を収穫者側に報知することで、現在の風景画像中に選択されたリンゴが位置するようになる。この結果、より精度良く指定されたリンゴの収穫が可能となる。上記説明では、リンゴの指定時に停止指示（リンゴの特定情報）を第１のシステム１側に送信しているが、これに限定してない。例えば、リンゴの選択前に、リンゴを選択しようとする風景画像と顧客が認識したときに、第１のシステム１側に撮像する画像撮像の位置の停止指示を送るようにしても良い。

これによって、顧客から収穫者側に、スマートグラスなどの収穫側撮像部１０を動かさないように指示をすることで、収穫者が撮像している現在の風景画像（スマートグラスの場合には、スマートグラス装着者がリアルに見ている視界）と、リンゴ選択の風景画像とのずれを少なくすることが可能となる。
このとき、例えば、スマートグラスの右目側に現在のリアル画像を映し、左目側にリンゴ選択がなされた風景画像を映すようにしてもよい。
また、収穫者側における収穫側画像表示部１１として、スマートグラスとは別に、タブレットを有していても良い。すなわち、収穫側画像表示部１１が２つ以上あっても良い。
また、収穫者側で、収穫側撮像部１０を有する収穫者と、収穫側画像表示部１１を見ている収穫者が別の者であってもよい。

（その他）
本実施形態では、以下のような構成も取ることができる。
（１）収穫者側の第１のシステム１と顧客側の第２のシステム３とが通信手段を介してデータの授受を行うシステムであって、第１のシステム１は、収穫物を含む風景を撮像可能な収穫側撮像部１０と、上記収穫側撮像部１０が撮像した風景画像を表示可能な収穫側画像表示部１１と、を備え、上記第２のシステム３は、通信手段を介して、上記収穫側撮像部１０が撮像した風景画像を取得する画像受信部３２と、上記画像受信部３２が受信した風景画像を表示する顧客側画像表示部３３とを備え、更に、上記収穫側撮像部１０が撮像した風景画像中の収穫物を抽出する抽出部２１と、上記抽出部２１の抽出情報に基づき、上記抽出部２１が抽出処理を行った風景画像に対し、収穫物の画像を強調表示する加工を行う強調処理部２２と、を有し、上記顧客側画像表示部３３が表示する風景画像は、上記強調処理部２２の処理で収穫物を強調表示された風景画像である、ことを特徴とする遠隔収穫システム。

（２）上記収穫側撮像部１０は、収穫前の収穫物を含む風景を撮像する、ことを特徴とする遠隔収穫システム。
（３）上記風景画像はカラー画像であり、上記強調表示は、風景画像中の収穫物以外の画像を白黒画像にする、収穫物を枠で囲む表示とする、又は注釈を付けることで行うことを特徴とする遠隔収穫システム。
（４）更に、風景画像中の各収穫物の選択判断情報を風景画像上に付加する情報付加部２３を備え、上記顧客側画像表示部３３が表示する風景画像は、上記選択判断情報が付加された風景画像である、ことを特徴とする遠隔収穫システム。

（５）上記第２のシステム３は、上記顧客側画像表示部３３が表示する風景画像から、当該風景画像中の特定の収穫物を選択する収穫物指定部３４と、上記収穫物指定部３４が選択した収穫物の位置特定情報を、通信手段を介して第１のシステム１に送信する位置情報送信部３５と、を備え、上記第１のシステム１は、上記位置情報送信部３５が送信した収穫物の位置特定情報に基づき、当該位置特定情報に対応する収穫物の特定情報を上記収穫側画像表示部１１に表示する収穫物特定部１２を備える、ことを特徴とする遠隔収穫システム。

（６）上記収穫物特定部１２は、上記収穫側画像表示部１１に表示される風景画像に、上記収穫物の特定情報を付加することを特徴とする遠隔収穫システム。
（７）上記第１のシステム１は、上記位置特定情報を取得すると、停止指示を報知する報知部１４を備える、ことを特徴とする遠隔収穫システム。
（８）上記抽出部２１及び上記強調処理部２２は、第２のシステム３が有することを特徴とする遠隔収穫システム。

（９）上記第１のシステム１と第２のシステム３とのデータの授受を仲介するサーバー２を有し、上記サーバー２は、上記収穫側撮像部１０が撮像した風景画像を受信し、受信した風景画像を、上記第２のシステム３に提供する画像提供部２０を備え、上記抽出部２１及び強調処理部２２は、上記サーバー２に設けられ、上記画像提供部２０は、上記抽出部２１及び強調処理部２２での処理で加工後の風景画像を、第２のシステム３に提供する、ことを特徴とする遠隔収穫システム。

（１０）上記記載の遠隔収穫システムに用いられ、上記第１のシステムと第２のシステムとのデータの授受を仲介するサーバーであって、上記収穫側撮像部が撮像した風景画像を受信し、受信した風景画像を、上記第２のシステムに提供する画像提供部を備えると共に、上記抽出部及び上記強調処理部を有し、上記画像提供部は、上記抽出部及び強調処理部での処理で加工後の風景画像を、第２のシステムに提供する、遠隔収穫システム用のサーバー。

１ 第１のシステム
２ サーバー
３ 第２のシステム
４ タブレット
５ 棒
１０ 収穫側撮像部
１１ 収穫側画像表示部
１２ 収穫物特定部
１３ 収穫側通信部
１４ 報知部
２０ 画像提供部
２１ 抽出部
２２ 強調処理部
２３ 情報付加部
２４ データベース
３１ 顧客側通信部
３２ 画像受信部
３３ 顧客側画像表示部
３４ 収穫物指定部
３５ 位置情報送信部
１０１ リンゴ
１０２ 枠

Claims (9)

1. 収穫者側の第１のシステムと顧客側の第２のシステムとが通信手段を介してデータの授受を行うシステムであって、
   第１のシステムは、収穫物を含む風景を撮像可能な収穫側撮像部と、上記収穫側撮像部が撮像した風景画像を表示可能な収穫側画像表示部と、を備え、
   上記第２のシステムは、通信手段を介して、上記収穫側撮像部が撮像した風景画像を取得する画像受信部と、上記画像受信部が受信した風景画像を表示する顧客側画像表示部とを備え、
   更に、上記収穫側撮像部が撮像した風景画像中の収穫物を抽出する抽出部と、
   上記抽出部の抽出情報に基づき、上記抽出部が抽出処理を行った風景画像に対し、収穫物の画像を強調表示する加工を行う強調処理部と、を有し、
   上記顧客側画像表示部が表示する風景画像は、上記強調処理部の処理で収穫物を強調表示された風景画像である、
   ことを特徴とする遠隔収穫システム。
2. 上記風景画像はカラー画像であり、上記強調表示は、風景画像中の収穫物以外の画像を白黒画像にする、収穫物を枠で囲む表示とする、又は注釈を付けることで行うことを特徴とする請求項１に記載した遠隔収穫システム。
3. 更に、風景画像中の各収穫物の選択判断情報を風景画像上に付加する情報付加部を備え、
   上記顧客側画像表示部が表示する風景画像は、上記選択判断情報が付加された風景画像である、ことを特徴とする請求項１又は請求項２に記載した遠隔収穫システム。
4. 上記第２のシステムは、上記顧客側画像表示部が表示する風景画像から、当該風景画像中の特定の収穫物を選択する収穫物指定部と、上記収穫物指定部が選択した収穫物の位置特定情報を、通信手段を介して第１のシステムに送信する位置情報送信部と、を備え、
   上記第１のシステムは、上記位置情報送信部が送信した収穫物の位置特定情報に基づき、当該位置特定情報に対応する収穫物の特定情報を上記収穫側画像表示部に表示する収穫物特定部を備える、
   ことを特徴とする請求項１～請求項３のいずれか１項に記載した遠隔収穫システム。
5. 上記収穫物特定部は、上記収穫側画像表示部に表示される風景画像に、上記収穫物の特定情報を付加することを特徴とする請求項４に記載した遠隔収穫システム。
6. 上記第１のシステムは、上記位置特定情報を取得すると、停止指示を報知する報知部を備える、ことを特徴とする請求項４又は請求項５に記載した遠隔収穫システム。
7. 上記抽出部及び上記強調処理部は、第２のシステムが有することを特徴とする請求項１～請求項６のいずれか１項に記載した遠隔収穫システム。
8. 上記第１のシステムと第２のシステムとのデータの授受を仲介するサーバーを有し、
   上記サーバーは、上記収穫側撮像部が撮像した風景画像を受信し、受信した風景画像を、上記第２のシステムに提供する画像提供部を備え、
   上記抽出部及び強調処理部は、上記サーバーに設けられ、
   上記画像提供部は、上記抽出部及び強調処理部での処理で加工後の風景画像を、第２のシステムに提供する、
   ことを特徴とする請求項１～請求項７のいずれか１項に記載した遠隔収穫システム。
9. 請求項１～請求項８のいずれか１項に記載の遠隔収穫システムに用いられ、上記第１のシステムと第２のシステムとのデータの授受を仲介するサーバーであって、
   上記収穫側撮像部が撮像した風景画像を受信し、受信した風景画像を、上記第２のシステムに提供する画像提供部を備えると共に、上記抽出部及び上記強調処理部を有し、
   上記画像提供部は、上記抽出部及び強調処理部での処理で加工後の風景画像を、第２のシステムに提供する、遠隔収穫システム用のサーバー。

Images