[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP7420734B2 - データ配信システム、センサデバイス及びサーバ - Google Patents

データ配信システム、センサデバイス及びサーバ Download PDF

Info

Publication number
JP7420734B2
JP7420734B2 JP2020556131A JP2020556131A JP7420734B2 JP 7420734 B2 JP7420734 B2 JP 7420734B2 JP 2020556131 A JP2020556131 A JP 2020556131A JP 2020556131 A JP2020556131 A JP 2020556131A JP 7420734 B2 JP7420734 B2 JP 7420734B2
Authority
JP
Japan
Prior art keywords
data
distribution
unit
information
recognition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020556131A
Other languages
English (en)
Other versions
JPWO2020100922A1 (ja
Inventor
宗弘 下村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Publication of JPWO2020100922A1 publication Critical patent/JPWO2020100922A1/ja
Priority to JP2024002502A priority Critical patent/JP2024041897A/ja
Application granted granted Critical
Publication of JP7420734B2 publication Critical patent/JP7420734B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/50Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • G06N20/10Machine learning using kernel methods, e.g. support vector machines [SVM]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/044Recurrent networks, e.g. Hopfield networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • G06Q50/26Government or public services
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Software Systems (AREA)
  • Tourism & Hospitality (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Primary Health Care (AREA)
  • Marketing (AREA)
  • Human Resources & Organizations (AREA)
  • Signal Processing (AREA)
  • Development Economics (AREA)
  • Educational Administration (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Telephonic Communication Services (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Information Transfer Between Computers (AREA)
  • Collating Specific Patterns (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Description

本開示は、データ配信システム、センサデバイス及びサーバに関する。
近年、街頭のいたるところに監視カメラ等が設置され、さらに、走行する車両にも、当該車両の周囲環境を撮像することができる車載カメラが搭載されており、様々な場所における撮像画像を容易に取得することができる。
しかしながら、これらカメラで取得した画像(センシングデータ)は、各カメラ(センサデバイス)を設置したユーザ個人のみで利用することが想定されており、セキュリティ確保の観点や、インタフェースが共通化されていないことにより、他のユーザが容易に利用することができなかった。
そこで、本開示では、様々なセンサデバイスが取得したセンシングデータから得られる情報を様々なユーザが容易に利用することが可能なフレームワークを構築するための、データ配信システム、センサデバイス及びサーバを提案する。
本開示によれば、センシングデータを取得する、1つ又は複数のセンサデバイスと、前記センシングデータから生成され得る所定のデータの配信を要求する1つ又は複数の要求元からの配信リクエストを受け付けるサーバとを含み、前記センサデバイスは、前記センシングデータを取得するセンサ部と、前記サーバから、前記配信リクエストに対応する認識モデルを取得するモデル取得部と、前記認識モデルに基づき、取得した前記センシングデータが前記配信リクエストに該当するかどうかを認識する認識部と、前記センシングデータが前記配信リクエストに該当する場合、当該センシングデータに対して当該配信リクエストに応じた処理を行い、前記所定のデータを生成するデータ生成部と、前記所定のデータを配信するセンサデバイス側配信部とを有し、前記サーバは、前記1つ又は複数の要求元から、前記配信リクエストを受け付けるリクエスト受付部と、前記配信リクエストに対応する前記認識モデルを生成するモデル生成部と、生成した前記認識モデルを前記センサデバイスに送信するモデル送信部とを有する、データ配信システムが提供される。
また、本開示によれば、センシングデータを取得するセンサ部と、前記センシングデータから生成され得る所定のデータの配信を要求する1つ又は複数の要求元からの配信リクエストを受け付けるサーバから、前記配信リクエストに対応する認識モデルを取得するモデル取得部と、前記認識モデルに基づき、取得した前記センシングデータが前記配信リクエストに該当するかどうかを認識する認識部と、前記センシングデータが前記配信リクエストに該当する場合、当該センシングデータに対して当該配信リクエストに応じた処理を行い、前記所定のデータを生成するデータ生成部と、前記所定のデータを配信するセンサデバイス側配信部とを備える、センサデバイスが提供される。
さらに、本開示によれば、所定のデータの配信を要求する要求元から配信リクエストを受け付けるリクエスト受付部と、センサデバイスにおいて、当該センサデバイスで取得したセンシングデータが前記配信リクエストに該当するかどうかを認識するための認識モデルを生成するモデル生成部と、生成した前記認識モデルを前記センサデバイスに送信するモデル送信部とを備える、サーバが提供される。
本開示の実施形態に係るデータ配信システム1の概略的な機能構成を示したシステム図である。 同実施形態に係るセンサデバイス10の機能構成例を示すブロック図である。 同実施形態に係るサービスサーバ20の機能構成例を示すブロック図である。 同実施形態に係る集計サーバ50の機能構成例を示すブロック図である。 同実施形態に係る認識モデル610の生成例を説明するための説明図である。 同実施形態に係る配信データの例を説明するための説明図である。 同実施形態に係る前処理の例を説明するための説明図である。 同実施形態に係る情報処理方法の一例を示すシーケンス図である。 同実施形態の変形例に係る情報処理方法の一例を示すシーケンス図である。 同実施形態の変形例に係るデータ配信システム1aの概略的な機能構成を示したシステム図である。 同実施形態の変形例に係る認識部の一例を説明するための説明図である。 同実施形態の利用例を説明するための説明図である。 サービスサーバ20の機能を実現するコンピュータの一例を示すハードウェア構成図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。
以下に、添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。さらに、本明細書及び図面において、実質的に同一又は類似の機能構成を有する複数の構成要素を、同一の符号の後に異なる数字を付して区別する場合がある。ただし、実質的に同一又は類似の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。また、本明細書及び図面において、異なる実施形態の類似する構成要素については、同一の符号の後に異なるアルファベットを付して区別する場合がある。ただし、類似する構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。
なお、説明は以下の順序で行うものとする。
1. 本実施形態を創作するに至る背景
2. 実施形態
2.1 データ配信システム1の概略構成
2.2 センサデバイス10の詳細構成
2.3 サービスサーバ20の詳細構成
2.4 集計サーバ50の詳細構成
2.5 本実施形態に係る認識について
2.6 情報処理方法
2.7 変形例
3. 実施例
4. まとめ
5. ハードウェア構成について
6. 移動体への応用例
7. 補足
<<1. 本実施形態を創作するに至る背景>>
まずは、本発明者が創作した本開示の実施形態を説明する前に、本発明者が本開示の実施形態を創作するに至る背景について説明する。
先に説明したように、近年、街頭のいたるところに監視カメラ等が設置され、さらに、走行する車両にも、当該車両の周囲環境を撮像することができる車載カメラが搭載されており、様々な場所における撮像画像を容易に取得することができる。
しかしながら、これらカメラで取得した画像は、各カメラを設置したユーザ個人のみで利用することが想定されており、セキュリティ確保の観点や、インタフェースが共通化されていないことにより、他のユーザが容易に利用することができなかった。また、これらカメラで取得した画像に、他のユーザにとって付加価値が高い情報が含まれていたとしても、各カメラを設置したユーザは、このような他のユーザのニーズに気づいていないことから、カメラの画像を有効に活用することに思いがいたらない。従って、有限な資源である上記画像が有効に活用されているとは言えない状況にあった。
そこで、本発明者は、これらカメラが取得した画像を様々なユーザが容易に利用することが可能なフレームワークを構築したいと考えていた。近年、第5世代無線通信等の通信技術が進歩したことにより、大容量データを高速に伝送することが可能となり、これらカメラと管理サーバとユーザが使用するユーザ端末とをネットワーク化することが容易となった。
さらに、本発明者は、上記フレームワークを構築し、当該フレームワークが活用されるためには、当該フレームワークは、以下のような条件を満たすことが必要であると考えていた。1つ目は、異なる仕様のカメラであっても、異なる仕様のユーザ端末であっても、上記フレームワークで共通するインタフェースを持たせることにより、これらのカメラが取得した画像をユーザデバイス側で利用することができるようにすること。2つ目は、画像には各個人のプライバシに関する情報が含まれている恐れが高いことから、プライバシに配慮した、セキュリティの高い環境を構築すること。3つ目は、カメラで取得された画像から得られる情報をリアルタイムでユーザに転送すること。4つ目は、データ転送の負荷を下げ、さらに、データ処理等を分散して行うことにより各デバイスの処理負荷を下げること。
そこで、上述の3つ目及び4つ目の条件を満たすために、上記フレームワークにおいては、人工知能(Artificial Intelligence;AI)を利用する。AIは、演算装置自体の高性能化や複数の演算装置による分散処理等により小型演算装置でも実現可能となり、ネットワークの末端に位置するようなカメラにおいても、利用することが可能となった。以下、このようなAI機能を搭載したカメラをAIカメラと呼ぶ。詳細には、上記フレームワークにおいて、AIカメラにより、自身が取得した画像にユーザから求められる情報が含まれているかどうかを瞬時に認識し、含まれている場合にのみ、画像から得られた情報を該当するユーザに転送する。従って、AIカメラによれば、画像から得られた情報をリアルタイムでユーザに転送することが可能であるばかりか、ユーザから求められる情報が含まれているか否かに関係なく画像を転送する場合に比べて、データ転送の負荷を減らすことができる。
すなわち、以下に提案する本開示に係る実施形態においては、上記フレームワークの構築のために、AI機能を持ったAIカメラを利用する。さらに、本実施形態においては、AIカメラでの認識を向上させ、且つ、高速化するために、認識で利用する認識モデルをAIカメラの能力に応じて動的に変更する。加えて、本実施形態においては、AIカメラで取得した画像に対して上記認識モデルに応じた形態になるように前処理を行った後に認識を行ったり、認識処理を分散化したりすることで、認識の精度を向上させたり、高速化したりすることができる。
また、本実施形態においては、データ転送等に係るインタフェースを共通化することにより、異なる仕様のカメラ、及び、異なる仕様のユーザ端末を上記フレームワーク内で活用することができる。また、本実施形態においては、カメラ側で、画像又は画像から得られる情報に対してプライバシに配慮した処理を行うことにより、上記フレームワーク内で個人のプライバシの保護を確保することができる。さらに、本実施形態においては、上記フレームワークに認証サーバを組み込むことにより、フレームワーク内のカメラ、管理サーバ及びユーザ端末に対して認証を行い、フレームワーク内のセキュリティを確保することができる。
以上のように、以下に説明する本開示においては、様々なカメラが取得した画像から得られる情報を様々なユーザが容易に利用することが可能なフレームワークを構築するための実施形態を提案する。
さらに、本実施形態においては、上記フレームワーク内に、ユーザが、画像を提供するカメラの管理者に対して、提供された情報に応じた料金を支払う仕組みを組み込むこともできる。このようにすることで、本実施形態においては、画像を提供する側も、利用された情報の情報量や価値に応じて対価を得ることができることから、カメラの管理者が画像を当該フレームワークに提供するモチベーションを高めることができる。
以下、このような本開示に係る実施形態の詳細を順次説明する。
<<2. 実施形態>>
<2.1 データ配信システム1の概略構成>
まずは、図1を参照して、本開示の実施形態に係るデータ配信システム1の構成例を説明する。図1は、本開示の実施形態に係るデータ配信システム1の概略的な機能構成を示したシステム図である。
詳細には、図1に示すように、本実施形態に係るデータ配信システム1は、複数のセンサデバイス10a、10b、10cと、サービスサーバ20と、複数のユーザデバイス30a、30b、30cと、認証サーバ40と、集計サーバ50とを主に含むことができる。これら各装置は、例えば、図示しない基地局等(例えば、携帯電話機の基地局、無線LAN(Local Area Network)のアクセスポイント等)を介してネットワーク(図示省略)に接続されることにより、データ配信システム1が構築されることとなる。なお、上記ネットワークで用いられる通信方式は、有線又は無線(例えば、第5世代通信システム、WiFi(登録商標)、Bluetooth(登録商標)等)を問わず任意の方式を適用することができるが、大容量のデータを安定して高速送信することができる通信方式を用いることが望ましい。また、データ配信システム1に含まれるセンサデバイス10やユーザデバイス(要求元)30は、図1に図示されるようにそれぞれ3つであることに限定されるものではなく、本実施形態に係るデータ配信システム1には、それぞれ3つ以上含まれていてもよい。すなわち、本実施形態に係るデータ配信システム1は、複数のセンサデバイス10を管理し、複数のユーザデバイス30からの要求を受け付け、それらにデータを送信することができる。以下に、本実施形態に係るデータ配信システム1に含まれる各装置の概略について説明する。
(センサデバイス10)
センサデバイス10は、設置された周囲環境のセンシングデータ(例えば、画像、音声等)を取得し、取得したセンシングデータから取得される配信データ(所定のデータ)を、後述するユーザデバイス30等の外部装置に送信することができる。また、センサデバイス10は、先に説明したように、AI機能が搭載されていることが望ましく、後述するサービスサーバ20から送信された認識モデルに基づき、取得したセンシングデータが、ユーザからの要求(配信リクエスト)に該当するかどうかを認識することができる。
例えば、センサデバイス10は、自動車等の移動体に搭載された撮像装置(カメラ)や、ユーザの携帯するスマートフォンに搭載された撮像装置、自宅や店舗等に設置された監視カメラ等の撮像装置であることができ、この場合、センシングデータは画像となる。この場合、これら撮像装置は、設置された周囲に位置する被写体からの光を集光して撮像面に光像を形成し、撮像面に形成された光像を電気的な画像信号に変換することによって画像を取得することができる。なお、以下の説明においては、特段のことわりがない限りは、移動体とは、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット(移動ロボット)、建設機械、農業機械(トラクタ)等であることができる。
また、本実施形態においては、センサデバイス10は、上述した撮像装置であることに限定されるものではない。本実施形態においては、例えば、センサデバイス10は、被写体までの距離(深さ)を計測する深度センサ、周囲環境の音を集音するマイクロフォン等の集音装置、周囲環境の温度及び湿度を計測する温度センサ及び湿度センサ、河川等の水位を測定する水位センサ等であってもよい。
なお、本実施形態においては、センサデバイス10は、データ配信システム1に共通するインタフェース(データ転送形式、データ転送方法等)を持つものであれば、その内部構成については、基本的に限定されるものではない。従って、本実施形態に係るデータ配信システム1は、仕様の異なる様々なセンサデバイス10を取り込むことができる。なお、センサデバイス10の詳細構成については後述する。
(サービスサーバ20)
サービスサーバ20は、後述するユーザデバイス30から、上記センシングデータから生成され得る配信データの配信を要求する配信リクエストを受け付けるコンピュータである。さらに、サービスサーバ20は、複数の配信リクエスト(要求)を統合し、配信リクエストに応じた認識モデルを生成し、生成した認識モデルを上述したセンサデバイス10へ送信することができる。当該認識モデルは、センサデバイス10での認識に供されることとなるが、この詳細については後述する。また、サービスサーバ20は、必要に応じて、センサデバイス10から配信データを受信し、受信した配信データを、上記配信リクエストに該当するユーザデバイス30へ送信することもできる。例えば、サービスサーバ20は、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)等のハードウェアにより実現されることができる。なお、サービスサーバ20の詳細構成については後述する。
(ユーザデバイス30)
ユーザデバイス30は、ユーザによって携帯され、もしくは、ユーザの近傍に設置され、ユーザから入力された情報を受け付け、受け付けた当該情報を配信リクエストとしてサービスサーバ20へ送信したり、配信リクエストに係る配信データを受信したりすることができる端末である。例えば、ユーザデバイス30は、タブレット型PC(Personal Computer)、スマートフォン、携帯電話、ラップトップ型PC、ノート型PC等のモバイル端末、HMD(Head Mounted Display)等のウェアラブルデバイスであることができる。さらに詳細には、ユーザデバイス30は、ユーザに向けて表示を行う表示部(図示省略)や、ユーザからの操作を受け付ける操作部(図示省略)や、ユーザに向けて音声出力を行うスピーカ(図示省略)等を有していてもよい。
なお、ユーザデバイス30には、例えば、データ配信システム1に共通するアプリケーション(アプリ)、もしくは、上述したサービスサーバ20と共通する仕様を持つアプリケーションがインストールされることができる。ユーザデバイス30は、上述のようなアプリケーションがインストールされることにより、データ配信システム1に共通する形式等を持つ、配信リクエストを生成し、送信したり、配信データを受け取ったりすることが可能となる。
なお、本実施形態においては、ユーザは、個人だけでなく、以下のような者も想定される。例えば、ユーザは、地図メーカ、出店戦略立案者、道路管理局、社会インフラ整備担当者等であることができる。より具体的には、本実施形態で提供されるサービスを利用することにより、地図メーカは、人手をかけることなく詳細地図の作成を行うことができ、出店戦略立案者は、出店を検討するにあたっての情報収集を容易に行うことができる。また、上記サービスを利用することにより、道路管理局は、道路状態、通行車種等の推測等に基づく道路修繕計画策定のための情報収集を容易に行うことができる。さらに、上記サービスを利用することにより、社会インフラ整備計画担当者は、運転傾向や事故原因の統計・解析による、予防措置、テレマティックス保険への応用を検討することができる。
そして、ユーザは、ユーザデバイス30を介して、サービスサーバ20へ配信リクエストを送信する。当該配信リクエストは、ユーザが配信を要求するデータの内容(データタイプ)等を指定する情報を含む。例えば、当該配信リクエストは、配信を要求する対象となるオブジェクト(例えば、顔、人物、動物、移動体、テキスト、道路(歩道、横断歩道、道幅、標識等)、ロゴ、バーコード等)と、オブジェクトに関するどのような情報(例えば、数量、速度、位置、状態、年齢、性別、特定した名前、推定結果等)を要求するのかを指定する情報(データタイプ)とからなるオブジェクト情報を含むことができる。また、当該配信リクエストは、配信データのデータフォーマット(例えば、画像、テキスト等)を指定するデータフォーマット情報を含むことができる。さらに、当該配信リクエストは、ユーザもしくはユーザデバイス30の識別情報(ID(identification))を含むことができる。なお、本実施形態においては、上記配信リクエストには、サービスサーバ20で認識モデルを生成する際に利用される各種データが含まれていてもよい(詳細は後述する)。
本実施形態においては、上記配信リクエストは、データ配信システム1に共通するデータ形式を持つ。例えば、本実施形態においては、配信リクエストは、オブジェクト情報やデータフォーマット情報に対応する文字列や数字列を含むことができる。この場合、ユーザから高い頻度で要求されるオブジェクト情報やデータフォーマット情報については、対応する文字列や数字列を予め決定し、サービスサーバ20が保有する記憶部(図示省略)にデータベース(図示省略)として格納する。そして、サービスサーバ20は、上記データベースを参照することにより、配信リクエストに含まれる文字列等に対応するオブジェクト情報及びデータフォーマット情報を認識することができる。また、ユーザが所望するオブジェクト情報及びデータフォーマット情報に対応する文字列等が上記データベースに存在しない場合には、これらオブジェクト情報及びデータフォーマット情報は、上記配信リクエスト内で直接的に記述されてもよい。もしくは、この場合、ユーザが所望するオブジェクト情報及びデータフォーマット情報に対応する文字列を新たに決定して、決定した文字列等を、上記配信リクエスト及び上記データベースに記述してもよい。
(認証サーバ40)
認証サーバ40は、センサデバイス10やサービスサーバ20からそれぞれの認証情報(ID)を受信し、これらの各装置が、本実施形態に係るデータ配信システム1によるサービスを提供する、もしくは提供される権限を有するか否かを判定するコンピュータである。さらに、認証サーバ40は、権限を有する装置に対して、サービスへのアクセスを可能にするキーや、サービスを提供するもしくはサービスを提供されるためのコマンド等を送信する。そして、上記認証情報は、データ配信システム1に共通するデータ形式を持つものとする。すなわち、認証サーバ40は、認証API(Application Programming Interface)として用いられ、センサデバイス10とサービスサーバ20とを認証し、互いに紐づけることができる。本実施形態に係るデータ配信システム1は、このような認証サーバ40を組み込むことにより、当該データ配信システム1のセキュリティを確保し、各センサデバイス10を、サービスサーバ20を介して各ユーザデバイス30と紐づけることができる。また、認証サーバ40は、例えば、CPU、ROM、RAM等のハードウェアにより実現されることができ、後述する集計サーバ50と協働することができる。なお、本実施形態においては、認証サーバ40は、ユーザデバイス30に対する認証を行ってもよい。
(集計サーバ50)
集計サーバ50は、上述した認証サーバ40と協働して、ユーザ又はユーザデバイス30ごとに、且つ、センサデバイス10ごとに、配信データの配信量を集計し、当該集計等に基づきデータ使用料金を決定するコンピュータである。さらに、集計サーバ50は、サービスサーバ20を介して、センサデバイス10の管理者及び各ユーザとの間でデータ使用料金の授受を行うことができる。例えば、集計サーバ50は、CPU、ROM、RAM等のハードウェアにより実現されることができる。なお、集計サーバ50の詳細については後述する。
なお、本実施形態に係るデータ配信システム1においては、センサデバイス10やサービスサーバ20は、それぞれ単一の装置によって実現されていなくてもよく、有線又は無線の各種のネットワーク(図示省略)を介して接続され、互いに協働する複数の装置によって実現されてもよい。また、本実施形態においては、サービスサーバ20、認証サーバ40及び集計サーバ50のうちの2つ又は全部が一体の装置によって実現されてもよい。さらに、本実施形態に係るデータ配信システム1は、図示しない他のサーバ等を含んでいてもよい。
<2.2 センサデバイス10の詳細構成>
次に、図2を参照して、本実施形態に係るセンサデバイス10の詳細構成を説明する。図2は、本実施形態に係るセンサデバイス10の機能構成例を示すブロック図である。詳細には、図2に示すように、センサデバイス10は、センサ部100と、測位部110と、処理部130と、記憶部160と、通信部170とを主に有する。以下に、センサデバイス10の各機能ブロックについて順次説明する。
(センサ部100)
センサ部100は、センシングデータを取得し、取得したセンシングデータを後述する処理部130へ出力する。詳細には、センサデバイス10が撮像装置であった場合には、センサ部100は、被写体から発せられる光を集光する撮影レンズ及びズームレンズ等の撮像光学系、及び、CCD(Cherge Coupled Device)又はCMOS(Complementary Metal Oxide Semoconductor)等の撮像素子を有することとなる。なお、本実施形態においては、センサ部100は、センサデバイス10内に固定されるように設けられていてもよく、センサデバイス10に脱着可能に設けられていてもよい。
また、本実施形態においては、センサ部100は、撮像装置の他にも、深度センサとしてTOF(Time of Flight)センサ(図示省略)を含んでいてもよい。TOFセンサは、被写体からの反射光の戻り時間を直接的又は間接的に計測することにより、TOFセンサと被写体との間の距離及び凹凸等の形状情報(深度情報/画像)を取得することができる。さらに、本実施形態においては、センサ部100は、集音装置(マイク)、温度センサ、気圧センサ、湿度センサ、風向風速センサ、日照センサ、降水量センサ、水位センサ等を含んでいてもよく、周囲環境からセンシングデータを取得することができれば特に限定されるものではない。
(測位部110)
測位部110は、配信リクエストに該当するセンシングデータが取得された際のセンサデバイス10の測位データを取得し、取得した測位データを、処理部130(詳細には、データ生成部144)に出力する。例えば、当該測位データは、配信データとともに、後述する処理部130の配信部146により、ユーザデバイス30へ送信されることとなる。測位部110は、具体的には、GNSS(Global Navigation Satellite System)受信機等であることができる。この場合、測位部110は、GNSS衛星からの信号に基づいて、センサデバイス10の現在地の緯度・経度を示す測位データを生成することができる。また、本実施形態においては、例えば、RFID(Radio Frequency Identification)、Wi-Fiのアクセスポイント、無線基地局の情報等からユーザの相対的な位置関係を検出することが可能なため、このような通信装置を上記測位部110として利用することも可能である。なお、本実施形態においては、測位部110は、センサデバイス10に設けられていなくてもよい。
(処理部130)
処理部130は、センサ部100が取得したセンシングデータを処理し、配信データを生成する機能を有する。さらに、処理部130は、配信した配信データの配信量を集計し、集計に基づく情報を集計サーバ50へ送信する。処理部130は、例えば、CPUやGPU(Graphics Processing Unit)等の処理回路や、ROM、RAM等により実現される。詳細には、図2に示すように、処理部130は、ID送信部132と、key受信部134と、センサデータ取得部136と、前処理部138と、モデル取得部140と、認識部142と、データ生成部144と、配信部146と、集計部148と、集計情報送信部150とを主に有する。以下に、処理部130の有する各機能部の詳細について説明する。
~ID送信部132~
ID送信部132は、後述する通信部170を介して、センサデバイス10の認証情報(ID)を認証サーバ40に送信する。当該認証情報は、認証サーバ40にて、センサデバイス10が、本実施形態に係るデータ配信システム1によるサービスを提供する権限を有するか否かを判定する際に用いられる。本実施形態に係るデータ配信システム1は、このような認証により、当該データ配信システム1のセキュリティを確保している。
~key受信部134~
key受信部134は、後述する通信部170を介して、認証サーバ40から送信されたサービスへのアクセスを可能にするキーや、サービスを提供するためのコマンド等を受信し、受信したキー等を後述するモデル取得部140へ出力する。当該モデル取得部140は、key受信部134で受信したキー等を用いて、サービスサーバ20から認識モデルを取得することができる。
~センサデータ取得部136~
センサデータ取得部136は、センサ部100を制御して、センサ部100から出力されたセンシングデータを取得し、取得したセンシングデータを後述する前処理部138又は認識部142へ出力する。
~前処理部138~
前処理部138は、後述するモデル取得部140が取得した認識モデルに含まれる情報(例えば、認識モデルを生成する際に用いた教師データに関する情報等)に応じて、センサデータ取得部136から出力されたセンシングデータを前処理して、前処理したセンシングデータを後述する認識部142へ出力する。詳細には、認識部142は、機械学習で得られた、配信リクエストに対応する認識モデルを用いて、センシングデータが当該配信リクエストに該当することになるかどうかを認識する。そこで、本実施形態においては、センシングデータが認識モデルに近い形態を持つように前処理を行うことにより、上記認識に好適なセンシングデータを認識部142に提供することができる。その結果、本実施形態によれば、認識部142の認識の精度を向上させることができる。なお、前処理部138での前処理の詳細については、後述する。
~モデル取得部140~
モデル取得部140は、後述する通信部170を介して、サービスサーバ20から、配信リクエストに対応する認識モデルを取得し、取得した認識モデルを前処理部138及び認識部142に出力する。なお、当該認識モデルの詳細については後述する。
~認識部142~
認識部142は、AI機能等を利用して、モデル取得部140から出力された認識モデルに基づき、センサデータ取得部136から出力されたセンシングデータ、もしくは、前処理部138で前処理されたセンシングデータが、配信リクエストに該当するかどうかを認識することができる。より具体的には、認識部142は、例えば、センシングデータとしての画像に、配信リクエストで指定されたオブジェクトの画像が含まれるかどうかを認識することができる(言い換えると、オブジェクトの認識)。そして、認識部142は、認識結果を後述するデータ生成部144に出力する。なお、当該認識モデルは、サービスサーバ20における機械学習で得られ、例えば、配信リクエストで指定されたオブジェクトの画像や音声等のデータから得られた当該オブジェクトを特徴づける特徴情報であることができる。本実施形態においては、上述のような認識をセンサデバイス10で行うことから、センシングデータの取得後すぐに認識を行うことができる。なお、認識部142における認識の詳細については後述する。
~データ生成部144~
データ生成部144は、上述した認識部142でセンシングデータが配信リクエストに該当すると認識された場合、当該センシングデータに対して当該配信リクエストに応じた処理を行い、配信データを生成することができる。例えば、データ生成部144は、センシングデータから配信リクエストで指定されたオブジェクトに関するデータのみを抽出したり、抽象化したり、テキストデータ化したりすることにより、配信データを生成することができる。より具体的には、当該配信データは、配信リクエストで指定された、オブジェクトの属性情報、数量情報、位置情報、状態情報、動作情報、周囲環境情報、及び、予測情報のうちの少なくとも1つの情報を含むことができる。さらに、本実施形態においては、配信データのデータフォーマットは、画像データ、音声データ、テキストデータ等であることができ、特に限定されるものではない。このように、本実施形態においては、センサデバイス10にて、配信リクエストに該当したセンシングデータを処理して、配信データを生成することから、リアルタイムで配信を実現することができる。また、本実施形態においては、データ生成部144は、センシングデータが配信リクエストに該当しない場合には、配信データを生成、配信することはない。従って、本実施形態によれば、センシングデータが配信リクエストに該当するか否かに関係なくセンシングデータを送信する場合に比べて、データ送信の負荷を減らすことができる。
さらに、本実施形態においては、データ生成部144は、例えば、配信データから、センシングデータに含まれるプライバシに関する情報(例えば、人物が特定できる程度の人物の撮像)を排除することができる。また、データ生成部144は、例えば、配信データ上で、プライバシに関する情報にマスクがかけることができる。このようにすることで、本実施形態においては、プライバシの保護を確保している。なお、このような処理の例については後述する。
~配信部146~
配信部146は、上述したデータ生成部144で生成した配信データを、ユーザデバイス30又はサービスサーバ20へ配信する。なお、配信部146は、複数の異なる配信データをユーザデバイス30又はサービスサーバ20へ配信することもできる。さらに、配信部146は、配信した配信データの配信量等の情報を、後述する集計部148に出力する。例えば、配信部146は、上記情報として、配信データに対応するセンシングデータが取得された際の日時の情報、配信データを配信した日時の情報、データタイプ、データフォーマット、配信量、配信先(例えばユーザデバイス30の認識情報)等を出力する。
~集計部148~
集計部148は、例えば、ユーザ又はユーザデバイス30ごとに、配信データの配信量を集計した集計情報を生成し、後述する記憶部160へ出力する。
~集計情報送信部150~
集計情報送信部150は、所定のタイミング(例えば1か月ごと)において、後述する記憶部160から集計情報を取得し、取得した集計情報を集計サーバ50へ送信する。集計情報送信部150は、集計情報として、例えば、配信データに対応するセンシングデータが取得された際の日時の情報、配信データを配信した日時の情報、データタイプ、データフォーマット、配信量、配信先(例えばユーザデバイス30の認識情報)、センサデバイス10の識別情報、センサデバイス10の管理者の情報等を送信する。
(記憶部160)
記憶部160は、処理部130が各種処理を実行するためのプログラム、情報等や、処理によって得た情報を格納する。例えば、記憶部160は、上述した集計部148が生成した集計情報を格納する。なお、記憶部160は、例えば、HDD(Hard Disk Drive)等の記憶装置により実現される。
(通信部170)
通信部170は、サービスサーバ20等の外部装置との間で情報の送受信を行うことができる。言い換えると、通信部170は、データの送受信を行う機能を有する通信インタフェースと言える。なお、通信部170は、通信アンテナ、送受信回路やポート等の通信デバイス(図示省略)により実現される。
<2.3 サービスサーバ20の詳細構成>
次に、図3を参照して、本実施形態に係るサービスサーバ20の詳細構成を説明する。図3は、本実施形態に係るサービスサーバ20の機能構成例を示すブロック図である。詳細には、図3に示すように、サービスサーバ20は、処理部230と、記憶部260と、通信部270とを主に有する。以下に、サービスサーバ20の各機能ブロックについて順次説明する。
(処理部230)
処理部230は、後述する通信部270を介して、ユーザデバイス30から配信リクエストを取得し、取得した配信リクエストに応じた認識モデルを生成し、生成した認識モデルを、センサデバイス10へ送信したりする機能を有する。処理部230は、例えば、CPUやGPU等の処理回路や、ROM、RAM等により実現される。詳細には、図3に示すように、処理部230は、ID送信部232と、リクエスト受付部234と、能力情報取得部236と、モデル生成部238と、モデル送信部240と、データ取得部242と、配信部246とを主に有する。以下に、処理部230の有する各機能部の詳細について説明する。
~ID送信部232~
ID送信部232は、後述する通信部270を介して、サービスサーバ20の認証情報(ID)を認証サーバ40に送信する。当該認証情報は、認証サーバ40にて、サービスサーバ20が、本実施形態に係るデータ配信システム1によるサービスを提供される権限を有するか否かを判定する際に用いられる。本実施形態に係るデータ配信システム1は、このような認証により、当該データ配信システム1のセキュリティを確保している。
~リクエスト受付部234~
リクエスト受付部234は、後述する通信部270を介して、1つ又は複数のユーザデバイス30から配信リクエストを受け付け、受け付けた配信リクエストを後述するモデル生成部238へ出力する。なお、リクエスト受付部234は、共通する配信リクエストについては、これらを統合して出力してもよい。
~能力情報取得部236~
能力情報取得部236は、後述する通信部270を介して、各センサデバイス10のセンシング能力(センシングの種別、精度、位置、範囲、粒度等)や演算能力を示す能力情報を予め取得し、取得した能力情報を後述するモデル生成部238に出力する。なお、本実施形態においては、能力情報取得部236は、センサデバイス10の機能等がアップデートされた際に、能力情報を再取得することが好ましい。そして、本実施形態においては、後述するモデル生成部238において、各センサデバイス10の能力情報に基づいて、各センサデバイス10の能力に応じた認識モデルが生成されることとなる。従って、本実施形態によれば、センサデバイス10の機能等がアップデートされた際に能力情報を再取得するようにすることで、現時点の各センサデバイス10の能力に応じるものになるよう認識モデルを更新することができる。
~モデル生成部238~
モデル生成部238は、リクエスト受付部234からの配信リクエスト及び能力情報取得部236からの能力情報に基づき、各センサデバイス10の能力に応じて、配信リクエストに対応する認識モデルを機械学習により生成することができる。さらに、モデル生成部238は、生成した認識モデルを、後述するモデル送信部240に出力することができる。なお、モデル生成部238は、機械学習に必要なデータを、ユーザデバイス30又は図示しない他のサーバから取得してもよい。本実施形態においては、モデル生成部238は、各センサデバイス10に好適な認識モデルを生成することができることから、センサデバイス10における認識を実現することができる。また、本実施形態においては、センサデバイス10の機能等がアップデートされた際に能力情報を再取得し、認識モデルを再生成することも可能であることから、認識モデルを動的に変えて、センサデバイス10での認識を向上させることができる。
また、モデル生成部238は、モデル生成部238の機械学習で用いたデータに関する情報(例えば、認識モデルを生成する際に用いた教師データに関する情報等)を、認識モデルに含ませてもよい。当該情報は、センサデバイス10の前処理部138において、センシングデータが認識モデルに近い形態を持つように前処理を行う際に用いられる。さらに、モデル生成部238は、センサデバイス10の能力情報に基づく、配信リクエストで指定された配信データを生成するために求められるセンシングデータを取得するための、センサデバイス10のセンサ部100の設定に関する設定情報を、認識モデルに含ませてもよい。なお、本実施形態においては、モデル生成部238はサービスサーバ20と別個の装置として設けられていてもよく、特に限定されるものではない。
~モデル送信部240~
モデル送信部240は、上述したモデル生成部238から取得した認識モデルを、各認識モデルに対応するセンサデバイス10へ、通信部270を介して送信する。
~データ取得部242~
データ取得部242は、後述する通信部270を介して、センサデバイス10から配信リクエストに対応する配信データを取得し、取得した配信データを後述する配信部246に出力する。なお、本実施形態においては、センサデバイス10からユーザデバイス30へ直接配信データを送信する場合には、当該データ取得部242は設けられていなくてもよい。
~配信部246~
配信部246は、上述したデータ取得部242で取得した配信データを、後述する通信部270を介して、配信リクエストに該当するユーザデバイス30へ配信する。なお、本実施形態においては、センサデバイス10からユーザデバイス30へ直接配信データを送信する場合には、当該配信部246は設けられていなくてもよい。
(記憶部260)
記憶部260は、処理部230が各種処理を実行するためのプログラム、情報等や、処理によって得た情報を格納する。なお、記憶部260は、例えば、HDD等の記憶装置により実現される。
(通信部270)
通信部270は、センサデバイス10、ユーザデバイス30等の外部装置との間で情報の送受信を行うことができる。言い換えると、通信部270は、データの送受信を行う機能を有する通信インタフェースと言える。なお、通信部270は、通信アンテナ、送受信回路やポート等の通信デバイス(図示省略)により実現される。
<2.4 集計サーバ50の詳細構成>
次に、図4を参照して、本実施形態に係る集計サーバ50の詳細構成を説明する。図4は、本実施形態に係る集計サーバ50の機能構成例を示すブロック図である。詳細には、図4に示すように、集計サーバ50は、処理部530と、記憶部560と、通信部570とを主に有する。以下に、集計サーバ50の各機能ブロックについて順次説明する。
(処理部530)
処理部530は、センサデバイス10から送信された集計情報等を処理し、集計情報等に基づくデータ使用料金の授受といった処理を行う機能を有する。処理部530は、例えば、CPU等の処理回路や、ROM、RAM等により実現される。詳細には、図4に示すように、処理部530は、集計情報取得部532と、料金処理部534とを主に有する。以下に、処理部530の有する各機能部の詳細について説明する。
~集計情報取得部532~
集計情報取得部532は、後述する通信部570を介して、各センサデバイス10から上記集計情報等を取得し、取得した集計情報等を、後述する記憶部560に出力する。
~料金処理部534~
料金処理部534は、後述する記憶部560に格納された集計情報等に基づきデータ使用料金を決定し、集計サーバ50とセンサデバイス10の管理者及びサービスサーバ20との間でデータ使用料金の授受を行うことができる。詳細には、料金処理部534は、配信データを配信した配信量と、配信データの単位配信量あたりの料金(例えば、データフォーマットによって定められる)とによって、サービスサーバ20へ請求するデータ使用料金を決定する。また、同様に、料金処理部534は、各センサデバイス10へ支払うデータ使用料金を決定する。本実施形態においては、各センサデバイス10の管理者は、データ使用料金を得ることができることから、各センサデバイス10の管理者にも本実施形態に係るデータ配信システム1によるサービスによる対価を分配することができる。このようにすることで、本実施形態においては、センシングデータを提供する側も、配信データの配信量や価値に応じて対価を得ることができることから、本実施形態に係るデータ配信システム1によるサービスに、センシングデータを提供するモチベーションを高めることができる。
(記憶部560)
記憶部560は、処理部530が各種処理を実行するためのプログラム、情報等や、処理によって得た情報を格納する。例えば、記憶部560は、センサデバイス10から送信された集計情報を格納する。なお、記憶部560は、例えば、HDD等の記憶装置により実現される。
(通信部570)
通信部570は、センサデバイス10等の外部装置との間で情報の送受信を行うことができる。言い換えると、通信部570は、データの送受信を行う機能を有する通信インタフェースと言える。なお、通信部570は、通信アンテナ、送受信回路やポート等の通信デバイス(図示省略)により実現される。
<2.5 本実施形態に係る認識について>
次に、図5から図7を参照して、本実施形態に係る認識の一例について説明する。図5は、本実施形態に係る認識モデル610の生成例を説明するための説明図であり、図6は、本実施形態に係る配信データの例を説明するための説明図であり、図7は、本実施形態に係る前処理の例を説明するための説明図である。
(認識モデルの生成)
まずは、本実施形態に係る認識で用いられるモデルの生成について説明する。認識モデルは、先に説明したように、サービスサーバ20のモデル生成部238で生成される。上記モデル生成部238は、図5に示すように、例えば、サポートベクターレグレッションやディープニューラルネットワーク等の教師付き学習器238aを有するものとする。まずは、学習器238aには、例えば、配信リクエストで指定される配信を要求する対象となるオブジェクトに関する情報である複数の教師データ602-1~602-nが入力される。そして、当該学習器238aは、入力された複数の教師データ602-1~602-nを機械学習することにより、センサデバイス10の認識部142での認識で用いられる認識モデル610を生成することができる。本実施形態においては、複数のセンサデバイス10は、そのセンシング能力や演算能力が互いに異なり、すなわち、認識できる能力が互いに異なるため、学習器238aは、上述した各センサデバイス10の能力情報に応じて各認識モデル610を生成することが好ましい。従って、本実施形態においては、様々な仕様を持つ複数のセンサデバイス10が含まれていても、各センサデバイス10の能力に応じた認識モデル610を生成することができることから、各センサデバイス10で認識を行うことができる。
より詳細には、上記学習器238aは、例えば、配信リクエストで指定される配信を要求する対象となるオブジェクト600-1~600-nでそれぞれラベル付けされた、当該オブジェクトに関する教師データ602-1~602-nが入力される。そして、学習器238aは、リカレントニューラルネットワーク等による機械学習により、複数の教師データ602-1~602-nから、当該オブジェクトの特徴点、特徴量を抽出する。このように抽出された特徴点等の情報が、各センサデバイス10で取得されたセンシングデータに当該オブジェクトの情報が含まれているかどうかを認識するための認識モデル610となる。
ここで、具体例を示して、本実施形態に係る認識モデル610の生成について説明する。例えば、ユーザからの配信リクエストにより、センサデバイス10で取得した画像(センシングデータ)を用いて、所定の人物(オブジェクト)を探索することを要求された場合(配信データは、所定の人物の位置情報となる場合)を説明する。サービスサーバ20は、上記配信リクエストを送信したユーザデバイス30又は図示しないサーバから、認識モデル610を生成する際に利用する複数の教師データ602として、所定の人物の複数の画像を取得する。そして、サービスサーバ20は、図5に示すように、取得した複数の画像(教師データ)602-1~602-nを、所定の人物(オブジェクト)600-1~600-nというラベルをそれぞれに付して、学習器238aに入力する。さらに、学習器238aは、複数の画像(教師データ)602-1~602-nを用いた機械学習により、複数の画像(教師データ)602-1~602-nから、所定の人物(オブジェクト)600の画像の特徴点、特徴量を抽出し、画像(センシングデータ)から所定の人物(オブジェクト)600の画像を認識するための認識モデル610を生成する。
なお、本実施形態においては、上述の例と同様に、ユーザからの配信リクエストにより、センサデバイス10で取得したセンシングデータ(ここでは、特にセンシングデータの種別を限定していない)を用いて、所定の人物(オブジェクト)を探索することを要求された場合には、学習器238aは、各センサデバイス10で取得可能なセンシングデータの種別に応じて認識モデル610を生成してもよい。この場合、より具体的には、学習器238aは、画像を取得することが可能なセンサデバイス10のために画像から所定の人物の画像を認識するための認識モデル610を生成し、環境音を取得することが可能なセンサデバイス10のために環境音から所定の人物の音声を認識するための認識モデル610を生成する。従って、本実施形態においては、様々な仕様を持つ複数のセンサデバイス10が含まれていても、各センサデバイス10の能力に応じた認識モデル610を生成することができることから、各センサデバイス10で認識を行うことができる。
また、本実施形態においては、例えば、ユーザからの配信リクエストにより、センサデバイス10で取得した画像を用いて、所定のネコ(ここでは、「タマ」と名付けられたネコ(種別がアメリカンショートヘアであるものとする)を探索することを要求された場合には、学習器238aは、各センサデバイス10の能力に応じた認識モデル610を生成してもよい。この場合、より具体的には、学習器238aは、高い解像度を有する画像を取得することができるセンシング能力を持ち、且つ、高い演算能力を有するセンサデバイス10に対しては、画像から「タマ」の画像を認識するための認識モデル610を生成する。また、学習器238aは、中程度の解像度を有する画像を取得することができるセンシング能力を持ち、且つ、高い演算能力を有するセンサデバイス10に対しては、画像からアメリカンショートヘア(ネコ種)の画像を認識するための認識モデル610を生成する。さらに、また、学習器238aは、低い解像度を有する画像を取得することができるセンシング能力を持ち、且つ、低い演算能力を有するセンサデバイス10に対しては、画像からネコの画像を認識するための認識モデル610を生成する。従って、本実施形態においては、様々な仕様を持つ複数のセンサデバイス10が含まれていても、各センサデバイス10の能力に応じた認識モデル610を生成することができることから、各センサデバイス10で認識を行うことができる。
また、本実施形態においては、先に説明したように、認識モデル610は、機械学習で用いた教師データ602に関する情報を含んでいてもよい。ここで、教師データ602に関する情報とは、教師データ602の種別(例えば、画像、音声等)や、教師データの品質(ひずみ補償レベル、画素欠陥、ホワイトバランス、画像サイズ、彩度、輝度、ガンマ、コントラスト、エッジ強調レベル、フォーカス、露出レベル、解像度、ダイナミックレンジ、ノイズリダクションレベル等)であることができる。このような教師データ602に関する情報は、先に説明したセンサデバイス10の前処理部138において、取得されたセンシングデータが認識モデル(詳細には教師データ602)に近い形態を持つように前処理を行う際に用いられることができる。このようにすることで、本実施形態においては、センサデバイス10の認識部142の認識の精度を向上させることができるが、この詳細については後述する。
また、本実施形態においては、先に説明したように、認識モデル610は、配信リクエストで指定された配信データを生成するために求められるセンシングデータを取得するための、センサデバイス10のセンサ部100の設定に関する設定情報を含んでいてもよい。ここで、設定情報とは、センシングデータの種別(例えば、画像、音声等)や、所望するセンシングデータの品質に応じたセンサ部100の設定値(ひずみ補償レベル、ホワイトバランス、画像サイズ、彩度、輝度、ガンマ、コントラスト、エッジ強調レベル、フォーカス、露出レベル、解像度、ダイナミックレンジ、ノイズリダクションレベル等)であることができる。本実施形態においては、このような設定情報は、センサ部100の設定の際に用いられ、認識モデル610に応じたセンシングデータを取得することを可能にし、ひいては認識部142の認識の精度を向上させることができる。
なお、本実施形態においては、学習器238aはサービスサーバ20と別個のサーバに設けられていてもよく、特に限定されるものではない。さらに、本実施形態においては、学習器238aにおける学習方法は、上述した方法に限定されるものではなく別の方法を用いてもよい。
(認識モデルを用いた認識)
次に、上述した認識モデル610を用いた認識について説明する。先に説明したように、認識モデル610は、センサデバイス10の認識部142で、センシングデータ、もしくは、前処理されたセンシングデータが、配信リクエストに該当するかどうかを認識する際に用いられる。ここで、具体例を示して、本実施形態に係る認識ついて説明する。例えば、ユーザからの配信リクエストにより、センサデバイス10で取得した画像(センシングデータ)を用いて、所定の人物(オブジェクト)を探索することを要求された場合(配信データは、所定の人物の位置情報となる)を説明する。センサデバイス10は、センサ部100から画像を取得する。そして、認識部142は、サービスサーバ20から取得した認識モデル610、詳細には、所定の人物(オブジェクト)600の画像の特徴点、特徴量を参照して、センサ部100から取得した画像に、所定の人物の画像が含まれているかどうかを認識する。すなわち、本実施形態においては、上述のような認識をセンサデバイス10で行うことから、画像の取得後すぐに認識を行うことができる。
本実施形態においては、先に説明したように、複数のセンサデバイス10は、そのセンシング能力や演算能力が互いに異なり、すなわち、認識できる能力が互いに異なるため、各センサデバイス10の能力情報に応じて、各認識モデル610を生成され、各認識が行われる。例えば、本実施形態においては、ユーザからの配信リクエストにより、センサデバイス10で取得したセンシングデータ(ここでは、特にセンシングデータの種別を限定していない)を用いて、所定の人物(オブジェクト)を探索することを要求された場合には、画像を取得することが可能なセンサデバイス10の認識部142は、認識モデル610に基づいて、画像から所定の人物の画像を認識し、環境音を取得することが可能なセンサデバイス10の認識部142は、認識モデル610に基づいて、環境音から所定の人物の音声を認識する。
また、別の例では、本実施形態においては、ユーザからの配信リクエストにより、センサデバイス10で取得した画像を用いて、所定のネコ(ここでは、「タマ」と名付けられたネコ(種別がアメリカンショートヘアであるものとする)を探索することを要求された場合には、以下のように認識が行われてもよい。高い解像度を有する画像を取得することができるセンシング能力を持ち、且つ、高い演算能力を有するセンサデバイス10の認識部142は、認識モデル610に基づいて、画像から「タマ」の画像を認識する。また、中程度の解像度を有する画像を取得することができるセンシング能力を持ち、且つ、高い演算能力を有するセンサデバイス10の認識部142は、認識モデル610に基づいて、画像からアメリカンショートヘア(ネコ種)の画像を認識する。さらに、低い解像度を有する画像を取得することができるセンシング能力を持ち、且つ、低い演算能力を有するセンサデバイス10の認識部142は、認識モデル610に基づいて、画像からネコの画像を認識する。以上のように、本実施形態においては、様々な仕様を持つ複数のセンサデバイス10が含まれていても、各センサデバイス10で認識を行うことができる。
なお、本実施形態においては、認識部142は、センサデバイス10と別個の装置に設けられていてもよく、特に限定されるものではない。さらに、本実施形態においては、認識部142における認識方法は、上述した方法に限定されるものではなく別の方法を用いてもよい。
(配信データの例)
次に、図6を参照して、本実施形態に係る配信データの例について説明する。先に説明したように、センサデバイス10のデータ生成部144は、センシングデータに対して当該配信リクエストに応じた処理を行い、配信データを生成する。当該配信データは、配信リクエストで指定された、オブジェクトの属性情報、数量情報、位置情報、状態情報、動作情報、周囲環境情報、及び、予測情報のうちの少なくとも1つの情報を含むことができる。また、当該配信データは、画像やテキスト等のデータフォーマットを持つことができ、特に限定されるものではない。さらに、配信データには、配信リクエストを送信したユーザもしくはユーザデバイス30の識別情報が含まれていることが好ましい。すなわち、例えば、データ生成部144は、配信リクエストに応じて、センシングデータから配信リクエストで指定されたオブジェクトのデータのみを配信データとして抽出したり、抽象化したり、テキストデータ化したりすることができる。このように、本実施形態においては、データ生成部144が、配信リクエストに該当したセンシングデータを処理して配信データを生成する、リアルタイムでの配信を実現することができる。また、本実施形態においては、データ生成部144は、センシングデータが配信リクエストに該当しない場合には、配信データを生成、送信することはない。従って、本実施形態によれば、センシングデータが配信リクエストに該当するか否かに関係なくセンシングデータを送信する場合に比べて、データ送信の負荷を減らすことができる。
また、本実施形態においては、データ生成部144は、配信データから、センシングデータに含まれるプライバシに関する情報(例えば、人物が特定できる程度の人物の撮像)を排除することができる。このようにすることで、本実施形態においては、プライバシの保護を確保にしている。より具体的には、図6の最上段に示される例では、データ生成部144は、配信リクエストに該当するセンシングデータとして道路の画像Aが取得された場合、配信リクエストで指定された看板標識や横断歩道のみを抽出して、配信データAを生成する。また、図6の上から2段目に示される例では、データ生成部144は、配信リクエストに該当するセンシングデータとして道路の画像Bが取得された場合、配信リクエストで指定された道路上の標識や車両のみを抽出して、配信データBを生成する。また、図6の上から3段目に示される例では、データ生成部144は、配信リクエストに該当するセンシングデータとして道路の画像Cが取得された場合、配信リクエストで指定された看板標識や水たまりのみを抽出して、配信データCを生成する。さらに、図6の最下段に示される例では、データ生成部144は、配信リクエストに該当するセンシングデータとして道路の画像Dが取得された場合、配信リクエストで指定された横断歩道や当該横断歩道を渡る人物のみを抽出して、配信データDを生成する。なお、本実施形態においては、図6の最下段に示される例のように、横断歩道を渡る人物の画像そのものを配信データとして抽出するのではなく、人物画像の代わりに人型状のアイコンを配置することが好ましく、このようにすることで高いプライバシの保護を可能にしている。すなわち、本実施形態においては、配信データからは、例えば、人物が特定できる程度の解像度を持つ人物撮像のようなプライバシに関する情報が排除されることが好ましい。
(前処理の例)
次に、図7を参照して、本実施形態に係る前処理の例について説明する。本実施形態においては、先に説明したように、認識部142は、機械学習で得られた認識モデル610を用いて、センシングデータが配信リクエストに該当するかどうかを認識することができる。そして、本実施形態においては、認識部142での認識の精度を向上させるために、センサデバイス10の前処理部138は、上述した教師データに関する情報に基づいて、センシングデータが認識モデル610に近い形態を持つように前処理を行う。詳細には、前処理部138は、フォーマット、ひずみ補償レベル、画素欠陥、ホワイトバランス、画像サイズ、彩度、輝度、ガンマ、コントラスト、エッジ強調レベル、フォーカス、露出レベル、解像度、ダイナミックレンジ、ノイズリダクションレベル等が教師データ602と同等になるように、センシングデータに対して前処理を行う。
より具体的には、例えば、センサデバイス10のセンサ部100で、図7の上段に示すような各画像をセンシングデータとして取得した場合には、前処理部138は、画質サイズ及びフォーカスが教師データ602と同等になるように、図9の上段の各画像に対して前処理を行う。そして、前処理部138は、図9の下段に示すような各画像を取得する。本実施形態によれば、このように、前処理部138で、認識モデル610を生成する際に用いた教師データ602と同等のデータレベルを持つセンシングデータになるように前処理することにより、認識部142での認識の精度をより向上させることができる。
<2.6 情報処理方法>
次に、図8を参照して、本開示の実施形態に係る情報処理方法について説明する。図8は、本実施形態に係る情報処理方法の一例を示すシーケンス図である。図8に示すように、本実施形態に係る情報処理方法は、ステップS101からステップS111までの複数のステップを主に含むことができる。以下に、本実施形態に係る情報処理方法のこれら各ステップの詳細について説明する。
まず、ユーザデバイス30は、ユーザから入力された情報を受け付け、受け付けた当該情報を配信リクエストとしてサービスサーバ20へ送信する(ステップS101)。
次に、サービスサーバ20は、ユーザデバイス30から配信リクエストを受信する(ステップS102)。そして、サービスサーバ20は、上述したステップS102で受信した配信リクエストに基づいて、認識モデルを生成し、生成した認識モデルを各センサデバイス10へ送信する(ステップS103)。
次に、センサデバイス10は、サービスサーバ20から認識モデルを受信する(ステップS104)。また、センサデバイス10は、センシングを行い、センシングデータを取得する(ステップS105)。さらに、センサデバイス10は、上述したステップS104で受信した認識モデルに基づいて、上述したステップS105で取得したセンシングデータが配信リクエストに該当するかどうかを認識する(ステップS106)。そして、センサデバイス10は、上述したステップS106でセンシングデータが配信リクエストに該当すると認識したことに基づいて、当該センシングデータに対して配信リクエストに応じた処理を行い、配信データを生成する。さらに、センサデバイス10は、生成した配信データを、配信リクエストに係るユーザデバイス30へ直接送信する(ステップS107)。
次に、ユーザデバイス30は、センサデバイス10から送信された配信データを受信する(ステップS108)。本実施形態においては、センサデバイス10から直接ユーザデバイス30へ配信データを送信することができることから、サービスサーバ20での処理負荷を減らすことができ、サービスサーバ20の運用コストの増加を避けることができる。
また、センサデバイス10は、上述したステップS107での配信データの配信に基づいて、集計情報を生成し、生成した集計情報を集計サーバ50へ送信する(ステップS109)。
次に、集計サーバ50は、センサデバイス10から集計情報を受信する(ステップS110)。さらに、集計サーバ50は、上述したステップS110で受信した集計情報に基づき、料金処理を行う(ステップS111)。そして、本実施形態に係る情報処理を終了する。
以上説明したように、上述した本実施形態によれば、様々なセンサデバイス10が取得したセンシングデータから得られる情報を様々なユーザが容易に利用することが可能なフレームワークを構築することができる。
<2.7 変形例>
以上、本実施形態の詳細について説明した。本実施形態は、以下のように変形することも可能である。そこで、本実施形態に係る変形例に説明する。なお、以下に示す変形例は、本実施形態のあくまでも一例であって、本実施形態は下記の変形例に限定されるものではない。
(変形例1)
本実施形態に係る情報処理方法は、以下のように変形することも可能である。そこで、本実施形態の変形例1に係る情報処理方法を、図9を参照して説明する。図9は、本実施形態の変形例に係る情報処理方法の一例を示すシーケンス図である。図9に示すように、本変形例に係る情報処理方法は、ステップS201からステップS212までの複数のステップを主に含むことができる。以下に、本変形例に係るこれら各ステップの詳細について説明する。
なお、図9に示される本変形例のステップS201からステップS206までは、図8に示される本実施形態のステップS101からステップS106までと共通することから、ここでは、ステップS201からステップS206までの説明を省略する。
センサデバイス10は、生成した配信データを、サービスサーバ20へ送信する(ステップS207)。次に、サービスサーバ20は、センサデバイス10から送信された配信データを受信し、配信リクエストに係るユーザデバイス30へ送信する(ステップS208)。そして、ユーザデバイス30は、サービスサーバ20から送信された配信データを受信する(ステップS209)。本変形例においては、センサデバイス10からサービスサーバ20を介してユーザデバイス30へ配信データを送信することができることから、ユーザデバイス30は、データ配信システム1と共通するインタフェースを持っていなくても、サービスサーバ20と共通するインタフェースを持っていれば、配信データを受信することができる。
なお、図9に示される本変形例のステップS210からステップS212までは、図8に示される本実施形態のステップS109からステップS111までと共通することから、ここでは、ステップS210からステップS212までの説明を省略する。
(変形例2)
また、本実施形態に係るデータ配信システム1は、以下のように変形することも可能である。そこで、図10を参照して、本実施形態の変形例に係るデータ配信システム1aの構成例を説明する。図10は、本実施形態の変形例に係るデータ配信システム1aの概略的な機能構成を示したシステム図である。
詳細には、図10に示すように、本変形例に係るデータ配信システム1aは、上述した実施形態と同様に、複数のセンサデバイス10a、10b、10cと、サービスサーバ20aと、複数のユーザデバイス30a、30b、30cと、認証サーバ40と、集計サーバ50とを含み、さらにサービスサーバ20bを含むことができる。すなわち、本変形例においては、データ配信システム1aは、データ配信システム1aに共通するインタフェース(データ転送形式、データ転送方法等)を持っていれば、複数のサービスサーバ20を含むことができる。従って、本変形例によれば、データ配信システム1aに、様々なサービス提供者が参入することができる。
(変形例3)
さらに、本実施形態に係る認識部142は、以下のように変形することも可能である。そこで、本実施形態の変形例に係る認識部142を、図11を参照して説明する。図11は、本実施形態の変形例に係る認識部142の一例を説明するための説明図である。
本変形例においては、認識部142は、図11に示すように、互いに通信可能に多段に連結され、協働して階層的に認識を行う複数の認識ノード142a、142b、142cにより構成されることができる。これら複数の認識ノード142a、142b、142cは、共通のインタフェースを持ち、互いに協働して、センシングデータが配信リクエストに該当するかどうかを認識することができる演算装置である。本変形例においては、各認識ノード142a、142b、142cのそれぞれの演算能力が小さい場合であっても、これらが協働して、分散処理することにより、負荷が大きい認識処理が求められる場合であっても、認識処理を行うことができる。
本変形例においては、例えば、複数の認識ノード142a~142cは、入力層142a、中間層142b、出力層142cであることができる。まずは、入力層142aには、センサデータ取得部136又は前処理部138から、センシングデータ又は前処理されたセンシングデータが入力される。そして、入力層142aは、入力されたセンシングデータの有する特徴に基づいた演算を行い、第1の認識結果を中間層142bに出力する。例えば、第1の認識結果は、入力されたセンシングデータを次の中間層142bで処理することができるレベルに処理されたセンシングデータであることができ、さらに、センシングデータから入力層142aでの演算によって得られる情報粒度を持った情報であることができる。また、当該情報は、処理されたセンシングデータのメタデータとして、中間層142bに出力されてもよい。
次に、中間層142bには、入力層142aから第1の認識結果が入力され、入力された第1の認識結果の有する特徴に基づいた演算を行い、第2の認識結果を出力層142cに出力する。上述と同様に、例えば、第2の認識結果は、入力層142aで処理されたセンシングデータを次の出力層142cで処理することができるレベルに処理されたセンシングデータであることができ、さらに、入力層142aで処理されたセンシングデータから中間層142bでの演算によって得られる情報粒度を持った情報であることができる。また、当該情報は、処理されたセンシングデータのメタデータとして、出力層142cに出力されてもよい。
さらに、出力層142cには、第2の認識結果が入力され、入力された第2の認識結果の有する特徴に基づいた演算を行い、第3の認識結果をデータ生成部144へ出力する。上述と同様に、例えば、第3の認識結果は、中間層142bで処理されたセンシングデータから出力層142cでの演算によって得られる情報粒度を持った情報であることができる。
本変形例においては、入力層142a、中間層142b、出力層142cは、サービスサーバ20からそれぞれに送信された認識モデル610に含まれる制御データに基づいて、各時の処理能力(演算能力)に応じて実行する演算量を動的に変化させることができる。さらに、入力層142a、中間層142bは、次段(中間層142b、出力層142c)の処理能力に応じて、認識結果を次段に出力することが好ましい。上記制御データは、入力層142a、中間層142b、出力層142cでの演算量を制御するために、例えば、入力層142a、中間層142b、出力層142cの間の接続係数、すなわち、演算量の重みづけ等の情報であることができる。このようにして、本変形例によれば、多段に連結された、入力層142a、中間層142b、出力層142cは、認識結果の情報粒度を徐々に向上させることにより、協働して最終的の所望の認識結果を得ることができる。
例えば、本変形例において、ユーザからの配信リクエストにより、センサデバイス10で取得した画像を用いて、所定のネコ(ここでは、「タマ」と名付けられたネコ(種別がアメリカンショートヘアであるものとする)を探索することを要求された場合には、以下のように認識が行われてもよい。まずは、入力層142aは、認識モデル610に基づいて、センサデバイス10で取得した画像に動物の画像が含まれていることを認識する。そして、入力層142aは、センサデバイス10で取得した画像を次の中間層142bで処理することができるレベルに処理した処理画像と、処理画像のメタデータとしての「動物」という認識結果とを、中間層142bへ出力する。次に、中間層142bは、認識モデル610に基づいて、入力層142aからの処理画像にネコの画像が含まれていることを認識する。そして、中間層142bは、入力層142aからの処理画像を次の出力層142cで処理することができるレベルに処理した処理画像と、処理画像のメタデータとしての「ネコ」という認識結果とを、出力層142cへ出力する。さらに、出力層142cは、認識モデル610に基づいて、中間層142bからの処理画像に「タマ」の画像が含まれていることを認識する。そして、出力層142cは、「タマ」という認識結果を、データ生成部144へ出力する。
本変形例においては、認識部142の構成は、図11に示されるものに限定されるものではなく、さらに多段になってもよく、もしくは、ニューラルネットワークのような複雑なネットワーク状の構成になっていてもよく、特に限定されるものではない。
以上説明したように、上述した各変形例によれば、様々なセンサデバイス10が取得したセンシングデータから得られる情報を様々なユーザが容易に利用することが可能なフレームワークを構築することができる。
<<3. 実施例>>
以上、本開示の実施形態の詳細について説明した。次に、図12を参照して、具体的な実施例を示しながら、本実施形態に係る情報処理方法の例についてより具体的に説明する。図12は、本実施形態の利用例を説明するための説明図である。なお、以下に示す実施例は、本開示の実施形態に係る情報処理方法のあくまでも一例であって、本開示の実施形態に係る情報処理方法が下記の実施例に限定されるものではない。
以下に説明する実施例は、ユーザが特定の個人を探すことを依頼する場合を想定している。詳細には、図12に示すように、本実施例に係るデータ配信システム1bは、複数のカメラ(センサデバイス)10a、10b、10cと、データ流通サービスサーバ(サービスサーバ)20aと、人探しサービスサーバ(サービスサーバ)20bと、ユーザデバイス30と、認証サーバ40と、集計サーバ50とを含む。
まず、ユーザは、ユーザデバイス30に、人探しサービスサーバ20bとのインタフェースとして機能する、人探しサービスサーバ20bが提供するアプリをインストールする。さらに、ユーザは、ユーザデバイス30を介して、特定の個人の人探しの依頼を配信リクエストして人探しサービスサーバ20bへ送信する。この際、ユーザは、例えば、探そうとしている特定の人物の複数の画像等を人探しサービスサーバ20bへ送信する。
次に、人探しサービスサーバ20bは、ユーザデバイス30から配信リクエストを受信し、データ流通サービスサーバ20aに対して、画像の中から所定の人物を探索するよう依頼(配信リクエスト)を行う。この際、人探しサービスサーバ20bは、ユーザから入手した所定の人物の画像を、データ流通サービスサーバ20aに送信してもよく、もしくは、自身又は外部業者に委託して、所定の人物の画像を用いて認識モデル610を生成してもよい。この場合、人探しサービスサーバ20bは、当該認識モデル610をデータ流通サービスサーバ20aに送信する。
次に、データ流通サービスサーバ20aは、人探しサービスサーバ20bから配信リクエストを受信し、ユーザから入手した所定の人物の画像を用いて認識モデル610を生成し、生成した認識モデル610を各カメラ10a、10b、10cへ送信する。なお、データ流通サービスサーバ20aは、認識モデル610の生成を、外部業者に委託してもよい。また、本実施例においては、各カメラ10a、10b、10cが、例えば、タクシーに搭載された車載カメラである場合には、これらのタクシーを管理するタクシー会社に認識モデル610を送付し、当該タクシー会社から認識モデル610を各カメラ10a、10b、10cに送信してもよい。
次に、各カメラ10a、10b、10cは、認識モデル610を受信する。各カメラ10a、10b、10cは、周囲環境の撮像を行い、画像を取得する。さらに、各カメラ10a、10b、10cは、受信した認識モデル610に基づいて、取得した画像に所定の人物の画像が含まれているかどうかの認識を行う。そして、取得した画像に所定の人物の画像が含まれている場合には、各カメラ10a、10b、10cは、所定の人物の画像が取得された際の各カメラ10a、10b、10cの位置情報及び時間情報を、配信データとしてデータ流通サービスサーバ20aに送信する。なお、この際、配信データとして、所定の人物の画像を送信してもよい。この場合、プライバシの保護のため、配信データに含まれる情報は、所定の人物の画像のみとし、所定の人物の周囲環境の画像や、所定の人物の周囲に存在する人物の画像等は配信データに含まれないようにすることが好ましい。
次に、データ流通サービスサーバ20aは、受信した配信データを、人探しサービスサーバ20bへ送信する。さらに、人探しサービスサーバ20bは、受信した配信データを、依頼があったユーザデバイス30へ成果物として送信する。
当該実施例においては、ユーザは、成果物に応じて、人探しサービスサーバ20bの運営者に対価を支払う。また、人探しサービスサーバ20bの運営者は、配信データに応じて、データ流通サービスサーバ20aの運営者に対価を支払う。さらに、データ流通サービスサーバ20aの運営者は、集計サーバ50で決定された配信量に基づくデータ使用料金に従って、各カメラ10a、10b、10cの管理者(例えば、タクシー会社)に料金を支払うこととなる。
<<4. まとめ>>
以上説明したように、上述した本実施形態及び変形例によれば、様々なセンサデバイス10が取得したセンシングデータから得られる情報を様々なユーザが容易に利用することが可能なフレームワークを構築することができる。
<<5. ハードウェア構成について>>
上述してきた各実施形態に係るセンサデバイス10及びサービスサーバ20等の情報処理装置は、例えば図13に示すような構成のコンピュータ1000によって実現される。以下、本開示の実施形態に係るセンサデバイス10及びサービスサーバ20を例に挙げて説明する。図13は、センサデバイス10及びサービスサーバ20の機能を実現するコンピュータ1000の一例を示すハードウェア構成図である。コンピュータ1000は、CPU1100、RAM1200、ROM1300、HDD1400、通信インタフェース1500、及び入出力インタフェース1600を有する。コンピュータ1000の各部は、バス1050によって接続される。
CPU1100は、ROM1300又はHDD1400に格納されたプログラムに基づいて動作し、各部の制御を行う。例えば、CPU1100は、ROM1300又はHDD1400に格納されたプログラムをRAM1200に展開し、各種プログラムに対応した処理を実行する。
ROM1300は、コンピュータ1000の起動時にCPU1100によって実行されるBIOS(Basic Input Output System)等のブートプログラムや、コンピュータ1000のハードウェアに依存するプログラム等を格納する。
HDD1400は、CPU1100によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を非一時的に記録する、コンピュータが読み取り可能な記録媒体である。具体的には、HDD1400は、プログラムデータ1450の一例である本開示に係る情報処理プログラムやアプリを記録する記録媒体である。
通信インタフェース1500は、コンピュータ1000が外部ネットワーク1550(例えばインターネット)と接続するためのインタフェースである。例えば、CPU1100は、通信インタフェース1500を介して、他の機器からデータを受信したり、CPU1100が生成したデータを他の機器へ送信したりする。
入出力インタフェース1600は、入出力デバイス1650とコンピュータ1000とを接続するためのインタフェースである。例えば、CPU1100は、入出力インタフェース1600を介して、キーボードやマウス等の入力デバイスからデータを受信する。また、CPU1100は、入出力インタフェース1600を介して、ディスプレイやスピーカやプリンタ等の出力デバイスにデータを送信する。また、入出力インタフェース1600は、所定の記録媒体(メディア)に記録されたプログラム等を読み取るメディアインターフェイスとして機能してもよい。メディアとは、例えばDVD(Digital Versatile Disc)、PD(Phase change rewritable Disk)等の光学記録媒体、MO(Magneto-Optical disk)等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。
例えば、コンピュータ1000が本開示の実施形態に係るサービスサーバ20として機能する場合、コンピュータ1000のCPU1100は、RAM1200に格納されたプログラムを実行することにより、処理部230等の機能を実現する。また、HDD1400には、本開示に係る情報処理プログラム等が格納される。なお、CPU1100は、プログラムデータ1450をHDD1400から読み取って実行するが、他の例として、外部ネットワーク1550を介して、他の装置からこれらのプログラムを取得してもよい。
また、本実施形態に係る情報処理装置は、例えばクラウドコンピューティング等のように、ネットワークへの接続(または各装置間の通信)を前提とした、複数の装置からなるシステムに適用されてもよい。つまり、上述した本実施形態に係る情報処理装置は、例えば、複数の装置により本実施形態に係る情報処理方法に係る処理を行う情報処理システムとして実現することも可能である。
<<6. 移動体への応用例>>
また、本開示に係る技術(本技術)は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
図14は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
車両制御システム12000は、通信ネットワーク12001を介して接続された複数の電子制御ユニットを備える。図14に示した例では、車両制御システム12000は、駆動系制御ユニット12010、ボディ系制御ユニット12020、車外情報検出ユニット12030、車内情報検出ユニット12040、及び統合制御ユニット12050を備える。また、統合制御ユニット12050の機能構成として、マイクロコンピュータ12051、音声画像出力部12052、及び車載ネットワークI/F(Interface)12053が図示されている。
駆動系制御ユニット12010は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット12010は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
ボディ系制御ユニット12020は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット12020は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット12020には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット12020は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
車外情報検出ユニット12030は、車両制御システム12000を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット12030には、撮像部12031が接続される。車外情報検出ユニット12030は、撮像部12031に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット12030は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
撮像部12031は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部12031は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部12031が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
車内情報検出ユニット12040は、車内の情報を検出する。車内情報検出ユニット12040には、例えば、運転者の状態を検出する運転者状態検出部12041が接続される。運転者状態検出部12041は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット12040は、運転者状態検出部12041から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
マイクロコンピュータ12051は、車外情報検出ユニット12030又は車内情報検出ユニット12040で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット12010に対して制御指令を出力することができる。例えば、マイクロコンピュータ12051は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むADAS(Advanced Driver Assistance System)の機能実現を目的とした協調制御を行うことができる。
また、マイクロコンピュータ12051は、車外情報検出ユニット12030又は車内情報検出ユニット12040で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
また、マイクロコンピュータ12051は、車外情報検出ユニット12030で取得される車外の情報に基づいて、ボディ系制御ユニット12030に対して制御指令を出力することができる。例えば、マイクロコンピュータ12051は、車外情報検出ユニット12030で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
音声画像出力部12052は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図14の例では、出力装置として、オーディオスピーカ12061、表示部12062及びインストルメントパネル12063が例示されている。表示部12062は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
図15は、撮像部12031の設置位置の例を示す図である。
図15では、撮像部12031として、撮像部12101、12102、12103、12104、12105を有する。
撮像部12101、12102、12103、12104、12105は、例えば、車両12100のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部12101及び車室内のフロントガラスの上部に備えられる撮像部12105は、主として車両12100の前方の画像を取得する。サイドミラーに備えられる撮像部12102、12103は、主として車両12100の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部12104は、主として車両12100の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部12105は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
なお、図15には、撮像部12101ないし12104の撮影範囲の一例が示されている。撮像範囲12111は、フロントノーズに設けられた撮像部12101の撮像範囲を示し、撮像範囲12112,12113は、それぞれサイドミラーに設けられた撮像部12102,12103の撮像範囲を示し、撮像範囲12114は、リアバンパ又はバックドアに設けられた撮像部12104の撮像範囲を示す。例えば、撮像部12101ないし12104で撮像された画像データが重ね合わせられることにより、車両12100を上方から見た俯瞰画像が得られる。
撮像部12101ないし12104の少なくとも1つは、距離情報を取得する機能を有していてもよい。例えば、撮像部12101ないし12104の少なくとも1つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
例えば、マイクロコンピュータ12051は、撮像部12101ないし12104から得られた距離情報を基に、撮像範囲12111ないし12114内における各立体物までの距離と、この距離の時間的変化(車両12100に対する相対速度)を求めることにより、特に車両12100の進行路上にある最も近い立体物で、車両12100と略同じ方向に所定の速度(例えば、0km/h以上)で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ12051は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御(追従停止制御も含む)や自動加速制御(追従発進制御も含む)等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
例えば、マイクロコンピュータ12051は、撮像部12101ないし12104から得られた距離情報を元に、立体物に関する立体物データを、2輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ12051は、車両12100の周辺の障害物を、車両12100のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ12051は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ12061や表示部12062を介してドライバに警報を出力することや、駆動系制御ユニット12010を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
撮像部12101ないし12104の少なくとも1つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ12051は、撮像部12101ないし12104の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部12101ないし12104の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ12051が、撮像部12101ないし12104の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部12052は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部12062を制御する。また、音声画像出力部12052は、歩行者を示すアイコン等を所望の位置に表示するように表示部12062を制御してもよい。
以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうちの撮像部12031をセンサデバイス10として用いることにより適用され得る。
<<7. 補足>>
なお、先に説明した本開示の実施形態は、例えば、コンピュータを本実施形態に係るセンサデバイス10、サービスサーバ20、ユーザデバイス30、及び集計サーバ50等として機能させるためのプログラム、及びプログラムが記録された一時的でない有形の媒体を含みうる。また、プログラムをインターネット等の通信回線(無線通信も含む)を介して頒布してもよい。
また、上述した各実施形態の情報処理における各ステップは、必ずしも記載された順序に沿って処理されなくてもよい。例えば、各ステップは、適宜順序が変更されて処理されてもよい。また、各ステップは、時系列的に処理される代わりに、一部並列的に又は個別的に処理されてもよい。さらに、各ステップの処理方法についても、必ずしも記載された方法に沿って処理されなくてもよく、例えば、他の機能部によって他の方法で処理されていてもよい。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、本技術は以下のような構成も取ることができる。
(1)
センシングデータを取得する、1つ又は複数のセンサデバイスと、
前記センシングデータから生成され得る所定のデータの配信を要求する1つ又は複数の要求元からの配信リクエストを受け付けるサーバと、
を含み、
前記センサデバイスは、
前記センシングデータを取得するセンサ部と、
前記サーバから、前記配信リクエストに対応する認識モデルを取得するモデル取得部と、
前記認識モデルに基づき、取得した前記センシングデータが前記配信リクエストに該当するかどうかを認識する認識部と、
前記センシングデータが前記配信リクエストに該当する場合、当該センシングデータに対して当該配信リクエストに応じた処理を行い、前記所定のデータを生成するデータ生成部と、
前記所定のデータを配信するセンサデバイス側配信部と、
を有し、
前記サーバは、
前記1つ又は複数の要求元から、前記配信リクエストを受け付けるリクエスト受付部と、
前記配信リクエストに対応する前記認識モデルを生成するモデル生成部と、
生成した前記認識モデルを前記センサデバイスに送信するモデル送信部と、
を有する、
データ配信システム。
(2)
前記モデル生成部は、
前記配信リクエストで指定されたオブジェクトに関連する複数の教師データを機械学習することにより、前記センシングデータに含まれる前記オブジェクトを認識するための前記認識モデルを生成する、
上記(1)に記載のデータ配信システム。
(3)
前記センサデバイスは、
前記認識モデルに応じて、前記センシングデータを前処理して、前記認識部へ出力する前処理部をさらに有する、
上記(2)に記載のデータ配信システム。
(4)
前記データ生成部は、前記配信リクエストに応じて前記センシングデータから前記所定のデータのみを抽出する、上記(2)又は(3)に記載のデータ配信システム。
(5)
前記所定のデータは、前記オブジェクトの属性情報、数量情報、位置情報、状態情報、動作情報、周囲環境情報、及び、予測情報のうちの少なくとも1つの情報を含む、上記(4)に記載のデータ配信システム。
(6)
前記配信リクエストは、前記オブジェクトに関するオブジェクト情報、前記所定のデータに関するデータフォーマット情報、及び、前記要求元の識別情報を含む、上記(2)~(5)のいずれか1つに記載のデータ配信システム。
(7)
前記センサデバイス側配信部は、前記所定のデータを前記要求元へ配信する、上記(1)~(6)のいずれか1つに記載のデータ配信システム。
(8)
前記サーバは、前記所定のデータを前記要求元へ配信するサーバ側配信部をさらに有し、
前記センサデバイス側配信部は、前記所定のデータを前記サーバへ配信する、
上記(1)~(6)のいずれか1つに記載のデータ配信システム。
(9)
前記認識部は、互いに通信可能に連結され、協働して階層的に認識を行う複数の認識ノードにより構成され、
前記複数の認識ノードは、
前記センシングデータが入力され、入力された前記センシングデータの有する特徴に基づいた演算を行い、第1の認識結果を出力する第1のノードと、
前記第1の認識結果が入力され、入力された前記第1の認識結果の有する特徴に基づいた演算を行い、第2の認識結果を出力する第2のノードと、
前記第2の認識結果が入力され、入力された前記第2の認識結果の有する特徴に基づいた演算を行い、第3の認識結果を出力する第3のノードと、
を少なくとも含み、
前記第1から第3のノードは、前記第1から第3のノードのそれぞれに送信された前記認識モデルに含まれる制御データに基づいて、実行する演算量を動的に変化させる、
上記(1)~(8)のいずれか1つに記載のデータ配信システム。
(10)
前記第1のノードは、前記第2のノードの演算能力に応じた前記第1の認識結果を出力し、
前記第2のノードは、前記第3のノードの演算能力に応じた前記第2の認識結果を出力する、
上記(9)に記載のデータ配信システム。
(11)
前記第1及び第2の認識結果のうちの少なくともいずれか1つは、現階層での認識結果を記述したメタデータとともに出力される、上記(9)又は(10)に記載のデータ配信システム。
(12)
前記センサデバイスは、撮像装置、深度センサ、集音装置、温度計、湿度計、水位計のうちの少なくとも1つである、上記(1)~(11)のいずれか1つに記載のデータ配信システム。
(13)
前記センサデバイスは、移動体に搭載される撮像装置である、上記(1)~(11)のいずれか1つに記載のデータ配信システム。
(14)
前記センサデバイスは、測位部をさらに有し、
前記測位部は、前記配信リクエストに該当する前記センシングデータが取得された際の前記センサデバイスの測位データを取得し、
前記センサデバイス側配信部は、前記測位データとともに、前記所定のデータを配信する、
上記(1)~(13)のいずれか1つに記載のデータ配信システム。
(15)
前記サーバは、
前記センサデバイスの能力を示す能力情報を取得する能力情報取得部をさらに有し、
前記モデル生成部は、前記能力情報に基づいて、前記認識モデルを生成する、
上記(1)~(14)のいずれか1つに記載のデータ配信システム。
(16)
集計サーバをさらに含み、
前記センサデバイスは、
前記要求元ごとに前記所定のデータの配信量を集計して、集計情報を生成する集計部と、
当該集計情報を前記集計サーバに送信する集計情報送信部と、
をさらに有し、
前記集計サーバは、
前記センサデバイスから前記集計情報を取得する集計情報取得部と、
前記集計情報に基づきデータ使用料金を決定し、前記センサデバイスの管理者及び前記各要求元との間で前記データ使用料金の授受を行う料金処理部と、
をさらに有する、
上記(1)~(15)のいずれか1つに記載のデータ配信システム。
(17)
前記集計情報送信部は、
前記集計情報として、
前記所定のデータに対応する前記センシングデータが取得された際の日時、前記所定のデータの配信量、前記所定のデータのデータフォーマット、及び、前記所定のデータの前記要求元の識別情報、前記センサデバイスの識別情報、及び、前記センサデバイスの管理者の識別情報のうちの少なくとも1つを前記集計サーバに送信する、
上記(16)に記載のデータ配信システム。
(18)
前記料金処理部は、前記配信量及び前記データフォーマットのうちの少なくとも1つに基づいて、前記データ使用料金を決定する、上記(17)に記載のデータ配信システム。
(19)
センシングデータを取得するセンサ部と、
前記センシングデータから生成され得る所定のデータの配信を要求する1つ又は複数の要求元からの配信リクエストを受け付けるサーバから、前記配信リクエストに対応する認識モデルを取得するモデル取得部と、
前記認識モデルに基づき、取得した前記センシングデータが前記配信リクエストに該当するかどうかを認識する認識部と、
前記センシングデータが前記配信リクエストに該当する場合、当該センシングデータに対して当該配信リクエストに応じた処理を行い、前記所定のデータを生成するデータ生成部と、
前記所定のデータを配信するセンサデバイス側配信部と、
を備える、
センサデバイス。
(20)
所定のデータの配信を要求する要求元から配信リクエストを受け付けるリクエスト受付部と、
センサデバイスにおいて、当該センサデバイスで取得したセンシングデータが前記配信リクエストに該当するかどうかを認識するための認識モデルを生成するモデル生成部と、
生成した前記認識モデルを前記センサデバイスに送信するモデル送信部と、
を備える、
サーバ。
1、1a、1b データ配信システム
10、10a、10b、10c センサデバイス
20、20a,20b サービスサーバ
30、30a、30b、30c ユーザデバイス
40 認証サーバ
50 集計サーバ
100 センサ部
110 測位部
130,230、530 処理部
132、232 ID送信部
134 key受信部
136 センサデータ取得部
138 前処理部
140 モデル取得部
142 認識部
142a 入力層
142b 中間層
142c 出力層
144 データ生成部
146、246 配信部
148 集計部
150 集計情報送信部
160、260、560 記憶部
170、270、570 通信部
234 リクエスト受付部
236 能力情報取得部
238 モデル生成部
238a 学習器
240 モデル送信部
242 データ取得部
532 集計情報取得部
534 料金処理部
600 オブジェクト
602 教師データ
610 認識モデル

Claims (20)

  1. センシングデータを取得する、1つ又は複数のセンサデバイスと、
    前記センシングデータから生成され得る所定のデータの配信を要求する1つ又は複数の要求元からの配信リクエストを受け付けるサーバと、
    を含み、
    前記センサデバイスは、
    前記センシングデータを取得するセンサ部と、
    前記サーバから、前記配信リクエストに対応する認識モデルを取得するモデル取得部と、
    前記認識モデルに基づき、取得した前記センシングデータが前記配信リクエストに該当するかどうかを認識する認識部と、
    前記センシングデータが前記配信リクエストに該当する場合、当該センシングデータに対して当該配信リクエストに応じた処理を行い、前記所定のデータを生成するデータ生成部と、
    前記所定のデータを配信するセンサデバイス側配信部と、
    を有し、
    前記サーバは、
    前記1つ又は複数の要求元から、前記配信リクエストを受け付けるリクエスト受付部と、
    前記配信リクエストに対応する前記認識モデルを生成するモデル生成部と、
    生成した前記認識モデルを前記センサデバイスに送信するモデル送信部と、
    を有する、
    データ配信システム。
  2. 前記モデル生成部は、
    前記配信リクエストで指定されたオブジェクトに関連する複数の教師データを機械学習することにより、前記センシングデータに含まれる前記オブジェクトを認識するための前記認識モデルを生成する、
    請求項1に記載のデータ配信システム。
  3. 前記センサデバイスは、
    前記認識モデルに応じて、前記センシングデータを前処理して、前記認識部へ出力する前処理部をさらに有する、
    請求項2に記載のデータ配信システム。
  4. 前記データ生成部は、前記配信リクエストに応じて前記センシングデータから前記所定のデータのみを抽出する、請求項2に記載のデータ配信システム。
  5. 前記所定のデータは、前記オブジェクトの属性情報、数量情報、位置情報、状態情報、動作情報、周囲環境情報、及び、予測情報のうちの少なくとも1つの情報を含む、請求項4に記載のデータ配信システム。
  6. 前記配信リクエストは、前記オブジェクトに関するオブジェクト情報、前記所定のデータに関するデータフォーマット情報、及び、前記要求元の識別情報を含む、請求項2に記載のデータ配信システム。
  7. 前記センサデバイス側配信部は、前記所定のデータを前記要求元へ配信する、請求項1に記載のデータ配信システム。
  8. 前記サーバは、前記所定のデータを前記要求元へ配信するサーバ側配信部をさらに有し、
    前記センサデバイス側配信部は、前記所定のデータを前記サーバへ配信する、
    請求項1に記載のデータ配信システム。
  9. 前記認識部は、互いに通信可能に連結され、協働して階層的に認識を行う複数の認識ノードにより構成され、
    前記複数の認識ノードは、
    前記センシングデータが入力され、入力された前記センシングデータの有する特徴に基づいた演算を行い、第1の認識結果を出力する第1のノードと、
    前記第1の認識結果が入力され、入力された前記第1の認識結果の有する特徴に基づいた演算を行い、第2の認識結果を出力する第2のノードと、
    前記第2の認識結果が入力され、入力された前記第2の認識結果の有する特徴に基づいた演算を行い、第3の認識結果を出力する第3のノードと、
    を少なくとも含み、
    前記第1から第3のノードは、前記第1から第3のノードのそれぞれに送信された前記認識モデルに含まれる制御データに基づいて、実行する演算量を動的に変化させる、
    請求項1に記載のデータ配信システム。
  10. 前記第1のノードは、前記第2のノードの演算能力に応じた前記第1の認識結果を出力し、
    前記第2のノードは、前記第3のノードの演算能力に応じた前記第2の認識結果を出力する、
    請求項9に記載のデータ配信システム。
  11. 前記第1及び第2の認識結果のうちの少なくともいずれか1つは、現階層での認識結果を記述したメタデータとともに出力される、請求項9に記載のデータ配信システム。
  12. 前記センサデバイスは、撮像装置、深度センサ、集音装置、温度計、湿度計、水位計のうちの少なくとも1つである、請求項1に記載のデータ配信システム。
  13. 前記センサデバイスは、移動体に搭載される撮像装置である、請求項1に記載のデータ配信システム。
  14. 前記センサデバイスは、測位部をさらに有し、
    前記測位部は、前記配信リクエストに該当する前記センシングデータが取得された際の前記センサデバイスの測位データを取得し、
    前記センサデバイス側配信部は、前記測位データとともに、前記所定のデータを配信する、
    請求項1に記載のデータ配信システム。
  15. 前記サーバは、
    前記センサデバイスの能力を示す能力情報を取得する能力情報取得部をさらに有し、
    前記モデル生成部は、前記能力情報に基づいて、前記認識モデルを生成する、
    請求項1に記載のデータ配信システム。
  16. 集計サーバをさらに含み、
    前記センサデバイスは、
    前記要求元ごとに前記所定のデータの配信量を集計して、集計情報を生成する集計部と、
    当該集計情報を前記集計サーバに送信する集計情報送信部と、
    をさらに有し、
    前記集計サーバは、
    前記センサデバイスから前記集計情報を取得する集計情報取得部と、
    前記集計情報に基づきデータ使用料金を決定し、前記センサデバイスの管理者及び前記各要求元との間で前記データ使用料金の授受を行う料金処理部と、
    をさらに有する、
    請求項1に記載のデータ配信システム。
  17. 前記集計情報送信部は、
    前記集計情報として、
    前記所定のデータに対応する前記センシングデータが取得された際の日時、前記所定のデータの配信量、前記所定のデータのデータフォーマット、及び、前記所定のデータの前記要求元の識別情報、前記センサデバイスの識別情報、及び、前記センサデバイスの管理者の識別情報のうちの少なくとも1つを前記集計サーバに送信する、
    請求項16に記載のデータ配信システム。
  18. 前記料金処理部は、前記配信量及び前記データフォーマットのうちの少なくとも1つに基づいて、前記データ使用料金を決定する、請求項17に記載のデータ配信システム。
  19. センシングデータを取得するセンサ部と、
    前記センシングデータから生成され得る所定のデータの配信を要求する1つ又は複数の要求元からの配信リクエストを受け付けるサーバから、前記配信リクエストに対応する認識モデルを取得するモデル取得部と、
    前記認識モデルに基づき、取得した前記センシングデータが前記配信リクエストに該当するかどうかを認識する認識部と、
    前記センシングデータが前記配信リクエストに該当する場合、当該センシングデータに対して当該配信リクエストに応じた処理を行い、前記所定のデータを生成するデータ生成部と、
    前記所定のデータを配信するセンサデバイス側配信部と、
    を備える、
    センサデバイス。
  20. 所定のデータの配信を要求する要求元から配信リクエストを受け付けるリクエスト受付部と、
    センサデバイスにおいて、当該センサデバイスで取得したセンシングデータが前記配信リクエストに該当するかどうかを認識するための認識モデルを生成するモデル生成部と、
    生成した前記認識モデルを前記センサデバイスに送信するモデル送信部と、
    を備える、
    サーバ。
JP2020556131A 2018-11-13 2019-11-12 データ配信システム、センサデバイス及びサーバ Active JP7420734B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2024002502A JP2024041897A (ja) 2018-11-13 2024-01-11 データ配信システム、センサデバイス及びサーバ

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201862760234P 2018-11-13 2018-11-13
US62/760,234 2018-11-13
US201962869749P 2019-07-02 2019-07-02
US62/869,749 2019-07-02
PCT/JP2019/044439 WO2020100922A1 (ja) 2018-11-13 2019-11-12 データ配信システム、センサデバイス及びサーバ

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2024002502A Division JP2024041897A (ja) 2018-11-13 2024-01-11 データ配信システム、センサデバイス及びサーバ

Publications (2)

Publication Number Publication Date
JPWO2020100922A1 JPWO2020100922A1 (ja) 2021-10-07
JP7420734B2 true JP7420734B2 (ja) 2024-01-23

Family

ID=70730703

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2020556131A Active JP7420734B2 (ja) 2018-11-13 2019-11-12 データ配信システム、センサデバイス及びサーバ
JP2024002502A Pending JP2024041897A (ja) 2018-11-13 2024-01-11 データ配信システム、センサデバイス及びサーバ

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2024002502A Pending JP2024041897A (ja) 2018-11-13 2024-01-11 データ配信システム、センサデバイス及びサーバ

Country Status (5)

Country Link
US (1) US20210264164A1 (ja)
JP (2) JP7420734B2 (ja)
KR (1) KR20210090624A (ja)
CN (2) CN112997211B (ja)
WO (1) WO2020100922A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11125575B2 (en) * 2019-11-20 2021-09-21 Here Global B.V. Method and apparatus for estimating a location of a vehicle
JPWO2022059341A1 (ja) 2020-09-18 2022-03-24
WO2022070781A1 (ja) 2020-09-29 2022-04-07 ソニーセミコンダクタソリューションズ株式会社 情報処理システム及び情報処理方法
JP7452374B2 (ja) * 2020-10-20 2024-03-19 株式会社Soken 物体検知装置および物体検知プログラム
WO2022262932A1 (en) * 2021-06-14 2022-12-22 Robert Bosch Gmbh Operating unit, surveillance network, method computer program and storage medium
JP2023063792A (ja) * 2021-10-25 2023-05-10 キヤノン株式会社 電子機器、情報処理システム、制御方法、およびプログラム
WO2023171755A1 (ja) 2022-03-09 2023-09-14 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、情報処理方法、記録媒体、情報処理システム
WO2023195247A1 (ja) * 2022-04-06 2023-10-12 ソニーセミコンダクタソリューションズ株式会社 センサ装置、制御方法、情報処理装置、情報処理システム

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016197314A (ja) 2015-04-03 2016-11-24 株式会社日立製作所 運転支援システム、運転支援装置及び運転支援方法

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4808409B2 (ja) * 2005-01-14 2011-11-02 株式会社日立製作所 センサネットワークシステム、センサデータの検索方法及びプログラム
JP2007241377A (ja) * 2006-03-06 2007-09-20 Sony Corp 検索システム、撮像装置、データ保存装置、情報処理装置、撮像画像処理方法、情報処理方法、プログラム
KR101703931B1 (ko) * 2011-05-24 2017-02-07 한화테크윈 주식회사 감시 시스템
AU2013317148A1 (en) * 2012-09-12 2014-08-07 Omron Corporation Device for generating data flow control instruction, and sensor management device
US9979591B2 (en) * 2015-08-28 2018-05-22 Samsung Electronics Co., Ltd. Event notifications for applications
KR101735557B1 (ko) * 2015-10-01 2017-05-15 부산대학교 산학협력단 실시간 목표 탐지에 의한 교통 정보 수집 시스템 및 방법
EP3159853B1 (en) * 2015-10-23 2019-03-27 Harman International Industries, Incorporated Systems and methods for advanced driver assistance analytics
CN105574506B (zh) * 2015-12-16 2020-03-17 深圳市商汤科技有限公司 基于深度学习和大规模集群的智能人脸追逃系统及方法
KR102249498B1 (ko) * 2016-08-17 2021-05-11 한화테크윈 주식회사 이벤트 검색 장치 및 시스템
KR20180023326A (ko) * 2016-08-25 2018-03-07 삼성전자주식회사 전자 장치 및 이미지 센서로부터 획득된 이미지를 어플리케이션으로 전달하기 위한 방법
WO2018084577A1 (en) * 2016-11-03 2018-05-11 Samsung Electronics Co., Ltd. Data recognition model construction apparatus and method for constructing data recognition model thereof, and data recognition apparatus and method for recognizing data thereof
WO2018098448A1 (en) * 2016-11-28 2018-05-31 Ring Inc. Neighborhood security cameras
WO2018117662A1 (en) * 2016-12-22 2018-06-28 Samsung Electronics Co., Ltd. Apparatus and method for processing image
US11010614B2 (en) * 2017-01-26 2021-05-18 Matias Klein Total property intelligence system
US20180349708A1 (en) * 2017-05-30 2018-12-06 Google Inc. Methods and Systems for Presenting Image Data for Detected Regions of Interest
US11783010B2 (en) * 2017-05-30 2023-10-10 Google Llc Systems and methods of person recognition in video streams
CN107844551A (zh) * 2017-10-30 2018-03-27 深圳市天地网电子有限公司 一种基于共享相机的图像获取方法和系统
US11670089B2 (en) * 2021-06-03 2023-06-06 Not A Satellite Labs, LLC Image modifications for crowdsourced surveillance
US11810361B2 (en) * 2021-06-25 2023-11-07 Western Digital Technologies, Inc. Site-based calibration of object detection parameters
EP4290472A1 (en) * 2022-06-07 2023-12-13 Nokia Technologies Oy Object identification
US20240005661A1 (en) * 2022-06-30 2024-01-04 Amazon Technologies, Inc. User-customized computer vision event detection

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016197314A (ja) 2015-04-03 2016-11-24 株式会社日立製作所 運転支援システム、運転支援装置及び運転支援方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
加藤 慎悟,機械学習を用いた予測情報配信のためのネットワーク制御手法,電子情報通信学会技術研究報告,日本,一般社団法人電子情報通信学会,2018年01月11日,第117巻,第390号,p.73-78

Also Published As

Publication number Publication date
US20210264164A1 (en) 2021-08-26
CN118153709A (zh) 2024-06-07
CN112997211A (zh) 2021-06-18
WO2020100922A1 (ja) 2020-05-22
EP3882845A1 (en) 2021-09-22
JPWO2020100922A1 (ja) 2021-10-07
JP2024041897A (ja) 2024-03-27
KR20210090624A (ko) 2021-07-20
CN112997211B (zh) 2024-04-05

Similar Documents

Publication Publication Date Title
JP7420734B2 (ja) データ配信システム、センサデバイス及びサーバ
US11941819B2 (en) Object detection using skewed polygons suitable for parking space detection
CN111919225B (zh) 使用模拟环境对自主机器进行培训、测试和验证
US20210224556A1 (en) Real-time detection of lanes and boundaries by autonomous vehicles
US11354913B1 (en) Systems and methods for improving vehicle predictions using point representations of scene
US10678240B2 (en) Sensor modification based on an annotated environmental model
US11760385B2 (en) Systems and methods for vehicle-to-vehicle communications for improved autonomous vehicle operations
CN112740268B (zh) 目标检测方法和装置
CN113196103A (zh) 用于自主车辆的对象动作分类
CN109964260A (zh) 用于提供面向目标的导航方向的方法和设备
US20220318464A1 (en) Machine Learning Data Augmentation for Simulation
Wei et al. Survey of connected automated vehicle perception mode: from autonomy to interaction
CN109891463A (zh) 图像处理设备和图像处理方法
WO2024008086A1 (zh) 轨迹预测方法及其装置、介质、程序产品和电子设备
CN116767245A (zh) 使用自主系统和应用的神经网络的地图信息对象数据管理
CN114485700A (zh) 高精度动态地图生成方法及装置
US20220092313A1 (en) Method for deep neural network functional module deduplication
WO2022004412A1 (ja) 情報処理装置、情報処理方法、並びにプログラム
US11908095B2 (en) 2-D image reconstruction in a 3-D simulation
US12116008B2 (en) Attentional sampling for long range detection in autonomous vehicles
US20230290137A1 (en) Information processing apparatus, information processing method, and program
US20210318136A1 (en) Landmark based routing
Georoceanu Extending parking assistance for automative user interfaces
Cai et al. Traffic camera markup language (TCML)

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221013

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231212

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240111

R150 Certificate of patent or registration of utility model

Ref document number: 7420734

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150