JP7140692B2 - Image Acquisition System, Image Acquisition Method, and Program - Google Patents
Image Acquisition System, Image Acquisition Method, and Program Download PDFInfo
- Publication number
- JP7140692B2 JP7140692B2 JP2019019880A JP2019019880A JP7140692B2 JP 7140692 B2 JP7140692 B2 JP 7140692B2 JP 2019019880 A JP2019019880 A JP 2019019880A JP 2019019880 A JP2019019880 A JP 2019019880A JP 7140692 B2 JP7140692 B2 JP 7140692B2
- Authority
- JP
- Japan
- Prior art keywords
- user
- image
- information
- emotion
- imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 37
- 238000003384 imaging method Methods 0.000 claims description 214
- 230000008451 emotion Effects 0.000 claims description 131
- 238000012545 processing Methods 0.000 description 62
- 238000010586 diagram Methods 0.000 description 32
- 238000004891 communication Methods 0.000 description 16
- 230000010365 information processing Effects 0.000 description 16
- 230000015654 memory Effects 0.000 description 11
- 239000000284 extract Substances 0.000 description 4
- 230000002996 emotional effect Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000010183 spectrum analysis Methods 0.000 description 1
- 230000003936 working memory Effects 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
- Studio Devices (AREA)
Description
本発明は、画像取得システム、画像取得方法、およびプログラムに関する。 The present invention relates to an image acquisition system, an image acquisition method, and a program.
従来、個人の肉体の中で生成される電気的信号を検出するセンサと、電気的信号のうち閾値値より大きい電気的信号を感情起伏信号として抽出する抽出回路と、個人の人体と同体的に移動する本体に搭載されるカメラとを備える装置が開示されている(例えば、特許文献1参照)。このカメラは、感情起伏信号の生成時期に対応する撮影時期に人体の外界に相当する生涯断面を撮影する。 Conventionally, a sensor that detects an electrical signal generated in the body of an individual, an extraction circuit that extracts an electrical signal greater than a threshold value among the electrical signals as an emotional undulating signal, and an extraction circuit that is integrated with the human body of the individual. A device is disclosed that includes a camera mounted on a moving body (see, for example, Patent Document 1). This camera captures a cross-section of a life span corresponding to the external world of the human body during the imaging period corresponding to the generation period of the emotional undulating signal.
しかしながら、上記装置は、利用者にとって価値の高い情報を取得することができない場合があった。 However, there are cases in which the above devices cannot acquire valuable information for users.
本発明は、このような事情を考慮してなされたものであり、利用者にとって価値の高い情報を取得することができる画像取得システム、画像取得方法、およびプログラムを提供することを目的の一つとする。 SUMMARY OF THE INVENTION The present invention has been made in consideration of such circumstances, and one object thereof is to provide an image acquisition system, an image acquisition method, and a program capable of acquiring information of high value to the user. do.
この発明に係る画像取得システム、画像取得方法、およびプログラムは、以下の構成を採用した。
(1):この発明の一態様に係る画像取得システムは、移動体の位置情報を取得する第1取得部と、前記移動体の利用者の感情を取得する第2取得部と、前記位置情報が予め設定された撮像エリアに含まれ、且つ前記第2取得部により取得された利用者の感情が予め設定された指定感情と合致した際に撮像された特定画像を取得する第3取得部とを備える。
An image acquisition system, an image acquisition method, and a program according to the present invention employ the following configurations.
(1): An image acquisition system according to an aspect of the present invention includes a first acquisition unit that acquires position information of a mobile object, a second acquisition unit that acquires emotion of a user of the mobile object, and the position information is included in a preset imaging area, and acquires a specific image captured when the user's emotion acquired by the second acquisition unit matches a preset specified emotion; Prepare.
(2):上記(1)の態様において、前記第2取得部は、前記第1取得部により取得された位置情報が前記撮像エリアに含まれた場合に、前記利用者の感情を取得する処理を開始するものである。 (2): In the aspect of (1) above, the second acquisition unit acquires the emotion of the user when the position information acquired by the first acquisition unit is included in the imaging area. is the one that starts the
(3):上記(1)または(2)の態様において、前記第3取得部は、前記利用者を撮像する第1撮像部により撮像された特定画像を取得するものである。 (3): In the aspect (1) or (2) above, the third acquiring section acquires the specific image captured by the first imaging section that captures the image of the user.
(4):上記(3)の態様において、前記第1撮像部は、前記利用者が乗車した移動体または前記移動体が通過する道路の周辺に設けられるものである。 (4): In the aspect of (3) above, the first imaging section is provided around a moving object on which the user has boarded or a road through which the moving object passes.
(5):上記(1)から(4)のいずれかの態様において、前記第3取得部は、前記移動体に設けられ、且つ前記利用者の周辺環境を撮像する第2撮像部により撮像された特定画像を取得するものである。 (5): In any one of the above aspects (1) to (4), the third acquisition unit is provided in the moving object and is captured by a second imaging unit that captures an image of the surrounding environment of the user. It acquires the specified image.
(6):上記(1)から(5)のいずれかの態様において、前記特定画像を利用者に提供する情報提供部を、更に備えるものである。 (6): Aspects of any one of (1) to (5) above, further comprising an information providing unit for providing the specific image to the user.
(7):上記(6)の態様において、前記第3取得部は、前記利用者を撮像する第1撮像部により撮像された第1特定画像および前記移動体に設けられ、且つ前記利用者の周辺環境を撮像する第2撮像部により撮像された第2特定画像を取得し、前記情報提供部は、前記第1特定画像と前記第2特定画像とを対応付けた情報を利用者に提供するものである。 (7): In the aspect of (6) above, the third acquisition unit is provided in the moving object and the first specific image captured by the first imaging unit that captures the image of the user, and A second specific image captured by a second imaging unit that captures an image of the surrounding environment is obtained, and the information providing unit provides the user with information in which the first specific image and the second specific image are associated with each other. It is.
(8):上記(7)の態様において、前記第3取得部は、更に前記撮像エリアにおいて前記移動体を撮像する撮像部により撮像された第3特定画像を取得し、前記情報提供部は、前記第1特定画像と前記第2特定画像と前記第3特定画像とを対応付けた情報を利用者に提供するものである。 (8): In the aspect of (7) above, the third obtaining unit further obtains a third specific image captured by an imaging unit that captures an image of the moving object in the imaging area, and the information providing unit Information that associates the first specific image, the second specific image, and the third specific image is provided to the user.
(9):上記(1)から(8)のいずれかの態様において、おすすめの撮像エリアまたは利用者に指定された撮像エリアと地図情報とが対応付けられた情報を利用者に提供する情報提供部を更に備えるものである。 (9): In any one of the aspects (1) to (8) above, provision of information for providing the user with information in which the recommended imaging area or the imaging area designated by the user is associated with the map information. It further comprises a part.
(10):上記(1)から(9)の態様において、前記特定画像が取得された領域と地図情報とが対応付けられた情報、前記特定画像が取得された領域と前記特定画像と前記地図情報とが対応付けられた情報、または前記特定画像が取得された領域と前記移動体の移動軌跡とが対応付けられた情報を利用者に提供する情報提供部を更に備えるものである。 (10): In the above aspects (1) to (9), information in which the area from which the specific image was obtained and map information are associated, the area from which the specific image was obtained, the specific image, and the map and an information providing unit for providing the user with information associated with the information or information associated with the area where the specific image was obtained and the moving locus of the moving body.
(11):この発明の一態様に係る画像取得方法は、コンピュータが、移動体の位置情報を取得し、前記移動体の利用者の感情を取得し、前記位置情報が予め設定された撮像エリアに含まれ、且つ前記取得された利用者の感情が予め設定された指定感情と合致した際に撮像された特定画像を取得する方法である。 (11): An image acquisition method according to an aspect of the present invention is such that a computer acquires position information of a mobile object, acquires the emotion of a user of the mobile object, and captures an imaging area in which the position information is preset. and acquiring a specific image captured when the acquired emotion of the user matches a preset designated emotion.
(12):この発明の一態様に係るプログラムは、コンピュータに、移動体の位置情報を取得させ、前記移動体の利用者の感情を取得させ、前記位置情報が予め設定された撮像エリアに含まれ、且つ前記取得された利用者の感情が予め設定された指定感情と合致した際に撮像された特定画像を取得させるプログラムである。 (12): A program according to an aspect of the present invention causes a computer to acquire position information of a mobile body, acquire emotions of a user of the mobile body, and include the position information in a preset imaging area. and acquires a specific image captured when the acquired emotion of the user matches a preset specified emotion.
(1)、(6)、(7)、(8)、(11)、(12)によれば、位置情報が予め設定された撮像エリアに含まれ、且つ第2取得部により取得された利用者の感情が予め設定された指定感情と合致した際に撮像された特定画像を取得することにより、利用者にとって価値の高い情報を取得することができる。 According to (1), (6), (7), (8), (11), and (12), the position information is included in the preset imaging area, and the use acquired by the second acquisition unit By acquiring a specific image captured when a person's emotion matches a preset specified emotion, it is possible to acquire valuable information for the user.
(2)によれば、感情の推定が撮像エリアに含まれた場合に取得されるため、無用な処理が抑制される。 According to (2), unnecessary processing is suppressed because emotion estimation is acquired when it is included in the imaging area.
(3)または(4)によれば、利用者を含む画像が取得されるため、利用者にとってより価値の高い情報を取得することができる。 According to (3) or (4), since an image including the user is acquired, information of higher value to the user can be acquired.
(5)によれば、周辺風景が撮像された画像が取得されるため、利用者にとってより価値の高い情報を取得することができる。 According to (5), since an image in which the surrounding scenery is captured is acquired, it is possible to acquire more valuable information for the user.
(9)によれば、撮像エリアと地図情報とが対応付けられた情報が利用者に提供されるため、利用者は容易に撮像エリアを認識することができる。 According to (9), information in which the imaging area and the map information are associated is provided to the user, so that the user can easily recognize the imaging area.
(10)によれば、特定画像が取得された領域と地図情報とが対応付けられた情報や、特定画像が取得された領域と移動体の移動軌跡とが対応付けられた情報を利用者に提供することにより、利用者は容易に特定画像が取得された領域を認識することができる。 According to (10), information in which the area from which the specific image is obtained is associated with map information, or information in which the area from which the specific image is obtained is associated with the movement trajectory of the moving object is sent to the user. By providing it, the user can easily recognize the area where the specific image was acquired.
以下、図面を参照し、本発明の画像取得システム、画像取得方法、およびプログラムの実施形態について説明する。以下の説明では、画像取得システムにおいて、四輪の車両に乗車した利用者を撮像する例について説明するが、これに限らず、四輪の車両以外の移動体に乗車した利用者を撮像する際に画像取得システムが適用されてもよい。車両以外の移動体とは、二輪や三輪などの車両や、自転車等である。また、移動体は、乗員と共に移動する端末装置(例えばスマートフォン)などであってもよい。 Embodiments of an image acquisition system, an image acquisition method, and a program according to the present invention will be described below with reference to the drawings. In the following description, an example in which an image acquisition system captures an image of a user riding in a four-wheeled vehicle will be described. The image acquisition system may be applied to Mobile objects other than vehicles include vehicles such as two-wheeled vehicles and three-wheeled vehicles, bicycles, and the like. Also, the mobile object may be a terminal device (for example, a smart phone) that moves with the passenger.
<第1実施形態>
図1は、画像取得システム1の構成の一例を示す図である。画像取得システム1は、例えば、一以上の端末装置2と、一以上のセンターサーバ装置10と、一以上の車両100とを備える。
<First Embodiment>
FIG. 1 is a diagram showing an example of the configuration of an
端末装置2と、センターサーバ装置10と、車両100とは、ネットワークNWを介して互いに通信する。ネットワークNWは、例えば、インターネット、WAN(Wide Area Network)、LAN(Local Area Network)、プロバイダ装置、無線基地局などを含む。なお、後述する端末装置2、センターサーバ装置10、または車両100に含まれる機能構成の一部または全部は、他の装置に含まれてもよい。
[端末装置]
端末装置2は、例えば、スマートフォンやタブレット端末、パーソナルコンピュータなどである。端末装置2では、画像取得システム1を利用するためのアプリケーションプログラム、或いはブラウザなどが起動し、以下に説明するサービスをサポートする。以下の説明では端末装置2がスマートフォンであり、アプリケーションプログラム(撮像アプリ4)が起動していることを前提とする。撮像アプリ4は、利用者の操作に応じて所定のリクエストをセンターサーバ装置10に送信したり、センターサーバ装置10から受信した情報に基づくプッシュ通知を行ったりする。この撮像アプリ4は、センターサーバ装置10または不図示の他のサーバ装置により提供されたアプリケーションプログラムである。
[Terminal device]
The
[センターサーバ装置]
図2は、センターサーバ装置10の機能構成の一例を示す図である。センターサーバ装置10は、例えば、通信部12と、情報処理部14と、情報提供部16と、記憶部30とを備える。情報処理部14、および情報提供部16は、例えば、CPU(Central Processing Unit)などのハードウェアプロセッサがプログラム(ソフトウェア)を実行することにより実現される。これらの構成要素のうち一部または全部は、LSI(Large Scale Integration)やASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)、GPU(Graphics Processing Unit)などのハードウェア(回路部;circuitryを含む)によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予めHDD(Hard Disk Drive)やフラッシュメモリなどの記憶装置(非一過性記憶媒体)に格納されていてもよいし、DVDやCD-ROMなどの着脱可能な記憶媒体(非一過性記憶媒体)に格納されており、記憶媒体がドライブ装置に装着されることでインストールされてもよい。
[Center server device]
FIG. 2 is a diagram showing an example of the functional configuration of the
記憶部30は、例えば、HDD、フラッシュメモリ、EEPROM(Electrically Erasable Programmable Read Only Memory)、ROM(Read Only Memory)、またはRAM(Random Access Memory)等により実現される。
The
通信部12は、ネットワークNWを介して、車両100または端末装置2と通信する通信ユニットである。
The
情報処理部14は、センターサーバ装置10が取得した情報や、センターサーバ装置10が処理した情報を管理する。情報処理部14は、端末装置2により送信された情報または車両100により送信された情報に対して処理を行う(詳細は後述)。情報提供部16は、車両100により送信された画像を端末装置2に提供する。
The
記憶部30には、例えば、アプリ情報32や、撮像処理情報34(後述)、撮像画像情報36(後述)、不図示の地図情報等が記憶されている。アプリ情報32は、端末装置2に提供する撮像アプリ4に関する情報である。
The
[車両]
図3は、車両に含まれる機能構成の一部の一例を示す図である。車両100は、例えば、通信装置102と、HMI(Human Machine Interface)104と、マイク106と、乗員撮像カメラ(「第1撮像部」の一例)108と、風景撮像カメラ(「第2撮像部」の一例)110と、制御装置120と、ナビゲーション装置170とを備える。
[vehicle]
FIG. 3 is a diagram showing an example of part of the functional configuration included in the vehicle. The
通信装置102は、例えば、セルラー網やWi-Fi網、Bluetooth(登録商標)、DSRC(Dedicated Short Range Communication)などを利用して、車両100の周辺に存在する他車両と通信し、或いは無線基地局を介してセンターサーバ装置10と通信する。通信装置102は、無線通信を行って端末装置2と通信する。
The
HMI104は、車両100の乗員に対して各種情報を提示すると共に、乗員による入力操作を受け付ける。HMI104は、各種表示装置、スピーカ、ブザー、タッチパネル、スイッチ、キーなどを含む。マイク106は、入力された音声を取得する。
The
乗員撮像カメラ108は、例えば、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)等の固体撮像素子を利用したデジタルカメラである。乗員撮像カメラ108は、車室内の利用者(乗員)を撮像可能な位置に取り付けられている。
The
風景撮像カメラ110は、例えば、CCDやCMOS等の固体撮像素子を利用したデジタルカメラである。風景撮像カメラ110は、車両の周辺の風景を撮像可能な位置に取り付けられている。以下、乗員撮像カメラ108と、風景撮像カメラ110とを区別しない場合は、単に「車両カメラ」と称する。
The
制御装置120は、例えば、情報処理部122と、位置取得部(「第1取得部」の一例)124と、感情推定部(「第2取得部」の一例)126と、撮像処理部(「第3取得部」の一例)128と、記憶部150とを備える。情報処理部122、位置取得部124、感情推定部126、および撮像処理部128は、例えば、CPUなどのハードウェアプロセッサがプログラム(ソフトウェア)を実行することにより実現される。これらの構成要素のうち一部または全部は、LSIやASIC、FPGA、GPUなどのハードウェア(回路部;circuitryを含む)によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予めHDDやフラッシュメモリなどの記憶装置(非一過性記憶媒体)に格納されていてもよいし、DVDやCD-ROMなどの着脱可能な記憶媒体(非一過性記憶媒体)に格納されており、記憶媒体がドライブ装置に装着されることでインストールされてもよい。
The
記憶部150は、例えば、HDD、フラッシュメモリ、EEPROM、ROM、またはRAM等により実現される。記憶部150には、例えば、撮像処理情報152、および撮像画像情報154が記憶されている。これらの情報の詳細については後述する。
The
情報処理部122は、車両100が取得した情報を管理したり、情報に対して所定の処理を行ったりする。位置取得部124は、後述するGNSS受信機172により特定された位置情報を取得する。
The
感情推定部126は、利用者の感情を取得する。感情推定部126は、例えば、予め取得された乗員の画像に基づいて利用者の感情を推定する。感情推定部126は、例えば、記憶部150に予め記憶された利用者の感情ごとの画像(例えば笑顔のときの画像や楽しいときの画像)と撮像された画像とを比較し、比較結果に基づいて、利用者の感情を推定する。例えば、感情推定部126は、記憶部に予め記憶された利用者が笑顔のときの画像の特徴量を抽出し、抽出した特徴量と、撮像された画像から抽出した特徴量とが所定度合以上合致する場合、利用者は笑顔であると推定する。特徴量とは、画像の画素または画素群ごとの輝度に基づく情報である。このように、感情推定部126は、利用者の感情を取得する。
また、感情推定部126は、不図示のモデル情報に基づいて、利用者の感情を取得してもよい。モデル情報とは、学習対象情報に対してディープラーニングなどの機械学習が行われ生成された情報である。学習対象情報とは、人物の画像と画像に対応する感情の種別とが対応付けられた情報である。このモデル情報は、画像が入力されると、その画像に含まれる利用者の感情を出力する。感情推定部126は、例えば、利用者の画像をモデル情報に入力し、モデル情報の出力結果に基づいて、利用者の感情を取得する。
Also, the
また、感情推定部126は、マイク106に入力された利用者の音声をスペクトル解析し、解析結果に基づいて、利用者の感情を推定してもよい。この場合、感情推定部126は、例えば、事前に取得された利用者の感情ごとの音声の解析結果と、リアルタイムで入力された音声の解析結果とに基づいて、利用者の感情を推定する。また、感情推定部126は、上述した手法を組み合わせて利用者の感情を推定してもよい。この場合、各手法により導出された推定結果のスコアが統計的に処理された結果に基づいて感情が推定される。
The
撮像処理部128は、車両100の位置情報が、設定された撮像エリアに含まれ、且つ感情推定部126により取得された利用者の感情が撮像エリアに対応付けられた感情と合致した際に撮像された特定画像を取得する。この処理の詳細については後述する。設定された撮像エリアは、利用者が希望する撮像エリア(希望撮像エリア)であってもよいし、利用者以外の者またはシステムが決定した撮像エリアであってもよい。例えば、撮像エリアは、利用者以外の者(例えば知人または権限を付与した知人)がおすすめしている撮像エリアや、所定のウエブサイトなどによりおすすめされているエリア、所定のウエブサイトで評価が所定度合以上であるエリアなどである。知人がおすすめしているエリアは、知人がソーシャルワーク(SNS)などに投稿した情報に含まれるエリアや、知人が利用者またはセンターサーバ装置10などの他の装置に直接提供したエリアである。以下、設定された撮像エリアは「希望撮像エリア」である場合の例について説明する。また、「撮像エリアに対応付けられた感情」についても、利用者が設定した感情であってもよいし、利用者以外の者またはシステムが設定した感情であってもよい。
The
ナビゲーション装置170は、例えば、GNSS(Global Navigation Satellite System)受信機172と、ナビHMI174と、経路決定部176とを備える。ナビゲーション装置170は、HDDやフラッシュメモリなどの記憶装置に地図情報180を保持している。GNSS受信機172は、GNSS衛星から受信した信号に基づいて、車両100の位置を特定する。ナビHMI174は、表示装置、スピーカ、タッチパネル、キーなどを含む。ナビHMI174は、前述したHMI104と一部または全部が共通化されてもよい。経路決定部176は、例えば、GNSS受信機172により特定された車両100の位置(或いは入力された任意の位置)から、ナビHMI174を用いて乗員により入力された目的地までの経路(以下、地図上経路)を、地図情報180を参照して決定する。地図情報180は、例えば、道路を示すリンクと、リンクによって接続されたノードとによって道路形状が表現された情報である。地図情報180は、道路の曲率やPOI(Point Of Interest)情報などを含んでもよい。
The
ナビゲーション装置170は、地図上経路に基づいて、ナビHMI174を用いた経路案内を行ってもよい。ナビゲーション装置170は、例えば、乗員の保有するスマートフォンやタブレット端末等の端末装置2の機能によって実現されてもよい。ナビゲーション装置170は、通信装置20を介してナビゲーションサーバに現在位置と目的地を送信し、ナビゲーションサーバから地図上経路と同等の経路を取得してもよい。
The
[シーケンス]
図4は、画像取得システム1により実行される処理を示すシーケンス図である。まず、端末装置2が、利用者の操作に基づいて、希望撮像エリアおよび感情を指定し(ステップS100)、指定した情報(希望撮像エリアおよび感情)をセンターサーバ装置10に送信する(ステップS102)。次に、センターサーバ装置10の情報処理部14が、端末装置2に送信された情報を取得し、取得した情報を撮像処理情報34として記憶部30に記憶させる(ステップS104)。
[sequence]
FIG. 4 is a sequence diagram showing processing executed by the
図5は、撮像処理情報34の内容の一例を示す図である。撮像処理情報34は、例えば、希望撮像エリアと、感情とが対応付けられた情報である。この撮像処理情報34は、車両200に送信される。車両200は、撮像処理情報34(撮像処理情報152)を記憶部150に記憶させる。
FIG. 5 is a diagram showing an example of the contents of the
図6は、端末装置2の表示部(タッチパネル)に表示される画像IM1の一例を示す図である。画像IM1は、「おすすめの希望撮像エリアまたは利用者に指定された希望撮像エリアと地図情報とが対応付けられた情報」の一例である。例えば、表示部には、希望撮像エリアを指定するためのボタンB1と、感情を指定するためのプルダウンメニューM1と、地図Mapとが表示される。地図Mapには、予め設定されたおすすめの希望撮像エリアと、その希望撮像エリアで画像が撮像されるタイミングを規定する感情とが対応付けられている。
FIG. 6 is a diagram showing an example of an image IM1 displayed on the display unit (touch panel) of the
おすすめの希望撮像エリアは、これまでに他の利用者によって指定された度合が高い撮像エリアや、他の利用者(例えば端末装置2の利用者の知人)によって指定された撮像エリア、ウエブページ等において評判が高いとされている撮像エリア等である。例えば、センターサーバ装置10は、所定の権限の有する(例えば利用者の知人)の端末装置により送信された情報に基づいて、端末装置2におすすめの希望撮像エリアを提供してもよい。
The recommended desired imaging area is an imaging area that has been designated by other users to a high degree, an imaging area designated by another user (for example, an acquaintance of the user of the terminal device 2), a web page, or the like. It is an imaging area, etc., which is said to have a high reputation in the field. For example, the
例えば、利用者が、図中のおすすめ1のアイコンにタップ操作などの所定の操作を行うと、○○の丘を通行する際に利用者(例えば、車両の乗員)が笑顔になった場合の画像が撮像される。以下、このような、希望撮像エリアにおいて、利用者の感情が規定された感情になった場合に、そのときの画像が自動で取得される処理を「自動撮像処理」と称する。
For example, when the user performs a predetermined operation such as a tap operation on the icon of
また、利用者が、希望撮像エリアを指定するためのボタンB1を操作し、地図Mapにおいて希望撮像エリアを指定し、更にプルダウンメニューM1を操作して感情を指定すると、指定された希望撮像エリアおよび感情に基づいて自動撮像処理がされる。 Further, when the user operates the button B1 for specifying the desired imaging area, specifies the desired imaging area on the map Map, and further operates the pull-down menu M1 to specify the emotion, the specified desired imaging area and Automatic imaging processing is performed based on emotions.
図4に戻る。次に、車両200の位置取得部124は、位置情報を取得し(ステップS106)、取得した位置情報をセンターサーバ装置10に送信する(ステップS108)。位置取得部124は、所定の間隔で位置情報を送信する処理を繰り返す(ステップS110)。
Return to FIG. Next, the
次に、センターサーバ装置10の情報処理部14が、車両100が希望撮像エリアに含まれるか否かを判定し(ステップS112)、車両100が希望撮像エリアに含まれと判定した場合、撮像準備の指示を車両200に指示する(ステップS114)。この際、センターサーバ装置10は、希望撮像エリアに対応する感情を車両200に送信する。
Next, the
次に、車両200の感情推定部126が、撮像準備の指示を取得すると、乗員の感情を推定する処理を開始する(ステップS116)。車両200の撮像処理部128が、推定された感情が撮像処理情報152の希望撮像エリアに対応する感情に合致したか否かを判定し、合致した場合に利用者を含む車両および利用者から見た車外の風景を撮像する(ステップS118)。
Next, when the
次に、車両200の撮像処理部128は、撮像した画像と画像を撮像した時刻と感情とを対応付けた撮像画像情報154を記憶部150に記憶させる(ステップS120)。次に、車両200撮像処理部128は、撮像画像情報154をセンターサーバ装置10に送信する(ステップS122)。センターサーバ装置10の情報処理部14は、車両200により送信された撮像画像情報154(撮像画像情報36)を記憶部30に記憶させる(ステップS124)。
Next, the
そして、センターサーバ装置10の情報提供部16は、端末装置2からリクエストがあった場合に、記憶部30に記憶された端末装置2の利用者が自動撮像処理により撮像された画像を端末装置2に送信する(ステップS126)。これにより、自動撮像処理により撮像された画像が利用者に提供される。
In response to a request from the
上述した本実施形態の画像取得システム1の構成において、センターサーバ装置10は省略されてもよい。この場合、例えば、図4の処理において、端末装置2と車両100とが直接的に通信を行って、希望撮像エリアおよび感情を送受信する。そして、車両100は、希望撮像エリアに含まれる場合、撮像準備を行い、乗員の感情を推定して、推定された感情が希望撮像エリアに対応する感情に合致した場合に利用者を含む車両および利用者から見た車外の風景を撮像する。
In the configuration of the
[適用場面]
図7は、自動撮像処理が行われる場面の一例を示す図である。以下の場面では、希望撮像エリアARにおいて利用者が笑顔になった場合の画像が撮像される例について説明する。
[Applicable scenes]
FIG. 7 is a diagram showing an example of a scene where automatic imaging processing is performed. In the following scene, an example in which an image is captured when the user smiles in the desired imaging area AR will be described.
時刻Tにおいて、車両200が、希望撮像エリアARに進入すると、車両200は、利用者の感情を推定する。時刻T+1において、利用者が笑顔になると、乗員撮像カメラ108が利用者を撮像し風景撮像カメラ110が車外の風景を撮像する。例えば、風景撮像カメラ110は、笑顔の利用者の顔が向いている方向の風景を撮像してもよい。例えば、撮像処理部128は、利用者が撮像された画像を解析し、顔の向きを導出し、導出結果に基づいて、風景撮像カメラ110の撮像方向を制御してもよい。
At time T, when the
時刻T+2において、利用者が笑顔でなくなると、乗員撮像カメラ108および風景撮像カメラ110による画像の撮像は終了する。また、車両100が、希望撮像エリアARを通過すると、利用者の感情を推定する処理も終了する。これにより、利用者の笑顔の画像および笑顔を発現させた風景の画像が取得される。
At
なお、上記の例では、利用者の感情が指定された感情(例えば笑顔)になった場合に画像が取得されるものとして説明したが、これに代えて、例えば、事後的に、笑顔のときの画像が取得(または保持)されてもよい。 In the above example, the image is acquired when the user's emotion is a specified emotion (for example, a smile). images may be acquired (or retained).
図8は、事後的に画像が取得される際の処理について説明するための図である。例えば、車両100の制御装置120は、希望撮像エリアARに進入してから退出するまでの間、画像を取得する共に感情を推定する。そして、制御装置120は、所定の時間ごとに利用者の感情と、画像とを互いに対応付けた撮像画像情報154を生成する。例えば、感情推定部126は、利用者の感情(例えば笑顔)を所定のパターンに分類する。例えば、感情推定部126は、利用者の笑顔であることや、やや笑顔であること、笑顔でないことなどに分類し、分類結果を撮像画像情報154に対応付ける。
FIG. 8 is a diagram for explaining processing when an image is acquired after the fact. For example, the
制御装置120は、撮像画像情報154を参照して、利用者が笑顔(およびやや笑顔)のときの画像を抽出し、抽出した画像(IM15A、IM15B、IM16A、IM16B)をセンターサーバ装置10に送信する。なお、笑顔のときの画像を抽出する処理は、センターサーバ装置10により行われてもよい。
The
[端末装置の表示部に表示される画像(その1)]
図9は、端末装置2に表示される画像IM2の一例を示す図である。画像IM2は、「特定画像が取得された領域と地図情報とが対応付けられた情報」または「特定画像が取得された領域と移動体の移動軌跡とが対応付けられた情報」の一例である。例えば、画像IM2において、車両100が走行した経路と、自動撮像処理が行われた希望撮像エリアと、その希望撮像エリアに対応付けられた感情とが、地図情報に対応付けられている。例えば、利用者が、所定の希望撮像エリアを示すアイコンを操作すると、その希望撮像エリアで撮像された画像が表示部に表示される。
[Image displayed on the display unit of the terminal device (Part 1)]
FIG. 9 is a diagram showing an example of an image IM2 displayed on the
図10は、所定の希望撮像エリアを示すアイコンが操作された場合に表示部に表示される画像IM3の一例を示す図である。例えば、画像IM3には、笑顔の利用者の画像、および利用者が笑顔であるときの車両の周辺の風景の画像が含まれる。 FIG. 10 is a diagram showing an example of an image IM3 displayed on the display section when an icon indicating a predetermined desired imaging area is operated. For example, the image IM3 includes an image of a smiling user and an image of scenery around the vehicle when the user is smiling.
上述したように、地図情報に対応付けられた経路および希望撮像エリアの情報を参照して、利用者は撮像された画像を容易に取得することができる。 As described above, the user can easily obtain the captured image by referring to the route and desired imaging area information associated with the map information.
[端末装置の表示部に表示される画像(その2)]
以下に示すような画像が、端末装置2の表示部に表示されてもよい。図11は、端末装置2に表示される画像IM4の一例を示す図である。画像IM4は、「特定画像が取得された領域と特定画像と地図情報とが対応付けられた情報」または「前記第1特定画像と前記第2特定画像とを対応付けた情報」の一例である。例えば、画像IM4において、車両100が走行した経路と、自動撮像処理が行われた希望撮像エリアと、その希望撮像エリアで撮像された画像とが、地図情報に対応付けられている。その希望撮像エリアで撮像された画像とは、例えば、利用者を含む車室内の画像および利用者が笑顔のときの車両の周辺の風景の画像である。なお、これらの画像のうち、一方は省略されてもよい。また、前述した図9の画像IM2に含まれる情報に加えて、上記の車室内の画像および車両の周辺の画像が地図情報に対応付けられてもよい。
[Image displayed on the display unit of the terminal device (part 2)]
An image as shown below may be displayed on the display unit of the
上述したように、車室内の画像および車両の周辺の画像が対応付けられた地図情報を参照して、利用者はドライブしたとき楽しさなどの体験を振り返ることができる。 As described above, the user can look back on the experience of driving, such as the enjoyment, by referring to the map information in which the image of the interior of the vehicle and the image of the surroundings of the vehicle are associated with each other.
上記の実施形態では、撮像された画像を利用者に提供するものとして説明したが、これに代えて(或いは加えて)、動画が利用者に提供されてもよいし、時間的に連続して撮像された画像が利用者に提供されてもよい。また、利用者に提供される画像(または動画)は、笑顔など指定された感情が発現されたときの画像に限らず、感情が発現した前後の画像を含んでもよい。 In the above embodiment, the captured image is provided to the user, but instead (or in addition), a moving image may be provided to the user, or the image may be provided continuously in time. A captured image may be provided to the user. In addition, the image (or moving image) provided to the user is not limited to the image when the designated emotion such as a smile is expressed, and may include images before and after the expression of the emotion.
また、上記の実施形態では、利用者の感情が所定の感情になった場合に画像が撮像されるものとして説明したが、これに代えて、感情が所定の感情とは異なる場合に、画像が撮像されてもよい。例えば、感情が基準の感情(例えば平常時の感情)とは異なる感情(楽しい感情、うれしい感情など)になった場合に画像が撮像されてもよい。 Also, in the above embodiment, an image is captured when the user's emotion is a predetermined emotion. It may be imaged. For example, an image may be captured when the emotion becomes an emotion (e.g., happy emotion, happy emotion, etc.) different from the reference emotion (eg, normal emotion).
また、上記の実施形態において、指定された利用者の感情が指定された感情になった場合に自動撮像処理がされてもよい。例えば、後部座席に着席している利用者(例えば子供など)や、予め登録された画像に含まれる利用者と合致する利用者などの感情が指定された感情になった場合に自動撮像処理がされてもよい。また、指定された利用者とは、複数の利用者であってもよく、複数の利用者のうち全員または一部が指定された感情になった場合に自動撮像処理がされてもよい。 Further, in the above-described embodiment, automatic imaging processing may be performed when the specified emotion of the user becomes the specified emotion. For example, when the emotion of a user (for example, a child) sitting in a backseat or a user who matches a user included in a pre-registered image has a specified emotion, automatic imaging processing is performed. may be Also, the designated user may be a plurality of users, and automatic imaging processing may be performed when all or some of the plurality of users exhibit a designated emotion.
以上説明した第1実施形態によれば、撮像処理部128が、位置情報が希望撮像エリアに含まれ、且つ利用者の感情が撮像処理情報152に対応付けられた感情と合致した際に撮像された特定画像を取得することにより、利用者にとって価値の高い情報を取得することができる。
According to the first embodiment described above, the
<第2実施形態>
以下、第2実施形態について説明する。第1実施形態では、センターサーバ装置10の指示に基づいて、車両100が自動撮像処理を行うものとして説明した。第2実施形態では、センターサーバ装置10の指示に依らずに、車両100が自動撮像処理を行う。また、第2実施形態では、希望撮像エリアおよび感情の設定は、車両100のHMI104に対する操作に基づいて行われる。以下、第1実施形態との相違点を中心に説明する。
<Second embodiment>
A second embodiment will be described below. In the first embodiment, it is assumed that the
図12は、第2実施形態の制御装置120により実行される処理の流れの一例を示すフローチャートである。まず、ナビゲーション装置170が、利用者の指示に基づいて、車両の経路を設定する(ステップS200)。例えば、利用者は、ナビHMI174を操作して、出発地点から目的地点までの経路を設定する。
FIG. 12 is a flow chart showing an example of the flow of processing executed by the
次に、情報処理部122は、利用者の操作に基づいて、希望撮像エリアおよび感情を設定する(ステップS202)。例えば、情報処理部122は、HMI104に前述した図6に示した画像IM1のような画像を表示させる。利用者は、その画像IM1に対して希望撮像エリアおよび感情を設定する操作を行う。情報処理部122は、利用者の操作に基づいて、希望撮像エリアおよび感情を設定する。
Next, the
次に、位置取得部124が、位置情報を取得する(ステップS204)。次に、撮像処理部128が、取得した位置情報が希望撮像エリアに含まれるか否かを判定する(ステップS206)。取得した位置情報が希望撮像エリアに含まれない場合、ステップS214に進む。ステップS214において、制御装置120は、利用者により設定された目的地に車両100が到着したか否かを判定する(ステップS214)。利用者により設定された目的地に車両100が到着した場合、本フローチャートの1ルーチンの処理は終了する。利用者により設定された目的地に車両100が到着していない場合、ステップS204の処理に戻る。
Next, the
取得した位置情報が希望撮像エリアに含まれる場合、感情推定部126が、利用者の感情を推定する(ステップS208)。次に、撮像処理部128は、推定された利用者の感情と、希望撮像エリアに対して設定された感情とが合致するか否かを判定する(ステップS210)。合致とは、完全一致に限らず、合致度合が所定度合以上であることであってもよい。例えば、希望撮像エリアに対して設定された感情が笑顔である場合、推定された感情がやや笑顔であっても合致と判定されてもよい。推定された利用者の感情と、希望撮像エリアに対して設定された感情とが合致しない場合、ステップS204の処理に戻る。
If the acquired position information is included in the desired imaging area, the
推定された利用者の感情と、希望撮像エリアに対して設定された感情とが合致する場合、撮像処理部128は、車両カメラに画像を撮像させる(ステップS212)。その後、ステップS204の処理に戻る。
If the estimated user's emotion matches the emotion set for the desired imaging area, the
上述したように、利用者は、ナビゲーション装置170を操作して、経路の設定と共に、自動撮像処理を設定することができ、より利用者にとっての利便性が向上する。
As described above, the user can operate the
また、第1実施形態では、自動撮像処理により撮像された画像が、端末装置2の表示部に表示されるものとして説明したが、これに代えて(或いは加えて)、自動撮像処理により撮像された画像(例えば、図9の画像IM2、図10の画像IM3、または図11の画像IM4)は、ナビゲーション装置170のナビHMIの表示部またはHMI104の表示部に表示されてもよい。この場合、利用者が気に入った画像を選択すると、車両100の通信装置102が、ネットワークNWを介してまたは直接無線通信を行って、選択された画像を端末装置2に送信する。このように、自動撮像処理により撮像された画像が利用者に提供される。「提供」とは、利用者の端末装置2(または利用者が指定した端末装置)に情報を送信することや、利用者が視認可能に所定の表示部(例えば車両100の表示部)に表示されることを含む。
Further, in the first embodiment, the image captured by the automatic image capturing process is displayed on the display unit of the
以上説明した第2実施形態によれば、車両100が、自動撮像処理を行い、自動撮像処理により撮像された画像を利用者に提示することにより、利用者の利便性が向上したり、簡易に自動撮像処理により撮像された画像を車両内の利用者で共有できたりする。このように、利用者は価値の高い情報を取得することができる。
According to the second embodiment described above, the
なお、第2実施形態の処理は、車両カメラに相当するカメラが設けられた端末装置2により実現されてもよい。また、車両カメラは、端末装置2とは異なる箇所(車両等)に設けられた特定カメラであってもよい。この場合、端末装置2は、特定カメラと通信して、特定カメラを制御する。
In addition, the process of 2nd Embodiment may be implement|achieved by the
<第3実施形態>
以下、第3実施形態について説明する。第3実施形態では、車両100とは異なる場所(例えば、道路等)に設定されたカメラが、指定された感情が発現した利用者が乗車した車両100を撮像する。以下、第1実施形態との相違点を中心に説明する。
<Third Embodiment>
A third embodiment will be described below. In the third embodiment, a camera set at a location (for example, a road) different from the
図13は、第3実施形態の画像取得システム1Aの構成の一例を示す図である。画像取得システム1Aは、第1実施形態の画像取得システム1の構成に加え、更に一以上の道路側カメラ300(300-1~300-3)を備える。道路側カメラ300は、「第1撮像部」、「第2撮像部」、または「第3撮像部」の一例である。道路側カメラ300は、本実施形態では道路に設置されるものとして説明するが、車両100とは異なる場所に設定され、希望撮像エリアにおいて車両100を含む画像を撮像可能な位置に配置されるものであればよい。道路側カメラ300は、希望撮像エリアに車両100が進入した場合に利用者が乗車した車両100を撮像する。道路側カメラ300は、ネットワークNWを介してセンターサーバ装置10する。また、道路側カメラ300は、無線通信を行って車両100と通信してもよい。
FIG. 13 is a diagram showing an example of the configuration of an
図14は、第3実施形態の画像取得システム1Aにより実行される処理の流れの一例を示すシーケンス図である。図14のステップS100~ステップS122の処理は、図4のステップS100~ステップS122の処理と同様であるため、説明を省略する(ただし、図14においてステップS114の処理は省略される)。
FIG. 14 is a sequence diagram showing an example of the flow of processing executed by the
ステップS112の処理の次に、センターサーバ装置10は、道路側カメラ300に撮像を開始することを指示する(ステップS113A)。次に、道路側カメラ300は、ステップS113Aの指示に従って、撮像を開始する(ステップS113B)。次に、道路側カメラ300は、撮像した画像を撮像時刻と共に自装置の記憶部に記憶する(ステップS113C)。次に、道路側カメラ300は、撮像した画像と撮像時刻とを対応付けた情報をセンターサーバ装置10に送信する(ステップS113D)。
After the process of step S112, the
次に、センターサーバ装置10は、車両100および道路側カメラ300により送信された情報を記憶部30に記憶させる(ステップS123)。次に、センターサーバ装置10は、記憶部30に記憶された情報を参照し、時刻をキーとして、利用者が指定された感情であるときに撮像された画像を抽出する(ステップS125)。
Next, the
図15は、撮像された画像が抽出される処理について説明するための図である。まず、センターサーバ装置10は、車両100により送信された情報を参照して、利用者が指定された感情(例えば笑顔)であった時刻を特定し、更に道路側カメラ300により送信された情報を参照して、特定した時刻により撮像された画像を抽出する。そして、センターサーバ装置10は、上記の抽出した画像および車両100により送信された情報における利用者が指定された笑顔)であった画像を対応付ける。これにより、センターサーバ装置10は、車両100のカメラおよび道路側カメラ300により撮像された利用者が笑顔であった場合の画像を抽出する。
FIG. 15 is a diagram for explaining processing for extracting a captured image. First, the
そして、センターサーバ装置10は、端末装置2からリクエストがあった場合に、記憶部30に記憶された端末装置2の利用者が自動撮像処理(乗員撮像カメラ108、風景撮像カメラ110、および道路側カメラ300)により撮像された画像を端末装置2に送信する(ステップS127)。
In response to a request from the
なお、上記例では、センターサーバ装置10が、道路側カメラ300に撮像の指示を行うものとして説明したが、車両100が、自車が希望撮像エリアに含まれると判定した場合に道路側カメラ300に撮像の指示を行ってもよい。
In the above example, the
上述した本実施形態の画像取得システム1の構成において、センターサーバ装置200は省略されてもよい。この場合、例えば、図14の処理において、端末装置2と車両100とが直接的に通信を行って、指定された希望撮像エリアおよび感情の送受信を行い、車両100が希望撮像エリアに含まれる場合、車両100が、撮像準備を行い、乗員の感情の推定を開始してもよい。また、端末装置2または車両100が、車両100が希望撮像エリアに含まれる場合、道路側カメラ300に撮像を開始することを指示してもよい。
In the configuration of the
[適用場面]
図16は、自動撮像処理が行われる場面の一例を示す図である。前述した図7の説明と同様の説明については省略し、ここでは道路側カメラ300の処理を中心に説明する。
[Applicable scene]
FIG. 16 is a diagram showing an example of a scene where automatic imaging processing is performed. The description similar to that of FIG. 7 is omitted, and the processing of the roadside camera 300 will be mainly described here.
時刻Tにおいて、車両200が、希望撮像エリアARに進入すると、道路側カメラ300は、撮像を開始する。時刻T+1、および時刻T+2においても、道路側カメラ300は撮像を継続する。時刻T+3において、車両200が、希望撮像エリアARから退出すると、道路側カメラ300は撮像を停止し、時刻T~時刻T+3の間で撮像した画像を時刻に対応付けて、対応付けた情報をセンターサーバ装置10に送信する。これにより、センターサーバ装置10は、車両100が希望撮像エリアARに存在する場合に道路側カメラ300に撮像された画像を取得することができる。
At time T, when the
なお、道路側カメラ300-1~300-3のそれぞれが撮像を開始(または停止)するタイミングは異なっていてもよい。例えば、車両100が希望撮像エリアARに進入し、第1所定時間経過後に道路側カメラ300―1が撮像を開始し、第2所定時間経過後に撮像を終了し、第3所定時間経過後に道路側カメラ300―2が撮像を開始し、第4所定時間経過後に撮像を終了してもよい。この場合、道路側カメラ300のそれぞれは、車両100が道路側カメラ300の撮像領域に到達するタイミングで撮像を開始し、撮像領域から外れるタイミングで撮像を終了するように、撮像開始および撮像終了のタイミングが設定される。これにより、無駄な画像の撮像が抑制される。
Note that the timing at which each of the roadside cameras 300-1 to 300-3 starts (or stops) imaging may be different. For example, the
図17は、第3実施形態の端末装置2の表示部に表示される画像IM5の一例を示す図である。例えば、画像IM5には、乗員撮像カメラ108により撮像された笑顔の利用者の画像、風景撮像カメラ110により撮像された利用者が笑顔であるときの車両の周辺の画像、および道路側カメラ300により撮像された利用者が笑顔であるときの利用者が乗車している車両100を含む画像が含まれる。画像IM5は、「前記第1特定画像と前記第2特定画像と前記第3特定画像とを対応付けた情報」の一例である。なお、例えば、画像IM5において、乗員撮像カメラ108に代えて(或いは加えて)、道路側カメラ300より撮像された笑顔の利用者の画像が含まれてもよい。また、例えば、画像IM5において、風景撮像カメラ110に代えて(或いは加えて)、道路側カメラ300より撮像された笑顔であるときの車両の周辺の画像が含まれてもよい。
FIG. 17 is a diagram showing an example of an image IM5 displayed on the display unit of the
このように、道路側カメラ300により撮像された乗車していた車両を含む画像が、端末装置2の表示部に表示される。これにより、利用者は、ドライブ中において所定の感情(例えば笑顔)のときに、景色、車両、および利用者が撮像された画像を取得でき、より思い出に浸ることができる。
In this way, an image including the vehicle in which the driver has boarded is captured by the roadside camera 300 and displayed on the display unit of the
以上説明した第3実施形態によれば、道路側カメラ300により撮像された画像を取得することができるため、利用者は更に価値の高い情報を取得することができる。 According to the third embodiment described above, the image captured by the roadside camera 300 can be obtained, so that the user can obtain more valuable information.
また、上述した第1実施形態から第3実施形態の一部または全部は組み合わされて実施されてもよい。また、第1実施形態から第3実施形態の端末装置2、センターサーバ装置10、または車両100に含まれる機能構成のうち、一部または全部の構成は、他の装置に含まれてもよい。例えば、制御装置120またはセンターサーバ装置10の機能構成が、端末装置2に含まれてもよい。更に、上述したシーケンス図またはフローチャートの処理の一部の処理は省略されてもよいし、一部の処理は他の装置により実施されてもよい。
Also, part or all of the first to third embodiments described above may be combined and implemented. Further, part or all of the functional configurations included in the
例えば、端末装置2が、上述した車両200に含まれる乗員撮像カメラ108、風景撮像カメラ110、制御装置120、およびナビゲーション装置170の機能構成を備えてもよい。この場合、端末装置2の2つのカメラのうち、第1のカメラが車両内の乗員を撮像し、第2のカメラが風景を撮像するように、端末装置2が車両内等に設置される。また、端末装置2または車両200が、センターサーバ装置10の機能構成を備えてもよい。
For example, the
以上説明した実施形態によれば、画像取得システム1は、移動体(車両100)の位置情報を取得する位置取得部124と、移動体の利用者の感情を取得する感情推定部126と、位置情報が予め設定された撮像エリアに含まれ、且つ感情推定部126により取得された利用者の感情が予め設定された指定感情と合致した際に撮像された特定画像を取得する撮像処理部128(またはセンターサーバ装置10)とを備えることにより、利用者にとって価値の高い情報を取得することができる。
According to the embodiment described above, the
[ハードウェア構成]
図18は、実施形態の制御装置120のハードウェア構成の一例を示す図である。図示するように、制御装置120は、通信コントローラ120-1、CPU120-2、ワーキングメモリとして使用されるRAM(Random Access Memory)120-3、ブートプログラムなどを格納するROM(Read Only Memory)120-4、フラッシュメモリやHDD(Hard Disk Drive)などの記憶装置120-5、ドライブ装置120-6などが、内部バスあるいは専用通信線によって相互に接続された構成となっている。通信コントローラ120-1は、制御装置120以外の構成要素との通信を行う。記憶装置120-5には、CPU120-2が実行するプログラム120-5aが格納されている。このプログラムは、DMA(Direct Memory Access)コントローラ(不図示)などによってRAM120-3に展開されて、CPU120-2によって実行される。これによって、情報処理部122、感情推定部126、位置取得部124、および撮像処理部128のうち一部または全部が実現される。
[Hardware configuration]
FIG. 18 is a diagram showing an example of the hardware configuration of the
上記説明した実施形態は、以下のように表現することができる。
プログラムを記憶した記憶装置と、
ハードウェアプロセッサと、を備え、
前記ハードウェアプロセッサは、前記記憶装置に記憶されたプログラムを実行することにより、
移動体の位置情報を取得し、
前記移動体の利用者の感情を取得し、
前記位置情報が予め設定された撮像エリアに含まれ、且つ前記取得された利用者の感情が予め設定された指定感情と合致した際に撮像された特定画像を取得する、
ように構成されている、撮像装置。
The embodiment described above can be expressed as follows.
a storage device storing a program;
a hardware processor;
By executing the program stored in the storage device, the hardware processor
Acquire the location information of the moving object,
Acquiring the emotion of the user of the mobile body,
acquiring a specific image captured when the position information is included in a preset imaging area and the acquired emotion of the user matches a preset specified emotion;
An imaging device configured to:
以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。 As described above, the mode for carrying out the present invention has been described using the embodiments, but the present invention is not limited to such embodiments at all, and various modifications and replacements can be made without departing from the scope of the present invention. can be added.
1、1A‥画像取得システム、2‥端末装置、4‥撮像アプリ、10‥センターサーバ装置、14‥情報処理部、16‥情報提供部、30‥記憶部、34‥撮像処理情報、36‥撮像画像情報、100、100A‥車両、102‥通信装置、104‥HMI、106‥マイク、108‥乗員撮像カメラ、110‥風景撮像カメラ、120‥制御装置、122‥情報処理部、124‥位置取得部、126‥感情推定部、128‥撮像処理部、150‥記憶部、152‥撮像処理情報、154‥撮像画像情報、170‥ナビゲーション装置、300‥道路側カメラ
1, 1A
Claims (8)
前記移動体の利用者の感情を取得する第2取得部と、
前記位置情報が予め設定された撮像エリアに含まれ、且つ前記第2取得部により取得された利用者の感情が予め設定された指定感情と合致した際に撮像された特定画像を取得する第3取得部であって、前記利用者が乗車した移動体または前記移動体が通過する道路の周辺に設けられ前記利用者を撮像する第1撮像部により撮像された前記特定画像を取得する第3取得部と、
を備える画像取得システム。 a first acquisition unit that acquires position information of a mobile object;
a second acquisition unit that acquires the emotion of the user of the mobile object;
a third acquiring a specific image captured when the position information is included in a preset imaging area and the emotion of the user acquired by the second acquisition unit matches a preset specified emotion; a third acquisition unit that acquires the specific image captured by a first imaging unit that captures an image of the user and is provided around a moving object on which the user has boarded or a road through which the moving object passes; Department and
An image acquisition system comprising:
前記移動体の利用者の感情を取得する第2取得部と、
前記位置情報が予め設定された撮像エリアに含まれ、且つ前記第2取得部により取得された利用者の感情が予め設定された指定感情と合致した際に撮像された特定画像を取得する第3取得部と、
前記特定画像を利用者に提供する情報提供部と、を備え、
前記第3取得部は、前記利用者を撮像する第1撮像部により撮像された第1特定画像、前記移動体に設けられ且つ前記利用者の周辺環境を撮像する第2撮像部により撮像された第2特定画像、および前記撮像エリアにおいて前記移動体を撮像する第3撮像部により撮像された第3特定画像を取得し、
前記情報提供部は、前記第1特定画像と前記第2特定画像と前記第3特定画像とを対応付けた情報を利用者に提供する、
画像取得システム。 a first acquisition unit that acquires position information of a mobile object;
a second acquisition unit that acquires the emotion of the user of the mobile object;
a third acquiring a specific image captured when the position information is included in a preset imaging area and the emotion of the user acquired by the second acquisition unit matches a preset specified emotion; an acquisition unit;
an information providing unit that provides the specific image to the user ,
The third acquisition unit captures a first specific image captured by a first imaging unit that captures an image of the user, and a second image captured by a second imaging unit that is provided on the moving body and captures the surrounding environment of the user. Acquiring a second specific image and a third specific image captured by a third imaging unit that captures an image of the moving object in the imaging area;
The information providing unit provides the user with information in which the first specific image, the second specific image, and the third specific image are associated with each other.
Image acquisition system.
請求項1または2に記載の画像取得システム。 The second acquisition unit starts a process of acquiring the user's emotion when the position information acquired by the first acquisition unit is included in the imaging area.
3. An image acquisition system according to claim 1 or 2 .
請求項1から3のうちいずれか1項に記載の画像取得システム。 The third acquisition unit acquires a specific image captured by a second imaging unit that is provided in the moving object and that captures an image of the surrounding environment of the user.
4. An image acquisition system according to any one of claims 1-3 .
請求項1から4のうちいずれか1に記載の画像取得システム。 An information providing unit that provides the user with information in which the recommended imaging area or the imaging area designated by the user is associated with the map information,
5. An image acquisition system according to any one of claims 1-4 .
請求項1から5のうちいずれか1項に記載の画像取得システム。 information in which the area from which the specific image was obtained is associated with map information, information in which the area from which the specific image is obtained, the specific image, and the map information are associated with each other, or the specific image is obtained further comprising an information providing unit that provides the user with information in which the region and the movement trajectory of the moving body are associated with each other;
An image acquisition system according to any one of claims 1-5.
移動体の位置情報を取得し、
前記移動体の利用者の感情を取得し、
前記位置情報が予め設定された撮像エリアに含まれ、且つ前記取得された利用者の感情が予め設定された指定感情と合致した際に撮像された特定画像を取得する処理であって、前記利用者が乗車した移動体または前記移動体が通過する道路の周辺に設けられ前記利用者を撮像する第1撮像部により撮像された前記特定画像を取得する、
画像取得方法。 the computer
Acquire the location information of the moving object,
Acquiring the emotion of the user of the mobile body,
A process for acquiring a specific image captured when the position information is included in a preset imaging area and when the acquired emotion of the user matches a preset specified emotion, Acquiring the specific image captured by a first imaging unit that is provided around a moving body on which a person has boarded or a road through which the moving body passes and captures an image of the user ;
Image acquisition method.
移動体の位置情報を取得させ、
前記移動体の利用者の感情を取得させ、
前記位置情報が予め設定された撮像エリアに含まれ、且つ前記取得された利用者の感情が予め設定された指定感情と合致した際に撮像された特定画像を取得させる処理であって、前記利用者が乗車した移動体または前記移動体が通過する道路の周辺に設けられ前記利用者を撮像する第1撮像部により撮像された前記特定画像を取得させる、
プログラム。 to the computer,
Get the position information of the moving object,
Acquiring the emotion of the user of the mobile body,
A process for acquiring a specific image captured when the position information is included in a preset imaging area and the acquired emotion of the user matches a preset specified emotion, Acquiring the specific image captured by a first imaging unit that is provided around a moving body on which a person has boarded or a road through which the moving body passes and captures an image of the user ;
program.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019019880A JP7140692B2 (en) | 2019-02-06 | 2019-02-06 | Image Acquisition System, Image Acquisition Method, and Program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019019880A JP7140692B2 (en) | 2019-02-06 | 2019-02-06 | Image Acquisition System, Image Acquisition Method, and Program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020127175A JP2020127175A (en) | 2020-08-20 |
JP7140692B2 true JP7140692B2 (en) | 2022-09-21 |
Family
ID=72084328
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019019880A Active JP7140692B2 (en) | 2019-02-06 | 2019-02-06 | Image Acquisition System, Image Acquisition Method, and Program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7140692B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7484802B2 (en) | 2021-04-14 | 2024-05-16 | トヨタ自動車株式会社 | Information processing device, program, and information processing method |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014175905A (en) | 2013-03-11 | 2014-09-22 | Honda Access Corp | Imaging apparatus for vehicle and imaging auxiliary device |
JP2019004476A (en) | 2018-07-31 | 2019-01-10 | パイオニア株式会社 | Terminal device |
-
2019
- 2019-02-06 JP JP2019019880A patent/JP7140692B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014175905A (en) | 2013-03-11 | 2014-09-22 | Honda Access Corp | Imaging apparatus for vehicle and imaging auxiliary device |
JP2019004476A (en) | 2018-07-31 | 2019-01-10 | パイオニア株式会社 | Terminal device |
Also Published As
Publication number | Publication date |
---|---|
JP2020127175A (en) | 2020-08-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3503068A1 (en) | Vehicle and control method | |
US20090285445A1 (en) | System and Method of Translating Road Signs | |
CN113452927A (en) | Enhanced social media experience for autonomous vehicle users | |
CN111301284B (en) | In-vehicle device, program, and vehicle | |
CN105882528B (en) | Road conditions sharing method, device and the balance car of balance car | |
JP7020434B2 (en) | Image processing equipment, image processing method, and program | |
JP6277570B2 (en) | Captured image exchange system, imaging apparatus, and captured image exchange method | |
CN109690601B (en) | Information providing device and moving object | |
JP7140692B2 (en) | Image Acquisition System, Image Acquisition Method, and Program | |
WO2019163338A1 (en) | Ridesharing assistance system | |
CN110706497A (en) | Image processing apparatus and computer-readable storage medium | |
US11671700B2 (en) | Operation control device, imaging device, and operation control method | |
US20220101884A1 (en) | Video editing equipment | |
JP2010135889A (en) | Portable communication terminal, photographing system, and photographed image storage method | |
JP2019105966A (en) | Information processing method and information processing apparatus | |
CN114691979A (en) | Information providing device, information providing method, and storage medium | |
CN114078316A (en) | Server device, system, in-vehicle device, medium, vehicle, and method for operating system | |
JP6559096B2 (en) | Information output system and information output method | |
JP6278065B2 (en) | Information acquisition system and information acquisition method | |
JP5977697B2 (en) | Electronic device and method for controlling electronic device | |
CN112595309B (en) | Navigation method and device and electronic equipment | |
JP7107629B2 (en) | Server, client, program and method for generating target video | |
JP2014016706A (en) | Information acquisition system and information acquisition method | |
US20210302179A1 (en) | Server device, control device, program, vehicle, and operation method of information processing system | |
US20240105054A1 (en) | Information processing device, display terminal, and information processing method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210329 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220214 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220405 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220603 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220823 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220908 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7140692 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |