JP6571974B2

JP6571974B2 - DETECTING DEVICE, DETECTING SYSTEM, DETECTING METHOD, AND PROGRAM

Info

Publication number: JP6571974B2
Application number: JP2015090286A
Authority: JP
Inventors: 卓己吉本
Original assignee: Denso Ten Ltd
Current assignee: Denso Ten Ltd
Priority date: 2015-04-27
Filing date: 2015-04-27
Publication date: 2019-09-04
Anticipated expiration: 2035-04-27
Also published as: JP2016203886A

Description

本発明は、車両の周辺の状況を検出する技術に関する。 The present invention relates to a technique for detecting a situation around a vehicle.

従来より、自動車等の車両周辺を車両に搭載した単一のカメラで撮影し、撮影画像をユーザへ送信する技術が知られている（例えば、特許文献１）。これにより、ユーザは車両から遠隔地に所在しても車両周辺の様子を把握できる。 2. Description of the Related Art Conventionally, a technique is known in which a periphery of a vehicle such as an automobile is photographed with a single camera mounted on the vehicle and a photographed image is transmitted to a user (for example, Patent Document 1). Thereby, even if the user is located in a remote place from the vehicle, the user can grasp the situation around the vehicle.

特開２００３−２７９６６１号公報JP 2003-279661 A

しかし、提案された技術は、車両に単一のカメラしか搭載されず、ユーザは必ずしも車両の周囲を把握できない。また、車両に複数のカメラを搭載すると、ユーザに多くの撮影画像を送信することとなり、通信量が膨大となる。さらに、多くの撮影画像を送信されるユーザは、受信処理が煩雑となり問題となる。 However, in the proposed technique, only a single camera is mounted on the vehicle, and the user cannot always grasp the surroundings of the vehicle. If a plurality of cameras are mounted on the vehicle, a large number of captured images are transmitted to the user, resulting in a huge amount of communication. Furthermore, a user who transmits many photographed images becomes a problem because the reception process becomes complicated.

本発明は、上記課題に鑑み、車両周辺の撮影画像を車両から遠隔地に所在するユーザに送信する場合、ユーザが車両周辺の様子を明確に把握しつつも通信量を低減する技術の提供を目的とする。 In view of the above problems, the present invention provides a technique for reducing the amount of communication while the user clearly understands the state of the vehicle periphery when transmitting a captured image of the vehicle periphery to a user located in a remote location. Objective.

上記課題を解決するため、請求項１の発明は、検出装置とサーバとにより車両の周辺の状況を検出する検出システムであって、前記検出装置は、前記車両の駐車中に、該車両の周辺を撮影する複数のカメラの撮影画像を取得する取得手段と、前記複数の撮影画像を前記サーバに送信する第１送信手段と、を備え、前記サーバは、前記複数の撮影画像に基づき、前記車両の周辺の状況変化を検出する検出手段と、前記複数の撮影画像のうち、前記状況変化を示す撮影画像を選択する選択手段と、前記選択手段に選択された撮影画像を前記車両のユーザの所有する表示装置へ送信する第２送信手段と、を備える。
In order to solve the above-mentioned problem, the invention of claim 1 is a detection system for detecting a situation around a vehicle by a detection device and a server, and the detection device is arranged around the vehicle while the vehicle is parked. Acquisition means for acquiring captured images of a plurality of cameras that capture the image, and first transmission means for transmitting the plurality of captured images to the server, the server based on the plurality of captured images, the vehicle A detection unit that detects a change in the surroundings of the vehicle, a selection unit that selects a photographed image that indicates the change in situation among the plurality of photographed images, and a captured image selected by the selection unit owned by the user of the vehicle Second transmission means for transmitting to the display device .

また、請求項２の発明は、請求項１に記載の検出システムにおいて、前記検出装置は、前記複数のカメラを前記取得手段に順次に接続する接続手段、をさらに備え、前記取得手段は、接続されたカメラから前記撮影画像を取得する。
The detection system according to claim 2 is the detection system according to claim 1, wherein the detection device further includes connection means for sequentially connecting the plurality of cameras to the acquisition means. The photographed image is acquired from the captured camera.

また、請求項３の発明は、請求項１又は２に記載の検出システムにおいて、前記取得手段は、前記撮影画像を周期的に取得する。また、請求項４の発明は、請求項１ないし３のいずれかに記載の検出システムにおいて、前記サーバは、物体の形状を示すパターンデータを記憶する記憶手段、をさらに備え、前記検出手段は、前記撮影画像と前記パターンデータとの比較に基づき、前記車両の周辺の状況変化を検出する。
According to a third aspect of the present invention, in the detection system according to the first or second aspect, the acquisition unit acquires the captured image periodically. According to a fourth aspect of the present invention, in the detection system according to any one of the first to third aspects, the server further includes storage means for storing pattern data indicating the shape of the object, and the detection means includes: Based on a comparison between the captured image and the pattern data, a change in the situation around the vehicle is detected.

また、請求項５の発明は、請求項１ないし４のいずれかに記載の検出システムにおいて、前記サーバは、前記選択手段で選択された撮影画像に対し、該撮影画像を生成したカメラを識別する識別情報を重畳する画像処理手段、をさらに備える。
According to a fifth aspect of the present invention, in the detection system according to any one of the first to fourth aspects, the server identifies a camera that has generated the captured image for the captured image selected by the selection unit. Image processing means for superimposing the identification information;

また、請求項６の発明は、請求項１ないし５のいずれかに記載の検出システムにおいて、前記サーバは、前記状況変化の度合いを判定する判定手段、をさらに備え、前記選択手段は、前記状況変化の度合いが最も高い一の撮影画像を選択する。
The invention according to claim 6 is the detection system according to any one of claims 1 to 5, wherein the server further includes a determination unit that determines a degree of the state change, and the selection unit includes the state The one photographed image with the highest degree of change is selected.

請求項１ないし６の発明によれば、車両の周辺の状況変化を検出した後、複数の撮影画
像のうちから状況変化を示す撮影画像を選択して車両のユーザの所有する表示装置へ送信
するので、車両のユーザは、車両から遠隔地に所在しても、車両の周辺で生じた状況変化
を少ない通信量で把握できる。
According to the first to sixth aspects of the present invention, after detecting a situation change around the vehicle, a photographed image showing the situation change is selected from a plurality of photographed images and transmitted to a display device owned by the user of the vehicle. Therefore, even if the user of the vehicle is located at a remote location from the vehicle, the user can grasp the change in the situation that has occurred around the vehicle with a small amount of communication.

また、特に請求項２の発明によれば、複数のカメラを取得手段に順次に接続し、取得手段は接続されたカメラから撮影画像を取得するので、車両の周辺の広範囲に渡って撮影した撮影画像を取得できる。 In particular, according to the invention of claim 2, a plurality of cameras are sequentially connected to the acquisition unit, and the acquisition unit acquires a captured image from the connected camera. Images can be acquired.

また、特に請求項３の発明によれば、撮影画像を周期的に取得するので、車両の周辺で生じた状況変化を周期的に検出できる。 In particular, according to the third aspect of the present invention, since captured images are periodically acquired, it is possible to periodically detect a change in the situation that has occurred around the vehicle.

また、特に請求項４の発明によれば、撮影画像とパターンデータとの比較に基づき、車両の周辺の状況変化を検出するので、適切に状況変化を検出できる。 In particular, according to the invention of claim 4, since the change in the situation around the vehicle is detected based on the comparison between the captured image and the pattern data, the change in the situation can be detected appropriately.

また、特に請求項５の発明によれば、撮影画像を生成したカメラの位置を示す位置画像を撮影画像に付するので、撮影画像を参照したユーザは、車両のどの位置に設置されたカメラで撮影した画像かを判別できる。 Further, according to the invention of claim 5, since the position image indicating the position of the camera that generated the captured image is attached to the captured image, the user who refers to the captured image can use the camera installed at which position of the vehicle. It can be discriminated whether it is a photographed image.

また、特に請求項６の発明によれば、状況変化の度合いが他の撮影画像の度合いより高い撮影画像を選択するので、ユーザは、車両の周辺で生じた状況変化を的確に把握できる。 In particular, according to the sixth aspect of the present invention, the photographed image having a higher degree of situation change than that of the other photographed images is selected, so that the user can accurately grasp the situation change that has occurred around the vehicle.

図１は、状況検出システムの概要を示す。FIG. 1 shows an overview of a situation detection system. 図２は、第１の実施の形態に係る状況検出装置の構成を示す。FIG. 2 shows the configuration of the situation detection apparatus according to the first embodiment. 図３は、車両におけるカメラの配置を示す。FIG. 3 shows the arrangement of the cameras in the vehicle. 図４は、表示装置に表示される画像の例を示す。FIG. 4 shows an example of an image displayed on the display device. 図５は、第１の実施の形態に係る状況検出装置の処理工程を示す。FIG. 5 shows processing steps of the situation detection apparatus according to the first embodiment. 図６は、第１の実施の形態に係る状況検出装置の処理工程を示す。FIG. 6 shows processing steps of the situation detection apparatus according to the first embodiment. 図７は、第１の実施の形態に係る状況検出装置の処理工程を示す。FIG. 7 shows processing steps of the situation detection apparatus according to the first embodiment. 図８は、第２の実施の形態に係る状況検出装置の構成を示す。FIG. 8 shows the configuration of the situation detection apparatus according to the second embodiment. 図９は、第２の実施の形態に係る状況検出装置の処理工程を示す。FIG. 9 shows processing steps of the situation detection apparatus according to the second embodiment.

以下、図面を参照しつつ本発明の実施の形態について説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.

＜１．第１の実施の形態＞
＜１−１．概要＞
図１は、本発明の実施の形態に係る状況検出システム１の概要を示す。状況検出システム１は、車両２周辺の状況変化をユーザＵＳに通知するシステムである。すなわち、状況検出システム１は、車両２に備えた状況検出装置３が車両２の四方に配置されたカメラ４（フロントカメラ４ａ、リアカメラ４ｂ、左サイドカメラ４ｃ、右サイドカメラ４ｄ）から取得した車両２周辺の画像を解析する。そして状況検出システム１は、例えば降雨や降雪等により車両２周辺の状況が変化したと判断すると、車両２から遠隔地に所在するユーザＵＳの所有する携帯機器５に、車両２周辺の状況を示す画像を表示させる。 <1. First Embodiment>
<1-1. Overview>
FIG. 1 shows an overview of a situation detection system 1 according to an embodiment of the present invention. The situation detection system 1 is a system that notifies the user US of a situation change around the vehicle 2. That is, in the situation detection system 1, the situation detection device 3 provided in the vehicle 2 is acquired from the cameras 4 (front camera 4a, rear camera 4b, left side camera 4c, and right side camera 4d) arranged on all sides of the vehicle 2. An image around the vehicle 2 is analyzed. When the situation detection system 1 determines that the situation around the vehicle 2 has changed due to, for example, rain or snowfall, the situation detection system 1 indicates the situation around the vehicle 2 to the portable device 5 owned by the user US located at a remote location from the vehicle 2. Display an image.

ユーザＵＳは画像を参照することで、車両２周辺の状況を把握できる。例えば、車両２周辺が大雨となり、路面を冠水した雨水ＷＴが増加すると、車両２が損傷する恐れがある。この場合、ユーザＵＳは直ちに駐車位置に舞い戻り、車両２を安全な場所へ退避させることで、車両２の損傷を防止できる。 The user US can grasp the situation around the vehicle 2 by referring to the image. For example, if the rain around the vehicle 2 becomes heavy rain and the rainwater WT flooding the road surface increases, the vehicle 2 may be damaged. In this case, the user US immediately returns to the parking position, and the vehicle 2 can be prevented from being damaged by retracting the vehicle 2 to a safe place.

この際、状況検出システム１は、４つのカメラで４つの画像を取得しつつも、状況変化を最もよく表す画像のみユーザＵＳに送信することが好ましい。画像をユーザへ常時送信する場合や、状況変化の少ない画像を含めて送信した場合に比較して、通信量を削減できるからである。また、ユーザは、適時に適切な画像を参照でき、画像を受信することに煩わしさを感じることがないからである。このような状況検出システム１を以下に詳細に説明する。なお、以下でカメラ４と述べた場合、フロントカメラ４ａ、リアカメラ４ｂ、左サイドカメラ４ｃ、及び右サイドカメラ４ｄの４つのカメラを指す。 At this time, it is preferable that the situation detection system 1 transmits only the image that best represents the situation change to the user US while acquiring four images with the four cameras. This is because the amount of communication can be reduced as compared with the case where images are always transmitted to the user and the case where images including little change in situation are transmitted. Further, the user can refer to an appropriate image in a timely manner, and does not feel bothered by receiving the image. The situation detection system 1 will be described in detail below. In the following description, the camera 4 refers to four cameras: a front camera 4a, a rear camera 4b, a left side camera 4c, and a right side camera 4d.

＜１−２．構成＞
図２は、状況検出システム１の構成を示す。状況検出システム１は、車両２に設置された状況検出装置３及びカメラ４、並びに車両外部のユーザが所持する携帯機器５を備える。 <1-2. Configuration>
FIG. 2 shows the configuration of the situation detection system 1. The situation detection system 1 includes a situation detection device 3 and a camera 4 installed in a vehicle 2 and a portable device 5 possessed by a user outside the vehicle.

状況検出装置３は、車両２に設置されたカメラ４から画像データを受信し、受信した画像データから車両２周辺の状況及び状況の変化を検出する電子制御装置である。状況検出装置３は、制御部３１、通信部３２、接続部３３、及び記憶部３４を備える。 The situation detection device 3 is an electronic control device that receives image data from a camera 4 installed in the vehicle 2 and detects a situation around the vehicle 2 and a change in the situation from the received image data. The situation detection apparatus 3 includes a control unit 31, a communication unit 32, a connection unit 33, and a storage unit 34.

制御部３１は、ＣＰＵ、ＲＡＭ、及びＲＯＭを備えたマイクロコンピュータである。制御部３１は、状況検出装置３が備える他の構成と接続され、装置全体を制御する。制御部３１の備える諸機能は後述する。 The control unit 31 is a microcomputer including a CPU, a RAM, and a ROM. The control unit 31 is connected to another configuration included in the situation detection device 3 and controls the entire device. Various functions of the control unit 31 will be described later.

通信部３２は、無線通信を利用した通信機能を備え、ネットワークを介して携帯機器５等と情報通信を行う。通信機能は、例えば、ＷｉＭＡＸ（Worldwide Interoperability for Microwave Access）やＬＴＥ（Long Term Evolution）等の無線通信技術を利用する。 The communication unit 32 includes a communication function using wireless communication, and performs information communication with the mobile device 5 and the like via a network. The communication function uses, for example, a wireless communication technology such as WiMAX (Worldwide Interoperability for Microwave Access) and LTE (Long Term Evolution).

接続部３３は、カメラ４と制御部３１とを接続するスイッチ機構である。接続部３３は、スイッチ機構を切り替え、カメラ４のいずれかと制御部３１とを接続する。接続部３３は、かかる切り替えを計時部３１ｅの計時により所定時間毎に行う。所定時間は、例えば、３０[秒]である。これにより、全てのカメラ４の撮影画像が、順次に制御部３１へ送信される。なお、接続部３３は、本発明において接続手段として機能する。 The connection unit 33 is a switch mechanism that connects the camera 4 and the control unit 31. The connection unit 33 switches the switch mechanism to connect one of the cameras 4 and the control unit 31. The connection unit 33 performs such switching at predetermined time intervals by the time counting unit 31e. The predetermined time is, for example, 30 [seconds]. Thereby, the captured images of all the cameras 4 are sequentially transmitted to the control unit 31. In addition, the connection part 33 functions as a connection means in this invention.

記憶部３４は、データを記憶するメモリである。例えば、ＥＥＰＲＯＭ（Electrical Erasable Programmable Read-Only memory）や、フラッシュメモリ、磁気ディスクを備えたハードディスクドライブ等の不揮発性の記憶媒体である。記憶部３４は、パターンデータ３４ａ、識別データ３４ｂ、及びプログラム３４ｃを記憶している。なお、記憶部３４は、本発明において記憶手段として機能する。 The storage unit 34 is a memory that stores data. For example, it is a nonvolatile storage medium such as an EEPROM (Electrical Erasable Programmable Read-Only Memory), a flash memory, or a hard disk drive including a magnetic disk. The storage unit 34 stores pattern data 34a, identification data 34b, and a program 34c. The storage unit 34 functions as a storage unit in the present invention.

パターンデータ３４ａは、画像処理におけるパターンマッチングの手法で用いられ、物体の形状を示すパターンデータである。物体の形状は、例えば、自動車のボディー、バンパー、タイヤ、ガードレール、信号機（交通信号灯器）、電柱（電信柱又は電力柱）等の形状である。車両が駐車される位置周辺に一般的に存在する物体の形状であればよい。ただし、路面の冠水や積雪の有無を判断するために利用する場合は、タイヤなど路面付近に存在する物体、特に路面に接地する物体の形状が好ましい。冠水や積雪は路面上に発生するからである。 The pattern data 34a is pattern data that is used in a pattern matching technique in image processing and indicates the shape of an object. The shape of the object is, for example, the shape of an automobile body, bumper, tire, guardrail, traffic light (traffic signal lamp), utility pole (telephone pole or power pole), and the like. What is necessary is just the shape of the object generally existing around the position where the vehicle is parked. However, when it is used to determine whether there is flooding or snow on the road surface, the shape of an object such as a tire that exists near the road surface, particularly an object that contacts the road surface is preferable. This is because flooding and snowfall occur on the road surface.

識別データ３４ｂは、４つのカメラ４を識別するための画像データである。例えば、「フロントカメラ」、「リアカメラ」、「左サイドカメラ」、「右サイドカメラ」を示す文字の画像である。識別データ３４ｂは、ユーザに送信される車両２の周辺状況を示す画像に重畳される。ユーザは周辺状況の画像とともに識別データ３４ｂを参照することで、送信された画像が車両２のどの位置に配置されたカメラで取得されたか識別できる。これにより、ユーザは車両２の周辺状況をより詳細に把握できる。なお、識別データ３４ｂは、文字のほか図形や記号でもよい。 The identification data 34b is image data for identifying the four cameras 4. For example, it is a character image indicating “front camera”, “rear camera”, “left side camera”, and “right side camera”. The identification data 34b is superimposed on an image showing the surrounding situation of the vehicle 2 transmitted to the user. The user can identify the position where the transmitted image is acquired by the camera arranged on the vehicle 2 by referring to the identification data 34b together with the image of the surrounding situation. Thereby, the user can grasp the surrounding situation of the vehicle 2 in more detail. The identification data 34b may be a graphic or symbol in addition to characters.

プログラム３４ｃは、制御部３１により読み出され、制御部３１が状況検出装置３を制御するために実行されるファームウェアである。なお、プログラム３４ｃは、メモリカード等の記憶媒体を介し、又は、外部装置と回線で接続され、状況検出装置３に入出力され得る。 The program 34 c is firmware that is read by the control unit 31 and executed for the control unit 31 to control the situation detection device 3. The program 34c can be input / output to / from the status detection device 3 via a storage medium such as a memory card or connected to an external device via a line.

次に、前述の制御部３１の備える諸機能を説明する。制御部３１は、画像取得部３１ａ、状況検出部３１ｂ、画像選択部３１ｃ、送受信部３１ｄ、計時部３１ｅ、画像処理部３１ｆ、及び判定部３１ｇを備える。なお、画像取得部３１ａ等の各部の機能は、制御部３１の備えるＣＰＵが記憶部３４に記憶されたプログラム３４ｃに従った演算処理で実現される。 Next, functions provided in the control unit 31 will be described. The control unit 31 includes an image acquisition unit 31a, a situation detection unit 31b, an image selection unit 31c, a transmission / reception unit 31d, a time measurement unit 31e, an image processing unit 31f, and a determination unit 31g. Note that the function of each unit such as the image acquisition unit 31 a is realized by arithmetic processing according to the program 34 c stored in the storage unit 34 by the CPU included in the control unit 31.

画像取得部３１ａは、カメラ４から送信される撮影画像データを取得し、取得した撮影画像データを制御部３１で処理可能な形式に変換する。すなわち、画像取得部３１ａは、カメラ４で被写体を各々撮影した複数の撮影画像を取得する。なお、画像取得部３１ａは、本発明において取得手段として機能する。 The image acquisition unit 31 a acquires captured image data transmitted from the camera 4, and converts the acquired captured image data into a format that can be processed by the control unit 31. That is, the image acquisition unit 31a acquires a plurality of captured images obtained by capturing images of the subject with the camera 4. The image acquisition unit 31a functions as an acquisition unit in the present invention.

状況検出部３１ｂは、パターンマッチングの手法を用い、車両２周辺の状況及びその変化を検出する。パターンマッチングとは、特定の形状に合致（マッチング）する画像領域を求める既知の手法である。これにより、車両周辺に存在する物体を検出できる。例えば、撮影画像中にタイヤの形状のパターンと合致する画像領域がある場合、撮影範囲内に車両の存在を検出できる。状況検出部３１ｂは、記憶部３４に記憶されているパターンデータ３４ａを読み出し、パターンマッチングを実行する。 The situation detection unit 31b detects a situation around the vehicle 2 and its change using a pattern matching technique. Pattern matching is a known technique for obtaining an image region that matches (matches) a specific shape. Thereby, the object which exists in the vehicle periphery can be detected. For example, when there is an image region that matches a tire shape pattern in a captured image, the presence of a vehicle can be detected within the captured range. The situation detection unit 31b reads the pattern data 34a stored in the storage unit 34 and executes pattern matching.

また、状況検出部３１ｂは、パターンの部分毎にパターンと画像との合致度合いを検出する。パターンと画像との合致度合いとは、パターンマッチングを行った画像領域の全画素のうち、パターンデータ３４ａと合致した画素と合致しなかった画素との割合である。また、パターンと合致した画像領域のエッジ検出を行い、エッジが明確な領域と、不明確（欠損）な領域の割合としてもよい。 In addition, the situation detection unit 31b detects the degree of matching between the pattern and the image for each part of the pattern. The degree of matching between the pattern and the image is the ratio of the pixels that match the pattern data 34a and the pixels that do not match among all the pixels in the image area subjected to pattern matching. Alternatively, the edge of an image area that matches the pattern may be detected, and the ratio of a clear edge area to an unclear (missing) area may be used.

また、状況検出部３１ｂは、パターン上部が合致し、かつパターン下部が合致しない場合に、路面の冠水又は積雪の発生と判定する。すなわち、車両２の周辺状況を路面の冠水又は積雪のある状況と判定する。路面の冠水又は積雪があると、雨水や雪によりパターンの合致が妨げられ、パターン上部が合致し、かつパターン下部が合致し難くなるからである。また、状況検出部３１ｂは、撮影画像の所定領域とパターンデータ３４ａとの合致の度合いが前回の検出時から変化した撮影画像が一つでもある場合に、車両２の周辺状況が変化したことを検出する。 In addition, the situation detection unit 31b determines that flooding of the road surface or snow is occurring when the upper part of the pattern matches and the lower part of the pattern does not match. That is, the surrounding situation of the vehicle 2 is determined as a situation where the road surface is flooded or snow is present. This is because if there is flooding or snow on the road surface, pattern matching is hindered by rainwater or snow, the pattern upper part matches, and the pattern lower part becomes difficult to match. In addition, the situation detection unit 31b indicates that the surrounding situation of the vehicle 2 has changed when the degree of matching between the predetermined area of the photographed image and the pattern data 34a has changed from the previous detection. To detect.

また、状況検出部３１ｂは、撮影画像の合致度合いが全体的に低い場合は、降雨や降雪、濃霧と判定する。降雨等によりパターンの合致が全体的に妨げられるからである。また、撮影画像の度合いが全体的に得られない場合は、状況の検出が不能と判定する。この場合、車両２に隣接する壁や他車のボディー等で撮影範囲が妨げられているからである。なお、状況検出部３１ｂは、本発明において検出手段として機能する。 Moreover, the situation detection part 31b determines with rain, snowfall, and dense fog, when the matching degree of a picked-up image is low as a whole. This is because the matching of the pattern is hindered as a whole by rain or the like. Further, when the degree of the captured image cannot be obtained as a whole, it is determined that the situation cannot be detected. In this case, the shooting range is hindered by a wall adjacent to the vehicle 2 or the body of another vehicle. The situation detection unit 31b functions as detection means in the present invention.

画像選択部３１ｃは、制御部３１のＲＡＭに記憶されている合致度合いを示すデータを参照し、画像とパターンとの合致度合いが最も低い画像を選択する。なお、画像選択部３１ｃは、本発明において選択手段として機能する。 The image selection unit 31c refers to the data indicating the degree of matching stored in the RAM of the control unit 31, and selects the image with the lowest degree of matching between the image and the pattern. The image selection unit 31c functions as a selection unit in the present invention.

送受信部３１ｄは、画像取得部３１ａがカメラ４から取得し、画像選択部３１ｃが選択した画像データを通信部３２を介して携帯機器５へ送信する。また、携帯機器５から送信される信号を受信する。なお、送受信部３１ｄは、本発明において送信手段として機能する。 The transmission / reception unit 31d transmits the image data acquired by the image acquisition unit 31a from the camera 4 and selected by the image selection unit 31c to the portable device 5 via the communication unit 32. In addition, a signal transmitted from the mobile device 5 is received. The transmission / reception unit 31d functions as a transmission unit in the present invention.

計時部３１ｅは、時間の経過を計るタイマーである。計時部３１ｅは、車両２の駐車中に状況検出装置３が周期的に起動する間隔となる時間を計時する。これにより、画像取得部３１ａは、周期的に撮影画像を取得できる。また、接続部３３がカメラ４と制御部３１との接続を切り替える間隔となる時間を計測する。 The timer unit 31e is a timer that measures the passage of time. The time measuring unit 31 e measures the time that is the interval at which the situation detection device 3 is periodically activated while the vehicle 2 is parked. Thereby, the image acquisition part 31a can acquire a picked-up image periodically. In addition, the time that is the interval at which the connection unit 33 switches the connection between the camera 4 and the control unit 31 is measured.

画像処理部３１ｆは、４つのカメラ４を識別するための画像データである識別データ３４ｂを記憶部３４から読み出し、画像取得部３１ａが取得した車両２の周辺状況を示す画像に、識別データ３４ｂを重畳するよう画像処理を施す。例えば、周辺状況を示す画像に「左サイドカメラ」を示す文字画像を重畳する。ユーザは周辺状況の画像とともに識別データ３４ｂを参照することで、送信された画像が車両のどの位置に配置されたカメラで取得されたか識別できる。これにより、ユーザは車両の周辺状況をより詳細に把握できる。また、画像処理部３１ｆは、ユーザに送信する画像データの容量を圧縮する。これにより、通信量を低減できる。なお、画像処理部３１ｆは、本発明において画像処理手段として機能する。 The image processing unit 31f reads identification data 34b, which is image data for identifying the four cameras 4, from the storage unit 34, and adds the identification data 34b to the image indicating the surrounding situation of the vehicle 2 acquired by the image acquisition unit 31a. Image processing is performed to superimpose. For example, a character image indicating “left side camera” is superimposed on an image indicating the surrounding situation. By referring to the identification data 34b together with the surrounding situation image, the user can identify where the transmitted image is acquired by the camera arranged in the vehicle. Thereby, the user can grasp the surrounding situation of the vehicle in more detail. In addition, the image processing unit 31f compresses the capacity of image data to be transmitted to the user. Thereby, the communication amount can be reduced. The image processing unit 31f functions as an image processing unit in the present invention.

判定部３１ｇは、車両２周辺の状況変化の度合いを判定する。判定部３１ｇは、状況検出部３１ｂが検出したパターンと画像との合致度合いに基づき、車両２周辺の状況変化の度合いを判定する。すなわち、判定部３１ｇは、パターンと画像との合致度合いが低いと車両２周辺の状況変化の度合いが高いと判定し、パターンと画像との合致度合いが高いと車両２周辺の状況変化の度合いが低いと判定する。また、判定部３１ｇは、前回撮影した画像に基づく状況変化の度合いと、今回撮影した画像に基づく状況変化の度合いとを比較し、度合いの変化の大きさを判定してもよい。 The determination unit 31g determines the degree of situation change around the vehicle 2. The determination unit 31g determines the degree of situation change around the vehicle 2 based on the degree of matching between the pattern and the image detected by the situation detection unit 31b. That is, the determination unit 31g determines that the degree of situation change around the vehicle 2 is high when the degree of matching between the pattern and the image is low, and the degree of situation change around the vehicle 2 when the degree of coincidence between the pattern and the image is high. Judge as low. The determination unit 31g may determine the magnitude of the degree change by comparing the degree of situation change based on the previously taken image with the degree of situation change based on the currently taken image.

車両２には、状況検出装置３のほか、カメラ４が設置される。カメラ４は、レンズと撮像素子とを備え、車両２の異なる位置に各々配置される。 In addition to the situation detection device 3, a camera 4 is installed in the vehicle 2. The camera 4 includes a lens and an image sensor, and is disposed at different positions on the vehicle 2.

図３は、カメラ４が車両２に配置される位置と、カメラ４の光軸が向けられる方向とを示す。フロントカメラ４ａは、車両２前端に設置され、光軸４ａａが車両２の直進方向に向けられる。リアカメラ４ｂは、車両２後端に設置され、光軸４ｂａが車両２の直進方向と反対方向、すなわち後進方向に向けられる。左サイドカメラ４ｃは、左側のサイドミラーＭＬに設置され、光軸４ｃａが車両２の左方向（直進方向に対する直交方向）に向けられる。右サイドカメラ４ｄは、右側のサイドミラーＭＲに設置され、その光軸４ｄａが車両２の右方向（直進方向に対する直交方向）に向けられる。 FIG. 3 shows the position where the camera 4 is arranged in the vehicle 2 and the direction in which the optical axis of the camera 4 is directed. The front camera 4 a is installed at the front end of the vehicle 2, and the optical axis 4 aa is directed in the straight traveling direction of the vehicle 2. The rear camera 4b is installed at the rear end of the vehicle 2, and the optical axis 4ba is directed in the direction opposite to the straight traveling direction of the vehicle 2, that is, in the reverse traveling direction. The left side camera 4c is installed in the left side mirror ML, and the optical axis 4ca is directed in the left direction of the vehicle 2 (a direction orthogonal to the straight traveling direction). The right side camera 4d is installed on the right side mirror MR, and its optical axis 4da is directed in the right direction of the vehicle 2 (a direction orthogonal to the straight traveling direction).

カメラ４の各々は、車両２周辺の異なる方向を撮影し、撮影画像を電子的に取得する。カメラ４は、焦点距離の比較的短いレンズを備え、１８０度以上の画角θを有する。このため、４つのカメラ４を用いることで、車両２の全周囲を撮影できる。 Each of the cameras 4 captures a different direction around the vehicle 2 and electronically acquires a captured image. The camera 4 includes a lens having a relatively short focal length, and has an angle of view θ of 180 degrees or more. For this reason, the entire periphery of the vehicle 2 can be photographed by using the four cameras 4.

図２を再度参照し、携帯機器５を説明する。携帯機器５は、ユーザに携帯され、画像を表示する機能や情報ネットワークと接続する機能等を備える情報通信端末である。例えば、携帯電話やスマートフォンである。携帯機器５は、ディスプレイ５ａを備える。なお、携帯機器５は、本発明において表示装置として機能する。 The mobile device 5 will be described with reference to FIG. 2 again. The portable device 5 is an information communication terminal that is carried by a user and has a function of displaying an image, a function of connecting to an information network, and the like. For example, a mobile phone or a smartphone. The portable device 5 includes a display 5a. The portable device 5 functions as a display device in the present invention.

ディスプレイ５ａは、文字や図形等の各種情報を表示し、ユーザに情報を視覚的に提示する表示装置である。例えば、液晶ディスプレイや、プラズマディスプレイ、有機ＥＬディスプレイ等である。ディスプレイ５ａは、ユーザの入力操作を受付けるタッチパネル（図示せず）を備える。 The display 5a is a display device that displays various information such as characters and graphics and visually presents the information to the user. For example, a liquid crystal display, a plasma display, an organic EL display, or the like. The display 5a includes a touch panel (not shown) that accepts user input operations.

＜１−３．表示画像の例＞
次に、ユーザの所持する携帯機器５のディスプレイ５ａに表示されるメッセージ及び車両２周辺の画像の例を説明する。図４は、ディスプレイ５ａに表示されるメッセージＭＥ及び車両２周辺の状況を示す周辺画像ＡＰを示す。図４の左図は、周辺画像ＡＰが表示される前に、状況の変化の発生のみを提示するメッセージＭＥの例である。メッセージＭＥは、例えば、「車の周辺状況に変化がありました。画像を表示しますか？」である。ユーザは、車両周辺の状況変化を憂慮しない場合には、必ずしも画像の参照を希望しない。この場合にまで画像の表示を行うと、通信容量が増加するのみならずユーザは受信処理に煩わしさを感じることとなる。したがって、車両周辺に状況変化があった場合には、まずメッセージＭＥをユーザに送信し、画像の参照の要否をユーザが選択することが好ましい。 <1-3. Example of display image>
Next, an example of a message displayed on the display 5a of the portable device 5 owned by the user and an image around the vehicle 2 will be described. FIG. 4 shows a message ME displayed on the display 5a and a surrounding image AP showing the situation around the vehicle 2. The left diagram of FIG. 4 is an example of a message ME that presents only the occurrence of a change in situation before the peripheral image AP is displayed. The message ME is, for example, “There has been a change in the situation around the car. Do you want to display an image?”. The user does not necessarily want to refer to the image if he / she is not concerned about the situation change around the vehicle. If the image is displayed up to this case, not only the communication capacity increases but also the user feels troublesome in the reception process. Therefore, when there is a change in the situation around the vehicle, it is preferable that the message ME is first transmitted to the user, and the user selects whether or not to refer to the image.

図４の右図は、ユーザがメッセージＭＥを参照して画像の参照を希望し、車両の周辺状況を撮影した周辺画像ＡＰが携帯機器５のディスプレイ５ａにメッセージＭＳと共に表示された例である。周辺画像ＡＰと共に表示されるメッセージＭＳは、例えば、「車の周辺状況の画像です。」である。メッセージＭＥを参照することで、ユーザは、表示されている画像が車の周辺状況であることを把握できる。 The right diagram in FIG. 4 is an example in which the user wants to refer to the image with reference to the message ME, and the peripheral image AP obtained by photographing the surrounding situation of the vehicle is displayed on the display 5a of the portable device 5 together with the message MS. The message MS displayed together with the surrounding image AP is, for example, “It is an image of the situation around the car.” By referring to the message ME, the user can grasp that the displayed image is a situation around the car.

また、周辺画像ＡＰは、車両２に搭載された複数のカメラのうちどのカメラで撮影されたかを明示する文字画像ＰＰが重畳される。文字画像ＰＰは、例えば、「左サイドカメラ」である。ユーザは、文字画像ＰＰを参照することで、どのカメラで撮影された画像かを認識し、車両周辺の様子をより詳細に把握できる。なお、文字画像ＰＰに代替し、どのカメラで撮影されたかを示す図形や記号を表示してもよい。要するに、どのカメラで撮影されたかをユーザに明示できればよい。 In addition, the peripheral image AP is superimposed with a character image PP that clearly indicates which of a plurality of cameras mounted on the vehicle 2 is captured. The character image PP is, for example, a “left side camera”. By referring to the character image PP, the user can recognize which camera has taken the image and can grasp the state around the vehicle in more detail. Instead of the character image PP, a graphic or a symbol indicating which camera was used for the image may be displayed. In short, it suffices as long as it can be clearly shown to the user by which camera the image was taken.

ユーザは、車両の周辺状況を撮影した周辺画像ＡＰを参照することで、車両の周辺がどのような状況となっているか、又はどのような状況に変化したかを把握できる。例えば、自らの車両の周辺で強い雨ＲＮが降っており、雨水ＷＴで路面が冠水している様子を認識できる。このような場合、ユーザは即座に駐車位置に舞い戻り、車両を退避させることで、車両の損傷を防止できる。 The user can grasp the situation around the vehicle or what kind of situation has changed by referring to the surrounding image AP obtained by photographing the surrounding situation of the vehicle. For example, it can be recognized that heavy rain RN is falling around the vehicle itself and the road surface is flooded with rainwater WT. In such a case, the user can immediately return to the parking position and retract the vehicle, thereby preventing the vehicle from being damaged.

＜１−４．工程＞
次に、状況検出装置３の処理工程を説明する。図５は、状況検出装置３の処理工程を示す。なお、かかる処理工程は車両が駐車中に実行される。すなわち、ユーザは車両を駐車させる際、状況検出装置３を起動させる。ただし、イグニッションスイッチがオフされるのに連動し、状況検出装置３が起動してもよい。なお、状況検出装置３の処理工程は、車両の駐車中に所定の周期で繰り返し実行される。 <1-4. Process>
Next, processing steps of the situation detection device 3 will be described. FIG. 5 shows the processing steps of the situation detection apparatus 3. This processing step is performed while the vehicle is parked. That is, the user activates the situation detection device 3 when parking the vehicle. However, the situation detection device 3 may be activated in conjunction with the ignition switch being turned off. In addition, the process process of the condition detection apparatus 3 is repeatedly performed with a predetermined period while a vehicle is parked.

まず、計時部３１ｅが車両の駐車後、又は撮影画像の前回の取得後に１０[分]経過したか否か判断する（ステップＳ１０１）。すなわち、状況検出装置３は、１０[分]毎に車両周辺の撮影画像を取得する。 First, the time measuring unit 31e determines whether or not 10 [minutes] have elapsed after the vehicle is parked or after the previous acquisition of the captured image (step S101). That is, the situation detection apparatus 3 acquires a captured image around the vehicle every 10 minutes.

計時部３１ｅが１０[分]経過していないと判断すると（ステップＳ１０１でＮｏ）、処理は終了する。所定の時間が経過するまで待機し、電力消費を抑制するためである。 When the time measuring unit 31e determines that 10 [minutes] have not elapsed (No in step S101), the process ends. This is for waiting until a predetermined time elapses to suppress power consumption.

一方、計時部３１ｅが１０[分]経過したと判断すると（ステップＳ１０１でＹｅｓ）、接続部３３は、フロントカメラ４ａと制御部３１とを接続する（ステップＳ１０２）。 On the other hand, when the time measuring unit 31e determines that 10 minutes have elapsed (Yes in step S101), the connecting unit 33 connects the front camera 4a and the control unit 31 (step S102).

接続部３３が制御部３１とフロントカメラ４ａとを接続すると、画像取得部３１ａが、フロントカメラ４ａが撮影して得られた画像を取得し（ステップＳ１０３）、画像データを制御部３１のＲＡＭに記憶させる。 When the connection unit 33 connects the control unit 31 and the front camera 4a, the image acquisition unit 31a acquires an image obtained by photographing the front camera 4a (step S103), and the image data is stored in the RAM of the control unit 31. Remember.

画像取得部３１ａが画像を取得すると、接続部３３は、全てのカメラ４を制御部３１と接続させたか否か判断する（ステップＳ１０４）。 When the image acquisition unit 31a acquires an image, the connection unit 33 determines whether all the cameras 4 are connected to the control unit 31 (step S104).

接続部３３が全てのカメラを制御部３１と接続させていないと判断すると（ステップＳ１０４でＮｏ）、処理はＳ１０２に戻り、接続部３３はリアカメラ４ｂと制御部３１とを接続する。以後、接続部３３が順次に全てのカメラ４を制御部３１と接続させるまで、ステップＳ１０２からステップＳ１０４までの処理が繰り返し実行される。 If the connection unit 33 determines that all the cameras are not connected to the control unit 31 (No in step S104), the process returns to S102, and the connection unit 33 connects the rear camera 4b and the control unit 31. Thereafter, the processing from step S102 to step S104 is repeatedly executed until the connection unit 33 sequentially connects all the cameras 4 to the control unit 31.

一方、接続部３３が全てのカメラを制御部３１と接続させたと判断すると（ステップＳ１０４でＹｅｓ）、画像認識処理が実行される（ステップＳ１０５）。画像認識処理は、パターンマッチングの手法を用い、撮影画像の所定領域とパターンデータ３４ａとの合致の度合い等を導出し、車両の周辺状況及びその変化を判断するための処理である。画像認識処理の詳細は後述する。 On the other hand, if the connection unit 33 determines that all the cameras have been connected to the control unit 31 (Yes in step S104), an image recognition process is executed (step S105). The image recognition process is a process for deriving the degree of coincidence between a predetermined area of the captured image and the pattern data 34a using a pattern matching method and determining the surrounding situation of the vehicle and its change. Details of the image recognition processing will be described later.

画像認識処理（ステップＳ１０５）が実行されると、状況検出部３１ｂは、処理結果に基づき車両の周辺状況が変化したか否か判断する（ステップＳ１０６）。すなわち、状況検出部３１ｂは、撮影画像の所定領域とパターンデータ３４ａとの合致の度合いが前回の検出時から変化した撮影画像が一つでもある場合に、車両２の周辺状況が変化したことを検出する。 When the image recognition process (step S105) is executed, the situation detection unit 31b determines whether the surrounding situation of the vehicle has changed based on the processing result (step S106). That is, the situation detection unit 31b indicates that the surrounding situation of the vehicle 2 has changed when the degree of matching between the predetermined area of the photographed image and the pattern data 34a has changed from the previous detection. To detect.

状況検出部３１ｂが車両の周辺状況が変化していないと判断すると（ステップＳ１０６でＮｏ）、処理は終了する。車両の周辺状況が変化していない以上、ユーザへ撮影画像を送信する必要はないからである。処理が終了すると、状況検出装置３は次回の処理が開始されるまで待機する。すなわち、約１０[分]間待機する。 When the situation detection unit 31b determines that the situation around the vehicle has not changed (No in step S106), the process ends. This is because it is not necessary to transmit the captured image to the user as long as the surrounding situation of the vehicle has not changed. When the process ends, the status detection device 3 waits until the next process is started. That is, it waits for about 10 [minutes].

一方、状況検出部３１ｂが車両の周辺状況が変化したと判断すると（ステップＳ１０６でＹｅｓ）、送受信部３１ｄは、メッセージＭＥを携帯機器５へ送信する（ステップＳ１０７）。この際、送受信部３１ｄが送信するメッセージＭＥは、前述の通り、例えば「車の周辺状況に変化がありました。画像を表示しますが？」である。これにより、ユーザは、自らの車の周辺状況に変化があったことを把握できる。さらにユーザは、希望すれば画像により視覚的に車両の周辺状況を参照できることを認識できる。 On the other hand, when the situation detection unit 31b determines that the surrounding situation of the vehicle has changed (Yes in step S106), the transmission / reception unit 31d transmits the message ME to the portable device 5 (step S107). At this time, the message ME transmitted by the transmission / reception unit 31d is, for example, “There has been a change in the situation around the car. Do you want to display an image?” As described above. Thereby, the user can grasp that there was a change in the surrounding situation of his / her car. Further, the user can recognize that the surrounding situation of the vehicle can be visually referred to by an image if desired.

送受信部３１ｄは、メッセージＭＥを携帯機器５へ送信すると、ユーザが画像の参照を希望するか否かを判断する（ステップＳ１０８）。かかる判断は、送受信部３１ｄが携帯機器５から送信されるユーザの希望を示す信号を受信して行う。 When the message ME is transmitted to the mobile device 5, the transmission / reception unit 31d determines whether or not the user desires to refer to the image (step S108). This determination is performed by the transmission / reception unit 31d receiving a signal indicating the user's wish transmitted from the mobile device 5.

送受信部３１ｄが、ユーザが画像の参照を希望しないと判断すると（ステップＳ１０８でＮｏ）、処理は終了する。ユーザが画像の参照を希望しない以上、ユーザへ撮影画像を送信する処理は必要ないからである。 If the transmission / reception unit 31d determines that the user does not wish to refer to the image (No in step S108), the process ends. This is because, as long as the user does not want to refer to the image, the process of transmitting the captured image to the user is unnecessary.

一方、送受信部３１ｄが、ユーザが画像の参照を希望すると判断すると（ステップＳ１０８でＹｅｓ）、画像選択処理が実行される（ステップＳ１０９）。画像選択処理は、カメラ４が撮影した４つの画像のうち、どの撮影画像が最も明確に車両の周辺状況の変化を捉えているかを判断し、ユーザに送信すべき撮影画像を選択する処理である。カメラ４が撮影して得られた画像の全てを送信するのではなく、取捨選択して撮影画像を送信することで、送信の容量を低減できる。また、必ずしも明確に車両の周辺状況の変化を捉えていない撮影画像、すなわち車両に隣接する壁等を撮影して得られた画像等の送信を防止できる。ユーザはこのような画像を参照しても何ら車両の周辺状況の変化を把握できない。画像選択処理の詳細は後述する。 On the other hand, when the transmission / reception unit 31d determines that the user wants to refer to an image (Yes in step S108), an image selection process is executed (step S109). The image selection process is a process of determining which of the four images captured by the camera 4 most clearly captures a change in the surrounding situation of the vehicle and selecting a captured image to be transmitted to the user. . Instead of transmitting all the images obtained by the camera 4, it is possible to reduce the transmission capacity by selecting and transmitting the captured images. Further, it is possible to prevent transmission of a photographed image that does not necessarily clearly capture a change in the surrounding situation of the vehicle, that is, an image obtained by photographing a wall or the like adjacent to the vehicle. Even if the user refers to such an image, the user cannot grasp any change in the situation around the vehicle. Details of the image selection process will be described later.

画像選択処理（ステップＳ１０９）が実行されると、画像処理部３１ｆは、選択された撮影画像に対応する識別データ３４ｂを記憶部３４から読み出し、選択された撮影画像に識別データ３４ｂを重畳するよう画像処理を行う（ステップＳ１１０）。撮影画像に重畳される識別データ３４ｂは、例えば、「左サイドカメラ」」である。なお、画像選択処理において選択された撮影画像には、後述の通り画像選択部３１ｃによりフラグがセットされている。したがって、画像処理部３１ｆは、フラグレジスタを参照し、どの撮影画像が選択されたか判別する。 When the image selection process (step S109) is executed, the image processing unit 31f reads the identification data 34b corresponding to the selected captured image from the storage unit 34, and superimposes the identification data 34b on the selected captured image. Image processing is performed (step S110). The identification data 34b to be superimposed on the captured image is, for example, “left side camera”. Note that, as described later, a flag is set by the image selection unit 31c in the captured image selected in the image selection process. Therefore, the image processing unit 31f refers to the flag register and determines which captured image has been selected.

画像処理部３１ｆは、選択された撮影画像に識別データ３４ｂを重畳する画像処理を行うと、識別データ３４ｂが重畳された撮影画像のデータ容量を圧縮する（ステップＳ１１１）。撮影画像のデータ容量の圧縮には、既知の静止画像の圧縮方式を用いればよい。例えば、ＪＰＥＧ（Joint Photographic Experts Group）やＧＩＦ（Graphics Interchange Format）等の画像圧縮方式である。 When the image processing unit 31f performs image processing for superimposing the identification data 34b on the selected captured image, the image processing unit 31f compresses the data capacity of the captured image on which the identification data 34b is superimposed (step S111). A known still image compression method may be used to compress the data capacity of the captured image. For example, it is an image compression method such as JPEG (Joint Photographic Experts Group) or GIF (Graphics Interchange Format).

画像処理部３１ｆが撮影画像を圧縮すると、送受信部３１ｄは、かかる撮影画像を携帯機器５へ送信する（ステップＳ１１２）。 When the image processing unit 31f compresses the captured image, the transmission / reception unit 31d transmits the captured image to the mobile device 5 (step S112).

これにより、ユーザは、車両の周辺状況の変化を画像により視覚的に把握できる。また、車両の周辺状況に変化があった場合でも、撮影した全ての画像をユーザへ送信せず、最も状況変化を明確に示す画像をユーザへ送信するので、ユーザは状況変化を明確に把握できるうえ、送信すべきデータ容量を低減できる。 Thereby, the user can visually grasp the change of the surrounding situation of the vehicle by the image. In addition, even when there is a change in the situation around the vehicle, all the captured images are not sent to the user, and an image that clearly shows the situation change is sent to the user, so the user can clearly grasp the situation change. In addition, the data capacity to be transmitted can be reduced.

次に、ステップＳ１０５で実行される画像認識処理を説明する。図６は、画像認識処理の詳細な処理工程を示す。 Next, the image recognition process executed in step S105 will be described. FIG. 6 shows the detailed processing steps of the image recognition process.

まず、状況検出部３１ｂが、制御部３１のＲＡＭに記憶された撮影画像を読み出す（ステップＳ１０５ａ）。 First, the situation detection unit 31b reads a captured image stored in the RAM of the control unit 31 (step S105a).

状況検出部３１ｂは、撮影画像を読み出すと、記憶部３４からパターンデータ３４ａを読み出す（ステップＳ１０５ｂ）。 When the situation detection unit 31b reads the captured image, the situation detection unit 31b reads the pattern data 34a from the storage unit 34 (step S105b).

状況検出部３１ｂは、記憶部３４からパターンデータ３４ａを読み出すと、撮影画像とパターンデータ３４ａとを対比する（ステップＳ１０５ｃ）。 When the situation detection unit 31b reads the pattern data 34a from the storage unit 34, the situation detection unit 31b compares the captured image with the pattern data 34a (step S105c).

状況検出部３１ｂは、撮影画像とパターンデータ３４ａとを対比し、撮影画像の所定領域とパターンデータ３４ａとが合致するか否か判断する（ステップＳ１０５ｄ）。 The situation detection unit 31b compares the captured image with the pattern data 34a, and determines whether or not the predetermined area of the captured image matches the pattern data 34a (step S105d).

状況検出部３１ｂは、撮影画像の所定領域とパターンデータ３４ａとが合致しないと判断すると（ステップＳ１０５ｄでＮｏ）、記憶部３４に記憶されている全てのパターンデータ３４ａと撮影画像を対比させたか否か判断する（ステップＳ１０５ｅ）。 If the situation detection unit 31b determines that the predetermined area of the photographed image does not match the pattern data 34a (No in step S105d), all the pattern data 34a stored in the storage unit 34 has been compared with the photographed image. (Step S105e).

状況検出部３１ｂは、記憶部３４に記憶されている全てのパターンデータ３４ａと撮影画像とを対比させていないと判断すると（ステップＳ１０５ｅでＮｏ）、ステップＳ１０５ｂに戻り、他のパターンデータ３４ａを読み出し、読み出したパターンデータ３４ａと撮影画像とを対比する。以後、撮影画像とパターンデータ３４ａとが合致するか、又は撮影画像と記憶部３４に記憶されている全てのパターンデータ３４ａとの対比が完了するまで、ステップＳ１０５ｂからステップＳ１０５ｅまでの処理が繰り返し実行される。 When the situation detection unit 31b determines that all the pattern data 34a stored in the storage unit 34 is not compared with the captured image (No in step S105e), the process returns to step S105b and reads the other pattern data 34a. The read pattern data 34a and the captured image are compared. Thereafter, the processing from step S105b to step S105e is repeatedly executed until the captured image matches the pattern data 34a or until the comparison between the captured image and all the pattern data 34a stored in the storage unit 34 is completed. Is done.

一方、状況検出部３１ｂが、全てのパターンデータ３４ａと撮影画像を対比させたと判断すると（ステップＳ１０５ｅでＹｅｓ）、処理はステップＳ１０５ｉに進む。なお、ステップＳ１０５ｉの処理内容は後述する。 On the other hand, when the situation detection unit 31b determines that all the pattern data 34a has been compared with the captured image (Yes in step S105e), the process proceeds to step S105i. The processing content of step S105i will be described later.

ステップＳ１０５ｄにおいて、状況検出部３１ｂは、撮影画像の所定領域とパターンデータ３４ａとが合致すると判断する場合（ステップＳ１０５ｄでＹｅｓ）、撮影画像の所定領域とパターンデータ３４ａとの合致の度合いを導出し、かかる合致の度合いをＲＡＭに記憶する（ステップＳ１０５ｆ）。 In step S105d, when the situation detection unit 31b determines that the predetermined area of the captured image matches the pattern data 34a (Yes in step S105d), the degree of matching between the predetermined area of the captured image and the pattern data 34a is derived. The degree of coincidence is stored in the RAM (step S105f).

状況検出部３１ｂは、撮影画像とパターンデータ３４ａとの合致度合いを記憶させると、パターンマッチングの対象となった撮影画像をＲＡＭに記憶させる（ステップＳ１０５ｇ）。 When the degree of coincidence between the captured image and the pattern data 34a is stored, the situation detecting unit 31b stores the captured image that has been subjected to pattern matching in the RAM (step S105g).

状況検出部３１ｂは、パターンマッチングの対象となった撮影画像をＲＡＭに記憶させると、全ての撮影画像、すなわちカメラ４の撮影した４つの画像全てについてパターンマッチングの処理を実行したか否か判断する（ステップＳ１０５ｈ）。 When the situation detection unit 31b stores in the RAM the captured images to be subjected to pattern matching, the situation detection unit 31b determines whether or not the pattern matching processing has been executed for all the captured images, that is, all the four images captured by the camera 4. (Step S105h).

状況検出部３１ｂは、全ての撮影画像についてパターンマッチングの処理を実行していないと判断すると（ステップＳ１０５ｈでＮｏ）、ステップＳ１０５ａの処理に戻り、パターンマッチングの処理を実行していない撮影画像を読み出し、ステップＳ１０５ｂ以下の処理を実行する。以後、全ての撮影画像についてパターンマッチングの処理を実行するまで、ステップＳ１０５ａからステップＳ１０５ｈまでの処理が繰り返し実行される。 If the situation detection unit 31b determines that the pattern matching process has not been executed for all the captured images (No in step S105h), the process returns to the process of step S105a, and reads the captured image that has not been subjected to the pattern matching process. Step S105b and subsequent processes are executed. Thereafter, the processing from step S105a to step S105h is repeatedly executed until the pattern matching processing is executed for all the captured images.

一方、状況検出部３１ｂが全ての撮影画像についてパターンマッチングの処理を実行したと判断すると（ステップＳ１０５ｈでＹｅｓ）、処理は図５の処理工程に戻り、ステップＳ１０６が実行される。ステップＳ１０６以降の処理工程は、前述の通りである。 On the other hand, when the situation detection unit 31b determines that the pattern matching processing has been executed for all the captured images (Yes in step S105h), the processing returns to the processing step in FIG. 5, and step S106 is executed. The processing steps after step S106 are as described above.

次に、ステップＳ１０９で実行される画像選択処理を説明する。図７は、画像選択処理の詳細な処理工程を示す。 Next, the image selection process executed in step S109 will be described. FIG. 7 shows the detailed processing steps of the image selection process.

画像選択処理が実行されると、画像選択部３１ｃが、状況検出部３１ｂにより制御部３１のＲＡＭに記憶された合致度合いを示す４つのデータを読み出す（ステップＳ１０９ａ）。 When the image selection process is executed, the image selection unit 31c reads four pieces of data indicating the degree of matching stored in the RAM of the control unit 31 by the situation detection unit 31b (step S109a).

画像選択部３１ｃは、合致度合いが最も低い撮影画像を選択する（ステップＳ１０９ｂ）。画像選択部３１ｃは、選択した撮影画像を示すフラグレジスタのアドレスにフラグをセットする（ステップＳ１０９ｃ）。フラグレジスタを参照すれば、どの撮影画像が選択されたか判別できる。 The image selection unit 31c selects a captured image with the lowest degree of match (step S109b). The image selection unit 31c sets a flag at the address of the flag register indicating the selected captured image (step S109c). By referring to the flag register, it is possible to determine which captured image has been selected.

ステップＳ１０９ｂの処理工程が実行されると、処理は図５の処理工程に戻り、ステップＳ１１０が実行される。ステップＳ１１０以降の処理工程は、前述の通りである。 When the process step of step S109b is executed, the process returns to the process step of FIG. 5, and step S110 is executed. The processing steps after step S110 are as described above.

以上の通り、第１の実施の形態の状況検出装置３は、車両の駐車中に、車両周辺を撮影する複数のカメラの撮影画像を取得し、車両周辺の状況変化を示す撮影画像を選択し、選択した撮影画像を車両のユーザの所有する表示装置へ送信する。複数の撮影画像のうちから状況変化を示す撮影画像を選択して送信するので、車両のユーザは、車両から遠隔地に所在しても、車両周辺で生じた状況変化を少ない通信量で把握できる。 As described above, the situation detection device 3 according to the first embodiment acquires the captured images of a plurality of cameras that capture the periphery of the vehicle while the vehicle is parked, and selects the captured image that indicates the change in the situation around the vehicle. The selected captured image is transmitted to the display device owned by the user of the vehicle. Since a photographed image showing a change in situation is selected from a plurality of photographed images and transmitted, the user of the vehicle can grasp the situation change occurring around the vehicle with a small amount of communication even if the user is located at a remote location from the vehicle. .

＜２．第２の実施の形態＞
＜２−１．概要＞
次に、第２の実施の形態を説明する。前述の第１の実施の形態は、車両の周辺の状況変化の検出、及び状況変化を示す撮影画像の選択等を状況検出装置３が行った。第２の実施の形態は、これらを状況検出装置３でなく車両外部に設置されたサーバが行う。また、ユーザへの撮影画像の送信もサーバが行う。これにより、状況検出装置３の処理負荷を低減できる。第２の実施の形態は、第１の実施の形態と同様の構成及び処理工程を含む。このため、第１の実施の形態との相違点を主に説明する。 <2. Second Embodiment>
<2-1. Overview>
Next, a second embodiment will be described. In the first embodiment described above, the situation detection device 3 performs the detection of the situation change around the vehicle, the selection of a captured image indicating the situation change, and the like. In the second embodiment, these are performed not by the situation detection device 3 but by a server installed outside the vehicle. The server also transmits the captured image to the user. Thereby, the processing load of the situation detection apparatus 3 can be reduced. The second embodiment includes the same configuration and processing steps as those of the first embodiment. For this reason, the difference from the first embodiment will be mainly described.

＜２−２．構成＞
まず、第２の実施の形態に係る状況検出システム１の構成を説明する。図８は、第２の実施の形態に係る状況検出システム１の構成を示す。第１の実施の形態との主な相違点は車両２の外部にサーバ６が設置される点である。また、状況検出装置３が備えた状況検出部、画像選択部、画像処理部、及び判定部を状況検出装置３ではなくサーバ６が備える点である。すなわち、状況検出装置３の制御部３１は、画像取得部３１ａ、送受信部３１ｄ、及び計時部３１ｅを備える。記憶部３４は、プログラム３４ｃを備える。 <2-2. Configuration>
First, the configuration of the situation detection system 1 according to the second embodiment will be described. FIG. 8 shows a configuration of the situation detection system 1 according to the second embodiment. The main difference from the first embodiment is that a server 6 is installed outside the vehicle 2. In addition, the situation detection device 3 includes the situation detection unit, the image selection unit, the image processing unit, and the determination unit, not the situation detection device 3 but the server 6. That is, the control unit 31 of the situation detection device 3 includes an image acquisition unit 31a, a transmission / reception unit 31d, and a time measurement unit 31e. The storage unit 34 includes a program 34c.

サーバ６は、車両２の外部に設置された情報処理装置である。サーバ６は、ネットワーク（図示せず）を介し、状況検出装置３及び携帯機器５と接続されている。サーバ６は、制御部６１及び記憶部６２を備える。 The server 6 is an information processing device installed outside the vehicle 2. The server 6 is connected to the status detection device 3 and the portable device 5 via a network (not shown). The server 6 includes a control unit 61 and a storage unit 62.

制御部６１は、状況検出部６１ｂ、画像選択部６１ｃ、送受信部６１ｄ、画像処理部６１ｆ、及び判定部６１ｇを備える。制御部６１が備える状況検出部６１ｂ等の各部は、第１の実施の形態において状況検出装置３の制御部３１が備えた各部と略同様に機能する。 The control unit 61 includes a situation detection unit 61b, an image selection unit 61c, a transmission / reception unit 61d, an image processing unit 61f, and a determination unit 61g. Each unit such as the situation detection unit 61b provided in the control unit 61 functions in substantially the same manner as each unit provided in the control unit 31 of the situation detection device 3 in the first embodiment.

記憶部６２は、パターンデータ６２ａ、識別データ６２ｂ、及びプログラム６２ｃを記憶している。記憶部６２が記憶するパターンデータ６２ａ等は、第１の実施の形態で説明した各データ等と略同様に機能する。 The storage unit 62 stores pattern data 62a, identification data 62b, and a program 62c. The pattern data 62a and the like stored in the storage unit 62 function in substantially the same manner as each data and the like described in the first embodiment.

＜２−３．工程＞
次に、第２の実施の形態に係る状況検出システム１の処理工程を説明する。図９は、第２の実施の形態に係る状況検出システム１の処理工程を示す。図５ないし図７で示した第１の実施の形態における処理工程との相違点は、第１の実施の形態（図５）で説明したステップＳ１０５からステップＳ１１２までと同様の処理を状況検出装置３でなくサーバ６が実行する点である。 <2-3. Process>
Next, processing steps of the situation detection system 1 according to the second embodiment will be described. FIG. 9 shows processing steps of the situation detection system 1 according to the second embodiment. The difference from the processing steps in the first embodiment shown in FIG. 5 to FIG. 7 is that the same processing from step S105 to step S112 described in the first embodiment (FIG. 5) is performed. This is the point that the server 6 executes instead of 3.

状況検出装置３は、車両２の駐車後に１０[分]経過すると、カメラ４の撮影画像を取得し、取得した撮影画像をサーバ６へ送信する（ステップＳ２０１、ステップＳ２０２、ステップＳ２０３、ステップＳ２０４、ステップＳ２０５）。撮影画像の送信は、送受信部３１ｄが行う。 When 10 [minutes] have elapsed after the vehicle 2 is parked, the situation detection device 3 acquires a captured image of the camera 4 and transmits the acquired captured image to the server 6 (step S201, step S202, step S203, step S204, Step S205). The transmission / reception unit 31d transmits the captured image.

送受信部３１ｄが撮影画像を送信すると、サーバ６の制御部６１に備わる送受信部６１ｄが撮影画像を受信する（ステップＳ２０６）。 When the transmission / reception unit 31d transmits the captured image, the transmission / reception unit 61d included in the control unit 61 of the server 6 receives the captured image (step S206).

送受信部６１ｄが撮影画像を受信すると、制御部６１の各部は、第１の実施の形態（図５）で説明したステップＳ１０５からステップＳ１１２までと同様の処理をステップＳ２０７からステップＳ２１４までで実行し、携帯機器５へメッセージＭＥや周辺画像ＡＰを送信する。ユーザが撮影画像の受信を希望しない場合は、サーバ６は周辺画像ＡＰを送信せず、処理は終了する。 When the transmission / reception unit 61d receives the captured image, each unit of the control unit 61 executes the same processing from step S105 to step S112 described in the first embodiment (FIG. 5) from step S207 to step S214. The message ME and the peripheral image AP are transmitted to the mobile device 5. If the user does not wish to receive the captured image, the server 6 does not transmit the surrounding image AP, and the process ends.

以上、第２の実施の形態は、車両２外部に設置されたサーバ６が車両２の周辺の状況変化の検出、及び状況変化を示す撮影画像の選択等を行う。これにより、状況検出装置３の処理負荷を低減できる。特に、状況検出装置３は、パターンマッチングに伴う画像認識処理を省略できるので、処理負荷が低減される
＜３．変形例＞
以上、本発明の実施の形態について説明した。しかし、本発明は上記実施の形態に限定されることはない。本発明は様々な変形が可能である。以下、変形例を説明する。なお、上記及び下記の実施の形態は、適宜組み合わせ可能である。 As described above, in the second embodiment, the server 6 installed outside the vehicle 2 detects a change in the situation around the vehicle 2 and selects a captured image indicating the change in the situation. Thereby, the processing load of the situation detection apparatus 3 can be reduced. In particular, since the situation detection apparatus 3 can omit the image recognition process associated with pattern matching, the processing load is reduced. <3. Modification>
The embodiment of the present invention has been described above. However, the present invention is not limited to the above embodiment. The present invention can be variously modified. Hereinafter, modified examples will be described. Note that the embodiments described above and below can be appropriately combined.

上記実施の形態では、車両周辺に状況変化があった場合に、ユーザへメッセージを通知し、ユーザの希望に応じて撮影画像を送信した。しかし、車両周辺に状況変化がない場合に、ユーザへメッセージを通知し、ユーザの希望に応じて撮影画像を送信してもよい。すなわち、車両周辺に状況変化がなくとも、パターンと画像の合致度合いが一定以下の場合には、メッセージを通知してもよい。パターンと画像の合致度合いが一定以下の場合には、車両周辺は車両を安全に駐車することが困難な状況となっている恐れがある。このような状況下では、状況に変化がなくとも、ユーザに車両周辺の状況を定期的に通知すべきだからである。 In the above embodiment, when there is a change in the situation around the vehicle, a message is notified to the user, and the captured image is transmitted according to the user's wish. However, when there is no change in the situation around the vehicle, a message may be notified to the user, and the captured image may be transmitted according to the user's wish. That is, even if there is no change in the situation around the vehicle, a message may be notified when the degree of matching between the pattern and the image is below a certain level. When the degree of matching between the pattern and the image is below a certain level, there is a possibility that it is difficult to park the vehicle safely around the vehicle. This is because, under such circumstances, even if there is no change in the situation, the user should be periodically notified of the situation around the vehicle.

また、上記実施の形態では、車両周辺の状況変化の判断を計時部３１ｅの計時により１０[分]毎に行った。しかし、１０[分]毎でなくともよい。車両周辺の状況変化に対応した時間間隔であればよい。例えば、天候の悪化等の状況変化が見込まれる場合には５[分]間隔とし、好転が見込まれる場合には１[時間]間隔とすればよい。また、ユーザが駐車中に間隔を変更できるようにしてもよい。例えば駐車位置付近で災害等の発生が判明した場合、ユーザは間隔を短縮して状況変化を把握したいと考えられるからである。 Moreover, in the said embodiment, the judgment of the situation change around a vehicle was performed every 10 [minutes] by the time measuring part 31e. However, it does not have to be every 10 minutes. Any time interval corresponding to a change in the situation around the vehicle may be used. For example, the interval may be set to 5 [minutes] when a change in the situation such as a worsening weather is expected, and the interval may be set to 1 [hours] when the improvement is expected. Further, the user may be able to change the interval during parking. For example, when the occurrence of a disaster or the like is found near the parking position, the user wants to grasp the situation change by shortening the interval.

また、上記実施の形態では、携帯機器５の例として携帯電話やスマートフォンを列挙した。しかし、携帯機器５は携帯電話やスマートフォンに限定されない。ノートパソコン等でもよい。要するに携帯機器５は、画像表示機能や情報ネットワークと接続する機能等を備える情報通信端末であればよい。 Moreover, in the said embodiment, the mobile telephone and the smart phone were enumerated as an example of the portable apparatus 5. FIG. However, the mobile device 5 is not limited to a mobile phone or a smartphone. A notebook computer or the like may be used. In short, the portable device 5 may be an information communication terminal having an image display function, a function of connecting to an information network, and the like.

また、上記実施の形態では、状況検出装置３及びカメラ４は車両２に設置されると説明した。しかし、車両２でなくともよい。住宅やビルディング等でもよい。要するに、周辺の状況を監視すべき土地や建物、物品であればよい。 In the above embodiment, the situation detection device 3 and the camera 4 are described as being installed in the vehicle 2. However, it may not be the vehicle 2. It may be a house or a building. In short, it may be any land, building, or article whose surroundings should be monitored.

また、上記実施の形態では、状況検出装置３とカメラ４とを別体の装置として説明した。しかし、状況検出装置３とカメラ４とを一体の装置として構成してもよい。 In the above-described embodiment, the situation detection device 3 and the camera 4 are described as separate devices. However, the situation detection device 3 and the camera 4 may be configured as an integrated device.

また、上記実施の形態では、各機能はプログラムに従ったソフトウェアとして実現されると説明した。しかし、ソフトウェアでなくともよい。電気的なハードウェア回路として実現されてもよい。 Further, in the above embodiment, each function has been described as being realized as software according to a program. However, it does not have to be software. It may be realized as an electrical hardware circuit.

１状況検出システム
２車両
３状況検出装置
４カメラ
４ａフロントカメラ
４ｂリアカメラ
４ｃ左サイドカメラ
４ｄ右サイドカメラ
５携帯機器 DESCRIPTION OF SYMBOLS 1 Situation detection system 2 Vehicle 3 Situation detection apparatus 4 Camera 4a Front camera 4b Rear camera 4c Left side camera 4d Right side camera 5 Portable apparatus

Claims

  A detection system for detecting a situation around a vehicle by a detection device and a server,
  The detection device includes:
      An acquisition means for acquiring captured images of a plurality of cameras that capture the periphery of the vehicle during parking of the vehicle;
    First transmission means for transmitting the plurality of captured images to the server;
  With
  The server
    Detecting means for detecting a situation change around the vehicle based on the plurality of captured images;
    A selection means for selecting a photographed image indicating the status change among the plurality of photographed images;
    Second transmission means for transmitting the captured image selected by the selection means to a display device owned by the user of the vehicle;
A detection system comprising:

The detection system according to claim 1,
The detection device includes:
Connection means for sequentially connecting the plurality of cameras to the acquisition means;
Further comprising
The detection system characterized in that the acquisition means acquires the captured image from a connected camera.

The detection system according to claim 1 or 2,
It said acquisition means, detection system and acquires the captured image periodically.

The detection system according to any one of claims 1 to 3,
The server
Storage means for storing pattern data indicating the shape of the object;
Further comprising
The detecting device, the detection system, wherein the photographing image on the basis of a comparison of the pattern data to detect a change in circumstances around the vehicle.

The detection system according to any one of claims 1 to 4,
The server
Image processing means for superimposing identification information for identifying the camera that generated the photographed image on the photographed image selected by the selection means;
A detection system further comprising:

The detection system according to any one of claims 1 to 5,
The server
Determination means for determining the degree of the situation change;
Further comprising
The detection system is characterized in that the selection means selects one photographed image having the highest degree of change in the situation.