JP6933457B2 - Recognition result presentation device, recognition result presentation method and autonomous mobile - Google Patents
Recognition result presentation device, recognition result presentation method and autonomous mobile Download PDFInfo
- Publication number
- JP6933457B2 JP6933457B2 JP2016210328A JP2016210328A JP6933457B2 JP 6933457 B2 JP6933457 B2 JP 6933457B2 JP 2016210328 A JP2016210328 A JP 2016210328A JP 2016210328 A JP2016210328 A JP 2016210328A JP 6933457 B2 JP6933457 B2 JP 6933457B2
- Authority
- JP
- Japan
- Prior art keywords
- person
- unit
- recognition
- recognition result
- risk
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Lighting Device Outwards From Vehicle And Optical Signal (AREA)
- Traffic Control Systems (AREA)
Description
本開示は、自律移動体の周囲に存在する認識対象を認識した結果を提示する認識結果提示装置、認識結果提示方法及び自律移動体に関するものである。 The present disclosure relates to a recognition result presenting device for presenting a result of recognizing a recognition object existing around an autonomous mobile body, a recognition result presentation method, and an autonomous mobile body.
近年、自律運転車両の開発が進められている。自律運転車両は、自律運転車両の周囲に存在する歩行者を認識し、認識結果に応じて自律運転車両の走行を制御している。 In recent years, the development of autonomous driving vehicles has been promoted. The autonomous driving vehicle recognizes pedestrians existing around the autonomous driving vehicle and controls the running of the autonomous driving vehicle according to the recognition result.
例えば、特許文献1では、車両に搭載された車載用表示装置が、車載用制御装置が出力した運転行動内容と運転行動要因とを取得し、画像表示や音声出力を用いて運転行動内容と運転行動要因とを通知することが開示されている。
For example, in
また、例えば、特許文献2では、自律運転車両が、自律運転車両に何が起こっているのか又は自律運転車両が現在何をしているのかを歩行者へ通知することが開示されている。
Further, for example,
また、例えば、特許文献3では、自動走行する移動体の報知手段が、検知された監視対象が存在する範囲領域の方向のそれぞれに対して、検知した情報、診断した診断結果、検知した移動状態を車体などに表示したり音声出力したりして外部に報知することが開示されている。 Further, for example, in Patent Document 3, the automatically traveling moving body notification means detects detected information, diagnosed diagnosis result, and detected moving state in each of the directions of the range region in which the detected monitoring target exists. Is disclosed to be notified to the outside by displaying the image on the vehicle body or outputting the sound.
しかしながら、上記従来の技術では、自律移動体によって認識されていることが認識対象に確実に通知されることはなく、更なる改善が必要とされていた。 However, in the above-mentioned conventional technique, the recognition target is not surely notified that it is recognized by the autonomous mobile body, and further improvement is required.
本開示は、上記の問題を解決するためになされたもので、認識対象が自律移動体によって認識されていることを認識対象に対して確実に通知することができる認識結果提示装置、認識結果提示方法及び自律移動体を提供することを目的とするものである。 This disclosure is made to solve the above-mentioned problems, and is a recognition result presenting device and a recognition result presentation capable of surely notifying the recognition target that the recognition target is recognized by an autonomous mobile body. It is intended to provide methods and autonomous mobiles.
本開示の一態様に係る認識結果提示装置は、自律移動体の周囲に存在する認識対象を認識した結果を提示する認識結果提示装置であって、前記自律移動体の周囲に存在する前記認識対象を検出する検出部と、前記検出部によって検出された前記認識対象に対して、前記検出部によって前記認識対象が検出されることによって前記自律移動体が前記認識対象を認識していることを示す認識結果を提示する提示部と、を備える。 The recognition result presenting device according to one aspect of the present disclosure is a recognition result presenting device that presents the result of recognizing a recognition target existing around the autonomous moving body, and is the recognition target existing around the autonomous moving body. It is shown that the autonomous moving body recognizes the recognition target by detecting the recognition target by the detection unit with respect to the detection unit that detects the detection unit and the recognition target detected by the detection unit. It is provided with a presentation unit that presents the recognition result.
本開示によれば、認識対象が自律移動体によって認識されていることを認識対象に対して確実に通知することができる。 According to the present disclosure, it is possible to reliably notify the recognition target that the recognition target is recognized by the autonomous mobile body.
(本開示に係る一態様を発明するに至った経緯)
近年、自律運転車両の開発が進められている。自律運転車両は、自律運転車両の周囲に存在する歩行者を認識し、認識結果に応じて自律運転車両の走行を制御している。
(Background to the invention of one aspect of the present disclosure)
In recent years, the development of autonomous driving vehicles has been promoted. The autonomous driving vehicle recognizes pedestrians existing around the autonomous driving vehicle and controls the running of the autonomous driving vehicle according to the recognition result.
例えば、特許文献1では、車両に搭載された車載用表示装置が、車載用制御装置が出力した運転行動内容と運転行動要因とを取得し、画像表示や音声出力を用いて運転行動内容と運転行動要因とを通知することが開示されている。
For example, in
また、例えば、特許文献2では、自律運転車両が、自律運転車両に何が起こっているのか又は自律運転車両が現在何をしているのかを歩行者へ通知することが開示されている。
Further, for example,
また、例えば、特許文献3では、自動走行する移動体の報知手段が、検知された監視対象が存在する範囲領域の方向のそれぞれに対して、検知した情報、診断した診断結果、検知した移動状態を車体などに表示したり音声出力したりして外部に報知することが開示されている。 Further, for example, in Patent Document 3, the automatically traveling moving body notification means detects detected information, diagnosed diagnosis result, and detected moving state in each of the directions of the range region in which the detected monitoring target exists. Is disclosed to be notified to the outside by displaying the image on the vehicle body or outputting the sound.
上記の特許文献1では、車両の運転行動内容が乗員に通知され、特許文献2では、自律運転車両の動作が歩行者に通知される。そのため、自律運転車両の周囲にいる歩行者は、自身が自律運転車両によって認識されているか否かが分からず、自律運転車両の前を横断することが可能であるか否かを判断することができない。
In
また、上記の特許文献3では、監視対象物の存在を検知した方向のLED(発光ダイオード)を点灯させることにより、監視対象物が認識されたことを報知しているが、同一方向に複数の監視対象物が存在する場合に、個々の監視対象物に対して認識されていることが報知されることはない。そのため、同一方向に複数の歩行者が存在する場合、複数の歩行者のうちの認識されている歩行者と認識されていない歩行者とが特定されないので、各歩行者は、自身が自律運転車両によって認識されているか否かを確認することができない。 Further, in Patent Document 3 described above, the recognition of the monitored object is notified by turning on the LED (light emitting diode) in the direction in which the presence of the monitored object is detected, but a plurality of monitored objects are notified in the same direction. When a monitored object exists, it is not notified that the individual monitored object is recognized. Therefore, when a plurality of pedestrians exist in the same direction, the recognized pedestrian and the unrecognized pedestrian among the plurality of pedestrians are not identified, and each pedestrian himself / herself is an autonomous driving vehicle. It is not possible to confirm whether or not it is recognized by.
以上の課題を解決するために、本開示の一態様に係る認識結果提示装置は、自律移動体の周囲に存在する認識対象を認識した結果を提示する認識結果提示装置であって、前記自律移動体の周囲に存在する前記認識対象を検出する検出部と、前記検出部によって検出された前記認識対象に対して、前記検出部によって前記認識対象が検出されることによって前記自律移動体が前記認識対象を認識していることを示す認識結果を提示する提示部と、を備える。 In order to solve the above problems, the recognition result presenting device according to one aspect of the present disclosure is a recognition result presenting device that presents the result of recognizing a recognition target existing around the autonomous moving body, and the autonomous movement With respect to the detection unit that detects the recognition target existing around the body and the recognition target detected by the detection unit, the recognition target is detected by the detection unit, so that the autonomous moving body recognizes the recognition target. It is provided with a presentation unit that presents a recognition result indicating that the target is recognized.
この構成によれば、自律移動体の周囲に存在する認識対象が検出される。そして、検出された認識対象に対して、認識対象が検出されることによって自律移動体が認識対象を認識していることを示す認識結果が提示される。 According to this configuration, the recognition target existing around the autonomous moving body is detected. Then, with respect to the detected recognition target, a recognition result indicating that the autonomous moving body recognizes the recognition target by detecting the recognition target is presented.
したがって、認識対象が自律移動体によって認識されていることを認識対象に対して確実に通知することができる。 Therefore, it is possible to reliably notify the recognition target that the recognition target is recognized by the autonomous moving body.
また、上記の認識結果提示装置において、前記提示部は、前記認識対象が存在する方向へ光を照射する光照射部を含んでもよい。 Further, in the recognition result presenting device, the presenting unit may include a light irradiating unit that irradiates light in a direction in which the recognition target exists.
この構成によれば、認識対象が自律移動体によって認識されていることを、認識対象が存在する方向へ照射される光によって確実に通知することができる。 According to this configuration, it is possible to reliably notify that the recognition target is recognized by the autonomous moving body by the light emitted in the direction in which the recognition target exists.
また、上記の認識結果提示装置において、前記光照射部は、前記認識対象が存在する位置の地面に向けて所定の形状の光を照射しもよい。 Further, in the recognition result presenting device, the light irradiation unit may irradiate light having a predetermined shape toward the ground at a position where the recognition target exists.
この構成によれば、認識対象が自律移動体によって認識されていることを、認識対象が存在する位置の地面に向けて照射される所定の形状の光によって確実に通知することができる。 According to this configuration, it is possible to reliably notify that the recognition target is recognized by the autonomous moving body by the light of a predetermined shape emitted toward the ground at the position where the recognition target exists.
また、上記の認識結果提示装置において、前記光照射部は、前記認識対象が存在する位置の地面に向けて所定の形状の光を照射するとともに、前記認識対象が存在する位置の地面と前記自律移動体が存在する位置の地面とを結ぶ直線上に光を照射してもよい。 Further, in the recognition result presenting device, the light irradiation unit irradiates light having a predetermined shape toward the ground at the position where the recognition target exists, and autonomously and the ground at the position where the recognition target exists. Light may be emitted on a straight line connecting the ground at the position where the moving body is present.
この構成によれば、認識対象が自律移動体によって認識されていることを、認識対象が存在する位置の地面に向けて照射される所定の形状の光と、認識対象が存在する位置の地面と自律移動体が存在する位置の地面とを結ぶ直線上に照射される光とによって確実に通知することができる。 According to this configuration, the fact that the recognition target is recognized by the autonomous moving body is determined by the light of a predetermined shape emitted toward the ground at the position where the recognition target exists and the ground at the position where the recognition target exists. It is possible to reliably notify by the light emitted on the straight line connecting the ground where the autonomous moving body exists.
また、上記の認識結果提示装置において、前記提示部は、前記認識対象が存在する方向へ所定の音を出力する音出力部を含んでもよい。 Further, in the recognition result presenting device, the presenting unit may include a sound output unit that outputs a predetermined sound in the direction in which the recognition target exists.
この構成によれば、認識対象が自律移動体によって認識されていることを、認識対象が存在する方向へ出力される所定の音によって確実に通知することができる。 According to this configuration, it is possible to reliably notify that the recognition target is recognized by the autonomous moving body by a predetermined sound output in the direction in which the recognition target exists.
また、上記の認識結果提示装置において、前記自律移動体の周囲の画像を撮影する撮影部をさらに備え、前記検出部は、前記画像内における前記認識対象を検出し、前記提示部は、前記自律移動体の表面に配置され、前記検出部によって検出された前記認識対象を識別可能な態様で表した前記画像を表示する表示部を含んでもよい。 Further, the recognition result presenting device further includes a photographing unit that captures an image of the surroundings of the autonomous moving body, the detecting unit detects the recognition target in the image, and the presenting unit autonomously detects the recognition target. It may include a display unit which is arranged on the surface of the moving body and displays the image which represents the recognition target detected by the detection unit in an identifiable manner.
この構成によれば、自律移動体の周囲の画像が撮影される。画像内における認識対象が検出される。自律移動体の表面に配置された表示部に、検出された認識対象を識別可能な態様で表した画像が表示される。 According to this configuration, an image of the surroundings of the autonomous moving body is taken. The recognition target in the image is detected. An image showing the detected recognition target in an identifiable manner is displayed on the display unit arranged on the surface of the autonomous moving body.
したがって、自律移動体の表面に配置された表示部に表示される、検出された認識対象を識別可能な態様で表した画像によって、認識対象が自律移動体によって認識されていることを確実に通知することができる。 Therefore, the image that represents the detected recognition target in an identifiable manner displayed on the display unit arranged on the surface of the autonomous moving body reliably notifies that the recognition target is recognized by the autonomous moving body. can do.
また、上記の認識結果提示装置において、前記表示部は、前記画像の左右を反転させて表示してもよい。 Further, in the above recognition result presenting device, the display unit may display the image by inverting the left and right sides.
この構成によれば、画像の左右が反転させて表示されるので、検出された認識対象が鏡に映っているように表示され、直感的に認識結果を把握することができる。 According to this configuration, since the left and right sides of the image are inverted and displayed, the detected recognition target is displayed as if it is reflected in a mirror, and the recognition result can be grasped intuitively.
また、上記の認識結果提示装置において、前記認識対象は人物であり、前記検出部によって検出された前記人物の属性を判定する属性判定部と、前記属性判定部によって判定された前記属性に応じて提示方法を決定する提示方法決定部と、をさらに備え、前記提示部は、前記提示方法決定部によって決定された前記提示方法に従って前記認識結果を提示してもよい。 Further, in the recognition result presenting device, the recognition target is a person, and the attribute determination unit for determining the attribute of the person detected by the detection unit and the attribute determination unit determined by the attribute determination unit are used. A presentation method determining unit that determines the presenting method is further provided, and the presenting unit may present the recognition result according to the presenting method determined by the presenting method determining unit.
この構成によれば、認識対象は人物である。検出された人物の属性が判定される。判定された属性に応じて提示方法が決定される。決定された提示方法に従って認識結果が提示される。 According to this configuration, the recognition target is a person. The attribute of the detected person is determined. The presentation method is determined according to the determined attribute. The recognition result is presented according to the determined presentation method.
したがって、検出された人物の属性に応じた適切な提示方法に従って認識結果を提示することができる。 Therefore, the recognition result can be presented according to an appropriate presentation method according to the attribute of the detected person.
また、上記の認識結果提示装置において、前記検出部によって検出された前記認識対象の危険度を判定する危険度判定部と、前記危険度判定部によって判定された前記危険度に応じて提示方法を決定する提示方法決定部と、をさらに備え、前記提示部は、前記提示方法決定部によって決定された前記提示方法に従って前記認識結果を提示してもよい。 Further, in the recognition result presenting device, a risk determination unit for determining the risk level of the recognition target detected by the detection unit and a presentation method according to the risk level determined by the risk determination unit are provided. The presentation unit may further include a presentation method determination unit for determining, and the presentation unit may present the recognition result according to the presentation method determined by the presentation method determination unit.
この構成によれば、検出された認識対象の危険度が判定される。判定された危険度に応じて提示方法が決定される。決定された提示方法に従って認識結果が提示される。 According to this configuration, the risk level of the detected recognition target is determined. The presentation method is determined according to the determined risk level. The recognition result is presented according to the determined presentation method.
したがって、検出された認識対象の危険度に応じた適切な提示方法に従って認識結果を提示することができる。 Therefore, the recognition result can be presented according to an appropriate presentation method according to the risk level of the detected recognition target.
また、上記の認識結果提示装置において、前記危険度は、第1の危険度と、前記第1の危険度より低い第2の危険度とを含み、前記提示方法決定部は、前記危険度判定部によって前記第1の危険度であると判定された場合の提示方法と、前記危険度判定部によって前記第2の危険度であると判定された場合の提示方法とを異ならせてもよい。 Further, in the recognition result presenting device, the risk level includes a first risk level and a second risk level lower than the first risk level, and the presentation method determining unit determines the risk level. The presentation method when the first risk level is determined by the unit may be different from the presentation method when the second risk level is determined by the risk level determination unit.
この構成によれば、危険度は、第1の危険度と、第1の危険度より低い第2の危険度とを含む。第1の危険度であると判定された場合の提示方法と、第2の危険度であると判定された場合の提示方法とを異ならせる。 According to this configuration, the risk includes a first risk and a second risk lower than the first risk. The presentation method when it is determined to be the first risk level and the presentation method when it is determined to be the second risk level are different.
したがって、危険度が高い場合の提示方法と、危険度が低い場合の提示方法とが異なるので、認識対象は、危険度に応じて提示された認識結果を確認することにより、自身の危険度を認識することができる。 Therefore, since the presentation method when the risk level is high and the presentation method when the risk level is low, the recognition target determines its own risk level by checking the recognition result presented according to the risk level. Can be recognized.
また、上記の認識結果提示装置において、前記提示部は、前記認識対象が存在する方向へ光を照射する光照射部を含み、前記提示方法決定部は、前記危険度判定部によって前記第1の危険度であると判定された場合の前記光の色と、前記危険度判定部によって前記第2の危険度であると判定された場合の前記光の色とを異ならせてもよい。 Further, in the recognition result presentation device, the presentation unit includes a light irradiation unit that irradiates light in the direction in which the recognition target exists, and the presentation method determination unit is the first by the risk determination unit. The color of the light when it is determined to be the degree of danger may be different from the color of the light when the degree of danger is determined to be the second degree of danger.
この構成によれば、認識対象が存在する方向へ光が照射される。第1の危険度であると判定された場合の光の色と、第2の危険度であると判定された場合の光の色とを異ならせる。 According to this configuration, light is emitted in the direction in which the recognition target exists. The color of the light when it is determined to be the first degree of danger is different from the color of the light when it is determined to be the second degree of danger.
したがって、認識対象は、照射された光の色を確認することにより、自身の危険度を認識することができる。 Therefore, the recognition target can recognize its own risk level by checking the color of the irradiated light.
また、上記の認識結果提示装置において、前記提示部は、前記認識対象が存在する方向へ所定の音を出力する音出力部を含み、前記提示方法決定部は、前記危険度判定部によって前記第1の危険度であると判定された場合の前記音と、前記危険度判定部によって前記第2の危険度であると判定された場合の前記音とを異ならせてもよい。 Further, in the recognition result presenting device, the presenting unit includes a sound output unit that outputs a predetermined sound in the direction in which the recognition target exists, and the presenting method determining unit is the first by the risk determination unit. The sound when the risk level is determined to be 1 may be different from the sound when the risk level determination unit determines that the risk level is 1.
この構成によれば、認識対象が存在する方向へ所定の音が出力される。第1の危険度であると判定された場合の音と、第2の危険度であると判定された場合の音とを異ならせる。 According to this configuration, a predetermined sound is output in the direction in which the recognition target exists. The sound when it is determined to be the first degree of danger and the sound when it is determined to be the second degree of danger are made different.
したがって、認識対象は、出力された所定の音を確認することにより、自身の危険度を認識することができる。 Therefore, the recognition target can recognize its own risk level by confirming the output predetermined sound.
また、上記の認識結果提示装置において、前記認識対象は、複数の認識対象を含み、前記検出部は、前記複数の認識対象を検出し、前記危険度判定部は、前記検出部によって検出された前記複数の認識対象のそれぞれの前記危険度を判定し、前記提示部は、前記複数の認識対象のうちの前記危険度が最も高い認識対象から順番に前記認識結果を提示してもよい。 Further, in the recognition result presenting device, the recognition target includes a plurality of recognition targets, the detection unit detects the plurality of recognition targets, and the risk determination unit is detected by the detection unit. The risk level of each of the plurality of recognition targets may be determined, and the presentation unit may present the recognition result in order from the recognition target having the highest risk level among the plurality of recognition targets.
この構成によれば、認識対象は、複数の認識対象を含む。複数の認識対象が検出される。検出された複数の認識対象のそれぞれの危険度が判定される。複数の認識対象のうちの危険度が最も高い認識対象から順番に認識結果が提示される。 According to this configuration, the recognition target includes a plurality of recognition targets. Multiple recognition targets are detected. The risk level of each of the plurality of detected recognition targets is determined. The recognition results are presented in order from the recognition target having the highest risk among the plurality of recognition targets.
したがって、複数の認識対象のうちの危険度が最も高い認識対象から順番に認識結果が提示されるので、複数の認識対象のそれぞれは、自身の危険度を認識することができる。 Therefore, since the recognition results are presented in order from the recognition target having the highest risk among the plurality of recognition targets, each of the plurality of recognition targets can recognize its own risk.
本開示の他の態様に係る自律移動体は、上記のいずれかに記載の認識結果提示装置と、前記認識結果提示装置による前記認識結果に基づいて、自律移動体の移動を制御する制御部と、を備える。 The autonomous mobile body according to another aspect of the present disclosure includes the recognition result presenting device according to any one of the above, and a control unit that controls the movement of the autonomous mobile body based on the recognition result by the recognition result presenting device. , Equipped with.
この構成によれば、上記のいずれかに記載の認識結果提示装置を自律移動体に適用することができる。 According to this configuration, the recognition result presenting device described in any of the above can be applied to an autonomous mobile body.
本開示の他の態様に係る認識結果提示方法は、自律移動体の周囲に存在する認識対象を認識した結果を提示する認識結果提示装置における認識結果提示方法であって、前記自律移動体の周囲に存在する前記認識対象を検出し、検出した前記認識対象に対して、前記認識対象が検出されることによって前記自律移動体が前記認識対象を認識していることを示す認識結果を提示する。 The recognition result presentation method according to another aspect of the present disclosure is a recognition result presentation method in a recognition result presenting device that presents the result of recognizing a recognition target existing around the autonomous moving body, and is around the autonomous moving body. The recognition target existing in the above is detected, and the recognition result indicating that the autonomous moving body recognizes the recognition target by detecting the recognition target is presented to the detected recognition target.
この構成によれば、自律移動体の周囲に存在する認識対象が検出される。そして、検出された認識対象に対して、前記認識対象が検出されることによって自律移動体が認識対象を認識していることを示す認識結果が提示される。 According to this configuration, the recognition target existing around the autonomous moving body is detected. Then, with respect to the detected recognition target, a recognition result indicating that the autonomous moving body recognizes the recognition target by detecting the recognition target is presented.
したがって、認識対象が自律移動体によって認識されていることを認識対象に対して確実に通知することができる。 Therefore, it is possible to reliably notify the recognition target that the recognition target is recognized by the autonomous moving body.
以下添付図面を参照しながら、本開示の実施の形態について説明する。なお、以下の実施の形態は、本開示を具体化した一例であって、本開示の技術的範囲を限定するものではない。 Hereinafter, embodiments of the present disclosure will be described with reference to the accompanying drawings. The following embodiments are examples that embody the present disclosure, and do not limit the technical scope of the present disclosure.
(実施の形態1)
図1は、本実施の形態1に係る自動運転車両の構成を示すブロック図である。図1に示す自動運転車両1は、自動運転システム101、指示器102、車両制御プロセッサ103、ブレーキ制御システム104、アクセル制御システム105、ステアリング制御システム106、車両ナビゲーションシステム107及びGPS(Global Positioning System)108を備える。
(Embodiment 1)
FIG. 1 is a block diagram showing a configuration of an automatically driven vehicle according to the first embodiment. The
自動運転車両1は、自律走行する車両であり、自律移動体の一例である。本実施の形態1において、自動運転車両1は、自動車であるが、本開示は特にこれに限定されず、自動運転車両1は、オートバイ、トラック、バス、電車及び飛行体などの種々の車両であってもよい。
The
自動運転システム101は、プロセッサ111、メモリ112、ユーザ入力部113、提示部114及びセンサ115を備える。
The automatic operation system 101 includes a processor 111, a memory 112, a user input unit 113, a
メモリ112は、コンピュータ読み取り可能な記録媒体であり、例えば、ハードディスクドライブ、ROM(Read Only Memory)、RAM(Random Access Memory)、光ディスク及び半導体メモリ等である。メモリ112は、プロセッサ111により実行される自動運転プログラム121及びプロセッサ111により利用されるデータ122を記憶している。 The memory 112 is a computer-readable recording medium, such as a hard disk drive, a ROM (Read Only Memory), a RAM (Random Access Memory), an optical disk, and a semiconductor memory. The memory 112 stores the automatic operation program 121 executed by the processor 111 and the data 122 used by the processor 111.
データ122は、地図データ21及び座標変換マップデータ22を含む。地図データ21は、地形情報、走行レーンを示すレーン情報、交差点に関する交差点情報、及び制限速度を示す制限速度情報などを含む。なお、地図データ21としては、上記の情報に限らない。座標変換マップデータ22は、カメラ31によって撮影された撮影画像上の各画素の位置と、実空間上の位置とを対応付けた座標変換マップである。
The data 122 includes the map data 21 and the coordinate conversion map data 22. The map data 21 includes topographical information, lane information indicating a traveling lane, intersection information regarding an intersection, speed limit information indicating a speed limit, and the like. The map data 21 is not limited to the above information. The coordinate conversion map data 22 is a coordinate conversion map in which the position of each pixel on the captured image captured by the
プロセッサ111は、例えばCPU(中央演算処理装置)であり、メモリ112に記憶されている自動運転プログラム121を実行する。プロセッサ111が自動運転プログラム121を実行することにより、自動運転車両1は自律的に走行する。また、プロセッサ111は、メモリ112からデータ122を読み出し、メモリ112にデータ122を書き込み、メモリ112に記憶されているデータ122を更新する。
The processor 111 is, for example, a CPU (Central Processing Unit) and executes an automatic operation program 121 stored in a memory 112. When the processor 111 executes the automatic driving program 121, the
自動運転プログラム121は、レーン検出部11、人物検出部12及び座標変換部13としてプロセッサ111を機能させる。
The automatic driving program 121 causes the processor 111 to function as the lane detection unit 11, the
レーン検出部11は、カメラ31によって撮影された撮影画像から、道路上に描かれた車線を認識し、自動運転車両1が走行するレーンを検出する。
The lane detection unit 11 recognizes the lane drawn on the road from the captured image taken by the
人物検出部12は、カメラ31によって撮影された撮影画像から、自動運転車両1の周囲に存在する人物(認識対象)を検出する。人物検出部12は、例えば、多層構造のニューラルネットワークをディープラーニングにより機械学習し、機械学習したニューラルネットワークに撮影画像を入力することにより、撮影画像に含まれる人物を検出する。人物検出部12は、撮影画像中の検出した人物を矩形状の枠で囲む。
The
座標変換部13は、座標変換マップデータ22を用いて、撮影画像の座標を実空間の座標に変換する。
The coordinate
ユーザ入力部113は、ユーザによる種々の情報の入力を受け付ける。ユーザ入力部113は、例えば、ボタン又はタッチパネルで構成される。 The user input unit 113 accepts input of various information by the user. The user input unit 113 is composed of, for example, a button or a touch panel.
提示部114は、種々の情報を提示する。提示部114は、人物検出部12によって検出された人物(認識対象)に対して、人物検出部12によって人物(認識対象)が検出されることによって自動運転車両1が人物(認識対象)を認識していることを示す認識結果を提示する。提示部114は、レーザ照射部32を含む。レーザ照射部32は、自動運転車両1の前方部分に配置され、自動運転車両1の前方に存在する人物に向けてレーザ光を照射する。なお、レーザ照射部32は、自動運転車両1の前方だけでなく、自動運転車両1の後方、自動運転車両1の右方及び自動運転車両1の左方などの自動運転車両1の周囲に存在する人物に向けてレーザ光を照射してもよい。また、レーザ照射部32は、レーザ照射部32と人物との間の地面上に直線状のレーザ光を照射することが好ましい。
The
レーザ照射部32は、座標変換部13によって実空間上の座標に変換された人物の位置に向けてレーザ光を照射する。なお、人物検出部12によって人物が存在する方向及び自動運転車両1から人物までの距離が特定された場合、レーザ照射部32は、人物(認識対象)が存在する位置の地面に向けて所定の形状のレーザ光を照射してもよい。
The
センサ115は、自動運転車両1の周囲の環境及び自動運転車両1の内部の環境を測定する。センサ115は、例えば、自動運転車両1の速度を計測する速度計、自動運転車両1の加速度を計測する加速時計、自動運転車両1の向きを計測するジャイロスコープ、及びエンジン温度センサなどを含む。なお、センサ115は、上記のセンサに限らない。
The sensor 115 measures the environment around the self-driving
センサ115は、カメラ31を含む。カメラ31は、撮影部の一例であり、自動運転車両1のバックミラーの近傍に配置され、自動運転車両1の前方の画像を撮影する。なお、カメラ31は、自動運転車両1の前方だけでなく、自動運転車両1の後方、自動運転車両1の右方及び自動運転車両1の左方などの自動運転車両1の周囲の画像を撮影してもよい。
The sensor 115 includes a
指示器102は、自動運転車両1が左折、右折又は進路を変更する際に、その方向を周囲に示すための装置である。車両制御プロセッサ103は、自動運転車両1を制御する。ブレーキ制御システム104は、自動運転車両1を減速するように制御する。アクセル制御システム105は、自動運転車両1の速度を制御する。ステアリング制御システム106は、自動運転車両1の進行方向を調節する。車両ナビゲーションシステム107は、自動運転車両1の走行経路を決定したり、自動運転車両1の走行経路を提示したりする。GPS108は、自動運転車両1の現在位置を取得する。
The indicator 102 is a device for indicating the direction of the
プロセッサ111は、センサ115によるセンシング結果、レーン検出部11による検出結果及び人物検出部12による検出結果に基づいて、自動運転車両1の方向及び速度を制御する。プロセッサ111は、アクセル制御システム105によって自動運転車両1を加速させ、ブレーキ制御システム104によって自動運転車両1を減速させ、ステアリング制御システム106によって自動運転車両1の方向を変化させる。
The processor 111 controls the direction and speed of the
図2は、本実施の形態1における認識結果提示装置の構成を示す図である。図2に示す認識結果提示装置は、カメラ31、人物検出部12、座標変換部13、レーザ照射部32及び座標変換マップデータ格納部221を備える。
FIG. 2 is a diagram showing a configuration of a recognition result presenting device according to the first embodiment. The recognition result presentation device shown in FIG. 2 includes a
図2に示す認識結果提示装置において図1と同じ構成については同じ符号を付し、説明を省略する。座標変換マップデータ格納部221は、図1のメモリ112で構成され、座標変換マップデータ22を記憶する。
In the recognition result presenting apparatus shown in FIG. 2, the same components as those in FIG. 1 are designated by the same reference numerals, and the description thereof will be omitted. The coordinate conversion map
続いて、本実施の形態1における認識結果提示装置の動作について説明する。 Subsequently, the operation of the recognition result presenting device according to the first embodiment will be described.
図3は、本実施の形態1における認識結果提示装置の動作について説明するためのフローチャートである。図4は、本実施の形態1において、撮影画像の取得、人物の検出及び撮影画像の座標変換について説明するための模式図である。 FIG. 3 is a flowchart for explaining the operation of the recognition result presenting device according to the first embodiment. FIG. 4 is a schematic diagram for explaining acquisition of a photographed image, detection of a person, and coordinate conversion of the photographed image in the first embodiment.
まず、ステップS1において、カメラ31は、自動運転車両1の進行方向の画像を撮影する。このとき、カメラ31は、自動運転車両1の前方を撮影可能な位置に配置され、自動運転車両1の前方を撮影する。なお、自動運転車両1が前進する場合には、自動運転車両1の前方に配置されたカメラによって撮影し、自動運転車両1が後進する場合には、自動運転車両1の後方に配置されたカメラによって撮影することが好ましい。
First, in step S1, the
次に、ステップS2において、人物検出部12は、カメラ31によって撮影された撮影画像201を取得する。図4に示す撮影画像201は、人物2,3を含む。
Next, in step S2, the
次に、ステップS3において、人物検出部12は、カメラ31から取得した撮影画像に含まれる人物を検出する。図4において、人物検出部12は、撮影画像201に含まれる人物2,3のうちの人物2を検出し、検出した人物2の周囲に矩形状の枠202を付与する。なお、図4では、人物3は、人物として検出されていない。このように、検出精度などにより、必ずしも撮影画像内の全ての人物が検出されるわけではない。
Next, in step S3, the
次に、ステップS4において、座標変換部13は、人物検出部12によって撮影画像から人物が検出されたか否かを判断する。ここで、人物が検出されなかったと判断された場合(ステップS4でNO)、ステップS1の処理に戻る。
Next, in step S4, the coordinate
一方、人物が検出されたと判断された場合(ステップS4でYES)、ステップS5において、座標変換部13は、座標変換マップデータ22を用いて、撮影画像の座標を実空間の座標に変換する。図4に示すように、撮影画像201を座標変換することにより、実空間の座標に対応した実空間画像203が生成される。
On the other hand, when it is determined that a person has been detected (YES in step S4), in step S5, the coordinate
次に、ステップS6において、レーザ照射部32は、人物検出部12によって検出された人物の位置に向けてレーザ光を照射する。このとき、レーザ照射部32は、座標変換部13によって変換された実空間画像203内の人物2の座標位置から、実際に人物2が存在する位置を特定し、特定した位置に向けてレーザ光を照射する。その後、ステップS1の処理に戻る。
Next, in step S6, the
なお、ステップS1〜ステップS6の処理は、自動運転車両1の電源がオンされてからオフされるまで行われる。
The processes of steps S1 to S6 are performed from the power on to the power of the
図5は、本実施の形態1において認識結果を提示する処理について説明するための図である。図5に示すように、人物2が検出された場合、レーザ照射部32は、検出された人物2の位置に向けてレーザ光211を照射する。また、人物3は検出されていないため、レーザ光211が照射されていない。したがって、人物2,3は、自身が自動運転車両1によって認識されているか否かをそれぞれ知ることができ、自動運転車両1の前を横断するか否かなどの自動運転車両1に対する行動を決定することができる。
FIG. 5 is a diagram for explaining the process of presenting the recognition result in the first embodiment. As shown in FIG. 5, when the
このように、検出された認識対象に対して、認識対象が検出されることによって自動運転車両1が認識対象を認識していることを示す認識結果が提示されるので、認識対象が自動運転車両1によって認識されていることを認識対象に対して確実に通知することができる。
In this way, for the detected recognition target, the recognition result indicating that the
なお、本実施の形態1では、レーザ光を人物に照射しているが、本開示は特にこれに限定されず、発光ダイオードなどの他の光源からの光を人物に照射してもよい。 In the first embodiment, the person is irradiated with the laser beam, but the present disclosure is not particularly limited to this, and the person may be irradiated with light from another light source such as a light emitting diode.
また、提示部114は、プロジェクタを備えてもよく、プロジェクタからの光(画像)を人物に向けて照射してもよい。この場合、プロジェクタは、プロジェクタと人物との間の地面上に直線状の光を照射することが好ましい。
Further, the
図6は、本実施の形態1の第1の変形例において認識結果を提示する処理について説明するための図である。 FIG. 6 is a diagram for explaining a process of presenting a recognition result in the first modification of the first embodiment.
本実施の形態1の第1の変形例では、認識対象が存在する位置の地面に向けて所定の形状の光が照射される。センサ115により、人物が存在する方向及び人物までの距離が分かれば、検出された人物の足下にレーザ光を照射することができる。図6に示すように、人物2が検出された場合、レーザ照射部32は、人物2が存在する位置の地面に向けて所定の形状のレーザ光212を照射する。図6では、円形状のレーザ光212が照射されている。また、人物3は検出されていないため、円形状のレーザ光212が照射されていない。したがって、人物2,3は、自身が自動運転車両1によって認識されているか否かをそれぞれ知ることができ、自動運転車両1の前を横断するか否かなどの自動運転車両1に対する行動を決定することができる。
In the first modification of the first embodiment, light having a predetermined shape is irradiated toward the ground at a position where the recognition target exists. If the direction in which the person exists and the distance to the person are known by the sensor 115, the laser beam can be applied to the feet of the detected person. As shown in FIG. 6, when the
図7は、本実施の形態1の第2の変形例において認識結果を提示する処理について説明するための図である。 FIG. 7 is a diagram for explaining a process of presenting a recognition result in the second modification of the first embodiment.
本実施の形態1の第2の変形例では、認識結果提示装置は、座標変換部13、座標変換マップデータ格納部221及びレーザ照射部32に替えて、自動運転車両1の表面に配置され、人物検出部12によって検出された人物(認識対象)を識別可能な態様で表した画像を表示する表示部33を備える。
In the second modification of the first embodiment, the recognition result presenting device is arranged on the surface of the
図7に示すように、表示部33は、例えば、液晶表示装置であり、自動運転車両1の表面に配置される。なお、表示部33は、自動運転車両1の前面、後面、右側面及び左側面の少なくとも1つの位置に配置される。人物検出部12は、撮影画像201に含まれる人物2,3のうちの人物2を検出し、検出した人物2の周囲に矩形状の枠202を付与する。表示部33は、検出した人物2の周囲に矩形状の枠202が付与された画像をリアルタイムに表示する。また、人物3は検出されていないため、人物3の周囲に矩形状の枠202は表示されない。したがって、人物2,3は、自身が自動運転車両1によって認識されているか否かをそれぞれ知ることができ、自動運転車両1の前を横断するか否かなどの自動運転車両1に対する行動を決定することができる。
As shown in FIG. 7, the
なお、表示部33は、画像の左右を反転させて表示することが好ましい。これにより、人物が鏡に映っているように表示されるので、人物は直感的に認識結果を把握することができる。
It is preferable that the
図8は、本実施の形態1の第2の変形例において複数の自動運転車両が所定の範囲内に存在する場合に認識結果を提示する処理について説明するための図である。 FIG. 8 is a diagram for explaining a process of presenting a recognition result when a plurality of automatically driven vehicles exist within a predetermined range in the second modification of the first embodiment.
図8に示すように、人物2,3の近傍には、複数の自動運転車両1a,1bが存在している。自動運転車両1aによって人物2が検出された場合、自動運転車両1aの表示部33は、検出した人物2の周囲に矩形状の枠202が付与された画像をリアルタイムに表示する。また、自動運転車両1aによって人物3は検出されていないため、人物3の周囲に矩形状の枠202は表示されない。
As shown in FIG. 8, a plurality of automatically driven
また、自動運転車両1bによって人物2及び人物3が検出された場合、自動運転車両1bの表示部33は、検出した人物2及び人物3の周囲に矩形状の枠202が付与された画像をリアルタイムに表示する。
Further, when the
したがって、人物の近傍に複数の自動運転車両が存在する場合に、人物は、自身がどの自動運転車両から認識されていて、どの自動運転車両から認識されていないかを容易に確認することができる。 Therefore, when there are a plurality of automatically driven vehicles in the vicinity of the person, the person can easily confirm from which automatically driven vehicle the person is recognized and which automatically driven vehicle is not recognized. ..
図9は、本実施の形態1の第3の変形例において認識結果を提示する処理について説明するための図である。 FIG. 9 is a diagram for explaining a process of presenting a recognition result in the third modification of the first embodiment.
本実施の形態1の第3の変形例では、認識結果提示装置は、座標変換部13、座標変換マップデータ格納部221及びレーザ照射部32に替えて、認識対象が存在する方向へ所定の音を出力する音出力部34を備える。
In the third modification of the first embodiment, the recognition result presenting device replaces the coordinate
図9に示すように、音出力部34は、例えば、指向性スピーカであり、検出された人物が存在する方向に対して指向性を有する所定の音を出力する。また、人物3は検出されていないため、人物3に対しては所定の音は出力されない。また、音出力部34から出力される音は指向性を有しているため、人物2だけに聞こえ、人物3には聞こえない。したがって、人物2,3は、自身が自動運転車両1によって認識されているか否かをそれぞれ知ることができ、自動運転車両1の前を横断するか否かなどの自動運転車両1に対する行動を決定することができる。
As shown in FIG. 9, the
図10は、本実施の形態1の第4の変形例において認識結果を提示する処理について説明するための図である。 FIG. 10 is a diagram for explaining a process of presenting a recognition result in the fourth modification of the first embodiment.
本実施の形態1の第4の変形例では、レーザ照射部32は、認識対象が存在する位置の地面に向けて所定の形状の光を照射するとともに、認識対象が存在する位置の地面と自動運転車両が存在する位置の地面とを結ぶ直線上に光を照射する。
In the fourth modification of the first embodiment, the
図10に示すように、人物2,3の近傍には、複数の自動運転車両1a,1bが存在している。自動運転車両1aによって人物2が検出された場合、自動運転車両1aのレーザ照射部32は、人物2が存在する位置の地面に向けて所定の形状のレーザ光212を照射するとともに、人物2が存在する位置の地面と自動運転車両1aが存在する位置の地面とを結ぶ直線上にレーザ光213を照射する。図10では、円形状のレーザ光212が照射されている。また、人物3は自動運転車両1aによって検出されていないため、人物3が存在する位置の地面と自動運転車両1aが存在する位置の地面とを結ぶ直線上にレーザ光213は照射されない。
As shown in FIG. 10, a plurality of automatically driven
また、自動運転車両1bによって人物3が検出された場合、自動運転車両1bのレーザ照射部32は、人物3が存在する位置の地面に向けて所定の形状のレーザ光212を照射するとともに、人物3が存在する位置の地面と自動運転車両1bが存在する位置の地面とを結ぶ直線上にレーザ光213を照射する。図10では、円形状のレーザ光212が照射されている。また、人物2は自動運転車両1bによって検出されていないため、人物2が存在する位置の地面と自動運転車両1bが存在する位置の地面とを結ぶ直線上にレーザ光213は照射されない。
When the person 3 is detected by the
したがって、人物が存在する位置の地面に向けて所定の形状の光が照射されるとともに、人物が存在する位置の地面と自動運転車両が存在する位置の地面とを結ぶ直線上に光が照射されるので、人物の近傍に複数の自動運転車両が存在する場合に、人物は、自身がどの自動運転車両から認識されていて、どの自動運転車両から認識されていないかを容易に確認することができる。 Therefore, the light of a predetermined shape is irradiated toward the ground at the position where the person exists, and the light is irradiated on the straight line connecting the ground at the position where the person exists and the ground at the position where the automatic driving vehicle exists. Therefore, when there are a plurality of automatically driven vehicles in the vicinity of the person, the person can easily confirm from which automatically driven vehicle the person is recognized and which automatically driven vehicle is not recognized. can.
なお、レーザ照射部32は、人物が検出された場合に、人物が存在する位置の地面と自動運転車両が存在する位置の地面とを結ぶ直線上に常にレーザ光213を照射してもよいが、他の自動運転車両が近傍に存在する場合にのみ、レーザ光213を照射してもよい。この場合、自動運転車両は、自身が存在することを示す情報(例えば、識別情報)を所定の範囲内でブロードキャストするとともに、所定の範囲内に存在する他の自動運転車両によって送信された情報(例えば、識別情報)を受信する通信部をさらに備えてもよい。そして、レーザ照射部32は、他の自動運転車両によって送信された情報が受信された場合、人物が存在する位置の地面と自動運転車両が存在する位置の地面とを結ぶ直線上にレーザ光213を照射してもよい。
When a person is detected, the
このように、複数の自動運転車両が所定の範囲内に存在する場合にのみ、人物が存在する位置の地面と自動運転車両が存在する位置の地面とを結ぶ直線上にレーザ光213が照射されるので、消費電力を削減することができる。
In this way, the
図11は、本実施の形態1の第5の変形例において認識結果を提示する処理について説明するための図である。 FIG. 11 is a diagram for explaining a process of presenting a recognition result in the fifth modification of the first embodiment.
本実施の形態1の第5の変形例では、認識結果提示装置は、座標変換部13、座標変換マップデータ格納部221及びレーザ照射部32に替えて、認識対象が存在する方向へ所定の音を出力する音出力部34を備える。音出力部34は、例えば、指向性スピーカであり、検出された人物が存在する方向に対して指向性を有する所定の音を出力する。
In the fifth modification of the first embodiment, the recognition result presenting device replaces the coordinate
また、認識結果提示装置は、通信部をさらに備える。通信部は、自身を識別する識別情報及び自身が出力する音の種類を示す音情報を所定の範囲内でブロードキャストするとともに、所定の範囲内に存在する他の自動運転車両によって送信された識別情報及び音情報を受信する。音出力部34は、複数種類の音を出力することが可能である。通信部によって他の自動運転車両から識別情報及び音情報を受信した場合、音出力部34は、自身が出力する現在の音の種類が、受信した音情報で示される他の自動運転車両の音の種類と同じであるか否かを判断する。音出力部34は、自身の音の種類が、他の自動運転車両の音の種類と同じであると判断した場合、現在の音の種類を他の音の種類に変更する。
Further, the recognition result presenting device further includes a communication unit. The communication unit broadcasts identification information for identifying itself and sound information indicating the type of sound output by itself within a predetermined range, and identification information transmitted by another automatically driving vehicle existing within the predetermined range. And receive sound information. The
図11に示すように、人物2,3の近傍には、複数の自動運転車両1a,1bが存在している。自動運転車両1aによって人物2が検出された場合、自動運転車両1aの音出力部34は、人物2が存在する方向に向けて第1の音を出力する。音出力部34は、第1の音を出力するように初期設定されている。また、人物3は自動運転車両1aによって検出されていないため、人物3が存在する方向に第1の音は出力されない。自動運転車両1aの通信部は、自動運転車両1aを識別する識別情報及び自動運転車両1aが出力する音の種類(第1の音)を示す音情報を所定の範囲内でブロードキャストする。
As shown in FIG. 11, a plurality of automatically driven
自動運転車両1bの通信部は、所定の範囲内に存在する自動運転車両1aによって送信された識別情報及び音情報を受信する。音出力部34は、自動運転車両1bが出力する現在の音の種類(第1の音)が、受信した音情報で示される自動運転車両1aの音の種類(第1の音)と同じであるか否かを判断する。音出力部34は、自動運転車両1bの音の種類が、自動運転車両1aの音の種類と同じであると判断した場合、音の種類(第1の音)を他の音の種類(第2の音)に変更する。
The communication unit of the self-driving
そして、自動運転車両1bによって人物2が検出された場合、自動運転車両1bの音出力部34は、人物2が存在する方向に向けて、第1の音とは異なる第2の音を出力する。また、人物3は自動運転車両1bによって検出されていないため、人物3が存在する方向に第2の音は出力されない。その後、自動運転車両1bの通信部は、自動運転車両1bを識別する識別情報及び自動運転車両1bが出力する音の種類(第2の音)を示す音情報を所定の範囲内でブロードキャストする。
Then, when the
このように、複数の自動運転車両が所定の範囲内に存在する場合、複数の自動運転車両はそれぞれ異なる音を出力するで、人物は、人物の近傍に複数の自動運転車両が存在する場合に、自身がどの自動運転車両から認識されていて、どの自動運転車両から認識されていないかを容易に確認することができる。 In this way, when a plurality of automatically driven vehicles exist within a predetermined range, the plurality of automatically driven vehicles output different sounds, and the person can perform when there are a plurality of automatically driven vehicles in the vicinity of the person. , It is possible to easily confirm which automatic driving vehicle recognizes itself and which automatic driving vehicle does not recognize it.
なお、本実施の形態1において、人間の顔を模した顔デバイスを自動運転車両の表面に配置し、人物検出部12によって検出された人物(認識対象)に対して顔デバイスの視線を向けてウインクすることにより、自動運転車両が人物(認識対象)を認識していることを示す認識結果を提示してもよい。
In the first embodiment, a face device imitating a human face is arranged on the surface of an automatically driving vehicle, and the line of sight of the face device is directed to a person (recognition target) detected by the
また、本実施の形態1における認識対象は人物であるが、本開示は特にこれに限定されず、認識対象は、自転車及び自動車などの他の車両、犬及び猫などの動物、並びにベビーカーであってもよい。また、移動する認識対象が検出されてもよい。 Further, the recognition target in the first embodiment is a person, but the present disclosure is not particularly limited to this, and the recognition target is other vehicles such as bicycles and automobiles, animals such as dogs and cats, and strollers. You may. In addition, a moving recognition target may be detected.
また、本実施の形態1では、センサ115はカメラ31を含み、人物検出部12は、カメラ31によって撮影された画像から人物を検出しているが、本開示は特にこれに限定されず、センサ115は、特定の方向に存在する物体の有無を検出する障害物センサを含んでもよい。この場合、人物検出部12は、障害物センサによって物体が検出された場合、人物を検出したと判断してもよい。レーザ照射部32は障害物センサの近傍に配置することが好ましい。また、センサ115は、水平方向にライン状に配置した複数の距離センサを含んでもよい。この場合、人物検出部12は、複数の距離センサのうちの少なくとも1つの距離センサによって物体が検出された場合、人物を検出したと判断し、物体が存在する方向と物体までの距離とを特定してもよい。さらに、センサ115は、自動運転車両1の周囲の空間の3次元形状を測定する3次元測定装置を含んでもよい。この場合、人物検出部12は、3次元測定装置によって人物が検出された場合、人物が存在する方向及び人物までの距離を特定してもよい。
Further, in the first embodiment, the sensor 115 includes the
また、実施の形態1において、提示部114は、レーザ照射部32、表示部33及び音出力部34の少なくとも1つを含んでもよい。すなわち、レーザ照射部32による認識結果の提示、表示部33による認識結果の提示及び音出力部34による認識結果の提示のいずれか2つ又は全てを組み合わせてもよい。
Further, in the first embodiment, the
(実施の形態2)
図12は、本実施の形態2における認識結果提示装置の構成を示す図である。図12に示す認識結果提示装置は、カメラ31、人物検出部12、座標変換部13、属性判定部14、提示方法決定部15、提示部114及び座標変換マップデータ格納部221を備える。
(Embodiment 2)
FIG. 12 is a diagram showing a configuration of a recognition result presenting device according to the second embodiment. The recognition result presentation device shown in FIG. 12 includes a
実施の形態2における自動運転車両の構成は、自動運転プログラム121が属性判定部14及び提示方法決定部15をさらに備えること以外は、図1に示す自動運転車両の構成と同じである。図12に示す認識結果提示装置において図1及び図2と同じ構成については同じ符号を付し、説明を省略する。
The configuration of the automatic driving vehicle according to the second embodiment is the same as the configuration of the automatic driving vehicle shown in FIG. 1, except that the automatic driving program 121 further includes an
属性判定部14は、人物検出部12によって検出された人物の属性を判定する。ここで、属性とは、例えば、子供又は高齢者である。属性判定部14は、人物検出部12によって検出された人物の特徴から人物の属性を判定する。例えば、属性判定部14は、人物検出部12によって検出された人物の身長を撮影画像から推定し、推定した身長が所定の身長以下である場合、人物の属性が子供であると判定する。また、例えば、属性判定部14は、人物検出部12によって検出された人物の画像と、腰が曲がっているなどの高齢者の特徴を表す画像とを比較し、検出された人物の画像が高齢者の特徴を表す画像と一致する場合、人物の属性が高齢者であると判定する。
The
提示方法決定部15は、属性判定部14によって判定された属性に応じて提示方法を決定する。例えば、提示方法決定部15は、属性判定部14によって判定された人物の属性が子供である場合、文字を使用せずに標識を使用した提示方法に決定する。また、例えば、提示方法決定部15は、属性判定部14によって判定された人物の属性が高齢者である場合、レーザ光をより明るくする提示方法、又は出力する音をより大きくする提示方法に決定する。
The presentation
提示部114は、提示方法決定部15によって決定された提示方法に従って認識結果を提示する。提示部114は、レーザ照射部32、表示部33及び音出力部34の少なくとも1つを含む。
The
例えば、提示方法決定部15によって文字を使用せずに標識を使用した提示方法に決定された場合、表示部33は、人物検出部12によって検出された人物(認識対象)を識別可能な態様で表した画像を表示するとともに、当該画像に文字ではなく標識を重畳して表示する。検出された人物が子供でなければ、表示部33は、例えば撮像画像に「注意」という文字を重畳して表示するが、検出された人物が子供であれば、表示部33は、例えば撮像画像に「注意」を促す標識を重畳して表示する。これにより、文字が読めない子供に対しても、文字の意味を伝えることができる。
For example, when the presentation
また、例えば、提示方法決定部15によってレーザ光をより明るくする提示方法に決定された場合、レーザ照射部32は、人物検出部12によって検出された人物(認識対象)に向けて、輝度をより高くしたレーザ光を照射する。
Further, for example, when the presentation
また、例えば、提示方法決定部15によって出力する音をより大きくする提示方法に決定された場合、音出力部34は、人物検出部12によって検出された人物(認識対象)に向けて、音量をより大きくした音を出力する。
Further, for example, when the presentation method is determined to make the sound output by the presentation
(実施の形態3)
図13は、本実施の形態3における認識結果提示装置の構成を示す図である。図13に示す認識結果提示装置は、カメラ31、人物検出部12、座標変換部13、危険度判定部16、提示方法決定部17、提示部114及び座標変換マップデータ格納部221を備える。
(Embodiment 3)
FIG. 13 is a diagram showing a configuration of a recognition result presenting device according to the third embodiment. The recognition result presentation device shown in FIG. 13 includes a
実施の形態3における自動運転車両の構成は、自動運転プログラム121が危険度判定部16及び提示方法決定部17をさらに備えること以外は、図1に示す自動運転車両の構成と同じである。図13に示す認識結果提示装置において図1及び図2と同じ構成については同じ符号を付し、説明を省略する。
The configuration of the automatic driving vehicle in the third embodiment is the same as the configuration of the automatic driving vehicle shown in FIG. 1, except that the automatic driving program 121 further includes a
危険度判定部16は、人物検出部12によって検出された人物(認識対象)の危険度を判定する。危険度は、第1の危険度と、第1の危険度より低い第2の危険度とを含む。例えば、危険度判定部16は、自動運転車両1から人物までの距離を撮影画像から推定し、推定した距離が所定の距離以下である場合、危険度が高い第1の危険度であると判定し、推定した距離が所定の距離より長い場合、危険度が低い第2の危険度であると判定する。
The risk
提示方法決定部17は、危険度判定部16によって判定された危険度に応じて提示方法を決定する。提示方法決定部17は、危険度判定部16によって第1の危険度であると判定された場合のレーザ光の色と、危険度判定部16によって第2の危険度であると判定された場合のレーザ光の色とを異ならせる。例えば、提示方法決定部17は、第1の危険度であると判定された場合、レーザ光を赤色にする提示方法に決定し、第2の危険度であると判定された場合、レーザ光を青色にする提示方法に決定する。
The presentation
提示部114は、提示方法決定部17によって決定された提示方法に従って認識結果を提示する。提示部114は、レーザ照射部32、表示部33及び音出力部34の少なくとも1つを含む。
The
例えば、提示方法決定部17によってレーザ光を赤色にする提示方法に決定された場合、レーザ照射部32は、人物検出部12によって検出された第1の危険度の人物(認識対象)に向けて、赤色のレーザ光を照射する。例えば、提示方法決定部17によってレーザ光を青色にする提示方法に決定された場合、レーザ照射部32は、人物検出部12によって検出された第2の危険度の人物(認識対象)に向けて、青色のレーザ光を照射する。これにより、認識対象は、照射された光の色によって危険度がどの程度であるかを認識することができる。
For example, when the presentation
また、例えば、提示方法決定部17によってレーザ光を赤色にする提示方法に決定された場合、レーザ照射部32は、人物検出部12によって検出された第1の危険度の人物(認識対象)が存在する位置の地面に向けて、赤色の所定の形状のレーザ光を照射してもよい。例えば、提示方法決定部17によってレーザ光を青色にする提示方法に決定された場合、レーザ照射部32は、人物検出部12によって検出された第2の危険度の人物(認識対象)が存在する位置の地面に向けて、青色の所定の形状のレーザ光を照射してもよい。
Further, for example, when the presentation
また、例えば、提示方法決定部17によってレーザ光を赤色にする提示方法に決定された場合、レーザ照射部32は、人物検出部12によって検出された第1の危険度の人物(認識対象)が存在する位置の地面に向けて、赤色の所定の形状のレーザ光を照射するとともに、人物(認識対象)が存在する位置の地面と自動運転車両が存在する位置の地面とを結ぶ直線上に赤色のレーザ光を照射してもよい。例えば、提示方法決定部17によってレーザ光を青色にする提示方法に決定された場合、レーザ照射部32は、人物検出部12によって検出された第2の危険度の人物(認識対象)が存在する位置の地面に向けて、青色の所定の形状のレーザ光を照射するとともに、人物(認識対象)が存在する位置の地面と自動運転車両が存在する位置の地面とを結ぶ直線上に青色のレーザ光を照射してもよい。
Further, for example, when the presentation
また、提示方法決定部17は、危険度判定部16によって第1の危険度であると判定された場合の音と、危険度判定部16によって第2の危険度であると判定された場合の音とを異ならせてもよい。例えば、提示方法決定部17は、第1の危険度であると判定された場合、第1の音を出力する提示方法に決定し、第2の危険度であると判定された場合、第1の音とは異なる第2の音を出力する提示方法に決定する。そして、第1の音を出力する提示方法に決定された場合、音出力部34は、人物検出部12によって検出された第1の危険度の人物(認識対象)に向けて、第1の音を出力してもよい。また、第2の音を出力する提示方法に決定された場合、音出力部34は、人物検出部12によって検出された第2の危険度の人物(認識対象)に向けて、第2の音を出力してもよい。
Further, the presentation
また、例えば、提示方法決定部17は、第1の危険度であると判定された場合、検出した人物の周囲に付与する矩形状の枠の色を赤色にする提示方法に決定し、第2の危険度であると判定された場合、検出した人物の周囲に付与する矩形状の枠の色を青色にする提示方法に決定する。そして、検出した人物の周囲に付与する矩形状の枠の色を赤色にする提示方法に決定された場合、表示部33は、人物検出部12によって検出された第1の危険度の人物(認識対象)の周囲に赤色の矩形状の枠を付与した画像を表示してもよい。また、検出した人物の周囲に付与する矩形状の枠の色を青色にする提示方法に決定された場合、表示部33は、人物検出部12によって検出された第2の危険度の人物(認識対象)の周囲に青色の矩形状の枠を付与した画像を表示してもよい。
Further, for example, when the presentation
また、人物検出部12によって複数の人物(認識対象)が検出された場合、危険度判定部16は、人物検出部12によって検出された複数の人物(認識対象)のそれぞれの危険度を判定してもよい。そして、提示部114は、複数の人物(認識対象)のうちの危険度が最も高い人物(認識対象)から順番に認識結果を提示してもよい。例えば、人物検出部12によって複数の人物が検出された場合、危険度判定部16は、自動運転車両1から複数の人物のそれぞれまでの距離を撮影画像から推定し、推定した距離が最も近い(短い)人物から順番に危険度が高いと判定する。そして、提示部114は、複数の人物のうちの危険度が最も高い人物に対して優先的に認識結果を提示する。
When a plurality of persons (recognition targets) are detected by the
例えば、レーザ照射部32が1度に照射可能なレーザ光の数が限られている場合、レーザ照射部32は、複数の人物のうちの危険度が最も高い人物に対して優先的にレーザ光を照射する。
For example, when the number of laser beams that the
図14は、本実施の形態3において、危険度が高い認識対象に対して優先的に光を照射する処理について説明するための図である。図14では、人物2,3が、自動運転車両1の人物検出部12によって検出されている。人物2は人物3よりも自動運転車両1の近くにいるため、人物2の危険度は人物3の危険度よりも高いと判定される。レーザ照射部32が1度に1つのレーザ光を出射可能である場合、レーザ照射部32は、複数の人物2,3のうちの危険度が最も高い人物3に対してのみレーザ光を照射する。
FIG. 14 is a diagram for explaining a process of preferentially irradiating a recognition target having a high risk of light in the third embodiment. In FIG. 14, the
また、レーザ照射部32が1度に2つのレーザ光を出射可能である場合、レーザ照射部32は、複数の人物2,3のうちの危険度が最も高い人物2と危険度が2番目に高い人物3とに対してレーザ光を照射してもよい。このとき、2つのレーザ光は互いに異なる色であることが好ましい。
Further, when the
また、例えば、音出力部34が1度に出力可能な音の数が限られている場合、音出力部34は、複数の人物のうちの危険度が最も高い人物に対して優先的に音を出力する。
Further, for example, when the number of sounds that can be output by the
図15は、本実施の形態3において、危険度が高い認識対象に対して優先的に音を出力する処理について説明するための図である。図15では、人物2,3が、自動運転車両1a及び自動運転車両1bの各人物検出部12によって検出されている。人物2は人物3よりも自動運転車両1a及び自動運転車両1bの近くにいるため、人物2の危険度は人物3の危険度よりも高いと判定される。音出力部34が1度に1つの音を出力可能である場合、音出力部34は、複数の人物2,3のうちの危険度が最も高い人物2に対してのみ音を出力する。
FIG. 15 is a diagram for explaining a process of preferentially outputting sound to a recognition target having a high risk in the third embodiment. In FIG. 15,
また、音出力部34が1度に2つの音を出力可能である場合、音出力部34は、複数の人物2,3のうちの危険度が最も高い人物2と危険度が2番目に高い人物3とに対して音を出力する。このとき、2つの音は互いに異なる音であることが好ましい。
Further, when the
なお、本実施の形態3では、危険度判定部16は、人物と自動運転車両との間の距離に応じて危険度を判定しているが、本開示は特にこれに限定されず、人物の移動方向を検出し、検出した移動方向が自動運転車両の進行方向に向かっている場合、危険度が高いと判定してもよい。人物の移動方向は、現在の撮影画像と過去の撮影画像とを比較することによって検出することが可能である。また、自動運転車両の進行方向は、現在の自動運転車両の位置と過去の自動運転車両の位置とを比較することによって検出することが可能である。
In the third embodiment, the risk
なお、実施の形態1〜3において、自動運転車両の検出部が、自動運転車両から所定の範囲内を運転者が運転する手動運転車両を検出し、提示部は、手動運転車両に対して、自動運転車両が手動運転車両を認識していることを示す認識結果を提示してもよい。 In the first to third embodiments, the detection unit of the automatically driven vehicle detects the manually driven vehicle in which the driver drives within a predetermined range from the automatically driven vehicle, and the presenting unit refers to the manually driven vehicle with respect to the manually driven vehicle. A recognition result indicating that the automatically driven vehicle recognizes the manually driven vehicle may be presented.
また、実施の形態1〜3において、認識結果提示装置の構成要素の一部を、認識結果提示装置とネットワークを介して通信可能なサーバが備えてもよい。 Further, in the first to third embodiments, a server capable of communicating with the recognition result presenting device via a network may be provided with a part of the components of the recognition result presenting device.
本開示において、ユニット、装置、部材又は部の全部又は一部、又は図に示されるブロック図の機能ブロックの全部又は一部は、半導体装置、半導体集積回路(IC)、又はLSI(Large Scale Integration)を含む一つ又は複数の電子回路によって実行されてもよい。LSI又はICは、一つのチップに集積されてもよいし、複数のチップを組み合わせて構成されてもよい。例えば、記憶素子以外の機能ブロックは、一つのチップに集積されてもよい。ここでは、LSIやICと呼んでいるが、集積の度合いによって呼び方が変わり、システムLSI、VLSI(Very Large Scale Integration)、若しくはULSI(Ultra Large Scale Integration)と呼ばれるものであってもよい。LSIの製造後にプログラムされる、Field Programmable Gate Array(FPGA)、又はLSI内部の接合関係の再構成又はLSI内部の回路区画のセットアップができるReconfigurable Logic Deviceも同じ目的で使うことができる。 In the present disclosure, all or part of a unit, device, member or part, or all or part of a functional block in the block diagram shown in the figure, is a semiconductor device, a semiconductor integrated circuit (IC), or an LSI (Large Scale Integration). ) May be executed by one or more electronic circuits including. The LSI or IC may be integrated on one chip, or may be configured by combining a plurality of chips. For example, functional blocks other than the storage element may be integrated on one chip. Here, it is called LSI or IC, but the name changes depending on the degree of integration, and it may be called system LSI, VLSI (Very Large Scale Integration), or ULSI (Ultra Large Scale Integration). Field Programmable Gate Array (FPGA), which is programmed after the LSI is manufactured, or Reconfigurable Logic Device, which can reconfigure the junction relationship inside the LSI or set up the circuit partition inside the LSI, can also be used for the same purpose.
さらに、ユニット、装置、部材又は部の全部又は一部の機能又は操作は、ソフトウエア処理によって実行することが可能である。この場合、ソフトウエアは一つ又は複数のROM、光学ディスク、ハードディスクドライブなどの非一時的記録媒体に記録され、ソフトウエアが処理装置(Processor)によって実行されたときに、そのソフトウエアで特定された機能が処理装置(Processor)および周辺装置によって実行される。システム又は装置は、ソフトウエアが記録されている一つ又は複数の非一時的記録媒体、処理装置(Processor)、及び必要とされるハードウエアデバイス、例えばインターフェース、を備えていてもよい。 Further, all or part of the function or operation of a unit, device, member or part can be performed by software processing. In this case, the software is recorded on a non-temporary recording medium such as one or more ROMs, optical discs, hard disk drives, and is identified by the software when it is executed by a processor. Functions are performed by the processor and peripherals. The system or device may include one or more non-temporary recording media on which the software is recorded, a processor, and the required hardware device, such as an interface.
本開示に係る認識結果提示装置、認識結果提示方法及び自律移動体は、自律移動体の周囲に存在する認識対象を認識した結果を提示する認識結果提示装置、認識結果提示方法及び自律移動体として有用である。 The recognition result presentation device, the recognition result presentation method, and the autonomous mobile body according to the present disclosure are as a recognition result presentation device, a recognition result presentation method, and an autonomous mobile body that present the result of recognizing a recognition target existing around the autonomous mobile body. It is useful.
1,1a,1b 自動運転車両
2,3 人物
11 レーン検出部
12 人物検出部
13 座標変換部
14 属性判定部
15 提示方法決定部
16 危険度判定部
17 提示方法決定部
21 地図データ
22 座標変換マップデータ
31 カメラ
32 レーザ照射部
33 表示部
34 音出力部
101 自動運転システム
102 指示器
103 車両制御プロセッサ
104 ブレーキ制御システム
105 アクセル制御システム
106 ステアリング制御システム
107 車両ナビゲーションシステム
108 GPS
111 プロセッサ
112 メモリ
113 ユーザ入力部
114 提示部
115 センサ
121 自動運転プログラム
122 データ
221 座標変換マップデータ格納部
1,1a, 1b Automatically driven
111 Processor 112 Memory 113
Claims (11)
前記自律移動体の周囲に存在する前記認識対象を検出する検出部と、
前記検出部によって検出された前記認識対象に対して、前記検出部によって前記認識対象が検出されることによって前記自律移動体が前記認識対象を認識していることを示す認識結果を提示する提示部と、
を備え、
前記提示部は、前記認識対象が存在する位置の地面に所定の形状の光を照射するとともに、前記認識対象が存在する位置の地面から前記自律移動体が存在する位置の地面まで延びる直線形状の光を照射する光照射部を含む、
認識結果提示装置。 It is a recognition result presentation device that presents the result of recognizing a recognition target existing around an autonomous mobile body.
A detection unit that detects the recognition target existing around the autonomous mobile body,
A presentation unit that presents a recognition result indicating that the autonomous mobile body recognizes the recognition target by detecting the recognition target by the detection unit with respect to the recognition target detected by the detection unit. When,
Equipped with a,
The presentation unit irradiates the ground at the position where the recognition target exists with light having a predetermined shape, and has a linear shape extending from the ground at the position where the recognition target exists to the ground at the position where the autonomous moving body exists. Including a light irradiation part that irradiates light,
Recognition result presentation device.
前記検出部によって検出された前記人物の属性を判定する属性判定部と、
前記属性判定部によって判定された前記属性に基づき、前記人物が認識し易い提示方法を決定する提示方法決定部と、
をさらに備え、
前記光照射部は、前記提示方法決定部によって決定された前記提示方法に従って前記所定の形状の光を照射する、
請求項1記載の認識結果提示装置。 The recognition target is a person
An attribute determination unit that determines the attributes of the person detected by the detection unit, and
A presentation method determination unit that determines a presentation method that is easy for the person to recognize based on the attribute determined by the attribute determination unit.
With more
The light irradiation unit irradiates light having the predetermined shape according to the presentation method determined by the presentation method determination unit.
The recognition result presentation device according to claim 1.
前記光照射部は、前記検出部によって検出された前記人物が大人である場合、大人にとって認識し易い提示方法で、前記所定の形状の光を照射し、前記検出部によって検出された前記人物が子供である場合、子供にとって認識し易い提示方法で、前記所定の形状の光を照射する、 When the person detected by the detection unit is an adult, the light irradiation unit irradiates light of the predetermined shape by a presentation method that is easy for an adult to recognize, and the person detected by the detection unit is In the case of a child, the light of the predetermined shape is irradiated by a presentation method that is easy for the child to recognize.
請求項1記載の認識結果提示装置。 The recognition result presentation device according to claim 1.
請求項3記載の認識結果提示装置。 The recognition result presentation device according to claim 3.
請求項3記載の認識結果提示装置。 The recognition result presentation device according to claim 3.
前記危険度判定部によって判定された前記危険度に応じて提示方法を決定する提示方法決定部と、
をさらに備え、
前記提示部は、前記提示方法決定部によって決定された前記提示方法に従って前記認識結果を提示する、
請求項1記載の認識結果提示装置。 A risk determination unit that determines the risk of the recognition target detected by the detection unit, and a risk determination unit.
A presentation method determination unit that determines a presentation method according to the risk determination determined by the risk determination unit, and a presentation method determination unit.
With more
The presenting unit presents the recognition result according to the presenting method determined by the presenting method determining unit.
The recognition result presentation device according to claim 1.
前記提示方法決定部は、前記危険度判定部によって前記第1の危険度であると判定された場合の提示方法と、前記危険度判定部によって前記第2の危険度であると判定された場合の提示方法とを異ならせる、
請求項6記載の認識結果提示装置。 The risk includes a first risk and a second risk lower than the first risk.
The presentation method determining unit is a presentation method when the risk determination unit determines that the first risk is present, and when the risk determination unit determines that the second risk is present. Different from the presentation method of
The recognition result presentation device according to claim 6.
請求項7記載の認識結果提示装置。 The presentation method determining unit determines the color of the light when the risk determination unit determines that it is the first risk, and the risk determination unit determines that it is the second risk. The color of the light is different from that of the light
The recognition result presentation device according to claim 7.
前記検出部は、前記複数の認識対象を検出し、
前記危険度判定部は、前記検出部によって検出された前記複数の認識対象のそれぞれの前記危険度を判定し、
前記提示部は、前記複数の認識対象のうちの前記危険度が最も高い認識対象から順番に前記認識結果を提示する、
請求項6記載の認識結果提示装置。 The recognition target includes a plurality of recognition targets.
The detection unit detects the plurality of recognition targets, and the detection unit detects the plurality of recognition targets.
The risk level determination unit determines the risk level of each of the plurality of recognition targets detected by the detection unit.
The presenting unit presents the recognition result in order from the recognition target having the highest risk among the plurality of recognition targets.
The recognition result presentation device according to claim 6.
前記認識結果提示装置による前記認識結果に基づいて、自律移動体の移動を制御する制御部と、
を備える自律移動体。 The recognition result presenting device according to any one of claims 1 to 9.
A control unit that controls the movement of the autonomous moving body based on the recognition result by the recognition result presenting device.
Autonomous mobile with.
前記自律移動体の周囲に存在する前記認識対象を検出し、
検出した前記認識対象に対して、前記認識対象が検出されることによって前記自律移動体が前記認識対象を認識していることを示す認識結果を提示し、
前記認識結果の提示において、前記認識対象が存在する位置の地面に所定の形状の光を照射するとともに、前記認識対象が存在する位置の地面から前記自律移動体が存在する位置の地面まで延びる直線形状の光を照射する、
認識結果提示方法。 It is a recognition result presentation method in a recognition result presentation device that presents the result of recognizing a recognition target existing around an autonomous mobile body.
The recognition target existing around the autonomous mobile body is detected, and the recognition target is detected.
Respect detected the recognition target, the autonomous moving body presents a recognition result indicating that recognizes the recognition target by the recognition target is detected,
In presenting the recognition result, a straight line extending from the ground at the position where the recognition target exists to the ground at the position where the autonomous moving body exists while irradiating the ground at the position where the recognition target exists with light having a predetermined shape. Irradiate the shape of light,
Recognition result presentation method.
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710061084.3A CN107176161B (en) | 2016-03-10 | 2017-01-25 | Recognition result presentation device, recognition result presentation method, and autonomous moving object |
US15/437,874 US10248873B2 (en) | 2016-03-10 | 2017-02-21 | Apparatus for presenting result of recognizing recognition target |
EP17157357.9A EP3216653B1 (en) | 2016-03-10 | 2017-02-22 | Apparatus for presenting result of recognizing recognition target |
US16/256,118 US10528827B2 (en) | 2016-03-10 | 2019-01-24 | Apparatus for presenting result of recognizing recognition target |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201662306181P | 2016-03-10 | 2016-03-10 | |
US62/306,181 | 2016-03-10 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017159881A JP2017159881A (en) | 2017-09-14 |
JP6933457B2 true JP6933457B2 (en) | 2021-09-08 |
Family
ID=59854618
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016210328A Active JP6933457B2 (en) | 2016-03-10 | 2016-10-27 | Recognition result presentation device, recognition result presentation method and autonomous mobile |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6933457B2 (en) |
Families Citing this family (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019082980A1 (en) * | 2017-10-26 | 2019-05-02 | 株式会社小糸製作所 | Vehicle headlight system, vehicle lamp system |
JP6621220B2 (en) * | 2018-02-09 | 2019-12-18 | 株式会社ビコー | Information processing apparatus, information processing method, and program |
JP2019177806A (en) * | 2018-03-30 | 2019-10-17 | 三菱自動車工業株式会社 | Warning system |
WO2019225117A1 (en) * | 2018-05-22 | 2019-11-28 | ヤマハ発動機株式会社 | Off-road vehicle and marine vehicle |
JP2019139733A (en) * | 2018-08-24 | 2019-08-22 | 株式会社ビコー | Information processing system, information processing device, information processing method and program |
JPWO2020059729A1 (en) * | 2018-09-20 | 2021-08-30 | 株式会社小糸製作所 | Communication lamp device |
JP7352341B2 (en) * | 2018-09-28 | 2023-09-28 | 株式会社小糸製作所 | automotive lighting |
JP7139902B2 (en) | 2018-11-14 | 2022-09-21 | トヨタ自動車株式会社 | Notification device |
RU2764016C1 (en) * | 2018-12-03 | 2022-01-12 | Ниссан Мотор Ко., Лтд. | Vehicle traffic control device and vehicle traffic control method for parking |
CN113165573A (en) * | 2018-12-04 | 2021-07-23 | 株式会社小糸制作所 | Vehicle communication system |
JP2020152246A (en) * | 2019-03-20 | 2020-09-24 | 株式会社リコー | Information provision system, movable body, information provision method, and information provision program |
JP7335760B2 (en) * | 2019-09-17 | 2023-08-30 | 株式会社Subaru | Notification device and notification method for automatic driving vehicle |
JP7405542B2 (en) * | 2019-09-17 | 2023-12-26 | 株式会社Subaru | Notification device and notification method in self-driving vehicles |
CN117500694A (en) * | 2021-06-21 | 2024-02-02 | 株式会社小糸制作所 | Light distribution control device, vehicle lamp system, and light distribution control method |
CN115675242A (en) | 2021-07-27 | 2023-02-03 | 丰田自动车株式会社 | Moving body |
KR102634819B1 (en) * | 2021-08-03 | 2024-02-13 | (주)에이텍모빌리티 | Operation information display apparatus of autonomous vehicle |
WO2023090426A1 (en) * | 2021-11-22 | 2023-05-25 | 株式会社小糸製作所 | Personnel lamp and vehicle lamp |
JP7373605B1 (en) | 2022-04-28 | 2023-11-02 | 楽天グループ株式会社 | Logistics management server, information processing method, program and information processing system |
WO2024142372A1 (en) * | 2022-12-28 | 2024-07-04 | 楽天モバイル株式会社 | Avoidance of collision with unmanned traveling vehicle |
WO2024142373A1 (en) * | 2022-12-28 | 2024-07-04 | 楽天モバイル株式会社 | Intuitive display of traveling route of unmanned traveling vehicle |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4255906B2 (en) * | 2004-12-03 | 2009-04-22 | 富士通テン株式会社 | Driving assistance device |
JP5262057B2 (en) * | 2006-11-17 | 2013-08-14 | 株式会社豊田中央研究所 | Irradiation device |
JP2012040950A (en) * | 2010-08-19 | 2012-03-01 | Koito Mfg Co Ltd | Lighting system for vehicle |
JP5696701B2 (en) * | 2012-08-31 | 2015-04-08 | 株式会社デンソー | Anti-pedestrian notification device |
JP6390057B2 (en) * | 2014-03-26 | 2018-09-19 | 株式会社日本総合研究所 | Automatic traveling vehicle for informing vehicle state and vehicle state informing method |
US9475422B2 (en) * | 2014-05-22 | 2016-10-25 | Applied Invention, Llc | Communication between autonomous vehicle and external observers |
JP6368574B2 (en) * | 2014-07-29 | 2018-08-01 | クラリオン株式会社 | Vehicle control device |
-
2016
- 2016-10-27 JP JP2016210328A patent/JP6933457B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2017159881A (en) | 2017-09-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6933457B2 (en) | Recognition result presentation device, recognition result presentation method and autonomous mobile | |
CN107176161B (en) | Recognition result presentation device, recognition result presentation method, and autonomous moving object | |
JP6788477B2 (en) | Recognition result presentation device and recognition result presentation method | |
US10474907B2 (en) | Apparatus that presents result of recognition of recognition target | |
US10496889B2 (en) | Information presentation control apparatus, autonomous vehicle, and autonomous-vehicle driving support system | |
US10380438B2 (en) | System and method for vehicle control based on red color and green color detection | |
US20200398743A1 (en) | Method and apparatus for learning how to notify pedestrians | |
US9469248B2 (en) | System and method for providing situational awareness in a vehicle | |
CN100408383C (en) | Information providing device for vehicle | |
JP2004259069A (en) | Alarm system for outputting alarm signal depending on vehicle hazard level | |
JP7079069B2 (en) | Information presentation control device, self-driving car, and self-driving car driving support system | |
US10614320B2 (en) | System and method for advanced highway lane detection | |
JPWO2020036108A1 (en) | Vehicle display system and vehicle | |
WO2020031695A1 (en) | Information processing device, mobile body, information processing method, and program | |
JP2017027430A (en) | Animal category determination apparatus | |
KR102425036B1 (en) | Vehicle and method for controlling thereof | |
JP2004295472A (en) | Warning device for vehicle | |
JP2008047006A (en) | On-vehicle laser beam radiation system | |
JP4872245B2 (en) | Pedestrian recognition device | |
CN112660018B (en) | Display device and display method of display device | |
KR101850857B1 (en) | Display Apparatus and Vehicle Having The Same | |
CN109823344B (en) | Driving prompting method and system | |
CN110930767B (en) | Intelligent highway safety early warning method and early warning system | |
JP2017194930A (en) | Automatic operation control system for moving body | |
JP2024009255A (en) | Output device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191025 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200826 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200908 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20201126 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210204 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210727 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210819 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6933457 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |