JP7207120B2

JP7207120B2 - Information processing equipment

Info

Publication number: JP7207120B2
Application number: JP2019076264A
Authority: JP
Inventors: 沢凱邱; 亮恵崎山; 勇介竹内; 順日置; 慎治佐々; 宏光藤井; 啓太照内
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2019-04-12
Filing date: 2019-04-12
Publication date: 2023-01-18
Anticipated expiration: 2039-04-12
Also published as: JP2020173703A

Description

本発明は、情報処理装置に関する。 The present invention relates to an information processing device.

近年、自動運転車両を用いて様々なサービスを行うことが提案されている。例えば、特許文献１には、荷物を自動運転車両により配送先の宅配ボックスまで配送することが提案されている。 In recent years, it has been proposed to provide various services using an automatic driving vehicle. For example, Patent Literature 1 proposes delivery of a package to a home delivery box at a delivery destination by an automatically driving vehicle.

特開２０１８－１７７４３９号公報JP 2018-177439 A

複数の自動運転車両が乗合バスや無人店舗として運用されている場合、所望の種類の自動運転車両が、いつ、どこに停車するのかをユーザが把握することが困難となることが想定される。 When multiple autonomous vehicles are operated as shared buses or unmanned shops, it is assumed that it will be difficult for the user to know when and where the desired type of autonomous vehicle will stop.

そこで、本発明は、乗合バスや無人店舗として運用されている各自動運転車両をより利用し易くすることが可能な技術を提供することを目的とする Therefore, it is an object of the present invention to provide a technology that makes it easier to use each automatic driving vehicle that is operated as a shared bus or an unmanned store.

本発明に係る情報処理装置は、
撮像装置により撮影された撮影画像から、自他の識別マークを含むマーカー図形であって、複数種類の自動運転車両の中の少なくとも１種類の自動運転車両の停車領域の位置を示すマーカー図形を検索することと、
検索された前記マーカー図形に含まれる前記識別マークに基づき、前記複数種類の自動運転車両の運行状況を管理している管理装置から、前記マーカー図形によりその位置が示されている停車領域に停車する自動運転車両の種類及び／又は外観を示す車両情報と、前記自動運転車両の前記停車領域への停車スケジュールを示すスケジュール情報とを取得することと、
取得された前記車両情報及び前記スケジュール情報に基づき、前記撮影画像に、前記自動運転車両が前記停車領域に停車している様子を示す画像と前記自動運転車両の前記停車領域への少なくとも１つの停車予定時刻を示すスケジュール画像を重畳させた重畳画像を生成して表示装置の画面上に表示することと、
を実行する制御部を備える。 An information processing device according to the present invention includes:
From the image captured by the imaging device, search for a marker figure that includes identification marks of itself and others and that indicates the position of the stop area of at least one type of automatic driving vehicle among a plurality of types of automatic driving vehicles. and
Based on the identification mark included in the searched marker graphic, the vehicle is stopped in the stop area whose position is indicated by the marker graphic from the management device that manages the operation status of the plurality of types of automatic driving vehicles. Acquiring vehicle information indicating the type and/or appearance of an automated driving vehicle and schedule information indicating a schedule for stopping the automated driving vehicle in the stop area;
Based on the acquired vehicle information and schedule information, an image showing that the automatically driven vehicle is stopped in the stop area and at least one stop of the automatically driven vehicle in the stop area. generating a superimposed image on which a schedule image indicating the scheduled time is superimposed and displaying the superimposed image on the screen of a display device;
A control unit for executing

本発明によれば、乗合バスや無人店舗として運用されている各自動運転車両をより利用し易くすることが可能となる。 ADVANTAGE OF THE INVENTION According to this invention, it becomes possible to make it easier to use each automatic driving vehicle operate|used as a shared bus or an unmanned shop.

本発明の一実施形態に係る情報処理装置の概略構成図である。1 is a schematic configuration diagram of an information processing apparatus according to an embodiment of the present invention; FIG. 図２は、自動運転車両について説明するためのシステム構成図である。FIG. 2 is a system configuration diagram for explaining an automatic driving vehicle. 図３は、実施形態に係る情報処理装置の制御部が実行する情報提供処理の流れ図である。FIG. 3 is a flowchart of information provision processing executed by the control unit of the information processing apparatus according to the embodiment. 図４は、経路表示処理により表示される画面例の説明図である。FIG. 4 is an explanatory diagram of an example of a screen displayed by the route display process.

以下、本発明の一実施形態について図面を参照して詳細に説明する。 An embodiment of the present invention will be described in detail below with reference to the drawings.

まず、図１及び図２を用いて、本発明の一実施形態に係る情報処理装置１０の概要を説明する。図１は、本実施形態に係る情報処理装置１０の概略構成図であり、図２は、自動運転車両３０について説明するためのシステム構成図である。 First, an outline of an information processing apparatus 10 according to an embodiment of the present invention will be described with reference to FIGS. 1 and 2. FIG. FIG. 1 is a schematic configuration diagram of an information processing device 10 according to the present embodiment, and FIG. 2 is a system configuration diagram for explaining an automatically driving vehicle 30. As shown in FIG.

本実施形態に係る情報処理装置１０（図２）は、車両管理サーバ４０によって、乗合バスや無人店舗として運用されている自動運転車両３０を利用し易い環境を実現するために開発した装置である。また、情報処理装置１０は、各自動運転車両３０が停車する各位置（領域）に、自他の識別マーク（詳細は後述）を含む所定形状の図形（以下、停車領域マークと表記する）が描かれている地域で使用されることを想定したものとなっている。 The information processing device 10 ( FIG. 2 ) according to the present embodiment is a device developed to realize an environment in which the vehicle management server 40 facilitates the use of the automated driving vehicle 30 operated as a shared bus or an unmanned store. . In addition, the information processing device 10 has a predetermined shape figure (hereinafter referred to as a stop area mark) including a self-other identification mark (details will be described later) at each position (area) where each automatically driving vehicle 30 stops. It is intended to be used in the area depicted.

情報処理装置１０（図１）は、スマートフォン（図２参照）等の携帯情報端末に情報提供プログラム２５をインストールした装置である。具体的には、情報処理装置１０は、無線通信部１１、表示入力部１４、通話処理部１６、撮影部１２、ＧＰＳ(Global Positioning System)受信部１３、制御部１５、通話処理部１６及び記憶部２０を備える。 The information processing device 10 (FIG. 1) is a device in which an information providing program 25 is installed in a mobile information terminal such as a smart phone (see FIG. 2). Specifically, the information processing device 10 includes a wireless communication unit 11, a display input unit 14, a call processing unit 16, an imaging unit 12, a GPS (Global Positioning System) receiving unit 13, a control unit 15, a call processing unit 16, and a memory. A unit 20 is provided.

無線通信部１１は、４Ｇ、ＬＴＥ等の通信規格に従った無線通信により、通信ネットワーク５０を介して他装置との間での通信（情報交換）を行うためのユニットである。撮影部１２は、ＣＣＤイメージセンサ等の撮像素子と当該撮像素子の撮像面に被写体の像を結像させる光学系とを主要構成要素としたユニットである。ＧＰＳ受信部１３は、ＧＰＳ衛星からの信号に基づき、情報処理装置１０の位置（緯度及び経度）を検出するユニットである。表示入力部１４は、ＬＣＤ(Liquid Crystal Display)、ＯＥＬＤ(Organic Electro-Luminescence Display)等のディスプレイ上に、透明な操作位置検出装置（いわゆるタッチパネル）を重ねたユニットである。 The wireless communication unit 11 is a unit for performing communication (information exchange) with other devices via the communication network 50 by wireless communication conforming to communication standards such as 4G and LTE. The photographing unit 12 is a unit mainly composed of an imaging element such as a CCD image sensor and an optical system for forming an image of a subject on an imaging surface of the imaging element. The GPS receiver 13 is a unit that detects the position (latitude and longitude) of the information processing device 10 based on signals from GPS satellites. The display input unit 14 is a unit in which a transparent operation position detection device (so-called touch panel) is superimposed on a display such as an LCD (Liquid Crystal Display) or an OELD (Organic Electro-Luminescence Display).

制御部１５は、情報処理装置１０内の各部を統合的に制御するユニットである。この制御部１５としては、ＣＰＵとその周辺デバイスとから構成されたユニットや、マイクロコントローラが使用される。通話処理部１６は、マイクロホン１８からのユーザの音声等を表すサウンド信号を、制御部１５が処理可能なサウンドデータに変換する処理や、無線通信部１１により受信される符号化されたサウンドデータを復号してスピーカ１７に供給する処理を行うユニットである。 The control unit 15 is a unit that integrally controls each unit in the information processing apparatus 10 . As the control unit 15, a unit composed of a CPU and its peripheral devices, or a microcontroller is used. The call processing unit 16 converts a sound signal representing the user's voice from the microphone 18 into sound data that can be processed by the control unit 15, and converts encoded sound data received by the wireless communication unit 11 into sound data. It is a unit that performs processing for decoding and supplying to the speaker 17 .

記憶部２０は、各種情報を記憶しておくためのユニットである。記憶部２０は、揮発性メモリであるＲＡＭ (Random Access Memory)と、フラッシュメモリ等の不揮発性メモリ
とにより構成されており、記憶部２０の不揮発性メモリには、ＯＳ等に加えて、情報提供プログラム２５が記憶（インストール）されている。 The storage unit 20 is a unit for storing various information. The storage unit 20 is composed of a RAM (random access memory), which is a volatile memory, and a nonvolatile memory such as a flash memory. A program 25 is stored (installed).

情報提供プログラム２５は、情報処理装置１０を、自動運転車両３０（図２）に関する情報をユーザに提供する情報提供処理（詳細は後述）を実行可能な装置として動作させるためのプログラムである。なお、制御部１５が情報提供プログラム２５をＲＡＭ上に読み出して実行することで、情報処理装置１０は、情報提供処理を実行可能な装置として動作する。 The information providing program 25 is a program for causing the information processing device 10 to operate as a device capable of executing an information providing process (details will be described later) for providing the user with information about the automatically driven vehicle 30 (FIG. 2). The information processing apparatus 10 operates as an apparatus capable of executing information providing processing by the control unit 15 reading out the information providing program 25 onto the RAM and executing it.

自動運転車両３０（図２）は、車両管理サーバ４０によって、乗合バスや無人店舗として運用されている車両である。より具体的には、自動運転車両３０は、ＬｉＤＡＲ（Light Detection and Ranging）等のセンサ、当該センサから得られる情報を用いて自動運転
車両３０の駆動系を制御するコンピュータ等を備えている。そして、自動運転車両３０は
、通信ネットワーク５０を介して与えられる車両管理サーバ４０からの各種指示（走行経路の指示、停車位置の指示等）に従って走行することで、乗合バスや無人店舗として機能する。 The automatically driven vehicle 30 ( FIG. 2 ) is a vehicle operated as a shared bus or an unmanned shop by the vehicle management server 40 . More specifically, the autonomous vehicle 30 includes a sensor such as LiDAR (Light Detection and Ranging), a computer that controls the driving system of the autonomous vehicle 30 using information obtained from the sensor, and the like. The autonomously driven vehicle 30 functions as a shared bus or an unmanned store by traveling according to various instructions (instructions for travel routes, instructions for stopping positions, etc.) from the vehicle management server 40 given via the communication network 50. .

自動運転車両３０に関する上記説明から明らかなように、車両管理サーバ４０は、管理対象となっている各自動運転車両３０に、走行経路、停車位置等を指示するコンピュータである。車両管理サーバ４０は、管理対象となっている各自動運転車両３０の運行スケジュール情報や３Ｄモデルデータを記憶した車両管理データベース（車両管理ＤＢ）４１を備えている。ここで、３Ｄモデルデータとは、それに基づき、任意の方向から見た自動運転車両３０の外観画像を生成できるデータのことである。また、運行スケジュール情報とは、自動運転車両３０の走行経路、複数の停車位置、停車位置毎の到着・出発時刻等を示す情報のことである。 As is clear from the above description of the automatically driven vehicle 30, the vehicle management server 40 is a computer that instructs each automatically driven vehicle 30 to be managed about a travel route, a stop position, and the like. The vehicle management server 40 includes a vehicle management database (vehicle management DB) 41 that stores operation schedule information and 3D model data of each automatically driven vehicle 30 to be managed. Here, the 3D model data is data based on which an appearance image of the automatically driven vehicle 30 viewed from any direction can be generated. The operation schedule information is information indicating the travel route of the automatically driven vehicle 30, a plurality of stop positions, arrival/departure times for each stop position, and the like.

なお、車両管理ＤＢ４１内の３Ｄモデルデータは、自動運転車両３０の側面等に描かれている店舗名や販売する商品名等も再現可能なデータである。また、車両管理ＤＢ４１内の運行スケジュール情報は、各停車位置に割り当てられている停車位置識別情報（本実施形態では、アルファベットと数字との組み合わせ）によって、各自動運転車両３０の各停車位置を示す情報となっている。そして、上記した停車領域マーク（自動運転車両３０の停車位置に描かれている所定形状の図形）には、識別マークとして、自停車領域マークに対応する停車位置の停車位置識別情報が含まれている。 Note that the 3D model data in the vehicle management DB 41 is data that can reproduce the name of the store, the name of the product to be sold, and the like drawn on the side of the automatically driven vehicle 30 . In addition, the operation schedule information in the vehicle management DB 41 indicates each stop position of each automatic driving vehicle 30 by the stop position identification information (in this embodiment, a combination of alphabets and numbers) assigned to each stop position. It is information. The above-described stop area mark (a figure of a predetermined shape drawn at the stop position of the autonomous vehicle 30) includes, as an identification mark, stop position identification information for the stop position corresponding to the own stop area mark. there is

以下、情報処理装置１０が実行する情報提供処理について説明する。 The information providing process executed by the information processing apparatus 10 will be described below.

情報提供処理は、図３に示した手順の処理である。制御部１５は、ユーザにより表示入力部１４に対して所定の操作が行われたときに、この情報提供処理を開始する。 The information providing process is the process of the procedure shown in FIG. The control unit 15 starts this information providing process when the user performs a predetermined operation on the display input unit 14 .

図３に示してあるように、情報提供処理時、制御部１５は、まず、ユーザによる撮影が完了することを待機する（ステップＳ１０１）。換言すれば、制御部１５は、ユーザにより撮影操作（撮影部１２を動作させるための操作；写真を撮るための操作）がなされるのを待機する。 As shown in FIG. 3, during the information providing process, the control unit 15 first waits until the user completes the photographing (step S101). In other words, the control unit 15 waits for the user to perform a shooting operation (operation for operating the shooting unit 12; operation for taking a picture).

ユーザによる撮影が完了すると、制御部１５は、撮影部１２から撮影画像を取得し、取得した撮影画像から停車領域マークを検索する（ステップＳ１０２）。停車領域マークの検索に失敗した場合（ステップＳ１０３；ＮＯ）、制御部１５は、表示入力部１４のディスプレイ上に今回の撮影範囲内に停車予定の自動運転車両３０がない旨のメッセージを表示する（ステップＳ１０６）。そして、制御部１５は、ステップＳ１０７にて、ユーザによる指示入力を待機している状態となる。 When the user completes the photographing, the control unit 15 obtains the photographed image from the photographing unit 12, and searches for a stop area mark from the obtained photographed image (step S102). If the search for the stop area mark fails (step S103; NO), the control unit 15 displays a message on the display of the display input unit 14 to the effect that there is no automatically driven vehicle 30 scheduled to stop within the current shooting range. (Step S106). Then, in step S107, the control unit 15 waits for an instruction input by the user.

一方、停車領域マークが検索された場合（ステップＳ１０３；ＹＥＳ）、制御部１５は、ステップＳ１０４にて、以下の処理を行う。 On the other hand, if the stop area mark is found (step S103; YES), the control unit 15 performs the following process in step S104.

制御部１５は、まず、撮影画像中の停車領域マークの画像を解析することで停車領域マークに含まれる識別マークを特定する。既に説明したように、識別マークは、停車位置識別情報（アルファベットと数字との組み合わせ）であるため、制御部１５は、いわゆる文字認識により、識別マークを特定する。 The control unit 15 first identifies the identification mark included in the vehicle stop area mark by analyzing the image of the vehicle stop area mark in the captured image. As already explained, the identification mark is stop position identification information (a combination of alphabets and numbers), so the control unit 15 identifies the identification mark by so-called character recognition.

次いで、制御部１５は、特定した識別マークに基づき、車両管理サーバ４０から、撮影画像中の停車領域に停車予定の自動運転車両３０の３Ｄモデルデータと停車スケジュール情報とを取得する。 Next, based on the identified identification mark, the control unit 15 acquires 3D model data and stop schedule information of the automatically driven vehicle 30 scheduled to stop in the stop area in the captured image from the vehicle management server 40 .

より具体的には、制御部１５は、特定した識別マーク（文字列）を含む所定の情報要求を車両管理サーバ４０に対して送信する。この情報要求を受信した車両管理サーバ４０は、当該情報要求に含まれる文字列（識別マーク）を停車位置識別情報として取り扱って、車両管理ＤＢ４１から、当該停車位置識別情報で識別される停車位置（以下、注目停車位置）に停車する自動運転車両３０の３Ｄモデルデータと運行スケジュール情報とを読み出す。次いで、車両管理サーバ４０は、読み出した運行スケジュール情報から、注目停車位置に関する到着・出発時刻を抽出することで停車スケジュール情報を生成する。そして、車両管理サーバ４０は、生成した停車スケジュール情報と車両管理ＤＢ４１から読み出してある３Ｄモデルデータとを情報処理装置１０に返送し、それらの情報を受信した制御部１５は、ステップＳ１０４の処理を終了する。 More specifically, control unit 15 transmits a predetermined information request including the identified identification mark (character string) to vehicle management server 40 . Upon receiving this information request, the vehicle management server 40 treats the character string (identification mark) included in the information request as stop position identification information, and retrieves the stop position identified by the stop position identification information from the vehicle management DB 41 ( Hereafter, the 3D model data and operation schedule information of the automatically driven vehicle 30 that stops at the stop position of interest) are read. Next, the vehicle management server 40 generates stop schedule information by extracting the arrival/departure times for the target stop position from the read operation schedule information. Then, the vehicle management server 40 returns the generated stop schedule information and the 3D model data read from the vehicle management DB 41 to the information processing device 10, and the control unit 15 having received these information performs the processing of step S104. finish.

ステップＳ１０４の処理を終えた制御部１５は、車両管理サーバ４０から取得した情報を用いて、注目停車位置に停車予定の自動運転車両３０の画像と到着時刻（到着時刻を示す画像）とを撮影画像に重畳させた重畳画像を生成して表示入力部１４のディスプレイ上に表示する（ステップＳ１０５）。なお、制御部１５が生成する重畳画像は、注目停車位置に停車予定の自動運転車両３０（以下、注目車両と表記する）が実際に停車領域マーク内に停車しているように見える、当該注目車両の停車領域マーク内への、現在時刻以降の最も近い到着時刻のみが示される画像である。既に説明したように、車両管理ＤＢ４１内には、各自動運転車両３０の３Ｄモデルデータとして、自動運転車両３０の側面等に描かれている店舗名や販売する商品名等も再現可能なデータが記憶されている。従って、ステップＳ１０４の処理によりディスプレイに重畳画像が表示されると、ユーザは、重畳画像から、注目車両が、どのようなサービスのための車両であるかと当該注目車両がいつ注目停車位置に停車するかを把握することができる。 After completing the process of step S104, the control unit 15 uses the information acquired from the vehicle management server 40 to capture an image of the automatically driven vehicle 30 scheduled to stop at the target stop position and the arrival time (image indicating the arrival time). A superimposed image superimposed on the image is generated and displayed on the display of the display input unit 14 (step S105). Note that the superimposed image generated by the control unit 15 is such that the automatically driven vehicle 30 scheduled to stop at the target stop position (hereinafter referred to as the target vehicle) actually appears to be stopped within the stop area mark. It is an image showing only the nearest arrival time after the current time within the stop area mark of the vehicle. As already explained, the vehicle management DB 41 contains 3D model data for each automatically driven vehicle 30 that can reproduce the name of the store, the name of the product to be sold, etc. drawn on the side of the automatically driven vehicle 30. remembered. Therefore, when the superimposed image is displayed on the display by the process of step S104, the user can determine from the superimposed image what kind of service the vehicle of interest is for and when the vehicle of interest will stop at the vehicle of interest. It is possible to grasp whether

重畳画像をディスプレイ上への表示を終えた制御部１５は、ユーザによる指示入力を待機する（ステップＳ１０７）。そして、制御部１５は、ユーザによって再撮影が指示された場合（ステップＳ１０７；再撮影）には、ステップＳ１０１からの処理を開始し、ユーザによって情報提供処理の終了が指示された場合（ステップＳ１０７；終了）には、情報提供処理を終了する。 After displaying the superimposed image on the display, the control unit 15 waits for an instruction input by the user (step S107). Then, when the user instructs re-imaging (step S107; re-imaging), the control unit 15 starts the processing from step S101, and when the user instructs to end the information provision processing (step S107). ; End) ends the information providing process.

また、流れ図（図３）への表記は省略してあるが、制御部１５は、重畳画像をディスプレイ上への表示後、所定の指示が入力された場合には、経路表示処理を行う。この経路表示処理時、制御部１５は、注目停車位置に停車する自動運転車両３０の現在位置、現在位置から注目停車位置までの走行経路及び現在位置と注目停車位置とを含む範囲の地図データを車両管理サーバ４０から取得する。そして、制御部１５は、取得した情報に基づき、図４に示したような画像を、ディスプレイに表示する。すなわち、制御部１５は、自動運転車両３０の現在位置（白丸）や注目停車位置までの走行経路（矢印）が示された地図と縮小された重畳画像とをディスプレイに表示させる。 Although not shown in the flowchart (FIG. 3), the control unit 15 performs route display processing when a predetermined instruction is input after displaying the superimposed image on the display. During this route display process, the control unit 15 displays the current position of the automatically driven vehicle 30 stopping at the target stop position, the travel route from the current position to the target stop position, and the map data of the range including the current position and the target stop position. Obtained from the vehicle management server 40 . Then, the control unit 15 displays an image as shown in FIG. 4 on the display based on the acquired information. That is, the control unit 15 causes the display to display a map showing the current position (white circle) of the automatic driving vehicle 30 and the travel route (arrow) to the target stop position, and a reduced superimposed image.

上記内容の経路表示処理を終えた制御部１５は、ユーザによる指示入力を待機する状態となる。そして、制御部１５は、ユーザによって重畳画像の再表示が指示された場合には、重畳画像を再度ディスプレイに表示させてから、ステップＳ１０７にて、ユーザによる指示入力を待機する。 The control unit 15, which has completed the route display processing described above, enters a state of waiting for an instruction input by the user. Then, when the user instructs to redisplay the superimposed image, the control unit 15 displays the superimposed image on the display again, and then waits for an instruction input by the user in step S107.

以上、説明したように、本実施形態に係る情報処理装置１０は、ユーザにより停車領域マークが存在する範囲（領域）が撮影された場合、当該範囲内に自動運転車両３０が停車している様子を示す重畳画像をディスプレイに表示する。そして、重畳画像には、自動運転車両３０の停車予定時刻（到着時刻）も示されるので、ユーザは、重畳画像から、撮影範囲の停車領域マークが示している停車領域に停車する自動運転車両３０が、どのようなサービスのための車両であるかと当該自動運転車両３０がいつ到着するのかを把握するこ
とができる。従って、情報処理装置１０よれば、乗合バスや無人店舗として運用されている各自動運転車両３０をより利用し易くすることが可能となる。 As described above, the information processing apparatus 10 according to the present embodiment, when the user captures an image of a range (region) in which the stop region mark exists, indicates that the automatically driving vehicle 30 is stopped within the range. is displayed on the display. Since the superimposed image also shows the scheduled stop time (arrival time) of the automatically driven vehicle 30, the user can, from the superimposed image, determine whether the automatically driven vehicle 30 stops in the stop area indicated by the stop area mark in the shooting range. However, it is possible to grasp what kind of service the vehicle is for and when the automatic driving vehicle 30 will arrive. Therefore, according to the information processing device 10, it is possible to make it easier to use each automatically driven vehicle 30 operated as a shared bus or an unmanned store.

《変形例》
上記した実施形態に係る情報処理装置１０は、各種の変形が可能なものである。例えば、図３のステップＳ１０４の処理を、車両管理サーバ４０から、自動運転車両３０の３Ｄモデルデータではなく、自動運転車両３０の外観画像を取得する処理に変形しても良い。また、情報処理装置１０の記憶部２０に、各種自動運転車両３０の３Ｄモデルデータ又は外観画像を記憶した上で、ステップＳ１０４の処理を、車両管理サーバ４０から、自動運転車両３０の３Ｄモデルデータではなく、自動運転車両３０の種類を示す情報を取得する処理に変形しても良い。換言すれば、ステップＳ１０４の処理で車両管理サーバ４０から、停車スケジュール情報と共に取得する情報は、停車領域マークによりその位置が示されている停車領域に停車する自動運転車両３０の種類及び／又は外観を示す情報であれば良い。 <<Modification>>
The information processing apparatus 10 according to the embodiment described above can be modified in various ways. For example, the process of step S104 in FIG. 3 may be modified to acquire an appearance image of the automatically driven vehicle 30 instead of the 3D model data of the automatically driven vehicle 30 from the vehicle management server 40 . In addition, after storing the 3D model data or appearance images of various automatically driven vehicles 30 in the storage unit 20 of the information processing device 10, the process of step S104 is performed from the vehicle management server 40 to the 3D model data of the automatically driven vehicle 30. Instead, the processing may be modified to acquire information indicating the type of the automatically driven vehicle 30 . In other words, the information acquired together with the stop schedule information from the vehicle management server 40 in the process of step S104 is the type and/or appearance of the automatically driven vehicle 30 that stops in the stop area whose position is indicated by the stop area mark. Any information that indicates

上記した停車領域マークは、いわゆる路面標識であったが、情報処理装置１０を、道路標識タイプの停車領域マークに対応した装置や、路面標識タイプの停車領域マークと道路標識タイプの停車領域マークとに対応した装置に変形しても良い。なお、標識タイプの停車領域マークを採用する場合には、例えば、当該停車領域マークの前方（正面側）の領域を、自動運転車両３０の停車領域（自動運転車両３０の外観画像を重畳させる領域）として取り扱うように、情報処理装置１０（制御部１５）を構成しておけば良い。 The stop area mark described above is a so-called road sign, but the information processing device 10 can be used as a device corresponding to a road sign type stop region mark, a road sign type stop region mark and a road sign type stop region mark. You may transform into the device corresponding to. When a sign type stop area mark is adopted, for example, the area in front (front side) of the stop area mark is designated as the stop area of the automatically driving vehicle 30 (the area where the appearance image of the automatically driving vehicle 30 is superimposed). ), the information processing apparatus 10 (control unit 15) may be configured.

ディスプレイに表示される重畳画像を、車両管理サーバ４０から取得した停車スケジュール情報中の複数の時刻（全時刻等）が示される画像としても良い。また、経路表示処理により表示される画面（図４）を、他の構成の画面（例えば、縮小された重畳画像が表示されない画面）としても良い。 The superimposed image displayed on the display may be an image showing multiple times (such as all times) in the stop schedule information acquired from the vehicle management server 40 . Also, the screen displayed by the route display process (FIG. 4) may be a screen having another configuration (for example, a screen in which a reduced superimposed image is not displayed).

本開示において説明した処理や手段は、技術的な矛盾が生じない限りにおいて、自由に組み合わせて実施することができる。 The processes and means described in the present disclosure can be freely combined and implemented as long as there is no technical contradiction.

また、１つの装置が行うものとして説明した処理が、複数の装置によって分担して実行されてもよい。あるいは、異なる装置が行うものとして説明した処理が、１つの装置によって実行されても構わない。コンピュータシステムにおいて、各機能をどのようなハードウェア構成（サーバ構成）によって実現するかは柔軟に変更可能である。 Also, the processing described as being performed by one device may be shared and performed by a plurality of devices. Alternatively, processes described as being performed by different devices may be performed by one device. In a computer system, it is possible to flexibly change the hardware configuration (server configuration) to implement each function.

本発明は、上記の実施形態で説明した機能を実装したコンピュータプログラムをコンピュータに供給し、当該コンピュータが有する１つ以上のプロセッサがプログラムを読み出して実行することによっても実現可能である。このようなコンピュータプログラムは、コンピュータのシステムバスに接続可能な非一時的なコンピュータ可読記憶媒体によってコンピュータに提供されてもよいし、ネットワークを介してコンピュータに提供されてもよい。非一時的なコンピュータ可読記憶媒体は、例えば、磁気ディスク（フロッピー（登録商標）ディスク、ハードディスクドライブ（ＨＤＤ）等）、光ディスク（ＣＤ－ＲＯＭ、ＤＶＤディスク、ブルーレイディスク等）など任意のタイプのディスク、読み込み専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、ＥＰＲＯＭ、ＥＥＰＲＯＭ、磁気カード、フラッシュメモリ、光学式カード、電子的命令を格納するために適した任意のタイプの媒体を含む。 The present invention can also be implemented by supplying a computer program implementing the functions described in the above embodiments to a computer, and reading and executing the program by one or more processors of the computer. Such a computer program may be provided to the computer by a non-transitory computer-readable storage medium connectable to the system bus of the computer, or may be provided to the computer via a network. A non-transitory computer-readable storage medium is any type of disk such as, for example, a magnetic disk (floppy disk, hard disk drive (HDD), etc.), an optical disk (CD-ROM, DVD disk, Blu-ray disk, etc.), Including read only memory (ROM), random access memory (RAM), EPROM, EEPROM, magnetic cards, flash memory, optical cards, any type of medium suitable for storing electronic instructions.

１０情報処理装置
１１無線通信部
１２撮影部
１３ＧＰＳ受信部
１４表示入力部
１５制御部
１６通話処理部
１７スピーカ
１８マイクロホン
２０記憶部
２５情報提供プログラム
３０自動運転車両
４０車両管理サーバ
４１車両管理データベース
５０通信ネットワーク REFERENCE SIGNS LIST 10 information processing device 11 wireless communication unit 12 photographing unit 13 GPS receiving unit 14 display input unit 15 control unit 16 call processing unit 17 speaker 18 microphone 20 storage unit 25 information providing program 30 self-driving vehicle 40 vehicle management server 41 vehicle management database 50 communication network

Claims

From the image captured by the imaging device, search for a marker figure that includes identification marks of itself and others and that indicates the position of the stop area of at least one type of automatic driving vehicle among a plurality of types of automatic driving vehicles. and
Based on the identification mark included in the searched marker graphic, the vehicle is stopped in the stop area whose position is indicated by the marker graphic from the management device that manages the operation status of the plurality of types of automatic driving vehicles. Acquiring vehicle information indicating the type and/or appearance of an automated driving vehicle and schedule information indicating a schedule for stopping the automated driving vehicle in the stop area;
superimposing an image showing a state in which the automatically driven vehicle is stopped in the stop area on the stop area included in the captured image based on the acquired vehicle information ; and further adding the schedule information. Based on, superimposing at least one scheduled stop time of the automatic driving vehicle to the stop area on the captured image, and displaying the obtained superimposed image on the screen of a display device;
An information processing apparatus comprising a control unit that executes