[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP2020112507A - 案内文生成装置、案内システム、案内文生成方法及びプログラム - Google Patents

案内文生成装置、案内システム、案内文生成方法及びプログラム Download PDF

Info

Publication number
JP2020112507A
JP2020112507A JP2019005169A JP2019005169A JP2020112507A JP 2020112507 A JP2020112507 A JP 2020112507A JP 2019005169 A JP2019005169 A JP 2019005169A JP 2019005169 A JP2019005169 A JP 2019005169A JP 2020112507 A JP2020112507 A JP 2020112507A
Authority
JP
Japan
Prior art keywords
node
route
sentence
guidance
guide
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019005169A
Other languages
English (en)
Inventor
明日香 三宅
Asuka Miyake
明日香 三宅
美佐 平尾
Misa Hirao
美佐 平尾
裕也 南
Hironari Minami
裕也 南
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2019005169A priority Critical patent/JP2020112507A/ja
Priority to PCT/JP2020/000869 priority patent/WO2020149257A1/ja
Priority to US17/423,166 priority patent/US20220128375A1/en
Publication of JP2020112507A publication Critical patent/JP2020112507A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3626Details of the output of route guidance instructions
    • G01C21/3632Guidance using simplified or iconic instructions, e.g. using arrows
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3626Details of the output of route guidance instructions
    • G01C21/3644Landmark guidance, e.g. using POIs or conspicuous other objects
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3626Details of the output of route guidance instructions
    • G01C21/3641Personalized guidance, e.g. limited guidance on previously travelled routes
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0968Systems involving transmission of navigation instructions to the vehicle
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B29/00Maps; Plans; Charts; Diagrams, e.g. route diagram
    • G09B29/10Map spot or coordinate position indicators; Map reading aids

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Navigation (AREA)
  • Instructional Devices (AREA)

Abstract

【課題】より見つけやすく確信が持てるルート上の事物を用いて案内する。【解決手段】ユーザに対する案内文を生成する案内文生成装置は、出発地と、進行方向が変わる曲がり角又は/及び突き当たりと、目的地とをノードとして表現したときの、出発地から目的地までのノードと、ノードをつなぐ経路上に存在する事物を分類するための種別であり、グローバル・ブランド、万国共通のサイン・施設、日本特有のオブジェクト、英数字表記のある店舗・施設、及び、これらのいずれにも該当しない店舗・施設・オブジェクトの少なくともいずれかに分類される種別を含む地理情報と、を含むルートを生成するルート生成部と、前記生成されたルート、前記生成されたルート上の前記地理情報、及び前記地理情報の種別に紐付けられた地理情報の提示の優先順位に基づいて、前記生成されたルートの案内文を生成する案内文生成部とを含む。【選択図】図1

Description

本発明は、案内文生成装置、案内システム、案内文生成方法及びプログラムに関する。
従来より、携帯端末等を用いた歩行者用のナビゲーションシステムが提案されている。その中でも、端末を歩きながら操作することの危険性から、端末の画面を用いずに音声でナビゲーションする技術が求められている。例えば特許文献1では、現在地から目的地までの目印となるランドマークを含んだ案内言語情報を自動的に作成し、案内言語情報を音声で出力するシステムが記載されている。
このようなナビゲーションシステムは、ユーザの普段の生活圏内で利用されるだけでなく、国内外を含めた旅行先でも必要となる。例えば非特許文献1では外国人向けのナビゲーションシステムが記載されており、非特許文献2では国・地域・性別・年代等のユーザ属性に応じたナビゲーションシステムが記載されている。
特開2000−46567号公報
「訪日外国人向け『NAVITIME for Japan Travel』、徒歩ルートの音声ナビゲーションと、カーナビゲーション機能を追加」,インターネット<URL:http://corporate.navitime.co.jp/topics/pr/201807/31_4519.html>,平成30年10月9日検索 飯田啓量,櫻田健,廣井慧,河口信夫.音声ナビゲーションにおけるユーザ属性を考慮したランドマーク提示手法の提案.マルチメディア,分散,協調とモバイル(DICOMO2016)シンポジウム,pp782-788,2016.
非特許文献1記載の技術では、訪日外国人に対して、徒歩ルートの音声ナビゲーションやカーナビゲーション機能を提供している。しかし、訪日外国人向けの対応は文字や音声の翻訳に留まり、日本語が読めてその土地に慣れ親しんでいる日本人へのナビゲーションと、意味的には同じ内容となる。そのため、日本語でしか書かれていない看板の店舗や、英語で書かれてあっても見慣れない個人商店などをランドマークとした案内では、ランドマークを見つけられなかったり、見つけられたとしても確信が持てずに、迷ってしまう可能性がある。
一方で、非特許文献2記載の技術では、ユーザ属性として興味・嗜好を取り上げ、興味や嗜好に応じて認識しやすいランドマークを、協調フィルタリングを用いて推定する方法が記載されている。この方法を用いて訪日外国人にとって認識しやすいランドマークを推定することは可能である。しかし、協調フィルタリング等の機械学習を用いる場合、事前にナビゲーションシステムを利用するユーザ当人に特化させるための学習用に大量のデータが必要となってしまう。また、協調フィルタリングでは基本的にユーザの行動に基づいて推定するため、新たな店舗など学習に使用されなかったランドマークが出てきたときは、再度学習をする必要がある。
本発明は、その土地に慣れ親しんでいない状況でのナビゲーションにおいて、より見つけやすく確信が持てるルート上の事物を用いて案内することを目的とする。
本発明の一形態に係る案内文生成装置は、
ユーザに対する案内文を生成する案内文生成装置であって、
出発地と、進行方向が変わる曲がり角又は/及び突き当たりと、目的地とをノードとして表現したときの、出発地から目的地までのノードと、
ノードをつなぐ経路上に存在する事物を分類するための種別であり、グローバル・ブランド、万国共通のサイン・施設、日本特有のオブジェクト、英数字表記のある店舗・施設、及び、これらのいずれにも該当しない店舗・施設・オブジェクトの少なくともいずれかに分類される種別を含む地理情報と、
を含むルートを生成するルート生成部と、
前記生成されたルート、前記生成されたルート上の前記地理情報、及び前記地理情報の種別に紐付けられた地理情報の提示の優先順位に基づいて、前記生成されたルートの案内文を生成する案内文生成部と、
を含むことを特徴とする。
本発明の一形態に係る案内システムは、
ユーザに対する案内文を生成する案内文生成装置と、当該ユーザに案内文を出力する案内文出力装置とを含む案内システムであって、
前記案内文生成装置は、
出発地と、進行方向が変わる曲がり角又は/及び突き当たりと、目的地とをノードとして表現したときの、出発地から目的地までのノードと、
ノードをつなぐ経路上に存在する事物を分類するための種別であり、グローバル・ブランド、万国共通のサイン・施設、日本特有のオブジェクト、英数字表記のある店舗・施設、及び、これらのいずれにも該当しない店舗・施設・オブジェクトの少なくともいずれかに分類される種別を含む地理情報と、
を含むルートを生成するルート生成部と、
前記生成されたルート、前記生成されたルート上の前記地理情報、及び前記地理情報の種別に紐付けられた地理情報の提示の優先順位に基づいて、前記生成されたルートの案内文を生成する案内文生成部と、
を含み、
前記案内文出力装置は、
ユーザの現在地を取得する現在地取得部と、
前記案内文生成装置において生成されたルートを取得し、当該取得されたルート、前記取得された現在地に基づいて、案内文を通知するタイミングを判断する通知判断部と、
案内文を通知するタイミングにおいて、前記案内文生成装置によって生成された案内文を出力する出力部と、
を含むことを特徴とする。
本発明の一形態に係る案内文生成方法は、
ユーザに対する案内文を生成する案内文生成装置における案内文生成方法であって、
出発地と、進行方向が変わる曲がり角又は/及び突き当たりと、目的地とをノードとして表現したときの、出発地から目的地までのノードと、
ノードをつなぐ経路上に存在する事物を分類するための種別であり、グローバル・ブランド、万国共通のサイン・施設、日本特有のオブジェクト、英数字表記のある店舗・施設、及び、これらのいずれにも該当しない店舗・施設・オブジェクトの少なくともいずれかに分類される種別を含む地理情報と、
を含むルートを生成するステップと、
前記生成されたルート、前記生成されたルート上の前記地理情報、及び前記地理情報の種別に紐付けられた地理情報の提示の優先順位に基づいて、前記生成されたルートの案内文を生成するステップと、
を含むことを特徴とする。
本発明の一形態に係るプログラムは、
上記の案内文生成装置の各部としてコンピュータを機能させることを特徴とする。
本発明によれば、その土地に慣れ親しんでいない状況でのナビゲーションにおいて、より見つけやすく確信が持てるルート上の事物を用いて案内することが可能になる。
本発明の実施の形態における案内装置の機能構成例を示す図である。 案内装置が実行する処理手順の一例を示すフローチャート(その1)である。 経路情報の例を示す図である。 地理情報の例を示す図である。 ルート生成部が生成するルートの例を示す図である。 案内装置が実行する処理手順の一例を示すフローチャート(その2)である。 案内文を生成する処理手順の一例を示すフローチャートである。 ノード1における案内文の生成例を示す図である。 ノード2における案内文の生成例を示す図である。 ノード3における案内文の生成例を示す図である。 地理情報の優先順位の例を示す図である。 案内文を更新する処理手順の一例を示すフローチャートである。 案内文の更新例を示す図(現在地がノード1から70m進んだ地点の場合)である。 各種の案内文を提示する範囲を示す図である。 案内装置のハードウェア構成例を示す図である。
以下、図面に基づいて本発明の実施の形態を説明する。本実施の形態では、訪日外国人に対して出発地から目的地までの案内を行う案内装置について説明する。利用のユースケース例として、訪日外国人は歩行中にはポケットや鞄に案内装置を入れ、案内装置に接続されたイヤホンなどから位置情報に基づいた音声出力を受け取ることを想定している。なお、本実施の形態では、訪日外国人に対する音声案内を例に挙げて説明するが、本発明は、訪日外国人に対する音声案内に限らず、文字が読めない子供や、外国を訪れた旅行者など、その土地に慣れ親しんでいない状況におかれた人にも適用可能である。
<案内装置の機能構成>
図1は、本発明の実施の形態における案内装置100の機能構成例を示す図である。案内装置100は、訪日外国人などのユーザに対する案内文を生成し、適切なタイミングでユーザに対して通知を行い、出発地から目的地までの案内文を出力する装置である。以下の説明において、出発地と、進行方向が変わる曲がり角又は/及び突き当たりと、目的地とをノードとして表現する。案内文は、目印となる地理情報を用いてノードにおいて進行方向や道順などを提示する文章(以下、出発地において提示する文章を「出発地の文章」と呼び、出発地及び目的地を除くノードにおいて提示する文章を「ノードの文章」と呼ぶ)、ノード間の途中の目印となる地理情報を提示する文章(以下、「途中の文章」と呼ぶ)、ノードの手前において次曲がる方向などを提示する文章(以下、「ノード手前の文章」と呼ぶ)などを含む。地理情報には、ノードをつなぐ経路上に存在するランドマークなどの事物の名称を表す地理情報名と、地理情報名に紐付けられた種別などが含まれる。
図1に示すように、案内装置100は、機能部として、画面入力部101と、ルート生成部103と、案内文生成部105と、案内制御部107と、出力部109とを含み、記憶部として、経路情報記憶部151と、地理情報記憶部153と、ルート記憶部155と、案内文記憶部157とを含む。案内制御部107は、現在地取得部107−1と、方位取得部107−2と、通知判断部107−3とを含む。出力部109は、通知出力部109−1と、案内文出力部109−2と、音声合成部109−3と、音声出力部109−4とを含む。
画面入力部101は、訪日外国人などのユーザからの入力命令の受け付けを常時待機している。出発地、目的地、及び案内の開始を指示する命令が入力された場合には、直ちにルート生成部103に対して、出発地及び目的地の名称の情報(以下、出発地の名称の情報を「出発地」、目的地の名称の情報を「目的地」と記載する)、及び出発地から目的地までのルートを生成させる指示を生成し、案内開始命令として出力する。案内の終了を指示する命令が入力された場合には、直ちに案内文生成部105に対して、案内文の生成を終了させる指示を生成し、案内終了命令として出力する。案内文の読み上げを指示する命令が入力された場合には、直ちに案内文生成部105に対して、案内文を出力部109から出力させる指示を生成し、読み上げ命令として出力する。
ルート生成部103は、画面入力部101からの案内開始命令、経路情報記憶部151からの経路情報、及び地理情報記憶部153からの地理情報を入力とし、出発地から目的地までのルート、及びルート上の地理情報を出力する。具体的には、ルート生成部103は、画面入力部101から出発地及び目的地を含む案内開始命令が入力された場合、経路情報を記憶する経路情報記憶部151と、地理情報を記憶する地理情報記憶部153とを参照して、出発地から目的地までのルートを生成し、地理情報と共にルート記憶部155に記憶する。ルートは、歩行距離が最短となるルートでもよいし、曲がる回数が最も少なくなるルートなどでもよい。具体的には、ルート記憶部155には、出発地から目的地までのノードと、ルート上の地理情報とが保存される。更に、生成されたルートは、案内文生成部105にも出力される。
案内文生成部105は、ルート生成部103において生成されたルート、及びルート上の地理情報を入力とし、ルートの案内文(テキスト情報)を出力する。また、案内文生成部105は、ルート記憶部155に保存されたルート、及びルート上の地理情報と、案内制御部107からの現在地及び方位を入力とし、案内文を更新し、更新した案内文を出力する。また、案内文生成部105は、画面入力部101からの読み上げ命令を入力とし、音声合成部109−3へ案内文を出力する。さらに、案内文生成部105は、画面入力部101からの案内終了命令を入力とし、案内文の生成を終了する。
具体的には、案内文生成部105は、ルート生成部103において生成されたルート、ルート上の地理情報、及び事前に設定された地理情報の提示の優先順位に基づいて、ルートの案内文を生成する。地理情報の提示の優先順位は、ユーザにとって見つけやすい事物が案内文に含まれるようにするためのものであり、以下に詳細に説明するように、案内に利用する事物に対する視覚による認識のしやすさに基づいて、事前に設定しておく。地理情報は、例えば、グローバル・ブランド(グローバル展開の店舗など)、万国共通のサイン・施設(トイレ、駐車場、公園、交番、インフォメーション、駅、踏み切りなど)、日本特有のオブジェクト(寺院、神社など)、英数字表記のある店舗・施設(英単語や数字や頭文字が入っている店舗・施設、英単語でないローマ字表記の店舗・施設など)、及び、これらのいずれにも該当しない店舗・施設・オブジェクト、例えば、名前の表記がない構造物、英数字表記のない店舗・施設(ローマ字表記でない店舗・施設など)、形状に特徴を有する道、色に特徴を有する道、の少なくともいずれかの種別に分類される。1つの店舗・施設・オブジェクトが複数の種別に属してもよい。例えば、グローバル・ブランドの種別に分類される地理情報は訪日外国人にとって見つけやすいため、地理情報の提示の優先順位は高く設定され、案内文に含まれやすくする。一方、名前の標記がない構造物、英数字表記のない店舗・施設、形状に特徴を有する道、色に特徴を有する道などに分類される地理情報は訪日外国人にとって見つけにくいため、地理情報の提示の優先順位は低く設定される。また、上記のように訪日外国人にとって見つけにくい地理情報はその地理情報名で訪日外国人に案内文を提示しても理解されない可能性があるため、案内文生成部105は、地理情報のカテゴリ、色及び/又は大きさを用いて案内文を生成する。このように、地理情報の提示の優先順位は地理情報の種別に紐付けられて設定される。1つの店舗・施設・オブジェクトが複数の種別に属する場合、複数の種別に紐付けられた複数の優先順位のうち最も優先順位が高いものを用いる。地理情報の提示の優先順位は、図示しない優先順位記憶部に記憶されており、案内文生成部105で読みだされて使用される。地理情報の提示の優先順位は、装置を使用する訪日外国人の日本語又は日本文化の理解の程度に合わせて、図示しない優先順位設定変更部により変更可能であるものとする。例えば、日本語又は日本文化の理解の程度を5段階に分け、各段階に合わせた優先順位を設定しておき、優先順位設定変更部は、装置を使用する訪日外国人に自身の日本語又は日本文化の理解の程度に合わせた段階を選択させることによって、優先順位記憶部に記憶される優先順位を変更する。各段階に合わせた優先順位とは、例えば、日本語又は日本文化の理解の程度が高いほど、日本特有のオブジェクトや、英数字表記のない店舗・施設の中でも日本語表記のある店舗・施設の優先順位を高めるようにすることである。地理情報の提示の優先順位の変更方法はこれに限るものではなく、各優先順位を個別に設定できるようにするなどしてもよい。
また、案内文生成部105は、後述する案内制御部107が現在地又は方位の変化を検出したときに案内制御部107から現在地及び方位を取得し、案内文を更新する。なお、案内文生成部105は、案内文を更新するためのユーザから入力された命令を受信したとき、特定の種別の地理情報を通過したとき、曲がり角又は/及び突き当たりを通過したとき等の任意のタイミングで案内文を更新してもよい。案内文の生成及び更新については後述する。
案内文生成部105は、生成した案内文を、案内文記憶部157に保存し、案内制御部107からの通知判断の入力を受け付けた場合に、受け付けた時点で案内文記憶部157から案内文を読み出し、案内文出力部109−2及び音声合成部109−3に出力する。また、案内文生成部105は、画面入力部101から読み上げ命令を受け付けた場合に、受け付けた時点で案内文記憶部157から案内文を取得し、音声合成部109−3に出力する。さらに、案内文生成部105は、画面入力部101から案内終了命令を受け付けた場合に、受け付けた時点で案内文の生成を終了する。
案内制御部107は、現在地取得部107−1、方位取得部107−2、及び通知判断部107−3から構成される。案内制御部107は、画面入力部101からの案内開始命令、及び案内終了命令を入力とし、ユーザの現在地、方位、案内文を通知するタイミングを示す通知判断を出力する。案内制御部107は、画面入力部101からの案内開始命令を受け付けると、案内終了命令を受け付けるまでの間、所定の時間間隔で、ユーザの現在地及び方位を案内文生成部105に出力すると共に、ルート記憶部155に保存されたルート、ユーザの現在地及び方位に基づいて、案内文を通知するタイミングを判断する。
現在地取得部107−1は、画面入力部101からの案内開始命令、及び案内終了命令を入力とし、現在地を出力する。現在地取得部107−1は、ユーザの現在地(例えば、緯度経度)を所定の時間間隔で取得し、通知判断部107−3に出力する。現在地取得部107−1は、例えば、GPSによって現在地を取得できる。現在地の変化を検出したときは、案内文の更新のために現在地を案内文生成部105に出力する。ここで、所定の時間間隔は、例えば、秒速1mで歩行する場合に1m間隔で距離の更新が可能なようにするためには1秒おきとする。また、「現在地の変化を検出したとき」とは、例えば、前回取得した現在地からの差分となる距離が所定の閾値を超えた場合とする。所定の閾値とは、例えば、1m間隔で距離の更新を行うためには、1mとする。
方位取得部107−2は、画面入力部101からの案内開始命令、及び案内終了命令を入力とし、方位を出力する。方位取得部107−2は、ユーザの方位(例えば、ユーザの向き)を取得し、通知判断部107−3に出力する。方位取得部107−2は、例えば、現在地の変化からユーザの進行方向を推定し、ユーザが進行方向に向いているとみなして方位を決定することができる。方位の変化を検出したときは、案内文の更新のために方位を案内文生成部105に出力する。「方位の変化を検出したとき」とは、例えば、前回取得した方位からの差分となる角度が所定の閾値を超えた場合とする。所定の角度とは、例えば、クロックポジション(アナログ時計の針の向きで12等分した方向)で表現することを想定し、1時間分となる30°とする。
通知判断部107−3は、現在地取得部107−1からの現在地、方位取得部107−2からの方位、及びルート記憶部155に保存されたルートを入力とし、案内文を通知するタイミングを示す通知判断、及び通知命令を出力する。通知判断部107−3は、現在地取得部107−1が取得したユーザの現在地とルート上の通知地点(例えば、各ノード、出発地以外のノードの手前20m地点、ノード間の途中の目印となる地理情報の手前10m地点)とを比較し、ユーザの現在地がルート上の通知地点にあるか否かを判定し、ユーザの現在地がルート上の通知地点にある場合に、ユーザに通知が必要であると判断する。通知判断部107−3は、ユーザへの通知が必要と判断した場合、案内文生成部105に通知判断を出力し、通知出力部109−1に通知音や光、振動などを出力させる命令である通知命令を出力する。
出力部109は、通知出力部109−1、案内文出力部109−2、音声合成部109−3、及び音声出力部109−4から構成される。出力部109は、通知判断部107−3からの通知命令、及び案内文生成部105から出力された案内文を入力とし、案内文を出力することの通知、及び、案内文を出力する。読み上げ命令に応じて案内文生成部105が音声合成部109−3に対して案内文を出力した場合は、案内出力部109−4により取得した案内文を音声で出力する。
通知出力部109−1は、通知判断部107−3からの通知命令を入力とし、通知音や光、振動などを出力する。ユーザは、通知音や光、振動などによって案内文を受け取るタイミングを認識することができ、上記のルート上の通知地点以外の地点であっても案内文を聞くことができるように、読み上げ命令を画面入力部101に入力することができる。
案内文出力部109−2は、案内文生成部105からの案内文を入力とし、案内文生成部105から受け取った案内文を画面上に出力(表示)する。
音声合成部109−3は、案内文生成部105からの案内文を入力とし、読み上げ命令に応じて案内文生成部105から受け取った案内文から、合成音声信号を生成し、合成音声信号を出力する。
音声出力部109−4は、音声合成部109−3からの合成音声信号を入力とし、合成音声を出力する。
<案内装置の処理手順>
以下、案内装置100が実行する処理手順について更に説明する。
図2は、案内装置100が実行する処理手順の一例を示すフローチャートである。図2のフローチャートは、案内装置100が案内開始命令に応じて案内文を生成して保存する際に、案内装置100が実行する初回のみの処理手順を示す。
ステップS1において、画面入力部101が出発地及び目的地の名称の入力を受け付け、出発地から目的地までのルートを生成させる指示である案内開始命令をルート生成部103に出力する。なお、入力方法はキーボード入力でもよいし、音声入力(入力された音声を音声認識によりテキスト情報に変換)でもよいし、他の入力方法でもよい。
ステップS2では、出発地及び目的地に従って、ルート生成部103が経路情報記憶部151から経路情報を取得し、地理情報記憶部153から地理情報を取得する。図3に経路情報の例を示し、図4に地理情報の例を示す。経路情報には、経路名と、出発地と、目的地と、出発地から目的地までに含まれるノードの緯度経度とが含まれる。地理情報には、地理情報名と、ローマ字表記に関する情報と、地理情報の種別と、カテゴリと、色と、大きさと、線/点と、緯度経度と、左右と、向きとが記憶される。「ローマ字表記」に関する情報は、地理情報名を提示する看板などの標識が、ローマ字表記で且つ英単語であるのか(「英単語」に対応)、ローマ字表記であるが英単語以外であるのか(「ローマ字」に対応)、ローマ字表記以外であるか(「なし」に対応)を示す属性である。数字("123")やローマ字の頭字語("NNN")は英単語と同様に視覚によって認識できるため、英単語として扱う。地理情報の「種別」は、訪日外国人に提示する地理情報を限定する際に用いる分類である。本実施の形態では、グローバル展開のファストフード、カフェ、ゲーム店などを示す「グローバル・ブランド」、トイレ、駐車場、公園、交番、インフォメーション、駅、踏み切りなど世界的に共通しているサインや施設を示す「万国共通のサイン・施設」、寺院、神社など日本特有であるが世界的にも知名度の高い事物を示す「日本特有のオブジェクト」、英単語や数字、頭字語("Hello"、"Apple"、"Red"、"123"、"NNN"など)が名前に入っている店舗・施設を示す「ローマ字表記(英単語)の店舗・施設」、ローマ字表記であるが英単語でない文字("Ohayo"、"Ringo"、"Shibuya"など)が名前に入っている店舗・施設を示す「ローマ字表記(英単語以外)の店舗・施設」、名前の標記がないゲート、タワー、オブジェなどを示す「構造物」、日本語や中国語などローマ字表記でない文字("おはよう"、"寿司"、"ラーメン"など)が名前に入っている店舗・施設を示す「ローマ字表記以外の店舗・施設」、道の形状に特徴がある階段、坂などを示す「道の形状の特徴」、道の色に特徴があるグリーンベルト、スクールゾーン、カラー舗装などを示す「道の色の特徴」の「種別」に分類される。或る地理情報がグローバル・ブランド且つローマ字表記(英単語)の店舗・施設のように複数の種別に分類できる場合、その地理情報の「種別」の中に複数の種別を入れることができる。なお、上記の分類は一例に過ぎず、地理情報の種別は、例えば、「グローバル・ブランド」、「万国共通のサイン・施設」、「日本特有のオブジェクト」、「英数字表記のある店舗・施設」(上記の「ローマ字表記(英単語)の店舗・施設」及び「ローマ字表記(英単語以外)の店舗・施設」を含む)、「これらのいずれにも該当しない店舗・施設・オブジェクト」(上記の「構造物」、「ローマ字表記以外の店舗・施設」、「道の形状の特徴」及び「道の色の特徴」などを含む)に分類されてもよい。「カテゴリ」は地理情報の種別の下位分類に当たり、店舗などが販売するものなどに応じた分類を示す属性である。「色」は看板などの標識の中の最も面積の多い色を示す属性である。「大きさ」は看板などの標識の大きさを示す属性である。本実施例では面積が1m2未満のものは「小」、それ以上のものは「大」の2段階としているが、段階の数やその基準値はこの限りではない。「線/点」は、その地理情報がノード間のリンク上の一地点に存在しているのか(「点」に対応)、ノード間のリンク全体又は一部区間に渡って連続して存在しているのか(「線」に対応)を示す属性である。そのため、階段やグリーンベルトなどは線となっている。「緯度経度」は地理情報の存在する場所の中心地を示す位置情報である。「左右」と「向き」は、その地理情報を規定の方向から見たときに左右のどちら側に存在するか、勾配の向きはどちらかということを示している。なお、本実施の形態では屋外の地理情報を想定しているが、屋内においては、エスカレーターやエレベーターのように館内案内図などの地図に登録されているもの、音や光のようにサインを発するもの、等を地理情報として使用してもよい。ステップS2では、ルート生成部103が出発地と目的地がそれぞれ一致する経路を経路情報記憶部151から取得し、経路の緯度経度から経路上に存在する地理情報を地理情報記憶部153から取得する。
ステップS3ではルート生成部103が出発地、目的地、経路情報及び地理情報からルートを生成する。図5にルート生成部103が生成するルートの例を示す。ルートには、出発地から目的地までのノードと、途中の地理情報が含まれている。なお、本実施の形態では、訪日外国人に対して曲がる方向を案内することを想定しているため、進行方向が変わる曲がり角又は/及び突き当たりはノードとして扱われるが、進行方向が変わらない曲がり角(すなわち、直進すべき曲がり角)はノードとして扱われず、地理情報と同様に扱われる。「ノードの形状」と「次ノードまでの距離」と「次曲がる方向」と「左右」と「向き」は、ノード又は地理情報の「緯度経度」とそれに基づく進行方向から計算される。「ノードの形状」はノード地点と曲がり角地点にのみ記載されており、「次曲がる方向」はノード地点にのみ記載されており、「左右」は地理情報地点にのみ記載されており、「向き」は当該情報を含む地理情報地点にのみ記載されている。なお、「通知地点」は、訪日外国人に通知が必要な地点であり、ここでは全てのノードにおいて通知が必要であるとする。生成されたルートは、ルート生成部103が案内文生成部105に出力し、またルート記憶部155にも保存する。
ステップS4では、案内文生成部105が、ルートから案内文を生成する。案内文を生成するためのフローチャートについては、図7を参照して後述する。
ステップS5では案内文生成部105が出力部109に案内文を出力し、案内文を出力する。このとき、案内文出力部109−2がスマートフォンなどの画面にて案内文を出力するとともに、音声合成部109−3が合成音声信号を生成して音声出力部109−4が自動的に音声読み上げを行う。そして、案内文記憶部157に案内文を保存する。なお、案内文はスマートフォンなどの画面に直接出力されてもよいし、代わりに「音声読み上げ」といったボタンを表示して、ボタン押下(タッチパネル画面のボタンに対応する位置に触れること)による案内文の読み上げを指示する命令を受け付けてもよいし、画面に直接出力しつつ案内文の読み上げを指示する命令を受け付けるボタン等を表示してもよい。ボタンは例えばスマートフォン上で案内文表示領域全体となるように設定しておいてもよい。案内文の読み上げを指示する命令を受け付けた場合には、画面入力部101に案内文の読み上げを指示する命令が入力された場合と同様の動作を行うものとする。
図6は、案内装置100が実行する処理手順の一例を示すフローチャートである。図6は、図2の処理の実行後、案内文の提示が必要なタイミングでの通知と読み上げ命令及び任意のタイミングでの読み上げ命令に応じた案内文の提示、位置情報に応じた案内文の更新を実施する際に、案内装置100が実行する全体の処理手順を示す。
ステップS6では、案内文生成部105が画面入力部101から案内終了命令を受けていないかどうか判断する。例えば、画面上の案内終了ボタンが押されたり、音声コマンドで案内終了命令がなされていないか判断する。案内終了命令を受けていない場合はステップS7に進み、案内終了命令を受けた場合は処理を終了する。
続いてステップS7では、案内文生成部105が画面入力部101から案内文の読み上げ命令を受けていないか判断する。例えば、スマートフォン上で案内文表示領域がタッチされていないかどうか判断する。読み上げ命令を受けた場合はステップS8に進み、読み上げ命令を受けていない場合はステップS11に進む。
ステップS8では、案内文生成部105が案内文記憶部157から、読み上げ命令を受けた案内文を取得し、音声合成部109−3に出力する。
ステップS9では、音声合成部109−3が案内文生成部105から入力された案内文から合成音声信号を生成し、音声出力部109−4に出力する。なお、音声合成システムとして任意の合成システムを使用してもよい。
ステップS10では、音声出力部109−4が音声合成部109−3から入力された合成音声信号を音に変換した合成音声を出力する。例えば、スマートフォンのスピーカーや、イヤホン、ヘッドホンから合成音声を出力する。続いてステップS11に進む。
ステップS11では、案内制御部107の現在地取得部107−1が所定の時間間隔で現在地を取得して通知判断部107−3へ出力し、方位取得部107−2が所定の時間間隔で方位を取得して通知判断部107−3へ出力する。
ステップS12では、案内制御部107が現在地か方位のどちらもしくは両方が変化したかどうかを判断する。いずれも変化していない場合はステップS6に戻り、いずれかが変化した場合はステップS13に進む。
ステップS13では、案内制御部107が変化した現在地と方位を案内文生成部105に出力し、案内文生成部105が案内文を更新する。案内文を更新するためのフローチャートについては、図12を参照して後述する。
ステップS14では、案内文生成部105が案内文記憶部157に更新した案内文を保存する。
ステップS15では、通知判断部107−3がユーザへの通知が必要かを判断する。通知が必要な地点であるかどうかは、ルート上のノードの緯度経度から判断する。通知が必要な地点は、全てのノードと、出発地以外のノードの手前20m地点と、ノード間の途中の目印となる地理情報が存在する場合は目印となる地理情報の手前10m地点である。なお、ノードから当該ノード手前の通知地点までの距離と、途中の目印となる地理情報から当該地理情報の手前の通知地点までの距離はユーザによって個別に設定可能であり、任意に設定可能であるものとする。ユーザの立ち位置からノードや目印となる地理情報が視界に入る範囲であることが望ましい。ただし、交差点の道の幅が広い場合など、ノードの手前の通知地点がノード地点と重ならないように、ノードから当該ノード手前の通知地点までの距離を設定する必要がある。通知判断部107−3は現在地と通知が必要な地点を比較し、通知が必要な場合(すなわち、ユーザがいずれかのノードに到達した場合、及び/又は、ユーザが出発地以外のノードの手前20mに到達した場合、及び/又は、ユーザが途中の目印となる地理情報の手前10mに到達した場合)はステップS16に進み、通知が必要ない場合はステップS6に戻る。
ステップS16では案内制御部107の通知判断部107−3が通知出力部109−1に通知命令を与え、通知出力部109−1が通知を出力する。例えば、スマートフォンの通知音や光、バイブレーションとして出力する。なお、通知は、例えば所定の時間後に停止するようにしてもよいし、訪日外国人が画面操作をすることで停止するようにしてもよいし、訪日外国人が立ち止まったことを検知することで停止するようにしてもよい。通知を出力後はステップS17に進む。なお、ノードの手前20mと途中の目印となる地理情報の手前10mが重なる場合、例えばノードの手前11mに途中の目印となる地理情報が存在するような場合は通知地点が近接するが、両者を順に計2回通知する。
ステップS17では、案内文生成部105が案内文記憶部157から、案内文を取得し、音声合成部109−3に出力する。
ステップS18では、音声合成部109−3が案内文生成部105から入力された案内文から合成音声信号を生成し、音声出力部109−4に出力する。なお、音声合成システムとして任意の合成システムを使用してもよい。
ステップS19では、音声出力部109−4が音声合成部109−3から入力された合成音声信号を音に変換した合成音声を出力する。例えば、スマートフォンのスピーカーや、イヤホン、ヘッドホンから合成音声を出力する。続いてステップS6に戻り、以後ステップS6で案内終了命令を受けない限り処理を続ける。
なお、図6は、案内装置100における一連のフローチャートとして記載されているが、一部の処理は並列に実行される。例えば、ステップS11〜ステップS19の処理は、ステップS7〜S10の実行中であっても同時に実行される。
<案内文の生成>
次に、図2のステップS4において案内文生成部105が実施する案内文の生成について説明する。図7は、案内文を生成する処理手順の一例を示すフローチャートである。
まずステップS4−1で、案内文生成部105がルートから、ノード1からノード2、ノード2からノード3、…、ノードMからノードM+1、…、ノードN-1からノードN(M<Nであり、Mは1以上の整数、Nは2以上の整数である)のように、ノードごとに区切り、N個のノードに対してN-1個の区間を生成する。ここで、1つの区間は、あるノードと、当該ノードに隣接する、進行方向に向かって1つ先のノードとに挟まれた区間のことを意味する。
ステップS4−2において、案内文を生成する区間を表す変数Mを1に設定する。
ステップS4−3において、案内文生成部105がノードMからノードM+2までの2つの区間を取得する。ただし、M+2>Nとなる場合、案内文生成部105はノードMからノードM+1までの1つの区間を取得する。例えば、M=1の場合、図5のルートから、図8に示すようにノード1からノード3までの区間が取得される。なお、後のステップS4−20においてMがインクリメントされ、M=2の場合、図9に示すようにノード2からノード4までの区間が取得され、M=3の場合、図10に示すようにノード3からノード4までの区間が取得される。なお、本実施の形態では、各ノードにおいて次のノードの目印となる地理情報を案内することを想定して、ルート上のノード間の2つの区間が取得される例について説明するが、取得される区間の数は2つに限定されず、1つの区間又は3つ以上の区間が取得されてもよい。
ステップS4−4では、案内文生成部105は、出発地の文章の生成が必要か判断するために、M=1であるかどうか判断する。「出発地の文章」とは、進行方向を固定するための文章と、次のノードまでの道順を案内するための文章とを含む文章である。具体例は後述する。M=1であればステップS4−5に進み、M=1でなければステップS4−7に進む。
ステップS4−5では、案内文生成部105は、ノード1からノード1の後20m(進行方向に向かってノード1を通過した後の20m)までの範囲内に地理情報が存在するかどうか判断する。存在する場合はステップS4−6に進み、存在しない場合はステップS4−9に進む。なお、地理情報が存在するかどうか判断する範囲は、ノード1の地点に立ったときに地理情報が視界に入るようにノード1の後20m以内が望ましいが、次のノードまでの範囲内であれば如何なる値が用いられてもよい。また、取得する地理情報の数は1つに限定されず、複数の地理情報が取得されてもよい。複数の地理情報を取得した場合、案内文生成部105は、取得した複数の地理情報間の距離などの地理情報の関係を用いた案内文を生成してもよい。
ステップS4−6では、案内文生成部105は、地理情報の提示の優先順位に従い、ノード1からノード1の後20mの範囲内の地理情報の中から出発地の目印となる地理情報を選出する。ノード1からノード1の後20mの範囲内に地理情報が複数存在する場合は、優先順位の番号が最も小さい、即ち、優先順位が高いものを選択する。地理情報の提示の優先順位の例を図11に示す。地理情報の提示の優先順位は、地理情報の種別に紐付けられて設定される。例えば、優先順位は、地理情報の視覚の認識のしやすさに基づいて、グローバル・ブランド、万国共通のサイン・施設、日本特有のオブジェクト、ローマ字表記(英単語)の店舗・施設、ローマ字表記(英単語以外)の店舗・施設、構造物、ローマ字表記以外の店舗・施設、道の形状の特徴、道の色の特徴の順に設定される。図11は優先順位の例を示しているに過ぎず、図11とは異なる優先順位が設定されてもよく、複数の地理情報の種別に対して同じ優先順位が設定されてもよい。地理情報の優先順位に対して設定される「分類」は、地理情報が出発地の文章、ノードの文章、ノード手前の文章及び途中の文章に用いることができる地理情報であるか(「どこでも案内」に対応)、原則として途中の文章に用いず、出発地の文章、ノードの文章及びノード手前の文章に用いることができる地理情報であるか(「ノードで案内」に対応)を示す。「ノードで案内」に分類される地理情報は、原則として途中の文章に用いられないが、訪日外国人がノード間の途中にどこでも案内に分類される地理情報がなく、何の目印もなく歩くと不安になると想定される場合に途中の文章に用いることができるものとする。「ノードで案内」は、ローマ字表記の有無に応じて、「ノードで案内(ローマ字表記あり)」及び「ノードで案内(ローマ字表記なし)」に更に分類される。図8の場合では"○○カメラ"のみがノード1からノード1の後20mの範囲内に存在するため、"○○カメラ"の情報を取得しステップS4−9に進む。なお、地理情報の種別や、地理情報の提示の優先順位及び分類は、本実施の形態では訪日外国人に対する調査結果を基にしている。また、地理情報の提示の優先順位及び分類は、案内に利用する事物に対する視覚による認識のしやすさに基づいて設定することもでき、地理情報のうち文字情報を有するものや、色や大きさにより誘目性の高いものは提示の優先順位を高く設定する。また、装置を使用する訪日外国人の日本語や日本文化の理解の程度などによって、訪日外国人自身で地理情報の提示の優先順位及び分類の設定や変更をできるようにしてもよい。
ステップS4−7では、案内文生成部105は、ノードMからノードMの後20mまでの範囲内にノードMを曲がった後の目印となる地理情報が存在するかどうか判断する。存在する場合はステップS4−8に進み、存在しない場合はステップS4−9に進む。なお、地理情報が存在するかどうか判断する範囲は、ノードMの地点でノードM+1の方向を向いて立ったときに地理情報が視界に入るようにノードMの後20m以内が望ましいが、ノードMからノードM+1の範囲であれば、如何なる値が用いられてもよい。また、取得する地理情報の数は1つに限定されず、複数の地理情報が取得されてもよい。2個など決まった複数の地理情報を取得する場合は、優先順位の高い地理情報から選択する。複数の地理情報を取得した場合、案内文生成部105は、取得した複数の地理情報間の距離などの地理情報の関係を用いた案内文を生成してもよい。
ステップS4−8では、案内文生成部105は、図11の優先順位に従い、ノードMからノードMの後20mまでの範囲内の地理情報の中から曲がった後の目印となる地理情報を選出する。ノードMからノードMの後20mまでの範囲内に地理情報が複数存在する場合は、優先順位の番号が最も小さい、即ち、優先順位が高いものを選択する。図9の場合では"○○寿司"のみがノード2からノード2の後20mまでの範囲内に存在するため、"○○寿司"の情報を取得しステップS4−9に進む。図10の場合では"○○ドラッグ"と"××寿司"がノード3からノード3の後20mまでの範囲内に存在するが、優先順位が同じであるため、そのまま2つを取得しステップS4−9に進む。
ステップS4−9では、案内文生成部105は、ノードM+1が突き当たりかどうか判断する。突き当たりである場合は曲がり角の目印となる地理情報を取得せず、ステップS4−12に進む。図9の場合では、ノード3の形状が突き当たりであるため、曲がり角の目印となる地理情報を取得しない。突き当たりでない場合はステップS4−10に進む。
ステップS4−10では、案内文生成部105は、ノードM+1の前10mからノードM+1の後10mまでの範囲内にノードM+1の目印となる地理情報が存在するかどうか判断する。存在する場合はステップS4−11に進み、存在しない場合はステップS4−12に進む。なお、地理情報が存在するかどうか判断する範囲は、ノードM+1の手前10mの地点に立ったときに地理情報が視界に入るようにノードM+1の前後10m以内が望ましいが、ノードMからノードM+1の間のいずれかの地点に立ったときに地理情報が視界に入る範囲であれば、如何なる値が用いられてもよい。また、取得する地理情報の数は1つに限定されず、複数の地理情報が取得されてもよい。複数の地理情報を取得した場合、案内文生成部105は、取得した複数の地理情報間の距離などの地理情報の関係を用いた案内文を生成してもよい。
ステップS4−11では、案内文生成部105は、図11の優先順位に従い、ノードM+1の前10mからノードM+1の後10mまでの範囲内の地理情報の中からノードM+1の目印となる地理情報を選出する。ノードM+1の前10mからノードM+1の後10mまでの範囲内に地理情報が複数存在する場合は、優先順位の番号が最も小さい、即ち、優先順位が高いものを選択する。図8の場合では"郵便局"と"○○寿司"がノード2の前10mからノード2の後10mまでの範囲内に存在するが、ローマ字表記(英単語)の店舗・施設である"郵便局"の方が"○○寿司"よりも優先順位が高いため、"郵便局"の情報を取得しステップS4−12に進む。図10の場合ではノード4の前10mからノード4の後10mまでの範囲内に地理情報が存在しないため、ステップS4−9において何の地理情報も取得せずステップS4−12に進む。
なお、出発地の目印となる地理情報、ノードM+1の目印となる地理情報、ノードMを曲がった後の目印となる地理情報は、優先順位の番号が最も小さい種別の地理情報を選出する。このとき、同一リンク(ノードMからM+1までの直線)内に同じ地理情報名を有する地理情報が複数存在する場合、例えばノードMからノードM+1までの間に駐車場が複数箇所する場合、それらは目印となる地理情報として選出しない。これは、視野の中に同じ地理情報名の地理情報が複数ある場合、目印となる地理情報がどれなのか一意に定まらないからである。また、優先順位の番号が最も小さい種別の地理情報が複数存在する場合は、予め決められた数の地理情報を選出してもよく、最もノードに近いものを選出してもよい。
ステップS4−12では、案内文生成部105は、出発地の文章もしくはノードの文章と、ノード手前の文章を生成する。
出発地の文章は、案内装置100を立ち上げて案内開始命令を入力した際に必ず最初に提示される文章であり、進行方向を固定するための文章と、次のノードまでの道順を案内するための文章とを含む。まず、ステップS4−6において出発地の目印となる地理情報が選出された場合は、当該地理情報を用いて、進行方向を固定するための文章を生成する。例えば、図8の場合であれば、"○○カメラ"が目印として選出されるが、地理情報の種別がローマ字表記以外の店舗・施設であるため、「赤い大きい看板の電機屋」と表現され、「赤い大きい看板の電機屋を左手にして、立って下さい」のように文章を生成する。続いて、ステップS4−11においてノードM+1の目印となる地理情報が選出された場合は、当該地理情報を用いて、次のノードまでの道順を案内するための文章を生成する。道順の文章は、どれくらい進み、どのような曲がり角でどちらの方向に曲がるかを提示する文章である。例えば、図8の場合であれば、"郵便局"を目印として用い、「左手側の2つ目の曲がり角まで直進し、左方向に曲がります。郵便局が右手にある曲がり角で」のように文章を生成する。出発地の文章は、「所要時間5分で目的地に到着します」のように、所要時間を示す文章を含んでもよい。
ノードの文章は、ユーザの現在地が出発地以外の各ノードの地点にあるときに通知判断部107−3が通知命令を出力した後に提示する文章である。ノードの文章は、ノードにおいて曲がった後の進行方向を固定するための文章と、次のノードまでの道順を案内するための文章とを含む。まず、ステップS4−8において曲がった後の目印となる地理情報が選出された場合は、当該地理情報を用いて、曲がった後の進行方向を固定するための文章を生成する。例えば、図9の場合であれば、"○○寿司"を曲がった後の目印として用い、「ここで左方向に曲がった後に、○○寿司が右手に見えます」のように文章を生成する。続いて、ステップS4−11においてノードM+1の目印となる地理情報が選出された場合は、当該地理情報を用いて、次のノードまでの道順を案内するための文章を生成する。例えば、図9の場合であればノード3は突き当たりでありノード3の目印となる地理情報が選出されないため、「続いて、突き当たりまで直進し、右方向に曲がります」のように文章を生成する。また、図10の場合であれば、"○○ドラッグ"及び"××寿司"が曲がった後の目印として選出されるが、これらの地理情報の種別がローマ字表記以外の店舗・施設であるため、"○○ドラッグ"は「橙色の大きい看板の薬局」、"××寿司"は「黒い小さい看板の寿司屋」と表現され、「ここで左方向に曲がった後に、橙色の大きい看板の薬局が右手に、黒い小さい看板の寿司屋が左手に見えます」のように文章を生成する。また、目的地であるノード4の目印となる地理情報が選出されないため、「続いて、90m直進すると、目的地が右方向にあります」のように文章を生成する。
ノード手前の文章は、ユーザの現在地が出発地以外の各ノード手前20m地点にあるときに通知判断部107−3が通知命令を出力した後に提示する文章である。ステップS4−11においてノードM+1の目印となる地理情報が選出された場合は、当該地理情報を用いて、ノードの文書を生成する。例えば、図8の場合であれば、"郵便局"を目印として用い、「もうすぐ、左方向に曲がります。郵便局が右手にある曲がり角で」のように文章を生成する。図9の場合であれば、ノード3は突き当たりでありノード3の目印となる地理情報が選出されないため、「もうすぐ、突き当たりを右方向に曲がります」のように文章を生成する。図10の場合であれば、目的地であるノード4の目印となる地理情報が選出されないため、「もうすぐ、目的地が右方向にあります」のように文章を生成する。文章を生成したらステップS4−13に進む。
ステップS4−13では、案内文生成部105は、ノードMの後20mからノードM+1の前10mまでの範囲内に、図11の「どこでも案内」の分類の地理情報が存在するかどうか判断する。存在する場合はステップS4−14に進み、存在しない場合はステップS4−15に進む。なお、取得する地理情報の数は1つに限定されず、複数の地理情報が取得されてもよい。複数の地理情報を取得した場合、案内文生成部105は、取得した複数の地理情報間の距離などの地理情報の関係を用いた案内文を生成してもよい。
ステップS4−14では、案内文生成部105は、図11の優先順位に従い、「どこでも案内」の分類の地理情報の中から途中の目印となる地理情報を選出する。「どこでも案内」の分類の地理情報が複数ある場合は、優先順位の番号が最も小さい、即ち、優先順位が高いものを選択する。図8の場合では"○○カフェ"のみがノード1の後20mからノード2の前10mまでに存在する「どこでも案内」の分類の地理情報であるため、"○○カフェ"の情報を取得しステップS4−17に進む。
ステップS4−15では、案内文生成部105は、ノードMからノードM+1までの距離が100m以上であるかどうか判断する。100m以上の場合はステップS4−16に進み、100m未満の場合はステップS4−18に進む。なお、訪日外国人が何の目印もなく歩くと不安に思う距離として100mを基準としているが、ステップS4−15において用いる距離の値はこの限りではない。
ステップS4−16では、案内文生成部105は、図11の優先順位に従い、「ノードで案内(ローマ字表記あり)」又は「ノードで案内(ローマ字表記なし)」の地理情報から途中の目印となる地理情報を選出する。「ノードで案内(ローマ字表記あり)」又は「ノードで案内(ローマ字表記なし)」の分類の地理情報が複数ある場合は、「ノードで案内(ローマ字表記あり)」の場合であれば、優先順位の番号が最も小さい、即ち、優先順位が高いものを選択する。「ノードで案内(ローマ字表記なし)」の場合であれば、優先順位の番号が最も小さい、即ち、優先順位が高いものを2つまで選択する。「ノードで案内(ローマ字表記なし)」の場合に優先順位が高いものを2つまで選択する理由は、「ノードで案内(ローマ字表記なし)」の地理情報は訪日外国人にとって認識しにくく、1つの地理情報のみでは訪日外国人が理解できない可能性があるためである。なお、「ノードで案内(ローマ字表記なし)」の場合に選択できる地理情報の数の上限は2つに限定されず、1つでもよく、3つ以上でもよい。図9の場合では"○○シューズ"が「ノードで案内(ローマ字表記あり)」の分類であり、ノード2の後20mからノード3の前10mまでに存在するため、"○○シューズ"の情報を取得しステップS4−17に進む。
上記の通り、途中の目印となる地理情報は、「どこでも案内」の分類の中で優先順位の番号が最も小さい種別の地理情報を選出する。「どこでも案内」の地理情報が存在しないかつリンクの長さが100m以上の場合は、「ノードで案内(ローマ字表記あり)」の分類の中で優先順位の番号が最も小さい種別の地理情報を選出する。「ノードで案内(ローマ字表記あり)」の地理情報も存在しない場合は「ノードで案内(ローマ字表記なし)」の分類の中で優先順位の番号が最も小さい種別の地理情報を2つまで選出する。このとき、同一リンク内に同じ地理情報名を有する地理情報が複数存在する場合、それらは途中の目印となる地理情報として選出しない。また、優先順位の番号が最も小さい種別の地理情報が複数存在する場合は、予め決められた数の地理情報を選出してもよく、最もユーザの現在地に近いものを選出してもよい。
ステップS4−17では、案内文生成部105は、途中の文章を生成する。途中の文章は、ユーザの現在地が途中の目印となる地理情報が存在する地点の手前10m地点にあるときに通知判断部107−3が通知命令を出力した後に提示する文章である。ステップS4−14又はS4−16において途中の目印となる地理情報が選出された場合は、当該地理情報を用いて、途中の文章を生成する。例えば、図8の場合であれば、"○○カフェ"を目印として用い、「○○カフェが左手にあります」のように文章を生成する。図9の場合であれば、"○○シューズ"を目印として用い、「○○シューズが右手にあります」のように文章を生成する。文章を生成したらステップS4−18に進む。
ステップS4−18では、MがN-1に等しいか、すなわち、全ての区間の案内文の生成が終了したか判断する。案内文の生成が終了していない区間がある場合はステップS4−19に進み、全ての区間の案内文の生成が終了した場合は処理を終了する。
ステップS4−19では、変数Mの値を1増加させ(インクリメントと記載する)、ステップS4−3に戻る。
<案内文の更新>
次に、図6のステップS13において案内文生成部105が実施する案内文の生成について説明する。図12は、案内文を更新する処理手順の一例を示すフローチャートである。
まずステップS13−1で、案内文生成部105がルートから、ユーザの現在地の直前のノードMからノードM+2までの2つの区間を取得する。ただし、M+2>Nとなる場合、案内文生成部105はノードMからノードM+1までの1つの区間を取得する。例えば、ユーザの現在地がノード1とノード2の間である場合、図6のルートから、図13に示すようにノード1からノード3までの区間が取得される。
ステップS13−2では、案内文生成部105は、ユーザの現在地が途中の文章を提示する範囲又はノード手前の文章を提示する範囲に入っていないかどうか判断する。ぞれぞれの範囲を図14に示す。途中の文章を提示する範囲は、途中の目印となる地理情報が存在する地点の前後10mの範囲(合計で20mの範囲)内であり、ノード手前の文章を提示する範囲は、ノードの手前20mからノードまでの範囲内である。ユーザの現在地がいずれかの範囲に入っている場合は、現在提示している文章をそのまま提示し続けるため文章は更新せず終了し、入っていない場合はステップS13−3に進む。例えば、図13の場合であれば、ユーザの現在地はノード1から70m地点であり、どちらの範囲にも入っていないため、ステップS13−3に進む。
ステップS13−3では、案内文生成部105は、ユーザの現在地が出発地の文章を提示する範囲又はノードの文章を提示する範囲に入っていないかどうか判断する。ぞれぞれの範囲を図14に示す。出発地の文章を提示する範囲は、出発地であるノード1からノード1の後10mの範囲内であり、ノードの文章を提示する範囲は、ノードからノードの後20mの範囲内である。ユーザの現在地がいずれかの範囲に入っている場合は、ステップS13−4に進み、入っていない場合はステップS13−5に進む。例えば図13の場合であれば、現在地はノード1から70m地点であり、どちらの範囲にも入っていないため、ステップS13−5に進む。
ステップS13−4では、案内文生成部105は、現在提示している文章を一部更新して提示するために、ユーザの現在地の直前のノードMにおいて提示している出発地の文章又はノードの文章を取得し、ステップS13−5に進む。
ステップS13−5では、案内文生成部105は、ユーザの現在地に応じて次のノードまでの道順を案内する文章(以下、「道順の文章」と呼ぶ)を生成する。道順の文章とは、出発地の文章とノードの文章の両方に含まれる文章であり、図8の場合では「左手側の2つ目の曲がり角まで直進し、左方向に曲がります。郵便局が右手にある曲がり角で」、図9の場合では「続いて、突き当たりまで直進し、右方向に曲がります」の部分である。既にステップS13−4で出発地の文章又はノードの文章を取得している場合は、ユーザの現在地に応じて道順の文章の部分を更新する。道順の文章の部分を更新するときに、ノードMからユーザの現在地の範囲内にある地理情報は既に通過した地理情報であるため用いない。ステップS13−4を通過していない場合は、案内文生成部105が既に生成した出発地の文章又はノードの文章の中から、道順の文章のみを生成する。例えば図13の場合であれば、ユーザの現在地はノード1から70m地点であるため、「左手側の1つ目の曲がり角まで直進し、左方向に曲がります。郵便局が右手にある曲がり角で」のようにユーザの現在地に応じた文章を生成する。図8の場合では現在地が既に曲がり角を1つ通過した地点であるため、通過した曲がり角は道順の文章を生成するために用いず、出発地では「左手側の2つ目の曲がり角まで直進し」となっていた部分が「左手側の1つ目の曲がり角まで直進し」のように更新されている。なお、図12に示す案内文の更新は図6のステップS12において現在地か方位のどちらかもしくは両方が変化したときに実施されるが、曲がり角を通過するごとに実施されてもよく、道順を「100m直進し」のように距離で表現する場合は、1m移動するごとなどに実施されてもよい。
<案内装置のハードウェア構成>
図15に、案内装置100のハードウェア構成例を示す。案内装置100は、CPU(Central Processing Unit)191などのプロセッサ、RAM(Random Access Memory)やROM(Read Only Memory)などのメモリ装置192、ハードディスクなどの記憶装置193から構成されたコンピュータでもよい。例えば、案内装置100の機能及び処理は、記憶装置193又はメモリ装置192に保存されているデータやプログラムをCPU191が実行することによって実現される。また、案内装置100へのデータの入力は、入出力インタフェース装置194から行われ、案内装置100からのデータの出力は、入出力インタフェース装置194から行われてもよい。なお、入出力インタフェース装置194は、案内装置100と切り離されて、案内装置100に含まれなくてもよい。例えば、案内装置100は、タッチスクリーン(タッチセンサと液晶ディスプレイとを1つのハードウェアで実装したもの)を備えるスマートフォン、タブレット型コンピュータ、ノート型パーソナルコンピュータ(PC)、デスクトップ型PCなどであってもよい。
なお、案内装置100のうち、案内文の生成に関する機能部、例えば、ルート生成部103、案内文生成部105などを1つの案内文生成装置として実現することも可能である。また、画面入力部101と案内制御部107と出力部109とをクライアント側の案内文出力装置として実現し、ルート生成部103、案内文生成部105などをサーバ側の案内文生成装置として実現することも可能である。また、画面入力部101と案内制御部107と出力部109を除く処理部は、各機能やデータが複数の装置に分散配置され、これらの装置がインターネット等を通じて互いに情報の受け渡しを行って実現されてもよい。
<補足>
本発明の実施の形態によれば、文字が読めなかったりその土地に慣れ親しんでいない状況でのナビゲーションにおいて、より見つけやすく確信が持てるランドマークを用いて案内できるため、訪日外国人が安心して歩行できるようにすることができる。また、訪日外国人が曲がり角ごと程度の間隔で聞くことを考慮した内容及び分量の案内文が生成されるため、画面を用いずに音声のみで案内することが可能となり、歩きながら端末を操作することの危険性を抑えることができる。また、案内文は訪日外国人の位置情報に応じて更新されるため、訪日外国人の現在地に応じた音声案内を行うことができる。
説明の便宜上、本実施の形態に係る案内装置100は機能的なブロック図を用いて説明しているが、本実施の形態に係る案内装置100は、ハードウェア、ソフトウェア又はそれらの組み合わせで実現されてもよい。例えば、本実施の形態は、コンピュータに対して案内装置100の機能を実現させるプログラム、コンピュータに対して案内装置100における方法の各手順を実行させるプログラム等により、実現されてもよい。また、各機能部が必要に応じて組み合わせて使用されてもよい。また、本実施の形態に係る方法は、上記の説明において記載された順序と異なる順序で実施されてもよい。説明の便宜上、どのような意味合いの案内文なのかを日本語で説明しているが、翻訳して各国語で提示してもよい。例えば、日本語で「左手側の2つ目の曲がり角まで直進し、左方向に曲がります。郵便局が右手にある曲がり角で」という文章は、英語に翻訳して「Go straight until the second intersection on the left, and please turn left at the intersection where the post office is on the right」のように提示してもよい。
以上、文字が読めなかったりその土地に慣れ親しんでいない状況でのナビゲーションにおいて、より見つけやすく確信が持てるルート上の事物を用いて案内する手法について説明したが、本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において、種々の変更・応用が可能である。
100 案内装置
101 画面入力部
103 ルート生成部
105 案内文生成部
107 案内制御部
107−1 現在地取得部
107−2 方位取得部
107−3 通知判断部
109 出力部
109−1 通知出力部
109−2 案内文出力部
109−3 音声合成部
109−4 音声出力部
151 経路情報記憶部
153 地理情報記憶部
155 ルート記憶部
157 案内文記憶部

Claims (8)

  1. ユーザに対する案内文を生成する案内文生成装置であって、
    出発地と、進行方向が変わる曲がり角又は/及び突き当たりと、目的地とをノードとして表現したときの、出発地から目的地までのノードと、
    ノードをつなぐ経路上に存在する事物を分類するための種別であり、グローバル・ブランド、万国共通のサイン・施設、日本特有のオブジェクト、英数字表記のある店舗・施設、及び、これらのいずれにも該当しない店舗・施設・オブジェクトの少なくともいずれかに分類される種別を含む地理情報と、
    を含むルートを生成するルート生成部と、
    前記生成されたルート、前記生成されたルート上の前記地理情報、及び前記地理情報の種別に紐付けられた地理情報の提示の優先順位に基づいて、前記生成されたルートの案内文を生成する案内文生成部と、
    を含む案内文生成装置。
  2. 前記地理情報の提示の優先順位は、案内に利用する事物に対する視覚による認識のしやすさに基づいて事前設定され、日本語又は日本文化の理解の程度に合わせて変更可能である、請求項1に記載の案内文生成装置。
  3. 前記案内文生成部は、
    前記生成されたルート上においてノードから所定の範囲内に存在する地理情報の中から、前記地理情報の提示の優先順位に基づいて選出された地理情報を用いて、ノードにおいて提示する文章及びノードの手前において提示する文章を生成する、請求項1又は2に記載の案内文生成装置。
  4. 前記案内文生成部は、
    或るノードから進行方向に向かって所定の距離を通過した後、次のノードに到達する手前の所定の距離までの範囲内に、グローバル・ブランド、万国共通のサイン・施設、又は日本特有のオブジェクトの少なくともいずれかに分類される種別を含む地理情報が存在する場合、当該地理情報の中から、前記地理情報の提示の優先順位に基づいて選出された地理情報を用いて、ノードの途中の目印となる地理情報を提示する文章を生成し、
    或るノードから次のノードまでの距離が所定の距離以上であり、当該ノードから進行方向に向かって所定の距離を通過した後、次のノードに到達する手前の所定の距離までの範囲内に、グローバル・ブランド、万国共通のサイン・施設、又は日本特有のオブジェクトの少なくともいずれかに分類される種別を含む地理情報が存在しない場合、且つ、英数字表記のある店舗・施設、又はこれらのいずれにも該当しない店舗・施設・オブジェクトの少なくともいずれかに分類される種別を含む地理情報が存在する場合、当該地理情報の中から、前記地理情報の提示の優先順位に基づいて選出された地理情報を用いて、ノードの途中の目印となる地理情報を提示する文章を生成する、請求項1乃至3のうちいずれか1項に記載の案内文生成装置。
  5. 前記ノードにおいて提示する文章は、次のノードまでの道順を案内するための文章を含み、
    前記案内文生成部は、
    或るノードから進行方向に向かって所定の距離を通過した後、次のノードに到達する手前の所定の距離までの範囲内において、ユーザの現在地が途中の目印となる地理情報の前後の所定の距離の範囲内に存在しない場合、当該ノードにおいて提示する文章の中から次のノードまでの道順を案内するための文章を取得し、既に通過した地理情報を除外して、当該次のノードまでの道順を案内するための文章を更新する、請求項3に記載の案内文生成装置。
  6. ユーザに対する案内文を生成する案内文生成装置と、当該ユーザに案内文を出力する案内文出力装置とを含む案内システムであって、
    前記案内文生成装置は、
    出発地と、進行方向が変わる曲がり角又は/及び突き当たりと、目的地とをノードとして表現したときの、出発地から目的地までのノードと、
    ノードをつなぐ経路上に存在する事物を分類するための種別であり、グローバル・ブランド、万国共通のサイン・施設、日本特有のオブジェクト、英数字表記のある店舗・施設、及び、これらのいずれにも該当しない店舗・施設・オブジェクトの少なくともいずれかに分類される種別を含む地理情報と、
    を含むルートを生成するルート生成部と、
    前記生成されたルート、前記生成されたルート上の前記地理情報、及び前記地理情報の種別に紐付けられた地理情報の提示の優先順位に基づいて、前記生成されたルートの案内文を生成する案内文生成部と、
    を含み、
    前記案内文出力装置は、
    ユーザの現在地を取得する現在地取得部と、
    前記案内文生成装置において生成されたルートを取得し、当該取得されたルート、前記取得された現在地に基づいて、案内文を通知するタイミングを判断する通知判断部と、
    案内文を通知するタイミングにおいて、前記案内文生成装置によって生成された案内文を出力する出力部と、
    を含む案内システム。
  7. ユーザに対する案内文を生成する案内文生成装置における案内文生成方法であって、
    出発地と、進行方向が変わる曲がり角又は/及び突き当たりと、目的地とをノードとして表現したときの、出発地から目的地までのノードと、
    ノードをつなぐ経路上に存在する事物を分類するための種別であり、グローバル・ブランド、万国共通のサイン・施設、日本特有のオブジェクト、英数字表記のある店舗・施設、及び、これらのいずれにも該当しない店舗・施設・オブジェクトの少なくともいずれかに分類される種別を含む地理情報と、
    を含むルートを生成するステップと、
    前記生成されたルート、前記生成されたルート上の前記地理情報、及び前記地理情報の種別に紐付けられた地理情報の提示の優先順位に基づいて、前記生成されたルートの案内文を生成するステップと、
    を含む案内文生成方法。
  8. 請求項1乃至5のうちいずれか1項に記載の案内文生成装置の各部としてコンピュータを機能させるためのプログラム。
JP2019005169A 2019-01-16 2019-01-16 案内文生成装置、案内システム、案内文生成方法及びプログラム Pending JP2020112507A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2019005169A JP2020112507A (ja) 2019-01-16 2019-01-16 案内文生成装置、案内システム、案内文生成方法及びプログラム
PCT/JP2020/000869 WO2020149257A1 (ja) 2019-01-16 2020-01-14 案内文生成装置、案内システム、案内文生成方法及びプログラム
US17/423,166 US20220128375A1 (en) 2019-01-16 2020-01-14 Guide text generation apparatus, guide system, guide text generation method and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019005169A JP2020112507A (ja) 2019-01-16 2019-01-16 案内文生成装置、案内システム、案内文生成方法及びプログラム

Publications (1)

Publication Number Publication Date
JP2020112507A true JP2020112507A (ja) 2020-07-27

Family

ID=71613893

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019005169A Pending JP2020112507A (ja) 2019-01-16 2019-01-16 案内文生成装置、案内システム、案内文生成方法及びプログラム

Country Status (3)

Country Link
US (1) US20220128375A1 (ja)
JP (1) JP2020112507A (ja)
WO (1) WO2020149257A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022208811A1 (ja) * 2021-03-31 2022-10-06 パイオニア株式会社 情報処理プログラム、情報処理方法、記憶媒体、アプリケーション装置及びデータ構造

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002039779A (ja) * 2000-07-28 2002-02-06 Alpine Electronics Inc ナビゲーションシステム
JP2016188779A (ja) * 2015-03-30 2016-11-04 株式会社ゼンリンデータコム 経路案内装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001005381A (ja) * 1999-06-18 2001-01-12 Ntt Docomo Inc 案内地図生成方法及び案内地図生成装置
US20090201176A1 (en) * 2000-09-11 2009-08-13 Takanori Shimada Route guidance system
US20070299607A1 (en) * 2006-06-27 2007-12-27 Verizon Laboratories Inc. Driving directions with landmark data
US8478515B1 (en) * 2007-05-23 2013-07-02 Google Inc. Collaborative driving directions
CN111024099B (zh) * 2013-06-13 2023-10-27 移动眼视力科技有限公司 用于导航的移动装置、非暂时性机器可读介质和设备
JP2016173802A (ja) * 2015-03-18 2016-09-29 株式会社ゼンリンデータコム 経路案内装置
US9683862B2 (en) * 2015-08-24 2017-06-20 International Business Machines Corporation Internationalization during navigation
JP7225673B2 (ja) * 2017-12-05 2023-02-21 日本電信電話株式会社 案内文生成装置、案内システム、案内文生成方法及びプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002039779A (ja) * 2000-07-28 2002-02-06 Alpine Electronics Inc ナビゲーションシステム
JP2016188779A (ja) * 2015-03-30 2016-11-04 株式会社ゼンリンデータコム 経路案内装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022208811A1 (ja) * 2021-03-31 2022-10-06 パイオニア株式会社 情報処理プログラム、情報処理方法、記憶媒体、アプリケーション装置及びデータ構造

Also Published As

Publication number Publication date
US20220128375A1 (en) 2022-04-28
WO2020149257A1 (ja) 2020-07-23

Similar Documents

Publication Publication Date Title
JP6885819B2 (ja) ナビゲーション装置およびナビゲーションシステム
Kray et al. Presenting route instructions on mobile devices
JP4591353B2 (ja) 文字認識装置、移動通信システム、移動端末装置、固定局装置、文字認識方法および文字認識プログラム
US9336695B2 (en) Method and system for providing customized regional maps
US20090030599A1 (en) Navigation apparatuses, methods, and programs
JPWO2015059812A1 (ja) 移動支援装置及び移動支援方法
AU2015278591B2 (en) Survey (bird's-eye)-type navigation system
JP2009053181A (ja) 文字選択装置、ナビゲーション装置、及び文字選択プログラム
WO2020149257A1 (ja) 案内文生成装置、案内システム、案内文生成方法及びプログラム
JP6366409B2 (ja) システム、ナビゲーション方法、およびプログラム
US20160305792A1 (en) Route guide device and route guide method
JP6499438B2 (ja) ナビゲーション装置、ナビゲーション方法、およびプログラム
JP7240358B2 (ja) 情報処理システム、情報処理方法、情報処理プログラム、およびサーバ
JP7090779B2 (ja) 情報処理装置、情報処理方法及び情報処理システム
JP5630577B2 (ja) ツイート作成補助装置
Chen et al. Differences in wayfinding performance across types of navigation aids and understanding of environmental information among travelers
JP2009157898A (ja) 文字選択装置、ナビゲーション装置、及び文字選択プログラム
JP2009047793A (ja) 広告登録サーバ、広告送信サーバ、ナビゲーション装置およびナビゲーションシステム
JP2002116041A (ja) ナビゲーション装置及び音声案内文章作成方法
Lo et al. An Intelligent Touring Recommendation System Using the Deep Learning and Augmented Reality Technology-Case Study of Toucheng Historic Street
JP2018022505A (ja) 情報提供装置、情報提供方法及び情報提供用プログラム
Jacob et al. Mobile Location Based Services: Non-Visual Feedback Using Haptics
JP2022152561A (ja) 案内装置
Hirtle Spatial Technologies
Kovanen et al. A multi-modal communication approach to describing the surroundings to mobile users

Legal Events

Date Code Title Description
A80 Written request to apply exceptions to lack of novelty of invention

Free format text: JAPANESE INTERMEDIATE CODE: A80

Effective date: 20190213

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210507

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220628

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220826

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221101

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221228

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230228