JP6226020B2 - In-vehicle device, information processing method, and information processing system - Google Patents
In-vehicle device, information processing method, and information processing system Download PDFInfo
- Publication number
- JP6226020B2 JP6226020B2 JP2016091236A JP2016091236A JP6226020B2 JP 6226020 B2 JP6226020 B2 JP 6226020B2 JP 2016091236 A JP2016091236 A JP 2016091236A JP 2016091236 A JP2016091236 A JP 2016091236A JP 6226020 B2 JP6226020 B2 JP 6226020B2
- Authority
- JP
- Japan
- Prior art keywords
- terminal device
- application
- information
- unit
- voice
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Navigation (AREA)
- Telephone Function (AREA)
Description
本技術は、車載装置、情報処理方法および情報処理システムに関する。 The present technology relates to an in-vehicle device, an information processing method, and an information processing system .
近年、様々なサービス、機能を提供する多種多様なアプリケーションを有する携帯電話機、スマートフォンなどの携帯端末装置が普及している。そして、よりアプリケーションによる利便性を高めるために、それら携帯端末装置と他の装置との連携が望まれている。そこで、端末装置と車載装置とを連携させることにより、車載装置を音声作動させる音声作動システムが提案されている（特許文献１）。 In recent years, mobile terminal devices such as mobile phones and smartphones having various applications that provide various services and functions have become widespread. And in order to raise the convenience by an application more, cooperation with these portable terminal devices and another apparatus is desired. Therefore, a voice operating system that voice-activates the in-vehicle device by linking the terminal device and the in-vehicle device has been proposed (Patent Document 1).
特許文献１に記載された技術は、音声の取得を端末装置に設けられたマイクロホンで行うものである。しかし、自動車内においては走行中に携帯電話機、スマートフォンなどの端末装置を操作することができないため、端末装置は必ずしも音声取得に適した装置であるとはいえない。
The technique described in
本技術は、このような点に鑑みてなされたものであり、端末装置と他の装置を連携させ、さらに、端末装置以外の装置に対する音声入力により端末装置を動作させる車載装置、情報処理方法および情報処理システムを提供することを目的とする。 The present technology has been made in view of the above-described points. The in-vehicle device, the information processing method, and the in- vehicle device that link the terminal device with another device and further operate the terminal device by voice input to a device other than the terminal device. An object is to provide an information processing system .
上述した課題を解決するために、第１の技術は、搭乗者が有する端末装置と通信可能とされる車載装置において、音声入力部と、端末装置との間で双方向の近距離通信を確立する通信部とを有し、端末装置と車載装置において共有させるアプリケーションを示す共有情報に基づいて、端末装置のアプリケーションと車載装置のアプリケーションを共存させ、通信部が、音声認識モードにおいて、音声入力部から入力された操作者の音声情報を端末装置へ送出し、音声情報が端末装置と車載装置の複数のアプリケーションごとに関連づけられた特定の音声情報の１つとして端末装置で認識された場合、端末装置と車載装置にインストールされたアプリケーションの中から対応するアプリケーションが起動されることを特徴とする車載装置である。 In order to solve the above-described problem, the first technology establishes bidirectional short-range communication between a voice input unit and a terminal device in an in-vehicle device capable of communicating with a terminal device possessed by a passenger. Based on shared information indicating an application to be shared between the terminal device and the vehicle-mounted device, the application of the terminal device and the application of the vehicle-mounted device coexist. When the voice information of the operator input from the terminal device is sent to the terminal device and the voice information is recognized by the terminal device as one of the specific voice information associated with each of the plurality of applications of the terminal device and the in-vehicle device , the terminal is a vehicle device corresponding application from the installed application device and in-vehicle device is characterized in that it is activated
また、第２の技術は、車載装置における情報処理方法において、搭乗者が有する端末装置との間で双方向の近距離通信を確立し、端末装置と車載装置において共有させるアプリケーションを示す共有情報に基づいて、端末装置のアプリケーションと車載装置のアプリケーションを共存させ、音声認識モード時に音声入力部から入力された操作者の音声情報を端末装置へ送出し、音声情報が端末装置と車載装置の複数のアプリケーションごとに関連づけられた特定の音声情報の１つとして端末装置で認識された場合、端末装置と車載装置にインストールされたアプリケーションの中から対応するアプリケーションが起動されることを特徴とする情報処理方法である。 In addition, in the information processing method in the in-vehicle device, the second technology establishes bidirectional short-range communication with the terminal device possessed by the passenger, and shares information indicating an application to be shared between the terminal device and the in-vehicle device Based on the above, the application of the terminal device and the application of the in-vehicle device coexist, and the voice information of the operator input from the voice input unit in the voice recognition mode is sent to the terminal device . An information processing method in which, when recognized by the terminal device as one of specific audio information associated with each application, a corresponding application is activated from the applications installed in the terminal device and the in-vehicle device. It is.
さらに、第３の技術は、搭乗者が有する端末装置と車載装置が通信可能に接続される情報処理システムにおいて、車載装置は、音声入力部と、端末装置との間で双方向の近距離通信を確立し、音声入力部から入力された音声情報を送信する通信部とを有し、端末装置は、車載装置との間で双方向の近距離通信を確立し、送信された音声情報を受信する第２の通信部と、音声情報に対して音声認識処理を行う音声認識部と、インストールされたアプリケーションを実行するアプリケーションプロセッサとを有し、端末装置と車載装置において共有させるアプリケーションを示す共有情報に基づいて、端末装置のアプリケーションと車載装置のアプリケーションを共存させ、音声認識部において、音声情報が端末装置と車載装置の複数のアプリケーションごとに関連づけられた特定の音声情報の１つとして認識された場合、アプリケーションプロセッサは、端末装置と車載装置にインストールされたアプリケーションの中から対応するアプリケーションを起動することを特徴とする情報処理システムである。 Further, according to a third technique, in the information processing system in which the terminal device possessed by the passenger and the in-vehicle device are communicably connected, the in-vehicle device performs bidirectional short-range communication between the voice input unit and the terminal device. And a communication unit that transmits voice information input from the voice input unit, and the terminal device establishes bidirectional short-range communication with the in-vehicle device and receives the transmitted voice information. Share information indicating an application to be shared between the terminal device and the in-vehicle device, the second communication unit having a voice recognition unit that performs voice recognition processing on the voice information, and an application processor that executes the installed application based on, coexist application in the application-vehicle unit of the terminal device, in the speech recognition unit, audio information of a plurality of terminal devices and the in-vehicle device applique When it is recognized as one of the specific voice information associated with each Deployment, application processor, an information processing system characterized in that to start the corresponding application from the application installed in the terminal device and the in-vehicle device It is.
本技術によれば、端末装置と他の装置を連携させ、さらに、端末装置以外の装置に対する音声入力により端末装置を動作させることができるため、端末装置を操作せずに端末装置を動作させることができる。 According to the present technology, since the terminal device can be linked with another device, and the terminal device can be operated by voice input to a device other than the terminal device, the terminal device can be operated without operating the terminal device. Can do.
以下、本技術の実施の形態について図面を参照しながら説明する。ただし、本技術は以下の実施の形態のみに限定されるものではない。なお、説明は以下の順序で行う。
＜１．実施の形態＞
［１−１．端末装置の構成］
［１−２．コンテンツ再生装置の構成］
［１−３．端末装置とコンテンツ再生装置間における処理］
＜２．変形例＞
Hereinafter, embodiments of the present technology will be described with reference to the drawings. However, the present technology is not limited to the following embodiments. The description will be given in the following order.
<1. Embodiment>
[1-1. Configuration of terminal device]
[1-2. Configuration of content playback device]
[1-3. Processing between terminal device and content playback device]
<2. Modification>
＜１．第１の実施の形態＞
［１−１．端末装置の構成］
図１は本実施の形態における端末装置１００の構成を示すブロック図である。端末装置１００は、特許請求の範囲における第２の装置の一例である。端末装置１００は、データバス１０１を備え、このデータバス１０１には、制御部１０２、ネットワークインターフェース１０３、信号処理部１０４、入力部１０５、表示部１０６、通信部１０７、記憶部１０８、アプリケーションプロセッサ１１０が接続されている。
<1. First Embodiment>
[1-1. Configuration of terminal device]
FIG. 1 is a block diagram showing a configuration of
制御部１０２は、例えば、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）およびＲＯＭ（Read Only Memory）などから構成されている。ＲＯＭには、ＣＰＵにより読み込まれて動作されるプログラムなどが記憶されている。ＲＡＭは、ＣＰＵのワークメモリとして用いられる。ＣＰＵは、ＲＯＭに記憶されたプログラムに従い様々な処理を実行することによって、端末装置１００の各部および全体の制御を行う。
The
ネットワークインターフェース１０３は、例えば、所定のプロトコルに基づいて外部基地局などとの間でデータの送受信を行うものである。通信方式は無線ＬＡＮ（Local Area Network）、Ｗｉ−Ｆｉ（Wireless Fidelity）、３Ｇ回線を用いた通信など、どのような方式でもよい。ネットワークインターフェース１０３による通信により、端末装置１００はインターネット接続、他者との通話などを行うことが可能となる。
The
信号処理部１０４は、変復調器、ＡＤ／ＤＡ変換器、音声コーデック（図示せず。）などを備えている。信号処理部１０４の変復調器で、送信する音声信号を変調し、あるいは受信した信号を復調する。送信する信号は、ＡＤ／ＤＡ変換器でデジタル信号に変換され、受信した信号はＡＤ／ＤＡ変換器でアナログ信号に変換される。そして信号処理部１０４には、音声を出力するスピーカ１１１と、音声を入力するマイクロホン１１２とが接続されている。
The
入力部１０５は、ユーザが端末装置１００に対して各種入力を行うための入力手段である。例えば、ボタン、タッチパネル、スイッチなどにより構成されている。また、入力部１０５は、表示部１０６と一体に構成されたタッチスクリーンとして構成してもよい。入力部１０５に対してユーザによる入力操作がなされると、その入力に対応した制御信号が生成されて制御部１０２に出力される。そして、制御部１０２によりその制御信号に対応した演算処理や制御が行われる。
The
表示部１０６は、例えば、ＬＣＤ（Liquid Crystal Display）、ＰＤＰ(Plasma Display Panel)、有機ＥＬ(Electro Luminescence)パネルなどにより構成された表示手段である。表示部１０６には、端末装置１００の各種操作のメニューを表示するホーム画面、楽曲リスト、再生中の楽曲情報（アーティスト名、曲名など）、動画コンテンツ、画像コンテンツなどが表示される。
The
通信部１０７は、Bluetooth、ＵＳＢ接続などの方法により端末装置１００との通信を行うための通信モジュールである。通信部１０７における通信方法としては、無線通信であるBluetooth、有線通信であるＵＳＢによる通信などがある。Bluetooth通信を行うBluetoothモジュールは、Bluetooth方式の近距離無線通信によるデータの送受信が可能なモジュールである。Bluetoothモジュールによって、外部Bluetooth機器であるコンテンツ再生装置とのデータのやり取りが行われる。
The
Bluetoothモジュールは、アンテナ、信号処理部（図示せず。）などを備える。例えば外部のBluetooth機器であるコンテンツ再生装置２００に音声データを送信する場合等、Bluetoothモジュールは、信号処理部によって送信する音声データに所定の信号処理を施し、その音声データを内蔵するアンテナを介してコンテンツ再生装置２００に送信する。また、コンテンツ再生装置２００に音声データを送信する場合等、Bluetoothモジュールは、コンテンツ再生装置から送信された音声データを内蔵するアンテナで受信し、内蔵する信号処理部１０４に供給する。そして、信号処理部において音声データに所定の信号処理を施すことによって音声信号を生成する。これにより、端末装置１００で再生した音声データをコンテンツ再生装置２００から出力すること、および、コンテンツ再生装置２００で再生した音声データを端末装置１００から出力することができる。
The Bluetooth module includes an antenna, a signal processing unit (not shown), and the like. For example, when transmitting audio data to the
通信部１０７における通信方式として有線通信であるＵＳＢを用いる場合には、ＵＳＢケーブルによってコンテンツ再生装置２００と端末装置１００とが接続される。音声データはＵＳＢケーブルを介して端末装置１００からコンテンツ再生装置２００に供給される。
When USB, which is wired communication, is used as a communication method in the
よって、本実施の形態においては、端末装置１００とコンテンツ再生装置２００とを接続し、端末装置１００が保存する楽曲データを再生し、その楽曲が音声としてコンテンツ再生装置２００から出力されるようにすることもできる。
Therefore, in the present embodiment, the
ただし、接続方法はいずれの方法であってもよい。また、Bluetooth、ＵＳＢ以外にも任意のデータ通信が可能な接続方法であればどのようなものを採用してもよい。また、通信方式は、端末装置１００の機種、ＯＳ（Operation System）の種類などに基づいて適宜選択するとよい。
However, any connection method may be used. In addition to Bluetooth and USB, any connection method capable of arbitrary data communication may be adopted. The communication method may be appropriately selected based on the model of the
記憶部１０８は、例えば、ＨＤＤ、フラッシュメモリなどの大容量記憶媒体から構成されており、端末装置１００によって再生される楽曲などのコンテンツデータなどを保存するものである。楽曲データは、ＷＡＶ（RIFF waveform Audio Format）、またはＭＰ３（MPEG Audio Layer-3）、ＡＡＣ（Advanced Audio Coding）などの方式で音声圧縮された状態で記憶部１０８に記憶される。また、楽曲のアーティスト名、アルバム名、曲名、総再生時間、再生時間情報などを含む楽曲情報も楽曲データのメタデータとして記憶部１０８に保存されている。楽曲情報は例えば、ＣＤＤＢ(Compact Disc Data Base)を利用することにより取得することができる。また、ユーザが任意に設定できるようにしてもよい。
The
音声認識部１０９は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭなどから構成され、通信部１０７から供給された音声データに基づいて言語認識を行い、音声信号に含まれる言葉を単語単位で認識してキーワードを抽出する。なお、音声認識の手法は種々提案されているため、音声認識部１０９は、いずれかの手法を利用して音声認識処理を行うとよい。
The
音声認識の手法としては、例えば、学習用データから音声の特徴を蓄積し、その特徴と供給された音声とを比較してキーワードを抽出する手法、隠れマルコフモデル（ＨＭＭ：Hidden Markov Model）を用いた手法などがある。音声認識部１０９は、抽出したキーワードを例えば、テキストデータなどの所定の形式のデータとしてアプリケーションプロセッサ１１０に供給する。
As a speech recognition method, for example, a feature of storing speech features from learning data, comparing the feature with the supplied speech, and extracting a keyword, a hidden Markov model (HMM) is used. There was a technique that had been. The
アプリケーションプロセッサ１１０は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭなどから構成され、端末装置１００にインストールされた各種アプリケーションを実行する処理部である。アプリケーションとしては、例えば、音楽再生、動画再生、地図、天気、ナビゲーション、ゲーム、インターネットブラウザ、動画共有サイト利用、計算機などの様々な種類がある。
The application processor 110 is a processing unit that includes, for example, a CPU, a ROM, a RAM, and the like, and executes various applications installed in the
本技術は、端末装置１００にインストールされる情報処理アプリケーションがアプリケーションプロセッサ１１０に実行されることにより実現される。アプリケーションプロセッサ１１０は情報処理アプリケーションを実行することにより、情報取得部１２１、共有情報生成部１２２、送信制御部１２３、表示制御部１２４、アプリケーション実行部１２５として機能する。情報処理アプリケーションの実行により実現される各機能が特許請求の範囲における情報処理装置に相当する。
The present technology is realized by an application processor 110 executing an information processing application installed in the
情報取得部１２１は、コンテンツ再生装置２００が有するコンテンツソースからのコンテンツを出力するアプリケーション（特許請求の範囲における第１の装置が有するアプリケーションに相当する）を示す情報（第１のアプリケーション情報）を通信部１０７を介してコンテンツ再生装置２００から取得する。コンテンツソースとしてはインターネットラジオ、ＵＳＢなどにより接続された外部ストレージ、ディスク媒体を再生するディスク媒体モジュールなどがある。
The
また、情報取得部１２１は、端末装置１００が有するアプリケーションの中から、ユーザがコンテンツ再生装置２００と端末装置１００とにおいて共有させるために選択したアプリケーションを示す情報（第２のアプリケーション情報）を取得する。
Further, the
さらに、情報取得部１２１は、コンテンツ再生装置２００において行われたアプリケーションの選択操作の内容を示す情報（操作情報）を通信部１０７を介して受信する。操作情報の詳細については後述する。
Furthermore, the
共有情報生成部１２２は、情報取得部１２１により取得した第１のアプリケーション情報と第２のアプリケーション情報とを共存させることによって共有情報を生成する。共有情報は、端末装置１００において用いられるとともに、通信制御部１０２による制御のもと通信部１０７を介してコンテンツ再生装置２００に送信される。このように、共有情報は、コンテンツ再生装置２００と端末装置１００間で共有されるものである。
The shared
共有情報は例えば、図２に示されるように、第１のアプリケーション情報と第２のアプリケーション情報に示されるアプリケーションが順序付けられたリスト形式の情報である。この順序は、端末装置１００およびコンテンツ再生装置の表示部１０６におけるアプリケーションを示すアイコンの表示順序に対応している。
The shared information is, for example, information in a list format in which the applications indicated by the first application information and the second application information are ordered as shown in FIG. This order corresponds to the display order of icons indicating applications on the
なお、本技術においては、Bluetoothを用いて通信を行う場合には、シリアルポートプロファイルを用いて端末装置１００とコンテンツ再生装置２００間で第１のアプリケーション情報、共有情報、操作情報などの送受信が行われる。また、コンテンツ再生装置２００と端末装置１００との接続にＵＳＢを用いる場合には、ｉＡＰを用いて第１のアプリケーション情報、共有情報、操作情報などの送受信が行われる。
In the present technology, when communication is performed using Bluetooth, first application information, shared information, operation information, and the like are transmitted and received between the
シリアルポートプロファイル、ｉＡＰでは任意の情報の送受信が可能であるため、それらを利用することにより、本技術に用いられる上述した各種情報の送受信を行うことができる。ただし、上述した各種情報を送受信することが出来る方法であれば、他の方法を用いてもよい。また、Bluetooth、ＵＳＢ以外にも任意のデータ通信が可能な接続方法であればどのようなものを採用してもよい。 The serial port profile and iAP can send and receive arbitrary information. By using these, it is possible to send and receive the above-described various information used in the present technology. However, other methods may be used as long as the above-described various information can be transmitted and received. In addition to Bluetooth and USB, any connection method capable of arbitrary data communication may be adopted.
表示制御部１２４は、共有情報に基づいて、コンテンツ再生装置２００のコンテンツソース用アプリケーション（コンテンツソース内のコンテンツを再生するアプリケーション）と、ユーザが選択した端末装置１００のアプリケーションとを示すアイコンを表示部１０６に表示する制御を行うものである。また、表示制御部１２４は、音声認識部１０９から供給されたキーワードに基づいてアプリケーション実行部１２５が起動／動作させたアプリケーションに対応した表示制御を行う。
Based on the shared information, the
アプリケーション実行部１２５は、音声認識部１０９から供給されたキーワードに基づいて端末装置１００にインストールされたアプリケーションを起動し、さらにそのアプリケーションを動作させる。キーワードに基づきアプリケーションを起動、動作させる方法としては、例えば、予めアプリケーションの起動および動作と、それに対応したキーワードをテーブルとして保持しておく。そして、音声認識部１０９からキーワードが供給されると、アプリケーションプロセッサ１１０はそのテーブルを参照して、キーワードに対応するアプリケーションまたは動作を検索する。そして、キーワードに対応するアプリケーションまたは動作が存在する場合にはそのアプリケーションの起動または動作を実行する。
The
例えば、入力されたキーワードがアプリケーション名である場合にはアプリケーションを起動する。そして、例えば、ナビゲーションアプリケーションが起動している状態で、地名がキーワードで入力された場合には、その地名までのルートを検索してナビゲーション開始する。また、動画共有サイト利用アプリケーションが起動している状態で、キーワードが入力された場合には、アプリケーションにそのキーワードで動画検索行い、検索結果の提示、動画再生、動画停止、早送り、巻戻しなどを行う。アプリケーション実行部１２５は入力されたキーワードに基づいてこのような処理を行う。
For example, if the input keyword is an application name, the application is activated. For example, when a place name is input as a keyword while the navigation application is activated, a route to the place name is searched and navigation is started. In addition, when a keyword is entered while the application that uses the video sharing site is running, a video search is performed with the keyword in the application, and search results are presented, video playback, video stop, fast forward, rewind, etc. Do. The
なお、上述の方法以外にも、供給されたキーワードに基づいて、それに対応するアプリケーションの起動、動作を実行することが出来る方法であればどのような方法を採用してもよい。 In addition to the method described above, any method may be employed as long as it can execute the activation and operation of the corresponding application based on the supplied keyword.
なお、情報処理アプリケーションは予め端末装置１００にインストールした状態でユーザに提供するようにしてもよいし、ユーザが自ら端末装置１００にインストールするようにしてもよい。情報処理アプリケーションは、例えば、インターネット上のアプリケーション販売サイト、アプリケーションダウンロードサービスを介して提供または販売される。また、情報処理アプリケーションが記録された光ディスクや半導体メモリなどの可搬型記録媒体によって提供または販売されてもよい。
Note that the information processing application may be provided to the user in a state of being installed in the
スピーカ１１１は音声を出力するための音声出力手段であり、信号処理部１０４により所定の処理が施された音声信号などを音声として出力する。これによりユーザは通話音声、端末装置１００に保存された音声データなどを聴取することができる。また、マイクロホン１１２は通話、音声による指示入力などのために音声を端末装置１００に入力するためのものである。マイクロホン１１２から入力された音声は信号処理部１０４によって所定の処理が施される。
The
以上のようにして端末装置１００が構成されている。端末装置１００としては、携帯電話機、スマートフォン、携帯音楽プレーヤ、タブレット端末などがある。また、図示はしないが、端末装置１００には撮像部と画像処理部などからなるカメラ機能、ラジオ機能などが設けられていてもよい。
The
図３は、端末装置１００の外観構成の一例を示す図である。図３においては、端末装置１００の表示部１０６および、入力部１０５としてのタッチスクリーンおよび入力部１０５としてのボタンが示されている。
FIG. 3 is a diagram illustrating an example of an external configuration of the
端末装置１００の表示部１０６には共有情報で示されたアプリケーションを示す複数のアイコン１３１、１３１、・・が表示されている。本実施の形態では、コンテンツ再生装置のコンテンツソースと端末装置１００においてユーザにより選択されたアプリケーションを示すアイコンが表示されることとなる。
On the
ユーザは、表示部１０６に表示されたアイコン１３１に指を接触させる、または入力部１０５としてのボタンを押圧することにより、アプリケーションを選択する。アプリケーションが選択されると、例えば、図４Ａの状態から図４Ｂの状態へと、選択されたアプリケーションを示す太枠状のカーソル１３２が移動する。その後、例えば、選択したアプリケーションのアイコン１３１に再度入力を行うなどによりアプリケーション決定入力を行うと、選択されたアプリケーションが起動する。
The user selects an application by bringing a finger into contact with the
ここで、端末装置１００におけるページ送り操作について説明する。図４Ａは、端末装置１００の表示部１０６においてアプリケーションを示す複数のアイコン１３１が表示されている１ページ目を示すものである。１ページ目が表示されている図４Ａの状態において、タッチスクリーンに対する入力などにより画面を横方向にスライドさせる。そうすると、図４Ｂに示されるように、１ページ目がスライド方向に流れて消えていくと同時に、２ページ目が表示部１０６の端からスライドして現れてくる遷移状態となる。そして、その遷移状態を経て、２ページ目のスライド動作が完了すると図４Ｃに示されるように２ページ目全体が表示部１０６に表示される。２ページ目に表示されるアイコン１３１は１ページ目に表示されたものとは異なっている。この一連の表示部１０６のおける表示の遷移を「ページ送り」と称し、それを行うための入力操作を「ページ送り操作」と称する。
Here, a page turning operation in the
なお、図４の説明は１ページ目から２ページ目への遷移を例にして説明したが、２ページ目から３ページ目、３ページ目から４ページ目、２ページ目から１ページ目なども同様にページ送りが可能である。端末装置１００においてはインストールされるアプリケーションの数によってページ数が異なる。アプリケーションの数が多い場合にはそれに伴いページ数も増えていく。
Note that the description of FIG. 4 is based on the transition from the first page to the second page, but the second page to the third page, the third page to the fourth page, the second page to the first page, etc. Similarly, page turning is possible. In the
通常、携帯電話機、スマートフォン、タブレット端末などにおけるアプリケーションのアイコン表示は縦５×横４、縦４×横４などの配置で行われるのが通常である。しかし、本実施の形態において表示制御部１２４は、図４に示されるように例えば縦２×横２など、よりアイコンが大きく表示されるように表示制御を行うようにしてもよい。これにより、端末装置１００における入力操作が容易となる。
Normally, application icons are displayed on a mobile phone, a smartphone, a tablet terminal, or the like in an arrangement of vertical 5 × horizontal 4, vertical 4 × horizontal 4, and the like. However, in the present embodiment, the
なお、図４に示される端末装置１００の外観構成、表示部１０６における表示態様、入力部１０５としてのボタンの配置はあくまで一例であり、それらは図４に示されるものに限られるものではない。
The appearance configuration of the
［１−２．コンテンツ再生装置の構成］
図５は、本技術の実施の形態におけるコンテンツ再生装置２００の構成を示すブロック図である。コンテンツ再生装置２００は特許請求の範囲における第１の装置の一例である。コンテンツ再生装置２００はいわゆる据え置き型の装置であり、据え置き型の装置としては例えば、車両内でコンテンツを再生するカーオーディオ装置、主に家庭内で用いられるドックスピーカなどがある。
[1-2. Configuration of content playback device]
FIG. 5 is a block diagram illustrating a configuration of the
コンテンツ再生装置２００は、制御部２０１、ラジオ用アンテナ２０２、チューナ２０３、ディスク媒体モジュール２０４、電子ボリューム２０５、アンプ部２０６、スピーカ２０７、リモートコントローラ受光部２０８、入力部２０９、通信部２１０、表示部２１１、ＵＳＢ端子２１２、フラッシュＲＯＭ２１３、マイクロホン２１４、サウンドＤＳＰ（Digital Signal Processing）２１５、アプリケーションプロセッサ２１６とから構成されている。
The
制御部２０１は例えば、ＣＰＵ、ＲＡＭおよびＲＯＭなどから構成されている。ＲＯＭには、ＣＰＵにより読み込まれて動作されるプログラムなどが記憶されている。ＲＡＭは、ＣＰＵのワークメモリとして用いられる。ＣＰＵは、ＲＯＭに記憶されたプログラムに従い様々な処理を実行することによって、コンテンツ再生装置２００の各部および全体の制御を行う。
For example, the
ラジオ用アンテナ２０２は、ラジオ放送電波を受信するためのアンテナであり、チューナ２０３に接続されている。チューナ２０３は、ラジオ用アンテナ２０２により受信されたラジオ放送信号の復調やアナログ／デジタル変換、符号化されているデータの復号等の処理などを行い、ラジオ音声データを復元する。ラジオ音声データは制御部２０１の制御のもと電子ボリューム２０５、アンプ部２０６を介してスピーカ２０７へ送られ、スピーカ２０７により音声として出力される。
The
ディスク媒体モジュール２０４は、ディスク状記録媒体に書込まれているオーディオ信号を読出し、読出したオーディオ信号に対して所定の信号処理を施して音声信号を取得するディスク再生装置である。得られた音声信号は、制御部２０１の制御のもと電子ボリューム２０５、アンプ部２０６を介してスピーカ２０７へ送られ、スピーカ２０７により音声として出力される。なお、ディスク状記録媒体としてはＣＤ(Compact Disc)、ＤＶＤ（Digital Versatile Disc）、ＢＤ（Blu-ray Disc）などがある。
The
電子ボリューム２０５は、制御部２０１の制御に基づき、ラジオチューナ２０３、ディスク媒体モジュール２０４、通信部２１０、ＵＳＢ端子２１２などから供給された音声信号を増幅して音量を調整する。音量が調整された音声信号は、アンプ部２０６に供給される。アンプ部２０６は、電子ボリューム２０５から供給された音声信号を所定に増幅し、スピーカ２０７に供給する。スピーカ２０７は、アンプ部２０６から供給された音声信号を外部に音声として出力する音声出力手段である。
The
リモートコントローラ受光部２０８は、ユーザの操作によりコンテンツ再生装置２００付属のリモートコントローラ３００から送信されたコントロール信号を受信して制御部２０１に出力する。
The remote controller
入力部２０９は、ユーザがコンテンツ再生装置２００への各種入力操作を行うための入力手段である。入力部２０９は例えば、ボタン、タッチパネル、スイッチなどにより構成されている。また、入力部２０９は、表示部２１１と一体に構成されたタッチスクリーンとして構成してもよい。入力部２０９に対してユーザによる入力がなされると、その入力に対応した制御信号が生成されて制御部２０１に出力される。そして、制御部２０１によりその制御信号に対応した演算処理や制御が行われる。
The
本実施の形態においては、ユーザは、入力部２０９に対して、アプリケーション選択操作および、選択したアプリケーションを起動するための決定操作などを行うことが可能である。
In the present embodiment, the user can perform an application selection operation, a determination operation for starting the selected application, and the like on the
表示部２１１は、例えば、ＬＣＤ、ＰＤＰ、有機ＥＬパネルなどにより構成された表示手段である。表示部２１１には、コンテンツ再生装置２００の各種操作のメニューを表示するホーム画面、楽曲リスト、再生中の楽曲情報（アーティスト名、曲名など）などが表示される。さらに、コンテンツ再生装置２００が動画コンテンツ、画像コンテンツなどにも対応している場合にはそれらも表示される。
The
さらに、入力部２０９と表示部２１１によりタッチスクリーンが構成される場合には、表示部２１１には入力部２０９としてのソフトボタン、音量調整、コンテンツ選択などの個々の操作画面などのユーザインターフェース画像も表示される。
Furthermore, when a touch screen is configured by the
通信部２１０は、端末装置１００との通信を行うものである。通信部２１０の構成は端末装置におけるものと同様である。通信部２１０で受信した端末装置からの音声データはサウンドＤＳＰ２１５に供給される。
The
また、通信方式としてBluetoothを用いる場合、シリアルポートプロファイルを用いて、コンテンツ再生装置２００と端末装置１００間で、第１のアプリケーション情報、共有情報、操作情報などの送受信を行われる。また、コンテンツ再生装置２００と端末装置１００との接続にＵＳＢを用いる場合には、ｉＡＰを用いて第１のアプリケーション情報、共有情報、操作情報などの任意の情報の送受信が可能となる。
When Bluetooth is used as a communication method, first application information, shared information, operation information, and the like are transmitted and received between the
ただし、接続方法はいずれの方法であってもよい。また、Bluetooth、ＵＳＢ以外にも任意のデータ通信が可能な接続方法であればどのようなものを採用してもよい。 However, any connection method may be used. In addition to Bluetooth and USB, any connection method capable of arbitrary data communication may be adopted.
ＵＳＢ端子２１２は、コンテンツ再生装置２００に外部装置、外部記録媒体などを接続するためのＵＳＢ規格に準拠した接続端子である。ＵＳＢ端子２１２には例えば、音声データは格納する外部ＨＤＤ（Hard Disc Drive）、ＵＳＢメモリなどの外部ストレージが接続される。外部ストレージに格納された音声データは制御部２０１による制御のもと電子ボリューム２０５、アンプ部２０６を介してスピーカ２０７へ送られ、スピーカ２０７により音声として出力される。
The
フラッシュＲＯＭ２１３は不揮発性メモリであり、Bluetooth機器に関する情報である機器情報やラジオ放送の周波数情報といった各種のデータが格納される。そして、格納された機器情報や周波数情報が制御部２０１からの要求に応じて読出され、制御部２０１に供給される。
The
マイクロホン２１４は、ユーザが発した音声を取得するものであり、マイクロホン２１４に入力された声は音声信号に変換され、アプリケーションプロセッサ２１６に供給される。音声信号はアプリケーションプロセッサ２１６によりサウンドＤＳＰ２１５に供給される。
The
サウンドＤＳＰ２１５は、通信部２１０としてのBluetoothモジュールなどから供給された音声データに対して所定の音声信号処理を施して電子ボリューム２０５に供給する。音声信号は電子ボリューム２０５、アンプ部２０６を介して最終的に音声としてスピーカ２０７から出力される。
The
また、サウンドＤＳＰ２１５は、マイクロホン２１４からの音声信号に対して、ノイズキャンセリング処理を施す。ノイズキャンセリングの手法は種々提案されているため、任意の手法を利用してノイズキャンセリング処理を行うとよい。ノイズキャンセリングの手法としては、例えば、マイクロホン２１４で取得した騒音、環境音とは逆の位相の音波成分を発生させて互いを消し合うことにより、ユーザの声以外のノイズを低減させる方法などがある。
Also, the
アプリケーションプロセッサ２１６は、端末装置における情報処理アプリケーションの動作に対応してコンテンツ再生装置２００側で所定の処理を行うものである。アプリケーションプロセッサ２１６は、所定のアプリケーションを実行することにより情報取得部２１７、および表示制御部２１８として機能する。
The
情報取得部２１７は、端末装置１００から送信された共有情報を通信部２１０を介して取得する。また、情報取得部２１７は、端末装置１００においてユーザにより行われたアプリケーションの選択操作を示す情報（操作情報）を通信部２１０を介して取得する。
The
表示制御部２１８は、情報取得部２１７により取得した共有情報に基づいて、表示部２１１における表示制御を行うものである。また、アプリケーションの選択を示すカーソルなどの表示制御も行う。さらに、操作情報に基づいた表示部２１１における表示の更新処理も行う。これら表示制御の詳細については後述する。
The
本実施の形態においては、コンテンツ再生装置２００には、チューナ、ＵＳＢ接続されており音声データを蓄えた外部ストレージ、ディスク媒体モジュールの３つのコンテンツソースを有している。ただし、コンテンツソースの数および種類はそれに限られるものではない。１つのコンテンツソースを備えていてもよいし、より多くのコンテンツソースを備えていてもよい。
In the present embodiment, the
図６は、コンテンツ再生装置２００のフロントパネルの外観構成の一例を示す図である。図６においては、コンテンツ再生装置２００のフロントパネルに設けられた入力部２０９および表示部２１１が示されている。
FIG. 6 is a diagram illustrating an example of an external configuration of the front panel of the
コンテンツ再生装置２００の表示部２１１には共有情報で示されたアプリケーションを示す複数のアイコン２３１、２３１、・・が表示されている。本実施の形態では、コンテンツ再生装置２００のコンテンツソースと端末装置１００においてユーザにより選択されたアプリケーションを示すアイコンが表示されることとなる。
A plurality of
図６に示す例においては、ユーザにより選択されたアプリケーションは表示部２１１の略中央において表示されることとなる。図６においてはＵＳＢが選択されている。そして、ユーザが異なるアプリケーションを選択すると、図６Ａに示される状態からアイコンが横に移動し、図６Ｂに示す状態となる。図６Ｂにおいては、表示部２１１の略中央には次に選択されたＭＵＳＩＣのアイコンが表示される。なお、「ＵＳＢ」とは、ＵＳＢ端子２１２に接続された外部ストレージに保存された音声データを再生するアプリケーションを示すアイコンである。また、「ＭＵＳＩＣ」はディスク媒体モジュールの音声データを再生するアプリケーションを示すアイコンである。
In the example shown in FIG. 6, the application selected by the user is displayed at the approximate center of the
なお、図６に示されるコンテンツ再生装置２００の外観構成、表示部２１１における表示態様はあくまで一例であり、それらは図６に示されるものに限られるものではない。例えば、コンテンツ再生装置２００における表示も端末装置における表示と同様に、アイコンを一列ではなく、複数列に並べて表示してもよい。
Note that the appearance configuration of the
［１−３．端末装置とコンテンツ再生装置間における処理］
次に、上述した端末装置１００とコンテンツ再生装置２００間における処理について説明する。
[1-3. Processing between terminal device and content playback device]
Next, processing between the
本技術においては、第１の装置であるコンテンツ再生装置２００の表示部２１１と、第２の装置である端末装置１００の表示部１０６に、共有するアプリケーションを示すアイコンが表示される。また、いずれか一方の装置においてアプリケーションの選択操作を行うと、それに連動して他方の装置において、同一のアプリケーションを選択する動作が行われる。
In the present technology, an icon indicating an application to be shared is displayed on the
よって、例えば、端末装置１００におけるアプリケーションをコンテンツ再生装置２００に対する入力で選択することが可能となる。そして、アプリケーション選択後、一方の装置においてアプリケーション決定操作を行うと、そのアプリケーションを備える他方の装置においてアプリケーション決定がなされてそのアプリケーションが起動することなる。よって、一方の装置に対する操作で、他方の装置におけるアプリケーションの選択および起動が可能となる。
Therefore, for example, an application in the
また、コンテンツ再生装置２００のマイクロホン２１４に対して音声入力を行うと、その音声が端末装置１００に送信され、端末装置１００において音声認識およびその音声認識により抽出されたキーワードによりアプリケーションの起動／動作が行われる。よって、ユーザは、端末装置１００に触れることなく端末装置１００におけるアプリケーションを利用することができる。
Further, when a voice is input to the
図７はコンテンツ再生装置２００と端末装置１００間の情報の受け渡しの説明するための概念図である。図８はコンテンツ再生装置２００と端末装置１００間における処理を示すシーケンス図である。図９は、コンテンツ再生装置２００と端末装置１００においてアプリケーションの選択が同期している状態を示す図である。
FIG. 7 is a conceptual diagram for explaining information exchange between the
まず、処理の前提として、図７に示されるように、端末装置１００には例えば、ゲーム、天気、ＭＡＰなどの複数のアプリケーションがインストールされている。また、上述したように情報処理アプリケーションもインストールされているものとする。
First, as a premise of processing, as shown in FIG. 7, for example, a plurality of applications such as a game, weather, and MAP are installed in the
そして、事前に、図７中（１）に示されるように、ユーザは端末装置１００にインストールされているアプリケーションの中からコンテンツ再生装置２００と共有するアプリケーションを選択しており、情報取得部１２１は、その選択されたアプリケーションの情報（第２のアプリケーション情報）を取得しているものとする。
In advance, as shown in (1) in FIG. 7, the user selects an application shared with the
また、コンテンツ再生装置２００は、１または複数のコンテンツソースを備える。図５および図７に示されるように本実施の形態においては、コンテンツ再生装置２００はラジオチューナ、ＵＳＢ接続され、音声データを蓄えた外部ストレージ、ディスク媒体モジュールの３つのコンテンツソースを有している。ただし、コンテンツソースの数および種類はそれに限られるものではない。
In addition, the
まず、ステップＳ１で、コンテンツ再生装置２００と端末装置１００との接続が行われる。接続は上述したように双方の通信部においてBluetooth、ＵＳＢ接続などの方法により行われる。Bluetoothで接続された場合にはシリアルポートプロファイルを利用してコンテンツ再生装置２００と端末装置１００間の情報の送受信が行われる。ＵＳＢにより接続された場合にはｉＡＰを利用してコンテンツ再生装置２００と端末装置１００間の情報の送受信が行われる。
First, in step S1, the
コンテンツ再生装置２００と端末装置１００との接続が確立した場合、次にステップＳ２で、端末装置１００からコンテンツ再生装置２００に対して接続完了通知が送信される。なお、図８に示される処理とは逆に、端末装置１００からコンテンツ再生装置２００に対して接続がなされ、コンテンツ再生装置２００から端末装置１００へ接続完了通知がなされるようにしてもよい。
When the connection between the
次にステップＳ３で、図７中（２）に示されるように、コンテンツ再生装置２００から端末装置１００に対して、コンテンツ再生装置２００が備えるコンテンツソース再生用アプリケーションの種類を示す情報（第１のアプリケーション情報）が送信される。図７においては、コンテンツ再生装置２００がチューナ、ＵＳＢ接続された外部ストレージ、ディスク媒体モジュールの３つのコンテンツソースを有していることを示す情報がコンテンツ再生装置２００に送信される。
Next, in step S3, as shown in (2) in FIG. 7, information indicating the type of content source playback application provided in the
次にステップＳ４で、端末装置１００の共有情報生成部１２２は、ユーザにより選択された第２のアプリケーション情報と、第１のアプリケーション情報とをまとめて、双方の装置のアプリケーション情報を共存させることにより共有情報を生成する。共有情報は、図４を参照して上述したように、アプリケーションの種別が順序付けられたリスト形式のものである。共有情報にはコンテンツ再生装置２００のアプリケーションと端末装置１００とアプリケーションの両方が含まれている。
Next, in step S4, the shared
次にステップＳ５で、図４中の（３）に示されるように、端末装置１００の送信制御部１２３の制御のもと、端末装置１００からコンテンツ再生装置２００に対して共有情報が送信される。この共有情報によってコンテンツ再生装置２００と端末装置１００とは互いのアプリケーションの情報を共有する。そして、ステップＳ６で、端末装置１００の表示制御部１２４は共有情報に基づいた表示処理を行う。これにより、図９Ａ上段に示されるように、端末装置１００の表示部１０６においてコンテンツ再生装置２００におけるコンテンツソースと、端末装置１００においてユーザが選択したアプリケーションとを示すアイコンが表示される。
Next, in step S5, as shown by (3) in FIG. 4, the shared information is transmitted from the
また、ステップＳ７においても同様に、コンテンツ再生装置２００の表示制御部２１８は、共有情報に基づいた表示処理を行う。これにより、図９Ｂ上段に示されるように、コンテンツ再生装置２００の表示部２１１においてコンテンツ再生装置２００におけるコンテンツソースと、端末装置１００においてユーザが選択したアプリケーションとを示すアイコンが表示される。
Similarly, in step S7, the
なお、図８のシーケンス図においては端末装置１００における表示制御の後にコンテンツ再生装置２００における表示制御が行われるように記載されているが、順序はそれに限られず、双方の表示制御はほぼ同時に行われるのが望ましい。
In the sequence diagram of FIG. 8, it is described that the display control in the
次にステップＳ８で、コンテンツ再生装置２００は共有情報に示されるアプリケーションの中の１番目のアプリケーションを選択状態にする。選択状態とは、例えば、カーソルの移動によってアプリケーションの選択を行う場合にはそのカーソルを一番目のアプリケーションに合わせることである。そして、ステップ９で端末装置１００側の情報取得部１２１は、コンテンツ再生装置２００の操作情報を取得する。なお、ステップＳ９で取得される操作情報は、共有情報で示されるアプリケーションの中の１番目に位置するアプリケーションが選択されたことを示す情報である。
Next, in step S8, the
次にステップＳ１０で、端末装置１００の表示制御部１２４は、操作情報に基づいて端末装置１００の表示部１０６における表示を更新する。なお、この場合、表示制御部１２４は、共有情報において一番目に位置するアプリケーションが選択されたことを示す表示となるように表示制御を行う。例えば、アプリケーション選択用カーソルを１番目のアプリケーションに合わせるなどである。
Next, in step S10, the
以上、ステップＳ１０までの処理により、コンテンツ再生装置２００と端末装置１００とが互いにコンテンツ再生装置２００のソースと、端末装置１００のアプリケーションを共有した同期状態となる。
As described above, through the processing up to step S10, the
次にステップＳ１１で、コンテンツ再生装置２００は、音声認識モードへの遷移を指示するユーザからの入力操作を受け付ける。この入力はコンテンツ再生装置２００の入力部２０９に対して行われる。音声認識モードへの遷移を指示する入力操作を受け付けると、次にステップＳ１２で、コンテンツ再生装置２００から端末装置１００に対して、音声認識モードへの遷移の要求が行われる。
Next, in step S11, the
次にステップＳ１３で、端末装置１００は、コンテンツ再生装置２００からの要求に従い音声認識モードに遷移する。端末装置１００が音声認識モードに遷移すると、音声認識部１０９がオンとなる。さらに、音声認識部１０９に対する音声入力のソースをマイクロホン１１２から通信部１０７に切り替える。これにより、マイクロホン１１２に入力される音声ではなく、通信部１０７を介してコンテンツ再生装置２００から入力される音声によって端末装置１００が操作可能となる。よって、コンテンツ再生装置２００が端末装置１００の音声入力源として機能することとなる。
Next, in step S <b> 13, the
次にステップＳ１４で、端末装置１００はコンテンツ再生装置２００に対して音声認識モードに遷移したことの通知を行う。そして、ステップＳ１５で、音声認識モードに遷移したことの通知を受けたコンテンツ再生装置２００は、音声取得モードに遷移して、マイクロホン２１４をオンにして音声取得を開始する。この状態で、ユーザは、コンテンツ再生装置２００のマイクロホン２１４に対して起動したいアプリケーション名、キーワードなどを声で入力する。
Next, in step S <b> 14, the
コンテンツ再生装置２００のマイクロホン２１４でユーザからの音声を取得すると、サウンドＤＳＰ２１５により音声信号に対してノイズキャンセリング処理が施される。そして、ステップＳ１６でコンテンツ再生装置２００は、通信部２１０を介してその音声信号を端末装置１００に送信する。
When the voice from the user is acquired by the
次にステップＳ１７で、端末装置１００の音声認識部１０９は音声信号に対して音声認識処理を行ってキーワードを抽出する。その抽出結果を示すキーワード情報は、アプリケーションプロセッサ１１０に供給される。そしてステップＳ１８で、アプリケーションプロセッサ１１０のアプリケーション実行部１２５は、供給されたキーワードに対応するアプリケーションを起動する。
In step S <b> 17, the
また、アプリケーション実行部１２５は、アプリケーションの起動後に音声認識部１０９からキーワードが供給されると、そのキーワードに対応したアプリケーションの動作を実行する。キーワードに基づきアプリケーション動作させる方法としては、上述したように、例えば、予め、アプリケーションの動作と対応したキーワードをテーブルとして保持しておき、そのテーブルを参照することにより、キーワードに対応する動作を実行する。
In addition, when a keyword is supplied from the
例えば、ナビゲーション用アプリケーションの場合、「ナビゲーション」と音声入力してアプリケーションを起動させた後、「東京駅」と目的地を示すキーワードを音声入力する。そうすると、ナビゲーション用アプリケーションがユーザの現在地から東京駅までのナビゲーションを開始する。 For example, in the case of a navigation application, after inputting “navigation” by voice and starting the application, “Tokyo Station” and a keyword indicating the destination are voiced. Then, the navigation application starts navigation from the user's current location to Tokyo Station.
なお、音声入力によりアプリケーションの起動とアプリケーションの動作を指示する場合、「ナビゲーション、東京駅」と、アプリケーションの起動を指示するキーワードと、アプリケーションの動作を指示するキーワードとを連続で入力できるようにしてもよい。 When instructing application activation and application operation by voice input, "Navigation, Tokyo Station", a keyword for instructing application activation, and a keyword for instructing application operation can be input continuously. Also good.
また、ユーザが使用するアプリケーションがすでに起動している場合には、アプリケーションを起動させるための音声入力は行わずに、アプリケーションに実行して欲しい動作のみを音声入力すればよい。 In addition, when an application used by the user has already been activated, only an operation desired to be executed by the application may be input by voice without performing voice input for starting the application.
例えば、ラジオアプリケーションが既に起動している場合、「ＦＭ７９．５」などのラジオ局を示すキーワードを音声入力すれば、ラジオアプリケーションが「ＦＭ７９．５ＭＨｚ」にチューニングする。 For example, when a radio application is already activated, if a keyword indicating a radio station such as “FM79.5” is input by voice, the radio application tunes to “FM79.5 MHz”.
また、動画共有サイト用アプリケーションが起動している場合には「ビートルズ」などの検索対象となるキーワードを音声入力すれば、動画共有サイト用アプリケーションが「ビートルズ」について検索を行い、検索結果を提示し、動画の再生を行う。 Also, if the video sharing site application is running, if you input a keyword to search for, such as “Beatles”, the video sharing site application will search for “Beatles” and present the search results. , Play video.
このように、本技術によれば、コンテンツ再生装置２００に対して音声入力を行うことにより端末装置１００のアプリケーションを起動、動作させることができる。例えば、例えばユーザが車両で運転中である場合、ユーザは、スマートフォンなどの端末装置１００を操作することはできない。しかし、コンテンツ再生装置２００がカーオーディオ装置である場合、本技術を用いることによって、ユーザが車両で運転中であっても、コンテンツ再生装置２００に対する音声入力により端末装置１００を操作することができる。
Thus, according to the present technology, an application of the
また、端末装置１００に送信する音声信号に対してノイズキャンセリング処理を施すことにより、車内などの騒音環境下であっても、端末装置１００の音声認識率を落とすことなく使用することが可能となる。
In addition, by performing noise canceling processing on the audio signal transmitted to the
スマートフォンなどの端末装置を所有しているユーザにとっては、音声認識用モジュールを備える高価なオーディオ機器を購入することなく、比較的低価格なオーディオ機器で音声認識機能を利用することができる。 For a user who owns a terminal device such as a smartphone, the speech recognition function can be used with a relatively low-priced audio device without purchasing an expensive audio device including a speech recognition module.
さらに、アプリケーションを起動させるための音声入力は行わずに、アプリケーションに実行して欲しい動作を示すキーワードのみを音声入力することにより、アプリケーションの起動とキーワードに基づく処理を行うようにしてもよい。詳しくは、キーワードが音声入力されると、そのキーワードに対応した動作を実行するのに最適なアプリケーションを端末装置が判断して、自動でアプリケーションを起動した後にキーワードに基づく動作を実行するようにする。 Further, the application may be activated and the process based on the keyword may be performed by inputting only a keyword indicating an operation desired to be executed by the application without inputting the voice for starting the application. Specifically, when a keyword is input by voice, the terminal device determines the most suitable application for executing an operation corresponding to the keyword, and automatically starts the application and then executes the operation based on the keyword. .
なお、上述のように、端末装置１００とコンテンツ再生装置２００とは、互いの有するアプリケーションについての情報を共有している。そこで、ステップＳ１０において、共有情報および選択情報に基づいて表示更新を行ったのと同様にして、端末装置１００の表示制御部１２４は、キーワードにより起動されたアプリケーションを示す情報を表示部１０６に表示するようにするとよい。さらに、コンテンツ再生装置２００の表示制御部２１８は、端末装置１００において起動したアプリケーションを表示部２１１に表示するようにするとよい。これにより、ユーザは、端末装置１００の表示部１０６を目視することにより、起動しているアプリケーションを確認することができる。
Note that, as described above, the
また、端末装置１００とコンテンツ再生装置２００は、互いの有するアプリケーションについての情報を共有している。したがって、端末装置１００とコンテンツ再生装置２００は互いが有するアプリケーションを把握しており、図９に示されるように、端末装置１００とコンテンツ再生装置２００の両方において互いのアプリケーションが表示される。よって、端末装置１００の入力部１０５に対する入力操作に応じて、端末装置１００からコンテンツ再生装置２００に操作情報を送信することにより、端末装置１００に対する操作でコンテンツ再生装置２００のアプリケーションを起動、動作させるようにしてもよい。また、コンテンツ再生装置２００に対して入力された音声を端末装置１００に送信し、端末装置１００のアプリケーションプロセッサ１１０が入力された音声に応じた処理を行い、コンテンツ再生装置２００に対してアプリケーションの起動、動作の指示を行うようにしてもよい。これにより、端末装置１００とコンテンツ再生装置２００とでアプリケーションの起動および動作がシームレスなものとなり、ユーザは装置のいずれかの装置であるかを意識することなくアプリケーションを使用することが可能となる。
Further, the
車両の運転中は携帯電話機、スマートフォンなどの端末装置１００を操作することは法律により禁止されている。そこで、コンテンツ再生装置２００を車両におけるカーオーディオシステムとして利用し、コンテンツ再生装置２００に対する音声入力で端末装置１００のアプリケーションを起動／動作させるようにする。これにより、端末装置１００、コンテンツ再生装置２００を直接操作しなくても端末装置１００におけるアプリケーションの起動／動作が可能となる。
It is prohibited by law to operate the
＜６．変形例＞
以上、本技術の一実施の形態について具体的に説明したが、本技術は、上述の実施形態に限定されるものではなく、本技術の技術的思想に基づく各種の変形が可能である。
<6. Modification>
Although one embodiment of the present technology has been specifically described above, the present technology is not limited to the above-described embodiment, and various modifications based on the technical idea of the present technology are possible.
実施の形態では第１の装置をコンテンツ再生装置２００とし、第２の装置を端末装置１００としたが、具体的な装置はそれに限られるものではない。双方向通信を行うことができる装置であればどのようなものにも適用することができる。例えば、第１の装置、第２の装置共に携帯電話機、スマートフォン、タブレット端末などの端末装置１００であってもよい。また、一方の装置がテレビジョン受像機であり、他方の装置が端末装置１００であるという組み合わせでもよい。
In the embodiment, the first device is the
１００・・・端末装置
１０５・・・入力部
１０６・・・表示部
１０７・・・通信部
１０９・・・音声認識部
１１０・・・アプリケーションプロセッサ
１２１・・・情報取得部
１２２・・・共有情報生成部
１２３・・・送信制御部
１２４・・・表示制御部
１２５・・・アプリケーション実行部
２００・・・コンテンツ再生装置
２０９・・・入力部
２１０・・・通信部
２１１・・・表示部
２１４・・・マイクロホン
２１６・・・アプリケーションプロセッサ
２１７・・・情報取得部
２１８・・・表示制御部
DESCRIPTION OF
Claims (9)
音声入力部と、
前記端末装置との間で双方向の近距離通信を確立する通信部とを有し、
前記端末装置と前記車載装置において共有させるアプリケーションを示す共有情報に基づいて、前記端末装置のアプリケーションと前記車載装置のアプリケーションを共存させ、
前記通信部が、音声認識モードにおいて、前記音声入力部から入力された操作者の音声情報を前記端末装置へ送出し、前記音声情報が前記端末装置と前記車載装置の複数のアプリケーションごとに関連づけられた特定の音声情報の１つとして前記端末装置で認識された場合、前記端末装置と前記車載装置にインストールされたアプリケーションの中から対応するアプリケーションが起動される
ことを特徴とする車載装置。 In an in-vehicle device that can communicate with a terminal device possessed by a passenger,
A voice input unit;
A communication unit for establishing two-way short-range communication with the terminal device,
Based on shared information indicating an application to be shared between the terminal device and the in-vehicle device, the application of the terminal device and the application of the in-vehicle device coexist,
In the voice recognition mode, the communication unit sends the operator's voice information input from the voice input unit to the terminal device, and the voice information is associated with each of a plurality of applications of the terminal device and the in-vehicle device. when it is recognized by the terminal device as one of the specific voice information, vehicle and wherein the corresponding application from an application that was installed with the terminal device to the vehicle device is activated.
搭乗者が有する端末装置との間で双方向の近距離通信を確立し、
前記端末装置と前記車載装置において共有させるアプリケーションを示す共有情報に基づいて、前記端末装置のアプリケーションと前記車載装置のアプリケーションを共存させ、
音声認識モード時に音声入力部から入力された操作者の音声情報を前記端末装置へ送出し、前記音声情報が前記端末装置と前記車載装置の複数のアプリケーションごとに関連づけられた特定の音声情報の１つとして前記端末装置で認識された場合、前記端末装置と前記車載装置にインストールされたアプリケーションの中から対応するアプリケーションが起動される
ことを特徴とする情報処理方法。 In the information processing method in the in-vehicle device,
Establish two-way short-range communication with the terminal device of the passenger,
Based on shared information indicating an application to be shared between the terminal device and the in-vehicle device, the application of the terminal device and the application of the in-vehicle device coexist,
The voice information of the operator input from the voice input unit in the voice recognition mode is sent to the terminal device, and the voice information is one of specific voice information associated with each of a plurality of applications of the terminal device and the in-vehicle device. When the terminal device recognizes the corresponding application, a corresponding application is activated from the applications installed in the terminal device and the in-vehicle device .
請求項１に記載の車載装置。 The voice information is transmitted from the communication unit to the terminal device when the voice information corresponding to the operation of the application is input from the operator to the voice input unit after the application is started. The in-vehicle device described.
請求項３に記載の車載装置。 When a plurality of the voice information corresponding to each of activation and operation of the application is continuously input from the operator to the voice input unit, the plurality of voice information is continuously input from the communication unit to the terminal device. The in-vehicle device according to claim 3, which is sent out as described above.
請求項１に記載の車載装置。 The in-vehicle device according to claim 1, wherein a noise canceling process is performed on the audio information transmitted from the communication unit to the terminal device.
請求項１に記載の車載装置。 The in-vehicle device according to claim 1, wherein the communication unit communicates with the terminal device via Bluetooth.
前記通信部で受信した前記音声データを処理する音声信号処理部
をさらに備える
請求項１に記載の車載装置。 The communication unit receives audio data reproduced by the terminal device,
The in-vehicle device according to claim 1, further comprising an audio signal processing unit that processes the audio data received by the communication unit.
をさらに備える
請求項１に記載の車載装置。 The in-vehicle device according to claim 1, further comprising a display unit configured to display the application activated by the terminal device.
前記車載装置は、
音声入力部と、
前記端末装置との間で双方向の近距離通信を確立し、前記音声入力部から入力された音声情報を送信する通信部とを有し、
前記端末装置は、
前記車載装置との間で双方向の近距離通信を確立し、前記送信された音声情報を受信する第２の通信部と、
前記音声情報に対して音声認識処理を行う音声認識部と、
インストールされたアプリケーションを実行するアプリケーションプロセッサと
を有し、
前記端末装置と前記車載装置において共有させるアプリケーションを示す共有情報に基づいて、前記端末装置のアプリケーションと前記車載装置のアプリケーションを共存させ、
前記音声認識部において、前記音声情報が前記端末装置と前記車載装置の複数のアプリケーションごとに関連づけられた特定の音声情報の１つとして認識された場合、前記アプリケーションプロセッサは、前記端末装置と前記車載装置にインストールされた前記アプリケーションの中から対応するアプリケーションを起動する
ことを特徴とする情報処理システム。 In an information processing system in which a terminal device possessed by a passenger and an in-vehicle device are communicably connected,
The in-vehicle device is
A voice input unit;
A communication unit that establishes bidirectional short-range communication with the terminal device, and transmits voice information input from the voice input unit;
The terminal device
A second communication unit that establishes bidirectional short-range communication with the in-vehicle device and receives the transmitted audio information;
A voice recognition unit that performs voice recognition processing on the voice information;
An application processor for executing the installed application;
Based on shared information indicating an application to be shared between the terminal device and the in-vehicle device, the application of the terminal device and the application of the in-vehicle device coexist,
When the voice recognition unit recognizes the voice information as one of specific voice information associated with each of a plurality of applications of the terminal device and the in-vehicle device , the application processor, the terminal device and the in-vehicle device An information processing system , wherein a corresponding application is activated from the applications installed in a device .
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016091236A JP6226020B2 (en) | 2016-04-28 | 2016-04-28 | In-vehicle device, information processing method, and information processing system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016091236A JP6226020B2 (en) | 2016-04-28 | 2016-04-28 | In-vehicle device, information processing method, and information processing system |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012065840A Division JP5928048B2 (en) | 2012-03-22 | 2012-03-22 | Information processing apparatus, information processing method, information processing program, and terminal apparatus |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017198220A Division JP6477822B2 (en) | 2017-10-12 | 2017-10-12 | TERMINAL DEVICE, TERMINAL DEVICE CONTROL METHOD, AND CONTROL PROGRAM |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2016178662A JP2016178662A (en) | 2016-10-06 |
| JP6226020B2 true JP6226020B2 (en) | 2017-11-08 |
Family
ID=57069402
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016091236A Active JP6226020B2 (en) | 2016-04-28 | 2016-04-28 | In-vehicle device, information processing method, and information processing system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6226020B2 (en) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018074366A (en) * | 2016-10-28 | 2018-05-10 | 京セラ株式会社 | Electronic apparatus, control method, and program |
| CN109804358B (en) * | 2016-11-11 | 2023-06-20 | 索尼移动通信株式会社 | Reproduction terminal and reproduction method |
| CN108428452B (en) | 2018-03-14 | 2019-12-13 | 百度在线网络技术（北京）有限公司 | Terminal support and far-field voice interaction system |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002237877A (en) * | 2001-02-13 | 2002-08-23 | Matsushita Electric Ind Co Ltd | Hands-free system, cellular phone, and hands-free apparatus |
| JP2007065944A (en) * | 2005-08-31 | 2007-03-15 | Hitachi Ltd | Display method and system of computer information |
| JP2008278388A (en) * | 2007-05-07 | 2008-11-13 | Sony Corp | Information exchange device and information exchange method |
| JP5426150B2 (en) * | 2008-11-28 | 2014-02-26 | 富士通テン株式会社 | In-vehicle system, in-vehicle device, and command execution control method thereof |
| JP4402162B2 (en) * | 2009-04-24 | 2010-01-20 | パナソニック株式会社 | Voice recognition control method for mobile terminal and wireless communication system |
| JP2010263401A (en) * | 2009-05-07 | 2010-11-18 | Alps Electric Co Ltd | Handsfree speech communication device, and voice correcting method of the device |
| WO2012036279A1 (en) * | 2010-09-17 | 2012-03-22 | クラリオン株式会社 | Vehicle-mounted information system, vehicle-mounted device, and information terminal |
-
2016
- 2016-04-28 JP JP2016091236A patent/JP6226020B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2016178662A (en) | 2016-10-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5928048B2 (en) | Information processing apparatus, information processing method, information processing program, and terminal apparatus | |
| JP6702451B2 (en) | In-vehicle device, control method for in-vehicle device, and control program | |
| JP6477822B2 (en) | TERMINAL DEVICE, TERMINAL DEVICE CONTROL METHOD, AND CONTROL PROGRAM | |
| KR20120092315A (en) | A portable terminal and method for discovering wireless device thereof | |
| JP6226020B2 (en) | In-vehicle device, information processing method, and information processing system | |
| JP6908169B2 (en) | Terminal equipment | |
| JP6733751B2 (en) | In-vehicle device, control method for in-vehicle device, and control program | |
| JP7243764B2 (en) | In-vehicle device, mobile terminal device, information processing system, control method and program for in-vehicle device | |
| US9414179B2 (en) | Operational control of an apparatus through a terminal device | |
| JP2015216586A (en) | Electronic system, media output method and output program | |
| KR200400330Y1 (en) | Apparatus of controlling a Multimedia Player using Cellular Phone |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170321 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170418 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170613 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170912 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170925 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6226020 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |