JP2016110424A - Manipulation system - Google Patents
Manipulation system Download PDFInfo
- Publication number
- JP2016110424A JP2016110424A JP2014247821A JP2014247821A JP2016110424A JP 2016110424 A JP2016110424 A JP 2016110424A JP 2014247821 A JP2014247821 A JP 2014247821A JP 2014247821 A JP2014247821 A JP 2014247821A JP 2016110424 A JP2016110424 A JP 2016110424A
- Authority
- JP
- Japan
- Prior art keywords
- user
- line
- sight
- touch sensor
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- User Interface Of Digital Computer (AREA)
Abstract
Description
本発明は、操作システムに関する。 The present invention relates to an operation system.
従来のタッチパネルは、ユーザの操作によってタッチパネル自体が物理的に変位しないため、操作に対するフィードバックがなく、ユーザは操作感を得ることができなかった。このため、ユーザの操作があった際にタッチパネルを振動させて、操作に対するフィードバックをユーザに与える技術が知られている。なお、本発明と関連する技術としては、例えば特許文献１がある。
In the conventional touch panel, since the touch panel itself is not physically displaced by a user operation, there is no feedback on the operation, and the user cannot obtain a feeling of operation. For this reason, a technique is known in which when a user's operation is performed, the touch panel is vibrated and feedback to the operation is given to the user. As a technique related to the present invention, there is, for example,
ところで、操作内容を示す表示画面とタッチセンサとが別の電子機器である場合には、フィードバックを与えることによってブラインドでの操作が可能になる。例えば、車両に用いた場合には、表示画面を前方にすることで運転中でも前方視界から目を離さずにタッチセンサの操作が可能になるという効果が期待できる。しかしながら、ドライバが自身の意思で又は無意識の内にタッチセンサを見てしまう可能性もあり、この場合には安全面での問題が生じることが懸念される。 By the way, when the display screen showing the operation content and the touch sensor are different electronic devices, the blind operation can be performed by giving feedback. For example, when used in a vehicle, it can be expected that the touch sensor can be operated without taking your eyes off the front view even during driving by setting the display screen forward. However, there is a possibility that the driver may see the touch sensor with his own intention or unconsciously. In this case, there is a concern that a safety problem may occur.
本発明は、上記課題に鑑みてなされたものであり、ユーザがタッチセンサを操作する際に安全面での問題が生じることを回避することが可能な技術を提供することを目的とする。 The present invention has been made in view of the above problems, and an object of the present invention is to provide a technique capable of avoiding the occurrence of a safety problem when a user operates a touch sensor.
上記課題を解決するため、請求項１の発明は、車両に搭載される操作システムであって、前記車両のユーザが操作可能な位置に配置されたタッチセンサと、前記車両の前方方向に操作画面を表示する表示装置と、前記ユーザの視線を検出する視線検出装置と、を備え、前記ユーザの視線が、前記操作画面が表示されている領域内にある場合には、前記タッチセンサへの操作を有効にする操作システムである。
In order to solve the above-mentioned problem, an invention according to
また、請求項２の発明は、車両に搭載される操作システムであって、前記車両のユーザが操作可能な位置に配置されたタッチセンサと、前記ユーザの視線を検出する視線検出装置と、を備え、ユーザの視線が、前記タッチセンサが配置されている領域内にある場合には、タッチセンサへの操作を無効にする操作システムである。
The invention of
また、請求項３の発明は、車両に搭載される操作システムであって、前記車両のユーザが操作可能な位置に配置されたタッチセンサと、前記ユーザの視線を検出する視線検出装置と、を備え、ユーザの視線が、前記タッチセンサが配置されている領域外にある場合には、タッチセンサへの操作を有効にする操作システムである。
The invention of
また、請求項４の発明は、車両に搭載される操作システムであって、前記車両のユーザが操作可能な位置に配置された第１のタッチセンサと、前記車両の前方方向に第１のタッチセンサで操作する操作画面を表示する表示装置と、第２のタッチセンサ及び表示部を有し、車両のユーザが操作可能な位置に配置されたタッチパネル装置と、前記ユーザの視線を検出する視線検出装置と、を備え、前記ユーザの視線が、前記操作画面が表示されている領域内にある場合には、前記第１のタッチセンサへの操作を有効にし、第２のタッチセンサへの操作を無効にする操作システムである。 According to a fourth aspect of the present invention, there is provided an operation system mounted on a vehicle, the first touch sensor disposed at a position where the user of the vehicle can operate, and the first touch in the forward direction of the vehicle. A display device that displays an operation screen operated by a sensor, a second touch sensor and a display unit, a touch panel device that is disposed at a position where the user of the vehicle can operate, and a gaze detection that detects the gaze of the user And when the user's line of sight is within the area where the operation screen is displayed, the operation to the first touch sensor is enabled and the operation to the second touch sensor is performed. The operating system to disable.
また、請求項５の発明は、車両に搭載される操作システムであって、前記車両のユーザが操作可能な位置に配置されたタッチセンサと、前記ユーザの視線を検出する視線検出装置と、を備え、前記ユーザの視線方向に車両設備が配置されている場合には、前記タッチセンサによる該車両設備への調整操作を可能にする操作システムである。 Further, the invention of claim 5 is an operation system mounted on a vehicle, comprising: a touch sensor disposed at a position operable by a user of the vehicle; and a line-of-sight detection device that detects the line of sight of the user. And an operation system that enables an adjustment operation to the vehicle facility by the touch sensor when the vehicle facility is arranged in the direction of the line of sight of the user.
また、請求項６の発明は、請求項１ないし５のいずれかに記載の操作システムにおいて、前記タッチセンサには、ユーザに対して触感を付与する触感付与手段が設けられている。 According to a sixth aspect of the present invention, in the operation system according to any of the first to fifth aspects, the touch sensor is provided with tactile sensation imparting means for imparting a tactile sensation to the user.
また、請求項７の発明は、請求項１ないし６のいずれかに記載の操作システムにおいて、前記車両が停車している場合には、前記タッチセンサへの操作の無効化を行わない。
The invention according to claim 7 is the operation system according to any one of
請求項１ないし６の発明によれば、ユーザの視線に応じてタッチセンサを有効又は無効にするため、車両のユーザが操作する場合においても安全面での問題が生じることを回避することが可能になる。 According to the first to sixth aspects of the invention, since the touch sensor is enabled or disabled according to the user's line of sight, it is possible to avoid a safety problem even when the user of the vehicle operates. become.
以下、図面を参照しつつ本発明の実施の形態について説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
＜１．第１の実施の形態＞
＜１−１．システムの概要＞
図１及び図２は、操作システム１の概要を示す図である。本実施の形態では、自動車などの車両に搭載された操作システム１を例に用いて説明する。図１は、操作システム１が搭載される車両の車室内の様子を示す図である。図２は、操作システム１の概略構成を示す図である。
<1. First Embodiment>
<1-1. System overview>
1 and 2 are diagrams showing an outline of the
図１及び図２に示すように、操作システム１は、制御装置１０と、遠隔操作装置２０と、ヘッドアップディスプレイ装置（以下「ＨＵＤ装置」と記載する）３０と、視線検出装置４０とを備えている。制御装置１０は、遠隔操作装置２０、ＨＵＤ装置３０及び視線検出装置４０の各々と電気的に接続されており、各装置との間で信号の送受信が可能である。
As shown in FIGS. 1 and 2, the
制御装置１０は、車両に設けられた他の装置（例えば遠隔操作装置２０等）を制御する。本実施の形態では、ユーザ（代表的にはドライバ）の視線に応じて遠隔操作装置２０の動作状態を制御するようになっており、制御装置１０はこのような制御を行う。
The
遠隔操作装置２０は、タッチセンサを備えた操作装置であり、車両のセンターコンソールのユーザの手の届く範囲に設けられている。そして、この遠隔操作装置２０を用いた操作内容を示す画像は、ＨＵＤ装置３０にて表示される。操作システム１では、ユーザはＨＵＤ装置３０が表示した画面を見ながら手元の遠隔操作装置２０を操作するようになっている。つまり、操作システム１は、操作する手元を見ることなく（ブラインドで）、遠隔での操作が可能なシステムである。
The
さらに、ユーザが遠隔操作装置２０のタッチセンサを操作すると、タッチセンサが振動する。これにより、ユーザは触感を得ることができるようになっており、すなわち操作に対するフィードバックを得ることができる。
Further, when the user operates the touch sensor of the
ＨＵＤ装置３０は、ユーザの略正面のフロントガラス部分に画像を投影する装置である。ユーザは、このＨＵＤ装置３０が投影した画面を見ながら遠隔操作装置２０のタッチセンサを操作する。
The
また、視線検出装置４０は、ユーザの視線を検出する装置である。視線検出装置４０は、例えばカメラでユーザの顔を撮影し、その画像を解析することでユーザの視線を検出する。視線検出装置４０が検出したユーザの視線情報は、制御装置１０が遠隔操作装置２０の動作状態を制御する際に用いられる。
The line-of-
このように、操作システム１は、タッチセンサと表示画面とが異なる位置にあり、ユーザが遠隔で操作可能なシステムであって、ユーザの視線方向に応じてタッチセンサの動作状態を制御するシステムである。以下、各構成の具体的な内容について説明する。
As described above, the
＜１−２．システムの構成＞
操作システム１の具体的な構成について図３ないし図７を用いて説明する。まず、制御装置１０の構成について説明する。図３は、制御装置１０の概略構成を示す図である。図３に示すように、制御装置１０は、通信部１１、記憶部１２、及び、制御部１３を備えている。
<1-2. System configuration>
A specific configuration of the
通信部１１は、Ｗｉ−Ｆｉ（ワイファイ：登録商標）等による無線通信により遠隔操作装置２０と通信可能に接続され、遠隔操作装置２０との間で各種データの送受信を行う。また、通信部１１は、ＣＡＮ（Controller Area Network）等の車載ＬＡＮ（Local Area Network）を介してＨＵＤ装置３０及び視線検出装置４０の各装置と通信可能に接続されており、ＨＵＤ装置３０及び視線検出装置４０の各装置と各種データの送受信を行う。なお、これらの接続は一例であり、有線及び無線のいずれであってもよい。
The
記憶部１２は、電気的にデータの読み書きが可能であって、電源を遮断されていてもデータが消去されない不揮発性の半導体メモリである。記憶部１２としては、例えば、ＥＥＰＲＯＭ（Electrical Erasable Programmable Read-Only memory）やフラッシュメモリを用いることができる。ただし、他の記憶媒体を用いてもよく、磁気ディスクを備えたハードディスクドライブで構成することもできる。記憶部１２には、プログラム１２ａなどが記憶されている。プログラム１２ａは、制御部１３により読みだされ、制御部１３が制御装置１０を制御するために実行される、いわゆるシステムソフトウェアである。
The
制御部１３は、例えば、ＣＰＵ、ＲＡＭ、及びＲＯＭなどを備えるマイクロコンピュータであり、主として制御装置１０や遠隔操作装置２０などを制御する。制御部１３のＣＰＵが記憶部１２に記憶されたプログラム１２ａを実行する（プログラム１２ａに従った演算処理を行う）ことにより、制御部１３として必要な各種の機能が実現される。
The
図３に示す操作判別部１３ａ、画像生成部１３ｂ、振動制御部１３ｃ、視線判定部１３ｄ及び動作制御部１３ｅは、プログラム１２ａの実行により実現される制御部１３の機能のうちの一部である。
The
操作判別部１３ａは、ユーザの操作内容を判別する。具体的には、操作判別部１３ａは、遠隔操作装置２０からユーザがタッチした位置の情報を取得して、この位置情報に基づいてユーザが遠隔操作装置２０を操作したことや、ジェスチャーなどの操作内容を判別する。例えば、操作判別部１３ａは、遠隔操作装置２０から取得した時間的に連続する位置情報をつないだ結果に基づいてユーザのジェスチャーを判別する。
The
画像生成部１３ｂは、ＨＵＤ装置３０が投影する画像データを生成し、通信部１１を介してＨＵＤ装置３０に送信する。例えば、ユーザが遠隔操作装置２０を操作してエアコンやオーディオなどの設定の調整指示を入力すると、画像生成部１３ｂは、対応する調整画像のデータを生成してＨＵＤ装置３０に送信する。これにより、ＨＵＤ装置３０は、対応する調整画像を投影して表示することになる。
The
振動制御部１３ｃは、操作判別部１３ａの判別結果に応じて遠隔操作装置２０のタッチセンサの振動を制御する。具体的には、振動制御部１３ｃは、ユーザが遠隔操作装置２０を操作すると、後述する振動素子を振動させる。例えば、振動制御部１３ｃは、振動素子を一定の強度で振動させたり、一定の周期で強弱を変化させながら振動させる等の制御を行う。
The
視線判定部１３ｄは、ユーザの視線が、ＨＵＤ装置３０が投影した画像の方向を向いているか否かを判定する。具体的には、視線判定部１３ｄは、視線検出装置４０が検出した視線の情報を取得し、その視線方向とＨＵＤ装置３０の投影画面の位置とを比較して判定する。
The line-of-
動作制御部１３ｅは、ユーザの視線に応じて遠隔操作装置２０の動作状態を制御する。例えば、ユーザの視線がＨＵＤ装置３０の投影画面の方向を向いている場合に、動作制御部１３ｅが遠隔操作装置２０の操作を有効にする等である。
The
次に、遠隔操作装置２０の構成について説明する。図４は、遠隔操作装置２０の概略構成を示す図である。図４に示すように、遠隔操作装置２０は、タッチセンサ２１、タッチセンサコントローラ２２、通信部２３、及び、振動素子２４を備えている。
Next, the configuration of the
なお、遠隔操作装置２０は、表示機能を有していないため、いわゆるタッチパッドとして機能する。また、遠隔操作装置２０のタッチセンサ２１の位置と、ＨＵＤ装置３０による投影画面の位置とが対応付けられており、ユーザはＨＵＤ装置３０によって投影された画面を見ながらタッチセンサ２１を操作することができるようになっている。
Note that the
タッチセンサ２１は、ユーザが入力操作を行う平板状のセンサーである。なお、遠隔操作装置２０自身は表示機能を有しておらず、タッチセンサ２１はいわゆるタッチパッドとして機能する。例えば、ＨＵＤ装置３０の投影画面に表示されたコマンドボタンに対応するタッチセンサ２１上の領域を指でタッチすると、コマンドボタンに関連付けられた指示を行うことができる。
The
タッチセンサ２１の方式としては、例えば、静電容量の変化を捉えて位置を検出する静電容量方式を採用することができる。ユーザは、タッチセンサ２１の操作面に対して、一点でタッチする操作のみならず、複数点でタッチする操作であるマルチタッチを行うことも可能になっている。
As a method of the
タッチセンサコントローラ２２は、例えば、ハードウェア回路であり、タッチセンサ２１の動作を制御する。タッチセンサコントローラ２２は、タッチセンサ２１で生じた信号に基づいて、タッチセンサ２１の操作面中のユーザがタッチした位置を検出するタッチ検出部２２ａを備えている。
The
タッチ検出部２２ａは、例えば、駆動電極及び受信電極の２電極間の静電容量の変化を測定する相互容量方式で、ユーザがタッチした位置（例えばＸＹ座標）を検出する。タッチ検出部２２ａは、ユーザの指での電界の遮断によって受信電極が受信する電荷が減少することに基づいて、ユーザがタッチしたか否かを検出する。
The
タッチ検出部２２ａは、タッチセンサ２１の操作面に、ユーザが一点及び複数点のいずれでタッチしたかを判別することができる。そして、タッチ検出部２２ａは、タッチセンサ２１の操作面にユーザが一点でタッチした場合にはその一点の位置を検出し、ユーザが複数点でタッチした場合にはその複数点のそれぞれの位置を検出する。
The
通信部２３は、Ｗｉ−Ｆｉ（ワイファイ：登録商標）等による無線通信により制御装置１０と通信可能に接続され、制御装置１０との間で各種データの送受信を行う。例えば、通信部２３は、タッチ検出部２２ａで検出したユーザがタッチした位置情報（例えばＸＹ座標）を制御装置１０に送信し、制御装置１０から振動素子２４を振動させる制御信号（以下「振動制御信号」という）を受信する。
The
振動素子２４は、タッチセンサ２１の操作面を振動させる部材である。振動素子２４は、図５に示すように、タッチセンサ２１の操作面の周囲に複数配置されている。そして、この振動素子２４自身が振動することでタッチセンサ２１の操作面を振動させる。振動素子２４は、制御装置１０からの振動制御信号に基づいて振動する。この振動素子２４としては、例えば、ピエゾ素子などの圧電素子を用いることができる。
The
このように、振動素子２４が振動してタッチセンサ２１を振動させることでタッチセンサ２１を操作しているユーザに対して触感を与えることができる。すなわち、操作に対するフィードバックを与えることができる。
As described above, the
次に、ＨＵＤ装置３０の構成について説明する。図６は、ＨＵＤ装置３０の概略構成を示す図である。図６に示すように、ＨＵＤ装置３０は、信号受信部３１、画像処理部３２、プロジェクタ３３、及び、制御部３４を備えている。
Next, the configuration of the
信号受信部３１は、制御装置１０から画像データを受信する。例えば、ユーザが遠隔操作装置３０のタッチセンサ２１を操作してエアコンやオーディオ等の設定を調整する指示を入力すると、制御装置１０から対応する調整画像のデータを受信する。
The
画像処理部３２は、信号受信部３１が受信した画像データに対して表示に必要な処理を行い、処理後の画像データをプロジェクタ３３に出力する。
The
プロジェクタ３３は、例えば、ＤＬＰ（登録商標）やＬＣＯＳなどの方式を用いて、画像データの画像を示す投影光をレンズから照射し、フロントガラスや専用のスクリーンに投影して画像を表示させる。
For example, the
制御部３４は、例えば、ＣＰＵ、ＲＡＭ及びＲＯＭなどを備えるマイクロコンピュータであり、ＨＵＤ装置３０全体を統括的に制御する。
The
次に、視線検出装置４０の構成について説明する。図７は、視線検出装置４０の概略構成を示す図である。図７に示すように、視線検出装置４０は、視線カメラ４１、制御部４２、及び、通信部４３を備えている。
Next, the configuration of the line-of-
視線カメラ４１は、視線検出用のカメラであり、ユーザの顔（特に目）を写すためのカメラである。したがって、この視線カメラ４１は、被写体となるユーザ（ドライバ）の略正面のインストルメントパネル付近に設けられている。視線カメラ４１としては、視線検出に用いることができるものであれば特に限定されるものではなく、可視光カメラや赤外線カメラを用いることができる。なお、赤外線カメラを用いる場合には、赤外線ＬＥＤなどを別途設け、ユーザの顔に赤外光を照射した状態で撮影する。
The line-of-
制御部４２は、例えば、ＣＰＵ、ＲＡＭ及びＲＯＭなどを備えるマイクロコンピュータであり、視線検出装置４０全体を統括的に制御する。制御部４２は、視線カメラ４１の撮影データを用いてユーザの視線を検出する視線検出部４２ａを備えている。
The
視線検出部４２ａは、例えば、視線カメラ４１で撮影した撮影データの中からユーザの目に該当する画像データを抽出する。そして、目に該当する画像データの中から動きのない点と、動きのある点とを抽出する。そして、視線検出部４２ａは、これら各点の位置関係に基づいてユーザの視線を検出する。なお、視線の検出方法については後述する。
The line-of-
通信部４３は、ＣＡＮ等の車載ＬＡＮを介して制御装置１０と通信可能に接続されており、制御装置１０と各種データの送受信を行う。例えば、視線検出装置４０は、視線検出部４２ａで検出した視線情報を、通信部４３を介して制御装置１０に送信する。
The
＜１−３．触感の発生方法と種類＞
ここで、タッチセンサ２１を振動させることによって触感を発生させる方法と、触感の種類について説明する。
<1-3. Tactile generation methods and types>
Here, a method for generating a tactile sensation by vibrating the
図５は、タッチセンサ２１を模式的に表した図である。上述したように、タッチセンサ２１の周囲には、複数の振動素子２４が配置されている。なお、本実施の形態では、対向する２辺に並べて配置しているが、これに限定されるものではなく、任意の辺に任意の数の振動素子２４を配置すればよい。
FIG. 5 is a diagram schematically showing the
触感を発生させるためには、まず制御装置１０からの振動制御信号に基づいて振動素子２４を高速で振動させる。この高速での振動とは例えば超音波振動である。振動素子２４を超音波振動させることでタッチセンサ２１の表面を超音波振動させることができる。図５に示すような対向する２辺に配置した振動素子２４を振動させればタッチセンサ２１全面を略均一に振動させることができる。
In order to generate a tactile sensation, first, the
タッチセンサ２１表面が超音波振動した状態でタッチセンサ２１表面を指で操作すると、指と高速で振動しているタッチセンサ２１表面との間に高圧の空気膜が発生して摩擦抵抗が減少する。これにより、ユーザは、振動していない状態に比べてツルツルと滑らかにすべる触感（以下「ツルツル感」という）を得ることができる。
When the surface of the
また、タッチセンサ２１表面を超音波振動させた状態のときに振動素子２４の振動を停止させると、タッチセンサ２１表面の超音波振動も停止する。すると、タッチセンサ２１表面の摩擦抵抗は、減少していた状態から本来の状態（振動していない状態）に戻る。すなわち、低摩擦の状態から高摩擦の状態に変化する。この場合、ツルツル感のあった触感からひっかかりの感じる触感に変化する。ユーザは、このツルツル感からひっかかりの感じる触感に変化する際にカチッとした触感を得ることができる。このカチッとした触感を以下においては「クリック感」という。
Further, when the vibration of the
また、振動素子２４の振動強度に変化をつけてタッチセンサ２１表面を超音波振動させると、タッチセンサ２１表面を相対的に大振幅で振動させたり小振幅で振動させたりすることが可能になる。これにより、タッチセンサ２１表面を高摩擦状態と低摩擦状態とが繰り返された状態にすることができる。つまり、ユーザは、ツルツル感とクリック感とを交互に触感として感じることになり、この場合凸凹した触感やザラザラした触感（以下「ザラザラ感」という）を得ることができる。
Further, when the surface of the
また、振動の強弱の大きさを変えたり、強弱を変化させる周期を変えることでザラザラ度合いを変化させることができる。これにより、ザラザラ度合いの強いザラザラ感や弱いザラザラ感、またザラザラ感の疎密度感など、段階的に複数種類のザラザラ感を実現することが可能になる。 Further, the degree of roughness can be changed by changing the magnitude of the vibration intensity or changing the period for changing the intensity. As a result, it is possible to realize a plurality of types of gritty feelings in stages, such as a gritty feeling with a strong gritty degree, a weak gritty feeling, and a sparse density feeling.
このように、本実施の形態では、振動素子２４を超音波振動させてタッチセンサ２１表面を超音波振動させることで、ユーザに対して触感を与えることができる。また、超音波振動の開始や停止のタイミング、強弱などを適宜制御すれば、その表面の摩擦抵抗を変化させることができ、それを利用することで種々の触感を与えることが可能になっている。
As described above, in this embodiment, the
＜１−４．視線の検出と動作状態の制御＞
次に、ユーザの視線を検出する処理について説明する。本実施の形態では、上述したように、カメラを用いて撮影した画像データからユーザの視線を検出している。以下、具体的に説明する。
<1-4. Eye Gaze Detection and Operational State Control>
Next, processing for detecting the user's line of sight will be described. In the present embodiment, as described above, the user's line of sight is detected from image data captured using a camera. This will be specifically described below.
視線検出装置４０は、既存のアルゴリズムを用いて、視線カメラ４１で撮影した画像データに含まれる人間の顔や目を抽出する。これら既存のアルゴリズムとしては、顔のパーツの形や大きさ、相対位置などを元にして認識するものや、テンプレートマッチングにより認識するもの、３次元の輪郭などの特徴を抽出するものなど、種々のものを用いることができる。
The line-of-
そして、視線検出装置４０は、目に該当する画像データの中から動きのない点を基準点として設定し、動きのある点を動点として設定する。視線カメラ４１として可視光カメラを用いた場合には、例えば、目頭を基準点として設定し、虹彩を動点として設定する。そして、視線検出部４２ａが、虹彩と目頭との位置関係に基づいてユーザの視線を検出する。つまり、ユーザがいずれの方向を見ているかを検出する。例えば、左目の虹彩が目頭から離れていれば、ユーザは左側を見ている等である。
Then, the line-of-
また、視線カメラ４１として赤外線カメラを用いた場合には、例えば、赤外光を照射してできた反射光の角膜上の位置（角膜反射）を基準点として設定し、瞳孔を動点として設定する。そして、視線検出部４２ａが、角膜反射と瞳孔との位置関係に基づいてユーザの視線を検出する。つまり、ユーザがいずれの方向を見ているかを検出する。例えば、左目の角膜反射よりも瞳孔が目じり側にあれば、ユーザは左側を見ている等である。
When an infrared camera is used as the line-of-
視線検出装置４０は、視線を検出すると、その情報を制御装置１０に送信する。そして、制御装置１０は、視線情報を受信するとその情報に基づいて遠隔操作装置２０の動作状態を制御するようになっている。そこで、以下において、制御装置１０による遠隔操作装置２０の動作状態の制御について説明する。
When detecting the line of sight, the line-of-
制御装置１０は、視線検出装置４０から視線情報を受信すると、視線判定部１３ｄが、ＨＵＤ装置３０によって投影された画像が表示される領域（以下「投影画面領域」という）内にユーザの視線が含まれているか否かを判定する。投影画面領域の位置は予め定められているため、視線判定部１３ｄは、視線情報に基づいて導出したユーザの視線（の延長線）が投影画面領域内にあるか否かを判定する。
When the
視線検出装置４０は、所定の間隔でユーザの視線を検出している。所定の間隔とは例えば１００ｍｓである。したがって、制御装置１０は、視線検出装置４０から１００ｍｓ毎に視線情報を受信して、各視線情報毎にユーザの視線が投影画面領域内にあるか否かを判定している。
The line-of-
視線判定部１３ｄは、ユーザの視線が投影画面領域内にあるとの判定結果が所定回数以上連続した場合に、ユーザは投影画面領域を見ていると判定する。視線判定部１３ｄは、それ以外の場合には、ユーザは投影画面領域を見ていないと判定する。所定回数は、ユーザが投影画面領域を見ていると判定可能な回数であればよく、適宜設定可能である。
The line-of-
ユーザが投影画面領域を見ている場合には、動作制御部１３ｅは、遠隔操作装置２０の操作を有効にする。例えば、動作制御部１３ｅが、遠隔操作装置２０の電源をオンにする制御をしたり、遠隔操作装置２０への操作を受け付ける制御をしたり、遠隔操作装置２０から受信した操作位置の情報を有効な情報として処理する等である。
When the user is looking at the projection screen area, the
一方、ユーザが投影画面領域を見ていない場合には、動作制御部１３ｅは、遠隔操作装置２０の操作を無効にする。例えば、動作制御部１３ｅが、遠隔操作装置２０の電源をオフにする制御をしたり、遠隔操作装置２０への操作を禁止する制御をしたり、遠隔操作装置２０から受信した操作位置の情報を無効な情報として処理する等である。
On the other hand, when the user is not looking at the projection screen area, the
＜１−５．システムの処理＞
次に、操作システム１の処理について説明する。図８は、視線検出装置４０及び制御装置１０の処理を示すフローチャートである。視線検出装置４０及び制御装置１０は、電源が投入されて起動することにより処理を開始する。
<1-5. System processing>
Next, processing of the
まず、視線検出装置４０は、ユーザの視線を検出する（ステップＳ１０）。これは、上述したように、視線カメラ４１で撮影した画像データに基づいて視線検出部４２ａが基準点及び動点を設定して行う。そして、視線検出装置４０は、検出した視線に関する情報（視線情報）を制御装置１０に送信する（ステップＳ１１）。
First, the line-of-
視線検出装置４０は、この視線検出処理を所定の間隔で繰り返し実行する。所定の間隔とは、例えば１００ｍｓであるが、これに限定されるものではない。制御装置１０が、ユーザが投影画面領域を見ているか否かの判定を行うことができる程度の間隔であればよく、適宜設定可能である。なお、視線検出装置４０は、電源がオフしたり、処理の停止指示があると処理を終了する。
The line-of-
そして、制御装置１０が視線情報を受信し（ステップＳ２０）、判定処理を実行する（ステップＳ２１）。この判定処理は、ユーザの視線が投影画面領域内にあるか否かを判定する処理である。上述したように、投影画面領域の位置は予め定められているため、視線判定部１３ｄは、ユーザの視線（の延長線）がこの予め定められた領域内に含まれるか否かを判定する。なお、この判定処理は、定期的に受信する全視線情報に対して実行される。
Then, the
そして、制御装置１０は、ユーザの視線が投影画面領域に含まれているとの判定結果が、所定回数連続したか否かを判定する（ステップＳ２２）。所定回数連続した場合には（ステップＳ２２でＹｅｓ）、視線判定部１３ｄは、ユーザが投影画面を見ていると判定し、動作制御部１３ｅが遠隔操作装置２０を有効にする（ステップＳ２３）。すなわち、動作制御部１３ｅは、動作状態の制御として、遠隔操作装置２０の電源のオンや、操作の受け付けや、遠隔操作装置２０からの受信信号の有効化等を実行する。
Then, the
一方、所定回数連続していない場合には（ステップＳ２２でＮｏ）、視線判定部１３ｄは、ユーザが投影画面を見ていないと判定し、動作制御部１３ｅが遠隔操作装置２０を無効にする（ステップＳ２４）。すなわち、動作制御部１３ｅは、動作状態の制御として、遠隔操作装置２０の電源のオフや、操作の禁止や、遠隔操作装置２０からの受信信号の無効化等を実行する。
On the other hand, if the predetermined number of times has not been continued (No in step S22), the line-of-
このように、前方の表示画面を見ながら手元のタッチセンサを操作するような遠隔操作のシステムにおいて、ユーザが表示画面を見ているときだけタッチセンサの操作を有効にするため、安全面での問題が生じることを回避することができると共に、誤操作を低減させることができる。 In this way, in a remote operation system that operates the touch sensor at hand while looking at the front display screen, the operation of the touch sensor is enabled only when the user is looking at the display screen. It is possible to avoid the occurrence of problems and to reduce erroneous operations.
＜２．第２の実施の形態＞
次に、第２の実施の形態について説明する。第１の実施の形態では、ユーザの視線を検出し、ユーザが投影画面領域を見ているか否かに応じて遠隔操作装置２０の動作状態を制御する内容について説明したが、これに限定されるものではない。例えば、ユーザが遠隔操作装置２０を見ているか否かに応じて遠隔操作装置２０自身の動作状態を制御する内容としてもよい。以下においては、この内容について第１の実施の形態と異なる点を中心に説明する。
<2. Second Embodiment>
Next, a second embodiment will be described. In the first embodiment, the content of detecting the user's line of sight and controlling the operation state of the
＜２−１．構成＞
図９は、本実施の形態にかかる操作システム２の概略構成を示す図である。図９に示すように、操作システム２は、第１の実施の形態で説明した操作システム１と略同様の構成を有しており、制御装置１４、遠隔操作装置２０、ＨＵＤ装置３０及び視線検出装置４０を備えている。このうち、遠隔操作装置２０、ＨＵＤ装置３０及び視線検出装置４０は、第１の実施の形態の各装置と同様の構成である。
<2-1. Configuration>
FIG. 9 is a diagram showing a schematic configuration of the
そこで、制御装置１４の構成について第１の実施の形態との相違点を中心に図１０を用いて説明する。図１０は、制御装置１４の概略構成を示す図である。
Therefore, the configuration of the
図１０に示すように、制御装置１４は、通信部１１、記憶部１２、及び、制御部１３を備えている。このうち、通信部１１及び記憶部１２は、第１の実施の形態の各部と同様の構成である。また、制御部１３のうち、操作判別部１３ａ、画像生成部１３ｂ及び振動制御部１３ｃの機能は、第１の実施の形態で説明した各機能と同様である。これに対して、視線判定部１３ｆ及び動作制御部１３ｇの機能が、第１の実施の形態で説明した各機能と相違する。このため、以下においては、視線判定部１３ｆ及び動作制御部１３ｇについて説明する。
As illustrated in FIG. 10, the
第１の実施の形態の視線判定部１３ｄは、ユーザの視線が投影画面領域内に含まれるか否かを判定するのに対して、本実施の形態の視線判定部１３ｆは、ユーザの視線が遠隔操作装置２０のタッチセンサ２１が配置された領域（以下「タッチセンサ領域」という）に含まれるか否かを判定する。
The line-of-
また、第１の実施の形態の動作制御部１３ｅは、ユーザが投影画面領域を見ている場合に遠隔操作装置２０を有効にし、見ていない場合に無効にするのに対して、本実施の形態の動作制御部１３ｇは、ユーザがタッチセンサ領域を見ている場合に遠隔操作装置２０を無効にし、見ていない場合に有効にする。
In addition, the
＜２−２．処理＞
次に、本実施の形態の操作システム２の処理について説明する。図１１は、本実施の形態にかかる操作システム２の処理を示すフローチャートである。
<2-2. Processing>
Next, processing of the
図１１に示すように、まず、視線検出装置４０がユーザの視線を検出し（ステップＳ１０）、その結果としての視線情報を制御装置１４に送信する（ステップＳ１１）。これらの処理は、第１の実施の形態と同様の処理である。
As shown in FIG. 11, first, the line-of-
そして、制御装置１４は、視線情報を受信すると（ステップＳ３０）、判定処理を実行する（ステップＳ３１）。この判定処理は、ユーザの視線がタッチセンサ領域内にあるか否かを判定する処理である。本実施の形態においても、タッチセンサ領域の位置が予め定められており、視線判定部１３ｆは、ユーザの視線（の延長線）がこのタッチセンサ領域内に含まれるか否かを判定する。なお、この判定処理は、定期的に受信する全視線情報に対して実行される。
And the
次に、制御装置１４は、ユーザの視線がタッチセンサ領域内にあるとの判定結果が所定回数連続したか否かを判定する（ステップＳ３２）。所定回数連続した場合には（ステップＳ３２でＹｅｓ）、視線判定部１３ｆは、ユーザがタッチセンサ領域を見ていると判定し、動作制御部１３ｇが遠隔操作装置２０を無効にする（ステップＳ３３）。すなわち、動作制御部１３ｇは、動作状態の制御として、遠隔操作装置２０の電源のオフや、操作の禁止や、遠隔操作装置２０からの受信信号の無効化等を実行する。
Next, the
一方、所定回数連続していない場合には（ステップＳ３２でＮｏ）、視線判定部１３ｆでは、ユーザがタッチセンサ領域を見ていないと判定し、動作制御部１３ｇが遠隔操作装置２０を有効にする（ステップＳ３４）。すなわち、動作制御部１３ｇは、動作状態の制御として、遠隔操作装置２０の電源のオンや、操作の受け付けや、遠隔操作装置２０からの受信信号の有効化等を実行する。
On the other hand, when the predetermined number of times has not been continued (No in step S32), the line-of-
以上のように、ユーザがタッチセンサ領域を見ている場合には、ユーザであるドライバが前方視界から目を離していることを示しているため、タッチセンサ２１の操作を有効にすると安全面の問題が懸念される。そこで、本実施の形態では、ユーザがタッチセンサ２１を見ている場合には、タッチセンサ２１の動作状態を無効にし、見ていない場合に有効にするような制御を行っている。
As described above, when the user is looking at the touch sensor area, it indicates that the driver who is the user is keeping an eye on the front view. The problem is concerned. Therefore, in the present embodiment, when the user is looking at the
これにより、前方の表示画面を見ながら手元のタッチセンサを操作するような遠隔操作のシステムにおいて、ユーザがタッチセンサを見ていないときだけタッチセンサの操作を有効にするため、安全面での問題が生じることを回避することができると共に、誤操作を低減させることができる。 This makes it possible to operate the touch sensor only when the user is not looking at the touch sensor in a remote control system that operates the touch sensor at hand while looking at the front display screen. Can be avoided, and erroneous operations can be reduced.
＜３．第３の実施の形態＞
次に、第３の実施の形態について説明する。第１の実施の形態では、ユーザの視線を検出し、ユーザが投影画面領域を見ているか否かに応じて遠隔操作装置２０の動作状態を制御する内容について説明した。本実施の形態では、他の操作装置をさらに備え、ユーザの視線に応じて遠隔操作装置２０及び他の操作装置の動作状態を併せて制御する内容である。以下においては、この内容について第１の実施の形態と異なる点を中心に説明する。
<3. Third Embodiment>
Next, a third embodiment will be described. In the first embodiment, the content of detecting the user's line of sight and controlling the operation state of the
＜３−１．構成＞
図１２は、本実施の形態に係る操作システム３が搭載される車室内の様子を示す図である。図１３は、操作システム３の概略構成を示す図である。図１２及び図１３に示すように、操作システム３は、第１の実施の形態で説明した操作システム１とほぼ同様の構成を有しており、制御装置１５、遠隔操作装置２０、ＨＵＤ装置３０及び視線検出装置４０を備えている。このうち、遠隔操作装置２０、ＨＵＤ装置３０及び視線検出装置４０は、第１の実施の形態の各装置と同様の構成である。
<3-1. Configuration>
FIG. 12 is a diagram showing a state of the passenger compartment in which the
そこで、制御装置１５の構成について第１の実施の形態との相違点を中心に説明する。制御装置１５は、車両のセンターコンソールなどのユーザが視認可能な位置に設けられ、少なくとも表示部とタッチセンサを有する電子機器である。また、制御装置１５は、遠隔操作装置２０、ＨＵＤ装置３０及び視線検出装置４０の各々と電気的に接続されており、各装置との間で信号の送受信が可能である。
Therefore, the configuration of the
図１４は、制御装置１５の概略構成を示す図である。図１４に示すように、制御装置１５は、通信部１１、記憶部１２、制御部１３、表示部１６、タッチセンサ１７、及び、タッチセンサコントローラ１８を備えている。このうち、通信部１１及び記憶部１２は、第１の実施の形態で説明した各部と同様の構成である。
FIG. 14 is a diagram illustrating a schematic configuration of the
また、制御部１３のうち、操作判別部１３ａ、画像生成部１３ｂ、振動制御部１３ｃ及び視線判定部１３ｄは、第１の実施の形態で説明した制御部１３が有する各機能と同様である。これに対して、動作制御部１３ｈは、第１の実施の形態の動作制御部１３ｅとは一部異なる機能であり、表示制御部１３ｉは、本実施の形態の制御部１３にて新たに実現される機能である。
Of the
動作制御部１３ｈは、ユーザの視線に応じて遠隔操作装置２０及びタッチセンサ１７の動作状態を制御する。例えば、ユーザの視線がＨＵＤ装置３０の投影画面領域の方向を見ている場合に、動作制御部１３ｈは、遠隔操作装置２０のタッチセンサ２１（第１のタッチセンサ）の操作を有効にすると共にタッチセンサ１７（第２のタッチセンサ）の操作を無効にする等である。
The
表示制御部１３ｉは、エアコンやオーディオなどの設定値を調整するための調整画像を表示部１６に表示させる制御を行う。また、制御装置１５がナビゲーション機能を有している場合には、表示制御部１３ｉは、地図画像やナビゲーション画像を表示部１６に表示させる制御も行う。
The display control unit 13 i performs control to display an adjustment image for adjusting set values of an air conditioner, an audio, and the like on the
表示部１６は、調整画像や地図画像などを表示する表示装置であり、例えば液晶ディスプレイや有機ＥＬ（Electro Luminescence）ディスプレイ等である。
The
タッチセンサ１７は、ユーザが操作内容を入力する平板状のセンサーである。タッチセンサ１７は、表示部１６の表示面上に（ユーザ側の面上に）設けられている。すなわち、表示部１６及びその表示面上に設けられたタッチセンサ１７がいわゆるタッチパネルとして機能する。
The
表示部１６の表示面には、適宜、ユーザの指示を受け付けるコマンドボタンが表示される。ユーザは、このようなコマンドボタンの領域に対応するタッチセンサ１７の操作面中の領域に指でタッチすることで、コマンドボタンに関連付けられた指示を制御装置１５に行うことができる。
On the display surface of the
また、タッチセンサ１７に振動素子を配置して、ユーザのタッチセンサ１７の操作に応じて振動素子を振動させるようにしてもよい。振動素子が振動することでタッチセンサ１７の操作面も振動してユーザに対して触感を与えることができる。タッチセンサ１７の方式は、上記タッチセンサ２１と同様に、例えば静電容量方式を用いることができる。
Further, a vibration element may be arranged on the
タッチセンサコントローラ１８も、上記タッチセンサコントローラ２２と同様の構成である。すなわち、タッチセンサコントローラ１８は、タッチセンサ１７で生じた信号に基づいて、タッチセンサ１７の操作面中のユーザがタッチした位置を検出するタッチ検出部１８ａを備えており、このタッチ検出部１８ａが、ユーザがタッチしたか否かと、タッチした位置とを検出する。
The
＜３−２．処理＞
次に、本実施の形態の操作システム３の処理について説明する。図１５は、本実施の形態にかかる操作システム３の処理を示すフローチャートである。
<3-2. Processing>
Next, processing of the
図１５に示すように、まず、視線検出装置４０がユーザの視線を検出し（ステップＳ１０）、その結果としての視線情報を制御装置１５に送信する（ステップＳ１１）。これらの処理は、第１の実施の形態と同様の処理である。
As shown in FIG. 15, first, the line-of-
そして、制御装置１５は、視線情報を受信すると（ステップＳ４０）、判定処理を実行して、ユーザの視線が投影画面領域に含まれているか否かを判定する（ステップＳ４１）。次いで、ユーザの視線が投影画面領域に含まれているとの判定結果が所定回数連続したか否かを判定する（ステップＳ４２）。これら各処理も、第１の実施の形態の処理（ステップＳ２０、Ｓ２１及びＳ２２）と同様の処理である。
Then, when receiving the line-of-sight information (step S40), the
そして、所定回数連続した場合には（ステップＳ４２でＹｅｓ）、視線判定部１３ｄは、ユーザが投影画面を見ていると判定する。そして、動作制御部１３ｈが、遠隔操作装置２０を有効にする（ステップＳ４３）と共に、制御装置１５のタッチセンサ１７を無効にする（ステップＳ４４）。すなわち、動作制御部１３ｈは、動作状態の制御として、遠隔操作装置２０の電源のオンや、操作の受け付けや、遠隔操作装置２０からの受信信号の有効化等を実行する。また、動作制御部１３ｈは、動作状態の制御として、タッチセンサ１７への操作の禁止や、タッチ検出部１８ａが取得した情報の無効化等を実行する。また、タッチセンサ１７を無効にする際には、表示部１６が、黒画像や白画像などのタッチセンサ１７への操作ができないことをユーザに認識させる画像を表示してもよい。
And when it continues for a predetermined number of times (it is Yes at Step S42), line-of-
一方、所定回数連続していない場合には（ステップＳ４２でＮｏ）、視線判定部１３ｄは、ユーザが投影画面を見ていないと判定する。そして、動作制御部１３ｈが、遠隔操作装置２０を無効にする（ステップＳ４５）と共に、制御装置１５のタッチセンサ１７を有効にする（ステップＳ４６）。すなわち、動作制御部１３ｈは、動作状態の制御として、遠隔操作装置２０の電源のオフや、操作の禁止や、遠隔操作装置２０からの受信信号の無効化等を実行する。また、動作制御部１３ｈは、動作状態の制御として、タッチセンサ１７への操作の受け付けや、タッチ検出部１８ａが取得した情報の有効化等を実行する。
On the other hand, when the predetermined number of times is not continued (No in step S42), the line-of-
このように、前方視界に表示された画面を見ながら手元のタッチセンサを操作するような遠隔操作装置と、前方視界以外の表示画面を見ながら操作する操作装置とを備えたシステムにおいても、ユーザが前方視界に表示された画面を見ているときだけ手元のタッチセンサの操作を有効にして、前方視界以外の表示画面の操作を無効にするため、安全面での問題が生じることを回避することができると共に、誤操作を低減させることができる。 As described above, even in a system including a remote operation device that operates a touch sensor at hand while viewing a screen displayed in the front view, and an operation device that operates while viewing a display screen other than the front view, the user Because the touch sensor operation is enabled only when looking at the screen displayed in the front view and the display screen operation other than the front view is disabled, it is possible to avoid the occurrence of safety problems. In addition, it is possible to reduce erroneous operations.
＜４．第４の実施の形態＞
次に、第４の実施の形態について説明する。本実施の形態に係る操作システムは、ユーザの視線を検出してユーザが見ている装置に関する操作を遠隔操作装置で行うことができるようにするシステムである。
<4. Fourth Embodiment>
Next, a fourth embodiment will be described. The operation system according to the present embodiment is a system that detects a user's line of sight so that an operation related to an apparatus that the user is viewing can be performed by a remote operation apparatus.
＜４−１．構成＞
図１６は、本実施の形態に係る操作システム４が搭載される車室内の様子を示す図である。図１７は、操作システム４の概略構成を示す図である。図１６及び図１７に示すように、操作システム４は、第３の実施の形態で説明した操作システム１とほぼ同様の構成を有しており、制御装置１９、遠隔操作装置２０、ＨＵＤ装置３０及び視線検出装置４０を備えている。このうち、遠隔操作装置２０、ＨＵＤ装置３０及び視線検出装置４０は、第１の実施の形態の各装置と同様の構成である。
<4-1. Configuration>
FIG. 16 is a diagram showing a state of the passenger compartment in which the operation system 4 according to the present embodiment is mounted. FIG. 17 is a diagram illustrating a schematic configuration of the operation system 4. As shown in FIGS. 16 and 17, the operation system 4 has substantially the same configuration as the
そこで、制御装置１９の構成について第３の実施の形態との相違点を中心に説明する。制御装置１９は、車両のセンターコンソールなどのユーザが視認可能な位置に設けられ、少なくとも表示部とタッチセンサを有する電子機器である。また、制御装置１９は、遠隔操作装置２０、ＨＵＤ装置３０及び視線検出装置４０の各々と電気的に接続されており、各装置との間で信号の送受信が可能である。
Therefore, the configuration of the
図１８は、制御装置１９の概略構成を示す図である。図１８に示すように、制御装置１９は、通信部１１、記憶部１２、制御部１３、表示部１６、タッチセンサ１７、及び、タッチセンサコントローラ１８を備えている。このうち、制御部１３以外の各部は第３の実施の形態で説明した各部と同様の構成である。
FIG. 18 is a diagram illustrating a schematic configuration of the
また、制御部１３のうち、操作判別部１３ａ、画像生成部１３ｂ、振動制御部１３ｃ及び表示制御部１３ｉは、第３の実施の形態で説明した制御部１３が有する各機能と同様である。これに対して、視線判定部１３ｊ及び動作制御部１３ｋは、第３の実施の形態の各部とは一部異なる機能を有している。
Of the
視線判定部１３ｊは、ユーザの視線方向が車両内のどの領域に含まれるのかを判定する。すなわち、ユーザが車両内のどの位置を見ているのかを判定する。また、視線判定部１３ｊは、ユーザの視線方向に配置されている電子機器や車両設備など（以下「装置等」という）を判定する。すなわち、ユーザが見ている装置等が何であるのかを判定する。
The line-of-
具体的には、視線判定部１３ｊは、視線検出装置４０が検出した視線情報を取得すると、ユーザの視線方向が含まれる領域を判定する。そして、判定された領域と車両内の装置等の配置情報とを比較して、ユーザの視線方向に配置されている装置等を判定する。
Specifically, the line-of-
装置等とは、例えば、表示装置やエアコン吹き出し口やオーディオ装置などである。この例の場合、例えば、センターコンソールの中央部分に相当する位置には表示装置が配置されているという情報や、ダッシュボード左側に相当する位置にはエアコンの吹き出し口５０が配置されているという情報が配置情報となる。このように、配置情報は、装置等と、その装置等が配置されている車両内空間における位置とを対応付けた情報である。
Examples of the device include a display device, an air conditioner outlet, and an audio device. In the case of this example, for example, information that a display device is disposed at a position corresponding to the center portion of the center console, or information that an
動作制御部１３ｋは、ユーザの視線方向に配置されている装置等の種類に応じて、遠隔操作装置２０の動作状態を制御する。例えば、ユーザの視線がエアコン吹き出し口の方向を向いている場合には、動作制御部１３ｋは、遠隔操作装置２０をエアコンの設定調整が可能なモードとなるように制御する等である。
The
＜４−２．処理＞
次に、本実施の形態の操作システム４の処理について説明する。図１９は、本実施の形態にかかる操作システム４の処理を示すフローチャートである。
<4-2. Processing>
Next, processing of the operation system 4 according to the present embodiment will be described. FIG. 19 is a flowchart showing processing of the operation system 4 according to the present embodiment.
図１９に示すように、まず、視線検出装置４０がユーザの視線を検出し（ステップＳ１０）、その結果としての視線情報を制御装置１９に送信する（ステップＳ１１）。これらの処理は、第１の実施の形態と同様の処理である。
As shown in FIG. 19, first, the line-of-
そして、制御装置１９は、視線情報を受信すると（ステップＳ５０）、領域判定処理を実行する（ステップＳ５１）。この領域判定処理は、ユーザの視線方向に対応する車両内の領域を判定する処理である。視線判定部１３ｊは、ユーザの視線の延長線が車両内のどの領域に含まれるかを判定する。なお、この領域判定処理は、定期的に受信する全視線情報に対して実行される。
And the
そして、制御装置１９は、ユーザの視線が同じ領域内にあるとの判定結果が、所定回数連続したか否かを判定する（ステップＳ５２）。つまり、ユーザが同じ領域を一定時間見ていたか否かを判定している。所定回数連続しない場合には（ステップＳ５２でＮｏ）、ユーザは同じ領域を見続けていないとして処理を終了する。
Then, the
一方、所定回数連続した場合には（ステップＳ５２）、制御装置１９は、装置判定処理を実行する（ステップＳ５３）。すなわち、視線判定部１３ｊは、ユーザの視線が所定回数連続して含まれた領域内に存在する装置等が何であるかを判定する。すなわち、ユーザが何の装置等を見ているかを判定する。本実施の形態では、車室内のどの領域に何の装置等が配置されているかの配置情報が予め定められており、視線判定部１３ｄは、この配置情報に基づいて、ユーザの視線方向に存在する装置等を判定する。
On the other hand, when it has continued for a predetermined number of times (step S52), the
そして、制御装置１９は、モード制御処理を実行する（ステップＳ５４）。すなわち、動作制御部１３ｋは、ユーザの視線方向に存在すると判定された装置等に対応したモードとなるように遠隔操作装置２０やＨＵＤ装置３０を制御する。
And the
例えば、視線判定部１３ｊが、ユーザの視線がダッシュボード左側の領域にあると所定回数連続して判定した場合には、視線判定部１３ｊは、さらに、配置情報に基づいてその領域にはエアコンの吹き出し口が存在すると判定する。すると、動作制御部１３ｋは、遠隔操作装置２０及びＨＵＤ装置３０をエアコンの操作が可能なモードに制御する。具体的には、動作制御部１３ｋのモード制御により、ＨＵＤ装置３０が温度調整や風量調整などの調整像を投影表示し、遠隔操作装置２０がタッチセンサ２１にて調整画像に対応した入力操作を受け付け可能な状態になる。すなわち、ユーザがエアコンの調整操作が可能なエアコン操作モードが起動する。
For example, when the line-of-
そして、制御装置１９は、再び視線検出装置４０から視線情報を受信して（ステップＳ５５）、判定処理を実行する（ステップＳ５６）。そして、制御装置１９は、ユーザの視線が投影画面領域に含まれているとの判定結果が、所定回数連続したか否かを判定する（ステップＳ５７）。
Then, the
そして、判定結果が所定回数連続した場合には（ステップＳ５７でＹｅｓ）、動作制御部１３ｋが遠隔操作装置２０を有効にする（ステップＳ５８）。一方、判定結果が所定回数連続していない場合には（ステップＳ５７でＮｏ）、動作制御部１３ｋが遠隔操作装置２０を無効にする（ステップＳ５９）。これら各処理は、第１の実施の形態のステップＳ２０〜Ｓ２４と同様の処理である。
If the determination result continues for a predetermined number of times (Yes in step S57), the
なお、ステップＳ５２にて所定回数連続していないと判定した場合においても、遠隔操作装置２０への操作を無効にする。この場合、所定回数連続していないと判定されると、動作制御部１３ｋは、動作状態の制御として、遠隔操作装置２０の電源のオフや、操作の禁止や、遠隔操作装置２０からの受信信号の無効化等を実行する。
Even when it is determined in step S52 that the predetermined number of times is not continued, the operation on the
このように、ユーザが実際に見ている装置に対応する操作モードが起動するため、ユーザは手元を見ることなく所望の装置を操作することが可能となり利便性が向上すると共に、誤操作を低減させることが可能になる。また、ユーザが表示画面を見ているときだけタッチセンサの操作を有効にするため、安全面での問題が生じることを回避することができると共に、誤操作を低減させることができる。 In this way, since the operation mode corresponding to the device that the user is actually viewing is activated, the user can operate the desired device without looking at the hand, improving convenience and reducing erroneous operations. It becomes possible. In addition, since the operation of the touch sensor is enabled only when the user is looking at the display screen, it is possible to avoid the occurrence of a safety problem and to reduce erroneous operations.
なお、ステップＳ５２での所定回数とステップＳ５７での所定回数とでは、ステップＳ５７の所定回数を多くすることが好ましい。すなわち、ユーザが投影画面領域を見ているかの決定判断の時間は、ユーザが車両内のどの領域を見ているかの決定判断の時間よりも短くすることが好ましい。また、各判断の決定時には対応する効果音を出力することが好ましい。 In addition, it is preferable to increase the predetermined number of times of step S57 with the predetermined number of times in step S52 and the predetermined number of times in step S57. That is, it is preferable that the time for determining whether the user is looking at the projection screen area is shorter than the time for determining where the user is looking in the vehicle. Moreover, it is preferable to output a corresponding sound effect when each determination is made.
また、本実施の形態においては、制御装置１９がモード制御処理（ステップＳ５４）を実行すると、遠隔操作装置２０への操作を有効にする構成としてもよい。この場合、制御装置１９は、図１９のステップＳ５５〜Ｓ５９の処理は行わず、ユーザの操作を受け付け可能な状態となる。また、ステップＳ５２でＮｏの場合には処理は終了する。
Moreover, in this Embodiment, it is good also as a structure which validates operation with respect to the
＜５．変形例＞
以上、本発明の実施の形態について説明してきたが、この発明は上記各実施の形態に限定されるものではなく様々な変形が可能である。以下では、このような変形例について説明する。上記各実施の形態及び以下で説明する形態を含む全ての形態は、適宜に組み合わせ可能である。
<5. Modification>
Although the embodiments of the present invention have been described above, the present invention is not limited to the above-described embodiments, and various modifications can be made. Below, such a modification is demonstrated. All the embodiments including the embodiments described above and the embodiments described below can be appropriately combined.
上記各実施の形態では、操作システムは車両に搭載され、安全面での問題を回避するシステムの例について説明している。すなわち、例えば、ユーザがＨＵＤ装置の投影画面を見ていないときは遠隔操作装置への操作を無効にする等である。しかしながら、車両が停車しているときは、ユーザが遠隔操作装置を操作しても安全面に問題が生じることはないため、必ずしもこのような場合にまでも無効にする必要はない。 In each of the above-described embodiments, an example of a system in which an operation system is mounted on a vehicle and a safety problem is avoided has been described. That is, for example, when the user is not looking at the projection screen of the HUD device, the operation on the remote control device is invalidated. However, when the vehicle is stopped, there is no problem in safety even if the user operates the remote control device. Therefore, it is not always necessary to invalidate the case.
したがって、上記各実施の形態における操作システムは、車両が停車している場合には、遠隔操作装置への操作の無効化処理は行わない構成としてもよい。車両が停車している場合とは、例えば、車速が０の場合やパーキングブレーキがオンの場合などである。 Therefore, the operation system in each of the above embodiments may be configured not to invalidate the operation on the remote operation device when the vehicle is stopped. The case where the vehicle is stopped is, for example, the case where the vehicle speed is 0 or the parking brake is on.
また、上記各実施の形態では、プログラムに従ったＣＰＵの演算処理によってソフトウェア的に各種の機能が実現されると説明したが、これら機能のうちの一部は電気的なハードウェア回路により実現されてもよい。また逆に、ハードウェア回路によって実現されるとした機能のうちの一部は、ソフトウェア的に実現されてもよい。 Further, in each of the above embodiments, it has been described that various functions are realized in software by the arithmetic processing of the CPU according to the program. However, some of these functions are realized by an electrical hardware circuit. May be. Conversely, some of the functions realized by the hardware circuit may be realized by software.
１・２・３・４ 操作システム
１０・１４・１５・１９ 制御装置
２０ 遠隔操作装置
３０ ＨＵＤ装置
４０ 音声出力装置
1, 2, 3, 4
Claims (7)
前記車両のユーザが操作可能な位置に配置されたタッチセンサと、
前記車両の前方方向に操作画面を表示する表示装置と、
前記ユーザの視線を検出する視線検出装置と、を備え、
前記ユーザの視線が、前記操作画面が表示されている領域内にある場合には、前記タッチセンサへの操作を有効にすることを特徴とする操作システム。 An operation system mounted on a vehicle,
A touch sensor disposed at a position operable by a user of the vehicle;
A display device for displaying an operation screen in a forward direction of the vehicle;
A line-of-sight detection device that detects the line of sight of the user,
When the user's line of sight is within an area where the operation screen is displayed, an operation system for enabling an operation on the touch sensor.
前記車両のユーザが操作可能な位置に配置されたタッチセンサと、
前記ユーザの視線を検出する視線検出装置と、を備え、
ユーザの視線が、前記タッチセンサが配置されている領域内にある場合には、タッチセンサへの操作を無効にすることを特徴とする操作システム。 An operation system mounted on a vehicle,
A touch sensor disposed at a position operable by a user of the vehicle;
A line-of-sight detection device that detects the line of sight of the user,
An operation system that disables an operation to a touch sensor when a user's line of sight is within an area where the touch sensor is disposed.
前記車両のユーザが操作可能な位置に配置されたタッチセンサと、
前記ユーザの視線を検出する視線検出装置と、を備え、
ユーザの視線が、前記タッチセンサが配置されている領域外にある場合には、タッチセンサへの操作を有効にすることを特徴とする操作システム。 An operation system mounted on a vehicle,
A touch sensor disposed at a position operable by a user of the vehicle;
A line-of-sight detection device that detects the line of sight of the user,
An operation system for enabling an operation on a touch sensor when a user's line of sight is outside an area where the touch sensor is disposed.
前記車両のユーザが操作可能な位置に配置された第１のタッチセンサと、
前記車両の前方方向に第１のタッチセンサで操作する操作画面を表示する表示装置と、
第２のタッチセンサ及び表示部を有し、車両のユーザが操作可能な位置に配置されたタッチパネル装置と、
前記ユーザの視線を検出する視線検出装置と、を備え、
前記ユーザの視線が、前記操作画面が表示されている領域内にある場合には、前記第１のタッチセンサへの操作を有効にし、第２のタッチセンサへの操作を無効にすることを特徴とする操作システム。 An operation system mounted on a vehicle,
A first touch sensor disposed at a position operable by a user of the vehicle;
A display device for displaying an operation screen operated by a first touch sensor in a forward direction of the vehicle;
A touch panel device having a second touch sensor and a display unit, and disposed at a position operable by a user of the vehicle;
A line-of-sight detection device that detects the line of sight of the user,
When the user's line of sight is within an area where the operation screen is displayed, the operation to the first touch sensor is enabled and the operation to the second touch sensor is disabled. And operation system.
前記車両のユーザが操作可能な位置に配置されたタッチセンサと、
前記ユーザの視線を検出する視線検出装置と、を備え、
前記ユーザの視線方向に車両設備が配置されている場合には、前記タッチセンサによる該車両設備への調整操作を可能にすることを特徴とする操作システム。 An operation system mounted on a vehicle,
A touch sensor disposed at a position operable by a user of the vehicle;
A line-of-sight detection device that detects the line of sight of the user,
When the vehicle facility is arranged in the direction of the user's line of sight, the operation system enables an adjustment operation to the vehicle facility by the touch sensor.
前記タッチセンサには、ユーザに対して触感を付与する触感付与手段が設けられていることを特徴とする操作システム。 The operation system according to any one of claims 1 to 5,
The touch system is provided with tactile sensation imparting means for imparting tactile sensation to a user.
前記車両が停車している場合には、前記タッチセンサへの操作の無効化を行わないことを特徴とする操作システム。 The operation system according to any one of claims 1 to 6,
An operation system that does not invalidate an operation on the touch sensor when the vehicle is stopped.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014247821A JP6549839B2 (en) | 2014-12-08 | 2014-12-08 | Operation system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014247821A JP6549839B2 (en) | 2014-12-08 | 2014-12-08 | Operation system |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2016110424A true JP2016110424A (en) | 2016-06-20 |
| JP2016110424A5 JP2016110424A5 (en) | 2018-01-18 |
| JP6549839B2 JP6549839B2 (en) | 2019-07-24 |
Family
ID=56124341
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014247821A Active JP6549839B2 (en) | 2014-12-08 | 2014-12-08 | Operation system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6549839B2 (en) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109547970A (en) * | 2017-08-11 | 2019-03-29 | 法雷奥舒适驾驶助手公司 | The method of safety is provided for the long-range control manipulation for motor vehicles |
| JP2019121286A (en) * | 2018-01-10 | 2019-07-22 | 株式会社デンソーテン | Operation input device and touch panel |
| JP2021043616A (en) * | 2019-09-10 | 2021-03-18 | 株式会社東海理化電機製作所 | Control device, control method, and program |
| JP2021047897A (en) * | 2020-12-08 | 2021-03-25 | 株式会社デンソーテン | Movement guidance device and movement guidance method |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010105417A (en) * | 2008-10-28 | 2010-05-13 | Mitsubishi Motors Corp | On-vehicle electronic equipment |
| JP2010127673A (en) * | 2008-11-26 | 2010-06-10 | Calsonic Kansei Corp | Input device for vehicle |
| JP2014164388A (en) * | 2013-02-22 | 2014-09-08 | Tokai Rika Co Ltd | Information presentation device |
| US20140292665A1 (en) * | 2013-03-26 | 2014-10-02 | Audi Ag | System, components and methodologies for gaze dependent gesture input control |
-
2014
- 2014-12-08 JP JP2014247821A patent/JP6549839B2/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010105417A (en) * | 2008-10-28 | 2010-05-13 | Mitsubishi Motors Corp | On-vehicle electronic equipment |
| JP2010127673A (en) * | 2008-11-26 | 2010-06-10 | Calsonic Kansei Corp | Input device for vehicle |
| JP2014164388A (en) * | 2013-02-22 | 2014-09-08 | Tokai Rika Co Ltd | Information presentation device |
| US20140292665A1 (en) * | 2013-03-26 | 2014-10-02 | Audi Ag | System, components and methodologies for gaze dependent gesture input control |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109547970A (en) * | 2017-08-11 | 2019-03-29 | 法雷奥舒适驾驶助手公司 | The method of safety is provided for the long-range control manipulation for motor vehicles |
| JP2019121286A (en) * | 2018-01-10 | 2019-07-22 | 株式会社デンソーテン | Operation input device and touch panel |
| JP7141215B2 (en) | 2018-01-10 | 2022-09-22 | 株式会社デンソーテン | Operation input device and touch panel |
| JP2021043616A (en) * | 2019-09-10 | 2021-03-18 | 株式会社東海理化電機製作所 | Control device, control method, and program |
| WO2021049079A1 (en) * | 2019-09-10 | 2021-03-18 | 株式会社東海理化電機製作所 | Control device, control method, and program |
| JP7344057B2 (en) | 2019-09-10 | 2023-09-13 | 株式会社東海理化電機製作所 | Control device, control method, and program |
| JP2021047897A (en) * | 2020-12-08 | 2021-03-25 | 株式会社デンソーテン | Movement guidance device and movement guidance method |
| JP7194160B2 (en) | 2020-12-08 | 2022-12-21 | 株式会社デンソーテン | Movement guidance device and movement guidance method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6549839B2 (en) | 2019-07-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3598341B1 (en) | Implementation of biometric authentication using a viewfinder | |
| KR101550601B1 (en) | Curved touch display apparatus for providing tactile feedback and method thereof | |
| US9346358B2 (en) | Vehicle control apparatus | |
| JP6214752B2 (en) | Display control device, display control method for display control device, gaze direction detection system, and calibration control method for gaze direction detection system | |
| JP2019197575A (en) | System and method for controlling plural displays by using one controller and user interface which can use haptic effects | |
| JPWO2012132495A1 (en) | Operating device | |
| US20160162092A1 (en) | Operation device | |
| JP6549839B2 (en) | Operation system | |
| CN103869970B (en) | Pass through the system and method for 2D camera operation user interfaces | |
| US20150274176A1 (en) | Moving amount derivation apparatus | |
| JP2010205223A (en) | System and device for control following gesture for virtual object | |
| JP6700034B2 (en) | Techniques for dynamically changing the haptic surface of a haptic controller to convey interactive system information | |
| JP6473610B2 (en) | Operating device and operating system | |
| JP6620682B2 (en) | In-vehicle display device | |
| JP2009190675A (en) | Operating device for vehicle | |
| JP2014211738A (en) | On-vehicle device controller and on-vehicle device | |
| KR101704065B1 (en) | Interaction System for Vehicles | |
| KR20150027608A (en) | Remote control system based on gesture and method thereof | |
| US20220392320A1 (en) | Tactile presentation device and tactile presentation method | |
| JP6781236B2 (en) | Operating device | |
| JP2017113136A (en) | Eye adjusting function support system, eye adjusting function support device, eye adjusting function support method, and control method of eye adjusting function support instrument | |
| WO2021059479A1 (en) | Display control device for displaying operation subject within operable range | |
| CN120245714A (en) | Auxiliary operating system and auxiliary operating method for vehicle device | |
| JP2016110421A (en) | Operation device | |
| KR20150072203A (en) | Vehicle Control Apparatus And Vehicle Control Method Using the same |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20171130 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20171130 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180718 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180821 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181010 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181106 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181211 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190604 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190628 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6549839 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |