JP5884742B2 - ユーザインタフェース装置および入力取得方法 - Google Patents

Description

本発明は、手で入力操作を行うユーザインタフェース装置に関する。

車両の乗員により、車載機器に対する入力操作を行うための装置が種々提案されている。
入力装置として現在普及しているタッチパネルディスプレイは、主に運転席と助手席の間にあるセンターコンソールに配置されているため、操作を行うためには手を大きく移動させる必要がある。すなわち、入力操作の際に運転者に負荷がかかるという点において改善の余地があった。

運転者が少ない負荷で入力操作を行うことができる装置として、例えば特許文献１に記載の装置がある。特許文献１に記載の装置は、ステアリングホイールのスポーク部分にタッチパッドが内蔵されており、運転者が当該タッチパッド上で操作を行うことで、車載装置に対する入力を行うことができる。

しかし、この装置を用いた場合であっても、運転者はタッチパッドを操作するために手を移動させなければならない。また、ステアリングホイールの回転状態によってタッチパッドの位置や向きが変わってしまい、操作性が落ちるといった問題がある。

このような問題に対し、ステアリングホイールの把持部分そのものにセンサを内蔵するという提案がなされている。特許文献２に記載の入力装置は、ステアリングホイールの全周にタッチセンサが内蔵されており、運転者がステアリングホイール上で手を移動させる操作を行うことで、車載機器に対する入力を行うことができる。当該入力装置は、入力操作中であるか否かを判別するためのスイッチを有し、当該スイッチが入っている場合にのみ入力操作を受け付ける。

特開２００９−１２９１７１号公報 特開２００９−２４８６２９号公報

ステアリングホイールの把持部分にセンサを設けることで、運転者が手を離さずに入力操作を行えるようになる。しかし、運転者は走行中、常にステアリングホイールを把持しているため、単純に把持部分にセンサを設けただけでは、運転者が入力操作を行っているのか、単にステアリングホイールを握っているだけなのかを判別することができない。
特許文献２に記載の発明では、入力操作のオンオフを切り替えるスイッチを設けることで上記の判別を行っているが、この方法では、入力操作を開始および終了するたびにスイッチを操作しなければならないため、運転者にかかる負荷を軽減させるという本来の課題を解決することができない。

運転者にかかる負荷を軽減させるためには、運転者に特別な操作をさせることなく、センサが取得した情報のみに基づいて、入力操作を適切に判別できるようにしなければならない。

本発明は上記の課題を考慮してなされたものであり、少ない負荷で入力操作を行うことができるユーザインタフェース装置を提供することを目的とする。

本発明に係るユーザインタフェース装置は、操作者が手で把持するための把持部と、前記把持部の表面に配置された、接触位置を検出する接触センサと、前記接触センサから出力されるセンサ情報を取得するセンサ情報取得手段と、それぞれ異なる時刻に取得した前記センサ情報間の差分を取得し、前記差分が、所定のパターンと一致する場合に、当該パターンに対応する入力操作が行われたと判定する入力内容取得手段と、を有することを特徴とする。

把持部とは、操作者によって手で把持される部分であり、典型的には車両のステアリングホイールである。
把持部の表面には、接触センサが配置されている。接触センサは、操作者の指の接触位置を検出することができるセンサであり、典型的にはタッチパッドに用いられているような平板状のセンサである。接触センサは、把持部を把持した操作者の指の接触位置を検出できれば、どこに配置されていてもよい。例えば把持部がステアリングホイールである場合、接触センサがホイール全体を覆っていてもよいし、円周上の一部分のみに配置されていてもよい。また、運転者に向き合う面のみに配置されていてもよい。

また、センサ情報取得手段は、接触センサから出力されるセンサ情報を収集する手段であり、入力内容取得手段は、収集したセンサ情報に基づいて、操作者が行った入力操作の内容を取得する手段である。具体的には、複数の時刻においてそれぞれ取得したセンサ情報間の差分を取得し、当該差分が、所定のパターンに一致するか否かを判定する。このようにすることで、操作者の手や指の一部が常に接触センサに触れている状態であっても、指の動きを検出することができ、入力操作の内容を取得することができる。

また、前記所定のパターンとは、前記接触センサが接触を検出している領域の数もしくは位置の時間的変化を示すものであることを特徴としてもよい。

所定のパターンとは、具体的には、接触センサが接触を検出している領域の数、位置のいずれかが時間の経過とともに変動したことを示すパターンである。これにより、接触センサ上で指をタップする操作や、指を移動させる操作（ドラッグ、フリック、スワイプ等）が行われたことを検出することができる。

また、本発明に係るユーザインタフェース装置は、操作者が前記把持部を把持した状態であり、かつ、入力操作に該当しない状態を表す把持パターンを記憶する把持パターン記憶手段をさらに有し、前記入力内容取得手段は、異なる時刻に取得したセンサ情報それぞれについて、前記把持パターンに一致しない領域を抽出し、複数の前記抽出した領域間の差分を取得し、当該差分を用いて前記所定のパターンとの照合を行うことを特徴としてもよい。

把持パターンとは、操作者が入力操作を行っていない、通常の把持状態を表す静的な情報である。センサ情報が示す領域のうち、把持パターンに一致する領域は、入力操作とは無関係な領域であることが推定される。そこで、センサ情報から、把持パターンに一致しない領域のみを抽出して判定に用いることで、入力操作の検出精度を向上させることができる。

また、前記入力内容取得手段は、異なる時刻に取得したセンサ情報それぞれについて、操作者の特定の指に対応する領域を抽出し、複数の前記抽出した領域間の差分を取得し、
当該差分を用いて前記所定のパターンとの照合を行うことを特徴としてもよい。

操作者が入力操作を行う指が決まっている場合、当該指に対応する領域のみを抽出するようにしてもよい。例えば、装置がステアリングホイールである場合、入力操作は親指で行うことが想定される。そこで、センサ情報から、親指に対応する領域のみを抽出して判定に用いる。このようにすることで、入力に用いない指の影響を排除することができ、入力操作の検出精度を向上させることができる。

また、前記入力内容取得手段は、前記接触センサが接触を検出している領域の、単位時間における総面積の変動量が所定の範囲外である場合は、当該時間における入力操作が行われていないと判定することを特徴としてもよい。

前述したように、本発明に係るユーザインタフェース装置は、センサ情報の差分を取得することで、接触センサ上における指の動きを検出する。しかし、この方法では、操作者が装置を握り直す、指の位置をわずかに変えるといった、入力と関係のない動作を誤検出してしまうおそれがある。そこで、単位時間における、接触を検出している領域の総面積の変動量が所定の値よりも大きい、または小さい場合、入力操作に起因する変動ではないとして、当該時間における入力操作の取得を行わないようにする。このようにすることで、入力操作と関係のない手の動きを排除することができる。

また、前記入力内容取得手段は、前記接触センサが接触を検出している領域の、単位時間における数の増加量が所定の数よりも多い場合は、当該時間における入力操作が行われていないと判定することを特徴としてもよい。

接触センサの出力が面積で得られない場合、接触を検出している領域の数によって同様の判定を行ってもよい。例えば、単位時間あたりの領域の増加数が多すぎる場合は、操作者が装置自体を握り直したことが考えられるため、除外することが好ましい。面積によって判断するか、数によって判断するかは、接触センサの種類によって使い分けることができる。

また、前記所定のパターンは、入力パターンまたは開始パターンのいずれかであり、前記入力内容取得手段は、前記所定のパターンとの照合において、センサ情報間の差分が前記開始パターンと一致した場合にのみ、以降所定の期間において、前記入力パターンとの照合を行うことを特徴としてもよい。

入力パターンとは、入力操作自体を表すパターンであり、開始パターンとは、入力操作の開始を宣言する操作を表すパターンである。入力操作の開始を宣言する操作は、例えば、長押しや連続タップ、所定の図形の描画など、通常の操作では行わない操作であることが好ましい。開始パターンを検知した場合にのみ、入力パターンとの照合を開始するようにすることで、入力操作の誤検出を防止することができる。なお、所定の期間とは、任意の時間であってもよいし、入力操作が完了するまでであってもよい。

また、本発明に係るユーザインタフェース装置は、外部機器に対して送信する信号である外部信号を記憶し、前記入力内容取得手段が取得した入力操作に対応する外部信号を前記外部機器に送信する外部信号送信手段と、をさらに有することを特徴としてもよい。

取得した入力操作は、外部機器に対する信号に置き換えて当該機器に送信するようにしてもよい。このようにすることで、取得した入力操作を任意の機器に送信することができるようになる。

また、前記把持部は、車両用ステアリングホイールであることを特徴としてもよい。
本発明は、把持部から手を離すことなく異なる入力操作を行えるため、車両の操舵を行う装置に特に好適である。

また、本発明に係るユーザインタフェース装置は、前記把持部の回転角を取得する操舵状態取得手段をさらに有し、前記入力操作は、方向を指定する操作であり、前記入力内容取得手段は、前記操舵状態取得手段が取得した把持部の回転角と、前記センサ情報に基づいて、判定した入力操作の方向を補正することを特徴としてもよい。

ステアリングホイールは円形であるため、回転角や操作者の手の位置によって入力操作の方向が変わってしまう。例えば、ホイールの右側を把持している場合において、ホイールを９０度左に回転させると、回転前には左スワイプであった操作が、回転後は下スワイプを意味する操作になってしまう。そこで、ステアリングホイールの回転角とセンサ情報に基づいて、入力操作の方向を補正するようにしてもよい。このようにすることで、ステアリングホイールの回転角や手の位置に関係なく、常に同じ方向を入力できるようになる。

また、本発明に係るユーザインタフェース装置は、入力操作の補正状態を操作者に提示する表示手段をさらに有することを特徴としてもよい。

操作者に、画面表示を通して操作方向を提示している場合、入力操作の方向を補正すると、画面表示と実際の操作方向が一致しなくなってしまう。例えば、左スワイプ操作で電話アプリケーションが起動する旨を画面に表示していた場合、ステアリングホイールを９０度左に回転させると、左スワイプ操作が下スワイプ操作に補正されてしまうため、画面の表示と一致しなくなってしまう。この場合、操作方向を示す表示を９０度左に回転させることで、表示と処理を一致させる。このように、入力操作の方向の補正状態を操作者に提示することで、操作者は、指を動かすべき方向を直感的に知ることができる。

なお、本発明は、上記手段の少なくとも一部を含むユーザインタフェース装置として特定することができる。また、本発明は、上記処理の少なくとも一部を含む入力取得方法として特定することもできる。上記処理や手段は、技術的な矛盾が生じない限りにおいて、自由に組み合わせて実施することができる。

本発明によれば、少ない負荷で入力操作を行うことができるユーザインタフェース装置を提供することができる。

第一の実施形態に係るステアリングホイールの外観図である。 第一の実施形態に係る制御装置のシステム構成図である。 接触センサから出力されるセンサ情報の例である。 第一の実施形態における把持パターンの例である。 複数のセンサ情報から、指の移動を検出する例である。 第一の実施形態に係る操作パターンの例である。 第一の実施形態に係る制御装置の処理フローチャート図である。 センサ情報のキューイングを説明する図である。 センサ情報のキューイングを説明する第二の図である。 入力操作と、車載端末が出力する画面との関係を表す図である。 第一の実施形態の変形例に係る、入力操作の補正方法を表す図である。 第一の実施形態の変形例に係る、入力操作の補正方法を表す第二の図である。 第一の実施形態の変形例に係る、入力操作の補正方法を表す第三の図である。 第三の実施形態に係る制御装置のシステム構成図である。 第四の実施形態に係る制御装置のシステム構成図である。 第四の実施形態における、開始パターンを説明する図である。 第四の実施形態に係る制御装置の処理フローチャート図である。

（第一の実施形態）
<システム構成>
第一の実施形態に係る車両用入力装置は、運転者から入力された操作の内容を取得し、当該操作に対応する信号を外部の車載端末に出力する装置である。第一の実施形態に係る車両用入力装置は、ステアリングホイール１０および制御装置２０から構成される。以下、図１〜図３を参照しながら、システム構成について説明する。

図１は、ステアリングホイール１０の物理構成を説明する図である。
符号１１は、運転者が通常の運転操作において両手で把持する部分（本発明における把持部）であり、円形のホイールである。
符号１２Ａおよび１２Ｂは、把持部の表面に配置された接触センサである。接触センサは、把持部に巻きつけられる形でステアリングホイールを覆っており、右手が触れる部分（１２Ａ）と、左手が触れる部分（１２Ｂ）の二つに分かれて配置されている。

接触センサ１２Ａおよび１２Ｂは、把持部上で運転者の指が接触している位置を検出することができれば、どのようなセンサであってもよい。例えば、静電容量の変化を検出する静電センサであってもよいし、圧力センサなどであってもよい。本実施形態では、接触センサは、平面上において接触を検知している複数の領域の位置および形状を出力することができるセンサである。接触センサは、複数箇所における接触を同時に検知できるセンサであればよい。例えば、複数箇所での接触を一つのセンサで検知できるものであってもよいし、単一箇所での接触を検知するセンサの集合であってもよい。

なお、以降、右手の部分に配置された接触センサ１２Ａと左手の部分に配置された接触センサ１２Ｂをまとめて接触センサ１２と称する。また、実施形態の説明では、右手の動きを検出する例のみを挙げるが、左手の動きを検出する同様の処理を並列に実施してもよい。また、接触センサ１２Ａと１２Ｂからそれぞれ出力される情報を結合し、仮想的な一つのセンサとみなして処理を行ってもよい。

制御装置２０は、ステアリングホイール１０に配置された接触センサ１２から情報を取得し、運転者による入力操作が行われているかを判定したうえで、取得した入力操作に対応する信号を車載端末３０に出力する装置である。図２は、制御装置２０のシステム構成図である。
制御装置２０は、専用に設計されたハードウェアによって実現されてもよいし、ＣＰＵ、主記憶装置、補助記憶装置を有するコンピュータによって実現されてもよい。コンピュータによって実現される場合、補助記憶装置に記憶されたプログラムが主記憶装置にロードされ、ＣＰＵによって実行されることによって図２に図示した各手段が機能する（ＣＰＵ、主記憶装置、補助記憶装置はいずれも不図示）。以下、制御装置２０を構成する各手段を説明する。

センサ情報取得部２１は、接触センサ１２から送信された情報を受信する手段であり、本発明におけるセンサ情報取得手段である。センサ情報取得部２１は、接触センサ１２か
ら受信した情報に基づいて、接触センサの検出結果を表すビットマップを生成する。当該ビットマップをセンサ情報と称する。
図３は、センサ情報取得部２１が生成するセンサ情報の例である。長方形のビットマップ２００が、把持部に巻きついている接触センサ１２Ａを展開したものに対応する。図３の例では、接触センサが接触を検知している領域を黒塗りで示している。以降、接触センサが接触を検知している領域を接触領域と称する。

把持パターン記憶部２２は、運転者が通常の運転においてステアリングホイールを把持するパターン（以下、把持パターン）を記憶する手段である。把持パターンは、運転者がステアリングホイールを握った場合の静的な接触パターンであり、例えば図４のようなビットマップ形式で記憶される。運転者がステアリングホイールを握る位置は一定ではないため、ホイールのどこに手を置くかは記憶されない。把持パターン記憶部２２が、本発明における把持パターン記憶手段である。

入力抽出部２３は、接触センサ１２から取得したセンサ情報と、把持パターン記憶部２２に記憶された把持パターンとを照合し、パターンに一致しない領域のみを抽出する手段である。
例えば、図４のように、右手がステアリングホイールを握った状態を把持パターンとして記憶している場合を考える。入力抽出部２３は、センサ情報と把持パターンとの位置合わせを行い、当該位置における両者の差分を取得する。もし、運転者が把持パターンと同じ握り方でステアリングホイールを握っていた場合、センサ情報と把持パターンは一致するため、入力抽出部２３は何も出力しないが、いずれかの指が移動すると、把持パターンと一致しない領域が発生するため、当該領域の情報が抽出されて出力される。

具体的な例を示す。図５は、親指を右方向に動かした場合に出力されるセンサ情報を、時刻の経過とともに表した図である。点線が、把持パターンと一致するためフィルタリングされる領域であり、実線が、入力抽出部２３によって抽出される領域である。時刻ｔでは何も抽出されないが、時刻ｔ＋１では領域５０１が抽出され、時刻ｔ＋２では領域５０２が抽出され、時刻ｔ＋３では領域５０３が抽出される。抽出された領域は、それぞれビットマップ形式で入力判定部２４へ送信される。

入力判定部２４は、時間の経過に伴うセンサ情報の変化を取得し、運転者によってどのような入力操作が行われたかを判定する手段である。具体的には、入力抽出部２３から取得した複数のビットマップ間の差分を取得し、記憶された操作パターンと一致するかを判定する。これにより、例えば「右方向へのスワイプ操作が行われた」、「ダブルタップ操作が行われた」といった判定を行うことができる。

操作パターン記憶部２５は、運転者が行った入力操作を判定するためのパターン（操作パターン）を記憶する手段である。例えば、操作パターンが図６のように定義されていた場合であって、右方向に３０ポイント以上移動した領域を検出した場合、右方向へのスワイプ操作が行われたと判定することができる。
なお、ここでは操作パターンを文章で例示したが、操作パターンは、接触領域の時間的変化を表す情報であればよく、センサ情報から取得した差分と照合することができれば、他の形式で記憶されていてもよい。
入力抽出部２３、入力判定部２４、操作パターン記憶部２５が、本発明における入力内容取得手段である。

操作情報出力部２６は、入力判定部２４が判定した操作入力の内容を、車載端末３０が解釈できる信号に変換する手段である。例えば、入力判定部２４が判定した操作入力が左スワイプであった場合、左へカーソルを移動させる信号を生成し、送信する。また、入力
判定部２４が判定した操作入力がダブルタップであった場合、入力確定を意味する信号を生成し送信する。操作情報出力部２６が、本発明における信号送信手段である。

車載端末３０は、操作対象の端末であり、典型的にはスマートフォン、タブレット型コンピュータ、カーナビゲーションシステム、車載ＡＶシステムなどである。また、車載端末３０は、不図示の表示手段を有しており、運転者に画面を提示することができる。画面は、例えば運転席に備えられたヘッドアップディスプレイに表示してもよいし、フロントガラスに投影してもよい。液晶ディスプレイ装置などに表示してもよいが、運転者が視線を移動せずに視認できる装置であることが好ましい。

<処理フローチャート>
次に、第一の実施形態に係る車両用入力装置が行う、入力操作の取得処理について、図７を参照しながら具体的に説明する。図７に示した処理は、周期的に実行される。

まず、ステップＳ１１で、入力抽出部２３が、把持パターン記憶部２２から、把持パターンを取得し、一時的に記憶する。ここでは、右手に対応する把持パターンが、図４に示したようなビットマップ形式で記憶されているものとする。
ステップＳ１２では、センサ情報取得部２１が、接触センサ１２から情報を受信し、センサ情報を生成する。ここで、前回のステップＳ１２の処理から所定の時間が経過していない場合は、所定の時間になるまで待ち時間を挿入する。所定の時間とは、例えば５０ミリ秒とすることができる。生成されたセンサ情報は、入力抽出部２３へ送信される。

ステップＳ１３では、入力抽出部２３が、センサ情報であるビットマップと、把持パターンを表すビットマップとをパターンマッチングさせ、位置合わせを行う。具体的には、両ビットマップの位置をずらしながら類似度を算出し、最も類似度が高くなる位置を決定する。そして、決定した位置における両者の差分を取得する。これにより、センサ情報であるビットマップから、把持パターンに一致しない領域のみが抽出される。得られた領域を、変動領域と称する。パターンマッチングにおける類似度が所定値に満たない場合は、把持パターンによるフィルタリングは省略し、ステップＳ１４の処理に移る。変動領域についての情報は、入力判定部２４に送信される。

ステップＳ１４では、入力判定部２４が、ステップＳ１３で取得した変動領域と、一世代前の（すなわち前回の処理で取得した）変動領域との差分を取得し、変動領域がどのように変化したかを表す情報を取得する。当該情報は、領域の出現、消滅、移動量、移動方向などを表す情報であり、これを差分情報と称する。一世代前の変動領域を記憶していない場合は、取得した変動領域を一時的に記憶し、ステップＳ１４以降をスキップして次周期の処理を実行する。
例えば、入力判定部２４が取得した変動領域が、図５の符号５０１および５０２であった場合、変動領域が「右へｎポイント移動した」という情報が差分情報として取得される。差分情報は、変動領域同士をパターンマッチングさせることで得てもよいし、他の方法で得てもよい。なお、差分が無い場合は、「変動なし」を表す差分情報を生成してもよい。また、変動領域の変化を特定できない場合は、「判定不能」を表す差分情報を生成してもよい。

ステップＳ１５は、入力判定部２４が、差分情報をキューイングするステップである。ここで、キューイングについて説明する。運転者が行う入力操作は、フリックやスワイプなど連続性のある操作であるが、例えばダブルタップなど、一つの差分情報のみでは判別できない操作がある。そこで、差分情報をキューに蓄積することによって、全体として意味のある操作が行われたかを判別する。

図８は、差分情報が格納されるキューを説明する図である。それぞれの矩形が差分情報を表し、左側がキューに追加される差分情報、右側がキューから削除される差分情報を表している。ここでは、合計５つの情報がキューに保持されるものとする。すなわち、差分情報が到着順に蓄積され、６つ目の差分情報が到着すると、最も古い差分情報が削除される。

ステップＳ１６は、キューに蓄積されている差分情報が、操作パターンに一致するか（すなわち、特定の入力操作を表すものであるか）を入力判定部２４が判定するステップである。
図９は、キューイングされた差分情報の具体例を表した図である。符号９０１は、接触領域が新たに検出されたことを表す。また、符号９０２は、３０ポイントだけ接触領域が下方向に移動したことを表す。また、符号９０３は、検出していた接触領域が消失したことを表す。また、差分情報の取得間隔は例えば１００ミリ秒とする。
例えば、図９（ａ）では、運転者の指がセンサに触れた後、下方向へ３０ポイント移動している。これを、図６に示した操作パターンと照合すると、下方向へのスワイプ操作を表すデータと一致する。また、図９（ｂ）では、運転者の指がセンサに触れた後、離れる動作が２００ミリ秒間隔で２回続けて発生したことがわかる。すなわち、ダブルタップ操作を表すデータと一致する。
なお、本例では、説明を容易にするために５つの差分情報を用いて説明を行ったが、キュー全体を参照することで入力操作を判定することができれば、さらに多くの差分情報を用いて入力操作を判定するようにしてもよい。例えば、取得間隔が３０ミリ秒であって、キューイングされる差分情報が１５個である場合、図９（ｃ）は、ダブルタップ操作を表すデータと一致する。

ステップＳ１６では、入力判定部２４が、操作パターン記憶部２５に記憶された操作パターンと、キューに蓄積された差分情報とを照合する。ここで、該当する操作パターンがキューに含まれている場合、操作情報出力部２６が、当該操作パターンに対応する信号を車載端末３０へ出力し（ステップＳ１７）、キューをクリアしたのちにステップＳ１２へ戻る。該当する操作パターンが無い場合、出力は行わず、ステップＳ１２へ戻る。

第一の実施形態によると、運転者がステアリングホイールを把持した状態のまま、車載端末に対する入力操作を行うことができる。図１０は、入力操作の例を示した図である。符号１００１は、車載端末３０が有する表示手段（不図示）によってフロントガラスに投影された画面である。ここでは、上下左右の方向を車載端末３０に指示することで、対応するアプリケーションが起動するものとする。例えば、運転者が、ステアリングホイールを把持したまま、指を左方向にスワイプする操作を行うことで、メールアプリケーションを起動させることができる。

（第一の実施形態の変形例）
なお、第一の実施形態では、運転者がステアリングホイールを把持するパターンを把持パターン記憶部にあらかじめ記憶させたが、把持パターンは学習によって取得、あるいは更新するようにしてもよい。例えば、センサ情報を定期的に検出し、大きく変動していない領域を抽出して把持パターンとして記憶させてもよい。
この他にも、運転者が複数いる場合は、それぞれの運転者に対応する把持パターンを記憶し、運転中の人物に対応する把持パターンを使用するようにしてもよい。
また、同一の運転者に対する複数の把持パターンを記憶するようにしてもよい。例えば、入力抽出部２３が、センサ情報と各把持パターンとの位置合わせをそれぞれ行い、最も高い類似度が得られた把持パターンをステップＳ１３の処理で使用するようにしてもよい。

また、入力判定部２４が、取得した入力操作の方向を補正するようにしてもよい。
例えば、図１１における符号１１０１の位置で左スワイプ操作を行った場合と、ステアリングを９０度左に切った状態で、同じ操作を行った場合とでは、手首を基準とするとどちらも左スワイプ操作であるが、運転者の視点を基準にすると、左スワイプと下スワイプといったように、操作方向が変わってしまう。すなわち、手首を基準とした場合と、運転者の視点を基準とした場合とで操作方向が変わってしまい、運転者が違和感を覚える場合がある。この問題は、ステアリングホイールの回転角を取得する手段（不図示の操舵状態取得手段）を設け、取得した操作方向に、取得した回転角を加算することで解消することができる。例えば、入力判定部が「左スワイプ操作」を取得した場合であって、回転角が左９０度であった場合、判定結果を「下スワイプ操作」に補正する。
本実施形態では、これを第一の角度補正と称する。

このような問題は、ステアリングホイールの回転角だけでなく、運転者の手の位置によっても同様に発生する。
例えば、図１１における符号１１０１の位置で左スワイプ操作を行った場合と、符号１１０２の位置で同じ操作を行った場合とでは、手首を基準とするとどちらも左スワイプ操作であるが、運転者の視点を基準にすると、左スワイプと左下スワイプといったように、同様に操作方向が変わってしまう。この問題は、取得した操作方向に、運転者の手の位置の、水平方向に対する角度（θ）を加算することで解消することができる。
本実施形態では、これを第二の角度補正と称する。

第一の角度補正と第二の角度補正を同時に実行すると、図１２のように、ステアリングの回転角および把持位置に関係なく、運転者の視点を基準とした方向入力ができるようになる。ただし、運転者によって好みがあるため、角度補正の実施の有無は、設定によって変更可能とすることが好ましい。

また、補正の実施状態に連動して画面表示を変更するようにしてもよい。例えば、図１３の例では、ステアリングホイールの角度が左４５度であるため、第一の角度補正による補正量は左４５度となる。このとき、画面に表示されるアイコンの角度も同時に左に４５度傾ける。このようにすることで、操作を行う方向とアイコンとの位置関係を保持することができる。具体的には、制御装置２０が車載端末３０に対して補正状態を通知し、車載端末３０が、補正状態に応じて画面表示を回転させる。この場合、車載端末３０が有する表示手段が本発明における表示手段を構成する。

また、第一の実施形態では、把持パターンを使用してセンサ情報のフィルタリングを行ったが、把持パターンを使用せず、ステップＳ１３を省略するようにしてもよい。ステップＳ１３においてフィルタリングを行わなくても、発明の目的は達成することができる。

（第二の実施形態）
第一の実施形態では、把持パターンを用いてセンサ情報のフィルタリングを行った。これに対し、第二の実施形態は、把持パターンによるフィルタリングは行わず、センサ情報の変動量によって当該センサ情報の信頼性を判定し、センサ情報の信頼性が低い場合に操作入力の取得をスキップする形態である。
第二の実施形態に係る車両用入力装置の構成は、入力抽出部２３と把持パターン記憶部２２を有していないという点を除き、第一の実施形態と同様である。

第二の実施形態に係る車両用入力装置が行う処理について、図７を参照しながら説明する。第二の実施形態では、ステップＳ１１、ステップＳ１３は省略される。また、ステップＳ１２の処理は、第一の実施形態と同様である。

第二の実施形態では、ステップＳ１４で、入力判定部２４が、ステップＳ１２で取得したセンサ情報と、一世代前の（すなわち前回の処理で取得した）センサ情報とを比較し、接触領域の総面積の変動量を取得する。一世代前のセンサ情報を記憶していない場合は、取得したセンサ情報を一時的に記憶し、ステップＳ１５以降をスキップして次周期の処理を実行する。
変動量は、変動した領域の面積（変動面積と称する）であってもよいし、総面積に対する変動面積の割合であってもよい。この結果、変動量が所定の範囲内であった場合、当該センサ情報を用いて差分情報を生成する。
所定の範囲とは、入力操作が行われたことを判定することができる値であればよい。運転者がステアリングホイールを握り直したような場合は、変動面積は大きくなり、運転者がステアリングホイールを握る力を変えたような場合は、変動面積はごくわずかとなる。このような場合は、差分情報は生成せず、ステップＳ１５〜Ｓ１７の処理をスキップする。
ステップＳ１５以降の処理は、第一の実施形態と同様である。

このように、第二の実施形態では、接触領域の変動量が所定の範囲外である場合、入力操作を判定する動作をスキップする。これにより、明らかに操作入力を行っていないケースを除外することができ、誤認識を減らすことができる。

なお、ここでは、接触センサが、接触領域の面積を取得できる場合についての例を述べたが、接触センサが点を検出する方式であった場合、接触領域の面積を求めることができない。このような場合は、接触を検出した点の数によって判定を行ってもよい。例えば、接触を検出した点の数が５個以上変動した場合は、差分情報を生成しないようにしてもよい。

（第三の実施形態）
第三の実施形態は、把持パターンを用いて、センサ情報のフィルタリングを行うかわりに、センサ情報に基づいて運転者の指の並びを推定し、入力操作と関係のない指に対応する領域をフィルタリングする形態である。図１４は、第三の実施形態に係る制御装置２０の構成を示す図である。第三の実施形態に係る車両用入力装置の構成は、把持パターン記憶部２２を有していないという点、および、入力抽出部２３が指抽出部２３Ａに置き換わる点を除き、第一の実施形態と同様である。

指抽出部２３Ａは、把持パターンによるフィルタリングを行うかわりに、接触センサ１２から取得したセンサ情報に基づいて、運転者の指の並びを推定し、特定の指に一致する領域のみを抽出する手段である。第三の実施形態では、入力抽出部２３のかわりに指抽出部２３Ａが本発明における入力内容取得手段の一部を構成する。

第三の実施形態に係る車両用入力装置が行う処理について、図７を参照しながら説明する。第三の実施形態では、ステップＳ１１は省略される。ステップＳ１２の処理は、第一の実施形態と同様である。

第三の実施形態では、ステップＳ１３で、把持パターンによるセンサ情報のフィルタリングを行うかわりに、運転者の親指に当たる領域を検出し、検出した領域以外の領域をフィルタリングする処理を行う。手の接触状態を表すセンサ情報から、親指に当たる領域を検出する方法は、例えば特開２０１２−１６８５９５号公報に記載されている公知の技術である。親指に当たる領域を検出することができれば、どのような方法を用いてもよい。
ステップＳ１４以降の処理は、第一の実施形態と同様である。

第三の実施形態では、このように、運転者の親指に該当する領域のみを抽出し、差分情
報を取得してキューイングを行う。このように構成することで、入力操作に用いない指の動きを誤検出することを防ぐことができる。

なお、本実施形態では、検出の対象を親指としたが、運転者が、入力手段を把持した状態において自由に動かせる指であれば、任意の指を対象とすることができる。

（第四の実施形態）
第四の実施形態は、入力操作の開始を意味する特殊な操作（ジェスチャー）を定義し、制御装置２０が、当該ジェスチャーを検出した場合にのみ、入力操作の取得を開始する形態である。図１５は、第四の実施形態に係る制御装置２０の構成を示す図である。第四の実施形態では、第一の実施形態における把持パターン記憶部２２が、ジェスチャー記憶部２２Ｂに置き換わり、入力抽出部２３が、ジェスチャー判定部２３Ｂに置き換わる。

ジェスチャー記憶部２２Ｂは、入力操作の開始を表すジェスチャー、および入力操作の終了を表すジェスチャーを記憶する手段である。ジェスチャー記憶部２２Ｂには、例えば図１６に示したように、入力操作の開始を表すジェスチャー（開始ジェスチャーと称する）、入力操作の終了を表すジェスチャー（終了ジェスチャーと称する）がそれぞれ記憶されている。開始ジェスチャーが、本発明における入力パターンである。
なお、ここでは開始ジェスチャーおよび終了ジェスチャーを文章で例示したが、ジェスチャーは接触領域の時間的変化を表す情報であればよく、センサ情報から取得した差分と照合することができれば、他の形式で記憶されていてもよい。
また、各ジェスチャーは、例示したもの以外であってもよい。例えば、複数回のタップ、長押し、異なる方向への複数のスワイプの組み合わせ、丸や多角形などの図形の描画などであってもよい。

ジェスチャー判定部２３Ｂは、接触センサ１２から取得したセンサ情報に基づいてジェスチャーの検出を行い、当該ジェスチャーに基づいて入力操作の取得開始／終了の判断を行う手段である。第四の実施形態では、入力抽出部２３のかわりにジェスチャー判定部２３Ｂが本発明における入力内容取得手段の一部を構成する。

第四の実施形態に係る制御装置２０が行う処理について、処理フローチャートである図１７を参照しながら説明する。
まず、ステップＳ２１で、ジェスチャー判定部２３Ｂが、ジェスチャー記憶部２２Ｂに記憶されたジェスチャーを取得し、一時的に記憶する。ステップＳ１２〜Ｓ１５の処理は、第一の実施形態と同様であるため説明は省略する。
次に、ステップＳ２２で、ジェスチャー判定部２３Ｂが、現在のステータスが入力操作中であるか否かを判定する。ステータスとは、「入力操作中」あるいは「待機中」のいずれかを表す変数であり、初期値は「待機中」である。すなわち、初回の処理においては、判定結果はＮｏとなり、処理はステップＳ２３に遷移する。

ステップＳ２３では、ジェスチャー判定部２３Ｂがキューを参照し、取得したジェスチャーに当てはまる操作が行われたかを判定する。この結果、開始ジェスチャーに当てはまる操作がキューに含まれていた場合（例えばダブルタップ操作）、ステップＳ２４に遷移し、ステータスを「入力操作中」に変更する。この際、不図示の出力手段を通して、効果音や表示、振動などで、入力操作を受け付ける状態になったことを運転者に通知してもよい。

ステップＳ２２で、入力操作中であると判定された場合、ステップＳ２５に遷移する。
ステップＳ２５は、終了ジェスチャーに当てはまる操作が行われたかを判定するステップである。その処理内容は、ステップＳ２３と同様であるため、詳細な説明は省略する。
終了ジェスチャーが入力された場合、ステップＳ２６に遷移し、ステータスを「待機中」に変更する。終了ジェスチャーが入力されていない場合、ステップＳ１６に遷移し、第一の実施形態と同様の方法で入力操作を取得する。

第四の実施形態によると、明示的なジェスチャーを行った場合にのみ、入力操作の取得を開始するため、入力操作の誤認識を減らすことができる。
なお、本例では終了ジェスチャーを定義したが、所定の時間が経過したらステータスを「待機中」に戻すようにしてもよいし、何らかの入力操作が行われたらステータスを「待機中」に戻すようにしてもよい。

（変形例）
上記の実施形態はあくまでも一例であって、本発明はその要旨を逸脱しない範囲内で適宜変更して実施しうる。
例えば、各実施形態では、ステアリングホイールを把持部としたが、操作者が手で把持して利用するデバイスであれば、どのようなものを用いてもよい。例えば、操縦桿やマスターコントローラ等であってもよい。

また、各実施形態では、接触センサ１２Ａと接触センサ１２Ｂは離れて配置されているが、それぞれの長さを延長し、隙間なく配置するようにしてもよい。

また、第一から第三の実施形態では、入力操作の終了タイミングについては明示していないが、何らかの入力操作を検出した場合に、入力操作が終了したものとして待機状態に戻ってもよいし、所定の時間が経過したら、入力操作が終了したものとして待機状態に戻ってもよい。また、その他のトリガによって入力操作の終了を判断してもよい。

また、実施形態の説明では、上下左右の四方向を入力する例について述べたが、入力方向は二方向であってもよいし、ポインティングデバイスのように自由な方向を入力できてもよい。また、特定の入力操作に、アプリケーションへのショートカットなど、特定の命令を割り当ててもよい。

また、ステアリングホイールの回転角を取得し、回転角が所定の値を超えている場合は、センサ情報の取得を中断し、入力操作を受け付けないようにしてもよい。このようにすることで、入力操作の誤認識率を低減させることができる。

また、実施形態の説明では、収集したセンサ情報から差分情報を生成し、差分情報をキューイングすることで入力操作を取得したが、異なる時刻において取得したセンサ情報から入力操作を取得することができれば、他の方法を用いてもよい。

１０ ステアリングホイール
１２ 接触センサ
２０ 制御装置
２１ センサ情報取得部
２２ 把持パターン記憶部
２３ 入力抽出部
２４ 入力判定部
２５ 操作パターン記憶部
２６ 操作情報出力部
３０ 車載端末

Claims (11)

1. 操作者が手で把持するための把持部と、
   前記把持部の表面に配置された、接触位置を検出する接触センサと、
   前記接触センサから出力されるセンサ情報を取得するセンサ情報取得手段と、
   操作者が前記把持部を把持し、かつ、入力操作に該当しない状態における、前記把持部に対する接触状態を表す把持パターンを記憶する把持パターン記憶手段と、
   それぞれ異なる時刻に取得したセンサ情報について、前記把持パターンに一致しない領域を抽出し、かつ、複数の前記抽出した領域間の差分を取得し、前記差分が、所定のパターンと一致する場合に、当該パターンに対応する入力操作が行われたと判定する入力内容取得手段と、
   を有し、
   前記把持パターン記憶手段は、操作者に対応する把持パターンを学習によって取得し、記憶する、
   ユーザインタフェース装置。
2. 前記所定のパターンとは、前記接触センサが接触を検出している領域の数もしくは位置の時間的変化を示すものである、
   請求項１に記載のユーザインタフェース装置。
3. 前記入力内容取得手段は、前記接触センサが接触を検出している領域の、単位時間における総面積の変動量が所定の範囲外である場合は、当該時間における入力操作が行われていないと判定する、
   請求項１または２に記載のユーザインタフェース装置。
4. 前記入力内容取得手段は、前記接触センサが接触を検出している領域の、単位時間における数の増加量が所定の数よりも多い場合は、当該時間における入力操作が行われていないと判定する、
   請求項１または２に記載のユーザインタフェース装置。
5. 前記所定のパターンは、入力パターンまたは開始パターンのいずれかであり、
   前記入力内容取得手段は、前記所定のパターンとの照合において、センサ情報間の差分
   が前記開始パターンと一致した場合にのみ、以降所定の期間において、前記入力パターンとの照合を行う、
   請求項１から４のいずれかに記載のユーザインタフェース装置。
6. 外部機器に対して送信する信号である外部信号を記憶し、前記入力内容取得手段が取得した入力操作に対応する外部信号を前記外部機器に送信する信号送信手段
   をさらに有する、
   請求項１から５のいずれかに記載のユーザインタフェース装置。
7. 前記把持部は、車両用ステアリングホイールである、
   請求項１から６のいずれかに記載のユーザインタフェース装置。
8. 前記把持部の回転角を取得する操舵状態取得手段をさらに有し、
   前記入力操作は、方向を指定する操作であり、
   前記入力内容取得手段は、前記操舵状態取得手段が取得した把持部の回転角と、前記接触センサの検出結果に基づいて、判定した入力操作の方向を補正する、
   請求項７に記載のユーザインタフェース装置。
9. 入力操作の補正状態を操作者に提示する表示手段をさらに有する、
   請求項８に記載のユーザインタフェース装置。
10. 操作者が手で把持するための把持部と、前記把持部の表面に配置された、接触位置を検出する接触センサと、を有するユーザインタフェース装置が行う入力取得方法であって、
    前記接触センサから出力されるセンサ情報を取得するステップと、
    操作者が前記把持部を把持し、かつ、入力操作に該当しない状態における、前記把持部に対する接触状態を表す把持パターンを記憶手段から取得するステップと、
    それぞれ異なる時刻に取得したセンサ情報について、前記把持パターンに一致しない領域を抽出し、かつ、複数の前記抽出した領域間の差分を取得し、前記差分が、所定のパターンと一致する場合に、当該パターンに対応する入力操作が行われたと判定するステップと、
    操作者に対応する把持パターンを学習によって取得し、前記記憶手段に記憶させるステップと、
    を含む、入力取得方法。
11. 操作者が手で把持するためのステアリングホイールと、
    前記ステアリングホイールの表面に配置された、接触位置を検出する接触センサと、
    前記接触センサから出力されるセンサ情報を取得するセンサ情報取得手段と、
    操作者が前記ステアリングホイールを把持し、かつ、入力操作に該当しない状態における、前記ステアリングホイールに対する接触状態を表す把持パターンを記憶する把持パターン記憶手段と、
    それぞれ異なる時刻に取得したセンサ情報について、前記把持パターンに一致しない領域を抽出し、かつ、複数の前記抽出した領域間の差分を取得し、前記差分が、所定のパターンと一致する場合に、当該パターンに対応する入力操作が行われたと判定する入力内容取得手段と、
    を有し、
    前記把持パターン記憶手段は、操作者に対応する把持パターンを学習によって取得し、記憶する、
    車両用入力装置。

Images