JP2018124597A - ユーザインタフェース装置および距離センサ - Google Patents

Abstract

【課題】ユーザの操作の検出を行う際の消費電力を低減する。
【解決手段】ユーザインタフェース装置（スマートグラス２）は、対象物の動きに基づきユーザの操作を検出する。スマートグラス２は、撮像部（センサ回路３）と、距離情報生成部（距離演算４２）と、制御部２１とを備える。センサ回路３は、対象物を撮像し、撮像画像を生成する。距離演算４２は、生成された撮像画像に基づいて、対象物までの距離を示す距離情報を生成する。制御部２１は、距離演算４２によって生成された距離情報に基づいて、ユーザの操作を検出する。また、距離情報において、センサ回路３が撮像可能な領域の内の一部の制限された領域から、ユーザの操作を検出する。
【選択図】図３

Description

本発明は、ユーザの操作を検出するユーザインタフェース装置および距離センサに関する。

ヘッドマウントディスプレイやフラットパネルディスプレイなどに表示される画像に対して、ユーザの手や指などによるジェスチャーを検出し、非接触の入力操作を可能にするユーザインタフェース装置が知られている。ユーザインタフェース装置では、非接触のユーザの操作を検出するために、距離画像センサやカメラなどが用いられる。

特許文献１は、指の動きのみでキー操作を実現する非接触入力装置を用いたヘッドマウントディスプレイを開示している。特許文献１の非接触入力装置では、ヘッドマウントディスプレイの視野において手をカメラなどで撮影し、撮影画像から複数の指先の位置及び動きを検出し、三本以上の指先が検出されたときに各指先の近傍にアイコン画像を表示している。特許文献１では、撮影画像から検出した指先の位置関係に基づいて、いずれかの指先が相対的にずれたことを検出したときに、アイコン画像のキー操作を実行している。

特開２０１３−６１８４８号公報

特許文献１では、ユーザのアイコン画像へのキー操作を検出する際に、撮影画像から複数の指先の位置及び動きが検出され、撮影画像における指先の検出結果に基づいて、操作対象のアイコン画像が表示される。このため、ヘッドマウントディスプレイの視野内の所定範囲で撮影された撮影画像全体に対して、映り込んだ手の指先の位置や動きを検出するための検出処理を行う必要があり、処理負荷を費やして消費電力が大きいという問題があった。

本発明は、ユーザの操作の検出を行う際の消費電力を低減することができるユーザインタフェース装置、及び距離センサを提供することを目的とする。

本発明の一態様に係るユーザインタフェース装置は、対象物の動きに基づきユーザの操作を検出する。ユーザインタフェース装置は、撮像部と、距離情報生成部と、制御部とを備える。撮像部は、対象物を撮像し、撮像画像を生成する。距離情報生成部は、撮像部により生成された撮像画像に基づいて、対象物までの距離を示す距離情報を生成する。制御部は、距離情報生成部によって生成された距離情報に基づいて、ユーザの操作を検出する。制御部は、距離情報において、撮像部が撮像可能な領域の内の一部の制限された領域から、ユーザの操作を検出する。

また、本発明の一態様に係る距離センサは、撮像部と、距離情報生成部とを備える。撮像部は、対象物を撮像し、撮像画像を生成する。距離情報生成部は、撮像部により生成された撮像画像に基づいて、対象物までの距離を示す距離情報を生成する。距離センサは、外部機器からの指示に基づいて、撮像部が撮像可能な領域の内の一部の領域に制限して、距離情報を出力する。

本発明の一態様に係るユーザインタフェース装置によると、制御部がユーザの操作の検出の対象とする領域が、撮像部が撮像可能な領域の内の一部の領域に制限されるので、ユーザの操作の検出を行う際の消費電力を低減することができる。

本発明の一態様に係る距離センサによると、外部機器からの指示に基づいて、撮像部が撮像可能な領域の内の一部の領域に制限して、距離情報を出力するので、外部機器においてユーザの操作の検出を行う際の消費電力を低減することができる。

実施の形態１に係るスマートグラスの外観を示す模式図 スマートグラスの使用方法の一例を説明するための図 スマートグラスの構成を示すブロック図 距離画像センサの外観および組み立て状態を示す斜視図 距離画像センサにおけるセンサ回路の構成例を示すブロック図 実施の形態１に係るスマートグラスの動作を説明するための図 実施の形態１に係るユーザの操作の検出動作を示すシーケンス図 ユーザの操作の検出動作における距離画像を説明するための図 実施の形態２に係るユーザの操作の検出動作を説明するための図 実施の形態２に係るユーザの操作の検出動作を示すシーケンス図 実施の形態３に係るユーザの操作の検出動作を説明するための図 実施の形態３に係るユーザの操作の検出動作を示すシーケンス図 スマートグラスの使用方法の変形例を説明するための図

以下、添付の図面を参照して、本発明に係るユーザインタフェース装置の一例として、スマートグラスについて説明する。また、本発明に係る距離センサの一例として距離画像センサについて説明する。

各実施形態は例示であり、異なる実施形態で示した構成の部分的な置換または組み合わせが可能であることは言うまでもない。実施の形態２以降では実施の形態１と共通の事項についての記述を省略し、異なる点についてのみ説明する。特に、同様の構成による同様の作用効果については、実施形態毎には逐次言及しない。

（実施の形態１）
１．構成
１−１．概要
本実施形態に係るスマートグラスの概要について、図１及び図２を参照して説明する。図１は、実施の形態１に係るスマートグラスの外観を示す模式図である。図２は、スマートグラスの使用方法の一例を説明するための図である。

本実施形態に係るスマートグラス２は、図１に示すように、距離画像センサ１と、表示部２０とを備える。スマートグラス２は、眼鏡型のヘッドマウントディスプレイを搭載したウェアラブル端末である。スマートグラス２は、距離画像センサ１を用いてユーザの操作を検出するユーザインタフェース装置の一例である。図１に示すように、ユーザは、スマートグラス２を装着して、ヘッドマウントディスプレイの表示部２０に視線を向けることで、スマートグラス２が表示する画像を視認することができる。

本実施形態では、スマートグラス２は、図２に示すように、表示部２０を用いて、例えば視線の奥行き方向における１０ｃｍ以上１ｍ以下の範囲内の領域に、あたかも操作部材等が存在するかのように、ユーザに視認させる。また、ユーザが視認する操作部材に対して触ったり、押し込んだりするようなジェスチャーによる直観的な入力操作機能を実現するため、距離画像センサ１を用いて、指５などの対象物までの距離を検知し、ユーザの操作を検出する。

スマートグラス２は、使用時の快適性等のためにコンパクトであることが望まれ、バッテリーの小型化が要求される。このため、動作時の消費電力を低減することが重要である。本実施形態では、表示部２０を用いてユーザに操作部材を視認させる領域に応じて、距離画像センサ１を用いて対象物の検知を行う領域を制限することにより、消費電力の低減を実現する。以下、本実施形態に係るスマートグラス２及び距離画像センサ１の構成について説明する。

１−２．スマートグラスの構成
本実施形態に係るスマートグラス２の構成について、図１，２，３を参照して説明する。

表示部２０は、図１に示すようにハーフミラーなどを備えた透過型ディスプレイデバイスある。表示部２０は、操作部材等を示す所定の画像を表示してハーフミラーを介して虚像を投影することにより、表示する画像がユーザの視野に重なるように、ユーザに視認させる。これにより、ユーザはあたかも目の前の空間中に操作部材等が存在するかのように視認することができる。表示部２０が表示する画像は、例えばスイッチ、ボタン、キーボード、カーソル、アイコンなどの操作部材を示す画像である。

距離画像センサ１は、ＴＯＦ（Time-Of-Flight）方式において距離を測定するセンサ装置である。距離画像センサ１は、図２に示すように、スマートグラス２において表示部２０の近傍に設置され、距離の測定方向が表示部２０による画像の投影方向と平行に向けられる。距離画像センサ１は、ユーザの視野の水平方向及び水平方向に渡って、奥行き方向におけるスマートグラス２までの距離を示す距離画像を生成する。距離画像センサ１は、ユーザの指５などの対象物までの距離を示す距離情報として距離画像を生成する距離センサの一例である。距離画像センサ１の構成の詳細については後述する。

図３は、スマートグラス２の構成を示すブロック図である。スマートグラス２は、図３に示すように、制御部２１と、記憶部２２と、通信部２３とを備える。

制御部２１は、例えばＣＰＵやＭＰＵで構成され、スマートグラス２全体の動作を制御する。制御部２１は、所定のプログラムを実行することによって、各種の機能を実現する。制御部２１は、専用に設計された電子回路や再構成可能な電子回路などのハードウェア回路（ＡＳＩＣ，ＦＰＧＡ等）で実現されてもよい。

制御部２１は、距離画像センサ１からの距離画像に基づき、対象物を検知して、ユーザの操作を判断する。具体的に、制御部２１は、距離画像センサ１から入力された距離画像に所定の画像処理を行い、距離画像の中で対象物（ユーザの手）を映した領域に対して、手の中の指５の検知処理や指５の動きの検知処理を行う。また、制御部２１は、特定のユーザの操作を検出すると、表示部２０の画像表示を更新させたり、検出したユーザの操作に応じた所定の機能を実行させたりする。

記憶部２２は、制御部２１の各種の機能を実現するために必要なパラメータ、データ、及びプログラムを記憶する記憶媒体であり、制御部２１で実行される制御プログラムや、各種のデータを格納している。記憶部２２は、例えばＲＯＭやフラッシュメモリで構成される。

通信部２３は、外部機器と無線信号により情報通信を行うためのインタフェース回路である。通信部２３は、例えばＷｉ-ＦｉやＢｌｕｅｔｏｏｔｈ（登録商標）、３Ｇ、ＬＴＥ等の通信方式に従い外部機器と無線通信を行う。

本実施形態に係るスマートグラス２では、制御部２１がユーザの操作を検出するとともにユーザの操作に応じた機能を実行させることにより、ユーザインタフェース機能と情報処理機能を一体的に実現している。しかし、スマートグラス２はユーザインタフェース機能のみを実現してもよく、例えば、制御部２１がユーザの操作を判断したとき、通信部２３を介して外部の情報処理装置に検出したユーザ操作に関する情報を送信するようにしてもよい。

１−３．距離画像センサの構成
次に、距離画像センサ１の構成の詳細について、図３，４を参照して説明する。図４は、スマートグラス２における距離画像センサ１の構成を示すブロック図である。

距離画像センサ１は、図３に示すように、ＬＥＤ（発光ダイオード）１０と、センサ回路３と、ＴＯＦ信号処理部４とを備える。距離画像センサ１は、ＬＥＤ１０から光の照射を行い、その反射光をセンサ回路３で受光して、ＴＯＦ信号処理部４において反射光の伝播期間に応じた距離に基づく距離画像を生成する。

図４（ａ），（ｂ）に示すように、距離画像センサ１は、レンズ１１と、ホルダ１２と、回路基板１３とを備える。

ＬＥＤ１０は、図４（ａ）に示すように、ホルダ１２の外面に取り付けられている。ＬＥＤ１０は、赤外領域の波長帯を有する光（以下、「ＬＥＤ光」という）を、ホルダ１２の外部に向けて照射する。ＬＥＤ光は、ＴＯＦ信号処理部４の制御により、パルス変調して照射される。ＬＥＤ１０は、所定の波長帯を有する光を照射光として照射する光源部の一例である。

センサ回路３は、例えば電荷振り分け方式のＣＭＯＳ（相補型金属酸化物半導体）イメージセンサ回路で構成される。センサ回路３は撮像面を有し、ＬＥＤ光の照射に同期してＬＥＤ光の反射光を受光して撮像する。センサ回路３は、図４（ｂ）に示すように、１つの半導体チップに集積されており、ホルダ１２の内部で回路基板１３に取り付けられている。ホルダ１２の外面には、バレルレンズなどのレンズ１１が、所定の間隔でセンサ回路３の撮像面を覆うように取り付けられている。レンズ１１は、ホルダ１２の外部からの光をセンサ回路３の撮像面に集光する。センサ回路３は、ＬＥＤ光の照射に同期して対象物を撮像し、撮像画像を生成する撮像部の一例である。センサ回路３の構成の詳細については後述する。

ＴＯＦ信号処理部４は、ＴＯＦ方式において距離画像を生成するための種々の信号処理を行う回路を含み、センサ制御部４０と、メモリ４１と、距離演算部４２とを含む。ＴＯＦ信号処理部４は、例えばＡＳＩＣ（特定用途向け集積回路）やＦＰＧＡ（フィールドプログラマブルゲートアレイ）で構成され、回路基板１３に集積されている。

ＴＯＦ信号処理部４において、センサ制御部４０は、ロジック回路などで構成され、ＴＯＦ信号処理部４に含まれる各種の回路を制御する。また、センサ制御部４０は、ＬＥＤ１０のＬＥＤ光をパルス変調するように制御するとともにセンサ回路３に撮像命令を送信して、ＬＥＤ１０とセンサ回路３を同期制御する。ＬＥＤ１０のＬＥＤ光をパルス変調する制御はセンサ回路３から行ってもよい。

メモリ４１は、距離画像センサ１の機能を実現するためのデータやパラメータなど各種の情報を記憶する記憶媒体である。メモリ４１は、例えばフラッシュメモリで構成される。

距離演算部４２は、四則演算等が可能な演算回路で構成される。距離演算部４２は、センサ回路３の撮像結果に基づいて、センサ回路３が受光した反射光の伝播期間に基づく距離を演算する。距離演算部４２は、画素毎の距離を示す距離データを算出して、距離画像を生成する。距離演算部４２は、距離情報として距離画像を生成する距離情報生成部の一例である。

１−３−１．センサ回路の構成
次に、センサ回路３の構成の詳細について、図５を参照して説明する。図５は、距離画像センサ１におけるセンサ回路３の構成を示すブロック図である。

図５に示すように、センサ回路３は、複数の画素回路３０と、ゲート駆動回路３１、垂直走査回路３２及び水平読出し回路３３などの周辺回路とを備える。

複数の画素回路３０は、撮像面上の水平方向及び垂直方向において、マトリクス状に配置される。画素回路３０は、フォトダイオードやＭＯＳトランジスタを備えて構成され、撮像結果の受光量に応じた電荷を保持する。各画素回路３０は、例えば電荷振り分け方式において、ＬＥＤ光の照射に同期して時分割で複数の受光量に応じた電荷を蓄積する。

ゲート駆動回路３１は、センサ制御部４０からの撮像命令に応じて画素回路３０に含まれる種々のＭＯＳトランジスタを駆動し、撮像時の受光動作を制御するための回路である。センサ回路３は、ゲート駆動回路３１の駆動によってＬＥＤ光の照射に同期して画素回路３０に受光させることで、ＬＥＤ光の反射光の情報を有する撮像画像を生成する。

垂直走査回路３２は、センサ回路３の外部への撮像結果の読出し動作において、マトリクス状に並んだ画素回路３０を垂直走査するための回路である。垂直走査回路３２は、一行に並んだ画素回路３０毎に順次、選択信号を出力する。

水平読出し回路３３は、センサ回路３の撮像画像を示す画像データである撮像データをＴＯＦ信号処理部４に読み出すための回路である。水平読出し回路３３は、複数のＡ／Ｄ（アナログ／デジタル）変換器３５を有する。水平読出し回路３３は、垂直走査回路３２から選択信号が入力された画素回路３０からのアナログ値の受光量をデジタル値に変換（Ａ／Ｄ変換）して、撮像データとしてＴＯＦ信号処理部４の距離演算部４２に出力する。撮像データは、例えばＬＥＤ光の照射に同期して反射光の受光量が振り分けられた複数の画像データを含む。

２．動作
２−１．動作の概要
本実施形態に係るスマートグラス２の動作の概要について、図６（ａ）〜（ｄ）を参照して説明する。図６（ａ）は、スマートグラス２による操作画面の表示例を示す。図６（ｂ）は、距離画像センサ１の検知エリアを説明するための図である。図６（ｃ）は、ユーザの操作がされた場合の操作画面の表示例を示す。図６（ｄ）は、操作画面に対するユーザの操作の検出対象の領域を説明するための図である。

スマートグラス２を装着したユーザは、例えば図６（ａ）に示すように、表示部２０が操作画面Ａ１を示す画像を表示することにより、操作画面Ａ１を視認する。操作画面Ａ１は、スマートグラス２の種々の機能に対応するアイコン画像や、各アイコン画像に応じた機能を説明するテキスト画像を含む。

表示部２０は、所定の表示可能エリアにおいて、ユーザの使用状態に応じて適宜、操作画面Ａ１の表示位置を設定する。操作画面Ａ１は、図６（ｂ）に示すように、表示可能エリア内でユーザの視野の奥行き方向における距離ｄ１の表示位置に視認される。操作画面Ａ１を触ったり押したりするジェスチャーによるユーザの操作を検出するために、距離画像センサ１は、操作画面Ａ１が視認される表示位置を含む領域（検知エリアＡ２）を撮像して距離画像を生成する。

例えば、図６（ｃ）に示すように、ユーザが操作画面Ａ１のアイコン画像を指５で押すジェスチャーを行った場合、スマートグラス２の制御部２１は、距離画像センサ１からの距離画像に基づき指の座標及び距離を検知し、押されたアイコン画像を判断する。制御部２１は、この判断結果に基づき、例えば、押されたアイコン画像に対応するテキスト画像を強調するなどの画像表示の更新を行う。

ここで、表示部２０において種々の表示位置に設定された操作画面Ａ１に対するユーザの操作を検出可能にするため、距離画像センサ１の検知エリアＡ２は、図６（ｂ）に示すように、表示部２０の表示可能エリア全体に渡って設定される。この場合、距離画像センサ１の距離画像には操作画面Ａ１の表示位置の座標から離れた座標に関する距離データも含まれるので、制御部２１による距離画像の画像処理において、ユーザの操作とは無関係な距離データに対する処理負荷が生じてしまう。

そこで、本実施形態では、図６（ｄ）に示すように、操作画面Ａ１に対する操作を検出する領域（以下、「検出対象領域」という）Ｒ１を設定する。このように、距離画像において制御部２１はユーザ操作を検出する領域を、距離画像センサ１によって検知される検知エリアＡ２の内の一部の領域に制限する。これにより、制御部２１による画像処理の処理負荷が低減され、ユーザ操作の検出動作における消費電力の低減および応答性を向上することができる。

２−２．ユーザの操作の検出動作
本実施形態に係るユーザの操作の検出動作について、図６，７，８を参照して説明する。図７は、本実施形態に係るユーザの操作の検出動作を示すシーケンス図である。図８は、ユーザの操作の検出動作における距離画像を説明するための図である。

まず、制御部２１は、表示部２０に、操作画面Ａ１に対応する画像を表示させる（Ｓ１）。操作画面Ａ１は、スマートグラス２を装着したユーザによって、表示部２０の表示可能エリアの中で特定の表示位置に視認される（図６（ａ），（ｂ）参照）。

次に、制御部２１は、操作画面Ａ１の表示位置に基づいて、検出対象領域Ｒ１を設定する（Ｓ２）。制御部２１は、操作画面Ａ１の表示位置に基づいて、距離画像上の検出対象領域Ｒ１の座標を計算し、検出対象領域Ｒ１の座標を示す座標情報を記憶部２２に記録する。

次に、制御部２１は、設定した検出対象領域Ｒ１内における距離データを収集するために、距離画像センサ１のＴＯＦ信号処理部４に距離画像の生成命令を発信する（Ｓ３）。

ＴＯＦ信号処理部４のセンサ制御部４０は、制御部２１から距離画像の生成命令を受信すると、センサ回路３に、ＬＥＤ１０によるＬＥＤ光の照射と同期して撮像させるための撮像命令を送信する（Ｓ１１）。

センサ回路３は、センサ制御部４０からの撮像命令を受信する（Ｓ２１）。センサ回路３は、受信した撮像命令に基づくタイミングで画素回路３０を駆動してＬＥＤ光の反射光を受光することにより、検知エリアＡ２の撮像を行う（Ｓ２２）。各画素回路３０の受光量は、水平読出し回路３３においてＡ／Ｄ変換され、撮像データが生成される。センサ回路３は、生成した撮像データをＴＯＦ信号処理部４に送信する（Ｓ２３）。

ＴＯＦ信号処理部４は、センサ回路３から撮像データを受信する（Ｓ１２）。ＴＯＦ信号処理部４の距離演算部４２は、受信した撮像データに基づき、画素回路３０毎に受光した反射光の伝播期間に基づく距離を演算することにより、距離画像を生成する（Ｓ１３）。ＴＯＦ信号処理部４は、生成した距離画像の画像データを制御部２１に出力する（Ｓ１４）。

制御部２１は、距離画像センサ１から距離画像の画像データを取得する（Ｓ４）。図８（ａ）に、距離画像センサ１から取得される距離画像Ｇ１の一例を示す。図８（ａ）においては、距離画像Ｇ１にユーザの手と背景とが映っており、手が背景および操作画面Ａ１の表示位置よりも近い距離にあることを示している。本実施形態では、距離画像センサ１からの距離画像Ｇ１の画像データは、距離画像センサ１の検知エリアＡ２（図６（ｂ）参照）全体に渡る画像データである。

次に、制御部２１は、検出対象領域Ｒ１に制限した距離画像Ｇ２に基づいて、ユーザの手や指などの対象物を検知する（Ｓ５）。ずなわち、図８（ｂ）に示すように、ユーザの操作の検出対象となる距離画像Ｇ２が、検出対象領域Ｒ１の範囲内に制限される。ステップＳ５の処理において、制御部２１は、距離画像上で対象物が映った領域を分離認識するための画像処理や、手（対象物）が映った領域における指先の位置の検知処理を行う。

例えば、図８（ｂ）に示す検出対象領域Ｒ１内の距離画像Ｇ２には、手が操作画面Ａ１までの距離ｄ１（図６（ｂ）参照）よりも近い距離で映っている一方、背景が距離ｄ１よりも遠い位置で映っている。このため、図８（ｂ）に示す距離画像Ｇ２に対して、制御部２１が画像処理において所定距離（例えば距離ｄ１）よりも近い距離の画素のデータを抽出することにより、図８（ｃ）に示すように、距離画像Ｇ２’上で手が映った領域が背景から分離される。さらに、制御部２１は、図８（ｃ）に示す距離画像Ｇ２’における先端部分の座標及び距離の値を抽出することにより、手の指先の位置を検知する。以上のように、図８（ａ）から制限した距離画像Ｇ２（図８（ｂ））を用いることにより、制御部２１の処理の対象となる画像データのサイズが縮小され、対象物の検知のためのデータ量や動作量を低減できる。

次に、制御部２１は、対象物の検知結果に基づいて、ユーザが視認中のアイコン画像を指で押すなどの操作がなされたか否かを判断する（Ｓ６）。例えば、制御部２１は、図８（ｃ）に示す距離画像Ｇ２’上で、操作画面Ａ１のアイコン画像の表示位置と、検知した指先の位置とを比較することによりユーザの操作を検出する。

制御部２１は、ユーザの操作を検出するまで、ステップＳ３以降の処理を繰り返し行う（Ｓ６でＮｏ）。制御部２１は、繰り返し距離画像センサ１から距離画像を取得し（Ｓ４）、対象物を検知することで（Ｓ５）、対象物の動きを検知する。

制御部２１は、ユーザの操作を検出したとき（Ｓ６でＹｅｓ）、検出された操作に応じて、表示部２０による表示を更新する（Ｓ７）。例えば、制御部２１は、操作画面Ａ１におけるアイコン画像を押し込む操作を検出した場合、押し込む操作の対象となったアイコン画像を判断し、表示部２０に表示させるための、判断したアイコン画像に対応するテキスト画像を変更する（図６（ｃ）参照）。

表示部２０による表示の更新がなされることで、本処理は終了する。

以上の処理により、距離画像センサ１からの距離画像において、制御部２１がユーザの操作の検出の対象として画像処理を行う領域が、検出対象領域Ｒ１に制限されるため、ユーザの操作を検出する際の制御部２１による消費電力を低減することができる。

以上の処理において、ユーザ操作を検出する距離画像の領域を制限することにより、検出処理の負荷が低減される。このため、消費電力を低減できるとともに、例えば１／３０秒などの所望の周期を維持して対象物の動きの検知が行え、ユーザの操作に対する応答性を向上することができる。

３．まとめ
以上のように、本実施形態に係るスマートグラス２は、指５などの対象物の動きに基づきユーザの操作を検出するユーザインタフェース装置である。スマートグラス２は、センサ回路３と、距離演算部４２と、制御部２１とを備える。センサ回路３は、対象物を撮像し、撮像データを生成する。距離演算部４２は、センサ回路３により生成された撮像データに基づいて、対象物までの距離を示す距離画像を生成する。制御部２１は、距離演算部４２によって生成された距離画像に基づいて、ユーザの操作を検出する。制御部２１は、距離画像において、センサ回路３が撮像可能な検知エリアＡ２の内の一部の制限された領域Ｒ１から、ユーザの操作を検出する。

以上のスマートグラス２によると、制御部２１がユーザの操作の検出の対象とする検出対象領域Ｒ１が、センサ回路３が撮像可能な領域の内の一部の領域に制限されるので、ユーザの操作の検出を行う際の消費電力を低減することができる。

また、制御部２１は、距離演算部４２から距離画像を取得し、取得した距離画像において、センサ回路３が撮像可能な検知エリアＡ２の内の一部の領域に、ユーザの操作を検出する領域を制限してもよい。これにより、制御部２１の処理の対象となる距離情報のデータ量が縮小され、制御部２１による処理負荷を低減できる。

また、スマートグラス２は、画像を表示する表示部２０をさらに備えてもよい。センサ回路３が撮像可能な検知エリアＡ２は、画像がユーザに視認される表示位置を含んでもよい。これにより、ユーザが視認する画像に対する操作を検出する際に、消費電力を低減できる。

また、表示部２０が表示する画像は、操作部材を含んでもよい。これにより、ユーザは操作部材を視認してスマートグラス２を操作することができる。

また、検出対象領域Ｒ１は、ユーザの操作を検出する領域に対応した領域であってもよい。これにより、操作画面Ａ１のアイコン画像に対するユーザ操作など、所定の機能を実行するためのユーザの操作を検出する際に、消費電力を低減することができる。

（実施の形態２）
実施の形態１では、距離画像センサ１から取得した距離画像に対して、制御部２１が対象物の検知を行う領域を制限した。実施の形態２では、距離画像センサにおいて、距離の演算を行う領域を制限する。これにより、さらに、距離画像センサの動作による消費電力を低減することができる。以下、本実施形態に係るスマートグラス及び距離画像センサについて説明する。

１．概要
本実施形態に係る距離画像センサの動作の概要について、図９（ａ）、（ｂ）を参照して説明する。図９（ａ）は、本実施形態に係るスマートグラスの距離画像センサの検知エリアを示す。図９（ｂ）は、図９（ａ）の距離画像センサにより生成される距離画像の一例を示す。

本実施形態に係るスマートグラス２Ａにおいて、図９（ａ）に示すように、距離画像センサ１Ａの検知エリアＡ２は、実施の形態１の距離画像センサ１と同様に、表示部２０の表示可能エリア全体に渡って設定される。本実施形態では、距離画像センサ１Ａが、検出対象領域Ｒ１に基づいて、検知エリアＡ２の撮像結果のうちの距離の演算を行う領域を制限する。

距離画像センサ１Ａの距離演算部４２（図３参照）は、検知エリアＡ２を撮像した撮像データにおいて、図９（ｂ）に示すように、検出対象領域Ｒ１外のデータに対しては距離の演算を行わずに検出対象領域Ｒ１内のデータに対してのみ距離の演算を行う。これにより、距離画像センサ１Ａにおいて検出対象領域Ｒ１に制限された距離画像Ｇ２ａを生成することで処理負荷が削減され、距離画像センサ１Ａの消費電力をさらに低減することができる。

２．動作
次に、本実施形態に係るスマートグラス２Ａの動作について、図１０を参照して説明する。図１０は、本実施形態に係るユーザの操作の検出動作を示すシーケンス図である。

本実施形態では、図１０に示すように、実施の形態１における図７のステップＳ３，Ｓ１３に代えて、ステップＳ３Ａ，Ｓ１３Ａの処理を行う。

ステップＳ３Ａにおいて、制御部２１は距離画像の生成命令とともに、検出対象領域Ｒ１の座標情報をＴＯＦ信号処理部４に送信する。検出対象領域Ｒ１の座標情報は、ＴＯＦ信号処理部４のメモリ４１に記録される。

ＴＯＦ信号処理部４は、センサ回路３から撮像データを受信すると（Ｓ１２）、メモリ４１に記録された座標情報を参照し、距離演算部４２において検出対象領域Ｒ１内のみ距離の演算を行って、距離画像Ｇ２ａを生成する（Ｓ１３Ａ）。これにより、距離の演算を行う画素数が減るため、距離画像センサ１における消費電力を低減できる。

以上の処理によると、スマートグラス２Ａの制御部２１は、距離画像センサ１Ａから予め検出対象領域Ｒ１に制限された距離画像Ｇ２ａを取得するので、画像処理の負荷を軽減でき、消費電力を低減できる。また、距離画像センサ１Ａにおいても、距離の演算を行う画素数を減らした分、消費電力を低減できる。

３．まとめ
以上のように、本実施形態に係るスマートグラス２Ａによると、距離演算部４２は、センサ回路３により生成された撮像データにおける全領域の内の一部の領域に、距離情報を生成する領域を制限する。これにより、距離演算部４２によって検出対象領域Ｒ１に制限された距離画像を生成することで、距離演算部４２の処理負荷が削減され、消費電力を低減することができる。

また、本実施形態に係る距離画像センサ１Ａは、センサ回路３と、距離演算部４２とを備える。センサ回路３は、指５などの対象物を撮像し、撮像データを生成する。距離演算部４２は、センサ回路３により生成された撮像データに基づいて、対象物までの距離を示す距離画像を生成する。距離画像センサ１Ａは、スマートグラス２Ａの制御部２１からの指示に基づいて、センサ回路３が撮像可能な検知エリアＡ２の内の一部の検出対象領域Ｒ１に制限して、距離画像を出力する。これにより、制御部２１においてユーザの操作の検出を行う際の消費電力を低減することができる。

距離画像センサ１Ａは、対象物にＬＥＤ光を照射するＬＥＤ１０をさらに備えてもよい。距離画像は、ＬＥＤ光の対象物における反射光の伝播期間に基づいて生成されてもよい。これにより、距離画像の画素毎に独立して距離を演算できるため、距離画像において余分なマージンを設けることなく検出対象領域Ｒ１に制限することができる。

（実施の形態３）
実施の形態２では、距離画像センサ１Ａの距離演算部４２において、距離の演算を行う領域を制限した。実施の形態３では、距離画像センサのセンサ回路によって撮像する領域を制限する。これによっても、距離画像センサの動作による消費電力をより低減することができる。以下、本実施形態に係るスマートグラス及び距離画像センサについて説明する。

１．構成
本実施形態に係る距離画像センサの構成について、図１１、１２を参照して説明する。図１１（ａ）は、本実施形態に係るスマートグラスの距離画像センサの検知エリアを示す。図１１（ｂ）は、図１１（ａ）の距離画像センサにより生成される距離画像の一例を示す。図１２は、本実施形態に係る距離画像センサのセンサ回路の構成を示すブロック図である。

本実施形態に係るスマートグラス２Ｂでは、図１１（ａ）に示すように、距離画像センサ１Ｂの検知エリアＡ２’を、表示部２０の表示可能エリア全体の内の検出対象領域Ｒ１を含む一部のエリアに制限する。このため、距離画像センサ１Ｂのセンサ回路３は、図１１（ｂ）に示すように、検出対象領域Ｒ１外の領域を撮像せず、検出対象領域Ｒ１の内部のみ撮像する。

本実施形態の距離画像センサ１Ｂのセンサ回路３は、距離画像センサ１Ｂのセンサ制御部４０から入力されるＲＯＩ（Region-Of-Interest）コマンドに応じて、撮像動作を行う画素回路３０を制限する機能を有する。ＲＯＩコマンドは、受光面における一部の領域を指定して、指定した領域のみ画素回路３０を動作させるためのコマンドである。

本実施形態では、ＲＯＩコマンドにより、センサ回路の撮像面において検知エリアＡ２’に対応する画素の領域が指定される（図５参照）。例えば、ＲＯＩコマンドによって、図１１（ｂ）に示す検出対象領域Ｒ１の外部に対応する画素回路３０に対して、垂直走査回路３２及び水平読出し回路３３による読出し動作を制限する。これにより、読み出し動作におけるＡ／Ｄ変換にかかる消費電力を低減することができる。なお、ＲＯＩコマンドによりゲート駆動回路３１を制御して、画素回路３０の受光動作を制限してもよい。この場合、センサ回路３の画素回路３０毎の受光動作の消費電力も低減することができる。

２．動作
次に、本実施形態に係るスマートグラス２Ｂの動作について、図１２を参照して説明する。図１２は、本実施形態に係るユーザの操作の検出動作を示すシーケンス図である。

本実施形態では、図１２に示すように、実施の形態２における図１０のステップＳ１１，Ｓ２１，Ｓ２２に代えて、ステップＳ１１Ａ，Ｓ２１Ａ，Ｓ２２Ａの処理を行う。

ステップＳ１１Ａにおいて、ＴＯＦ信号処理部４のセンサ制御部４０は、制御部２１からの座標情報に基づいて、検出対象領域Ｒ１を囲む検知エリアＡ２’を指定するＲＯＩコマンドを生成して、撮像命令とともにセンサ回路３に送信する。

センサ回路３は、ＴＯＦ信号処理部４からＲＯＩコマンドと撮像命令を受信する（Ｓ２１Ａ）。センサ回路３は、受信したＲＯＩコマンドと撮像命令に基づいて、検出対象領域を検知エリアＡ２’に制限して、撮像動作を行う（Ｓ２２Ａ）。これにより、撮像動作の対象となる画素回路３０の数が減るため、距離画像センサ１Ｂのセンサ回路３における消費電力を低減できる。

以上の処理によると、距離画像センサ１Ｂにおいて、センサ回路３の撮像時の消費電力を低減できる。また、スマートグラス２Ｂの制御部２１は、距離画像センサ１Ｂから予め検出対象領域Ｒ１に制限された距離画像Ｇ２ｂを取得するので、画像処理などにおける消費電力を低減できる。

３．まとめ
以上のように、本実施形態に係るスマートグラス２Ｂによると、センサ回路３は、対象物を撮像可能な画素の領域の内の一部の領域に、撮像データを生成する領域を制限する。これにより、撮像動作に用いる画素数が減るため、距離画像センサ１Ｂのセンサ回路３における消費電力をさらに低減できる。

（他の実施の形態）
上記の各実施形態では、表示部２０の画像表示に基づいて検出対象領域Ｒ１が設定されたが、ユーザ操作の検出対象となる検出対象領域は、表示中の画像とは関連せずに設定されてもよい。例えば、ユーザ操作の検出対象領域を、検知エリアの一部の所定の領域に設定してもよい。図１３を用いて、具体的に説明する。

図１３に示す例では、スマートグラス２は待機状態にあり、表示部２０は画像を表示していない。待機状態において、ユーザがスマートグラス２に対して固定された特定の位置にある空間に指５をかざす等の操作を行ったときに、表示部２０に画像を新たに表示させたり、スマートグラス２の所定の機能を起動させたりするために、距離画像センサ１を用いてユーザの操作を検出する。このように、ユーザの操作を検出する対象となる検出対象領域Ｒ２を、距離画像センサ１の検知エリアＡ２の中の一部の所定の領域に設定することにより、待機状態における消費電力を低減することができる。

また、上記各実施形態において、距離センサの一例としてＴＯＦ方式の距離画像センサ１を示したが、本発明に係る距離センサはＴＯＦ方式の距離画像センサに限らず、例えば、パターン照射型の距離画像センサや、ステレオカメラ、赤外線カメラなどであってもよい。距離センサとしてステレオカメラを用いる場合、距離の測定は三角測量によって行われる。このため、例えば水平方向に並列したステレオカメラを用いる場合、検知エリアの制限は三角測量における視差を考慮して、水平方向において、実際にユーザの操作の検出対象となる領域からマージンを設けて設定する。また、パターン照射型の距離画像センサでは、撮像された画素間のデータを比較することにより距離が計算される。このため、距離センサとしてパターン照射型の距離画像センサを用いる場合においても、検知エリアの制限は、実際にユーザの操作の検出対象となる領域からマージンを設けて設定する。

また、上記の各実施形態では、ＴＯＦ信号処理部４においてセンサ制御部４０と距離演算部４２とを別個に構成したが、これに限らず、ＴＯＦ信号処理部４においてセンサ制御部４０と距離演算部４２の機能を一体的に実現してもよい。

また、上記の各実施形態では、制御部２１はユーザの操作を検出したとき、表示部２０の画像表示を更新したが、画像表示の更新に代えて、例えば音データの再生や外部機器との通信などの所定の機能を実行させてもよい。

また、上記の各実施形態では、表示部２０は虚像を投影する透過型ディスプレイデバイスであったが、これに限らず、例えば両目に対して視差画像を表示するディスプレイデバイスを用いて、ユーザの目の前の空間中に所定の画像を視認させてもよい。また、表示部はフラットパネルディスプレイであってもよい。例えば、フラットパネルディスプレイの表示面上にユーザが立体視可能な所定の画像（例えばホログラム）を表示して、立体視される画像に対して検出対象領域を設定してもよい。また、表示面上に表示された平面画像に対して、非接触で操作するために、表示面を覆う空間中に検出対象領域を設定してもよい。

また、上記の各実施形態では、ユーザインタフェース装置の一例として、眼鏡型のウェアラブル端末であるスマートグラス２を例示したが、本発明に係るユーザインタフェース装置はこれに限らない。例えば、時計型などの他のウェアラブル端末であってもよいし、スマートフォンやタブレット端末、携帯電話、ノート型ＰＣ（パーソナルコンピュータ）、デジタルカメラ、携帯型ゲーム機などに搭載されるユーザインタフェース装置であってもよい。

１ 距離画像センサ
１０ ＬＥＤ
２ スマートグラス
２０ 表示部
３ センサ回路
３０ 画素回路
４ ＴＯＦ信号処理部
４０ センサ制御部
４２ 距離演算部

Claims (9)

1. 対象物の動きに基づきユーザの操作を検出するユーザインタフェース装置であって、
   前記対象物を撮像し、撮像画像を生成する撮像部と、
   前記撮像部により生成された撮像画像に基づいて、前記対象物までの距離を示す距離情報を生成する距離情報生成部と、
   前記距離情報生成部によって生成された距離情報に基づいて、前記ユーザの操作を検出する制御部とを備え、
   前記制御部は、前記距離情報において、前記撮像部が撮像可能な領域の内の一部の制限された領域から、前記ユーザの操作を検出する
   ユーザインタフェース装置。
2. 前記制御部は、前記距離情報生成部から前記距離情報を取得し、取得した距離情報において、前記撮像部が撮像可能な領域の内の一部の領域に、前記ユーザの操作を検出する領域を制限する
   請求項１に記載のユーザインタフェース装置。
3. 前記距離情報生成部は、前記撮像部により生成された撮像画像における全領域の内の一部の領域に、前記距離情報を生成する領域を制限する
   請求項１に記載のユーザインタフェース装置。
4. 前記撮像部は、前記対象物を撮像可能な画素の領域の内の一部の領域に、前記撮像画像を生成する領域を制限する
   請求項１に記載のユーザインタフェース装置。
5. 画像を表示する表示部をさらに備え、
   前記撮像部が撮像可能な領域は、前記画像がユーザに視認される表示位置を含む
   請求項１〜４のいずれか１項に記載のユーザインタフェース装置。
6. 前記画像は、操作部材を示す画像を含む
   請求項５に記載のユーザインタフェース装置。
7. 前記一部の制限された領域は、ユーザの操作を検出する領域に対応した領域である
   請求項１〜６のいずれか１項に記載のユーザインタフェース装置。
8. 対象物を撮像し、撮像画像を生成する撮像部と、
   前記撮像部により生成された撮像画像に基づいて、前記対象物までの距離を示す距離情報を生成する距離情報生成部とを備え、
   外部機器からの指示に基づいて、前記撮像部が撮像可能な領域の内の一部の領域に制限して、前記距離情報を出力する
   距離センサ。
9. 前記対象物に照射光を照射する光源部をさらに備え、
   前記距離情報は、前記照射光の前記対象物における反射光の伝播期間に基づいて生成される
   請求項８に記載の距離センサ。

Images