JP6516464B2 - ウェアラブル検索システム - Google Patents

Description

本発明は、カメラ画像から検索対象を抽出して画像検索を実行し、ウェアラブルコンピュータの透過型ディスプレイに検索結果を表示するウェアラブル検索システムに係り、特に、ユーザの検索要求動作を検知してカメラ撮影を伴う画像検索を開始するウェアラブル検索システムに関する。

スマートフォンの普及に伴い、ユーザはいつでもどこでも情報を手軽に取得できるようになった。しかしながら、スマートフォンの操作は難しくはないものの、画像検索を実行するたびに画面表示をオンにしたり、カメラやアプリケーションを起動させたりするなどの操作が必要である。

例えば、電気店で新商品の詳細を調査したいとき、スマートフォンをポケットから取り出して画面表示をオンにしてからブラウザを立ち上げて商品名を入力したり、カメラを起動してQRコード(登録商標)を撮影したり、といった操作手順が必要である。

一方、近年になって常時着用できるスカウタータイプの透過型HMDが注目され、ユーザの視線を遮蔽せずに視界の中の小さなディスプレイを通して様々なコンテンツを表示し、よりタイムリーに情報を検索することが可能になった。

特許文献１には、このような透過型HMDとして、Google社のGoogle Glass（登録商標）が開示されている。「Google Glass」では、音声入出力を扱える対話インタフェースとタッチ操作の併用が勧められている。例えば、「OK，glass」という掛け声でグラスの画面をオンにし、音声コマンドを読み上げつつ、メガネのツル部分にあるタッチパッドを触って画面上の選択・確定アクションを行う。

非特許文献１には、メガネのレンズのような近距離に配置された導光板に映像を投影し、映像をメガネの表面に表示しながら外の様子をシースルーで見ることが可能な光学透過型HMDの「MOVERIO」が開示されている。こうしたデバイスを利用すれば、視界を確保するとともに、視界上に実在する検索対象についての関連情報をHMD上に付加表示することが可能になる。

特許文献２には、透過型HMDのカメラを用いて、画像認識で特定された視界上の対象物に関連情報を付加して提示する方式が開示されている。しかし、「MOVERIO」では、音声インタフェースを提供しておらず、画面のスイッチONやメガネとケーブルで繋いでいるタッチパネルのリモコンによる操作が必須である。

特許文献３には、透過型HMDを着用したユーザに対して、ユーザの位置および進行方向に応じた情報を提示する方式が開示されている。この方式では、GPSによりユーザ位置を特定したうえで、進行方向の直行方向を含まない第一の判定エリアの対象物、進行方向の直行方向を含む第二の判定エリアのそれぞれに対して関連情報を提供することができる。また、この方式はプッシュ型なので、画面のスイッチON以外の操作は不要である。

United States Patent Application No.0130044042 特許第05215211号公報 特開2012-78224号公報

シースルー型HMD Epson MOVERIO（セイコーエプソン株式会社）http://www.epson.jp/products/moverio/

Google Glassのユーザテスト結果によれば、公衆の場でデバイスに対して一々声を出して情報の確認を行うことに対する抵抗感が明らかになっている。また、カメラの撮影や写真の選択などにおいて音声にタッチ操作を併用する際、目に見えないツルの適所をタッチしたり、左右に動かしたり、上から下になぞったり、といった操作は直感的ではなく、煩雑であるという指摘も明らかになっている。

非特許文献１の「MOVERIO」によれば、視界中の対象物に対してその関連情報を付加表示する情報提示を実現できる。しかしながら、ユーザの視界上において複数の対象物が混在する場合に認識対象を特定（指定）できない。また、「MOVERIO」では、手元のリモコンによるタッチ操作が必要であるため、グラスの画面表示をオンにしたり、アプリケーションを起動したり、上下左右選択したりするなどの操作は、Google Glassの場合と同様に直感的でなく、煩雑なものになってしまう。

さらに、こうしたメガネデバイスの一般的な利用では、理論上約1日はバッテリが持つが、カメラを常時認識で利用すると過熱やバッテリ消費量激増の問題もあるため、頻繁なオン／オフ操作が必要となる。

特許文献３では、GPSによる位置情報およびユーザの進行方向を利用することで、ユーザの視線を推定してそれに応じた対象物の情報を自動的にプッシュして提供することができる。ただし、ユーザが対象物のそばを通りかかったり、無意識に覘いたりすると、ユーザが実際には対象物に興味関心がなくても関連情報をプッシュしてしまう課題が解決されていない。また、この方式はGPSによる屋外の位置測定を前提にしているため、店舗内の商品調査など、屋内の利用シーンには対応できない。

本発明の目的は、上記の技術課題を解決し、発声や煩雑な操作を必要とせずに直感的な動作のみで、屋内外を問わず少ない電力消費で画像検索を可能にするウェアラブル検索システムを提供することにある。

上記の目的を達成するために、本発明は、透過型ディスプレイを備えたウェアラブルコンピュータおよびウェアラブル動作センサを含むウェアラブル検索システムにおいて、以下の構成を具備した点に特徴がある。

(1)ウェアラブル動作センサが、ユーザの検索要求動作を識別する手段と、検索要求動作に応答してウェアラブルコンピュータへ起動要求を送信する手段とを具備し、ウェアラブルコンピュータが、カメラ画像を透過型ディスプレイに表示するカメラ機能と、起動要求に応答して前記カメラ機能を起動する手段と、カメラ画像上で手領域を認識する手段と、手領域と所定の位置関係にある検索画像範囲から検索画像を抽出する手段と、検索画像に関連する情報を検索する手段と、検索結果を透過型ディスプレイ上に表示する手段と、検索要求動作時に検知された加速度の特徴量を正例、検索要求動作時以外に検知された加速度の特徴量を負例としてユーザ動作を学習し、正例および負例の各動作を識別する境界条件を設定する学習手段と、を具備するとともに、追加の学習データとして、前記特徴量を考慮することで、ユーザが検索対象を指定していないのに検知されてしまう場合を負例として、ユーザが検索対象を指定しているのに検知されない場合を正例として双方を適用し、前記検索動作識別手段は、前記境界条件を識別指標とする。

(2) 検索結果を表示する手段は、検索結果を検索画像範囲にオーバーレイ表示するようにした。

本発明によれば、以下のような効果が達成される。
(1) ユーザの検索要求動作を検知して画像検索の開始契機とするので、屋内外を問わず、発声や煩雑な動作を必要とせずに直感的な動作のみで画像検索が可能になる。

(2) ユーザの検索要求動作が検知されるまでは、ウェアラブルコンピュータの画像検索アプリケーションが起動されず、電力消費量の大きなカメラ機能部が勢付されないので、ウェアラブルコンピュータの電力消費量が抑えられ、その使用可能時間を延ばすことが可能になる。

(3) 検索結果が検索対象の表示位置にオーバーレイ表示されるので、検索対象と検索結果との対応付けが容易になる。

本発明を適用したウェラブル検索システムの構成を示した図である。 ウェアラブル動作センサの構成を示したブロック図である。 本発明が想定する検索動作の例（第１ジェスチャ）を示した図である。 本発明が想定する検索動作の例（第２ジェスチャ）を示した図である。 T-HMD２の主要部の構成を示した図である。 検索画像の抽出方法を説明するための図である。 検索結果の表示例（その１）を示した図である。 検索結果の表示例（その２）を示した図である。 本発明の一実施形態の動作を示したフローチャートである。 T-HMDの他の実施形態の構成を示したブロック図である。

以下、図面を参照して本発明の実施の形態について詳細に説明する。図１は、本発明を適用したウェラブル検索システムの構成を示した図であり、メガネタイプの透過型HMD（以下、T-HMDと表現する）２と、このT-HMD２を装着したユーザの検索動作を検知するウェアラブル動作センサ１により構成される。

T-HMD２は、ウェアラブル動作センサ１からの起動要求に応答して画像検索アプリケーションを起動し、内蔵カメラによる視界方向のカメラ撮影を開始する。画像検索アプリケーションは、カメラ画像から検索対象を抽出し、検索対象画像を含む検索要求を画像検索サーバ３へ送信して検索結果を取得する。検索結果はT-HMD２の透過型ディスプレイ上に表示される。

前記ウェアラブル動作センサ１としては、三次元の加速度センサを内蔵してユーザの手首に装着されるスマートウォッチやリストバンドを活用できる。前記T-HMD２としては、グーグルグラス（Google Glass：登録商標）や「MOVERIO」に代表されるメガネ型情報端末（スマートグラス）を活用できる。ユーザは、視界方向の様子をシースルーで見ながら、目の前に浮かぶようにT-HMDのディスプレイ上にオーバーレイ表示される情報を視認できる。

図２は、前記ウェアラブル動作センサ１の主要部の構成を示した図であり、ここではスマートウォッチへの適用を例にして説明する。なお、本発明の説明に不要な構成は図示が省略されている。

3D加速度センサ１０１は、x，y，zの各方向への加速度を所定のサンプリング周期で検知する。ユーザインタフェース（I/F）１０２は、ユーザ操作を受け付けるタッチセンサや物理的な操作子を提供する。時計機能部１０３は、スマートウォッチを腕時計として機能させるための時計機能およびその表示機能を備える。電源制御部１０４は、バッテリ１０５による各部への給電を制御する。

無線通信モジュール１０６は、BLE(Bluetooth(登録商標) Low Energy)１０６ａやWi-Fi１０６ｂに代表される近距離無線通信用のインタフェースを含む。プロセッサ１００は、ROM１０７に予め記憶されている各種の制御プログラムやRAM１０８に記憶されている各種のアプリケーションに基づいて、以下に詳述する各種の機能を実現する。

プロセッサ１００において、特徴量計算部１００ａは、3D加速度センサ１０１が出力する加速度信号を統計的に処理して特徴量（特徴ベクトル）を生成する。本実施形態では所定のサンプリング周期ごとにx，y，z方向の各加速度を検知し、一定期間（例えば、１sec）内に検知された複数回分の加速度の統計量として、例えば(1)平均値、(2)標準偏差、(3)絶対平均値、(4)歪度、(5)最大値、(6)最小値を計算し、これを１レコードとしてユーザ動作の特徴量とする。

検索動作識別部１００ｂは、動作判定アプリケーション１０８ａの一機能であり、前記特徴量を、予め学習されている検索要求動作の判定指標（例えば、SVMにおける分離超平面）と比較することで、ユーザの動作が検索要求動作であるか否かを識別する。

起動要求部１００ｃは、ユーザの動作が検索要求動作に識別されると、無線通信モジュール１０６による近距離無線通信により、前記T-HMD２へ起動要求を送信する。

学習部１００ｄは、検索要求動作およびそれ以外の動作をユーザへそれぞれ要求し、検索要求動作時に検知された加速度の特徴量を正例、それ以外の動作時に検知された加速度の特徴量を負例とする多数の学習データをSVM等の機械学習に適用し、ユーザの動作を検索要求動作またはそれ以外に識別する判定指標の学習結果１０８ｃとして、例えば分離超平面を構築する。

なお、負例の学習データとしては、(1)ユーザが検索対象を指定していないのに検知されてしまう、正例の学習データとしては、(2)ユーザが検索対象を指定しているのに検知されない、の双方を適用することが望ましい。

図３，４は、本発明が想定する検索動作の例を示した図であり、図３の第１ジェスチャは、人差し指と親指とでL型を模擬した両手を表裏で対角配置して検索対象の矩形範囲を指定する方法である。図４の第２ジェスチャは、人差し指と親指とでL型を模擬した両手を隣接配置して検索対象の矩形範囲を指定する方法である。

図５は、前記T-HMD２の主要部の構成を示した図であり、ここではスマートグラスへの適用を例にして説明する。なお、本発明の説明に不要な構成は図示が省略されている。

透過型ディスプレイ２０１は、ユーザの視界内にシースルー映像を表示する。カメラ機能部２０２は、ユーザの視界方向を撮影して、そのカメラ画像を透過型ディスプレイ２０１に出力する。ユーザインタフェース２０３は、タッチセンサ機能２０３ａ、マイク機能２０３ｂ、スピーカ機能２０３ｃを提供する。電源制御部２０４は、バッテリ２０５による各部への給電を制御する。

無線通信モジュール２０６は、BLE２０６ａ，Wi-Fi２０６ｂなどの近距離無線通信用のインタフェースおよび3G，4G，LTEなどの携帯通信用のインタフェース２０６ｃを含む。プロセッサ２００は、ROM２０７に記憶されている各種の制御プログラムおよびRAM２０８に記憶されている各種のアプリケーションに基づいて、以下に詳述する各種の機能を実現する。

プロセッサ２００において、起動要求検知部２００ａは、ウェアラブル動作センサ１から起動要求を受信すると画像検索アプリケーション２０８ａを立ち上げる。これによりカメラ機能部２０２がカメラ撮影を開始するので、ここで初めて、カメラ撮影による電力消費が生じることになる。

手領域検出部２００ｂは、カメラ画像から手領域を検出する。本実施形態では、カメラのフレーム画像から肌色とマッチする領域を検出して手領域と見なす。なお、肌色検出は照明などの環境変化の影響を受けやすいため、精度を高めるために、カメラフレームからの肌色検出において、RGBではなくHSV色空間でのマッチングを行い、キャプチャされた肌色画像に対してH（Hue：色相）およびS（Saturation：彩度）のレンジが近い領域を肌色として検出する。

これは、RGBと比較して、HSV色空間は人間の色の認識と親和性があり、色相と彩度の組み合わせは照明変化に対して変化が少ないからである。なお、アプリケーションの起動中に手領域をタップすると、肌色部分が改めてサンプリングされ、現在の環境下における肌色のデータに最適化された肌色検出が行われるようにしても良い。

検索画像抽出部２００ｃは、カメラ画像上で手領域を追跡し、前記図３，４に関して説明した第１又は第２ジェスチャを識別できると、当該手領域と所定の位置関係にある矩形範囲内の画像領域を検索画像として抽出する。

図６は、検索画像の抽出方法を説明するための図であり、ここでは、第２ジェスチャを例にして説明する。まず、フレーム画像から抽出した各指のエッジ（指先のポイント）の検出位置から構成された多角形を推定する（同図の破線）。そして、前記多角形の範囲内で指の付け根（指の股）の検出位置P1，P2に基づいて、両手の付け根を底辺の各頂点とし、人差し指の長さを高さとする矩形領域Aを認識して、その画像を切り出す。

図５へ戻り、検索実行部２００ｄは、前記検索対象画像を含む検索要求メッセージを作成して画像検索サーバ３へ送信し、さらに画像検索サーバ３が応答した検索結果を受信する。前記画像検索サーバ３には、検索対象の登録画像に関連付けて、その関連情報が予め格納されており、画像類似検索により関連情報を抽出し、これを検索結果として応答する。関連情報は、対象物についての名称や詳細情報、およびWebサイトのURLのような参照先情報などから構成されている。

検索結果表示部２００ｅは、図７，８に示したように、前記検索結果を検索対象との対応付けが容易に分かるように、透過型ディスプレイ２０１の前記矩形範囲の位置に、背景に溶け込んで「透けて」見えるようにエフェクトをかけてオーバーレイ表示する。

このようなエフェクト効果は、対応する背景の点(x, y)と検索結果の点(cx, cy)の色を一定の基準により混ぜ合わせることで得られる。例えば、半透明の例であれば、(x, y)のRGB成分が（２５５、０、０）（＝赤）で、(cx, cy) が（０、０、２５５）（＝青）ならば、その平均を取って（１２７、０、１２７）（＝暗い紫）にする。

次いで、図９のフローチャートを参照して本発明の一実施形態の動作を説明する。ウェアラブル動作センサ１では、ステップS１においてユーザの動作が前記3D加速度センサ１０１によりx，y，z方向の各加速度Gx，Gy，Gzとして所定の周期で繰り返し検知される。ステップS２では、一定期間ごとに複数回分の各加速度Gx，Gy，Gzが前記特徴量計算部１００ａにより集計されて特徴量が計算される。

ステップS３では、前記検索動作識別部１００ｂにより、SVM等の機械学習により構築された分離超平面と前記特徴量との比較結果に基づいて、ユーザの動作が検索要求動作であるか否かが識別される。本実施形態では、前記図３，４に示したように、ユーザが検索対象（ここでは、スマートフォン）を両手の親指および人差し指で囲むように両手を動作させると、これが検索要求動作に識別されてステップS４へ進み、無線通信モジュール１０６からT-HMD２へ起動要求のメッセージが送信される。

T-HMD２は、ステップS２１において、前記起動要求が起動要求検知部２００ａにより検索検知されると、ステップS２２では、予め実装されている画像検索アプリケーション２０８ａが起動される。ステップS２３では、前記画像検索アプリケーションによりカメラ機能部２０２が起動されてカメラ画像が取得される。

ステップS２４では、カメラ画像から前記手領域検知部２００ｂにより手領域が識別され、さらに手領域が検索対象を指定する第１又は第２ジェスチャであるか否かが、パターン認識や画像マッチング等の適宜の手法により実施される。

第１又は第２ジェスチャであればステップS２５へ進み、当該手領域と所定の位置関係にある矩形範囲内の画像が、前記検索画像抽出部２００ｃにより検索画像として抽出される。ステップS２６では、前記検索実行部２００ｄにより、前記検索画像の添付された検索要求メッセージが生成されて前記インタフェース２０６ｃから画像検索サーバ３へインターネット経由で送信される。ステップS２７では、画像検索サーバ３が応答した検索結果が受信される。ステップS２８では、前記図７，８を参照して説明したように、検索結果がディスプレイ２０１上にオーバーレイ表示される。

ステップS２９では、前記検索要求ジェスチャが終了したか否かが判定される。検索要求ジェスチャが維持されていれば前記検索結果の表示が継続される。検索要求ジェスチャが終了していれば、ステップS３０へ進んで検索結果の表示が消去される。

ステップS３１では、タイムアウト判定が行われ、タイムアウト前であれば、ステップS２３へ戻って上記の各処理が繰り返される。これに対して、検索要求ジェスチャが所定時間以上継続して検知されずにタイムアウト判定されるとステップS３２へ進み、画像検索アプリケーション２０８ａが閉じられてカメラ撮影も終了する。

本実施形態によれば、ユーザが検索対象を見つけて検索要求動作を行い、これが検知されるまでは、T-HMD２において画像検索アプリケーションが起動されず、電力消費量の大きなカメラ機能部が勢付されないので、ユーザの情報検索に係る操作性を損なうことなく、T-HMD２の電力消費量を減じることが可能になり、その使用可能時間を延ばすことが可能になる。

また、本実施形態によれば、ユーザは手で所定のジェスチャを表現するだけで検索を開始できるので、発声や煩雑な操作を伴わず、直感的な動作のみで、検索要求および検索対象の指定を行えるようになる。

なお、上記の実施形態では画像検索サーバ３がネットワーク上に設けられるものとして説明したが、本発明はこれのみに限定されるものではなく、図１０に一例を示したように、画像検索サーバ３に相当する機能部２０９をT-HMD２内にローカルに設けても良い。

また、上記の実施形態では、ユーザの動作を3D（3軸）の加速度センサにより検知するものとして説明したが、本発明はこれのみに限定されるものではなく、3軸のジャイロスコープや3軸の磁気センサ、あるいはこれらを適宜に組み合わせた6軸または9軸のセンサを採用しても良い。

１…ウェアラブル動作センサ，２…透過型HMD（T-HMD），３…画像検索サーバ，１００，２００…プロセッサ，１００ａ…特徴量計算部，１００ｂ…検索動作識別部，１００ｃ…起動要求部，１００ｄ…学習部，１０１…3D加速度センサ，１０２…ユーザインタフェース，１０３…時計機能部，１０４，２０４…電源制御部，１０５，２０５…バッテリ，１０６，２０６…無線通信モジュール，１０７，２０７…ROM，１０８，２０８…RAM，２０１…透過型ディスプレイ，２０２…カメラ機能部，２０３…ユーザインタフェース

Claims (7)

1. 透過型ディスプレイを備えたウェアラブルコンピュータおよびウェアラブル動作センサを含み、
   前記ウェアラブル動作センサが、
   ユーザの検索要求動作を識別する検索動作識別手段と、
   前記検索要求動作に応答してウェアラブルコンピュータへ起動要求を送信する起動要求手段とを具備し、
   前記ウェアラブルコンピュータが、
   カメラ画像を透過型ディスプレイに表示するカメラ機能と、
   前記起動要求に応答して前記カメラ機能を起動する起動要求検知手段と、
   前記カメラ画像上で手領域を認識する手領域認識手段と、
   前記手領域と所定の位置関係にある検索画像範囲から検索画像を抽出する検索画像抽出手段と、
   前記検索画像に関連する情報を検索する検索実行手段と、
   前記検索結果を透過型ディスプレイ上に表示する検索結果表示手段とを具備し、
   前記ウェアラブル動作センサが、
   検索要求動作時に検知された加速度の特徴量を正例、検索要求動作時以外に検知された加速度の特徴量を負例としてユーザ動作を学習し、正例および負例の各動作を識別する境界条件を設定する学習手段を具備するとともに、
   追加の学習データとして、前記特徴量を考慮することで、ユーザが検索対象を指定していないのに検知されてしまう場合を負例として、ユーザが検索対象を指定しているのに検知されない場合を正例として双方を適用し、
   前記検索動作識別手段は、前記境界条件を識別指標とする
   ことを特徴とするウェアラブル検索システム。
2. 前記検索結果表示手段は、検索結果を前記検索画像範囲にオーバーレイ表示することを特徴とする請求項１に記載のウェアラブル検索システム。
3. 前記ウェアラブル動作センサが、
   ユーザの動作を所定の周期で３方向の動きとして検知する3D加速度センサ、3Dジャイロスコープもしくは3D磁気センサまたはこれらの組み合わせと、
   所定の期間内に検知された複数回分の加速度に基づいてユーザ動作の特徴量を計算する特徴量計算手段とを具備し、
   前記検索動作識別手段は、予め学習した識別指標と前記特徴量との比較結果に基づいてユーザ動作を識別することを特徴とする請求項１または２に記載のウェアラブル検索システム。
4. 前記手領域は、フレーム画像から抽出した各指のエッジの検出位置から構成された多角形を推定し、前記多角形の範囲内で指の付け根の検出位置に基づいて、両手の付け根を底辺の各頂点とし、人差し指の長さを高さとする矩形領域とした請求項１ないし３のいずれかに記載のウェアラブル検索システム。
5. 前記検索実行手段は、前記検索画像を含む検索要求をネットワーク上の画像検索サーバへ送信して検索結果を取得することを特徴とする請求項１ないし４のいずれかに記載のウェアラブル検索システム。
6. 前記ウェアラブルコンピュータが、検索対象候補の関連情報を蓄積した画像検索サーバ機能部を含み、
   前記検索実行手段は、前記検索画像を含む検索要求を画像検索サーバ機能部へ提供して検索結果を取得することを特徴とする請求項１ないし４のいずれかに記載のウェアラブル検索システム。
7. 前記ウェアラブルコンピュータおよびウェアラブル動作センサが近距離無線通信インタフェースを具備し、
   前記ウェアラブル動作センサは、前記起動要求を近距離無線通信によりウェアラブルコンピュータへ送信することを特徴とする請求項１ないし６のいずれかに記載のウェアラブル検索システム。