[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP6024184B2 - システム、電子機器、およびプログラム - Google Patents

システム、電子機器、およびプログラム Download PDF

Info

Publication number
JP6024184B2
JP6024184B2 JP2012103447A JP2012103447A JP6024184B2 JP 6024184 B2 JP6024184 B2 JP 6024184B2 JP 2012103447 A JP2012103447 A JP 2012103447A JP 2012103447 A JP2012103447 A JP 2012103447A JP 6024184 B2 JP6024184 B2 JP 6024184B2
Authority
JP
Japan
Prior art keywords
stimulus
electronic device
control unit
target point
relative relationship
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2012103447A
Other languages
English (en)
Other versions
JP2013231653A (ja
JP2013231653A5 (ja
Inventor
佐古 曜一郎
曜一郎 佐古
隆俊 中村
隆俊 中村
丹下 明
明 丹下
一郎 間山
一郎 間山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2012103447A priority Critical patent/JP6024184B2/ja
Priority to US13/861,666 priority patent/US9185282B2/en
Priority to CN201310137257.7A priority patent/CN103376106B/zh
Publication of JP2013231653A publication Critical patent/JP2013231653A/ja
Publication of JP2013231653A5 publication Critical patent/JP2013231653A5/ja
Application granted granted Critical
Publication of JP6024184B2 publication Critical patent/JP6024184B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3602Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20Instruments for performing navigational calculations
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3626Details of the output of route guidance instructions
    • G01C21/3652Guidance using non-audiovisual output, e.g. tactile, haptic or electric stimuli

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • User Interface Of Digital Computer (AREA)
  • Navigation (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

本開示は、システム、電子機器、およびプログラムに関する。
近年、携帯電話機等のモバイル端末において目的地へ誘導するための表示を行うナビゲーション技術が知られている。
例えば、下記特許文献1に記載の展示会用の案内装置は、案内装置の現在位置情報、方位情報、およびパンフレット等の媒体から読み出した案内位置情報に基づいて、案内位置に向かう進行方向を含む案内情報を表示する。
また、下記特許文献2に記載の位置表示システムは、移動端末の位置情報および移動目的地の位置情報に基づいて、移動目的地へ向かう際のルートとして方位学上吉となる運勢上最適ルートを導出する。そして、本システムの移動端末は、導出された運勢上最適ルートを文字若しくは図形としてディスプレイに表示する。
また、下記特許文献3に記載の携帯端末は、端末の方位に応じた目的地の相対方位を算出し、表示手段によりこれを表示する。
また、下記特許文献4に記載の経路誘導装置は、使用者の健康状態に応じて目的地までの経路を選択し、選択した経路を示す画像を表示して誘導を行う。
特開2011−75292号公報 特開2002−286493号公報 特開2003−194571号公報 特開2007−51872号公報
しかしながら、上記いずれの技術も、ユーザが任意に指定した目的地への誘導を、表示装置を利用して行うものであって、ユーザが指定していない目的地への誘導については何ら考慮されていない。
例えば、ユーザが気付いていない有名スポットや、お勧めスポットが周辺にある場合、ユーザは気付いていないために目的地として指定することができないので、自動的にこのような場所へ誘導されれば、ナビゲーション技術の利便性がさらに向上する。
そこで、本開示では、周辺に存在する対象地点をユーザに気付かせることが可能な、新規かつ改良されたシステム、電子機器、およびプログラムを提案する。
本開示によれば、手に把持されるハウジングと、対象地点が電子機器の周辺にあるか否かを判断する判断部と、前記判断部により前記対象地点が周辺にあると判断された場合、前記対象地点と、前記電子機器の位置との相対関係を認識する認識部と、前記認識された相対関係に応じて、手に刺激を与えるよう制御する刺激制御部と、を備えるシステムを提案する。
本開示によれば、手に把持されるハウジングと、対象地点が電子機器の周辺にあるか否かを判断し、前記対象地点が周辺にあると判断された場合に前記対象地点と前記電子機器の位置との相対関係を認識するサーバから、前記サーバが認識した相対関係を受信する受信部と、前記受信部により受信した相対関係に応じて、手に刺激を与えるよう制御する刺激制御部と、を備える電子機器を提案する。
本開示によれば、手に把持されるハウジングを有する電子機器の周辺に対象地点があるか否かを判断し、前記対象地点が周辺にあると判断された場合に前記対象地点と前記電子機器の位置との相対関係を認識するサーバから、前記サーバが認識した相対関係を受信する処理と、前記受信した相対関係に応じて、手に刺激を与えるよう制御する処理と、をコンピュータに実行させるプログラムを提案する。
以上説明したように本開示によれば、周辺に存在する対象地点をユーザに気付かせることが可能となる。
本開示の一実施形態による対象物認知システムの概要について説明するための図である。 本実施形態によるデジタルカメラの構成を示すブロック図である。 本実施形態によるサーバの構成を示すブロック図である。 刺激強度とずれ度合いとの関係を示す図である。 対象物の優先度に応じた刺激間隔を示す図である。 本実施形態による刺激の具体例を示す図である。 刺激の他の具体例を示す図である。 デジタルカメラの現在位置と対象物の位置との相対関係を説明するための図である。 本実施形態による対象物認知システムの動作処理を示すフローチャートである。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
また、説明は以下の順序で行うものとする。
1.本開示の一実施形態による対象物認知システムの概要
2.各基本構成
2−1.デジタルカメラの構成
2−2.サーバの構成
3.動作処理
4.まとめ
<1.本開示の一実施形態による対象物認知システムの概要>
まず、本開示の一実施形態による対象物認知システムの概要について図1を参照して説明する。図1に示すように、本開示の一実施形態による対象物認知システムは、デジタルカメラ1およびサーバ3を含む。デジタルカメラ1は、無線通信機能を有し、基地局5を介してネットワーク4上のサーバ3と接続することが可能である。
通常、ユーザが周囲の被写体を撮影している場合、周辺に有名スポットや注目スポットがあったとしてもユーザ自身がその存在を知らなければ、有名スポットが存在する方向にカメラを向けることもなく、ユーザは気付くことが出来ない。
そこで、本実施形態によれば、ユーザが気付いていない有名スポットや注目スポット等の対象物の存在を、ユーザの手に刺激を与えることで気付かせることが可能な対象物認知システムを提案する。
より具体的には、本実施形態によるデジタルカメラ1が、現在位置情報および方位情報(例えば撮像方向の情報)をサーバ3に送信すると、サーバ3は、デジタルカメラ1の現在位置情報に基づいて、デジタルカメラ1の周辺に対象物があるか否かを判断する。
次に、サーバ3は、周辺に対象物があると判断した場合、デジタルカメラ1の方位情報に基づいて、デジタルカメラ1と対象物の相対関係を認識し、認識した相対関係をデジタルカメラ1に送信する。
そして、デジタルカメラ1は、サーバ3から受信した相対関係に基づいて、対象物が存在する方向をユーザに気付かせる(認知させる)処理を行う。
ここで、図1に示すように、本実施形態によるデジタルカメラ1のユーザにより把持される部分には、複数の刺激部25A、25Bがそれぞれ配置されている。デジタルカメラ1は、サーバ3から受信した相対関係に基づいて、対象物が存在する方向に配置された刺激部25Aによりユーザの手に刺激を与えるよう制御する。
このような、デジタルカメラ1を把持する片方の手への刺激により、ユーザは対象物の存在に気付くことができる。また、本実施形態による対象物認知システムによれば、刺激に反応して自然とその方向にデジタルカメラ1を向けるようユーザの身体を誘導することもできる。
以下、このような本実施形態による対象物認知システムについて詳細に説明する。なお、本実施形態では、図1に示すように、電子機器の一例としてデジタルカメラ1を示しているが、本実施形態による電子機器はこれに限定されない。例えば、ビデオカメラ、カメラ付きのスマートフォン、PDA(Personal Digital Assistants)、PC(Personal Computer)、携帯電話、携帯用音楽再生装置、携帯用映像処理装置または携帯用ゲーム機器等であってもよい。
また、本実施形態による電子機器はカメラ付きの装置に限定されず、例えばGPS(Global Positioning System)や方向センサ付きの装置など、自装置の位置情報と方向情報を取得できる装置にも適用可能である。なお、本実施形態による電子機器は、GPSや方向センサを有する装置に限定されず、自身の現在位置情報や方向情報をマニュアルで入力できる装置であってもよい。
さらに、本実施形態による電子機器は、球状やたまご型形状等の様々な形状を有し、刺激を発生することが可能な触覚デバイスであってもよい。
<2.各基本構成>
[2−1.デジタルカメラの構成]
図2は、本実施形態によるデジタルカメラ1の構成を示すブロック図である。図2に示すように、デジタルカメラ1は、CPU10、ROM11、RAM12、方向センサ13、GPS測位部14、カメラモジュール15、操作入力部16、撮像画像メモリ19、表示制御部20、表示部21、ネットワークインターフェース(I/F)22、刺激制御部24、および刺激部25A、25Bを有する。以下、各構成について説明する。
方向センサ13は、カメラモジュール15のレンズ光学系の光軸の方向、つまり、撮像方向を検知し、検知した撮像方向の情報(方向情報)を出力する。なお、ここでは電子機器の一例としてカメラモジュール15を有するデジタルカメラ1を挙げているが、上述したように、本実施形態による電子機器はカメラ付きの装置に限定されない。方向センサ13は、カメラを有していない電子機器の場合、電子機器の特定の部位が向いている方向を方向情報として出力してもよい。
GPS測位部14は、GPS衛星からの電波を受信して、デジタルカメラ1が存在している位置を検知し、検知した位置情報を出力する。なお、GPS測位部14は、外部からの取得信号に基づいてデジタルカメラ1の現在位置を検知する位置情報取得部の一例である。この他、位置情報取得部は、例えばWiFi、携帯電話・PHS・スマートフォン等との送受信、または近距離通信等により位置を検知するものであってもよい。
カメラモジュール15は、撮像素子、撮像レンズを含む撮像光学系、および撮像画像信号処理部を含み、デジタル信号とされた撮像画像のデータを出力する。なお、撮像素子は、例えばCCD(Charge Coupled Device)イメージャやCMOS(Complementary Metal Oxide Semiconductor)イメージャにより実現されてもよい。
操作入力部16は、ユーザによる各種操作を検出するためのシャッターボタン、ズームダイヤル、各種スイッチ等の物理的なキー群、および表示部21に積層して設けられたタッチパネル等である。CPU10は、操作入力部16から入力されたユーザ操作に応じた処理を、ROM11のプログラムにしたがって実行する。
撮像画像メモリ19は、例えば、カード型メモリなどのフラッシュメモリが用いられる。また、撮像画像メモリ19は、DVD(Digital Versatile Disc)などの記録媒体であってもよい。さらには、撮像画像メモリ19は、このようなリムーバルなメモリ媒体ではなく、ハードディスク装置であってもよい。
また、撮像画像メモリ19は、カメラモジュール15から連続的に出力される被写体の画像を、シャッターボタンの操作タイミングに応じて、撮像画像として記憶してもよい。
表示制御部20は、表示部21に表示する表示画面の表示内容を表示制御する。表示部21の表示内容は、例えばメニュー画面、各種操作画面等の他、カメラモジュール15から出力された被写体の画像(ライブビュー)、および撮像画像メモリ19に記憶される撮像画像等である。
表示部21は、例えばLCD(Liquid Crystal Display)またはOLED(Organic light−Emitting Diode)などにより実現される表示装置である。
ネットワークI/F22は、外部の装置とデータの送受信を行うための通信モジュールである。例えば、本実施形態によるネットワークI/F22は、ネットワーク上のサーバ3に、GPS測位部14により測位されたデジタルカメラ1の現在位置情報および方向センサ13から出力された方向情報を送信する。また、本実施形態によるネットワークI/F22は、サーバ3からデジタルカメラ1の位置と対象物の位置との相対関係の認識結果を受信する。
刺激制御部24は、ネットワークI/F22を介してサーバ3から受信したデジタルカメラ1の位置と対象物の位置との相対関係に基づいて、対象物が存在する方向をユーザに認知させるよう、刺激部25A、25Bを制御する。具体的には、刺激制御部24は、対象物が存在する方向に配置されている刺激部25Aまたは25Bにより、ユーザに対して刺激(例えば触覚刺激)を与える。
また、刺激制御部24は、対象物が存在する方向とデジタルカメラ1の撮像方向とのずれ度合いに応じて、刺激の強度および/または刺激間隔を制御してもよい。また、デジタルカメラ1は、対象物の優先度に応じて、刺激の強度および/または刺激間隔を制御してもよい。
例えば、図3に示すように、刺激制御部24は、ずれ度合いが大きいほど刺激の強度を強くするよう制御してもよい。なお、図3に示す例では、身体への影響等を考慮し、ずれ度合いに応じた刺激の強度は一定の値以下に制御されている。
また、図4に示すように、刺激制御部24は、対象物の優先度が高いほど短い間隔で刺激し(刺激1)、優先度が低い程長い間隔で刺激するよう(刺激2)制御してもよい。例えば、後述するサーバ3の判断部33によりデジタルカメラ1の周辺に存在すると判断された対象物の優先度が低い(あまり有名ではないスポット等)場合、図4の刺激2に示すように、刺激1の間隔よりも長い間隔で刺激する。
また、刺激制御部24は、デジタルカメラ1の向きが変更されて相対関係が変化し、対象物が存在する方向とデジタルカメラ1の撮像方向とのずれ度合いが所定の範囲内になった場合、刺激を止めるよう制御してもよい。
また、刺激制御部24は、デジタルカメラ1の向きが変更されて相対関係が変化し、対象物がデジタルカメラ1の画角に入った場合、刺激を止めるよう制御してもよい。
刺激部25A、25Bは、刺激制御部24による制御に応じて、デジタルカメラ1を把持するユーザの手(手首および腕を含む)に対して刺激を与える複数の刺激発生部である。なお、刺激部25A、25Bの具体的な実施手段については後述する。
CPU10は、上述したデジタルカメラ1の各構成の機能を、ROM11に記憶されているプログラム等を用いて実行する。
ROM11には、撮像機能を遂行するためのプログラムの他、サーバ3から受信した相対関係に基づいて対象物の方向を認知させるための刺激制御処理を行うためのプログラム等が記憶されている。また、ROM11に記憶されているプログラムは、CPU10により、RAM12をワークエリアとして用いながら実行される。
以上、第1の実施形態によるデジタルカメラ1の構成について詳細に説明した。次に、上述した刺激部25A、25Bの具体的な実施手段について説明する。
(刺激発生部の具体例)
本実施形態による刺激部25A、25Bにより発生する刺激は、例えば、振動、電気刺激、圧力、温熱、ハウジングの摩擦係数の制御、または重心の制御等であってもよい。各刺激の実施手段について以下具体的に説明する。
・振動
振動による刺激の実施手段には、例えば偏心モータを用いてもよい。図5に示すように、複数の偏心モータ25−1A、25−1Bは、ユーザが手で把持するデジタルカメラ1−1の両端部分に設けられ、刺激制御部24は、対象物が存在する方向側に設置された偏心モータを駆動する。
また、デジタルカメラ1−1は、図5に示すように、ユーザに把持される両端部分における外装カバー(ハウジング)2の一部が突出した形状であって、偏心モータ25−1A、25−1Bは、突出した外装カバー2の内側に配置されている。また、各偏心モータ25−1A、25−1Bの外装カバー2と対向する側に緩衝材(不図示)を設けてもよく、これによりデジタルカメラ1−1の左右どちらが振動しているかをユーザにより明確に伝えることができる。
・電気刺激
電気刺激による刺激の実施手段は、例えば身体に電流を流す電極を用いてもよい。図5に示すように、複数の電極25−2A〜25−2Dは、ユーザが手で把持するデジタルカメラ1−2の両端部分(両側面および前後面)に各々設けられ、刺激制御部24は、対象物が存在する方向側に設置された電極から電流を流すよう制御する。また、本実施形態による各電極25−2からユーザの手に流す電流は、神経系に影響を与えやすいパルス信号であってもよい。
・圧力
圧力による刺激の実施手段は、例えばデジタルカメラ1−3の外装カバー(ハウジング)2を内側から押圧して突出させる手段であってもよい。例えば図6に示すように、複数の押圧用部材25−3A、25−3Bが、ユーザにより把持されるデジタルカメラ1−3の長手方向両端部分に、駆動可能に各々設けられる。ここで、デジタルカメラ1−3の外装カバー2は、両端部分の少なくとも一部が弾性部材により形成され、内側から押圧用部材25−3A、25−3Bに押圧されることで変形可能である。
刺激制御部24は、対象物が存在する方向側に設置された押圧用部材25−3Bを、図6下に示すように、弾性部材から成る外装カバー2の一部(突出領域26)を内側から押圧するよう駆動制御する。これにより、デジタルカメラ1−3の両端部分を把持していたユーザの片方の手が押圧され、ユーザは対象物が存在する方向を認知することができる。
なお、圧力による刺激の実施手段は、上記押圧に限定されない。例えば、デジタルカメラ1にストラップ等の紐状部材の一端が引き込み可能に取り付けられ、他端がデジタルカメラ1を把持するユーザの手首に装着されている場合、デジタルカメラ1は、対象物が存在する方向に応じて紐状部材を引き込む制御を行う。
例えば紐状部材が手首に装着された状態でユーザがデジタルカメラ1を把持して撮影している場合、上述したように紐状部材が引き込まれることで、対象物が存在する方向に引っ張られる。これにより、ユーザは、自然とデジタルカメラ1を対象物が存在する方向に向けて、対象物に気付くことができる。なお、本実施形態による紐状部材は、デジタルカメラ1の両端に取り付けられ、ユーザの両手首にそれぞれ装着されていてもよい。また、本実施形態によるデジタルカメラ1は、紐状部材を巻き取るよう制御することでデジタルカメラ1側に紐状部材を引っ張ってもよい。
・ハウジングの摩擦係数の制御
摩擦係数の制御による刺激の実施手段は、例えばデジタルカメラ1の外装カバー(ハウジング)の摩擦係数を超音波によるSqueeze効果によって制御する手段であってもよい。より具体的には、ユーザにより把持されるデジタルカメラ1の長手方向両端部分に、超音波を用いて摩擦係数を制御する機能を有するMEMS(Micro Electro Mechanical Systems)デバイスが設けられる。
刺激制御部24は、対象物が存在する方向側に設置されたMEMSデバイスを制御し、デジタルカメラ1のユーザに把持される部分の摩擦係数を小さくして滑りやすい状態としてもよい。例えばデジタルカメラ1の両端を手で把持して撮影している場合に、デジタルカメラ1の一端が滑りやすくなると、ユーザは滑りやすくなった側を慎重に持つよう構えることで、対象物が存在する方向に自然と身体が傾き、対象物に気付くことができる。
・重心の制御
重心の制御による刺激の実施手段は、例えばジャイロモーメントを用いて重心を制御する手段であってもよい。
刺激制御部24は、対象物が存在する方向側にデジタルカメラ1の重心を変更するよう、デジタルカメラ1に搭載されたジャイロを制御する。例えばユーザがデジタルカメラ1を手で把持して撮影している場合に、デジタルカメラ1の重心が変更すると、ユーザは重心が移った方向(ジャイロモーメントの発生により力覚を知覚する方向)にデジタルカメラ1を向けることができる。このように、重心が変更すると、ユーザはデジタルカメラ1自体に引っ張られるようにデジタルカメラ1を対象物が存在する方向に向け、対象物に気付くことができる。
・温熱
温熱による刺激の実施手段は、例えばペルチェ素子等の発熱部材を用いた手段であってもよい。刺激制御部24は、デジタルカメラ1において対象物が存在する方向側に設けられたペルチェ素子を発熱するよう制御することで、対象物が存在する方向をユーザに認知させることができる。
[2−2.サーバの構成]
続いて、本実施形態によるサーバ3の構成について図7を参照して説明する。図7は、本実施形態によるサーバ3の構成を示すブロック図である。図7に示すように、サーバ3は、通信部31、判断部33、対象物DB35、および認識部37を有する。
通信部31は、外部の装置とデータの送受信を行うための通信モジュールである。例えば、本実施形態による通信部31は、デジタルカメラ1から、現在位置情報および方向情報(撮像方向を示す情報)を受信する。また、通信部31は、デジタルカメラ1の位置と対象物の位置との相対関係を認識結果としてデジタルカメラ1に送信する。
判断部33は、対象物がデジタルカメラ1の周辺に存在するか否かを判断し、判断結果を認識部37に出力する。より具体的には、例えば判断部33は、通信部31を介してデジタルカメラ1から受信したデジタルカメラ1の現在位置情報と、対象物DB35に格納されている対象物の位置情報とを比較して、デジタルカメラ1から所定の距離内に存在する対象物を判断してもよい。また、判断部33は、デジタルカメラ1から所定の距離内に存在する対象物が複数ある場合、対象物DB35に格納されている対象物の優先度に応じて一の対象物を選択してもよい。
対象物DB35は、人工物や自然物を含む対象物に位置情報、および優先度を対応付けて格納する記憶部である。より具体的には、例えば対象物は、有名スポット、注目スポットといった観光地を含む。なお、対象物の優先度は、ユーザの嗜好情報や現在位置、日にち、時間、天候等に応じて変更されてもよい。
認識部37は、判断部33により、対象物がデジタルカメラ1の周辺に存在すると判断された場合、対象物の位置とデジタルカメラ1の位置との相対関係を認識する。また、認識部37により認識された相対関係は、認識結果として通信部31からデジタルカメラ1に送信される。
位置の相対関係とは、例えばデジタルカメラ1の撮像方向と、対象物が存在する方向のずれ度合いであってもよい。以下、図8を参照してデジタルカメラ1の撮像方向と対象物が存在する方向のずれ度合いについて具体的に説明する。
図8は、デジタルカメラ1の現在位置および対象物の位置の関係を示す図である。認識部37は、対象物Sの位置情報に基づいて、図8に示すように、デジタルカメラ1に対する対象物Sの配置を認識する。そして、認識部37は、デジタルカメラ1の撮像方向Mと対象物Sが存在する方向のずれ度合いDを認識する。例えば、図8に示す例では、対象物S1の、デジタルカメラ1の撮像方向Mとのずれ度合いはD1であって、また、対象物S2の、デジタルカメラ1の撮像方向Mとのずれ度合いはD2である。認識部37は、このように認識されたずれ度合い認識結果として通信部31からデジタルカメラ1に送信する
なお、認識部37は、通信部31を介してデジタルカメラ1から画角情報(例えばズーム率等の撮影パラメータ)を取得した場合、図6に示すように、デジタルカメラ1の画角Cを認識することが可能である。この場合、認識部37は対象物が画角Cに含まれるか否かを認識し、画角Cに含まれない場合は画角Cの境界と対象物が存在する方向との差分をずれ度合いとして認識してもよい。
以上、本実施形態によるデジタルカメラ1およびサーバ3の基本構成について詳細に説明した。次に、本実施形態による対象物認知システムの動作処理について説明する。
<3.動作処理>
図9は、本実施形態による動作処理を示すフローチャートである。図9に示すように、まず、ステップS103において、CPU10は、GPS測位部14から自装置(デジタルカメラ1)の現在位置情報を取得し、また、方向センサ13から撮像方向を示す情報(方向情報)を取得する。
次いで、ステップS106において、デジタルカメラ1は取得した情報(位置情報および方向情報)をサーバ3に送信する。
次に、ステップS109において、サーバ3の判断部33は、受信したデジタルカメラ1の現在位置情報と、対象物DB35に格納される対象物の位置情報に基づいて、デジタルカメラ1の周辺に対象物が存在しているか否かを判断する。
次いで、対象物が存在していると判断された場合、ステップS112において、認識部37は、対象物が存在する方向とデジタルカメラ1の撮像方向とのずれ度合いを認識する。
次に、ステップS115において、通信部31は、認識部37から出力された認識結果(ずれ度合い)をデジタルカメラ1に送信する。
そして、ステップS118において、デジタルカメラ1の刺激制御部24は、サーバ3から受信した認識結果(ずれ度合い)に応じて、対象物の位置をユーザに認知させるよう刺激を発生させる。
以上、本実施形態による動作処理について説明した。なお、本実施形態による対象物認知システムは、上記ステップS103〜S118を繰り返し行うことで、刺激に反応してユーザがデジタルカメラ1を動かし、対象物との相対関係が変化した場合にも対応することができる。
また、上述したように、デジタルカメラ1の刺激制御部24は、デジタルカメラ1がユーザにより動かされて相対関係が変化し、対象物がデジタルカメラ1の画角に入った場合、またはずれ度合いが所定の範囲内になった場合、刺激を止めるよう制御してもよい。
<3.まとめ>
上述したように、本実施形態による対象物認知システムでは、ユーザが気付いていない有名スポットや注目スポット等の対象物の存在を、ユーザの手に刺激を与えることで気付かせることが可能となる。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本技術はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
例えば、上述した認識部37が認識するずれ度合いとは、水平方向におけるずれ度合いに限定されず、垂直方向、斜め方向、または3次元方向のずれ度合いであってもよい。
また、対象物の具体例は、有名スポット、注目スポット、パワースポット等の他、お勧めの店舗であってもよい。例えば、お勧めの店舗とは、セール実施店、ポイントX倍中の店、新装開店の店、有名人立ち寄り情報に基づく店等であってもよい。
また、対象物は、風水学に基づく当日の好適な方位であってもよい。判断部33は、ユーザの電子機器の現在位置情報に基づいて、電子機器の周辺に存在する対象物として好適な方位を判断し、認識部37は、好適な方位とのずれ度合いを認識する。そして、電子機器は、好適な方位を刺激発生によりユーザに認知させることができる。
また、上述した実施形態による対象物認知システムでは、デジタルカメラ1とサーバ3がデータを送受信しているが、本開示による対象物認知システムはこれに限定されず、例えばデジタルカメラ1において全ての処理を行ってもよい。例えば、デジタルカメラ1が、自身の周辺に対象物があるか否かを判断し、さらに、対象物の位置と自身の位置との相対関係を認識してもよい。
また、本実施形態によるサーバ3は、対象物を視認できる位置が周辺にあるか否かを判断し、デジタルカメラ1と当該対象物を視認できる位置との相対関係を認識してもよい。例えば、有名スポットがビルの谷間から見える地点がデジタルカメラ1の周辺にある場合、サーバ3は、このような地点とデジタルカメラ1との相対関係を認識し、認識した相対関係をデジタルカメラ1に送信する。そして、デジタルカメラ1は、認識された相対関係に基づいて、対象物を視認できる位置の方向をユーザに認知させる。
このように、本開示による認知システムは、対象地点(例えば上述した対象物の位置、対象物を視認できる位置、または対象物を視認できる位置に移動するための途中地点等)が周辺にある否かを判断し、対象地点とデジタルカメラ1との相対関係を認識する。そして、本開示による認知システムによれば、認識した相対関係に基づいて、対象地点の方向(例えば、対象物が存在する方向、対象物を視認できる位置の方向等)をユーザに認知させることができる。
なお、本技術は以下のような構成も取ることができる。
(1)
手に把持されるハウジングと、
対象地点が電子機器の周辺にあるか否かを判断する判断部と、
前記判断部により前記対象地点が周辺にあると判断された場合、前記対象地点と、前記電子機器の位置との相対関係を認識する認識部と、
前記認識された相対関係に応じて、手に刺激を与えるよう制御する刺激制御部と、
を備えるシステム。
(2)
前記判断部は、対象地点が複数ある場合、各対象地点の優先度に応じて一の対象地点を特定する、前記(1)に記載のシステム。
(3)
前記刺激制御部は、前記認識された相対関係に応じて、前記対象地点の方向を示すよう手に刺激を与える、前記(1)または(2)に記載のシステム。
(4)
前記刺激制御部は、圧力、振動、電気刺激、温熱、前記ハウジングの摩擦係数の制御、または重心の制御により刺激を与える、前記(1)〜(3)のいずれか1項に記載のシステム。
(5)
前記刺激制御部は、前記ハウジングが、前記把持する手を前記対象地点の方向に押圧するよう制御する、前記(1)〜(4)のいずれか1項に記載のシステム。
(6)
前記システムは、
前記電子機器側に引き込み可能に取り付けられ、手に把持される紐状部材をさらに備え、
前記刺激制御部は、前記対象地点の方向に前記紐状部材を引くよう制御する、前記(1)〜(5)のいずれか1項に記載のシステム。
(7)
前記電子機器は、複数の振動部を備え、
前記刺激制御部は、前記対象地点の方向に配置された前記振動部を振動させるよう制御する、前記(1)〜(6)のいずれか1項に記載のシステム。
(8)
前記電子機器は、複数の電極を備え、
前記刺激制御部は、前記対象地点の方向に配置された前記電極から手に電流を流すよう制御する、前記(1)〜(7)のいずれか1項に記載のシステム。
(9)
前記刺激制御部は、前記ハウジングの前記対象地点の方向上の摩擦係数を、他の方向上の摩擦係数より小さくなるよう制御する、前記(1)〜(8)のいずれか1項に記載のシステム。
(10)
前記刺激制御部は、前記対象地点の方向に前記電子機器の重心が傾くよう制御する、前記(1)〜(9)のいずれか1項に記載のシステム。
(11)
前記刺激制御部は、前記認識された相対関係に基づく前記電子機器の位置と前記対象地点のずれ度合いに応じて、前記刺激の強度を制御する、前記(1)〜(10)のいずれか1項に記載のシステム。
(12)
前記刺激制御部は、前記相対関係が変化し、前記ずれ度合いが所定の範囲内になった場合、刺激を停止するよう制御する、前記(11)に記載のシステム。
(13)
前記刺激制御部は、前記対象地点の優先度に応じて、刺激発生間隔を制御する、前記(1)〜(12)のいずれか1項に記載のシステム。
(14)
前記判断部は、前記対象地点の位置情報および前記電子機器の現在位置情報に基づいて、前記対象地点が前記電子機器の周辺にあるか否かを判断する、前記(1)〜(13)のいずれか1項に記載のシステム。
(15)
前記電子機器は、撮像部を備え、
前記刺激制御部は、前記認識された相対関係に基づく前記対象地点の方向と前記電子機器の撮像方向とのずれ度合いに応じて、手に刺激を与えるよう制御する、前記(1)〜(13)のいずれか1項に記載のシステム。
(16)
前記対象地点は、対象物の位置または前記対象物を視認できる位置であって、
前記刺激制御部は、前記相対関係が変化し、前記対象物が前記撮像部の画角内に入った場合、刺激を停止するよう制御する、前記(15)に記載のシステム。
(17)
手に把持されるハウジングと、
対象地点が電子機器の周辺にあるか否かを判断し、前記対象地点が周辺にあると判断された場合に前記対象地点と前記電子機器の位置との相対関係を認識するサーバから、前記サーバが認識した相対関係を受信する受信部と、
前記受信部により受信した相対関係に応じて、手に刺激を与えるよう制御する刺激制御部と、
を備える、電子機器。
(18)
手に把持されるハウジングを有する電子機器の周辺に対象地点があるか否かを判断し、前記対象地点が周辺にあると判断された場合に前記対象地点と前記電子機器の位置との相対関係を認識するサーバから、前記サーバが認識した相対関係を受信する処理と、
前記受信した相対関係に応じて、手に刺激を与えるよう制御する処理と、
をコンピュータに実行させる、プログラム。
1 デジタルカメラ(電子機器)
3 サーバ
4 ネットワーク
5 基地局
10 CPU(判断部)
11 ROM
12 RAM
13 方向センサ
14 GPS測位部
15 カメラモジュール
16 操作入力部
19 撮像画像メモリ
20 表示制御部(誘導部)
21 表示部
22 ネットワークインターフェース(I/F)
24 刺激制御部
25A、25B 刺激部
25−1A、25−1B 偏心モータ
25−2A〜25−2D 電極
25−3A、25−3B 押圧用部材
31 通信部
33 判断部
35 対象物DB
37 認識部

Claims (15)

  1. ハウジングと、
    子機器の位置情報と対象物データベースに格納されている各対象物の位置情報に基づいて、前記電子機器から所定の距離内に存在する対象物を判断する判断部と、
    前記判断部により所定の距離内にあると判断された対象物の位置、当該対象物を視認できる位置、若しくは視認できる位置に移動するための途中位置である対象地点と、前記電子機器の位置との相対関係を認識する認識部と、
    前記認識された相対関係に応じて、刺激を与えるよう制御する刺激制御部と、
    を備え、
    前記電子機器は、撮像部を有し、
    記認識部は、前記所定の距離内に存在する対象物が前記撮像部の画角に含まれていない場合、前記認識された相対関係に基づいて前記対象地点の方向と撮影方向との差分をずれ度合いとして認識し、
    前記刺激制御部は、前記ずれ度合いに応じて前記刺激を与えるよう制御し、
    前記判断部は、前記電子機器の位置の変化に応じて再度対象物を判断する、システム。
  2. 前記判断部は、所定の距離内に対象地点が複数ある場合、有名度、ユーザの嗜好情報、位置、日時、または天候に応じた各対象地点の優先度に応じて一の対象地点を特定する、請求項1に記載のシステム。
  3. 前記刺激制御部は、前記認識された相対関係に応じて、前記対象地点の方向を示すよう手に刺激を与える、請求項1または2に記載のシステム。
  4. 前記刺激制御部は、圧力、振動、電気刺激、温熱、前記ハウジングの摩擦係数の制御、または重心の制御により刺激を与える、請求項1〜3のいずれか1項に記載のシステム。
  5. 前記刺激制御部は、前記ハウジングが、前記ハウジングを把持する手を前記対象地点の方向に押圧するよう制御する、請求項1〜4のいずれか1項に記載のシステム。
  6. 前記システムは、
    前記電子機器側に引き込み可能に取り付けられ、手に把持される紐状部材をさらに備え、
    前記刺激制御部は、前記対象地点の方向に前記紐状部材を引くよう制御する、請求項1〜5のいずれか1項に記載のシステム。
  7. 前記電子機器は、複数の振動部を備え、
    前記刺激制御部は、前記対象地点の方向に配置された前記振動部を振動させるよう制御する、請求項1〜6のいずれか1項に記載のシステム。
  8. 前記電子機器は、複数の電極を備え、
    前記刺激制御部は、前記対象地点の方向に配置された前記電極から手に電流を流すよう制御する、請求項1〜7のいずれか1項に記載のシステム。
  9. 前記刺激制御部は、前記ハウジングの前記対象地点の方向上の摩擦係数を、他の方向上の摩擦係数より小さくなるよう制御する、請求項1〜8のいずれか1項に記載のシステム。
  10. 前記刺激制御部は、前記対象地点の方向に前記電子機器の重心が傾くよう制御する、請求項1〜9のいずれか1項に記載のシステム。
  11. 前記刺激制御部は、前記認識されたずれ度合いに応じて、前記刺激の強度を制御する、請求項1〜10のいずれか1項に記載のシステム。
  12. 前記刺激制御部は、前記対象地点の優先度に応じて、刺激発生間隔を制御する、請求項1〜11のいずれか1項に記載のシステム。
  13. 前記刺激制御部は、前記対象物が前記撮像部の画角内に入った場合、刺激を停止するよう制御する、請求項1〜12のいずれか1項に記載のシステム。
  14. ハウジングと、
    子機器の位置情報と対象物データベースに格納されている各対象物の位置情報に基づいて、前記電子機器から所定の距離内に存在する対象物を判断し、所定の距離内にあると判断された対象物の位置、当該対象物を視認できる位置、若しくは視認できる位置に移動するための途中位置である対象地点と前記電子機器の位置との相対関係を認識するサーバから、前記サーバが認識した相対関係を受信する受信部と、
    前記受信部により受信した相対関係に応じて、刺激を与えるよう制御する刺激制御部と、
    撮像部と、
    を備え、
    記受信部は、前記所定の距離内に存在する対象物が前記撮像部の画角に含まれていない場合に、前記認識された相対関係に基づいて前記対象地点の方向と撮影方向との差分として認識されたずれ度合いを受信し、
    前記刺激制御部は、前記ずれ度合いに応じて前記刺激を与えるよう制御し、
    前記対象物は、前記電子機器の位置の変化に応じて再度判断される、電子機器。
  15. ハウジングを有する電子機器の位置情報と対象物データベースに格納されている各対象物の位置情報に基づいて判断された、前記電子機器から所定の距離内に存在する対象物の位置、当該対象物を視認できる位置、若しくは視認できる位置に移動するための途中位置である対象地点前記電子機器の位置との相対関係を認識するサーバから、前記サーバが認識した相対関係を受信する処理と、
    前記受信した相対関係に応じて、刺激を与えるよう制御する処理と、
    をコンピュータに実行させ、
    記受信する処理は、前記所定の距離内に存在する対象物が前記電子機器に設けられた撮像部の画角に含まれていない場合に、前記認識された相対関係に基づいて前記対象地点の方向と撮影方向との差分として認識されたずれ度合いを受信し、
    前記制御する処理は、前記ずれ度合いに応じて前記刺激を与えるよう制御し、
    前記対象物は、前記電子機器の位置の変化に応じて再度判断される、プログラム。
JP2012103447A 2012-04-27 2012-04-27 システム、電子機器、およびプログラム Expired - Fee Related JP6024184B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2012103447A JP6024184B2 (ja) 2012-04-27 2012-04-27 システム、電子機器、およびプログラム
US13/861,666 US9185282B2 (en) 2012-04-27 2013-04-12 System, electronic apparatus, and recording medium
CN201310137257.7A CN103376106B (zh) 2012-04-27 2013-04-19 系统、电子装置和记录介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012103447A JP6024184B2 (ja) 2012-04-27 2012-04-27 システム、電子機器、およびプログラム

Publications (3)

Publication Number Publication Date
JP2013231653A JP2013231653A (ja) 2013-11-14
JP2013231653A5 JP2013231653A5 (ja) 2015-02-26
JP6024184B2 true JP6024184B2 (ja) 2016-11-09

Family

ID=49461576

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012103447A Expired - Fee Related JP6024184B2 (ja) 2012-04-27 2012-04-27 システム、電子機器、およびプログラム

Country Status (3)

Country Link
US (1) US9185282B2 (ja)
JP (1) JP6024184B2 (ja)
CN (1) CN103376106B (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10973656B2 (en) 2009-09-18 2021-04-13 Spinal Surgical Strategies, Inc. Bone graft delivery system and method for using same

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3059642B2 (ja) * 1994-09-26 2000-07-04 日産ディーゼル工業株式会社 車両の走行経路案内装置
CN1262734A (zh) * 1997-06-03 2000-08-09 斯蒂芬·拜德 包含方向检测器、位置检测器及数据库的便携式导航系统
GB2370353A (en) * 2000-12-20 2002-06-26 Nokia Mobile Phones Ltd Navigation system
JP2002286493A (ja) 2001-03-27 2002-10-03 Toshiba Corp 無線移動端末を用いた位置表示システム
JP4508031B2 (ja) * 2001-08-07 2010-07-21 カシオ計算機株式会社 目標位置探索装置、目標位置探索方法及びプログラム
JP3729161B2 (ja) * 2001-08-07 2005-12-21 カシオ計算機株式会社 目標位置探索装置、目標位置探索方法及びプログラム
JP2003194571A (ja) 2001-12-21 2003-07-09 Yamaha Corp 携帯端末
JP2003308009A (ja) * 2002-04-17 2003-10-31 Nippon Hoso Kyokai <Nhk> 触覚刺激による感性情報提示装置
JP2004325215A (ja) * 2003-04-24 2004-11-18 Kyocera Corp 携帯通信端末
WO2005108926A1 (ja) * 2004-05-12 2005-11-17 Takashi Yoshimine 情報処理装置、携帯機器及び情報処理方法
JP2006327413A (ja) * 2005-05-26 2006-12-07 Takata Corp シートベルトリトラクタ、シートベルト装置、シートベルト装置付車両
JP2006171967A (ja) * 2004-12-14 2006-06-29 Nissan Motor Co Ltd マイクロ波電力伝送システム用のレーンマーカ装置
JP2006250799A (ja) * 2005-03-11 2006-09-21 Takenaka Komuten Co Ltd 触知式経路案内装置
JP2006301819A (ja) * 2005-04-18 2006-11-02 Japan Telecommunication Engineering Service Co Ltd 情報提供システム、情報処理装置、情報端末装置、情報処理プログラム、情報通知プログラム
JP4514673B2 (ja) 2005-08-15 2010-07-28 シャープ株式会社 経路誘導装置、経路誘導方法、および経路誘導装置として情報通信端末を機能させるためのプログラム
JP2007292713A (ja) * 2006-03-30 2007-11-08 Denso Corp ナビゲーション装置
JP4478791B2 (ja) * 2007-06-21 2010-06-09 独立行政法人産業技術総合研究所 力覚型ヒューマンナビゲーションシステム
US7788032B2 (en) * 2007-09-14 2010-08-31 Palm, Inc. Targeting location through haptic feedback signals
WO2009095967A1 (ja) * 2008-01-31 2009-08-06 Mitsubishi Electric Corporation ナビゲーション装置
JP2010239553A (ja) * 2009-03-31 2010-10-21 Fujifilm Corp 撮影装置および撮影方法
JP2011075292A (ja) 2009-09-29 2011-04-14 Nec Corp 案内装置およびシステム、携帯情報端末による案内方法、案内プログラム
JP4843720B2 (ja) * 2010-04-20 2011-12-21 株式会社ゼンリン 経路案内装置
US20130215079A1 (en) * 2010-11-09 2013-08-22 Koninklijke Philips Electronics N.V. User interface with haptic feedback
JP5582079B2 (ja) * 2011-03-24 2014-09-03 豊田合成株式会社 ステアリングホイール
CN202126499U (zh) * 2011-06-29 2012-01-25 苏州科雷芯电子科技有限公司 一种机场乘客定位系统及装置
CN102538940A (zh) * 2012-01-10 2012-07-04 广东欧珀移动通信有限公司 一种手持设备的自动感应振动方法

Also Published As

Publication number Publication date
JP2013231653A (ja) 2013-11-14
US9185282B2 (en) 2015-11-10
US20130293727A1 (en) 2013-11-07
CN103376106B (zh) 2017-11-03
CN103376106A (zh) 2013-10-30

Similar Documents

Publication Publication Date Title
JP3840223B2 (ja) 情報収集システム
JP6764879B2 (ja) ナビゲーション装置および方法
JP6340377B2 (ja) デバイス間でセンサデータを通信する方法
TWI677814B (zh) 可穿戴式手錶及其顯示方法
US10989559B2 (en) Methods, systems, and devices for displaying maps
ES2960612T3 (es) Sistema y método para navegación interior
JPWO2016098457A1 (ja) 情報処理装置、情報処理方法およびプログラム
US9696811B2 (en) Electronic apparatus and method
GB2541234A (en) Timeline user interface
Kuriakose et al. Smartphone navigation support for blind and visually impaired people-a comprehensive analysis of potentials and opportunities
KR20170071210A (ko) 전자장치 및 그 거치대
US20180247340A1 (en) Information processing device, evaluation method and program storage medium
JP6024184B2 (ja) システム、電子機器、およびプログラム
CN109076112A (zh) 便携电子设备、便携电子设备控制方法以及便携电子设备控制程序
EP3270605A1 (en) Illumination device
JP2013021473A (ja) 情報処理装置、情報取得方法およびコンピュータプログラム
KR101358064B1 (ko) 사용자 이미지를 이용한 원격 제어 방법 및 시스템
CN108351681A (zh) 电子设备及其托架
US20130155211A1 (en) Interactive system and interactive device thereof
JP2016025620A (ja) 画像処理システム、クライアントシステム、画像処理方法、および記憶媒体
US9639159B2 (en) Physical surface interaction
JP6382772B2 (ja) 視線誘導装置、視線誘導方法、および視線誘導プログラム
JP6450155B2 (ja) システム及び情報処理方法
JP2016183895A (ja) 経路案内装置
KR101080802B1 (ko) 주변 환경 정보 제공 시스템

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150106

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150106

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150818

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150819

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150908

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160216

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160405

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160913

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160926

R151 Written notification of patent or utility model registration

Ref document number: 6024184

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees