JP2015132865A - ユーザ適応型インターフェース提供システム及び方法 - Google Patents
ユーザ適応型インターフェース提供システム及び方法 Download PDFInfo
- Publication number
- JP2015132865A JP2015132865A JP2013240914A JP2013240914A JP2015132865A JP 2015132865 A JP2015132865 A JP 2015132865A JP 2013240914 A JP2013240914 A JP 2013240914A JP 2013240914 A JP2013240914 A JP 2013240914A JP 2015132865 A JP2015132865 A JP 2015132865A
- Authority
- JP
- Japan
- Prior art keywords
- user
- interface
- display
- providing
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000003044 adaptive effect Effects 0.000 title claims abstract description 45
- 238000000034 method Methods 0.000 title claims description 23
- 238000010586 diagram Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
- G06F3/03547—Touch pads, in which fingers can move on a surface
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/048—Indexing scheme relating to G06F3/048
- G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/451—Execution arrangements for user interfaces
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
【課題】ユーザの使用環境の分析を介してユーザに適したユーザ適応型インターフェースを提供する。
【解決手段】インターフェースが表示されたディスプレイに内蔵または装着されたカメラを介してユーザの映像を獲得し、獲得した映像を介してユーザの物理的な使用環境を分析し、分析結果に応じてディスプレイに表示されるインターフェースを設定・変更して提供することにより、殆どのディスプレイに備えられているカメラを利用してユーザ適応型インターフェースを提供することができる。
【選択図】図２
【解決手段】インターフェースが表示されたディスプレイに内蔵または装着されたカメラを介してユーザの映像を獲得し、獲得した映像を介してユーザの物理的な使用環境を分析し、分析結果に応じてディスプレイに表示されるインターフェースを設定・変更して提供することにより、殆どのディスプレイに備えられているカメラを利用してユーザ適応型インターフェースを提供することができる。
【選択図】図２
Description
本発明は、ディスプレイを介して表示されるユーザインターフェースを選択し提供するシステム及び方法に関するものであって、詳しくは、ディスプレイを利用するユーザの使用環境などに基づいて、表示するインターフェースを選択し提供するユーザ適応型インターフェース提供システム及び方法に関する。
コンテンツまたはアプリケーションを接する環境が多様化し細分化され、提供されるサービスの動作環境（ＵＩ／ＵＸ）もまた、様々な環境に露出されることになり、一つのサービス画面であってもユーザの使用環境に応じて適切な動作環境の必要性がさらに求められている。
このような要求に関連して、ユーザの環境に適するようインターフェースの変化を与える方法として、反応型インターフェースという形で提供されるユーザインターフェースを提供する方式がある。しかし、従来の反応型インターフェースは、ウェブブラウザと呼ばれる制限された領域にのみ適用が可能であり、ディスプレイ装置が提供する画面の解像度のみに基づいてサービス画面を変更させる形であるので、実際の操作環境を完全に反映できないという欠点がある。
例えば、 １０２４＊７６８の解像度に合うように設計されたＵＩを５０インチや１００インチの大型ディスプレイ装置で実行する場合、ユーザは過度に大きなボタン、或いは使用できないほどの大きな画面に直面することになる。そのため、様々な環境で、実際の使用環境に合わせて操作環境を変更できるようにするユーザ適応型インターフェース提供方法が求められる。
本発明は、前述した問題点を解決するために、ディスプレイそのものに内蔵された、或いはディスプレイに装着されたカメラを利用してユーザの使用環境に関する情報を獲得し、獲得した情報に基づいてディスプレイを介して表示されるユーザインターフェースを設定または変更した後に提供するユーザ適応型インターフェース提供システム及び方法を提供することを目的とする。
本発明は、ディスプレイを利用するユーザに対する映像を獲得するカメラと、前記映像に基づいて前記ディスプレイを利用する前記ユーザの物理的な使用環境または使用パターンを分析する分析部と、及び前記物理的な使用環境或いは前記使用パターンに基づいて前記ディスプレイに表示するインターフェースを選択し提供するインターフェース提供部を有するユーザ適応型インターフェース提供システムを提供する。
本発明の一面によると、前記分析部は、前記映像から前記ディスプレイと前記ユーザ間の距離、前記ディスプレイに対する前記ユーザの相対的な位置を分析するユーザ適応型インターフェース提供システムを提供する。
本発明の他の一面によると、前記分析部は、前記映像から前記ユーザの動きに応じた前記ユーザの移動方向及び前記ディスプレイに対する相対的な位置変化を分析するユーザ適応型インターフェース提供システムを提供する。
本発明の他の一面によると、前記インターフェース提供部は、前記ディスプレイのサイズに基づいて前記インターフェースのサイズを選択し提供するユーザ適応型インターフェース提供システムを提供する。
本発明の他の一面によると、前記インターフェース提供部は、前記ディスプレイに対する前記ユーザの相対的な位置に基づいて前記インターフェースの位置を選択し提供するユーザ適応型インターフェース提供システムを提供する。
本発明の他の一面によると、前記インターフェース提供部は、前記ユーザの動きに応じて前記ディスプレイに表示されたインターフェースの位置を変更するユーザ適応型インターフェース提供システムを提供する。
本発明の他の一面によると、前記インターフェース提供部は、前記ユーザの使用パターンに応じて、前記インターフェースの種類を選択し提供するユーザ適応型インターフェース提供システムを提供する。
本発明の他の一面によると、前記カメラは、前記ディスプレイに内蔵されたり、前記ディスプレイに装着されたことを特徴とするユーザ適応型インターフェース提供システムを提供する。
一方、本発明は、ディスプレイを利用するユーザに対する映像を獲得するステップと、前記映像から前記ディスプレイを利用するユーザの物理的な使用環境または使用パターンを分析するステップと、及び前記物理的な使用環境及び前記使用パターンのうち少なくとも一つに基づいて前記ディスプレイに表示されるインターフェースを選択し提供するステップを有するユーザ適応型インターフェース提供方法で使用される。
本発明は、ディスプレイに内蔵または装着されたカメラを利用してユーザの使用環境を分析し、分析された結果に応じてユーザが容易に操作できるようユーザインターフェースを調節することによって、様々な環境においてユーザの使用環境に適したインターフェースを提供することができる。
本発明の利点及び特徴、そしてそれらを達成する方法は添付される図面とともに詳細に後述されている実施形態を参照されたい。しかし、本発明は以下で開示される実施形態に限定されるのではなく、様々な形態で具現され、単に本実施形態は、本発明の開示を完全にし、本発明の属する技術分野における通常の知識を持つ者に発明の範疇を完全に知らせるために提供されるものであり、本発明は、請求項の範疇によって定義される。
一方、本明細書で使用する用語は、実施形態を説明するためのものであり、本発明を制限するものではない。本明細書において、単数形は文句で特に言及しない限り、複数形も含まれる。明細書で使用される「有する（ｃｏｍｐｒｉｓｅｓ、ｃｏｍｐｒｉｓｉｎｇ）」は、言及された構成素子、ステップ、動作及び/または素子に一つ以上の他の構成素子、ステップ、動作及び/または素子の存在または追加することを排除しない。以下、添付図面を参照して本発明の実施形態を詳細に説明する。
図１は本発明の一実施形態に係るユーザ適応型インターフェース提供システムの構造を示すブロック図である。
本発明の一実施形態に係るユーザ適応型インターフェース提供システムは、カメラ１００、分析部１１０及びインターフェース提供部１２０を有する。
本発明の一実施形態に係るユーザ適応型インターフェース提供システムは、カメラ１００、分析部１１０及びインターフェース提供部１２０を有する。
本発明は、ディスプレイに内蔵または装着されたカメラ１００を利用してユーザの使用環境を分析し、分析結果に応じたユーザインターフェースを提供するものであって、カメラ１００は、ディスプレイに内蔵されたことを基本に、一つのディスプレイ自体に内蔵されずディスプレイに連結されて使用されるものであり得る。
カメラ１００は、ディスプレイが使用状態になると、ディスプレイを利用するユーザに対する映像を獲得する。カメラ１００は、獲得した映像を分析部１１０に転送する。
カメラ１００は、ディスプレイが使用状態になると、ディスプレイを利用するユーザに対する映像を獲得する。カメラ１００は、獲得した映像を分析部１１０に転送する。
分析部１１０は、カメラ１００が獲得した映像を分析して、ディスプレイを利用するユーザの物理的な使用環境または使用パターンを分析する。分析部１１０は、カメラ１００から映像が転送され、持続的に使用環境などを分析することもでき、最初の使用環境を分析した後、映像内のユーザの位置など使用環境が変更されることが感知された場合にのみ使用環境などを分析することもできる。
分析部１１０は、カメラ１００から転送された映像からディスプレイとユーザと間の距離、ディスプレイを利用するユーザのディスプレイに対する相対的な位置、ディスプレイを利用するユーザの位置が変更される場合、ユーザの動きに応じたユーザの移動方向、ユーザの相対的な位置の変化などを分析する。
分析部１１０は、カメラ１００から転送された映像から分析したユーザの物理的な使用環境または使用パターンに対する情報をインターフェース提供部１２０に転送する。
インターフェース提供部１２０は、分析部１１０から転送されたユーザの物理的な使用環境または使用パターンに対する分析結果に基づいて、ディスプレイに表示するインターフェースを選択し、提供する。また、インターフェース提供部１２０は、ユーザの使用環境などの変化に伴い、既に表示されたインターフェースを調整して新しいインターフェースを提供することもできる。
インターフェース提供部１２０は、使用環境等に基づいて表示するインターフェースを選択する。
例えば、ディスプレイのサイズに基づいて、ディスプレイに表示するインターフェースのサイズを選択し提供することができ、ディスプレイとユーザ間の距離及びディスプレイに対するユーザの相対的な位置などに基づいて、インターフェースの位置を選択し提供することもでき、ディスプレイを利用するユーザの使用パターンに基づいて表示するインターフェースの種類を選択し提供することもできる。
インターフェース提供部１２０が提供するユーザインターフェースに対する具体的な実施形態は、図３ないし図１４で後述する。
図２は、本発明の一実施形態に係るユーザ適応型インターフェース提供方法の手順を示したフローチャートである。
ユーザ適応型インターフェース提供システムは、インターフェースを表示するディスプレイに内蔵または装着されたカメラを介してディスプレイを利用するユーザの映像を獲得する（Ｓ２００）。獲得した映像からディスプレイを利用するユーザの物理的な使用環境または使用パターンなどを分析する（Ｓ２２０）。分析結果に基づいて、使用環境に適したインターフェースを選択し、提供する（Ｓ２４０）。
図２は、本発明の一実施形態に係るユーザ適応型インターフェース提供方法の手順を示したフローチャートである。
ユーザ適応型インターフェース提供システムは、インターフェースを表示するディスプレイに内蔵または装着されたカメラを介してディスプレイを利用するユーザの映像を獲得する（Ｓ２００）。獲得した映像からディスプレイを利用するユーザの物理的な使用環境または使用パターンなどを分析する（Ｓ２２０）。分析結果に基づいて、使用環境に適したインターフェースを選択し、提供する（Ｓ２４０）。
例えば、ディスプレイのサイズに基づいて、インターフェースのサイズを選択して提供したり、ディスプレイとユーザ間の距離、ディスプレイに対するユーザの相対的な位置などに基づいて、インターフェースの位置を選択し提供したり、使用パターンに基づいてインターフェースの種類を選択して提供することができる。
また、インターフェースを提供した以降も、ユーザの動きに応じたユーザの位置変化を感知し(Ｓ２６０)、ユーザの位置（大型スクリーンの場合、ユーザの位置、タブレットのようなディスプレイの場合、ユーザの指の位置など）が変更されたことが感知されると、ユーザの位置に応じてインターフェースの位置を調整して提供する（Ｓ２８０）。
図３ないし図１４は、本発明の適応型インターフェース提供システムに係る実施形態を示す。
図３ないし図６は、本発明の一実施形態に係るユーザ適応型インターフェース提供システムの一般的な実施形態を示す。
図３に示すように、ディスプレイに内蔵または装着されたカメラは、ユーザの映像を獲得する。図４は、カメラを介して獲得した映像の例を示したもので、カメラを介して獲得した映像は、物理的なユーザの環境に応じてユーザとカメラとの距離、位置、現在の状況などを表示する指標となる。
図３ないし図６は、本発明の一実施形態に係るユーザ適応型インターフェース提供システムの一般的な実施形態を示す。
図３に示すように、ディスプレイに内蔵または装着されたカメラは、ユーザの映像を獲得する。図４は、カメラを介して獲得した映像の例を示したもので、カメラを介して獲得した映像は、物理的なユーザの環境に応じてユーザとカメラとの距離、位置、現在の状況などを表示する指標となる。
図５は、使用環境に応じて適したインターフェースを提供する例を示したものであり、標準サイズのディスプレイ（例えば、ＰＣモニター）に適した状態で生成されたインターフェースが、小さいサイズのディスプレイ（例えば、タブレットＰＣ）や、大きなサイズのディスプレイ（例えば、電子黒板）に表示される場合、インターフェースのサイズを調整して示したものである。つまり、標準サイズのディスプレイ解像度に適したインターフェースが、大きなサイズのディスプレイにそのまま表示されると、過度に大きなインターフェースが提供されることになるので、ディスプレイのサイズに適してインターフェースのサイズを調整して表示する。
図６は、ユーザの現在位置と状況に応じてアクセスが良好な状態で動作環境を持続的に再構成する例を示す。
カメラを介して獲得した映像を持続的に分析して、ユーザの位置またはディスプレイとの距離が変更されると、既に表示されたインターフェースの位置を変更して提供することにより、ユーザは、どのような使用環境でもアクセスが容易なインターフェースが提供される。
カメラを介して獲得した映像を持続的に分析して、ユーザの位置またはディスプレイとの距離が変更されると、既に表示されたインターフェースの位置を変更して提供することにより、ユーザは、どのような使用環境でもアクセスが容易なインターフェースが提供される。
図７ないし図１０は、大きなサイズのディスプレイにインターフェースを表示する場合の実施形態を示す。
図７に示すように、小さいサイズのディスプレイに最適化したインターフェースをそのまま表示すると、過度に大きくなるので、図８に示されたようにインターフェースのサイズ、位置などを調整して表示する。そして、図９に示すように、ユーザの位置が変更されたことがカメラを介して感知されると、図１０に示されたように、インターフェースの位置を調整してユーザの利便性を最大化しながら、使用環境に適したインターフェースを提供する。
図７に示すように、小さいサイズのディスプレイに最適化したインターフェースをそのまま表示すると、過度に大きくなるので、図８に示されたようにインターフェースのサイズ、位置などを調整して表示する。そして、図９に示すように、ユーザの位置が変更されたことがカメラを介して感知されると、図１０に示されたように、インターフェースの位置を調整してユーザの利便性を最大化しながら、使用環境に適したインターフェースを提供する。
図１１ないし図１４は、小さいサイズのディスプレイにインターフェースを表示する場合の実施形態を示す。
図１１に示すように、画面のサイズが小さい場合、大きなサイズのディスプレイに最適化した操作環境は、操作し難く且つアクセスし難いので、図１２に示すように、ディスプレイのカメラで分析した使用環境を基に、ユーザが操作し易い適切なサイズと位置とに操作環境を構成して提供することによってユーザの利便性を最大化する。
図１１に示すように、画面のサイズが小さい場合、大きなサイズのディスプレイに最適化した操作環境は、操作し難く且つアクセスし難いので、図１２に示すように、ディスプレイのカメラで分析した使用環境を基に、ユーザが操作し易い適切なサイズと位置とに操作環境を構成して提供することによってユーザの利便性を最大化する。
また、図１３及び図１４に示すように、セルフカメラ撮影のように、ユーザが特定の動作をする場合、殆どの撮影ボタンが中央に位置して操作し難い点があるので、特定の状況である場合、これを分析して（例えば、指の位置など）の操作環境を変化させてユーザに使い易いインターフェースを提供することもできる。
図１５と図１６は、本発明の一実施形態に係るユーザ適応型インターフェース提供システムが、ユーザの使用環境を分析するに当たり、ディスプレイの実際の画面サイズを特定する方法を示す。
図１５は、画面タッチ機能の有る場合を示したもので、全体画面状態で二つの点を画面上に浮かべて、人差し指と中指で２点をタッチする。２点の動きに応じて、人差し指と中指を動かして、２点は両方に開けられ二本の指が最大限に開けられるように誘導する。
この時、大人を基準にすると、この二本の指の平均的な距離は９０ｍｍ内外であるので、これに基づいて画面の実際の横サイズを計算する。この時、画面の実際の比率と画面に表現された解像度の比率が異なることを考慮して垂直の高さを再測定しなければならないので、横サイズを測定した後、２点が元の通りに狭くなりつつ垂直になるように回転する。垂直になった状態で再び２点を上下に開け、二本の指が最大限に開けられるように誘導し、これを元に、実際の縦サイズを計算する。
図１６は、画面のタッチがなく、外装カメラ装置がある場合を示したもので、全体画面状態で、一定のサイズ（ｐｉｘｅｌ）の基準イメージを画面の中央に浮かべる（例えば、黒５００×５００ピクセルの正方形イメージ）。基準距離でディスプレイを水平、垂直を合わせて撮影する。撮影された画像の解像度と実際の解像度間の誤差を計算して撮影時の歪曲されたイメージの補正係数として使用する。
この時、撮影で検出された画面の解像度は、撮影された画像でのスクリーンサイズ/撮影画像からの基準イメージサイズ＊実際の基準イメージサイズになり、補正係数は、撮影で検出された画面解像度/実際の画面解像度になる。
この時、撮影で検出された画面の解像度は、撮影された画像でのスクリーンサイズ/撮影画像からの基準イメージサイズ＊実際の基準イメージサイズになり、補正係数は、撮影で検出された画面解像度/実際の画面解像度になる。
撮影されたイメージは、メタ情報を提供し、メタ情報によって実際の焦点距離と３５ｍｍフィルムの焦点距離を知ることができ、これにより実際のサイズが分かる。
撮影距離（基準距離）／焦点距離＊センサーサイズ＊（撮影されたスクリーンサイズ/イメージ全体サイズ＊補正係数）
撮影距離（基準距離）／３５ｍｍフィルム換算焦点距離＊フィルムサイズ（横３６、縦２４ｍｍ）＊（撮影されたスクリーンサイズ/イメージ全体サイズ＊補正係数）
撮影距離（基準距離）／焦点距離＊センサーサイズ＊（撮影されたスクリーンサイズ/イメージ全体サイズ＊補正係数）
撮影距離（基準距離）／３５ｍｍフィルム換算焦点距離＊フィルムサイズ（横３６、縦２４ｍｍ）＊（撮影されたスクリーンサイズ/イメージ全体サイズ＊補正係数）
以上の説明は、本発明の技術的思想を例示的に説明したものに過ぎず、本発明の属する技術分野における通常の知識を有する者であれば、本発明の本質的特徴を外さない範囲で様々な変更及び変形が可能である。従って、本発明に表現された実施形態は、本発明の技術的思想を限定するのではなく、説明するためのものであり、これらの実施形態によって本発明の権利範囲が限定されるのではない。本発明の保護範囲は、特許請求の範囲によって解釈しなければならず、それと同等か、均等な範囲内にある全ての技術的思想は、本発明の権利範囲に含まれるものと解釈しなければならない。
Claims (16)
- ディスプレイを利用するユーザの映像を獲得するカメラと、
前記映像に基づいて前記ディスプレイを利用する前記ユーザの物理的な使用環境または使用パターンを分析する分析部と、
前記物理的な使用環境または前記使用パターンに基づいて前記ディスプレイに表示するインターフェースを選択し提供するインターフェース提供部と、
を有するユーザ適応型インターフェース提供システム。 - 前記分析部は、
前記映像から前記ディスプレイと前記ユーザ間の距離、前記ディスプレイに対する前記ユーザの相対的な位置を分析する請求項１に記載のユーザ適応型インターフェース提供システム。 - 前記分析部は、
前記映像から前記ユーザの動きに応じた前記ユーザの移動方向及び前記ディスプレイに対する相対的な位置変化を分析する請求項１に記載のユーザ適応型インターフェース提供システム。 - 前記インターフェース提供部は、
前記ディスプレイのサイズに基づいて前記インターフェースのサイズを選択し提供する請求項１に記載のユーザ適応型インターフェース提供システム。 - 前記インターフェース提供部は、
前記ディスプレイに対する前記ユーザの相対的な位置に基づいて前記インターフェースの位置を選択し提供する請求項１に記載のユーザ適応型インターフェース提供システム。 - 前記インターフェース提供部は、
前記ユーザの動きに応じて前記ディスプレイに表示されたインターフェースの位置を変更する請求項１に記載のユーザ適応型インターフェース提供システム。 - 前記インターフェース提供部は、
前記ユーザの使用パターンに応じて、前記インターフェースの種類を選択し提供する請求項１に記載のユーザ適応型インターフェース提供システム。 - 前記カメラは、
前記ディスプレイに内蔵または装着されていることを特徴とする請求項１に記載のユーザ適応型インターフェース提供システム。 - ディスプレイを利用するユーザの映像を獲得するステップと、
前記映像から前記ディスプレイを利用するユーザの物理的な使用環境または使用パターンを分析するステップと、
前記物理的な使用環境及び前記使用パターンのうち少なくとも一つに基づいて前記ディスプレイに表示されるインターフェースを選択し提供するステップと、
を有するユーザ適応型インターフェースの提供方法。 - 前記ディスプレイを利用するユーザの映像を獲得するステップでは、
前記ディスプレイに内蔵または装着されたカメラを用いて前記ユーザの映像を獲得する請求項９に記載のユーザ適応型インターフェースの提供方法。 - 前記ユーザの物理的な使用環境または使用パターンを分析するステップでは、
前記映像から前記ディスプレイと前記ユーザ間の距離及び前記ディスプレイに対する前記ユーザの相対的な位置のうち少なくとも一つを分析する請求項９に記載のユーザ適応型インターフェースの提供方法。 - 前記ユーザの物理的な使用環境または使用パターンを分析するステップでは、
前記映像から前記ディスプレイに対する前記ユーザの相対的な位置変化を分析する請求項９に記載のユーザ適応型インターフェースの提供方法。 - 前記インターフェースを選択し提供するステップでは、
前記ディスプレイのサイズに基づいて前記インターフェースのサイズを選択し提供する請求項９に記載のユーザ適応型インターフェースの提供方法。 - 前記インターフェースを選択し提供するステップでは、
前記ディスプレイに対する前記ユーザの相対的な位置に基づいて前記インターフェースの位置を選択し提供する請求項９に記載のユーザ適応型インターフェースの提供方法。 - 前記インターフェースを選択し提供するステップでは、
前記映像から獲得した前記ユーザの使用パターンに基づいて前記インターフェースの種類を選択し提供する請求項９に記載のユーザ適応型インターフェースの提供方法。 - 前記インターフェースを選択し提供するステップでは、
前記ユーザの動きに応じて、前記インターフェースの位置を持続的に変更する請求項９に記載のユーザ適応型インターフェースの提供方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020130136217A KR101571096B1 (ko) | 2013-11-11 | 2013-11-11 | 사용자 적응형 인터페이스 제공 시스템 및 방법 |
| KR10-2013-0136217 | 2013-11-11 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2015132865A true JP2015132865A (ja) | 2015-07-23 |
| JP5827298B2 JP5827298B2 (ja) | 2015-12-02 |
Family
ID=53044932
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013240914A Active JP5827298B2 (ja) | 2013-11-11 | 2013-11-21 | ユーザ適応型インターフェース提供システム及び方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20150135090A1 (ja) |
| JP (1) | JP5827298B2 (ja) |
| KR (1) | KR101571096B1 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101747407B1 (ko) * | 2016-02-29 | 2017-06-14 | 경희대학교 산학협력단 | 사용자 경험 측정에 기반한 적응형 사용자 인터페이스를 제공하는 시스템 및 그 방법 |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102489402B1 (ko) | 2015-11-02 | 2023-01-18 | 삼성전자주식회사 | 디스플레이 장치 및 그의 영상 표시 방법 |
| CN108984058A (zh) * | 2018-03-30 | 2018-12-11 | 斑马网络技术有限公司 | 车载显示屏的分区显示适配系统及其应用 |
| JP7271909B2 (ja) * | 2018-11-09 | 2023-05-12 | セイコーエプソン株式会社 | 表示装置、及び、表示装置の制御方法 |
| KR102656461B1 (ko) * | 2019-03-20 | 2024-04-12 | 삼성전자주식회사 | 사용자의 움직임에 기반하여 객체의 속성을 제어하는 전자 장치 및 그 제어 방법 |
| KR20210056563A (ko) * | 2019-11-11 | 2021-05-20 | 삼성전자주식회사 | 디스플레이 장치 및 그 제어 방법 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005292975A (ja) * | 2004-03-31 | 2005-10-20 | Alpine Electronics Inc | ボタン処理方法及びデータ処理装置 |
| JP2009295031A (ja) * | 2008-06-06 | 2009-12-17 | Canon Inc | 画像投影装置及びその制御方法 |
| JP2011510364A (ja) * | 2007-12-20 | 2011-03-31 | ソニー エリクソン モバイル コミュニケーションズ， エービー | 表示を動的に変更するシステム及び方法 |
| JP2011070439A (ja) * | 2009-09-25 | 2011-04-07 | Sharp Corp | 表示制御装置、表示制御方法、表示制御システム、表示制御プログラム、および記録媒体 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8466893B2 (en) * | 2004-06-17 | 2013-06-18 | Adrea, LLC | Use of a two finger input on touch screens |
| JP2009193323A (ja) * | 2008-02-14 | 2009-08-27 | Sharp Corp | 表示装置 |
| US9256342B2 (en) * | 2008-04-10 | 2016-02-09 | Perceptive Pixel, Inc. | Methods of interfacing with multi-input devices and multi-input display systems employing interfacing techniques |
| JP2010278967A (ja) * | 2009-06-01 | 2010-12-09 | Mitsubishi Electric Corp | 画面表示変換装置 |
| US8659658B2 (en) * | 2010-02-09 | 2014-02-25 | Microsoft Corporation | Physical interaction zone for gesture-based user interfaces |
| WO2012040827A2 (en) * | 2010-10-01 | 2012-04-05 | Smart Technologies Ulc | Interactive input system having a 3d input space |
| US8933912B2 (en) * | 2012-04-02 | 2015-01-13 | Microsoft Corporation | Touch sensitive user interface with three dimensional input sensor |
| US20150070263A1 (en) * | 2013-09-09 | 2015-03-12 | Microsoft Corporation | Dynamic Displays Based On User Interaction States |
-
2013
- 2013-11-11 KR KR1020130136217A patent/KR101571096B1/ko active IP Right Grant
- 2013-11-21 JP JP2013240914A patent/JP5827298B2/ja active Active
- 2013-11-26 US US14/090,562 patent/US20150135090A1/en not_active Abandoned
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005292975A (ja) * | 2004-03-31 | 2005-10-20 | Alpine Electronics Inc | ボタン処理方法及びデータ処理装置 |
| JP2011510364A (ja) * | 2007-12-20 | 2011-03-31 | ソニー エリクソン モバイル コミュニケーションズ， エービー | 表示を動的に変更するシステム及び方法 |
| JP2009295031A (ja) * | 2008-06-06 | 2009-12-17 | Canon Inc | 画像投影装置及びその制御方法 |
| JP2011070439A (ja) * | 2009-09-25 | 2011-04-07 | Sharp Corp | 表示制御装置、表示制御方法、表示制御システム、表示制御プログラム、および記録媒体 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101747407B1 (ko) * | 2016-02-29 | 2017-06-14 | 경희대학교 산학협력단 | 사용자 경험 측정에 기반한 적응형 사용자 인터페이스를 제공하는 시스템 및 그 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR101571096B1 (ko) | 2015-11-23 |
| KR20150054156A (ko) | 2015-05-20 |
| US20150135090A1 (en) | 2015-05-14 |
| JP5827298B2 (ja) | 2015-12-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110199251B (zh) | 显示装置和远程操作控制装置 | |
| JP5827298B2 (ja) | ユーザ適応型インターフェース提供システム及び方法 | |
| EP3293620B1 (en) | Multi-screen control method and system for display screen based on eyeball tracing technology | |
| EP2701051B1 (en) | Electronic apparatus and control method thereof | |
| US10649313B2 (en) | Electronic apparatus and method for controlling same | |
| US20160292922A1 (en) | Display control device, display control method, and recording medium | |
| US9544556B2 (en) | Projection control apparatus and projection control method | |
| CN106416222A (zh) | 实时捕获曝光调整手势 | |
| KR20200123223A (ko) | 애플리케이션을 위한 디스플레이 적응 방법 및 장치, 디바이스, 및 저장 매체 | |
| TWI475496B (zh) | 手勢控制裝置及於手勢控制裝置中設定及取消手勢操作區域之方法 | |
| JPWO2014136521A1 (ja) | 撮像装置、撮像方法及びプログラム | |
| KR20130092196A (ko) | 카메라 셔터키 표시 장치 및 방법 | |
| KR20070037773A (ko) | 표시기기에서 사용자 명령 입력 장치 및 방법 | |
| KR102118421B1 (ko) | 카메라 커서 시스템 | |
| CN106325490A (zh) | 控制电子设备的方法及电子设备 | |
| JP7344950B2 (ja) | モーション・キャプチャ・システム | |
| CN106325482A (zh) | 触控屏的操控方法及终端设备 | |
| CN109343771B (zh) | 电子设备、电子设备的控制方法及操控方法 | |
| JP6123562B2 (ja) | 撮像装置 | |
| KR20080092184A (ko) | 프로젝션 및 가상 입력의 겸용 프로젝터 및 데이터 입력방법 | |
| CN105867757A (zh) | 一种操控大屏智能设备的方法及装置 | |
| US20100321292A1 (en) | Electronic device and operating method thereof | |
| TW201514601A (zh) | 觸控投影系統及其方法 | |
| JP2006099228A (ja) | データ処理装置及びプログラム | |
| KR20110100987A (ko) | 시선 추적을 이용한 사용자 인터페이스 방법 및 이를 적용한 단말 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20150209 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150608 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20150814 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150918 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20151015 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5827298 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |