[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP5184384B2 - Control system and control method - Google Patents

Control system and control method Download PDF

Info

Publication number
JP5184384B2
JP5184384B2 JP2009000156A JP2009000156A JP5184384B2 JP 5184384 B2 JP5184384 B2 JP 5184384B2 JP 2009000156 A JP2009000156 A JP 2009000156A JP 2009000156 A JP2009000156 A JP 2009000156A JP 5184384 B2 JP5184384 B2 JP 5184384B2
Authority
JP
Japan
Prior art keywords
user
input
paper
input part
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009000156A
Other languages
Japanese (ja)
Other versions
JP2009070416A (en
Inventor
繁 榎本
祥徳 鷲津
竜司 山本
宗孝 津田
智則 下村
純一 暦本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment Inc
Sony Corp
Original Assignee
Sony Interactive Entertainment Inc
Sony Corp
Sony Computer Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Interactive Entertainment Inc, Sony Corp, Sony Computer Entertainment Inc filed Critical Sony Interactive Entertainment Inc
Priority to JP2009000156A priority Critical patent/JP5184384B2/en
Publication of JP2009070416A publication Critical patent/JP2009070416A/en
Application granted granted Critical
Publication of JP5184384B2 publication Critical patent/JP5184384B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • User Interface Of Digital Computer (AREA)

Description

本発明は、電子機器などの制御技術に関し、とくに、ユーザの体の一部や、ユーザにより操作される物体などを含む入力部位の形状又は動作、又は入力部位までの距離などによりユーザの指示を入力することが可能なユーザインタフェイスを備えた制御システム及び方法に関する。   The present invention relates to a control technology for electronic devices and the like, and in particular, gives a user instruction based on the shape or operation of an input part including a part of the user's body, an object operated by the user, or the distance to the input part. The present invention relates to a control system and method having a user interface capable of inputting.

ITの発達に伴い、高度な機能を有する電子機器が多数登場している。電子機器の機能が高度になるにつれて、ユーザが電子機器に機能を実行させるための指示の内容も多様化しており、分かりやすく操作性に優れたユーザインタフェイス(User Interface:UI)の必要性が増している。たとえば、パーソナルコンピュータ(Personal Computer:PC)においては、以前は、ユーザがキーボードによりコマンド文字列を入力するキャラクタベースのユーザインタフェイスが主に採用されていたが、現在では、アイコンやウィンドウなどの画像を表示画面に提示し、表示画面上のポインタをユーザがマウスなどのポインティングデバイスにより操作して指示を入力するグラフィカル・ユーザインタフェイス(Graphical User Interface:GUI)が主流となっている。   Along with the development of IT, many electronic devices having advanced functions have appeared. As the functions of electronic devices become more advanced, the contents of instructions for causing users to execute functions on electronic devices are diversified, and there is a need for a user interface (UI) that is easy to understand and has excellent operability. It is increasing. For example, in a personal computer (PC), a character-based user interface in which a user inputs a command character string with a keyboard has been mainly used before, but now, an image such as an icon or a window is used. A graphical user interface (GUI) in which a user operates the pointer on the display screen with a pointing device such as a mouse to input an instruction is mainstream.

GUIの登場により、ユーザは、所望の機能をPCに実行させるためのコマンド文字列を覚え、入力する煩わしさから解放された。しかし、PCが広く大衆に普及したとは言え、子供や高齢者などを中心に、マウスなどの操作に慣れておらず、抵抗感を感じるユーザもいる。また、より現実世界に近い感覚で指示を入力することが可能なUIを求める声もある。今後、PCなどの電子機器が更に生活の中に浸透し、より多様なユーザ層により使用されることが予想されるため、より直感的で分かりやすく、操作性に優れたUIの開発が望まれる。   With the advent of the GUI, the user is freed from the hassle of remembering and inputting a command character string for causing a PC to execute a desired function. However, even though PCs have spread widely to the general public, some users feel uncomfortable and not comfortable with the operation of a mouse or the like, especially children and elderly people. In addition, there is a voice for a UI that can input an instruction with a sense closer to the real world. In the future, it is expected that electronic devices such as PCs will further penetrate into daily life, and will be used by a wider variety of user groups. Therefore, it is desired to develop UIs that are more intuitive, easy to understand, and excellent in operability. .

本発明はこうした状況に鑑みてなされたものであり、その目的は、操作性に優れたユーザインタフェイスの提供にある。   The present invention has been made in view of such circumstances, and an object thereof is to provide a user interface having excellent operability.

本発明のある態様は、制御システムに関する。この制御システムは、ユーザの体の少なくとも一部又はユーザにより操作される物体の少なくとも一部を含む単数又は複数の入力部位の形状又は動作、又は前記入力部位までの距離を検知する検知部と、入力部により検知された入力部位の形状又は動作、又は入力部位までの距離を解析して、ユーザの指示を判別する解析部と、解析部により判別されたユーザの指示に対応する機能を実行する制御部と、を備えることを特徴とする。   One embodiment of the present invention relates to a control system. The control system includes a detection unit that detects a shape or operation of one or more input parts including at least a part of a user's body or an object operated by the user, or a distance to the input part; Analyzing the shape or operation of the input part detected by the input part, or the distance to the input part, and executing the function corresponding to the user instruction determined by the analysis part and the analysis part for determining the user instruction And a control unit.

検知部は、入力部位までの距離情報を取得可能な撮像装置であってもよい。検知部は、複数の電極を含み、入力部位の接近による前記電極間の静電容量の変化を検知する入力装置であってもよい。   The detection unit may be an imaging device that can acquire distance information to the input site. The detection unit may include an input device that includes a plurality of electrodes and detects a change in capacitance between the electrodes due to the approach of the input part.

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。   It should be noted that any combination of the above-described constituent elements and a conversion of the expression of the present invention between a method, an apparatus, a system, a recording medium, a computer program, etc. are also effective as an aspect of the present invention.

本発明によれば、操作性に優れたユーザインタフェイスを提供することができる。   According to the present invention, a user interface excellent in operability can be provided.

実施の形態に係る制御システムの構成を示す図である。It is a figure which shows the structure of the control system which concerns on embodiment. 実施の形態に係る入力装置および表示装置の構成例を示す図である。It is a figure which shows the structural example of the input device which concerns on embodiment, and a display apparatus. 実施の形態に係る入力装置および表示装置の他の構成例を示す図である。It is a figure which shows the other structural example of the input device which concerns on embodiment, and a display apparatus. 実施の形態に係る入力装置および表示装置のさらに別の構成例を示す図である。It is a figure which shows another example of a structure of the input device and display apparatus which concern on embodiment. 実施の形態に係る入力装置および表示装置のさらに別の構成例を示す図である。It is a figure which shows another example of a structure of the input device and display apparatus which concern on embodiment. 制御装置の内部構成を示す図である。It is a figure which shows the internal structure of a control apparatus. 制御装置のハードウェアコンポーネントを示す図である。It is a figure which shows the hardware component of a control apparatus. ユーザの複数の指の動きにより指示を入力する例を説明するための図である。It is a figure for demonstrating the example which inputs an instruction | indication by a user's several finger | toe movement. ユーザの複数の指の動きにより指示を入力する例を説明するための図である。It is a figure for demonstrating the example which inputs an instruction | indication by a user's several finger | toe movement. ユーザの手の形状により指示を入力する例を説明するための図である。It is a figure for demonstrating the example which inputs an instruction | indication by the shape of a user's hand. 手の形状に対してオブジェクトをマッピングする例を説明するための図である。It is a figure for demonstrating the example which maps an object with respect to the shape of a hand. 手の形状に対してオブジェクトをマッピングするためのテーブルの例を示す図である。It is a figure which shows the example of the table for mapping an object with respect to the shape of a hand. 図11に示した操作により格納されたオブジェクトを取り出す例を説明するための図である。It is a figure for demonstrating the example which takes out the object stored by operation shown in FIG. 距離に応じた指示入力の例を説明するための図である。It is a figure for demonstrating the example of the instruction | indication input according to distance. 画面上に表示されたオブジェクトを移動する機能について説明するための図である。It is a figure for demonstrating the function to move the object displayed on the screen. 画面上に表示されたオブジェクトを移動する機能について説明するための図である。It is a figure for demonstrating the function to move the object displayed on the screen. 紙を扱う機能について説明するための図である。It is a figure for demonstrating the function to handle paper. 3次元オブジェクトを扱う例を説明するための図である。It is a figure for demonstrating the example which handles a three-dimensional object. 物体の形状や動きにより指示を入力する例を説明するための図である。It is a figure for demonstrating the example which inputs an instruction | indication by the shape and movement of an object.

(第1の実施の形態)
図1は、第1の実施の形態に係る制御システム10の構成を示す。制御システム10は、ユーザからの指示を入力する入力装置20と、入力装置20から入力される指示に応じてアプリケーションなどの動作を制御する制御装置40と、制御装置40から出力される画像を表示する表示装置30とを備える。本実施の形態の制御システム10は、ユーザが、指、手、足、頭など、体の一部を使って、動作(ジェスチャー)により指示を入力することが可能なユーザインタフェイス(以下、「ジェスチュラルインタフェイス」という)を提供する。これにより、ユーザが、現実世界と同様な動作で表示画面に表示されたオブジェクトを扱ったり、アプリケーションに指示を入力したりすることを可能とし、直感的に分かりやすく、操作性に優れたユーザインタフェイスを実現することができる。本実施の形態において、入力装置20は、ユーザの体の少なくとも一部を含む入力部位の形状又は動作、又は入力部位までの距離を検知する検知部の機能を有する。
(First embodiment)
FIG. 1 shows a configuration of a control system 10 according to the first embodiment. The control system 10 displays an input device 20 that inputs an instruction from a user, a control device 40 that controls the operation of an application or the like according to an instruction input from the input device 20, and an image output from the control device 40. Display device 30. The control system 10 according to the present embodiment is a user interface (hereinafter referred to as “a user interface”) that allows a user to input an instruction by movement (gesture) using a part of the body such as a finger, hand, foot, or head. "Gestural interface"). This makes it possible for the user to handle objects displayed on the display screen in the same manner as in the real world and to input instructions to the application, making the user interface intuitive and easy to understand. A face can be realized. In the present embodiment, the input device 20 has a function of a detection unit that detects the shape or operation of the input part including at least a part of the user's body, or the distance to the input part.

図2は、実施の形態に係る入力装置20および表示装置30の構成例を示す。図2に示した例では、表示装置30として、液晶ディスプレイ装置、プラズマディスプレイ装置、陰極線管(Cathord Ray Tube:CRT)ディスプレイ装置などの任意の表示装置32が用いられ、入力装置20として、表示装置32と一体的に、または別体として設けられた、測距機能を有する撮像装置22が用いられる。制御装置40は、撮像装置22により撮影されたユーザの動作を画像処理により解析し、ユーザが行ったジェスチャーを判別し、ユーザの指示を取得する。この構成例によれば、ユーザの体の広い範囲を撮影して、その動作を判別することができるので、ユーザは、指だけでなく、手や足などを用いたジェスチャーにより指示を行うことができる。この方式は、撮像装置22からある程度離れた位置でユーザがジェスチャーを行う場合に適している。ユーザとの距離に依存しない方式のジェスチュラルインタフェイスを採用する場合は、入力装置20として、測距機能を有しない撮像装置を用いてもよいが、後述するように、ユーザが表示画面上のオブジェクトを指などを用いて扱うことが可能なジェスチュラルインタフェイスを提供するためには、測距機能を有する撮像装置22を用いるのが好ましい。   FIG. 2 shows a configuration example of the input device 20 and the display device 30 according to the embodiment. In the example shown in FIG. 2, an arbitrary display device 32 such as a liquid crystal display device, a plasma display device, or a cathode ray tube (CRT) display device is used as the display device 30, and the display device is used as the input device 20. An image pickup device 22 having a distance measuring function provided integrally with 32 or as a separate body is used. The control device 40 analyzes the user's action photographed by the imaging device 22 by image processing, discriminates the gesture made by the user, and acquires the user's instruction. According to this configuration example, since a wide range of the user's body can be photographed and the movement can be determined, the user can give an instruction by a gesture using not only a finger but also a hand or a foot. it can. This method is suitable when the user performs a gesture at a position some distance away from the imaging device 22. When adopting a gesture interface that does not depend on the distance to the user, an imaging device that does not have a distance measuring function may be used as the input device 20. However, as will be described later, the user can In order to provide a gesture interface capable of handling an object using a finger or the like, it is preferable to use an imaging device 22 having a distance measuring function.

図3は、実施の形態に係る入力装置20および表示装置30の他の構成例を示す。図3に示した例では、表示装置30として、スクリーン38に画像を投影するプロジェクタ36が用いられ、入力装置20として、測距機能を有する撮像装置22が用いられる。図3の例では、ユーザの後方上部に設けられたプロジェクタ36により、ユーザの前方に設けられたガラスなどの透明または半透明のスクリーン38に画像を投影し、スクリーン38に表示された画像に向かってジェスチャーを行うユーザを、スクリーン38の反対側に設けられた撮像装置22により撮影している。この構成例によれば、ユーザの体の広い範囲の動作を取得できるとともに、ユーザがスクリーン38に投影された画像に直接触れながら、または画像の近傍で動作を行うことができるので、スクリーン38に投影されたオブジェクトなどを手などで直接扱っているような操作感をユーザに与えることができる。また、撮像装置22をスクリーン38から離れた位置に配置することができるので、スクリーン38の近傍でユーザがジェスチャーを行っても、ユーザの体の部位までの距離を精度良く検知することができる。   FIG. 3 shows another configuration example of the input device 20 and the display device 30 according to the embodiment. In the example shown in FIG. 3, a projector 36 that projects an image on a screen 38 is used as the display device 30, and an imaging device 22 having a distance measuring function is used as the input device 20. In the example of FIG. 3, an image is projected onto a transparent or translucent screen 38 such as glass provided in front of the user by the projector 36 provided at the upper rear of the user, and directed toward the image displayed on the screen 38. The user who performs the gesture is photographed by the imaging device 22 provided on the opposite side of the screen 38. According to this configuration example, the movement of a wide range of the user's body can be acquired, and the user can perform the movement while directly touching the image projected on the screen 38 or in the vicinity of the image. It is possible to give the user an operational feeling that the projected object or the like is directly handled by hand or the like. In addition, since the imaging device 22 can be disposed at a position away from the screen 38, even if the user performs a gesture near the screen 38, the distance to the body part of the user can be accurately detected.

図4は、実施の形態に係る入力装置20および表示装置30のさらに別の構成例を示す。図4に示した例では、表示装置30として、液晶ディスプレイ装置、プラズマディスプレイ装置、CRTディスプレイ装置などの任意の表示装置32が用いられ、入力装置20として、表示装置32の表示画面34の内側に設けられたタッチパネル24が用いられる。または、プロジェクタによりタッチパネル24の表面に画像を投影する構成であってもよい。タッチパネル24は、抵抗感圧方式、赤外線検出方式など、任意の方式のタッチパネルであってよい。この構成例によれば、ユーザは、表示画面34に表示されているオブジェクトなどに直接触れつつ指示を入力することができる。   FIG. 4 shows still another configuration example of the input device 20 and the display device 30 according to the embodiment. In the example shown in FIG. 4, an arbitrary display device 32 such as a liquid crystal display device, a plasma display device, or a CRT display device is used as the display device 30, and the input device 20 is placed inside the display screen 34 of the display device 32. The provided touch panel 24 is used. Or the structure which projects an image on the surface of the touch panel 24 with a projector may be sufficient. The touch panel 24 may be a touch panel of an arbitrary system such as a resistance pressure system or an infrared detection system. According to this configuration example, the user can input an instruction while directly touching an object or the like displayed on the display screen 34.

図5は、実施の形態に係る入力装置20および表示装置30のさらに別の構成例を示す。図5に示した例では、表示装置30として、液晶ディスプレイ装置、プラズマディスプレイ装置、CRTディスプレイ装置などの任意の表示装置32が用いられ、入力装置20として、表示装置32の表示画面34の内側に設けられた非接触型入力装置26が用いられる。または、プロジェクタにより非接触型入力装置26の表面に画像を投影する構成であってもよい。この非接触型入力装置26は、ユーザの指先などの物体が接近したときに、その物体の形状や物体までの距離などを検知可能な入力装置であり、たとえば、特開2002−342033号公報に開示された入力装置を利用可能である。特開2002−342033号公報に開示された非接触型入力装置は、縦横に配列された複数の線状の電極を備え、ユーザの指先などの導電性の物体が電極に近づいたときに、その接近の程度に応じた静電容量の変化を検知し、入力装置の近傍にある物体の3次元位置情報を取得する。この構成例によれば、非接触型入力装置26を表示画面34に近接して設けることができ、表示画面34の近傍におけるユーザの動作や体の部位の形状を精度良く検知することができるので、ユーザは、表示画面34に表示された画像を見ながら、その画像の近傍で指などの入力部位により指示を入力することができる。非接触型入力装置26では、ユーザの体のうち、入力装置の近傍に接近した部位のみが検出されるので、動作を解析するために特定の部位を抽出する手間が省け、処理を簡略化することができる。また、接近させただけで、形状や距離を検知することができるので、表示画面34に触れなくても指示入力が可能であり、表示画面34に直接触ることに抵抗を感じるユーザであっても快適に使用することができる。さらに、表示画面34を強く押す必要が無く、ユーザが表示画面34に触れる前から接近を検知することができるので、反応性が良く、操作感に優れたユーザインタフェイスを提供することができる。   FIG. 5 shows still another configuration example of the input device 20 and the display device 30 according to the embodiment. In the example shown in FIG. 5, an arbitrary display device 32 such as a liquid crystal display device, a plasma display device, or a CRT display device is used as the display device 30, and the input device 20 is located inside the display screen 34 of the display device 32. The provided non-contact type input device 26 is used. Or the structure which projects an image on the surface of the non-contact-type input device 26 with a projector may be sufficient. This non-contact type input device 26 is an input device capable of detecting the shape of the object, the distance to the object, and the like when an object such as a user's fingertip approaches, and is disclosed in, for example, Japanese Patent Application Laid-Open No. 2002-342033. The disclosed input device can be used. The non-contact input device disclosed in Japanese Patent Application Laid-Open No. 2002-342033 includes a plurality of linear electrodes arranged vertically and horizontally, and when a conductive object such as a user's fingertip approaches the electrode, A change in capacitance according to the degree of approach is detected, and three-dimensional position information of an object in the vicinity of the input device is acquired. According to this configuration example, the non-contact input device 26 can be provided in the vicinity of the display screen 34, and the user's action and the shape of the body part in the vicinity of the display screen 34 can be detected with high accuracy. The user can input an instruction with an input part such as a finger in the vicinity of the image while viewing the image displayed on the display screen 34. In the non-contact type input device 26, since only a part close to the vicinity of the input device is detected in the user's body, it is possible to save the trouble of extracting a specific part in order to analyze the operation and simplify the processing. be able to. In addition, since the shape and distance can be detected simply by making them approach, it is possible to input instructions without touching the display screen 34, and even a user who feels resistance to touching the display screen 34 directly. It can be used comfortably. Further, since it is not necessary to press the display screen 34 strongly and the approach can be detected before the user touches the display screen 34, a user interface with good responsiveness and excellent operational feeling can be provided.

上述した複数の構成例のうち、いずれの構成を採用するかは、本制御システム10を設置する場所の環境、制御するアプリケーションやコンテンツなどの種類などに応じて決定されてもよい。たとえば、複数のユーザが一つの表示装置30を共有して利用するようなアプリケーションの場合、または、映画などのコンテンツを再生するアプリケーションの場合、ユーザが表示装置30から比較的距離をとって指示を入力することが想定されるので、図2または図3に示した構成例を採用してもよい。また、一人のユーザが個人的に利用するようなアプリケーションの場合、たとえば、画像や文書などのデータを編集する場合、ユーザと表示装置30との間の距離は比較的短いことが想定されるので、図4または図5に示した構成例を採用してもよい。複数の構成例を併用した制御システム10を構築する場合は、アプリケーションやコンテンツごとに、いずれの方式のジェスチュラルインタフェイスを採用するかを選択し、入力装置20を適宜切り替えて利用してもよい。   Which of the above-described configuration examples is to be adopted may be determined according to the environment of the place where the control system 10 is installed, the type of application or content to be controlled, and the like. For example, in the case of an application in which a plurality of users share and use one display device 30 or an application that reproduces content such as a movie, the user takes an instruction at a relatively distance from the display device 30. Since the input is assumed, the configuration example shown in FIG. 2 or 3 may be adopted. Further, in the case of an application that a single user personally uses, for example, when editing data such as an image or a document, the distance between the user and the display device 30 is assumed to be relatively short. The configuration example shown in FIG. 4 or FIG. 5 may be adopted. When constructing the control system 10 using a plurality of configuration examples in combination, it is possible to select which type of gesture interface is to be used for each application or content, and switch the input device 20 as appropriate. .

図6は、制御装置40の内部構成を示す。この構成は、ハードウエア的には、任意のコンピュータのCPU、メモリ、その他のLSIで実現でき、ソフトウエア的にはメモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。制御装置40は、入力装置20により検知された入力信号を取得する取得部42と、取得部42が取得した入力信号からユーザの動作を解析してユーザの指示を判別する解析部44と、解析部44により判別されたユーザの指示に対応する機能を実行する制御部46とを含む。   FIG. 6 shows the internal configuration of the control device 40. This configuration can be realized in terms of hardware by a CPU, memory, or other LSI of any computer, and in terms of software, it can be realized by a program loaded in the memory, but here it is realized by their cooperation. Draw functional blocks. Accordingly, those skilled in the art will understand that these functional blocks can be realized in various forms by hardware only, software only, or a combination thereof. The control device 40 includes an acquisition unit 42 that acquires an input signal detected by the input device 20, an analysis unit 44 that analyzes a user operation from the input signal acquired by the acquisition unit 42 and discriminates a user instruction, and an analysis And a control unit 46 that executes a function corresponding to the user instruction determined by the unit 44.

入力装置20が測距機能付き撮像装置であった場合、解析部44は、撮像装置が撮影した距離情報を有する画像を取得して、画像処理によりユーザの動作を判別する。解析部44は、形状認識技術によりユーザの体の一部、たとえば、頭、目、手、指、足などを抽出し、抽出した体の部位の動きを解析することにより、ユーザの動作を判別してもよい。入力装置20がタッチパネルであった場合、解析部44は、入力信号の形状や時間変化を解析することにより、ユーザの動作を判別してもよい。入力装置20が非接触型入力装置であった場合、解析部44は、入力信号の形状や距離、それらの時間変化を解析することにより、ユーザの動作を判別してもよい。   When the input device 20 is an imaging device with a distance measuring function, the analysis unit 44 acquires an image having distance information captured by the imaging device, and determines a user's operation by image processing. The analysis unit 44 extracts a part of the user's body, such as the head, eyes, hands, fingers, and feet, by shape recognition technology, and analyzes the movement of the extracted body part to determine the user's action. May be. When the input device 20 is a touch panel, the analysis unit 44 may determine the operation of the user by analyzing the shape of the input signal and changes over time. When the input device 20 is a non-contact type input device, the analysis unit 44 may determine the user's operation by analyzing the shape and distance of the input signal and their temporal changes.

図7は、制御装置40のハードウェアコンポーネントを示す。制御装置40は、CPU120、入力インタフェイス122、表示インタフェイス124、メモリ130、ハードディスク132、およびドライブ装置128を備える。これらの構成は、バス126などの信号伝送路により電気的に接続されている。   FIG. 7 shows the hardware components of the control device 40. The control device 40 includes a CPU 120, an input interface 122, a display interface 124, a memory 130, a hard disk 132, and a drive device 128. These components are electrically connected by a signal transmission path such as a bus 126.

入力インタフェイス122は、入力装置20が検知した入力信号を取得する。表示インタフェイス124は、表示装置30に表示する画像信号を出力する。ハードディスク132は、大容量の磁気記憶装置であり、各種ファイルなどを記憶する。記録媒体140は、上述した制御装置40の機能を、CPU120に実現させるためのプログラムを記録する。記録媒体140がドライブ装置128に挿入されると、そのプログラムは、メモリ130またはハードディスク132に読み出され、CPU120は、読み出されたプログラムにより本実施の形態の制御処理を行う。この記録媒体140は、CD−ROM、DVD、FDなどのコンピュータ読み取り可能な媒体である。   The input interface 122 acquires an input signal detected by the input device 20. The display interface 124 outputs an image signal to be displayed on the display device 30. The hard disk 132 is a large-capacity magnetic storage device and stores various files. The recording medium 140 records a program for causing the CPU 120 to realize the functions of the control device 40 described above. When the recording medium 140 is inserted into the drive device 128, the program is read to the memory 130 or the hard disk 132, and the CPU 120 performs control processing according to the present embodiment using the read program. The recording medium 140 is a computer-readable medium such as a CD-ROM, DVD, or FD.

ここでは、プログラムが記録媒体140に記録されている例について説明したが、別の例においては、このプログラムは、無線、有線を問わず、外部のサーバから送信されてもよい。図7に示したハードウェア構成において、プログラムは、コンピュータに本実施の形態の制御機能を実現させればよいのであって、外部から供給される場合だけでなく、予めハードディスク132に格納されていてよいことも当業者には理解されるところである。   Here, an example in which the program is recorded in the recording medium 140 has been described, but in another example, the program may be transmitted from an external server regardless of wireless or wired. In the hardware configuration shown in FIG. 7, the program only needs to realize the control function of the present embodiment on the computer, and is stored not only in the case of being supplied from the outside but also in the hard disk 132 in advance. It will be appreciated by those skilled in the art that this is good.

制御部46の機能は、コンピュータのCPUなどにより実行されるオペレーティング・システム(Operating System:OS)や、入出力制御用のアプリケーションなどにより実現されてもよい。たとえば、ウィンドウシステムなどのGUIを採用したOSの場合は、ユーザの指などの入力部位が接近した場所の近傍の位置で最上位にあるウィンドウのアプリケーションにユーザの指示が通知され、そのアプリケーションがユーザの指示に対応づけられた機能を実行してもよい。その位置にウィンドウがない場合は、OSまたは入出力制御用アプリケーションがその指示に対応づけられた機能を実行してもよい。   The function of the control unit 46 may be realized by an operating system (OS) executed by a CPU of a computer, an input / output control application, or the like. For example, in the case of an OS adopting a GUI such as a window system, the user's instruction is notified to the application of the window at the highest position in the vicinity of the place where the input part such as the user's finger approaches, and the application is notified to the user. A function associated with the instruction may be executed. If there is no window at that position, the OS or the input / output control application may execute a function associated with the instruction.

1.複数点による指示入力の例
従来のポインティングデバイスを利用したユーザインタフェイスでは、1点のポインタにより指示入力を行っていたが、本実施の形態の制御システム10が提供するジェスチュラルインタフェイスによれば、ユーザが指、手、足などを用いて、複数点の入力部位により指示を行うことができる。
1. Example of instruction input by a plurality of points In a conventional user interface using a pointing device, an instruction is input by a single pointer, but according to a gesture interface provided by the control system 10 of the present embodiment, The user can give instructions using a plurality of input parts using fingers, hands, feet, and the like.

図8および図9は、ユーザの複数の指の動きにより指示を入力する例を説明するための図である。図8に示すように、ユーザが親指と人差し指を閉じた状態で、表示装置30の画面上に表示されたアイコン200上に指を近づけ、図9に示すように、親指と人差し指を開く動作を行ったとする。このとき、取得部42は、入力装置20が検知した入力信号を解析部44に送り、解析部44は、ユーザの指の動きを解析して、ユーザが指を開く指示を行ったことを判別する。   8 and 9 are diagrams for explaining an example in which an instruction is input by movement of a plurality of fingers of the user. As shown in FIG. 8, with the user closing his / her thumb and index finger, the user brings his / her finger close to the icon 200 displayed on the screen of the display device 30 and opens the thumb and index finger as shown in FIG. Suppose you went. At this time, the acquisition unit 42 sends the input signal detected by the input device 20 to the analysis unit 44, and the analysis unit 44 analyzes the movement of the user's finger and determines that the user has given an instruction to open the finger. To do.

入力装置20が測距機能付きカメラであった場合、解析部44は、形状認識などの技術によりユーザの手を抽出して指の動きを追跡し、ユーザが指を開く動作を行ったことを判別する。入力装置20がタッチパネルまたは非接触型入力装置であった場合、解析部44は、表示画面上のアイコン200の近傍の座標に接近した、または触れた一かたまりの入力部位が二つに分かれ、それぞれが離れる方向に移動したときに、ユーザが指を開く動作を行ったと判定する。一かたまりの入力部位が二つに分かれる場合だけでなく、2つの入力部位が互いに離れる方向に移動したときにも、ユーザが指を開く動作を行ったと判定してもよい。   When the input device 20 is a camera with a distance measuring function, the analysis unit 44 extracts the user's hand by a technique such as shape recognition, tracks the movement of the finger, and confirms that the user has performed an operation of opening the finger. Determine. When the input device 20 is a touch panel or a non-contact type input device, the analysis unit 44 divides the input portion close to or touched the coordinates near the icon 200 on the display screen into two parts, respectively. When the user moves away, it is determined that the user has performed an operation of opening the finger. It may be determined that the user has performed an operation of opening the finger not only when the input portion is divided into two but also when the two input portions move away from each other.

ユーザが指を開く動作を行ったとき、制御部46は、指を開く動作に対応づけられた機能を実行する。たとえば、制御部46は、ユーザの指の近傍に表示されているアイコン200に対応づけられたアプリケーションを起動する機能を実行してもよい。そのアイコン200が、ファイルに対応づけられていた場合は、そのファイルを扱うことが可能なアプリケーションを起動して、そのファイルを開く機能を実行してもよい。このように、「指を開く」動作と、「アプリケーションを開く」、「ファイルを開く」などの機能を対応づけることで、ユーザの動作とアプリケーションの動作が感覚的に一致するので、より直感的に分かりやすく、親和性の高いユーザインタフェイスを実現することができる。   When the user performs an operation of opening the finger, the control unit 46 executes a function associated with the operation of opening the finger. For example, the control unit 46 may execute a function of starting an application associated with the icon 200 displayed in the vicinity of the user's finger. When the icon 200 is associated with a file, an application that can handle the file may be activated to execute a function of opening the file. In this way, by associating functions such as “open your finger” with “open application” and “open file” functions, the user's action and the application's action match sensuously, making it more intuitive. A user interface that is easy to understand and highly compatible can be realized.

指を開く動作と、「開始する」、「決定する」、「確定する」などの機能を対応づけてもよい。その他、各アプリケーションが、指を開く動作に対応した機能を実装してもよい。たとえば、画像処理用のアプリケーションにおいて、ユーザが画像上で指を開く動作を行ったとき、その部分を拡大する、またはその部分を指を開いた方向に伸ばす機能を実行してもよい。   The operation of opening a finger may be associated with functions such as “start”, “decide”, and “confirm”. In addition, each application may implement a function corresponding to the operation of opening a finger. For example, in an image processing application, when the user performs an operation of opening a finger on the image, a function of enlarging the part or extending the part in the direction in which the finger is opened may be executed.

逆に、ユーザが、図9に示すように、親指と人差し指を開いた状態で、表示装置30の画面上に表示されたアイコン200上に指を近づけ、図8に示すように、親指と人差し指を閉じる動作を行ったとき、解析部44が、ユーザがアイコン200上で指を閉じる動作を行ったと判定し、制御部46が、指を閉じる動作に対応づけられた機能を実行してもよい。たとえば、制御部46は、ユーザの指の近傍に表示されているアイコン200又はウィンドウに対応づけられたアプリケーションを終了する機能を実行してもよいし、アイコン200又はウィンドウに対応づけられたファイルを閉じる機能を実行してもよい。また、画像処理用のアプリケーションにおいて、ユーザが画像上で指を閉じる動作を行ったとき、その部分を縮小する、またはその部分を指を閉じた方向に縮める機能を実行してもよい。   Conversely, as shown in FIG. 9, the user brings his / her finger close to the icon 200 displayed on the screen of the display device 30 with the thumb and index finger open, and the thumb and index finger are shown in FIG. The analysis unit 44 may determine that the user has performed the operation of closing the finger on the icon 200, and the control unit 46 may execute a function associated with the operation of closing the finger. . For example, the control unit 46 may execute a function of terminating the application associated with the icon 200 or window displayed in the vicinity of the user's finger, or the file associated with the icon 200 or window. A close function may be performed. Further, in the image processing application, when the user performs an operation of closing the finger on the image, a function of reducing the part or reducing the part in the direction in which the finger is closed may be executed.

上述の例では、指を開く又は閉じる動作について説明したが、その他、制御部46は、ユーザの指や手などを含む複数の入力部位を用いた指示を受け付けて、その動作に対応づけられた機能を実行してもよい。たとえば、本を閲覧するアプリケーションにおいて、ユーザが表示された本のページの角をつまむ動作を行ったとき、そのページを記憶して、「しおりを挟む」機能を実行してもよい。また、ロールプレイングゲームにおいて、ユーザが表示されたアイテムの近傍に指をおいて、そのアイテムをつかむ動作を行ったとき、そのアイテムを「拾う」機能を実行してもよい。   In the above-described example, the operation of opening or closing the finger has been described. In addition, the control unit 46 receives an instruction using a plurality of input parts including a user's finger and hand, and is associated with the operation. A function may be performed. For example, in a book browsing application, when the user performs an operation of pinching a corner of a displayed book page, the page may be stored and a “bookmark bookmark” function may be executed. Further, in the role playing game, when the user places a finger in the vicinity of the displayed item and performs an operation of grasping the item, a function of “pick up” the item may be executed.

2.形状を利用した指示入力の例
図10は、ユーザの手の形状により指示を入力する例を説明するための図である。図9に示したように、ユーザが手を開いた状態で表示画面上に手の平を置いたとする。入力装置20が測距機能付きカメラであった場合、解析部44は、形状認識などの技術によりユーザの手を抽出して手の形状を判別する。入力装置20がタッチパネルまたは非接触型入力装置であった場合、解析部44は、表示画面上に接近した、または触れた物体の形状から、既知の技術により特徴点を抽出して、または所定の評価式により評価して、物体の形状を判別する。一般的な手の形状をデータベースに保持しておき、データベースに照合して一致する形状を抽出することにより、手の形状を判別してもよい。検出した物体の面積に基づいて形状を判定してもよい。たとえば、ユーザが手を表示画面上に置いたとき、手を開いた状態が最も面積が大きくなり、手を握った状態が最も面積が小さくなる。このことを利用して、手の形状を判別してもよい。ユーザが手を開いた状態で画面上に手の平を置いたとき、制御部46は、その形状に対応する機能、たとえば、手の平を置いた位置において最上位に表示中のウィンドウ210に対応するアプリケーションを「終了する」機能を実行する。「手の平を置く」という動作と、「停止する」、「終了する」などの機能を対応づけることで、直感的に分かりやすく、操作性の良いユーザインタフェイスを実現することができる。
2. Example of Instruction Input Using Shape FIG. 10 is a diagram for explaining an example of inputting an instruction according to the shape of the user's hand. As shown in FIG. 9, it is assumed that the user puts the palm on the display screen with the hand open. When the input device 20 is a camera with a distance measuring function, the analysis unit 44 extracts the user's hand by a technique such as shape recognition and determines the shape of the hand. When the input device 20 is a touch panel or a non-contact input device, the analysis unit 44 extracts a feature point by a known technique from the shape of an object that approaches or touches the display screen, Evaluation is performed using an evaluation formula to determine the shape of the object. A general hand shape may be stored in a database, and the shape of the hand may be determined by collating the database and extracting a matching shape. The shape may be determined based on the detected area of the object. For example, when the user places his / her hand on the display screen, the area is the largest when the hand is opened and the area is the smallest when the hand is held. This may be used to determine the shape of the hand. When the user places his / her palm on the screen with his hand open, the control unit 46 displays a function corresponding to the shape, for example, an application corresponding to the window 210 being displayed at the top in the position where the palm is placed. Execute “Exit” function. By associating the action of “putting the palm” with the functions such as “stop” and “end”, a user interface that is intuitive and easy to understand can be realized.

図11は、手の形状に対してオブジェクトをマッピングする例を説明するための図である。図11に示したように、ユーザが一方の手、ここでは左手で特定の形状を作り、他方の手、ここでは右手で表示画面上のオブジェクト220の位置から左手の方向へ指をずらす動作を行ったとする。手の形状の判別方法は、上述した例と同様である。このとき、制御部46は、左手の形状に対応するハードディスク132の格納場所に、右手の指で移動させたオブジェクト220に対応するファイルを格納する機能を実行する。左手の形状に対応する格納場所は、ファイルシステムにおけるディレクトリまたはフォルダなどであってもよいし、仮想的なフォルダであってもよい。また、手の形状にファイル自身を対応づけてもよい。一つの形状に対して一つの格納場所を対応づけるだけでなく、たとえば、開いた手の各指に対してそれぞれ格納場所を対応づけてもよい。   FIG. 11 is a diagram for explaining an example of mapping an object to a hand shape. As shown in FIG. 11, the user moves a finger in the direction of the left hand from the position of the object 220 on the display screen with one hand, here the left hand, and the other hand, here the right hand. Suppose you went. The method for determining the shape of the hand is the same as in the above-described example. At this time, the control unit 46 executes a function of storing a file corresponding to the object 220 moved by the finger of the right hand in a storage location of the hard disk 132 corresponding to the shape of the left hand. The storage location corresponding to the shape of the left hand may be a directory or folder in the file system, or may be a virtual folder. Further, the file itself may be associated with the shape of the hand. In addition to associating one storage location with one shape, for example, each storage location may be associated with each finger of an open hand.

図12は、手の形状に対してオブジェクトをマッピングするためのテーブルの例を示す。テーブル230は、制御装置40のメモリ130またはハードディスク132などに保持される。テーブル230には、形状欄232、格納場所欄234が設けられている。形状欄232は、手の形状を表す画像、パラメータなどを保持する。手の形状を画像として認識する場合は、その画像ファイルのファイル名などを保持してもよいし、手の形状を特徴点または評価式などでパラメータ化して認識する場合は、そのパラメータ、またはパラメータが格納されたファイルのファイル名などを保持してもよい。格納場所欄234は、オブジェクトの格納場所を保持する。手の形状と、その形状に対応する格納場所は、予め登録されていてもよいし、ユーザが図11に示した操作を行ったときに、手の形状が未登録の形状であった場合、制御部46が、その手の形状と格納場所をテーブル230に登録してもよい。このとき、ユーザが格納場所を指示してもよいし、自動的に適当な格納場所を割り当ててもよい。手の形状にファイル自身を対応づける場合は、格納場所欄234は、そのファイルのファイル名を保持する。   FIG. 12 shows an example of a table for mapping objects to hand shapes. The table 230 is held in the memory 130 or the hard disk 132 of the control device 40. The table 230 is provided with a shape column 232 and a storage location column 234. The shape column 232 holds an image representing a hand shape, parameters, and the like. When recognizing the shape of the hand as an image, the file name of the image file may be retained, and when recognizing the shape of the hand as a feature point or an evaluation formula, the parameter The file name etc. of the file in which is stored may be retained. The storage location column 234 holds the storage location of the object. The shape of the hand and the storage location corresponding to the shape may be registered in advance, or when the shape of the hand is an unregistered shape when the user performs the operation shown in FIG. The control unit 46 may register the hand shape and storage location in the table 230. At this time, the user may instruct the storage location, or an appropriate storage location may be automatically assigned. When the file itself is associated with the hand shape, the storage location field 234 holds the file name of the file.

図13は、図11に示した操作により格納されたオブジェクトを取り出す例を説明するための図である。図13に示したように、ユーザが一方の手、ここでは左手で取り出したいオブジェクトの格納場所に対応する手の形状を作り、他方の手、ここでは右手で左手の近傍の位置から離れる方向へ指をずらす動作を行う。このとき、制御部46は、左手の形状に対応する格納場所に格納されたオブジェクトを特定し、表示画面上に表示する。制御部46は、このオブジェクトに対応するファイルを開く機能を実行してもよい。   FIG. 13 is a diagram for explaining an example of extracting an object stored by the operation shown in FIG. As shown in FIG. 13, the user creates a hand shape corresponding to the storage location of the object to be taken out with one hand, here the left hand, and away from the position near the left hand with the other hand, here the right hand. Move your finger. At this time, the control unit 46 identifies the object stored in the storage location corresponding to the shape of the left hand and displays it on the display screen. The control unit 46 may execute a function of opening a file corresponding to this object.

3.距離に応じた指示入力の例
図2および図3に示した測距機能付きの撮像装置22を用いた構成例、および図5に示した非接触型入力装置26を用いた構成例では、表示装置30からユーザの体の部位までの距離を検知することができる。以下、距離に応じた指示入力の例について説明する。
3. Example of instruction input according to distance In the configuration example using the imaging device 22 with the distance measuring function shown in FIGS. 2 and 3 and the configuration example using the non-contact type input device 26 shown in FIG. The distance from the device 30 to the body part of the user can be detected. Hereinafter, an example of instruction input according to the distance will be described.

図14は、距離に応じた指示入力の例を説明するための図である。図14に示した例では、制御部46が表示装置に魚が泳いでいる動画像を表示している。ここで、ユーザが表示画面に手を近づけたときに、表示画面からユーザの手までの距離が所定のしきい値を下回ると、制御部46は、ユーザの手の近傍から魚が逃げる動画像に表示を切り替える。これにより、現実に生きた魚が表示画面中を泳いでいるような臨場感を与えることができる。後述の例4に関連するが、ユーザの手が近づくときの速度を算出し、速度が速いときは、表示を切り替えるしきい値を大きくして、手が遠い位置にあるときから魚が逃げ始めるようにし、速度が遅いときは、しきい値を小さくして、手が近い位置に来るまで魚が逃げないようにしてもよい。制御部46は、ユーザの手と表示画面との間の距離が所定値以上であるときは、魚が自由に泳いでいる動画像を表示し、距離が所定値を下回っているときは、魚がユーザの手の位置を避けて泳ぐ動画像を表示してもよい。非接触型入力装置は、表示画面の近傍の距離情報を精度良く検知することができるので、この例では、入力装置20として非接触型入力装置を用いることがより好ましい。   FIG. 14 is a diagram for explaining an example of instruction input according to the distance. In the example shown in FIG. 14, the control unit 46 displays a moving image of fish swimming on the display device. Here, when the user brings his hand close to the display screen, if the distance from the display screen to the user's hand falls below a predetermined threshold, the control unit 46 displays a moving image in which fish escapes from the vicinity of the user's hand. Switch the display to. As a result, it is possible to give a sense of realism that a fish that actually lives is swimming in the display screen. Although related to Example 4 described later, the speed at which the user's hand approaches is calculated, and when the speed is high, the threshold value for switching the display is increased, and the fish starts to escape when the hand is far away. Thus, when the speed is low, the threshold value may be reduced so that the fish does not escape until the hand is near. When the distance between the user's hand and the display screen is greater than or equal to a predetermined value, the control unit 46 displays a moving image of the fish swimming freely, and when the distance is less than the predetermined value, May display a moving image that avoids the position of the user's hand. Since the non-contact type input device can accurately detect the distance information in the vicinity of the display screen, in this example, it is more preferable to use the non-contact type input device as the input device 20.

入力装置20として撮像装置を用いる場合は、測距機能や画像処理の精度の関係から、ユーザが撮像装置から離れすぎていると正確にユーザの指示を判別できない恐れがある。また、入力装置20として非接触型入力装置を用いる場合は、ユーザの手などの部位が入力装置20に近づかないと、静電容量の変化が起こらず検知できない。このように、入力装置20の特性に応じて、ユーザが指示入力を行うことが可能な距離の上限値が存在するので、上述の魚が泳ぐ動画像の例を、指示入力の可否を提示する手段として利用してもよい。たとえば、ユーザの手の位置が入力装置20から離れすぎていて指示入力が不可能な距離であるときには、魚が自由に泳ぎ回っている動画像を表示して、入力が不可能であることをユーザに提示し、ユーザが入力装置に近づいて指示入力が可能な距離になったときに、ユーザの手の回りを魚が避けるように泳ぐ動画像を表示して、入力が可能であることをユーザに提示してもよい。制御部46は、入力装置20に対する指示入力の可否を判断するための距離のしきい値を予め保持しておいてもよい。   When an imaging device is used as the input device 20, the user's instruction may not be accurately determined if the user is too far away from the imaging device due to the distance measurement function and the accuracy of image processing. Further, when a non-contact type input device is used as the input device 20, unless a part such as a user's hand approaches the input device 20, the capacitance does not change and cannot be detected. As described above, since there is an upper limit value of the distance at which the user can input an instruction in accordance with the characteristics of the input device 20, the above-described example of a moving image of fish swimming indicates whether the instruction can be input. It may be used as a means. For example, when the position of the user's hand is too far away from the input device 20 and the instruction cannot be input, a moving image in which fish are swimming freely is displayed and the input is impossible. When the user is close to the input device and the input distance is within a distance that allows the user to input instructions, a moving image is displayed so that the fish avoids the user's hand. It may be presented to the user. The control unit 46 may hold in advance a distance threshold for determining whether or not an instruction can be input to the input device 20.

4.移動量、速度、加速度に応じた指示入力の例
図15および図16は、画面上に表示されたオブジェクトを移動する機能について説明するための図である。図15および図16の例では、ユーザが表示装置30に表示されたオブジェクトを指でずらして移動させようとしている。このとき、制御部46は、ユーザの指などの部位の移動量、速度、加速度を検知して、それに応じてオブジェクトの移動量を決定する。たとえば、オブジェクトごとに重さ、すなわちオブジェクトを移動させるために必要な仮想的なエネルギー値を予め設定しておき、そのエネルギー値と、ユーザがオブジェクトを移動させようと指を動かすときの移動量、速度、または加速度に基づいて、オブジェクトの移動状態を制御する。制御部46は、軽いオブジェクトについては、図15に示すように、ユーザが素早く指をずらした場合にも、それに追随してオブジェクトを移動させるが、重いオブジェクトについては、図16に示すように、ユーザが素早く指をずらした場合にはオブジェクトを移動させない。重いオブジェクトは、初めはユーザがゆっくりと指をずらすことで移動し始め、徐々に指を早く移動させると、それに追随して移動するようにする。これにより、現実の静止摩擦および動摩擦抵抗を模した移動状況を擬似的に再現することができ、ユーザにオブジェクトの重みを反映した操作感を与えることができる。この例で説明した技術は、従来のポインティングデバイスを用いたユーザインタフェイスにおいても利用可能である。
4). Example of Instruction Input According to Movement Amount, Speed, and Acceleration FIGS. 15 and 16 are diagrams for explaining a function of moving an object displayed on the screen. In the example of FIGS. 15 and 16, the user tries to move the object displayed on the display device 30 with his / her finger. At this time, the control unit 46 detects the movement amount, speed, and acceleration of a part such as a user's finger and determines the movement amount of the object accordingly. For example, the weight for each object, that is, a virtual energy value necessary for moving the object is set in advance, and the energy value and the amount of movement when the user moves the finger to move the object, The movement state of the object is controlled based on the speed or acceleration. As shown in FIG. 15, the control unit 46 moves the object following a light object even when the user quickly moves his / her finger, as shown in FIG. 15. When the user quickly moves his / her finger, the object is not moved. A heavy object begins to move when the user slowly moves his / her finger, and when the user moves his / her finger slowly, he / she moves following it. As a result, a moving situation simulating actual static friction and dynamic friction resistance can be reproduced in a pseudo manner, and an operational feeling reflecting the weight of the object can be given to the user. The technique described in this example can also be used in a user interface using a conventional pointing device.

制御部46は、ユーザがオブジェクトに与える力の大きさを判定して、その力の大きさに応じてオブジェクトの移動状態を制御してもよい。入力装置20として撮像装置または非接触型入力装置を用いる場合は、入力装置20とユーザの手の間の距離に基づいて力の大きさを判定してもよい。たとえば、ユーザの手が表示画面に近いほど大きな力をオブジェクトに与えることができるようにしてもよい。入力装置20としてタッチパネルを用いる場合は、押圧する力の大きさに基づいて力の大きさを判定してもよい。従来のポインティングデバイスを用いる場合は、感圧式マウスなどの押圧の度合いにより力の大きさを判定してもよい。   The control unit 46 may determine the magnitude of the force applied to the object by the user and control the movement state of the object according to the magnitude of the force. When an imaging device or a non-contact input device is used as the input device 20, the magnitude of the force may be determined based on the distance between the input device 20 and the user's hand. For example, the closer the user's hand is to the display screen, the greater the force may be applied to the object. When using a touch panel as the input device 20, the magnitude of the force may be determined based on the magnitude of the pressing force. When a conventional pointing device is used, the magnitude of the force may be determined based on the degree of pressing of a pressure-sensitive mouse or the like.

図17は、紙を扱う機能について説明するための図である。図17では、制御部46が本を開いた画像を表示装置30に表示している。ユーザがページの上に指をおき、ゆっくり指をずらすと、制御部46は、ユーザの指の動きに追随してページが徐々にめくれていき、所定の位置を超えるとページがめくれて次のページにうつるような画像を表示する。ユーザが素早く指を動かした場合は、制御部46は、紙が指の動きに追随できずに、途中までめくれて元に戻るような画像を表示する。これにより、現実に本を読んでいるような臨場感をユーザに与えることができる。制御部46は、紙がユーザの動きに追随できるか否かを判断するために用いる速度のしきい値を予め保持してもよい。その他、紙を扱う例として、制御部46は、ユーザの指の動きが早過ぎた場合に、紙がしわを作る様子を表示したり、ユーザが紙をつまむ、破る、などの動作を行ったときに、紙に凹凸をつけたり、紙が破れた様子を表示したりしてもよい。   FIG. 17 is a diagram for explaining a function of handling paper. In FIG. 17, the control unit 46 displays an image with the book opened on the display device 30. When the user places his finger on the page and slowly moves his / her finger, the control unit 46 gradually turns the page following the movement of the user's finger, and when the predetermined position is exceeded, the page turns and the next page is turned. Display a moving image on the page. When the user quickly moves his / her finger, the control unit 46 displays an image in which the paper is not able to follow the movement of the finger but is turned halfway and returned. Thereby, it is possible to give the user a sense of reality as if they are actually reading a book. The control unit 46 may hold in advance a speed threshold value used to determine whether the paper can follow the user's movement. In addition, as an example of handling paper, the control unit 46 performs an operation such as displaying how the paper creates a wrinkle when the user's finger moves too quickly, or pinching or tearing the paper. Sometimes, the paper may be uneven, or the paper may be displayed as torn.

移動量、速度、加速度に応じた指示入力の他の例として、ユーザがあるオブジェクトを指などにより移動させ、他のオブジェクトの上を通過させたとき、移動速度に応じて他のオブジェクトに所定の処理を行ってもよい。たとえば、移動中のオブジェクトに対応するファイルを、通過したオブジェクトに対応するアプリケーションにより開く機能を実行してもよい。   As another example of the instruction input according to the movement amount, the speed, and the acceleration, when the user moves an object with a finger or the like and passes over the other object, the other object is given a predetermined value according to the moving speed. Processing may be performed. For example, a function of opening a file corresponding to the moving object by an application corresponding to the passed object may be executed.

5.3次元オブジェクトに対する指示入力の例
従来、3次元オブジェクトを表示画面上に表示し、ユーザから3次元オブジェクトの移動、回転などの操作を受け付ける場合、ポインタの動きが2次元的であるから、3次元的な指示入力が困難であるという問題があった。図2および図3に示した測距機能付きの撮像装置22を用いた構成例、および図5に示した非接触型入力装置26を用いた構成例では、ユーザの体の部位の動きを3次元的に取得することができるので、3次元空間を扱うのに適したジェスチュラルインタフェイスを提供することができる。
5. Example of instruction input to a three-dimensional object Conventionally, when a three-dimensional object is displayed on a display screen and an operation such as movement or rotation of the three-dimensional object is received from the user, the movement of the pointer is two-dimensional. There has been a problem that three-dimensional instruction input is difficult. In the configuration example using the imaging device 22 with a distance measuring function shown in FIGS. 2 and 3 and the configuration example using the non-contact type input device 26 shown in FIG. Since it can be obtained in a dimensional manner, a gesture interface suitable for handling a three-dimensional space can be provided.

図18は、3次元オブジェクトを扱う例を説明するための図である。制御部46が表示装置30に表示した3次元オブジェクト240の近傍で、ユーザがオブジェクト240をつかんで紙面奥方向へ回すジェスチャーを行うと、制御部46は、ユーザが手を回した方向と同じ方向に3次元オブジェクト240を回転させる。このように、本実施の形態のジェスチュラルインタフェイスによれば、3次元オブジェクトを実際に手で扱っているような操作感を与えることができ、3次元空間を扱うためのユーザインタフェイスの操作性を飛躍的に向上させることができる。   FIG. 18 is a diagram for explaining an example of handling a three-dimensional object. When the control unit 46 performs a gesture in which the user grabs the object 240 and rotates it in the back direction of the paper in the vicinity of the three-dimensional object 240 displayed on the display device 30, the control unit 46 has the same direction as the direction in which the user turns his hand. The three-dimensional object 240 is rotated. As described above, according to the gesture interface of the present embodiment, it is possible to give an operational feeling as if a three-dimensional object is actually handled by a hand, and an operation of a user interface for handling a three-dimensional space. The sex can be improved dramatically.

(第2の実施の形態)
第2の実施の形態では、ユーザの体の一部ではなく、ユーザにより操作される物体の形状又は動作、又は物体までの距離により指示を入力する技術について説明する。本実施の形態の制御システム10の全体構成、入力装置20、表示装置30、制御装置40の内部構成は、それぞれ第1の実施の形態と同様である。本実施の形態では、主に、図5に示した非接触型入力装置26を用いた構成例について説明するが、他の構成例を用いた場合についても同様である。静電容量の変化を検知する非接触型入力装置の場合、導電性の物体を表示画面上に置き、その物体にユーザが触れると、静電容量が変化して物体の形状が検知される。これを利用して、導電性物体の形状や動きに所定の機能を対応づけてユーザインタフェイスを構築することができる。
(Second Embodiment)
In the second embodiment, a technique for inputting an instruction based on the shape or motion of an object operated by the user, or the distance to the object, instead of a part of the user's body will be described. The overall configuration of the control system 10 of the present embodiment and the internal configurations of the input device 20, the display device 30, and the control device 40 are the same as those of the first embodiment. In the present embodiment, a configuration example using the non-contact type input device 26 shown in FIG. 5 will be mainly described, but the same applies to the case where another configuration example is used. In the case of a non-contact input device that detects a change in capacitance, when a conductive object is placed on the display screen and the user touches the object, the capacitance changes and the shape of the object is detected. By utilizing this, a user interface can be constructed by associating a predetermined function with the shape and movement of the conductive object.

図19は、物体の形状や動きにより指示を入力する例を説明するための図である。図19に示した例では、表示装置30に、制御部46により制御される音楽再生アプリケーションのウインドウ250が表示されている。このとき、ユーザが、音量調節機能に対応づけられた形状を有する音量調節ユニット260を表示画面上に置いて、ツマミ262を左右に動かしたとする。解析部44は、入力信号の形状を解析して、これが音量調節ユニット260であることを検知し、さらにツマミ262の動きを解析して制御部46に伝える。制御部46は、ツマミ262の移動量に応じて、音楽再生アプリケーションにおける音量を制御する。   FIG. 19 is a diagram for explaining an example in which an instruction is input based on the shape or movement of an object. In the example shown in FIG. 19, a music playback application window 250 controlled by the control unit 46 is displayed on the display device 30. At this time, it is assumed that the user places the volume adjustment unit 260 having a shape associated with the volume adjustment function on the display screen and moves the knob 262 to the left and right. The analysis unit 44 analyzes the shape of the input signal, detects that this is the volume control unit 260, further analyzes the movement of the knob 262, and transmits it to the control unit 46. The control unit 46 controls the volume of the music playback application according to the amount of movement of the knob 262.

静電容量の変化を検知する非接触型入力装置は、導電性物体のみを検知するので、絶縁性物体の底面に導線により特定の形状を描き、その形状と所定の機能とを対応づけてもよい。   A non-contact type input device that detects a change in capacitance detects only a conductive object. Therefore, even if a specific shape is drawn on the bottom surface of an insulating object with a conductive wire and the shape is associated with a predetermined function. Good.

以上、本発明を実施の形態をもとに説明した。この実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。   The present invention has been described based on the embodiments. This embodiment is an exemplification, and it will be understood by those skilled in the art that various modifications can be made to combinations of the respective constituent elements and processing processes, and such modifications are also within the scope of the present invention. is there.

実施の形態では、制御システム10がパーソナルコンピュータなどの電子機器に相当する例について説明した。他の例では、入力装置20として非接触型入力装置26を用い、テーブルの天板に表示装置30および入力装置20を設け、その上でゲームなどを楽しめるように構成してもよい。また、通路の床などに表示装置30および入力装置20を設け、ユーザが歩いた足跡を表示したり、ユーザの行き先を画像や光などでナビゲーションするように構成してもよい。   In the embodiment, an example in which the control system 10 corresponds to an electronic device such as a personal computer has been described. In another example, a non-contact type input device 26 may be used as the input device 20, and the display device 30 and the input device 20 may be provided on a table top so that a game or the like can be enjoyed thereon. Further, the display device 30 and the input device 20 may be provided on the floor of a passage to display a footprint that the user has walked, or to navigate the destination of the user with an image or light.

10・・・制御システム、20・・・入力装置、22・・・撮像装置、24・・・タッチパネル、26・・・非接触型入力装置、30・・・表示装置、40・・・制御装置、42・・・取得部、44・・・解析部、46・・・制御部。 DESCRIPTION OF SYMBOLS 10 ... Control system, 20 ... Input device, 22 ... Imaging device, 24 ... Touch panel, 26 ... Non-contact input device, 30 ... Display device, 40 ... Control device , 42... Acquisition unit, 44... Analysis unit, 46.

Claims (8)

ユーザに紙の画像を提示するための表示部と、
ユーザの体の少なくとも一部又はユーザにより操作される物体の少なくとも一部を含む入力部位の動作を検知する検知部と、
前記検知部が、ユーザが表示された紙の上に前記入力部位をおき、所定値よりもゆっくり前記入力部位をずらしたことを検知すると、前記入力部位の動きに追随して前記紙が徐々にめくれていく画像を前記表示部に表示させる制御部と、
を備え
前記制御部は、ユーザが前記入力部位を前記所定値よりも速く動かした場合は、前記紙が前記入力部位の動きに追随できずに、途中までめくれて元に戻るような画像を前記表示部に表示させる
ことを特徴とする制御システム。
A display for presenting a paper image to the user;
A detection unit for detecting an operation of an input part including at least a part of a user's body or an object operated by the user;
When the detection unit detects that the user places the input part on the displayed paper and shifts the input part more slowly than a predetermined value, the paper gradually follows the movement of the input part. A control unit for displaying a turning image on the display unit;
Equipped with a,
When the user moves the input site faster than the predetermined value, the control unit displays an image such that the paper is not able to follow the movement of the input site but is turned halfway and returned to the original state. A control system characterized by being displayed on the screen .
前記制御部は、前記入力部位の位置が所定の位置を超えると、前記紙がめくれて次のページにうつるような画像を前記表示部に表示させることを特徴とする請求項1に記載の制御システム。   2. The control according to claim 1, wherein when the position of the input part exceeds a predetermined position, the control unit causes the display unit to display an image that turns the paper and moves to the next page. system. 前記制御部は、ユーザが前記入力部位を前記所定値よりも速く動かした場合は、前記紙がしわを作る様子を前記表示部に表示させることを特徴とする請求項1又は2に記載の制御システム。 3. The control according to claim 1, wherein when the user moves the input portion faster than the predetermined value, the control unit causes the display unit to display a state in which the paper forms a wrinkle. 4. system. 前記検知部は、前記入力部位までの距離情報を取得可能な撮像装置であることを特徴とする請求項1からのいずれかに記載の制御システム。 The detection unit, the control system according to any of claims 1 3, characterized in that the acquired image pickup apparatus capable of distance information to the input portion. 前記検知部は、複数の電極を含み、前記入力部位の接近による前記電極間の静電容量の変化を検知する入力装置であることを特徴とする請求項1からのいずれかに記載の制御システム。 The detecting portion includes a plurality of electrodes, the control according to any one of claims 1 to 3, characterized in that said an input device for detecting a change in capacitance between the electrodes by the approaching of the input region system. コンピュータに備えられた表示部が、ユーザに紙の画像を提示するステップと、
コンピュータに備えられた検知部が、ユーザの体の少なくとも一部又はユーザにより操作される物体の少なくとも一部を含む入力部位の動作を検知するステップと、
コンピュータに備えられた制御部が、ユーザが表示された紙の上に前記入力部位をおき、所定値よりもゆっくり前記入力部位をずらしたことを検知すると、前記入力部位の動きに追随して前記紙が徐々にめくれていく画像を表示させるステップと、
前記制御部が、ユーザが前記入力部位を前記所定値よりも速く動かした場合は、前記紙が前記入力部位の動きに追随できずに、途中までめくれて元に戻るような画像を表示させるステップと、
を含むことを特徴とする制御方法。
A display unit provided in the computer presents a paper image to the user;
A step of detecting a motion of an input part including at least a part of a user's body or at least a part of an object operated by the user by a detection unit provided in the computer ;
When the control unit included in the computer places the input part on the displayed paper and detects that the input part has been shifted more slowly than a predetermined value , the control unit follows the movement of the input part. A step of displaying an image of the paper turning over gradually,
When the user moves the input part faster than the predetermined value, the control unit displays an image in which the paper is not able to follow the movement of the input part but is turned halfway and returned to the original state. When,
The control method characterized by including.
ユーザに紙の画像を提示する機能と、
ユーザの体の少なくとも一部又はユーザにより操作される物体の少なくとも一部を含む入力部位の動作を検知する機能と、
ユーザが表示された紙の上に前記入力部位をおき、所定値よりもゆっくり前記入力部位をずらしたことを検知すると、前記入力部位の動きに追随して前記紙が徐々にめくれていく画像を表示させる機能と、
ユーザが前記入力部位を前記所定値よりも速く動かした場合は、前記紙が前記入力部位の動きに追随できずに、途中までめくれて元に戻るような画像を表示させる機能と、
をコンピュータに実現させるためのコンピュータプログラム。
The ability to present paper images to the user;
A function of detecting an operation of an input part including at least a part of a user's body or an object operated by the user;
When the user places the input part on the displayed paper and detects that the input part is shifted more slowly than a predetermined value, an image in which the paper gradually turns up following the movement of the input part is displayed. A function to display,
When the user moves the input part faster than the predetermined value, the function of causing the paper to follow the movement of the input part and to display an image that turns up halfway and returns to the original position;
A computer program for realizing a computer.
請求項に記載のコンピュータプログラムを記録したコンピュータ読み取り可能な記録媒体。 A computer-readable recording medium on which the computer program according to claim 7 is recorded.
JP2009000156A 2009-01-05 2009-01-05 Control system and control method Expired - Fee Related JP5184384B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009000156A JP5184384B2 (en) 2009-01-05 2009-01-05 Control system and control method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009000156A JP5184384B2 (en) 2009-01-05 2009-01-05 Control system and control method

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2003193738A Division JP4723799B2 (en) 2003-07-08 2003-07-08 Control system and control method

Publications (2)

Publication Number Publication Date
JP2009070416A JP2009070416A (en) 2009-04-02
JP5184384B2 true JP5184384B2 (en) 2013-04-17

Family

ID=40606525

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009000156A Expired - Fee Related JP5184384B2 (en) 2009-01-05 2009-01-05 Control system and control method

Country Status (1)

Country Link
JP (1) JP5184384B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110769906A (en) * 2017-06-12 2020-02-07 株式会社万代南梦宫娱乐 Simulation system, image processing method, and information storage medium

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012003734A (en) * 2010-06-17 2012-01-05 Yoichi Ochiai Icon on capacitance type touch sensor
JP2012118637A (en) * 2010-11-29 2012-06-21 Nissha Printing Co Ltd Authentication system, input device, and authentication program
WO2012105703A1 (en) * 2011-02-04 2012-08-09 シャープ株式会社 Display device, display image generating method, program, and recording medium
JP5725923B2 (en) * 2011-03-25 2015-05-27 京セラ株式会社 Electronics
JP2012216148A (en) * 2011-04-01 2012-11-08 Sharp Corp Display device, display method, computer program, and recording medium
US20140089859A1 (en) * 2011-05-24 2014-03-27 Mitsubishi Electric Corporation Equipment control device, operation reception method, and program
JP2013114467A (en) * 2011-11-29 2013-06-10 Nikon Corp Display system, display method and program
JP5983264B2 (en) * 2012-10-03 2016-08-31 コニカミノルタ株式会社 Control apparatus, image forming apparatus, display method, and control program
JP7361853B1 (en) * 2022-08-10 2023-10-16 功憲 末次 E-book display system and e-book display program

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2827612B2 (en) * 1991-10-07 1998-11-25 富士通株式会社 A touch panel device and a method for displaying an object on the touch panel device.
JP3521187B2 (en) * 1996-10-18 2004-04-19 株式会社東芝 Solid-state imaging device
JPH10198517A (en) * 1997-01-10 1998-07-31 Tokyo Noukou Univ Method for controlling display content of display device
JP4542637B2 (en) * 1998-11-25 2010-09-15 セイコーエプソン株式会社 Portable information device and information storage medium
JP3491616B2 (en) * 2001-02-27 2004-01-26 株式会社日立製作所 Page turning apparatus and page turning method
JP3770829B2 (en) * 2001-12-05 2006-04-26 日立オムロンターミナルソリューションズ株式会社 Booklet handling equipment

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110769906A (en) * 2017-06-12 2020-02-07 株式会社万代南梦宫娱乐 Simulation system, image processing method, and information storage medium

Also Published As

Publication number Publication date
JP2009070416A (en) 2009-04-02

Similar Documents

Publication Publication Date Title
JP4723799B2 (en) Control system and control method
JP5184384B2 (en) Control system and control method
US11048333B2 (en) System and method for close-range movement tracking
JP6074170B2 (en) Short range motion tracking system and method
Hinckley et al. Sensor synaesthesia: touch in motion, and motion in touch
KR100984596B1 (en) Gestures for touch sensitive input devices
US10353570B1 (en) Thumb touch interface
KR101544364B1 (en) Mobile terminal having dual touch screen and method for controlling contents thereof
US9348458B2 (en) Gestures for touch sensitive input devices
US9791918B2 (en) Breath-sensitive digital interface
EP2717120B1 (en) Apparatus, methods and computer program products providing finger-based and hand-based gesture commands for portable electronic device applications
US8941600B2 (en) Apparatus for providing touch feedback for user input to a touch sensitive surface
US9696882B2 (en) Operation processing method, operation processing device, and control method
JP2013037675A5 (en)
US20120105367A1 (en) Methods of using tactile force sensing for intuitive user interface
US20140191972A1 (en) Identification and use of gestures in proximity to a sensor
TW201020896A (en) Method of gesture control
KR102194778B1 (en) Control method of terminal by using spatial interaction
TWI534653B (en) Input device and method of input mode switching thereof
Shittu et al. A review on interaction techniques on mobile phones
Wu Study and design of interaction techniques to facilitate object selection and manipulation in virtual environments on mobile devices

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090204

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090204

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20101126

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20110127

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110301

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110420

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20110517

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20110808

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130116

R150 Certificate of patent (=grant) or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160125

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees