[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

TWI716527B - 資訊處理系統、資訊處理裝置、控制方法以及程式 - Google Patents

資訊處理系統、資訊處理裝置、控制方法以及程式 Download PDF

Info

Publication number
TWI716527B
TWI716527B TW106100805A TW106100805A TWI716527B TW I716527 B TWI716527 B TW I716527B TW 106100805 A TW106100805 A TW 106100805A TW 106100805 A TW106100805 A TW 106100805A TW I716527 B TWI716527 B TW I716527B
Authority
TW
Taiwan
Prior art keywords
image
area
display
operation area
display device
Prior art date
Application number
TW106100805A
Other languages
English (en)
Other versions
TW201737023A (zh
Inventor
則枝真
吉本誠
才田好則
小菅浩揮
Original Assignee
日商日本電氣股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日商日本電氣股份有限公司 filed Critical 日商日本電氣股份有限公司
Publication of TW201737023A publication Critical patent/TW201737023A/zh
Application granted granted Critical
Publication of TWI716527B publication Critical patent/TWI716527B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03547—Touch pads, in which fingers can move on a surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/245—Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

資訊處理系統(3000)具有標記(3020)。標記(3020)，是資訊處理系統(3000)的使用者身體的任意部分或資訊處理系統(3000)的使用者穿戴在身上的任意物。資訊處理裝置(2000)，具有操作區域抽出部(2020)及辨識部(2040)。操作區域抽出部(2020)，根據標記(3020)的位置，從拍攝影像抽出操作區域。辨識部(2040)，算出拍攝影像的上述操作區域內包含的操作體的位置或移動。又，辨識部(2040)，根據算出的操作體的位置或移動辨識輸入操作。

Description

資訊處理系統、資訊處理裝置、控制方法以及程式
本發明係關於資訊處理系統、資訊處理裝置、控制方法以及程式。
用攝影機拍攝手勢輸入等使用者在空間中進行的動作，藉由解析產生的拍攝影像，開發辨識對資訊處理系統的使用者的輸入操作的技術。專利文件1，根據使用者手掌的手勢(例如，打開手掌的手勢)，揭示其手掌上顯示功能表畫面、轉換其功能表畫面的技術。
專利文件2，揭示使用頭戴式顯示器顯示的假想鍵盤進行輸入的技術。又，專利文件2，揭示藉由固定上述假想鍵盤至真實空間上的物體，頭戴式顯示器的穿戴者即使移動頭部也儘量不改變上述假想鍵盤的位置的技術。
[先行技術文件]
[專利文件]
[專利文件1]美國專利申請公開第2015/0016777號說明書
[專利文件2]日本特表2015-504616號公報
為了辨識使用者的輸入操作，對拍攝影像全體進行影像解析處理時，影像解析處理需要漫長的時間。
本發明，有鑑於上述課題而形成。本發明的目的係減量從拍攝影像辨識使用者的輸入操作之際需要的處理。
本發明的資訊處理系統，具有使用者穿戴在身上之物或使用者身體的任意部分的標記以及資訊處理裝置。
上述資訊處理裝置，具有：(1)操作區域抽出手段，根據上述標記的位置，抽出攝影機產生的拍攝影像內包含的操作區域；(2)辨識手段，檢出上述操作區域內包含的操作體的位置或移動，根據上述檢出的位置或移動辨識輸入操作。
本發明的資訊處理裝置，係本發明的資訊處理系統具有的上述資訊處理裝置。
本發明的控制方法，以電腦實行。上述控制方法具有：(1)操作區域抽出步驟，根據標記的位置，抽出攝影機產生的拍攝影像內包含的操作區域；(2)辨識步驟，檢出上述操作區域內包含的操作體的位置或移動，根據上述檢出的位置或移動辨識輸入操作。
上述標記，係使用者穿戴在身上之物或使用者身體的一部分。
本發明的程式，使電腦實行本發明的控制方法具有的各步驟。
根據本發明，提供減量從拍攝影像辨識使用者的 輸入操作之際需要的處理之技術。
10‧‧‧裝置
14‧‧‧觸控面板
16‧‧‧標記影像
20‧‧‧攝影機
22‧‧‧拍攝影像
30‧‧‧手指
30-A‧‧‧手指
30-B‧‧‧手指
32‧‧‧手臂
40‧‧‧操作區域
41‧‧‧箭頭
42‧‧‧座標系
44‧‧‧區域
46‧‧‧區域
50、50-A~50-C‧‧‧移動
51‧‧‧形狀
52‧‧‧形狀
54‧‧‧矩形
60‧‧‧區域
62‧‧‧重心
64‧‧‧最遠的點
100‧‧‧頭戴式顯示器
102‧‧‧顯示裝置
120‧‧‧參照影像
121‧‧‧操作體的位置
122-1~122-8‧‧‧選擇影像
130‧‧‧區域
132‧‧‧上端區域
134‧‧‧下端區域
136‧‧‧左端區域
138‧‧‧右端區域
140‧‧‧滑桿
142‧‧‧抓把
150‧‧‧影像
1000‧‧‧計算機
1020‧‧‧匯流排
1040‧‧‧處理器
1060‧‧‧記憶體
1080‧‧‧儲存器
1100‧‧‧輸出入界面
2000‧‧‧資訊處理裝置
2020‧‧‧操作區域抽出部
2040‧‧‧辨識部
2060‧‧‧顯示控制部
3000‧‧‧資訊處理系統
3020‧‧‧標記
3040‧‧‧顯示裝置
上述的目的，以及其他的目的、特徵及優點根據以下所述的適合的實施形態以及其附帶的下述圖面將更明顯。
[第1圖]係例示根據第一實施形態的資訊處理系統的方塊圖；[第2圖]係用以概念說明資訊處理系統的圖；[第3圖]係例示實現資訊處理裝置的計算機的構成的圖；[第4圖]係例示設置攝影機的頭戴式顯示器的圖；[第5圖]係例示以第一實施形態的資訊處理裝置實行的處理流程的流程圖；[第6圖]係例示拍攝影像上的位置圖；[第7圖]係例示拍攝影像中的座標系上的標記位置的圖；[第8圖]係例示以標記為中心的操作區域的圖；[第9圖]係例示離開標記的場所作為中心位置的操作區域的圖；[第10圖]係例示操作區域以標記決定的3次元座標系的xy平面上的既定形狀時的第1圖；[第11圖]係例示操作區域以標記決定的3次元座標系的xy平面上的既定形狀時的第2圖；[第12圖]係例示配合標記傾斜操作區域的姿勢改變的狀態圖；[第13圖]係例示操作區域為使用者的手臂時的圖；[第14圖]係例示決定操作體的位置的方法的第1圖； [第15圖]係例示決定操作體的位置的方法的第2圖；[第16圖]係例示動彈狀態下包含使用者手指的拍攝影像圖；[第17圖]係例示根據操作體的位置決定的操作的圖；[第18圖]係例示辨識輸入根據操作體的移動決定的形狀之輸入操作的範例圖；[第19圖]係例示手勢輸入的圖；[第20圖]係例示操作體的位置或移動以操作區域內的相對位置或移動顯示的狀態圖；[第21圖]係例示操作體的位置或移動以拍攝影像全體中的相對位置或移動顯示的狀態圖；[第22圖]係例示根據第二實施形態的資訊處理系統的方塊圖；[第23圖]係以第二實施形態的資訊處理裝置實行的處理流程的流程圖；[第24圖]係例示以第三實施形態的資訊處理裝置實行的處理流程的流程圖；[第25圖]係例示以操作區域為基準的位置上顯示的操作影像的圖；[第26圖]係例示實施例的資訊處理系統的使用環境的圖；[第27圖]係例示候補選擇操作的圖；[第28圖]係例示決定操作的第1圖；[第29圖]係例示決定操作的第2圖；[第30圖]係例示決定操作的第3圖； [第31圖]係例示取消操作的第1圖；[第32圖]係例示取消操作的第2圖；[第33圖]係例示取消操作的第3圖；[第34圖]係例示變更操作的第1圖；[第35圖]係例示變更操作的第2圖；[第36圖]係例示變更操作的第3圖；[第37圖]係例示變更操作的第4圖；[第38圖]係例示變更操作的第5圖；[第39圖]係例示變更操作的第6圖；[第40圖]係例示對於滑桿(slide bar)的輸入操作的第1圖；[第41圖]係例示對於滑桿(slide bar)的輸入操作的第2圖；以及[第42圖]係例示對於滑桿(slide bar)的輸入操作的第3圖。
以下，關於本發明的實施形態，使用圖面說明。又，全部的圖面中，相同的構成要素附上相同的符號，適當省略說明。又，各方塊圖中，只要不特別說明，各方塊不是硬體單位的構成而是表示機能單位的構成。
[第一實施形態]
第1圖係例示根據第一實施形態的資訊處理系統3000的方塊圖。資訊處理系統3000具有標記3020。標記3020，是資訊處理系統3000的使用者身體的任意部分或資訊處理系統3000的使用者戴在身上的任意物。後述關於標記3020的詳細說明。
資訊處理裝置2000，具有操作區域抽出部2020及辨識部2040。操作區域抽出部2020，根據標記3020的位置，從拍攝影像抽出操作區域。
辨識部2040，算出拍攝影像的上述操作區域內包含的操作體的位置或移動。操作體，係使用者在操作中利用的任意物。例如，操作體，係使用者身體的一部分(手指等)或使用者的身體保持之物(筆等)。
還有辨識部2040，根據算出的操作體的位置或移動辨識輸入操作。此輸入操作的對象，可以是資訊處理裝置2000，也可以是其他的裝置。
第2圖係用以概念說明資訊處理系統3000的圖。第2圖的範例中，利用資訊處理系統3000的使用者的手腕上戴著手錶型的裝置10。第2圖的範例中，標記3020，係裝置10的觸控面板14上顯示的影像(以下，標記影像)。又，第2圖的範例中，操作體係手指30。
操作區域抽出部2020，從攝影機20產生的拍攝影像中抽出操作區域40。辨識部2040從操作區域40算出手指30的位置或移動，根據其位置或移動辨識輸入操作。
在此，辨識部2040從操作區域40內檢出手指30。藉此，因為算出手指30的位置或移動，應進行影像處理的影像區域變得比拍攝影像全體窄。因此，輸入操作的辨識需要的處理減量。結果，具有輸入操作的辨識需要的時間變短、輸入操作的辨識需要的計算機資源變少的優點。
又，使用第2圖說明的資訊處理系統3000的動 作，係用以易於理解資訊處理系統3000的例示，資訊處理系統3000的動作並非限定於上述的範例。資訊處理系統3000的動作的細節、變化，在之後的記載中說明。
<作用．效果>
本實施形態的資訊處理系統3000，根據標記3020的位置，從拍攝影像抽出操作區域40。於是，辨識部2040，從操作區域40內算出操作體的位置或移動。藉此，輸入操作的時間的辨識需要的處理減量。結果，具有輸入操作的辨識需要的時間變短、輸入操作的辨識需要的計算機資源變少的優點。
又，根據本實施形態的資訊處理系統3000，不同於使用鍵盤、滑鼠或觸控面板等的輸入裝置進行輸入操作的情況，進行輸入操作之際，使用者不觸摸輸入裝置也可以。因此，本實施形態的資訊處理系統3000，適於在要求使用者不觸摸輸入裝置的環境中利用。
要求使用者不觸摸輸入裝置的環境中，例如有醫療現場、處理食品的現場(食品的加工現場)等。如此的環境中，要求使用者(醫師、看護師、急救人員或食品加工作業員等)的手保持清潔、在無菌狀態下作業。還有醫療現場中，也有可能假定感染的場所中的作業。如此的環境中使用者必須要使用滑鼠等的輸入裝置時，每次進行輸入操作，每次進行輸入操作時都必須進行手的洗淨、手套交換等，作業效率下降。還有如此的環境中，即使作業效率不下降，也有觸摸物體被無條件厭惡的實情。
要求使用者不觸摸輸入裝置的其他環境中，有施工現場等使用者的手弄髒的環境。如此的環境中使用者(施工 的作業員等)一觸摸輸入裝置，輸入裝置就弄髒了，輸入裝置變得容易故障。其他也有進行放射線洗淨的現場等，使用者(放射線洗淨的作業員等)最好不要觸摸周圍的物體的環境。
利用本實施形態的資訊處理系統3000的話，如上述種種的環境，要求使用者不觸摸輸入裝置的環境中，使用者不觸摸輸入裝置可以進行輸入操作。因此，如果利用本實施形態的資訊處理系統3000的話，變得可以在伴隨對電腦的輸入操作的作業的各式各樣的環境中進行。
以下，關於本實施形態的資訊處理裝置2000，更詳細說明。
<資訊處理裝置2000的硬體構成的範例>
資訊處理裝置2000的各機能構成部，以實現各機能構成部的硬體(例：硬佈線電子電路)實現也可以，硬體與軟體的組合(例：電子電路與控制電子電路的程式組合等)實現也可以。以下，更進一步說明關於資訊處理裝置2000的各機能構成部以硬體與軟體的組合實現的情況。
計算機1000，係頭戴式顯示器、輸入板終端、智慧型手機、個人電腦(PC)或伺服器等，各種計算機。計算機1000，是用以實現資訊處理裝置2000設計的專用計算機也可以，廣用的計算機也可以。
第3圖係例示實現資訊處理裝置2000的計算機1000的構成圖。計算機1000，具有匯流排1020、處理器1040、記憶體1060、儲存器1080以及輸出入界面1100。匯流排1020，係處理器1040、記憶體1060及儲存器1080用以互相發送接收 資料的資料傳送路徑。但，互相連接資料處理器1040等的方法，不限定於匯流排連接。處理器1040，係CPU(中央處理單元)、GPU(圖形處理單元)等的運算處理裝置。記憶體1060，係RAM(隨機存取記憶體)、ROM(唯讀記憶體)等的記憶體。儲存器1080，係硬碟、SSD(固態硬碟)或記憶卡等的記憶裝置。又，儲存器1080，是RAM、ROM等的記憶體也可以。
輸出入界面1100，係用以連接計算機1000與輸出入裝置的界面。第3圖中，攝影機20連接至輸出入界面1100。攝影機20進行重複拍攝，係產生顯示各拍攝結果的拍攝影像之任意的攝影機。例如攝影機20，以30fps(幀/秒)的頻率進行拍攝，產生以時序排列的複數的拍攝影像構成的動畫。又，攝影機20，是二次元的攝影機也可以，是3次元的攝影機也可以。
設置攝影機20的位置是任意的。例如攝影機20，是安裝至使用者穿戴在身上之物。所謂使用者穿戴在身上之物，例如頭戴式顯示器或從頸部垂下的員工證等。
第4圖係例示設置攝影機20的頭戴式顯示器的圖。頭戴式顯示器100，係眼鏡型的頭戴式顯示器。頭戴式顯示器100的鏡片部分成為顯示裝置102。攝影機20，設置在顯示裝置102的附近。藉此，攝影機20產生的拍攝影像內包含的景色，成為與裝戴頭戴式顯示器100的使用者的視線方向中的景色相同的景色。
設置攝影機20的位置，不限定為使用者穿戴在身上之物。例如，攝影機20，設置於使用者進行對資訊處理裝置2000的輸入操作的房間牆壁等也可以。後者的情況下，攝影機 20的拍攝範圍(拍攝方向、放縮率等)，以可以根據遙控等所產生的遠隔操作變更為佳。
儲存器1080記憶實現資訊處理裝置2000的各機能的程式模組。處理器1040，藉由實行這些各個程式模組，實現對應其程式模組的各機能。處理器1040，將上述各模組讀出至記憶體1060上並實行。
計算機1000的硬體構成不限定於第3圖所示的構成。例如，各程式模組收納至記憶體1060內也可以。在此情況下，計算機1000不備置儲存器1080也可以。
<處理的流程>
第5圖係例示以第一實施形態的資訊處理裝置2000實行的處理流程的流程圖。資訊處理裝置2000，取得拍攝影像(S102)。操作區域抽出部2020，算出標記3020的位置(S104)。操作區域抽出部2020，根據算出的標記3020的位置，從拍攝影像抽出操作區域40(S106)。辨識部2040，算出操作區域40內的操作體的位置或移動(S108)。辨識部2040，根據算出的操作體的位置或移動，辨識輸入操作(S110)。
<取得拍攝影像的方法：S102>
資訊處理裝置2000，取得以攝影機20產生的拍攝影像(S104)。資訊處理裝置2000取得拍攝影像的方法各式各樣。例如，資訊處理裝置2000，從攝影機20取得拍攝影像。在此情況下，資訊處理裝置2000與攝影機20係可通訊連接。
又，攝影機20記憶拍攝影像至外部的記憶裝置內時，資訊處理裝置2000從此記憶裝置取得拍攝影像。在此情 況下，資訊處理裝置2000，與此記憶裝置係可通訊連接。
又，資訊處理裝置2000，取得攝影機20產生的全部拍攝影像也可以，只取得一部分也可以。後者的情況，例如資訊處理裝置2000，以操作區域抽出部2020只取得算出標記3020的位置的特定時刻之後的操作影像。在此情況下，標記3020的位置算出，不使用拍攝影像進行。
<標記3020的位置算出方法：S104>
標記3020，係可以根據操作區域抽出部2020算出其位置的任意物。可以使用什麼作為標記3020，係根據操作區域抽出部2020怎麼算出標記3020的位置的方法不同。以下，一邊具體例示標記3020的位置算出方法，一邊說明可以使用怎樣的物體作為其標記3020。又，操作區域抽出部2020顯示辨識什麼作為標記3020的資訊，預先設定為標記3020也可以，記憶在操作區域抽出部2020可以存取的記憶裝置內也可以，由使用者設定也可以。又，操作區域抽出部2020處理作標記3020之物，可為一種，也可為複數種。
<<根據拍攝影像的解析產生的算出>>
操作區域抽出部2020，根據解析拍攝影像，將算出標記3020的位置。在此情況下，標記3020係攝影機20產生的拍攝影像中至少可以明確指定其位置之任意物。例如標記3020，係可以用於3次元的座標系的決定的標記。3次元的座標系的決定可以利用的標記，例如AR(擴增實境)標記。但，可以用於3次元的座標系的決定的標記，不管參照方向，只要固定得到來自某基準點互相直交的3個方向即可，不限定於AR標記。又， 標記3020，係拍攝影像中可以明確指定其位置之物即可，不必非為可用於3次元的座標系的決定。
如果標記3020是使用者穿戴在身上之物時，標記3020可以安裝在使用者身體的任意處。例如，標記穿戴在使用者的臂部。在此所謂臂部，意味手到肩的部分。
例如，在此情況下，標記係安裝在使用者的臂部的裝置10的顯示裝置上顯示的影像。裝置10，係具有在顯示裝置上顯示影像的機能的任意電子機器。又，裝置10，可以直接安裝至使用者的手臂上，也可以從衣服上安裝至使用者的手臂上。
例如第2圖中，標記3020係顯示在裝置10的觸控面板14上的標記影像。標記影像，可以是預先記憶在裝置10的影像，也可以是記憶在裝置10的外部的記憶體內的影像。後者的情況下，裝置10從記憶裝置取得標記影像並顯示。
標記3020，不限定於顯示在如上述顯示器上之物。又標記3020，直接描繪在使用者的臂部等上面也可以，描繪在使用者的臂部等上面的任意物上也可以。後者的情況下，例如標記3020，描繪在戴在使用者的手指上的戒指、戴在使用者的手腕上的腕套或使用者穿著的衣服的袖子等的上面。又，標記3020，以手描繪也可以，印字也可以。又，標記3020，可以是使用者身體的特定部分。例如，標記3020是使用者的手背等。如此一來，以裝置10上顯示的標記影像以外實現標記3020時，利用資訊處理系統3000之際沒配備裝置10也可以。藉此，例如可以削減實現資訊處理系統3000需要的成本。
又，標記3020，也可以是發光的發光裝置(LED(發 光二極體)等。又，標記3020是發光裝置，而且操作區域抽出部2020根據標記3020決定3次元座標系時，標記3020係使用3個以上的發光元件構成。操作區域抽出部2020，分別根據拍攝影像內包含的這些3個以上的發光元件，算出發出的光的位置。於是，操作區域抽出部2020，根據各發光裝置的位置，可以決定3次元座標系。又，因為使用3點以上的物體決定3次元座標系之方法可以利用已知的方法，省略其具體方法的說明。
為了從拍攝影像檢出標記3020，操作區域抽出部2020，利用特定作為標記3020處理之物的資訊(關於標記3020的形狀、尺寸、顏色等的資訊等：以下，標記資訊)。此資訊，可以預先設定在操作區域抽出部2020，也可以記憶在操作區域抽出部2020可以存取的記憶裝置內，也可以由使用者設定。
操作區域抽出部2020，使用標記資訊影像解析拍攝影像，檢出拍攝影像內包含的標記3020。於是，操作區域抽出部2020，算出檢出的標記3020的位置。在此，從影像內檢出所定物，還有算出其物體的影像內的位置之技術，可以利用已知的各種技術。
表示標記3020的位置的方法是任意的。例如，標記3020的位置，係以拍攝影像上的位置(座標)表示。第6圖係例示拍攝影像上的位置圖。第6圖中，拍攝影像22係拍攝影像。拍攝影像22上的位置，係以拍攝影像22的左上端為原點、以拍攝影像22的右方向為x方向、以拍攝影像22的下方向為y方向的座標系決定的座標表示。但是，決定拍攝影像22上的位置的方法，不限定於根據第6圖所示的座標系決定的方法。
根據解析拍攝影像算出標記3020的位置的方法的話，只有標記3020進入攝影機20的拍攝範圍內的情況下，使用者產生的輸入操作由資訊處理裝置2000辨識。標記3020未進入攝影機20的拍攝範圍內的情況下，使用者產生的輸入操作沒被辨識。因此，使用者，根據有沒有將標記3020放入攝影機20的拍攝範圍內，可以分割利用資訊處理裝置2000的作業與除此以外的作業。藉此，可以縮小資訊處理裝置2000誤檢出輸入操作的或然性。
例如書寫文件等的作業中移動手指30之際，使用者儘量不使標記3020進入攝影機20的拍攝範圍內。藉此，不進行資訊處理裝置2000所產生的輸入操作辨識。
採用以解析拍攝影像算出標記3020的位置之方法時，設置攝影機20以拍攝使用者的視野方向更適合(第4圖的攝影機20等)。藉此，對於使用者來說，將標記3020放入攝影機20的拍攝範圍內或將標記3020從攝影機20的拍攝範圍內取出的動作變得容易。想把標記3020放入攝影機20的拍攝範圍內時，使用者只要把標記3020放入視野內即可。另一方面，不想把標記3020放入攝影機20的拍攝範圍內的話，使用者只要不把標記3020放入視野內即可。
<<根據聲音的檢出的算出>>
操作區域抽出部2020，使用從標記3020發出的聲音，算出標記3020的位置也可以。在此情況下，標記3020係任意聲音的音源。在此，關於根據音源發出的聲音算出音源位置的技術，可以利用既存的各種技術。
例如，攝影機20的附近設置3個麥克風。這些麥克風分別檢出從標記3020發出的聲音。操作區域抽出部2020，根據標記3020發出的聲音以3個麥克風檢出的各時刻差，算出這3個麥克風的位置決定的座標系中的標記3020的座標。
又，操作區域抽出部2020，使用這些麥克風和攝影機20的位置間的關係以及攝影機20的視角等的資訊，上述3個麥克風決定的座標系上的座標變更為拍攝影像中決定的座標系上的座標。於是，操作區域抽出部2020，算出以拍攝影像顯示的平面(第6圖中的xy平面)中標記3020的位置。又，某座標系上的座標變更為其他座標系上的座標的方法中，可以利用已知的技術。又，也可以決定設置麥克風與攝影機20的位置，使麥克風的位置決定的座標系與拍攝影像中決定的座標系一致或大致一致。藉此，上述的座標變更變得不需要。
第7圖係例示拍攝影像中的座標系上的標記3020的位置圖。第7圖中，拍攝影像中的座標系，以拍攝影像的左上端為原點，以拍攝影像的右方向為x方向、以拍攝影像的下方向為y方向、以拍攝影像的平面視方向為z方向之座標系。此座標系中的標記3020的位置是(x1,y1,z1)。於是，操作區域抽出部2020，以拍攝影像22顯示的xy平面上的標記3020的座標(x1,y1)，作為拍攝影像22上的標記3020的位置。
根據以聲音為基礎算出標記3020位置的方法的話，可以不必從拍攝影像檢出標記3020。因此，不包含在拍攝影像內的位置(裝置10的內部等)可以設置標記3020。又，可以小型化標記3020。又。攝影機20要求的解析度變低。
<操作區域40的抽出方法：S106>
操作區域抽出部2020，根據算出的拍攝影像上的標記3020的位置，從拍攝影像抽出操作區域40(S106)。操作區域40，係以標記3020的位置為基準決定的任意區域。例如操作區域40，係以標記3020的位置(例如中心位置)為中心位置的既定形狀決定的區域。此既定形狀，係圓形、矩形等任意的形狀。
第8圖係例示以標記3020為中心的操作區域40的圖。第8圖中，操作區域40以標記3020的中心位置為中心位置，係寬度為既定的長度w，高度為既定的長度h之矩形。
但是，以標記3020的位置決定的位置，不限定於操作區域40的中心位置。例如，根據標記3020的位置決定操作區域40的左上端等的位置也可以。
又，例如操作區域40，係從標記3020的位置往既定方向離既定距離的場所內有中心位置等的區域也可以。第9圖係例示離開標記3020的場所作為中心位置的操作區域40的圖。第9圖中，操作區域40的形狀也是寬度為既定的長度w，高度為既定的長度h之矩形。但是，第9圖的操作區域40的中心位置，係從標記3020往箭頭41決定的方向只移動距離d的場所。
又第8及9圖中，操作區域40成為拍攝影像顯示的平面(第6圖的xy平面)中的既定形狀。不過，操作區域40，也可以是拍攝影像顯示的平面以外的平面中的既定形狀。
例如操作區域40，係以標記3020決定的3次元座標中的平面上的既定形狀也可以。第10圖係例示操作區域40以標記3020決定的3次元座標系的xy平面上的既定形狀時的 第1圖。第10圖的操作區域40，與第8圖的操作區域40相同，係以標記3020的中心位置為中心位置，寬度為既定的長度w，高度為既定的長度h之矩形。但是第10圖中，操作區域40，係以標記3020決定的座標系42的xy平面中的矩形。更具體而言，操作區域40，以座標系42的原點為中心位置，在座標系42的x軸方向中的長度為w，在座標系42的y軸方向中的長度為h。
第11圖係例示操作區域40以標記3020決定的3次元座標系的xy平面上的既定形狀時的第2圖。第11圖的操作區域40，與第9圖的操作區域40相同，係以從標記3020往箭頭41決定的方向只移動距離d的場所作為中心位置，寬度為既定的長度w、高度為既定的長度h之矩形。但是第11圖中，箭頭41指示的方向，成為座標系42中的方向。又，操作區域40，在座標系42的x軸方向中的長度為w，在座標系42的y軸方向中的長度為h。
如此一來，利用以標記3020決定的座標系42，抽出操作區域40，藉此操作區域40的姿勢追隨標記3020的姿勢改變。例如第11圖，決定操作區域40位於使用者的手臂上。在此情況下，使用者一扭轉設置裝置10的手腕，配合其扭轉操作區域40的姿勢就改變。第12圖係例示配合標記3020傾斜操作區域40的姿勢改變的狀態圖。
如此一來，配合標記3020的姿勢操作區域40的姿勢一改變，操作區域40就恰好黏在一定的場所。例如第12圖中，操作區域40經常黏在使用者的手臂上一定的場所。因此，根據使用者，手臂上相同的場所經常成為操作區域40。藉此， 使用者更能憑直覺進行使用資訊處理裝置2000的輸入操作。
又，顯示上述的既定形狀之資訊、顯示以哪一個場所作為標記3020的中心之資訊(箭頭41的資訊等)，預先設定在操作區域抽出部2020也可以，記憶在操作區域抽出部2020可存取的記憶裝置內也可以，由使用者設定也可以。又，利用標記3020的座標系42時，標記3020係可用於3次元座標的決定之標記(AR標記等)。
又，操作區域40的尺寸(上述的寬w、高h等)，以絕對值(畫素數等)定義也可以，以相對值定義也可以。後者的情況下，例如操作區域40的尺寸，以對於拍攝影像的尺寸的相對值表示。對於拍攝影像的尺寸的相對值，例如係以拍攝影像的寬度或高度為1的相對值。又例如，操作區域40的尺寸，以相對於標記3020的尺寸的相對值表示也可以。相對於標記3020的尺寸的相對值，例如係以標記3020的寬度、高度、對角線或直徑等為1的相對值。操作區域40的尺寸以相對於標記3020的尺寸的相對值定義時，標記3020接近攝影機20時，操作區域40變大，標記3020遠離攝影機20時，操作區域40變小。
又，操作區域抽出部2020，抽出拍攝影像內包含的既定的區域作為操作區域40也可以。例如，操作區域抽出部2020，抽出設置標記3020的使用者的臂部中的手臂作為操作區域40。第13圖係例示操作區域40是使用者的手臂時的圖。第13圖中，手臂32成為操作區域40。
操作區域抽出部2020，在使用者的手臂的檢出中利用標記3020。例如操作區域抽出部2020，從拍攝影像22抽 出顯示使用者的臂部的區域(例如膚色的區域)。於是，操作區域抽出部2020，其區域中由於將標記3020作為邊界，區別使用者的手與手臂。第13圖的情況下，標記3020(標記影像16)設置在使用者的左手腕上。因此，顯示使用者的臂部的區域內，在標記影像16左側的區域是手臂，在標記影像16右側的區域是手。例如，以使用者的手臂為操作區域40時，操作區域抽出部2020在顯示使用者的手臂的區域中，抽出在標記影像16左側的區域作為操作區域40(參照第13圖)。
又，以標記3020為分界的手臂與手的位置關係(哪一側為手臂，哪一側為手)根據標記3020設置在哪邊的臂部而不同。例如操作區域抽出部2020，利用顯示標記3020設置在哪邊的臂部的資訊，掌握標記3020設置在哪邊的臂部。此資訊，預先設定在操作區域抽出部2020內也可以，記憶在操作區域抽出部2020可存取的記憶裝置內也可以，由使用者設定也可以。又例如，操作區域抽出部2020以標記3020為分界，將分割顯示使用者的臂部的區域為2，辨識分割的區域內較廣一方的區域為顯示手臂的區域也可以。
又，操作區域抽出部2020，也可以抽出手，不是手臂，作為操作區域40。
作為操作區域抽出部2020抽出的操作區域40適合的場所，例如舉出包含上述的使用者的手臂、手的區域。人的手臂、手，與一般的景色相較，顏色和圖案單調。於是，由於以人的手臂或手包含的區域作為操作區域40，操作體的背景的顏色和圖案變得單調。因此，辨識部2040變得可以容易檢 出操作體。
在此，關於人的手、手臂，不必裸露皮膚，戴著手套、穿著長袖也可以。一般，手套或衣服的花樣，相較於周圍的景色，顏色和圖案單調。因此，手套或衣服的花樣是操作體的背景的情況下操作體的檢出也同樣地變得容易。
又，人的手臂、手係作為操作區域40適合的場所的一範例，操作區域40不限定於人的手臂、手包含的區域。
<關於操作體>
由辨識部2040處理作為操作體的物體各式各樣。例如辨識部2040，處理使用者的臂部的一部分(手指等)或使用者的臂部保持的物體(筆等)作為操作體。在此情況下，使用者，在攝影機20的拍攝範圍內移動手指或筆，進行輸入操作。
又例如，辨識部2040，也可以處理物體或附在使用者身體上的標記作為操作體。例如，此標記，附在使用者的身體(手指等)上。又例如，此標記，附在使用者保持的物體(筆等)上。又例如，，此標記，附在使用者穿戴在身上的物體上。使用者穿戴在身上的物體，例如戴在使用者的手指上的戒指等。
又，操作區域抽出部2020藉由解析拍攝影像，算出標記3020的位置時，為了可以在拍攝影像上(外觀上)區別作為操作體處理的標記與標記3020，分別決定作為處理為操作體的標記處理之物體、與作為標記3020處理之物體。例如，作為處理為操作體的標記處理之物體、與作為標記3020處理之物體中，儘量使形狀、顏色或圖案等互不相同。
顯示辨識部2040以什麼作為操作體處理的資訊， 可以預先設定在辨識部2040，也可以記憶在辨識部2040可存取的記憶裝置內，也可以由使用者設定。
又，辨識部2040處理作為操作體之物體，可為一種，也可為複數種。
作為操作區域抽出部2020抽出的操作區域40適合的場所，例如舉出上述包含使用者的手臂或手的區域。人的手臂或手，與一般的景色比較，顏色和圖案單調。於是，由於以包含人的手臂或手的區域作為操作區域40，操作體的背景的顏色和圖案變得單調。因此，辨識部2040變得可以容易檢出操作體。
在此，關於人的手、手臂，不必裸露皮膚，戴著手套、穿著長袖也可以。一般，手套或衣服的花樣，相較於周圍的景色，顏色和圖案單調。因此，手套或衣服的花樣是操作體的背景的情況下操作體的檢出也同樣地變得容易。
又，人的手臂、手係作為操作區域40適合的場所的一範例，操作區域40不限定於人的手臂、手包含的區域。
<算出操作體的位置之方法：S108>
辨識部2040，從操作區域40檢出操作體，算出其操作體的位置(S108)。在此，檢出影像的既定區域內包含的既定物體之技術，可以使用已知技術。
辨識部2040決定操作體位置的方法係各式各樣。例如，辨識部2040，從操作區域40中推論出表示操作體的區域。於是，辨識部2040，以推論出的區域內包含的點作為操作體的位置。在此之際，操作體的位置，只要是表示操作體的區域內包含的任意點即可。
例如，操作體是使用者身體的一部分或使用者保持之物時，辨識部2040算出顯示操作體的區域的重心。於是，辨識部2040，以包含在顯示操作體的區域內而且離其區域的重心最遠的點，作為操作體的位置。根據此方法，例如指尖或筆尖等成為操作體的位置。
第14圖係例示決定操作體的位置的方法的第1圖。第14圖中，操作體係使用者的手。首先，辨識部2040，從操作區域40推論出顯示使用者的手的區域60。其次，辨識部2040，算出區域60的重心62。於是辨識部2040，以區域60內包含的點而且離重心62最遠的點64，作為操作體的位置。又，離重心62最遠的點在區域60中有複數個時，例如辨識部2040，在這些複數的點中，以離標記3020最遠的點為操作體的位置。
在此，例如以手指肚進行操作輸入的情況等，有時候最好處理與指尖稍微錯位的場所作為操作體的位置。於是，辨識部2040，算出離操作體的重心最遠的點64，還有以此點稍微錯開的位置(例如往接近標記3020的方向錯開既定距離的位置)作為操作體的位置也可以。顯示離操作體的重心最遠的點64與操作體的位置間的位置關係之資訊，預先設定在辨識部2040也可以，記憶在辨識部2040可存取的記憶裝置內也可以，由使用者設定也可以。
操作體是物體或附在使用者的身體上的標記時，例如辨識部2040，從拍攝影像推論出顯示此標記的區域，以其區域的中心位置等作為操作體的位置。
又，辨識部2040，利用顯示作為操作體應檢出的 物體的參照影像，將會檢出操作體。在此情況下，此參照影像中，可以預先定義操作體的位置。辨識部2040，從操作區域40中推論出與參照影像類似的區域。於是，辨識部2040，從其區域中，推論出參照影像中與定義的操作體位置對應的點，處理其點作為操作體的位置。
第15圖係例示決定操作體的位置的方法的第2圖。此範例中，操作體是使用者的手指。參照影像120，係顯示使用者的手指形狀等的參照影像。操作體的位置121，係在參照影像中預先定義的操作體位置。
辨識部2040，從操作區域40之中，推論出與參照影像120類似的區域130。此區域130顯示使用者的手指。辨識部2040，更推論出映射參照影像120至區域130之際與操作體的位置121對應的點131。於是，辨識部2040處理點131作為操作體的位置。
顯示辨識部2040如何決定操作體的位置之資訊，可以預先設定在辨識部2040，也可以記憶在辨識部2040可存取的記憶裝置內，也可以由使用者設定。
<算出操作體的移動之方法：S108>
辨識部2040，從拍攝影像的操作區域40檢出操作體，算出其操作體的移動。辨識部2040，使用複數的拍攝影像算出操作體的移動也可以，使用1個拍攝影像算出操作體的移動也可以。前者的情況下，例如辨識部2040，分別對這些複數的拍攝影像進行影像解析，藉此算出各拍攝影像內的操作體的位置。於是，辨識部2040，以顯示操作體的位置變化之資訊，作為顯 示操作體的移動之資訊。顯示操作體的位置變化之資訊，例如是以時序排列操作體的位置之資訊。
如上述，辨識部2040，可以使用1個拍攝影像算出操作體的移動。操作體移動時，動彈狀態的操作體大多包含在1個拍攝影像內。於是，辨識部2040，根據包含動彈狀態的操作體的1個拍攝影像，算出其操作體的移動。
第16圖係例示動彈狀態下包含使用者手指的拍攝影像22圖。拍攝影像22中，使用者的手指30，從手指30-A移動到手指30-B而動彈。辨識部2040，算出手指30-A與手指30-B共同的特徵點的位置變化，作為操作體的移動。例如，辨識部2040，算出以手指30-A的指尖與手指30-B的指尖位置變化決定的移動50。
<由辨識部2040辨識的輸入操作：S112>
辨識部2040，根據算出的操作體的位置或移動辨識輸入操作(S112)。辨識部2040，可以辨識根據操作體的位置或移動決定的各種輸入操作。以下，例示可以由辨識部2040辨識的各種輸入操作。
<<根據操作體的位置決定的輸入操作>>
根據操作體的位置，辨識部2040辨識的輸入操作是各式各樣的例如，辨識部2040，根據操作體的位置，接受從複數的選項中選擇1個的輸入操作(以下，選擇操作)。例如，選擇操作中，有選擇YES(是)或NO(否)的操作等。
例如，辨識部2040，當操作體位於操作區域40的左半部之中時，辨識選擇第1選項的操作，當操作體位於操作 區域40的右半部之中時，辨識選擇第2選項的操作。
第17圖係例示根據操作體的位置決定的操作的圖。第17圖中，操作體是手指30。區域44在操作區域40的左半部，係用以選擇YES的區域。區域46在操作區域40的右半部，係用以選擇NO的區域。因此，如第17(a)圖所示，手指30位於區域44時，辨識部2040就辨識選擇YES的選擇操作。另一方面，如第17(b)圖所示，手指30位於區域46時，辨識部2040就辨識選擇NO的選擇操作。
在此，第17圖中顯示操作區域40，但此顯示是方便起見，不必進行操作區域40的顯示也可以。又，進行操作區域40的顯示時，資訊處理系統3000，具有後述的實施形態所述的顯示裝置3040。關於利用顯示裝置3040的操作區域40的顯示方法，以後述的實施形態說明。
不進行操作區域40的顯示時，例如資訊處理系統3000，對於使用者，應進行的輸入操作或輸入操作的結果等以聲音輸出也可以。在此情況下，資訊處理系統3000，具有輸出聲音的揚聲器等。例如第14圖的範例，資訊處理系統3000輸出「選擇YES時在左側，選擇NO時在右側」的聲音指引。於是，例如，使用者讓手指30位於左半部，辨識部2040辨識其輸入操作時，資訊處理系統3000輸出「選擇了YES」的聲音指引。
又，如第17圖所示，分割操作區域40的方法，不限定於左右分割為2。例如，辨識部2040，上下分割操作區域40為2或左右上下分割為4也可以。
又，根據操作體的位置辨識部2040辨識的輸入操 作，不限定於選擇操作。根據操作體的位置辨識的輸入操作的其他範例，以後述的實施形態說明。
<<根據操作體的移動決定的輸入操作>>
辨識部2040，1)辨識輸入根據算出的操作體的移動的形狀之輸入操作也可以，2)辨識對應算出的操作體移動之既定的輸入操作也可以。以下，分別說明。
<<辨識輸入根據操作體的移動的形狀之輸入操作的實例>>
第18圖係例示辨識輸入根據操作體的移動決定的形狀之輸入操作的範例圖。第18(a)圖中，辨識部2040，辨識輸入操作體的移動50-A表示的形狀51或移動50-B表示的形狀52之輸入操作。例如此輸入操作，利用於進行手寫輸入的輸入操作。
第18(b)圖中，辨識部2040，雖然是不同於操作體的移動的形狀，辨識根據操作體的移動輸入形狀及決定尺寸的形狀之輸入操作。具體而言，辨識部2040，辨識輸入以移動50-C的兩端為對角線的兩端的矩形54、以移動50-C的兩端為直徑的兩端的圓形56之輸入操作。例如，此輸入，使用於使用者進行顯示某範圍的輸入(選擇操作等)之際或進行既定的圖形描繪之際。
顯示使用第18(a)圖所示的方法與第18(b)圖所示的方法中哪個的資訊，可以預先設定在辨識部2040，也可以記憶在辨識部2040可以存取的記憶裝置內，也可以由使用者設定。
<<辨識對應操作體的移動之既定的輸入操作的實例>>
算出對應操作體的移動之既定的輸入操作，例如手勢輸入產生的輸入操作。第19圖係例示手勢輸入圖。第19(a)圖顯示輕擊動作，第19(b)圖顯示縮小(pich in)．放大(pich out)動作。又，箭頭顯示操作體的動作。
連繫操作體的動作、與對應其動作的既定的輸入操作之資訊，可以預先設定在辨識部2040，也可以記憶在辨識部2040可以存取的記憶裝置內，也可以由使用者設定。
<<關於進行移動操作體的動作之場所的處理>>
辨識部2040，1)與進行移動操作體的動作之位置無關，只辨識其操作體的動作作為輸入也可以，2)辨識操作體的動作、與進行移動其操作體的動作的位置的組合作為輸入也可以。前者的情況下，移動操作體的動作不論在拍攝影像上的哪個場所進行，相同的操作體的移動都顯示相同的輸入。另一方面，後者的情況下，移動操作體的動作在拍攝影像上的哪個場所進行具有意義。例如，使用者進行以圓包圍拍攝影像內包含的特定物的輸入時，不只是圓的形狀，以圓包圍了什麼更具有意義。
1)的情況下，例如辨識部2040，如上述辨識辨識部2040算出的操作體的移動決定的形狀或操作體的移動決定的手勢，作為輸入。又例如，辨識部2040，辨識以操作體的移動的起始點為基準的操作體的相對座標的遷移作為輸入也可以。
另一方面，2)的情況下，辨識部2040，辨識辨識部2040算出的拍攝影像上的操作體的座標的遷移，作為輸入。但是，辨識部2040，在1)的情況下，也與2)的情況相同，辨識拍攝影像上的操作體的座標的遷移作為輸入也可以。
辨識部2040，是否以1)與2)中的任一方法辨識輸入，可以預先設定在辨識部2040，也可以記憶在辨識部2040可以存取的記憶裝置內，也可以由使用者設定。
<關於操作體的位置或移動的顯示方法>
辨識部2040辨識的操作體的位置或移動的顯示方法是任意的。例如，辨識部2040以操作區域40內的相對位置或移動顯示操作體的位置或移動。
第20圖係例示操作體的位置或移動以操作區域40內的相對位置或移動顯示的狀態圖。第20圖中，操作區域40以矩形顯示。
第20(a)圖，係辨識操作體的位置作為輸入操作的實例。第20(a)圖中，操作體的位置即座標(x1,y1)，係以操作區域40的左上端為原點，以平面視操作區域40時的右方向為x軸，以平面視操作區域40時的下方向為y軸之座標系中的座標。又，操作區域40內的相對位置，以標記3020決定的座標系42中的座標表示也可以。
第20(b)圖，係辨識操作體的移動作為輸入操作的實例。第20(b)圖中，操作體的位置依(x2,y2)、(x3,y3)、(x4,y4)的順序變化。這些座標都是第20(a)圖中說明的座標系中的座標。操作體的移動，例如以時序排列這些座標的資訊表示。又，箭頭表示操作體的軌跡。但，為了容易看圖，上述箭頭，描繪在與操作體的實際軌跡偏離的位置上。
藉由顯示操作體的位置或移動為操作區域40中的相對位置，具有使用者意圖的輸入操作變得容易由辨識部2040 辨識的優點。以下，說明其理由。首先如第2圖所示，手指30係操作體，操作區域40在使用者的手臂32上，裝置10的觸控面板14上顯示的標記影像16將是標記3020。在此狀況中，使用者將進行把手指30停留在手臂32上的相同場所的輸入操作。在此之際，使用者一轉動手臂32，就移動了拍攝影像22中的手指30的位置。不過，轉動手臂32時，因為不是只有手指30，標記影像16也一起移動，操作區域40中的手指30的相對位置不改變。所以，使用者意圖的「把手指30停留在相同場所」的輸入操作由辨識部2040正確辨識。
但是，操作體的位置或移動的顯示方式，不限定於操作區域40中的相對位置。第21圖，係例示操作體的位置或移動以拍攝影像全體中的相對位置或移動顯示的狀態圖。第21(a)圖，係辨識操作體的位置作為輸入操作的實例。第21(a)圖中，操作體的位置即座標(x1,y1)，係以拍攝影像22的左上端為原點，以平面視拍攝影像22時的右方向為x軸，以平面視拍攝影像22時的下方向為y軸之座標系中的座標。
第21(b)圖，係辨識操作體的移動作為輸入操作的實例。第21(b)圖中，操作體的位置依(x2,y2)、(x3,y3)、(x4,y4)的順序變化。這些座標都是第21(a)圖中說明的座標系中的座標。操作體的移動，例如以時序排列這些座標的資訊表示。又，與第20(b)圖相同，箭頭表示操作體的軌跡。
操作體的位置或移動，顯示以操作區域40內的相對位置或移動與拍攝影像全體中的相對位置或移動中哪個表示之資訊，可以預先設定在辨識部2040，也可以記憶在辨識部 2040可以存取的記憶裝置內，也可以由使用者設定。
又，辨識操作體的移動作為輸入操作之際，與進行移動操作體的動作的位置無關，只辨識其操作體的移動為輸入的情況下，操作體的移動，以其移動的起始點作為原點的相對位置表示也可以。
又，表示上述的操作體的位置或移動的方法，原則上是例示。操作體的位置或移動的方法，只要可以表示操作體的位置或移動的任意方法即可，不限定於上述的方法。
<根據操作體的位置與移動中哪個辨識輸入操作>
辨識部2040，根據操作體的位置或移動辨識輸入操作。在此，決定根據操作體的位置與移動中哪個辨識輸入操作之方法各式各樣。例如，預先決定根據操作體的位置與移動中哪個辨識輸入操作。在此，顯示根據操作體的位置與移動中哪個辨識輸入操作之資訊，可以預先設定在辨識部2040，也可以記憶在辨識部2040可以存取的記憶裝置內，也可以由使用者設定。
又例如，辨識部2040，根據操作體的移動程度，決定以操作體的位置與移動中哪個辨識輸入操作也可以。例如，既定時間內的操作體的移動範圍大小未達既定值時，辨識部2040根據操作體的位置辨識輸入操作。因此，例如，由於使用者停留操作體在某位置上，表示其位置的輸入操作由辨識部2040辨識。此操作，係例如以滑鼠長按某場所的影像操作。
在此情況下辨識部2040辨識為輸入操作的操作體位置，由此既定時間內的操作體的位置決定。例如，辨識部2040，以此既定時間內的操作體位置內的任一個(例如最初的 位置或最後的位置)作為操作體位置。又例如，辨識部2040，以根據此既定時間內的操作體位置算出的統計值(平均值或最頻值等)作為操作體位置。
另一方面，既定時間內的操作體的移動範圍大小在既定值以上時，辨識部2040根據操作體的移動辨識輸入操作。
顯示上述既定時間或既定值的資訊，可以設定在辨識部2040，也可以記憶在辨識部2040可以存取的記憶裝置內，也可以由使用者設定。
[第二實施形態]
第22圖係例示根據第二實施形態的資訊處理系統3000的方塊圖。除了以下說明的點，第二實施形態的資訊處理系統3000，具有與第一實施形態的資訊處理系統3000相同的機能。
第二實施形態的資訊處理系統3000具有顯示裝置3040。顯示裝置3040，係輸出影像的任意裝置。例如，顯示裝置3040係投影機等，投影影像的裝置。又例如，顯示裝置3040，係顯示影像的顯示裝置。例如顯示裝置，係設置在頭戴式顯示器100的顯示裝置102。
第二實施形態的資訊處理裝置2000具有顯示控制部2060。顯示控制部2060，使顯示裝置3040輸出影像。本實施形態中，顯示控制部2060，使顯示裝置3040顯示表示操作區域40的影像。藉此，使用者可以視覺辨識操作區域40。以下，標記顯示操作區域的影像為操作區域影像。
<處理的流程>
第23圖係以第二實施形態的資訊處理裝置2000實行的處 理流程的流程圖。第23圖的流程圖，在第5圖的流程圖的S106與S108之間，具有S202。S202中，顯示控制部2060使顯示裝置3040顯示抽出的操作區域影像。
<顯示控制部2060的細節>
顯示控制部2060使顯示裝置3040顯示操作區域影像的方法中，有使拍攝影像不重疊的顯示方法與使拍攝影像重疊的顯示方法。以下分別說明。
<<使拍攝影像不重疊顯示操作區域影像的方法>>
使用頭戴式顯示器100實現資訊處理裝置2000，而且頭戴式顯示器100的顯示裝置102假設是透過型的顯示裝置(頭戴式顯示器100是透過型的頭戴式顯示器)。在此情況下，實現顯示裝置3040為透過型的頭戴式顯示器100的顯示裝置102(鏡片部分)。又，在此情況下，產生拍攝影像的攝影機20，係為了拍攝與映入使用者眼中的景色相同的景色(第4圖的攝影機20等)而設置。利用如此的透過型的頭戴式顯示器100的情況下，由於使用者在顯示裝置102的前方看見能看到的實體物體(真實世界的景色)，可以掌握周圍的景色，而且其景色成為與拍攝影像內包含的景色相同的景色。因此，不必使顯示裝置102顯示拍攝影像。
於是顯示控制部2060，不重疊在拍攝影像上顯示操作區域影像。具體而言，顯示控制部2060，轉換拍攝影像上的操作區域40的位置成為顯示裝置102上的位置，使根據此轉換算出的顯示裝置102上的位置顯示操作區域影像。
拍攝影像上的座標與顯示裝置102上的座標之間 的對應關係，可以根據關於攝影機20的各種參數(視角或焦點距離)、顯示裝置102與攝影機20之間的位置關係等決定。此對應關係，使用這些參數由顯示控制部2060算出也可以，預先決定作為設定值也可以。
<<重疊在拍攝影像上顯示操作區域影像的方法>>
使用者不能直接看到周圍的景色時或拍攝影像內包含的景色與映入使用者的眼中的景色不同時(不以攝影機20拍攝使用者的視野方向時)，使用者一邊看拍攝影像一邊進行輸入操作。例如，使用頭戴式顯示器100實現資訊處理裝置2000，而且頭戴式顯示器100的顯示裝置102假設是非透過型的顯示裝置(頭戴式顯示器100是非透過型的頭戴式顯示器)。在此情況下，使用者不能直接看周圍的景色。因此，顯示裝置102中，顯示拍攝使用者的視野方向的攝影機20產生的拍攝影像。使用者，由於看到其拍攝影像，掌握其周圍的景色。所以，使用者就一邊看拍攝影像一邊進行輸入操作。
又，攝影機20設置在使用者的員工證等時，攝影機20不必限於拍攝使用者的視野方向。在此情況下，使用者，一邊進行攝影機20產生的拍攝影像，一邊進行輸入操作。又，在此情況下，顯示裝置3040，實現為例如投影機、固定型的顯示裝置(PC的顯示裝置等)或者行動終端的顯示裝置等。
如上述，使用者一邊看拍攝影像一邊進行輸入操作時，拍攝影像由顯示裝置3040顯示。於是，顯示控制部2060，在顯示裝置3040顯示的拍攝影像上重疊操作區域影像，藉此使操作區域影像顯示。在此情況下，顯示控制部2060，在 拍攝影像內包含的區域中，對於以操作區域抽出部2020抽出的操作區域40之區域，重疊操作區域影像。
<關於操作區域影像>
操作區域影像可以是任意的影像。又，顯示控制部2060取得操作區域影像的方法是任意的。例如操作區域影像，可以預先設定在顯示控制部2060，也可以記憶在顯示控制部2060可以存取的記憶裝置內，也可以由使用者設定。又，顯示控制部2060，自動產生顯示與從拍攝影像抽出的操作區域40相同形狀的影像，其影像作為操作區域影像也可以。例如，顯示控制部2060，產生具有與操作區域40相同的形狀，而且其形狀以既定的顏色塗上的影像，作為操作區域影像。
<硬體構成>
實現第二實施形態的資訊處理裝置2000的計算機的硬體構成，與第一實施形態相同，例如以第3圖表示。但是，實現本實施形態的資訊處理裝置2000的計算機1000的儲存器1080中，更記憶實現本實施形態的資訊處理裝置2000機能的程式模組。又，顯示裝置3040，經由輸出入界面1100連接至計算機1000。但是，連接顯示裝置3040至計算機1000的方法，不限定於經由輸出入界面1100連接的方法。例如顯示裝置3040，經由網路連接至計算機1000也可以。在此情況下，計算機1000具有用以連接至網路的網路界面。
<作用．效果>
根據本實施形態的資訊處理系統3000，使用者可以視覺掌握操作區域。於是，因為使用者變得可以容易掌握在哪個場所 進行輸入操作即可，對於使用者而言提高了資訊處理系統3000的操作性。
<變形例>
儘量讓使用者可以視覺掌握操作區域的方法，也可以是顯示操作區域影像的方法以外的方法。例如，顯示控制部2060，藉由輸出既定的顏色至顯示上述操作區域影像的位置，讓使用者可以視覺掌握操作區域也可以。又，由顯示裝置3040顯示拍攝影像時，顯示控制部2060關於抽出操作區域40的部分，藉由變更拍攝影像的顏色或圖案，讓使用者可以視覺掌握操作區域40也可以。
[第三實施形態]
第三實施形態的資訊處理系統3000，與第二實施形態的資訊處理系統3000相同，例如以第22圖表示。除了以下說明的點，第三實施形態的資訊處理系統3000，具有與第二實施形態的資訊處理系統3000相同的機能。但是，第三實施形態的顯示控制部2060不讓顯示裝置3040顯示操作區域影像也可以。
第三實施形態的顯示控制部2060，使顯示裝置3040顯示表示輸入操作的對象。如此一來，使用者變得可以視覺辨識輸入操作的對象。以下，標記表示輸入操作的對象的影像為操作影像。
<處理的流程>
第24圖係例示以第三實施形態的資訊處理裝置2000實行的處理流程的流程圖。首先資訊處理裝置2000，接受成為使顯示裝置3040輸出操作影像的觸發器之輸入操作(S302)。此輸 入操作，可以是由辨識部2040辨識的輸入操作，也可以是其他輸入操作。後者的情況下，例如輸入操作，係對於對資訊處理裝置2000連接的輸入裝置(滑鼠或鍵盤等)的操作。
之後，顯示控制部2060，使顯示裝置3040輸出操作影像(S304)。資訊處理裝置2000，更進行第5圖或第22圖所示的一系列處理，辨識對操作對象的輸入操作。於是，顯示控制部2060，根據辨識部2040辨識的輸入操作，使顯示裝置3040進行操作結果(S306)。
顯示裝置3040顯示的操作結果中包含表示其次的輸入操作的操作影像時(S308：YES)，第24圖的處理，進行至S102。另一方面，操作結果中不包含表示其次的輸入操作的操作影像時(S308：NO)，第24圖的處理結束。
又，實行S304的處理的契機，不限定於S302中的輸入操作。例如S304的處理，在資訊處理裝置2000啟動之後自動實行也可以。如此一來，不觸發輸入操作而實行S304的情況下，第24圖的流程圖沒有S302也可以。
<關於顯示操作影像的位置>
顯示控制部2060使顯示裝置3040顯示的操作影像的位置是任意的。例如，顯示控制部2060，在以操作區域40的位置為基準的位置上，使操作影像顯示。更具體而言，顯示控制部2060或是在操作區域40的附近使操作影像顯示，或是重疊在操作區域40上使操作影像顯示。第25圖係例示以操作區域40為基準的位置上顯示的操作影像的圖。第25圖中，操作影像是選擇影像122-1到選擇影像122-4。
第25(a)圖中，各選擇影像122在操作區域40的附近顯示。更具體而言，各擇影像122，離操作區域40的上邊只有既定距離d上的位置排列顯示。又在此，「只有既定距離d上」，以標記3020(標記影像16)決定的座標系42中的方向及距離表示。另一方面，第25(b)圖中，各選擇影像122在操作區域40上重疊顯示。
又，例如，顯示控制部2060，與操作區域40的位置無關，在任意的位置使操作影像顯示也可以。例如，操作影像的位置，預先定義為操作影像上的既定位置。
定義操作影像的顯示位置的資訊，預先設定在顯示控制部2060也可以，記憶在顯示控制部2060可以存取的記憶裝置內也可以，由使用者設定也可以。
又，定義操作影像的顯示位置的資訊(上述的既定距離d等)，以絕對值(畫素數等)定義也可以，以相對值定義也可以。後者的情況下，例如操作影像的顯示位置，以對於操作影像的尺寸的相對值表示。又例如，操作影像的顯示位置，以對於標記3020的尺寸的相對值表示也可以。
在此，以操作區域40的位置為基準顯示操作影像的方法，與顯示第二實施形態的操作區域影像的方法相同，根據不重疊在拍攝影像上使操作區域影像顯示或重疊在操作影像上使操作區域影顯示像而不同。以下，分別例示。
<<不重疊在拍攝影像上使操作影像顯示的方法>>
拍攝影像的位置，假設以與操作區域40的位置間的關係決定。在此情況下，顯示控制部2060，基於拍攝影像上的操作區 域40的位置與操作影像的位置間的位置關係，根據拍攝影像上的操作區域40的位置，算出拍攝影像上的操作影像的位置。於是，顯示控制部2060，轉換拍攝影像上的操作影像的位置，成為透過型的頭戴式顯示器100的顯示裝置102上的位置，在根據此轉換算出的顯示裝置102上的位置上，使操作影像顯示。
拍攝影像的位置，假設被定為拍攝影像上的既定位置。在此情況下，顯示控制部2060，轉換拍攝影像上的操作影像的位置，成為透過型的頭戴式顯示器100的顯示裝置102上的位置，在根據此轉換算出的顯示裝置102上的位置，使操作影像顯示。
又，如上述，拍攝影像上的座標與顯示裝置102上的座標間的對應關係，可以根據關於攝影機20的各種參數(視角或焦點距離)、顯示裝置102與攝影機20間的位置關係等決定。
又，表示拍攝影像上的操作區域40與操作影像間的位置關係之資訊，可以預先設定在顯示控制部2060，也可以記憶在顯示控制部2060可以存取的記憶裝置內，也可以由使用者設定。
<<在拍攝影像上重疊使操作影像顯示的情況>>
拍攝影像的位置，假設以與操作區域40的位置間的關係決定。在此情況下，顯示控制部2060根據拍攝影像上的操作區域40的位置與操作影像的位置間的位置關係，算出拍攝影像上的操作影像的位置。於是，顯示控制部2060，將其位置上重疊操作影像的拍攝影像，輸出至顯示裝置3040。
拍攝影像的位置，假設定為拍攝影像上的既定位置。在此情況下，顯示控制部2060，將上述既定位置上重疊操作影像的拍攝影像，輸出至顯示裝置3040。
又，關於指示拍攝影像上的操作區域40與操作影像間的位置關係之資訊，與上述相同。
<取得操作影像的方法>
顯示控制部2060取得操作影像的方法是任意的。例如，操作影像，可以預先設定在顯示控制部2060，也可以記憶在顯示控制部2060可以存取的記憶裝置內，也可以由使用者設定。
<關於根據輸入操作進行的顯示>
顯示控制部2060，根據辨識部2040辨識的輸入操作進行任意的處理。於是，顯示控制部2060，使顯示裝置3040進行表示其結果的顯示。在此，辨識部2040辨識的輸入操作與根據其輸入操作顯示裝置3040進行的處理之間的對應是任意的。此映射，可以預先設定在顯示控制部2060，也可以記憶在顯示控制部2060可以存取的記憶裝置內，也可以由使用者設定。
<硬體構成>
實現第三實施形態的資訊處理裝置2000的計算機的硬體構成，與第一實施形態相同，例如以第3圖表示。但，實現本實施形態的資訊處理裝置2000的計算機1000的儲存器1080中，更記憶實現本實施形態的資訊處理裝置2000的機能的程式模組。又，與第二實施形態相同，本實施形態中，經由輸出入界面1100或網路界面，顯示裝置3040連接至計算機1000。
<作用．效果>
根據本實施形態，由顯示控制部2060，輸出關於操作對象的資訊至顯示裝置3040。所以，使用者可以一邊參照關於操作對象的資訊，一邊進行輸入操作。藉此，對於使用者來說，資訊處理系統3000的方便性提高。
[實施例1]
關於第三實施形態的資訊處理系統3000，通過實施例更詳細說明。第26圖，係例示實施例的資訊處理系統3000的使用環境的圖。本實施例中，資訊處理裝置2000，內建於頭戴式顯示器100內。顯示裝置3040，係頭戴式顯示器100的顯示裝置102。攝影機20設置於顯示裝置102的附近以拍攝使用者的視野方向。使用者左手腕穿戴裝置10。標記3020，係裝置10的觸控面板14上顯示的標記影像16。
本實施例的顯示控制部2060，使顯示裝置3040顯示操作區域影像及操作影像。又，本實施例中，操作區域40在使用者的左手臂32上。
本實施例中，使用者進行用以從顯示裝置102上顯示的複數的影像中選擇1個的操作。在此之際，首先使用者進行用以選擇1個影像作為選擇候補之候補選擇操作。使用者還對選擇候補進行決定操作。結果，決定成為決定操作的對象之選擇候補為選擇對象，對決定為選擇對象的影像進行各種處理。例如，顯示控制部2060，在顯示裝置102的中央放大顯示選擇的影像。在此，使用者，以某影像為選擇候補後，也可以在其影像不是選擇候補的狀態下進行返回操作(以下，取消操作)。
<操作1>
第27圖係例示候補選擇操作的圖。顯示裝置102中，顯示4個選擇影像122。使用者，為了選擇選擇候補，進行「從選擇影像122-1到選擇影像122-4中的任一的下方停留手指30既定時間以上」的輸入操作。辨識部2040辨識此輸入操作。於是，顯示控制部2060，根據此輸入操作，明白成為輸入操作的對象之選擇影像122成為選擇候補，變更顯示裝置3040產生的顯示。
第27(a)圖中，使用者，停留手指30在選擇影像122-2的下方。這是為了以選擇影像122-2為選擇候補的候補選擇操作。辨識部2040，辨識此候補選擇操作。於是，顯示控制部2060，根據此輸入操作，進行使成為選擇候補的選擇影像122-2的顯示位置，比其他選擇影像122稍微往上移動的處理(第27(b)圖)。
<操作2>
第28圖係例示決定操作的圖。使用者進行「往接近選擇候補的選擇影像122的方向，移動手指30既定距離以上」的輸入操作。辨識部2040，辨識此輸入操作。第28(a)圖的情況下，使用者對選擇影像122-2靠近手指30。顯示控制部2060，根據此輸入操作，在顯示裝置102的中央進行使選擇影像122-2放大顯示的處理(第28(b)圖)。
<操作3>
說明關於上述決定操作之外的範例。顯示控制部2060，處理「停留手指30在操作區域40的上端的既定區域(以下，上端區域)」之輸入操作，作為決定操作。
第29圖係例示決定操作的第2圖。使用者，停留手指30在操作區域40的上端區域132既定時間以上(第29(a) 圖)。辨識部2040辨識此輸入操作。具體而言，辨識部2040，在既定時間內產生的各拍攝影像中的手指30的位置都在上端區域132內時，辨識此輸入操作。顯示控制部2060，根據此輸入操作，與第28(b)圖相同，在顯示裝置102的中央，進行放大顯示選擇影像122的處理(第29(b)圖)。
<操作4>
說明決定操作的又另一範例。顯示控制部2060，處理「將手指30的一部分從操作區域40的上端往操作區域40的外面伸出」的輸入操作，作為決定操作。
第30圖係例示決定操作的第3圖。使用者進行「從操作區域40的上端手指30的一部分往外伸出，移動手指30」之輸入操作。辨識部2040，辨識此輸入操作。顯示控制部2060，根據此輸入操作，與第28(b)圖相同，在顯示裝置102的中央，進行放大顯示選擇影像122的處理(第29(b)圖)。
在此，辨識「將手指30的一部分從操作區域40的上端往操作區域40之外伸出」的輸入操作之方法是各式各樣。例如，辨識部2040，根據辨識「手指30的上端連接至操作區域40的上端後，手指30更往上方移動」，辨識此輸入操作。又例如，辨識部2040，根據辨識「手指30往上方移動，且操作區域40內包含的手指30的面積減少」，辨識此輸入操作。又，例如辨識部2040，根據辨識「手指30包含在操作區域40的上端區域132內」，辨識此輸入操作。
<操作5>
第31圖係例示取消操作的圖。第31(a)圖中，使用者進行 「手指30以既定距離以上遠離選擇候補的選擇影像122-2」的輸入操作。辨識部2040，辨識此輸入操作。顯示控制部2060，根據此輸入操作，進行「將選擇作為選擇候補的選擇影像122-2，返回到不選為選擇候補的狀態」的處理(第31(b)圖)。
<操作6>
說明取消操作的另外的範例。顯示控制部2060，處理「將手指30停留在操作區域40的下端的既定區域(以下，下端區域)內」的輸入操作，作為取消操作。
第32圖係例示取消操作的第2圖。使用者進行「將手指30停留在操作區域40的下端區域134內既定時間以上」的輸入操作(第32(a)圖)。辨識部2040辨識此輸入操作。具體而言，辨識部2040，在既定時間內產生的各拍攝影像中的手指30位置都在下端區域134內時，辨識此輸入操作。顯示控制部2060，根據此輸入操作，與第31(b)圖相同，進行「將選擇作為選擇候補的選擇影像122-2，返回到不選為選擇候補的狀態」的處理(第32(b)圖)。
<操作7>
說明取消操作的又另外的範例。顯示控制部206，處理「將手指30的一部分從操作區域40的下端往操作區域40的外面伸出」的輸入操作，作為取消操作。
第33圖係例示取消操作的第3圖。使用者進行「從操作區域40的下端將手指30的一部分往外伸出，移動手指30」的輸入操作(第33(a)圖)。辨識部2040辨識此輸入操作。顯示控制部2060，根據此輸入操作，與第31(b)圖相同，進行「將 選擇作為選擇候補的選擇影像122-2，返回到不選為選擇候補的狀態」的處理(第33(b)圖)。
在此，辨識「將手指30的一部分從操作區域40的下端往操作區域40的外面伸出」的輸入操作之方法是各式各樣。例如，辨識部2040，根據辨識「手指30往下方移動後，變得不能在操作區域40之中檢出手指30」，辨識此輸入操作。又例如，辨識部2040，根據辨識「操作區域40的下端的既定區域中內檢出的手指30的面積減少既定值以上」，辨識此輸入操作。又例如，辨識部2040，根據辨識「操作區域40的下端區域134內包含操作區域40」，辨識此輸入操作也可以。
<操作8>
本實施例中，第27圖等所示的選擇影像122-1到選擇影像122-4以外，也假設有選擇影像122。例如作為選擇影像122，準備選擇影像122-1到選擇影像122-8依此順序的8個。在此情況下，第27圖等指示的顯示方法，不能一次顯示出全部的選擇影像122。
於是使用者，進行用以變更顯示裝置3040上顯示的選擇影像122的輸入操作(以下，變更操作)。例如使用者，進行「以既定值以上的速度左右移動手指30」的輸入操作。辨識部2040辨識這些輸入操作時，顯示控制部2060就變更顯示裝置3040上顯示的選擇影像122。
第34圖係例示變更操作的第1圖。第34(a)圖中，使用者，進行「以既定值以上的速度往左方向移動手指30」的輸入操作。辨識部2040，辨識此輸入操作。顯示控制部2060， 根據此輸入操作，進行將裝置3040上顯示的選擇影像122從選擇影像122-1到選擇影像122-4變更至之後的選擇影像(選擇影像122-5到選擇影像122-8)的處理(第34(b)圖)。
辨識部2040，使用包含手指30的複數的拍攝影像，藉由算出手指30的位置的每單位時間的變化，可以算出手指30的速度。例如(第34(a)圖)中的手指30的移動，以時序連續的5個拍攝影像中的各手指30的位置變化表示。在此情況下，例如辨識部2040，算出第1個拍攝影像中的手指30的位置與第5個拍攝影像中的手指30的位置之間的距離，藉由以這些拍攝影像產生的時刻差分隔此距離，算出手指30的速度。又，算出影像內包含的物體的速度之技術中，因為可以利用各式各樣的技術，手指30的速度的算出方法不限定於上述的方法。
又，辨識部2040根據手指30的速度辨識的輸入操作，根據其速度也可以有複數種。例如辨識部2040，以未達第1速度移動手指30的動作、以第1既定速度以上且未達第2既定速度移動手指30的動作、以及以第2既定速度以上移動手指30的動作，分別辨識為不同的輸入操作。
第35圖係例示變更操作的第2圖。第35(a)圖中，顯示上述的選擇影像122-5到選擇影像122-8。使用者，進行「以既定值以上的速度往右方向移動手指30」的輸入操作。辨識部2040，辨識此輸入操作。顯示控制部2060，根據此輸入操作，進行將裝置3040上顯示的選擇影像122從選擇影像122-5到選擇影像122-8變更至之前的選擇影像(選擇影像122-1到選擇影像122-4)的處理(第33(b)圖)。
<操作9>
說明變更操作的另外的範例。顯示控制部2060，處理「停留手指30在操作區域40的左右端」之輸入操作，作為變更操作。
第36圖係例示變更操作的第3圖。使用者，進行「停留手指30在操作區域40的左端的既定範圍(左端區域136)內既定時間以上」之輸入操作(第36(a)圖)。辨識部2040，辨識此輸入操作。具體而言，辨識部2040，當既定時間內產生的各拍攝影像中的手指30的位置都在左端區域136內時，辨識此輸入操作。顯示控制部2060，根據此輸入操作，與第34(b)圖相同，進行將裝置3040上顯示的選擇影像122從選擇影像122-1到選擇影像122-4變更至之後的選擇影像(選擇影像122-5到選擇影像122-8)的處理(第36(b)圖)。
第37圖係例示變更操作的第4圖。使用者，進行「停留手指30在操作區域40的右端的既定範圍(右端區域138)內既定時間以上」之輸入操作(第37(a)圖)。辨識部2040，辨識此輸入操作。具體而言，辨識部2040，當既定時間內產生的各拍攝影像中的手指30的位置都在右端區域138內時，辨識此輸入操作。顯示控制部2060，根據此輸入操作，與第35(b)圖相同，進行將裝置3040上顯示的選擇影像122從選擇影像122-5到選擇影像122-8變更至之前的選擇影像(選擇影像122-1到選擇影像122-4)的處理(第35(b)圖)。
<操作10>
說明變更操作的又另外的範例。顯示控制部2060，處理「從操作區域40的左右端將手指30伸出操作區域40之外」之輸 入操作，作為變更操作。
第38圖係例示變更操作的第5圖。使用者，進行「從操作區域40的左端將手指30的一部分伸出操作區域40之外」之輸入操作(第38(a)圖)。辨識部2040，辨識此輸入操作。顯示控制部2060，根據此輸入操作，與第34(b)圖相同，進行將裝置3040上顯示的選擇影像122從選擇影像122-1到選擇影像122-4變更至之後的選擇影像(選擇影像122-5到選擇影像122-8)的處理(第38(b)圖)。
在此，辨識「從操作區域40的左端將手指30的一部分伸出操作區域40之外」的輸入操作之方法各式各樣。例如，辨識部2040，根據辨識「手指30的左端連接至操作區域40的左端後，手指30更往左方移動」，辨識此輸入操作。又例如，辨識部2040，根據辨識「手指30往左方移動，而且操作區域4內包含的手指30的面積減少」，辨識此輸入操作。又例如，辨識部2040，根據辨識「手指30包含在操作區域40的左端區域136內」，辨識此輸入操作也可以。
第39圖係例示變更操作的第6圖。使用者進行「從操作區域40的右端將手指30的一部分伸出操作區域40之外」之輸入操作(第39(a)圖)。辨識部2040，辨識此輸入操作。顯示控制部2060，根據此輸入操作，與第35(b)圖相同，進行將裝置3040上顯示的選擇影像122從選擇影像122-5到選擇影像122-8變更至之前的選擇影像(選擇影像122-1到選擇影像122-4)的處理(第39(b)圖)。
在此，辨識「從操作區域40的右端將手指30的 一部分伸出操作區域40之外」的輸入操作之方法各式各樣。例如，辨識部2040，根據辨識「手指30的右端連接至操作區域40的右端後，手指30更往右方移動」，辨識此輸入操作。又例如，辨識部2040，根據辨識「手指30往右方移動，而且操作區域4內包含的手指30的面積減少」，辨識此輸入操作。又例如，辨識部2040，根據辨識「手指30包含在操作區域40的右端區域138內」，辨識此輸入操作也可以。
<關於輸入操作與根據顯示控制部2060的處理之間的對應>
辨識部2040辨識的輸入操作(停留手指30在相同的場所既定時間以上的輸入操作等)的種類與顯示控制部2060實行的處理(以選擇影像122為選擇候補的候補處理等)之間的對應關係是任意的，不限定於上述的對應關係。這些對應關係，預先設定在資訊處理裝置2000也可以，記憶在資訊處理裝置2000可存取的記憶裝置內也可以，由使用者設定也可以。
例如上述的範例中，顯示控制部2060，處理「往接近選擇候補的選擇影像122的方向，移動手指30既定距離以上」的輸入操作作為決定操作，處理「往遠離選擇候補的選擇影像122的方向，移動手指30既定距離以上」的輸入操作作為取消操作。但與此相反，顯示控制部2060，處理「往遠離選擇候補的選擇影像122的方向，移動手指30既定距離以上」的輸入操作作為決定操作，處理「往接近選擇候補的選擇影像122的方向，移動手指30既定距離以上」的輸入操作作為取消操作也可以。
<不變更顯示裝置3040產生的顯示的方法之範例>
為了不變更顯示裝置3040產生的顯示，也有可能使用者考慮不想從操作區域40往外伸出手指30。例如，使用者，在進行上述各操作途中，有可能想暫時中斷輸入操作。例如第27(b)圖所示的選擇影像122-2成為選擇候補的狀態中，不做決定操作也不做取消操作，想從操作區域40伸出手指30的情況等。
此情況下，使用者，只要進行不以顯示控制部2060處理作為上述的候補選擇操作、決定操作、取消操作或變更操作的動作即可。例如，使用者，緩慢移動手指30，從操作區域40的左右端往外伸出。在此，所謂「緩慢」，係指速度是「以既定值以上的速度往右方向移動手指30」的輸入操作中的未達既定值。因為手指30的速度未達既定值，左右移動手指30也被不辨識為變更操作。但此情況下，顯示控制部2060被設定為不處理「從操作區域40的左右端往外伸出手指30」的輸入操作作為變更操作。
又，辨識部2040，將辨識不只是手指30的水平方向及垂直方向的位置，也包含手指30位於深度方向的位置(以標記影像16決定的座標系42中的z方向的位置)。即，辨識部2040，根據以標記影像16決定的座標系42中的手指30的3次元位置，辨識輸入操作。
在此情況下，例如操作區域抽出部2020，抽出以上述表面表示的操作區域40為底面而且以深度為既定值的長方體，作為操作區域。藉此，上述的「往接近選擇候補的選擇影像122的方向，移動手指30既定距離以上」等的動作在離手臂32上述既定值以上的位置進行時，不辨識其動作為輸入 操作。於是使用者，由於讓手指30遠離手臂32，可以不讓顯示控制部2060進行上述各種處理。
又，辨識部2040掌握手指30的深度方向的位置的方法各式各樣。例如，攝影機20為3次元攝影機。在此情況下，辨識部2040，因為可以取得攝影機20產生的拍攝影像內包含的手指30的3次元位置，可以掌握手指30的深度方向的位置。又例如，辨識部2040，根據拍攝影像內包含的手指30的大小，推測手指30的深度方向的位置也可以。例如辨識部2040，根據拍攝影像內包含的使用者的手臂32與手指30的大小比率，算出手指30的深度方向的位置。
又，顯示控制部2060，取代掌握手指30的3次元位置，根據操作區域40內包含的手指30的大小，改變輸入操作的處理也可以。例如顯示控制部2060，表示手指30的區域在操作區域40中佔的比例是既定值以下狀況中，只有進行上述的「往接近選擇候補的選擇影像122的方向，移動手指30既定距離以上」等動作之情況下，根據其動作，處理辨識的輸入操作，作為取消操作等。「表示手指30的區域在操作區域40中佔的比例是既定值以下」的狀況，係指拍攝影像內的手指30的尺寸小。於是，這意味手指30在手臂32的附近。
另一方面，顯示控制部2060，表示手指30的區域在操作區域40中佔的比例比既定值大的狀況中，進行「往接近選擇候補的選擇影像122的方向，移動手指30既定距離以上」等動作之情況下，根據其動作辨識的輸入操作，不處理作為取消操作等。「表示手指30的區域在操作區域40中佔的比 例比既定值大」的狀況，係指拍攝影像內的手指30的尺寸大。於是，這意味手指30在遠離手臂32的位置。
[實施例2]
第三實施形態的資訊處理裝置2000的具體動作，再使用另外的實施例說明。本實施例中，關於具有與實施例1相同的構成之資訊處理系統3000，說明關於對上述的選擇影像122的操作與另外的操作。具體而言，例示對滑桿(slide bar)的輸入操作。
第40圖係例示對於滑桿的輸入操作的第1圖。第40圖中，顯示滑桿140在操作區域40內。滑桿140，具有抓把142。此例中，藉由往右側移動抓把142，放大影像150，藉由往左側移動抓把142，縮小影像150。
使用者，進行「根據放置手指30重疊抓把142的狀態，手指30往右側移動」的輸入操作(第40(a)圖)。辨識部2040，辨識此輸入操作。顯示控制部2060，根據此輸入操作，進行變更顯示抓把142的位置至手指30移動的位置之處理(第40(b)圖)。又，因為抓把142往右側移動，顯示控制部2060，根據抓把142移動的距離(手指30移動的距離)，進行放大影像150的處理(第40(b)圖)。
第41圖係例示對於滑桿(slide bar)的輸入操作的第2圖。使用者，進行「根據放置手指30重疊抓把142的狀態，手指30往左側移動」的輸入操作(第41(a)圖)。辨識部2040，辨識此輸入操作。顯示控制部2060，根據此輸入操作，進行變更顯示抓把142的位置至手指30移動的位置之處理(第41(b)圖)。又，因為抓把142往左側移動，顯示控制部2060， 根據抓把142移動的距離(手指30移動的距離)，進行縮小影像150的處理(第41(b)圖)。
說明關於移動抓把142的操作的另外的變化。第42圖係例示對於滑桿(slide bar)的輸入操作的第3圖。第42(a)圖中，使用者進行「滑桿140上且不顯示抓把142的位置上停留手指30既定時間以上」的輸入操作。辨識部2040，辨識此輸入操作。顯示控制部2060，根據此輸入操作，進行變更顯示抓把142的顯示位置至手指30的位置之處理(第42(b)圖)。又，因為抓把142往右側移動，顯示控制部2060，根據抓把142移動的距離，進行放大影像150的處理(第42(b)圖)。
又，第42(a)圖中所示的狀況中，假設進行了停留手指30在不是抓把142的右側而是左側的輸入操作。在此情況下，因為抓把142往左側移動，顯示控制部2060，根據移動抓把142移動的距離，進行縮小影像150的處理。
以上，參照圖面說明關於本發明的實施形態，但這些是本發明的例示，也可以採用上述各實施形態的組合或上述以外的各種構成。
例如，根據辨識部2040辨識的輸入操作實行資訊處理裝置2000的處理，不限定於顯示控制部2060進行的顯示裝置3040的控制。例如資訊處理裝置2000，根據辨識部2040辨識的輸入操作，能夠實行各種資料的複製處理、削除處理、密碼化處理、播放處理、啟動應用程式的處理等各式各樣的處理。
例如，實施例1中，顯示裝置3040上顯示檔案瀏 覽器，假設各選擇影像122(參照第27圖)為表示各檔案的圖標。在此情況下，例如成為上述的決定操作的對象之圖標是文件檔案的話，資訊處理裝置2000，啟動文件檔案的閱覽軟體等的應用程式，以啟動的應用程式打開其文件檔案。同樣地，資訊處理裝置2000，如果成為決定操作的對象之圖標是音樂檔案或動畫檔案的話，啟動音樂或影像的播放軟體等的應用程式，以啟動的應用程式播放其音樂檔案或動畫檔案。又同樣地，資訊處理裝置2000，如果成為決定操作的對象之圖標是應用程式的圖標的話，啟動其應用程式。
同樣地實施例1中，定義著用以削除處理的輸入操作等。在此情況下，例如某選擇影像122成為選擇候補的狀態下使用者進行削除處理用的輸入操作時，資訊處理裝置2000實行對應成為選擇候補的選擇影像122之資料的削除。
又，上述各處理的實行結果，不一定顯示在顯示裝置3040上。
以下，附記參考形態的範例。
1. 一種資訊處理系統，包括：標記，是使用者穿戴在身上的物體或使用者身體的一部分；以及資訊處理裝置；其中，上述資訊處理裝置，具有：操作區域抽出手段，根據上述標記的位置，抽出攝影機產生的拍攝影像內包含的操作區域；以及辨識手段，算出上述操作區域內包含的操作體的位置或移 動，根據上述算出的位置或移動辨識輸入操作。
2. 如1.中記載的資訊處理系統，其中，上述標記是上述使用者穿戴在臂部之物，以及上述操作區域是上述臂部上的區域。
3. 如1.中記載的資訊處理系統，其中，上述標記是上述使用者穿戴在身上的器件的顯示裝置中顯示的影像。
4. 如1.至3.中任一項記載的資訊處理系統，其中，上述辨識手段，辨識根據上述操作體的速度的輸入操作。
5. 如1.至4.中任一項記載的資訊處理系統，具有顯示影像的顯示裝置，其中，上述資訊處理裝置，具有：顯示控制手段，使上述顯示裝置顯示表示上述操作區域的操作區域影像。
6. 如5.中記載的資訊處理系統，其中，上述顯示裝置，是透過型的頭戴式顯示器的顯示裝置；上述顯示控制手段，根據上述拍攝影像上的位置與上述顯示裝置上的位置之間的對應關係，轉換上述拍攝影像上的上述操作區域的位置為上述顯示裝置上的位置，使上述轉換的上述顯示裝置上的位置顯示上述操作區域影像。
7. 如5.中記載的資訊處理系統，其中，上述顯示裝置，是非透過型的頭戴式顯示器的顯示裝置或投影機；上述顯示控制手段，使上述顯示裝置，顯示抽出上述操作區域的位置上重疊上述操作區域影像的上述拍攝影像。
8. 如5.至7.中任一項記載的資訊處理系統，其中， 上述顯示控制手段，使上述顯示裝置顯示表示輸入操作的對象的影像即操作對象影像；根據上述辨識手段辨識的輸入操作，變更上述顯示裝置產生的顯示。
9. 如8.中記載的資訊處理系統，其中，上述辨識手段，辨識下列操作：位於附近操作，使上述操作體位於上述操作對象影像的附近；靠近操作，對上述操作對象影像靠近上述操作體；遠離操作，使上述操作體遠離上述操作對象影像；伸出操作，從上述操作區域之中往外伸出上述操作體；或者位於區域內操作，使上述操作體位於上述操作區域的邊緣的既定範圍的區域內。
10. 如9.中記載的資訊處理系統，其中，上述顯示控制手段，實行下列處理：選擇候補處理，根據辨識上述操作體位於上述操作對象影像的附近的操作，以其操作對象影像為選擇候補；以及確定處理，上述操作對象影像成為上述選擇候補的狀態中，根據辨識對上述選擇候補靠近上述操作體的輸入操作、使上述操作體位於上述操作區域的上端的既定位置的操作、或上述操作體跨過上述操作區域的上端往外伸出的操作之中的任一操作，確定其選擇候補為選擇對象。
11. 如10.中記載的資訊處理系統，其中，上述顯示控制手段，實行下列處理：變更處理，上述操作對象影像成為上述選擇候補的狀態中，根據辨識使上述操作體遠離上述選擇候補的操作、使上述操作體位於上述操作區域的下端的既定區域的操作、或使上述操作體位於上述操作區域的下端的既定位置的操作、或上述操作體跨過上述操作區域的下端往外伸出的操作之中的任一操作，變更成為其選擇候補的上述操作對象影像為不成為選擇候補的狀態。
12. 如8.至11.中任一項記載的資訊處理系統，其中，上述辨識手段，辨識上述操作體以既定值以上的速度移動的操作；上述顯示控制手段，根據辨識上述操作體以既定值以上的速度移動的操作，實行變更上述顯示裝置顯示的上述操作對象影像為另外的操作對象影像之處理。
13. 如8.至12.中任一項記載的資訊處理系統，其中，上述顯示控制手段，使上述顯示裝置顯示表示滑桿的操作對象影像；上述辨識手段，辨識上述滑桿的抓把上重疊操作體，還沿著上述滑桿的桿移動其操作體之輸入操作；上述顯示控制手段，變更上述滑桿的抓把的顯示位置為上述操作體移動後的位置。
14. 資訊處理裝置，具有： 操作區域抽出手段，根據標記的位置，抽出攝影機產生的拍攝影像內包含的操作區域；以及辨識手段，算出上述操作區域內包含的操作體的位置或移動，根據上述算出的位置或移動辨識輸入操作；其中，上述標記，係使用者穿戴在身上之物或使用者身體的一部分。
15. 如14.中記載的資訊處理裝置，其中，上述標記是上述使用者穿戴在臂部之物，上述操作區域是上述臂部上的區域。
16. 如14.中記載的資訊處理裝置，其中，上述標記是上述使用者穿戴在身上的器件的顯示裝置中顯示的影像。
17. 如14.至16.中任一項記載的資訊處理裝置，其中，上述辨識手段，辨識根據上述操作體的速度的輸入操作。
18. 如14.至17.中任一項記載的資訊處理裝置，具有：顯示控制手段，使上述顯示裝置顯示表示上述操作區域的操作區域影像。
19. 如18.中記載的資訊處理裝置，其中，上述顯示裝置，是透過型的頭戴式顯示器的顯示裝置；上述顯示控制手段，根據上述拍攝影像上的位置與上述顯示裝置上的位置之間的對應關係，轉換上述拍攝影像上的上述操作區域的位置為上述顯示裝置上的位置，使上述轉換的上述顯示裝置上的位置顯示上述操作區域影像。
20. 如18.中記載的資訊處理裝置，其中，上述顯示裝置，是非透過型的頭戴式顯示器的顯示裝置或投影機； 上述顯示控制手段，使上述顯示裝置，顯示抽出上述操作區域的位置上重疊上述操作區域影像的上述拍攝影像。
21. 如18.至20.中任一項記載的資訊處理裝置，其中，上述顯示控制手段，使上述顯示裝置顯示表示輸入操作的對象的影像即操作對象影像；根據上述辨識手段辨識的輸入操作，變更上述顯示裝置產生的顯示。
22. 如21.中記載的資訊處理裝置，其中，上述辨識手段，辨識下列操作：位於附近操作，使上述操作體位於上述操作對象影像的附近；靠近操作，對上述操作對象影像靠近上述操作體；遠離操作，使上述操作體遠離上述操作對象影像；伸出操作，從上述操作區域之中往外伸出上述操作體；或者位於區域內操作，使上述操作體位於上述操作區域的邊緣的既定範圍的區域內。
23. 如22.中記載的資訊處理裝置，其中，上述顯示控制手段，實行下列處理：選擇候補處理，根據辨識上述操作體位於上述操作對象影像的附近的操作，以其操作對象影像為選擇候補；以及確定處理，上述操作對象影像成為上述選擇候補的狀態中，根據辨識對上述選擇候補靠近上述操作體的輸入操作、使上述操作體位於上述操作區域的上端的既定位置的操作、或上 述操作體跨過上述操作區域的上端往外伸出的操作之中的任一操作，確定其選擇候補為選擇對象。
24. 如23.中記載的資訊處理裝置，其中，上述顯示控制手段，實行下列處理：變更處理，上述操作對象影像成為上述選擇候補的狀態中，根據辨識讓上述操作體遠離上述選擇候補的操作、使上述操作體位於上述操作區域的下端的既定區域的操作、或上述操作體跨過上述操作區域的下端往外伸出的操作之中的任一操作，變更成為其選擇候補的上述操作對象影像為不成為選擇候補的狀態。
25. 如21.至24.中任一項記載的資訊處理裝置，其中，上述辨識手段，辨識上述操作體以既定值以上的速度移動的操作；上述顯示控制手段，根據辨識上述操作體以既定值以上的速度移動的操作，實行變更上述顯示裝置顯示的上述操作對象影像為另外的操作對象影像之處理。
26. 如21.至25.中任一項記載的資訊處理裝置，其中，上述顯示控制手段，使上述顯示裝置顯示表示滑桿的操作對象影像；上述辨識手段，辨識上述滑桿的抓把上重疊操作體，還沿著上述滑桿的桿移動其操作體之輸入操作；上述顯示控制手段，變更上述滑桿的抓把的顯示位置為上述操作體移動後的位置。
27. 一種控制方法，以電腦實行，包括下列步驟：操作區域抽出步驟，根據標記的位置，抽出攝影機產生的拍攝影像內包含的操作區域；以及辨識步驟，算出上述操作區域內包含的操作體的位置或移動，根據上述算出的位置或移動辨識輸入操作；其中，上述標記，係使用者穿戴在身上之物或使用者身體的一部分。
28. 如27.中記載的控制方法，其中，上述標記是上述使用者穿戴在臂部之物，上述操作區域是上述臂部上的區域。
29. 如27.中記載的控制方法，其中，上述標記是上述使用者穿戴在身上的器件的顯示裝置中顯示的影像。
30. 如27.至29.中任一項記載的控制方法，其中，上述辨識步驟，辨識根據上述操作體的速度的輸入操作。
31. 如27.至30.中任一項記載的控制方法，具有：顯示控制步驟，使顯示裝置顯示表示上述操作區域的操作區域影像。
32. 如31.中記載的控制方法，其中，上述顯示裝置，是透過型的頭戴式顯示器的顯示裝置；上述顯示控制步驟，根據上述拍攝影像上的位置與上述顯示裝置上的位置之間的對應關係，轉換上述拍攝影像上的上述操作區域的位置為上述顯示裝置上的位置，使上述轉換的上述顯示裝置上的位置顯示上述操作區域影像。
33. 如31.中記載的控制方法，其中，上述顯示裝置，是非透過型的頭戴式顯示器的顯示裝置或 投影機；上述顯示控制步驟，使上述顯示裝置，顯示抽出上述操作區域的位置上重疊上述操作區域影像的上述拍攝影像。
34. 如31.至33.中任一項記載的控制方法，其中，上述顯示控制步驟，使上述顯示裝置顯示表示輸入操作的對象的影像；根據上述辨識步驟辨識的輸入操作，變更上述顯示裝置產生的顯示。
35. 如34.中記載的控制方法，其中，上述辨識步驟，辨識下列操作：位於附近操作，使上述操作體位於上述操作對象影像的附近；靠近操作，對上述操作對象影像靠近上述操作體；遠離操作，使上述操作體遠離上述操作對象影像；伸出操作，從上述操作區域之中往外伸出上述操作體；或者位於區域內操作，使上述操作體位於上述操作區域的邊緣的既定範圍的區域內。
36. 如35.中記載的控制方法，其中，上述顯示控制步驟，實行下列處理：選擇候補處理，根據辨識上述操作體位於上述操作對象影像的附近的操作，以其操作對象影像為選擇候補；以及確定處理，上述操作對象影像成為上述選擇候補的狀態中，根據辨識對上述選擇候補靠近上述操作體的輸入操作、使 上述操作體位於上述操作區域的上端的既定位置的操作、或上述操作體跨過上述操作區域的上端往外伸出的操作之中的任一操作，確定其選擇候補為選擇對象。
37. 如36.中記載的控制方法，其中，上述顯示控制步驟，實行下列處理：變更處理，上述操作對象影像成為上述選擇候補的狀態中，根據辨識使上述操作體遠離上述選擇候補的操作、使上述操作體位於上述操作區域的下端的既定區域的操作、或使上述操作體跨過上述操作區域的下端往外伸出的操作之中的任一操作，變更成為其選擇候補的上述操作對象影像為不成為選擇候補的狀態。
38. 如33.至37.中任一項記載的控制方法，其中，上述辨識步驟，辨識上述操作體以既定值以上的速度移動的操作；上述顯示控制步驟，根據辨識上述操作體以既定值以上的速度移動的操作，實行變更上述顯示裝置顯示的上述操作對象影像為另外的操作對象影像的處理。
39. 如34.至38.中任一項記載的控制方法，其中，上述顯示控制步驟，使上述顯示裝置顯示表示滑桿的操作對象影像；上述辨識步驟，辨識上述滑桿的抓把上重疊操作體，還沿著上述滑桿的桿移動其操作體之輸入操作；上述顯示控制步驟，變更上述滑桿的抓把的顯示位置為上述操作體移動後的位置。
40. 一種程式，以電腦實行，包括下列步驟：操作區域抽出步驟，根據標記的位置，抽出攝影機產生的拍攝影像內包含的操作區域；以及辨識步驟，算出上述操作區域內包含的操作體的位置或移動，根據上述算出的位置或移動辨識輸入操作；其中，上述標記，係使用者穿戴在身上之物或使用者身體的一部分。
41. 如40.中記載的程式，其中，上述標記是上述使用者穿戴在臂部之物，上述操作區域，係上述臂部上的區域。
42. 如40.中記載的程式，其中，上述標記是上述使用者穿戴在身上的器件的顯示裝置中顯示的影像。
43. 如40.至42.中任一項記載的程式，其中，上述辨識步驟，辨識根據上述操作體的速度的輸入操作。
44. 如40.至43.中任一項記載的程式，使上述電腦實行下列步驟：顯示控制步驟，使顯示裝置顯示表示上述操作區域的操作區域影像。
45. 如44.中記載的程式，其中，上述顯示裝置，是透過型的頭戴式顯示器的顯示裝置；上述顯示控制步驟，根據上述拍攝影像上的位置與上述顯示裝置上的位置之間的對應關係，轉換上述拍攝影像上的上述操作區域的位置為上述顯示裝置上的位置，使上述轉換的上述顯示裝置上的位置顯示上述操作區域影像。
46. 如44.中記載的程式，其中，上述顯示裝置，是非透過型的頭戴式顯示器的顯示裝置或投影機；上述顯示控制步驟，使上述顯示裝置，顯示抽出上述操作區域的位置上重疊上述操作區域影像的上述拍攝影像。
47. 如44.至46.中任一項記載的程式，其中，上述顯示控制步驟，使上述顯示裝置顯示表示輸入操作的對象的影像即操作對象影像；根據上述辨識步驟辨識的輸入操作，變更上述顯示裝置產生的顯示。
48. 如47.中記載的程式，其中，上述辨識步驟，辨識下列操作：位於附近操作，使上述操作體位於上述操作對象影像的附近；靠近操作，對上述操作對象影像靠近上述操作體；遠離操作，使上述操作體遠離上述操作對象影像；伸出操作，從上述操作區域之中往外伸出上述操作體；或者位於區域內操作，使上述操作體位於上述操作區域的邊緣的既定範圍的區域內。
49. 如48.中記載的程式，其中，上述顯示控制步驟，實行下列處理：選擇候補處理，根據辨識上述操作體位於上述操作對象影 像的附近的操作，以其操作對象影像為選擇候補；以及確定處理，上述操作對象影像成為上述選擇候補的狀態中，根據辨識對上述選擇候補靠近上述操作體的輸入操作、使上述操作體位於上述操作區域的上端的既定位置的操作、或上述操作體跨過上述操作區域的上端往外伸出的操作之中的任一操作，確定其選擇候補為選擇對象。
50. 如49.中記載的程式，其中，上述顯示控制步驟，實行下列處理：變更處理，上述操作對象影像成為上述選擇候補的狀態中，根據辨識使上述操作體遠離上述選擇候補的操作、使上述操作體位於上述操作區域的下端的既定區域的操作、或使上述操作體跨過上述操作區域的下端往外伸出的操作之中的任一操作，變更成為其選擇候補的上述操作對象影像為不成為選擇候補的狀態。
51. 如46.至50.中任一項記載的程式，其中，上述辨識步驟，辨識上述操作體以既定值以上的速度移動的操作；上述顯示控制步驟，根據辨識上述操作體以既定值以上的速度移動的操作，實行變更上述顯示裝置顯示的上述操作對象影像為另外的操作對象影像的處理。
52. 如47.至51.中任一項記載的程式，其中，上述顯示控制步驟，使上述顯示裝置顯示表示滑桿的操作對象影像；上述辨識步驟，辨識上述滑桿的抓把上重疊操作體，還沿 著上述滑桿的桿移動其操作體之輸入操作；上述顯示控制步驟，變更上述滑桿的抓把的顯示位置為上述操作體移動後的位置。
此申請書主張以2016年2月25日申請的日本申請專利申請案號第2016-033960號為基礎的優先權，納入其全部的揭示。
2000‧‧‧資訊處理裝置
2020‧‧‧操作區域抽出部
2040‧‧‧辨識部
3000‧‧‧資訊處理系統
3020‧‧‧標記

Claims (13)

  1. 一種資訊處理系統，包括：標記，是使用者穿戴在身上的物體或使用者身體的一部分；資訊處理裝置；以及顯示影像的顯示裝置；其中，上述資訊處理裝置，具有：操作區域抽出手段，根據上述標記的位置，抽出攝影機產生的拍攝影像內包含的操作區域；辨識手段，算出上述操作區域內包含的操作體的位置或移動，根據上述算出的位置或移動辨識輸入操作；以及顯示控制手段，使上述顯示裝置顯示表示上述操作區域的操作區域影像；其中，上述顯示裝置，是透過型的頭戴式顯示器的顯示裝置；其中，上述顯示控制手段，根據上述拍攝影像上的位置與上述顯示裝置上的位置之間的對應關係，轉換上述拍攝影像上的上述操作區域的位置為上述顯示裝置上的位置，使上述轉換的上述顯示裝置上的位置顯示上述操作區域影像。
  2. 如申請專利範圍第1項所述的資訊處理系統，其中，上述標記是上述使用者穿戴在臂部之物，上述操作區域是上述臂部上的區域。
  3. 如申請專利範圍第1項所述的資訊處理系統，其中，上述標記是上述使用者穿戴在身上的器件的顯示裝置中顯示的 影像。
  4. 如申請專利範圍第1至3項中任一項所述的資訊處理系統，其中，上述辨識手段，辨識根據上述操作體的速度的輸入操作。
  5. 一種資訊處理系統，包括：標記，是使用者穿戴在身上的物體或使用者身體的一部分；資訊處理裝置；以及顯示影像的顯示裝置；其中，上述資訊處理裝置，具有：操作區域抽出手段，根據上述標記的位置，抽出攝影機產生的拍攝影像內包含的操作區域；辨識手段，算出上述操作區域內包含的操作體的位置或移動，根據上述算出的位置或移動辨識輸入操作；以及顯示控制手段，使上述顯示裝置顯示表示上述操作區域的操作區域影像；其中，上述顯示裝置，是非透過型的頭戴式顯示器的顯示裝置或投影機；上述顯示控制手段，使上述顯示裝置，顯示抽出上述操作區域的位置上重疊上述操作區域影像的上述拍攝影像。
  6. 一種資訊處理系統，包括：標記，是使用者穿戴在身上的物體或使用者身體的一部分；資訊處理裝置；以及顯示影像的顯示裝置；其中，上述資訊處理裝置，具有： 操作區域抽出手段，根據上述標記的位置，抽出攝影機產生的拍攝影像內包含的操作區域；辨識手段，算出上述操作區域內包含的操作體的位置或移動，根據上述算出的位置或移動辨識輸入操作；以及顯示控制手段，使上述顯示裝置顯示表示上述操作區域的操作區域影像；其中，上述顯示控制手段，使上述顯示裝置顯示表示輸入操作的對象的影像即操作對象影像；根據上述辨識手段辨識的輸入操作，變更上述顯示裝置產生的顯示；其中，上述辨識手段，辨識下列操作：位於附近操作，使上述操作體位於上述操作對象影像的附近；靠近操作，對上述操作對象影像靠近上述操作體；遠離操作，使上述操作體遠離上述操作對象影像；伸出操作，從上述操作區域之中往外伸出上述操作體；或者位於區域內操作，使上述操作體位於上述操作區域的邊緣的既定範圍的區域內。
  7. 如申請專利範圍第6項所述的資訊處理系統，其中，上述顯示控制手段，實行下列處理：選擇候補處理，根據辨識上述操作體位於上述操作對象影像的附近的操作，以其操作對象影像為選擇候補；以及 確定處理，上述操作對象影像成為上述選擇候補的狀態中，根據辨識對上述選擇候補靠近上述操作體的輸入操作、使上述操作體位於上述操作區域的上端的既定位置的操作、或上述操作體跨過上述操作區域的上端往外伸出的操作之中的任一操作，確定其選擇候補為選擇對象。
  8. 如申請專利範圍第7項所述的資訊處理系統，其中，上述顯示控制手段，實行下列處理：變更處理，上述操作對象影像成為上述選擇候補的狀態中，根據辨識使上述操作體遠離上述選擇候補的操作、使上述操作體位於上述操作區域的下端的既定區域的操作、或使上述操作體跨過上述操作區域的下端往外伸出的操作之中的任一操作，變更成為其選擇候補的上述操作對象影像為不成為選擇候補的狀態。
  9. 如申請專利範圍第6項所述的資訊處理系統，其中，上述辨識手段，辨識上述操作體以既定值以上的速度移動的操作；上述顯示控制手段，根據辨識上述操作體以既定值以上的速度移動的操作，實行變更上述顯示裝置顯示的上述操作對象影像為另外的操作對象影像的處理。
  10. 一種資訊處理系統，包括：標記，是使用者穿戴在身上的物體或使用者身體的一部分；資訊處理裝置；以及顯示影像的顯示裝置；其中，上述資訊處理裝置，具有： 操作區域抽出手段，根據上述標記的位置，抽出攝影機產生的拍攝影像內包含的操作區域；辨識手段，算出上述操作區域內包含的操作體的位置或移動，根據上述算出的位置或移動辨識輸入操作；以及顯示控制手段，使上述顯示裝置顯示表示上述操作區域的操作區域影像；其中，上述顯示控制手段，使上述顯示裝置顯示表示輸入操作的對象的影像即操作對象影像；根據上述辨識手段辨識的輸入操作，變更上述顯示裝置產生的顯示；其中，上述顯示控制手段，使上述顯示裝置顯示表示滑桿的操作對象影像；上述辨識手段，辨識上述滑桿的抓把上重疊操作體，還沿著上述滑桿的桿移動其操作體之輸入操作；上述顯示控制手段，變更上述滑桿的抓把的顯示位置為上述操作體移動後的位置。
  11. 一種資訊處理裝置，具有：操作區域抽出手段，根據標記的位置，抽出攝影機產生的拍攝影像內包含的操作區域；辨識手段，算出上述操作區域內包含的操作體的位置或移動，根據上述算出的位置或移動辨識輸入操作；以及顯示控制手段，使上述顯示裝置顯示表示上述操作區域的操作區域影像； 其中，上述標記，係使用者穿戴在身上之物或使用者身體的一部分；其中，上述顯示控制手段，使上述顯示裝置顯示表示輸入操作的對象的影像即操作對象影像；根據上述辨識手段辨識的輸入操作，變更上述顯示裝置產生的顯示；其中，上述辨識手段，辨識下列操作：位於附近操作，使上述操作體位於上述操作對象影像的附近；靠近操作，對上述操作對象影像靠近上述操作體；遠離操作，使上述操作體遠離上述操作對象影像；伸出操作，從上述操作區域之中往外伸出上述操作體；或者位於區域內操作，使上述操作體位於上述操作區域的邊緣的既定範圍的區域內。
  12. 一種控制方法，以電腦實行，包括下列步驟：操作區域抽出步驟，根據標記的位置，抽出攝影機產生的拍攝影像內包含的操作區域；辨識步驟，算出上述操作區域內包含的操作體的位置或移動，根據上述算出的位置或移動辨識輸入操作；以及顯示控制步驟，使上述顯示裝置顯示表示上述操作區域的操作區域影像；其中，上述標記，係使用者穿戴在身上之物或使用者身體 的一部分；上述顯示控制步驟中，使上述顯示裝置顯示表示輸入操作的對象的影像即操作對象影像；根據上述辨識手段辨識的輸入操作，變更上述顯示裝置產生的顯示；上述辨識步驟中，辨識下列操作：位於附近操作，使上述操作體位於上述操作對象影像的附近；靠近操作，對上述操作對象影像靠近上述操作體；遠離操作，使上述操作體遠離上述操作對象影像；伸出操作，從上述操作區域之中往外伸出上述操作體；或者位於區域內操作，使上述操作體位於上述操作區域的邊緣的既定範圍的區域內。
  13. 一種程式，以電腦實行，包括下列步驟：操作區域抽出步驟，根據標記的位置，抽出攝影機產生的拍攝影像內包含的操作區域；辨識步驟，算出上述操作區域內包含的操作體的位置或移動，根據上述算出的位置或移動辨識輸入操作；以及顯示控制步驟，使上述顯示裝置顯示表示上述操作區域的操作區域影像；其中，上述標記，係使用者穿戴在身上之物或使用者身體的一部分； 上述顯示控制步驟中，使上述顯示裝置顯示表示輸入操作的對象的影像即操作對象影像；根據上述辨識手段辨識的輸入操作，變更上述顯示裝置產生的顯示；上述辨識步驟中，辨識下列操作：位於附近操作，使上述操作體位於上述操作對象影像的附近；靠近操作，對上述操作對象影像靠近上述操作體；遠離操作，使上述操作體遠離上述操作對象影像；伸出操作，從上述操作區域之中往外伸出上述操作體；或者位於區域內操作，使上述操作體位於上述操作區域的邊緣的既定範圍的區域內。
TW106100805A 2016-02-25 2017-01-11 資訊處理系統、資訊處理裝置、控制方法以及程式 TWI716527B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-033960 2016-02-25
JP2016033960 2016-02-25

Publications (2)

Publication Number Publication Date
TW201737023A TW201737023A (zh) 2017-10-16
TWI716527B true TWI716527B (zh) 2021-01-21

Family

ID=59685004

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106100805A TWI716527B (zh) 2016-02-25 2017-01-11 資訊處理系統、資訊處理裝置、控制方法以及程式

Country Status (5)

Country Link
US (1) US10372229B2 (zh)
JP (1) JP6350772B2 (zh)
CN (1) CN108027655A (zh)
TW (1) TWI716527B (zh)
WO (1) WO2017145423A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7020490B2 (ja) * 2017-09-20 2022-02-16 日本電気株式会社 情報処理装置、制御方法、及びプログラム
JP7087364B2 (ja) * 2017-12-04 2022-06-21 富士フイルムビジネスイノベーション株式会社 情報処理装置、情報処理システムおよびプログラム
CN109582147B (zh) * 2018-08-08 2022-04-26 亮风台（上海）信息科技有限公司 一种用于呈现增强交互内容的方法以及用户设备
JP2020086939A (ja) * 2018-11-26 2020-06-04 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
US10948980B2 (en) * 2019-05-10 2021-03-16 Apple Inc. Electronic device system with controllers
CN110245611B (zh) * 2019-06-14 2021-06-15 腾讯科技（深圳）有限公司 图像识别方法、装置、计算机设备和存储介质
CN110286825B (zh) * 2019-06-26 2020-09-08 西南民族大学 一种基于机器视觉的机械式全自动鼠标操作装置
US11321926B2 (en) * 2019-12-18 2022-05-03 Apple Inc. Method and device for content placement
JP7556245B2 (ja) 2020-09-17 2024-09-26 富士フイルムビジネスイノベーション株式会社 情報処理装置、表示装置、情報処理システムおよびプログラム
US20240303948A1 (en) * 2021-06-30 2024-09-12 Kyocera Corporation Wearable terminal apparatus to change display position of partial image
US11775077B2 (en) 2021-12-03 2023-10-03 Htc Corporation Method for activating system function in response to triggered icon on hand object, host, and computer readable storage medium

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012079138A (ja) * 2010-10-04 2012-04-19 Olympus Corp ジェスチャ認識装置
US8624836B1 (en) * 2008-10-24 2014-01-07 Google Inc. Gesture-based small device input

Family Cites Families (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7027054B1 (en) * 2002-08-14 2006-04-11 Avaworks, Incorporated Do-it-yourself photo realistic talking head creation system and method
US7719563B2 (en) * 2003-12-11 2010-05-18 Angus Richards VTV system
AU2006352758A1 (en) * 2006-04-10 2008-12-24 Avaworks Incorporated Talking Head Creation System and Method
WO2007135913A1 (ja) * 2006-05-19 2007-11-29 Hitachi Medical Corporation 医用画像表示装置及びプログラム
JP4921113B2 (ja) * 2006-10-25 2012-04-25 キヤノン株式会社 接触提示装置及び方法
US9891435B2 (en) * 2006-11-02 2018-02-13 Sensics, Inc. Apparatus, systems and methods for providing motion tracking using a personal viewing device
CA2699844A1 (en) * 2007-08-19 2009-02-26 Ringbow Ltd. Finger-worn devices and related methods of use
US9082213B2 (en) * 2007-11-07 2015-07-14 Canon Kabushiki Kaisha Image processing apparatus for combining real object and virtual object and processing method therefor
GB0808061D0 (en) * 2008-05-02 2008-06-11 Univ Teeside Computer input device
CN102763057B (zh) * 2010-03-15 2016-07-13 日本电气株式会社 输入设备、方法和程序
JP2011257943A (ja) * 2010-06-08 2011-12-22 Canon Inc ジェスチャ操作入力装置
CN102959941B (zh) * 2010-07-02 2015-11-25 索尼电脑娱乐公司 信息处理系统、信息处理装置及信息处理方法
JP5746529B2 (ja) * 2011-03-16 2015-07-08 キヤノン株式会社 三次元距離計測装置、三次元距離計測方法、およびプログラム
JP5765133B2 (ja) * 2011-08-16 2015-08-19 富士通株式会社 入力装置、入力制御方法及び入力制御プログラム
EP2761362A4 (en) 2011-09-26 2014-08-06 Microsoft Corp VIDEO DISPLAY CHANGE BASED ON SENSOR INPUT FOR TRANSPARENT EYE DISPLAY
US9566004B1 (en) * 2011-11-22 2017-02-14 Kinevid, Llc. Apparatus, method and system for measuring repetitive motion activity
JP2013114467A (ja) * 2011-11-29 2013-06-10 Nikon Corp 表示システム、表示方法およびプログラム
JP2013190491A (ja) * 2012-03-12 2013-09-26 Panasonic Corp ネガ型フォトレジスト組成物
JP2013190941A (ja) 2012-03-13 2013-09-26 Nikon Corp 情報入出力装置、及び頭部装着表示装置
JP5174978B1 (ja) 2012-04-26 2013-04-03 株式会社三菱東京Ｕｆｊ銀行 情報処理装置、電子機器およびプログラム
US20130324857A1 (en) * 2012-05-31 2013-12-05 The Regents Of The University Of California Automated system for workspace, range of motion and functional analysis
US9671566B2 (en) 2012-06-11 2017-06-06 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same
KR20140078853A (ko) * 2012-12-18 2014-06-26 삼성전자주식회사 증강현실시스템 및 그 제어방법
US9417762B2 (en) * 2013-01-09 2016-08-16 Northrop Grumman Systems Corporation System and method for providing a virtual immersive environment
JP2014228945A (ja) 2013-05-20 2014-12-08 コニカミノルタ株式会社 領域指定装置
JP6270495B2 (ja) 2014-01-16 2018-01-31 キヤノン株式会社 情報処理装置、情報処理方法、コンピュータプログラム、及び記憶媒体
US10092220B2 (en) * 2014-03-20 2018-10-09 Telecom Italia S.P.A. System and method for motion capture
JP6390163B2 (ja) * 2014-05-16 2018-09-19 株式会社リコー 情報処理装置、情報処理方法およびプログラム
JP6674192B2 (ja) * 2014-05-28 2020-04-01 ソニー株式会社 画像処理装置と画像処理方法
US10061023B2 (en) * 2015-02-16 2018-08-28 Panasonic Intellectual Property Management Co., Ltd. Object detection apparatus and method
US9823755B2 (en) * 2015-02-26 2017-11-21 Konica Minolta Laboratory U.S.A., Inc. Method and apparatus for interactive user interface with wearable device
JP5932082B2 (ja) 2015-03-04 2016-06-08 株式会社東芝 認識装置
US9503687B2 (en) * 2015-03-24 2016-11-22 Fuji Xerox Co., Ltd. Personalized meeting event capture using egocentric tracking in smart spaces
CN107615214B (zh) * 2015-05-21 2021-07-13 日本电气株式会社 界面控制系统、界面控制装置、界面控制方法及程序
US9898864B2 (en) * 2015-05-28 2018-02-20 Microsoft Technology Licensing, Llc Shared tactile interaction and user safety in shared space multi-person immersive virtual reality
CN108027654B (zh) * 2015-09-28 2021-01-12 日本电气株式会社 输入设备、输入方法和程序
WO2017138545A1 (ja) * 2016-02-08 2017-08-17 日本電気株式会社 情報処理システム、情報処理装置、制御方法、及びプログラム
JP6256497B2 (ja) * 2016-03-04 2018-01-10 日本電気株式会社 情報処理システム、情報処理装置、制御方法、及びプログラム
US9986113B2 (en) * 2016-05-06 2018-05-29 Fuji Xerox Co., Ltd. Information processing apparatus and nontransitory computer readable medium

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8624836B1 (en) * 2008-10-24 2014-01-07 Google Inc. Gesture-based small device input
JP2012079138A (ja) * 2010-10-04 2012-04-19 Olympus Corp ジェスチャ認識装置

Also Published As

Publication number Publication date
TW201737023A (zh) 2017-10-16
WO2017145423A1 (ja) 2017-08-31
US20180253149A1 (en) 2018-09-06
JPWO2017145423A1 (ja) 2018-06-14
JP6350772B2 (ja) 2018-07-04
US10372229B2 (en) 2019-08-06
CN108027655A (zh) 2018-05-11

Similar Documents

Publication Publication Date Title
TWI716527B (zh) 資訊處理系統、資訊處理裝置、控制方法以及程式
KR101844390B1 (ko) 사용자 인터페이스 제어를 위한 시스템 및 기법
JP6390799B2 (ja) 入力装置、入力方法、及びプログラム
WO2016185845A1 (ja) インタフェース制御システム、インタフェース制御装置、インタフェース制御方法、及びプログラム
US9329691B2 (en) Operation input apparatus and method using distinct determination and control areas
US20170255838A1 (en) Information processing apparatus, control method, and storage medium
JP6344530B2 (ja) 入力装置、入力方法、及びプログラム
CN116097209A (zh) 人工现实交互模式的整合
US9904372B2 (en) Method by which eyeglass-type display device recognizes and inputs movement
JP6095478B2 (ja) 入力操作装置
JP2004078977A (ja) インターフェイス装置
JP7020490B2 (ja) 情報処理装置、制御方法、及びプログラム
JP2012238293A (ja) 入力装置
US20150277570A1 (en) Providing Onscreen Visualizations of Gesture Movements
Bai et al. Free-hand interaction for handheld augmented reality using an RGB-depth camera
US20210287330A1 (en) Information processing system, method of information processing, and program
WO2019037257A1 (zh) 密码输入的控制设备、方法及计算机可读存储介质
CN109144598A (zh) 基于手势的电子面罩人机交互方法与系统
CN110489026A (zh) 一种手持输入设备及其指示图标的消隐控制方法和装置
JP5456817B2 (ja) 表示制御装置、表示制御方法、情報表示システム及びプログラム
JP2013134549A (ja) データ入力装置およびデータ入力方法
CN106095088B (zh) 一种电子设备及其图像处理方法
JP2009205498A (ja) 情報提示装置、情報提示方法、情報提示プログラムおよびそのプログラムを記録した記録媒体
JP7213396B1 (ja) 電子機器及びプログラム
JPWO2018150757A1 (ja) 情報処理システム、情報処理方法、およびプログラム