[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP6129309B2 - ジェスチャに基づくユーザインターフェース - Google Patents

ジェスチャに基づくユーザインターフェース Download PDF

Info

Publication number
JP6129309B2
JP6129309B2 JP2015520827A JP2015520827A JP6129309B2 JP 6129309 B2 JP6129309 B2 JP 6129309B2 JP 2015520827 A JP2015520827 A JP 2015520827A JP 2015520827 A JP2015520827 A JP 2015520827A JP 6129309 B2 JP6129309 B2 JP 6129309B2
Authority
JP
Japan
Prior art keywords
gesture
image
depth
image data
image sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015520827A
Other languages
English (en)
Other versions
JP2015522193A (ja
Inventor
アンドリュー・オーガスティン・ワイス
Original Assignee
デュアル・アパーチャー・インターナショナル・カンパニー・リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by デュアル・アパーチャー・インターナショナル・カンパニー・リミテッド filed Critical デュアル・アパーチャー・インターナショナル・カンパニー・リミテッド
Publication of JP2015522193A publication Critical patent/JP2015522193A/ja
Application granted granted Critical
Publication of JP6129309B2 publication Critical patent/JP6129309B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/571—Depth or shape recovery from multiple images from focus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/1347—Preprocessing; Feature extraction
    • G06V40/1353—Extracting features related to minutiae or pores
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10148—Varying focus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明は、ジェスチャに基づくユーザインターフェースに関し、特に、排他的ではないが、ジェスチャに基づくユーザインターフェースのためのコンピュータ実装方法、ジェスチャに基づくユーザインターフェースシステムおよびそのような方法を使用するコンピュータプログラム製品に関する。
モバイル通信、自動車、ゲームおよびバイオメトリクスなどの様々な技術分野で使用されるマルチメディア処理デバイスは一般に、ユーザがグラフィカルユーザインターフェースを介してデバイスと対話するためにタッチスクリーン技術を使用する。タッチスクリーンに基づくユーザインターフェースは、電子デバイスと対話するための簡単でかつ直観的な方法を提供することができるが、それはなお、制限を有する。
タッチスクリーンは、二次元インターフェースを提供するだけであり、それによってユーザが電子デバイスと対話することができる方法を限られた組のタッチスクリーンジェスチャに制限し、そのためより複雑なまたはフィンアクション(fin action)制御となる。例えば、タッチスクリーンは、ペンに広がる圧力に応じて異なる線厚さを達成できるスクリーンに図形を描くための例えば図形プログラムを可能にするユーザインターフェースをエミュレートするには適していない。タッチスクリーンを使用してそのような結果を達成するためには、典型的にはユーザによる一連のメニュー形式の入力動作(例えば、異なるペン厚さを選択すること)が、必要とされる。
さらに、ユーザがタッチスクリーンと対話することができる方法は、スクリーンのサイズによって強く決定される。特に小型スクリーン電子デバイスの場合には、スクリーンに表示される多数の項目との対話は、困難である。その上、それは、ユーザが電子デバイスに近接近することを必要とする。しかしながら、ある状況では、例えば車中で電子デバイスを操作するとき、運転者は、実際にそれに触ることなく、電子デバイスと遠隔で対話することができることが望ましいこともある。
上述の問題のいくつかを軽減するために、現在は、ユーザが電子デバイスを制御するために使用することができるジェスチャの数がかなり拡張されるように、三次元ジェスチャを使用して電子デバイスの制御を可能にする、ジェスチャに基づくユーザインターフェースが、開発されている。例えば、プレーヤのジェスチャを使用してゲームを制御することができるような動き検出を可能にする、マイクロソフトのキネクト(Kinect)などのゲーム機インターフェースが、開発されている。典型的には、これらのシステムは、深度マップ生成光学処理システムに頼っている。
Zhou Ren他による論文「Depth camera based hand gesture recognition and its applications in human-computer interaction」、IEEE International Conference on Information, Communication, and Signal Processing (ICICS)、Singapore、2011年12月は、マイクロソフトのキネクトセンサによって生成される深度マップを使用する手のジェスチャ認識システムを述べる。そのシステムは、手のジェスチャを認識する能力があったが、そのシステムは、例えば小さい指の動きによる制御を可能にする精度が欠けている。An他による論文「Hand gesture recognition using 3D depth data」は、深度マップがTOF深度カメラによって生成される手のジェスチャ認識システムを述べる。これらのシステムは、モバイルデバイスへの統合に適しておらず、小さい手および/または指のジェスチャに基づいてモバイルデバイス上のソフトウェアプログラムの正確でかつきめの細かい制御を得るために必要とされる、空間的(すなわち、平面での)および深度の両方の精度を提供しない。
さらに、上述のシステムは、モバイルアプリケーションに適していないまたは少なくともあまり適していない。キネクトセンサは、赤外線スペックルの所定パターンをあるシーンでの物体に投影するように構成される赤外線レーザダイオードを使用し、投影されたパターンでのシフトは、赤外線画像センサによって獲得され、関心のあるシーンの深度マップを再構成するために使用される。しかしながら、モバイル電子デバイスの設計では、赤外線放射源などの電力消費要素は、望ましくない。その上、モバイル設計は、電力消費量に重大な制約を加えるだけでなく、またそれ故にできるだけ少ない構成要素を備えるべきである光学システムを収納するための限定空間だけを可能にする設計空間にも重大な制約を加える。TOFカメラへの追加の制限は、極めて短い距離を使用するときの短い飛行時間である。数cmの場合、時間分解能要件は、極端になる。
それ故に、手および/または指のジェスチャを使用して正確でかつきめの細かい制御を可能にする、モバイルデバイスのためのジェスチャに基づくユーザインターフェースシステムを提供するための方法およびシステムの必要性が、当技術分野にある。
従来技術で知られている欠点の少なくとも1つを低減するまたは取り除くことが、本発明の目的である。
第1の態様では、本発明は、電子デバイス上のソフトウェアプログラムを制御するためのジェスチャに基づくユーザインターフェースのためのコンピュータ実装方法に関してもよく、前記方法は、前記電子デバイスでの多開口画像センサから画像データを受け取るステップであって、前記画像センサが、第1の開口を使用して電磁(EM)スペクトルの少なくとも第1の部分および1つまたは複数の第2の開口を使用してEMスペクトルの少なくとも第2の部分に画像センサを同時にさらすように構成される、ステップと、前記画像センサの画像面上に前記第1の開口および前記1つまたは複数の第2の開口によって結像される物体の少なくとも一部、好ましくは人体部分の少なくとも一部と関連する前記画像データの少なくとも1つのエリアでシャープネス情報を決定するステップと、前記シャープネス情報の少なくとも一部に基づいて深度情報、好ましくは1つまたは複数の深度マップを生成するステップと、前記深度情報に基づいて前記物体の動きと関連するジェスチャの少なくとも一部を認識するステップとを含む。
それ故に、本方法は、電子デバイスのためのジェスチャに基づくユーザインターフェースを提供する簡単な方法を可能にする。多開口画像センサは、赤外線画像データでのシャープネス情報を使用して深度マップの効率的でかつ正確な決定を可能にするので、モバイルデバイスに容易に統合でき、高エネルギー消費を引き起こさないユーザインターフェースが、レンダリングされてもよい。
一実施形態では、前記方法はさらに、電磁スペクトルの前記第1の部分と関連する第1の画像データを決定するステップと、電磁スペクトルの前記第2の部分と関連する第2の画像データを決定するステップと、前記第1の画像データでの前記物体の画像の少なくとも一部と関連する第1のシャープネス情報および前記第2の画像データでの前記物体の前記画像の少なくとも一部と関連する第2のシャープネス情報を前記画像センサと前記物体との間の距離に関連付けることによって深度情報を生成するステップとを含んでもよい。
一実施形態では、前記深度情報は、前記電子デバイスのメモリに記憶された所定の深度関数に基づいて生成されてもよい。前記深度情報は、前記画像データでのシャープネス情報を画像センサと物体との間の距離に関連付けるように構成されてもよい。本方法は、その製造の間に電子デバイスに実装されてもよい所定の深度関数の使用を可能にする。
一実施形態では、前記深度情報は、前記画像データでのシャープネス情報を前記電子デバイスのメモリに記憶された一組のブラーカーネルからの少なくとも1つのブラーカーネルに関連付けるように構成されてもよく、前記ブラーカーネルの各々は、所定の深度値と関連する。
一実施形態では、前記深度情報を生成するステップは、前記画像データでの窓を選択するステップであって、好ましくは前記窓が、1つまたは複数の画素を備える、ステップと、最小化アルゴリズムに基づいて前記窓でのシャープネス情報を前記組のブラーカーネルの1つのブラーカーネルに関連付けるステップと、前記ブラーカーネルと関連する深度値を前記窓での1つまたは複数の画素に割り当てるステップとを含んでもよい。フィルタバンクでの定義済みブラーカーネルは、画像データで測定されるブラー情報を距離に効率的に関連付けるために使用されてもよい。
一実施形態では、前記最小化アルゴリズムは、前記ブラーカーネルの少なくとも1つを前記窓での前記シャープネス情報と畳み込むステップを含んでもよい。
一実施形態では、前記方法はさらに、電磁スペクトルの前記第2の部分と関連する第2の画像データを決定するステップと、前記第2の画像データで少なくとも2つの横方向に変位した画像を決定するステップであって、前記画像の各々が、第2の開口と関連し、前記画像が、画像センサの前のある距離に位置決めされる物体と関連する、ステップと、前記電子デバイスのメモリに記憶された所定の深度関数に基づいて深度情報を生成するステップであって、前記深度情報が、前記横方向に変位した画像間の距離を前記画像センサと前記物体との間の距離に関連付けるように構成される、ステップとを含んでもよい。
単一の赤外線開口と比較すると、多数の赤外線開口の使用は、より小さい開口の使用を可能にし、それによって被写界深度のさらなる強化および深度情報を決定するための精度の改善を達成する。さらに、深度マップは、1つの物体と関連する赤外線画像(またはその高周波数画像データ)間の横方向変位をカメラと物体との間の距離に単に変換するだけによって赤外線画像データに基づいて生成されてもよい。
一実施形態では、前記多開口画像センサは、前記第2の開口の各々が、前記画像センサの画像面上に物体を結像するように互いに関して構成される2つ以上の第2の開口を備えてもよく、前記横方向に変位した画像間の距離は、前記物体と前記画像センサとの間の距離の関数である。
なお別の実施形態では、本方法は、第2の高周波数画像データを決定するステップと、自己相関関数を通じて前記第2の高周波数画像データを走らせることによって前記距離を決定するステップとを含んでもよい。速くかつ効率的な自己相関関数が、深度マップを決定するために使用されてもよい。
一実施形態では、深度情報を生成するステップはさらに、深度値を前記多開口画像センサによって生成される前記画像データの少なくとも一部に割り当てることによって1つまたは複数の深度マップを形成するステップを含んでもよい。一実施形態では、EMスペクトルの前記第1の部分は、EMスペクトルの可視部の少なくとも一部と関連する。他の実施形態では、EMスペクトルの前記第2の部分は、EMスペクトルの不可視部の少なくとも一部と関連する。なお別の実施形態では、EMスペクトルの前記第2の部分は、赤外線スペクトルと関連する。
一実施形態では、本方法はさらに、前記深度マップに基づいて前記画像データと関連する画像フレームの少なくとも一部での関心のある領域(ROI)の少なくとも一部を決定するステップを含んでもよい。別の実施形態では、本方法は、前景深度値と関連する画素に基づいて前記関心のある領域を決定するステップを含んでもよく、前記前景深度値は、多開口画像センサの画像面に比較的近い深度値の所定の範囲内にある。一実施形態では、前景深度値の範囲は、1から100cm、好ましくは2から60cm、より好ましくは5から50cmであってもよい。
一実施形態では、本方法は、カラー情報に基づいて前記画像データと関連する画像フレームの少なくとも一部での関心のある領域の少なくとも一部を決定するステップ、好ましくは人体の一部と関連するカラー情報に実質的に一致するカラー情報に基づいて前記関心のある領域を決定するステップを含んでもよい。それ故に、この実施形態では、カラー画像からのカラー情報は、深度マップが生成されるべき画像データでのエリアを効率的に選択するために使用されてもよい。
一実施形態では、前記ジェスチャを認識するステップは、1つまたは複数の深度特徴を前記深度マップから抽出するステップを含んでもよい。別の実施形態では、前記ジェスチャを認識するステップは、関心のある領域での前記深度マップから深度特徴を抽出するステップを含んでもよい。なお別の実施形態では、前記ジェスチャを認識するステップは、EMスペクトルの前記第1の部分と関連する第1の低周波数画像データを前記第2の高周波数画像データと混合することによって形成される強化画像から1つまたは複数の2D特徴を抽出するステップと、前記深度特徴およびオプションとして前記2D特徴を前記人体部分と関連する1つまたは複数の基準特徴と照合するステップとを含んでもよく、一実施形態では、前記人体部分は、手または指の部分であってもよい。それ故に、本方法は、深度情報および赤外線画像データからのシャープネス情報に基づいて強化されるカラー画像から抽出される特徴の両方に基づくジェスチャ認識を可能にする。
別の実施形態では、1つまたは複数の2D特徴は、赤外線画像データから抽出されてもよい。
一実施形態では、前記ジェスチャを認識するステップは、前記深度マップに基づいて前記身体部分の少なくとも一部の1つまたは複数の軌跡、好ましくは1つまたは複数の空間軌跡を決定するステップと、前記決定された軌跡を所定のジェスチャと関連する基準軌跡と相互に関連付けるステップと、もし前記決定された1つまたは複数の軌跡が1つまたは複数の基準軌跡と相互に関連があるならば、所定のジェスチャの検出を確立するステップと、前記所定のジェスチャに基づいて前記ソフトウェアプログラムを制御するステップとを含んでもよい。
様々な実施形態では、前記方法はさらに、次のステップ、すなわち前記多開口撮像システムの視野で1つまたは複数の所定の軌跡にわたって1つまたは複数の指先を動かすことに基づいて前記ソフトウェアプログラムを制御するステップと、前記電子デバイスから所定距離の平面で指先を動かすことによって前記ソフトウェアプログラムを制御するステップと、前記画像センサの視野で第1の距離から第2の距離まで指先を動かすことに基づいて前記ソフトウェアプログラムでの起動または停止機能を制御するステップと、前記第1の検出された指先を前記第2の検出された指先に対して動かすこと、好ましくは前記画像センサの視野で1つまたは複数の所定の軌跡にわたって前記第1の指先を前記第2の指先に対して動かすことによって前記ソフトウェアプログラムを制御するステップとの少なくとも1つを含んでもよい。
さらなる実施形態では、前記身体部分は、指先であってもよい。なおさらなる実施形態では、前記方法は、前記深度マップに基づいて前記画像データで指先と関連する関心のある領域を決定するステップと、EMスペクトルの前記第1の部分と関連する第1の低周波数画像データを前記第2の高周波数画像データと混合することによって形成される強化画像から1つまたは複数の方向性特徴を抽出するステップと、前記抽出された方向性特徴をユーザの指先と関連する方向性基準特徴と照合することによって前記ユーザを認証するステップとを含んでもよい。
さらなる態様では、本発明は、電子デバイスで使用するためのジェスチャに基づくユーザインターフェースシステムに関連してもよく、前記ユーザインターフェースシステムは、前記電子デバイス上のソフトウェアプログラムを制御するように構成され、前記システムは、画像データを生成するための多開口画像センサであって、第1の開口を使用して電磁(EM)スペクトルの少なくとも第1の部分および1つまたは複数の第2の開口を使用してEMスペクトルの少なくとも第2の部分に画像センサを同時にさらすように構成される、多開口画像センサと、前記画像センサの画像面上に前記第1の開口および前記1つまたは複数の第2の開口によって結像される物体の少なくとも一部、好ましくは人体部分の少なくとも一部と関連する前記画像データの少なくとも1つのエリアでシャープネス情報を生成するための1つまたは複数のフィルタと、前記シャープネス情報の少なくとも一部に基づいて深度情報、好ましくは1つまたは複数の深度マップを生成するように構成される生成器と、前記深度情報に基づいて前記物体の動きと関連するジェスチャを認識するように構成されるジェスチャ認識モジュールとを備えてもよい。
一実施形態では、前記深度情報が、前記第1の開口と関連する第1のシャープネス情報および前記1つまたは複数の第2の開口と関連する第2のシャープネス情報を画像センサと物体との間の距離に関連付けるように構成される、または、前記深度情報が、前記第2の開口の少なくとも2つと関連する少なくとも2つの横方向に変位した画像間の距離を前記物体と前記画像センサとの間の距離に関連付けるように構成される、前記ユーザインターフェースシステムであってもよい。
一実施形態では、前記ユーザインターフェースシステムでの前記深度情報は、前記第1の開口と関連する第1のシャープネス情報および前記1つまたは複数の第2の開口と関連する第2のシャープネス情報を前記電子デバイスのメモリに記憶された一組のブラーカーネルからの少なくとも1つのブラーカーネルに関連付けるように構成され、前記ブラーカーネルの各々は、画像センサと物体との間の距離と関連する。
一実施形態では、前記ジェスチャ認識モジュールは、前記深度マップに基づいて前記身体部分の少なくとも一部の1つまたは複数の軌跡、好ましくは1つまたは複数の空間軌跡を決定し、前記決定された軌跡を所定のジェスチャと関連する基準軌跡と相互に関連付け、もし前記決定された1つまたは複数の軌跡が1つまたは複数の基準軌跡と相互に関連があるならば、所定のジェスチャの検出を確立し、前記所定のジェスチャに基づいて前記ソフトウェアプログラムを制御するように構成されてもよい。
さらなる実施形態では、前記ジェスチャ認識モジュールは、次の機能、すなわち前記多開口撮像システムの視野で1つまたは複数の所定の軌跡にわたって1つまたは複数の指先を動かすことに基づいて前記ソフトウェアプログラムを制御すること、前記電子デバイスから所定距離の平面で指先を動かすことによって前記ソフトウェアプログラムを制御すること、前記画像センサの視野で第1の距離から第2の距離まで指先を動かすことに基づいて前記ソフトウェアプログラムでの起動または停止機能を制御すること、および/または、前記第1の検出された指先を前記第2の検出された指先に対して動かすこと、好ましくは前記画像センサの視野で1つまたは複数の所定の軌跡にわたって前記第1の指先を前記第2の指先に対して動かすことによって前記ソフトウェアプログラムを制御することの少なくとも1つのために構成されてもよい。
それ故に、上記の実施形態から、本発明によるジェスチャに基づくユーザインターフェースシステムは、ソフトウェアプログラムの直観的なジェスチャに基づく制御を可能にするということになる。本ユーザインターフェースは、多開口画像センサの画像データを使用して生成される深度マップに基づいて電子デバイスまたはその上で走るアプリケーションの正確な制御を可能にする。本ユーザインターフェースシステムは、モバイル機器などの電子機器での使用に適しており、ユーザが電子デバイスと物理的接触することを必要とせずにその上で走るアプリケーションの制御を可能にする。
本発明はまた、ジェスチャに基づくユーザインターフェースを提供するためのコンピュータプログラム製品に関してもよく、前記コンピュータプログラム製品は、コンピュータシステムのメモリで走るとき、上で述べられたような方法ステップのいずれかを実行するように構成されるソフトウェアコード部分を備える。
本発明はさらに、本発明による実施形態を概略的に示すことになる添付の図面を参照して例示されることになる。本発明は、これらの具体的実施形態に決して限定されないことが理解されよう。
本発明の一実施形態によるジェスチャに基づくユーザインターフェースを備える電子デバイスを描写する図である。 本発明の一実施形態によるジェスチャに基づくユーザインターフェースを可能にする多開口撮像システムを描写する図である。 本発明の一実施形態によるジェスチャに基づくユーザインターフェースを可能にするための多開口を較正するためのシステムを描写する図である。 本発明の一実施形態によるジェスチャに基づくユーザインターフェースを可能にするための多開口を較正するための方法を描写する図である。 本発明の一実施形態によるジェスチャに基づくユーザインターフェースで使用するための深度マップを生成するためのシステムを描写する図である。 本発明の一実施形態によるジェスチャに基づくユーザインターフェースで使用するための深度マップを生成するための方法を描写する図である。 多開口撮像システムによって生成される画像および関連する深度マップを描写する図である。 さらなる実施形態による深度情報を生成するための多開口撮像システムの概略図を描写する図である。 本発明の一実施形態によるジェスチャに基づくユーザインターフェースを可能にするためのシステムを描写する図である。 本発明の一実施形態によるジェスチャに基づくユーザインターフェースに基づいて電子デバイスまたはその上で走るアプリケーションを制御するところを描写する図である。 本発明の一実施形態によるジェスチャに基づくユーザインターフェースに基づいて電子デバイスまたはその上で走るアプリケーションを制御するステップを描写する図である。 本発明の別の実施形態によるジェスチャに基づくユーザインターフェースに基づいて電子デバイスまたはその上で走るアプリケーションを制御するところを描写する図である。 本発明の別の実施形態によるジェスチャに基づくユーザインターフェースに基づいて電子デバイスまたはその上で走るアプリケーションを制御するステップを描写する図である。 本発明の別の実施形態によるジェスチャに基づくユーザインターフェースに基づいて電子デバイスまたはその上で走るアプリケーションを制御するところを描写する図である。 本発明の別の実施形態によるジェスチャに基づくユーザインターフェースに基づいて電子デバイスまたはその上で走るアプリケーションを制御するところを描写する図である。 本発明の一実施形態による生体認証プロセスで使用するためのジェスチャに基づくユーザインターフェースを描写する図である。 本発明の一実施形態による生体認証プロセスで使用するためのジェスチャに基づくユーザインターフェースを描写する図である。
図1は、本発明の一実施形態によるジェスチャに基づくユーザインターフェース(UI)システムを備える電子デバイスを描写する。特に、図1は、多開口画像センサ101と、多開口画像センサによって生成されるデータを処理しかつ電子デバイスまたはその上で走るソフトウェアアプリケーションとのユーザ対話、特にジェスチャに基づくユーザ対話を可能にするように構成されるデータ処理モジュール103とを備えるジェスチャに基づくUIシステムを備える電子デバイス100を描写する。出力モジュール128、例えば発光ディスプレイまたは投影に基づくディスプレイは、ユーザ対話に関する視覚情報をユーザに提供するように構成されてもよい。
電子デバイスは、デジタルカメラの一部であってもよくまたは携帯電話、電子タブレット、ウェブカメラ、バイオメトリックセンサ、イメージスキャナもしくは画像獲得機能性を必要とする任意の他のマルチメディアデバイスに統合されてもよい。多開口画像センサは、二次元画素アレイを形成する感光性サイト(画素)の行および列を備える画像センサ102を備えてもよい。画像センサは、CMOS(相補型金属酸化膜半導体)アクティブ画素センサまたはCCD(電荷結合デバイス)画像センサであってもよい。別法として、画像センサは、他のSi(例えば、a-Si)、III-V族(例えば、GaAs)または導電性ポリマーに基づく画像センサ構造に関連してもよい。
多開口画像センサはさらに、関心のあるシーンと関連する物体を画像センサの撮像面上に焦点を合わせて投影するための光学レンズシステム104を備えてもよい。画像センサの露光は、シャッター106および波長選択性多開口システム108を使用して制御される。多開口システム(簡潔に多開口)は、電磁(EM)放射の第1の部分、例えば可視部、およびEMスペクトルの少なくとも第2の部分、例えばEMスペクトルの赤外線の部分などの非可視部で画像センサを露光するための所定数の波長選択性開口を備える光学アセンブリに関連する。
波長選択性多開口画像センサの詳細な説明およびその有利な使用は、参照により本出願にこれによって組み込まれる、国際特許出願WO2011/101035およびWO2011/101036でより詳細に述べられる。多開口センサの一実装形態は、図2で概略的に描写される。多開口システム206は、ストップ208、EMスペクトルの第1の部分で画像センサを露光するための第1のサイズの少なくとも第1の波長選択性開口210およびEMスペクトルの第2の部分で画像センサを露光するための第2のサイズの少なくとも第2の波長選択性開口212を備えてもよい。
一実施形態では、多開口システム206は、2つの異なる薄膜光学フィルタ、すなわちEMスペクトルの第1の帯域での放射について透明である第1の開口210を形成する基板の中央での所定形状、例えば円形状の第1の薄膜フィルタ、およびEMスペクトルの第2の帯域での放射について透明である第2の薄膜フィルタを有する透明基板を備えてもよい。第1の開口210を画定する第1の薄膜フィルタは、第2のフィルタの周りに、例えば同心円状の輪で形成されてもよい。第1の開口の外径は、ストップ208を画定する不透明開口ホルダでの開口部によって画定されてもよい。別法として、ストップは、基板に堆積された不透明薄膜層を使用して実現されてもよい。
一実施形態では、第1のフィルタは、可視光および赤外線放射の少なくとも一部の両方について透明であってもよい。別の実施形態では、第1のフィルタは、可視光についてだけ透明であるように、赤外線放射のすべてまたは少なくとも実質的に一部を反射するように構成されてもよい。2つの開口を備える多開口システムが、3つ以上の開口を例えば同心円状の輪の形で備える多開口に容易に拡張されてもよく、その場合各開口が、EMスペクトルでの特定の帯域、例えば特定のカラー帯域(赤色、緑色、青色もしくはそれらの組合せ)または赤外線帯域(例えば、近赤外線、中赤外線もしくは遠赤外線またはそれらの組合せ)と関連する放射を透過させることは、当業者にとって明らかである。
一実施形態では、第1の薄膜フィルタは、赤外線スペクトルでの放射を反射しかつ可視スペクトルでの放射を透過させる二色性フィルタを備えてもよい。二色性フィルタ(時々はまた干渉フィルタとも呼ばれる)は、当技術分野でよく知られており、典型的には、赤外線放射(例えば、約750から1250ナノメートルの間の波長を有する放射)またはその一部を反射しかつスペクトルの可視部での放射を透過させるように構成される、特定の厚さの多数の薄膜誘電体層を備える。
レンズシステム204に入るEM放射への画像センサの露出は、シャッターおよび多開口システム206によって制御されてもよい。シャッターが、開いていると、開口は、画像センサ216を露光するEMスペクトルの異なる部分と関連する放射のコリメーションおよび量を制御する。シャッターは、機械的シャッターであってもよく、または別法として、シャッターは、画像センサに統合された電子シャッターであってもよい。光が、レンズシステムによって画像センサに投影されるとき、各画素は、その画素に入射する電磁放射(エネルギー)に比例する電気信号を生じさせる。
画像センサの撮像面上に投影される画像のカラー情報を得るために、典型的にはカラーフィルタアレイ214(CFA)が、レンズと画像センサとの間に挿入される。カラーフィルタアレイは、画像センサの各画素が、対応する画素フィルタを有するように画像センサと統合されてもよい。各カラーフィルタは、所定のカラー帯域の光を画素に通すように構成される。通常は、赤色、緑色および青色(RGB)フィルタの組合せが、使用されるが、しかしながら、他のフィルタ方式、例えばCYGM(青緑色、黄色、緑色、赤紫色)、RGBE(赤色、緑色、青色、鮮緑色)、その他もまた、可能である。好ましくは、画像センサはまた、赤外線(IR)画素、すなわち多開口システムの小さいIR透明開口を通るIR EM放射の少なくとも一部を獲得するように構成される画素を備えてもよい。
組み合わせたカラーおよび赤外線画像センサは、可視光を阻止しかつIR放射については透明である画素フィルタとCFAを組み合わせて赤外線/カラーフィルタアレイ(ICFA)218にすることによって実現されてもよい。別法として、画像センサは、積層フォトダイオードのアレイとして実装されてもよい。これらのフォトダイオードの一部は、シリコン基板内に埋め込まれてもよく、その場合基板表面に近いフォトダイオードは、短波長の放射、例えば青色光により敏感であり、基板により深く埋め込まれるフォトダイオードは、より長い波長の放射、例えば赤色または赤外線放射により敏感である。
露光された画像センサの各画素は、電磁放射に比例する電気信号を生じさせる。画素のアレイはそれ故に、カラーフィルタアレイを通過したまたは積層フォトダイオードのアレイによって吸収された電磁エネルギー(放射)の空間分布を表す画像データを生成する。画素から受け取った信号は、1つまたは複数のオンチップ増幅器を使用して増幅されてもよい。ここで、カラーまたは赤外線画素と関連する信号は、カラーまたは赤外線チャンネルとそれぞれ呼ばれてもよい。各チャンネルは、別々の増幅器によって増幅されてもよく、それによって異なるカラーについて別々にISO感度を制御することを可能にする。
それ故に、画像センサの出力は、多数のカラーチャンネル(例えば、R、G、BチャンネルまたはC、Y、G、Mチャンネル、その他)および1つまたは複数の赤外線チャンネルと関連する画像データを作成するように構成される。これらの可視および赤外線チャンネルと関連する画像データはこの後、簡潔にカラー画像データおよび赤外線画像データとそれぞれ呼ばれる。画像センサの一回の露光に基づいて生成される画像データは、カラーチャンネル(カラー画像フレーム)および赤外線チャンネル(赤外線画像フレーム)と関連する画像フレームに分解されてもよい画像フレームを規定する。これらの画像フレームは、これらを目に見える画像フォーマットにレンダリングするために、既知のデモザイキング(demosaicing)アルゴリズムを使用して処理されてもよい。
図1で描写されるように、画像センサによって生成される画素信号は、データ処理モジュールによって処理されてもよく、例えばサンプリングされ、量子化されて、所定のデータフォーマットの画像フレームに変換されてもよい。そのために、データ処理モジュールは、1つまたは複数のアナログデジタル(A/D)変換器110を備えてもよい。一実施形態では、A/D変換器は、画像センサのチップに統合されてもよい。このように、多開口画像センサは、画像フレームまたはその一部の流れを連続的に作成してもよく、それらは、補間、フィルタリング、ホワイトバランス、輝度補正、データ圧縮技法(例えば、MPEGまたはJPEG型技法)などのよく知られた信号処理機能を果たすように構成されるデジタルシグナルプロセッサ112(DSP)によって処理される。
DSPは、カラーおよび赤外線画像データを処理しかつ画像フレームと関連するシャープネス情報を決定するように構成される信号処理機能124を備えてもよい。シャープネス情報は、例えば高域デジタルフィルタを画像データに適用することによって得られてもよい。シャープネス情報は、例えば低ノイズ赤外線チャンネルから抽出され、1つまたは複数のカラーチャンネルでのシャープネスを強化するために使用されてもよい。例えば、比較的ノイズの多いカラーチャンネル(例えば、RGBカラーチャンネル)と関連する画像データは、低域フィルタ処理され、カラー画像でデモザイキングされ(demosaiced)、その後低ノイズ赤外線チャンネルの高周波数画像データと組み合わされて(混合されて)、赤外線強化カラー画像に、すなわち強化された被写界深度(DOF)を有するカラー画像にされてもよい。
より詳しくは、画像センサの画素は、限られたDOFを有する可視スペクトルエネルギーと関連する第1の(比較的)広い開口の画像信号を受け取って、大きいDOFを有する赤外線スペクトルエネルギーと関連する第2の小さい開口の画像信号を重ね合わせてもよい。従って、レンズの焦点面に近い物体は、可視光による比較的小さい焦点ぼけを有して画像センサの画像面上に投影され、一方焦点面からより遠くに位置する物体は、赤外線放射による比較的小さい焦点ぼけを有して画像面上に投影される。
DSPは、高周波数フィルタを使用してIR画像データをフィルタ処理することによってIR画像データからシャープネス情報、すなわち高周波数情報を抽出してもよい。高周波数IR画像データは、RGB画像(比較的大きい第1の開口と関連する)と混合されてもよく、それによって画像のDOFを増加させる。このように、多開口システムは、簡単でかつコスト効率の良い方法で固定焦点レンズを有するデジタルカメラについて被写界深度(DOF)の拡張およびISO感度の増加を可能にすることができる。
例えば、典型的なF値の7 (焦点距離7mmおよび1mmの開口直径)を有する簡単な携帯電話カメラのDOFは、例えば0.5mmの直径についての14から0.2mm以下の直径についての70に至るまでの間で変化してもよい、少なくとも第2の開口を使用して改善されてもよく、ただしF値は、焦点距離fおよび開口の有効直径の比によって定義される。好ましい実装形態は、カメラに比較的近い物体のシャープネスを得るために2から4の間の可視光についてのF値およびより離れた物体のシャープネスを得るために16から22の間の赤外線開口についてのF値を備える多開口を含む光学システムを含む。
既知のデジタル撮像システムへの多開口システムの実装は、わずかな適合を必要とするだけであり、それ故に大量生産およびモバイルアプリケーションに適している。さらに、以下でより詳細に述べられることになるように、多開口システムは、多開口センサによって獲得される画像データに基づいて関心のあるシーンでの関連する物体の距離情報、例えば深度マップの決定を可能にする。
データ処理モジュールはさらに、獲得した画像データ(例えば、原画像データ)およびおそらくはデータ処理した画像データを一時的に記憶するための1つまたは複数のバッファ116と、多開口画像センサによって作成される一連の画像フレームでジェスチャ認識モジュール126によって検出される特定のジェスチャによって制御されてもよい1つまたは複数のアプリケーション、ソフトウェアプログラムを備える、EEPROMまたは別の種類の不揮発性メモリなどのメモリ118とを備えてもよい。
一連の画像フレームでの特定の物体が、ジェスチャ、例えば手または指のジェスチャとして分類されてもよいかどうかを決定するために、深度マップ生成器114は、多開口画像センサによって生成された画像フレームに基づいて深度マップを連続的に生成してもよい。ジェスチャ認識モジュールは、画像で手(またはその一部)を検出し、その先端の所定部分(例えば、1つもしくは複数の指および/または指先)を追跡し、これらの部分の所定の動きをジェスチャとして分類するために、これらの深度マップおよびオプションとして関連する強化カラー画像を使用してもよい。特定のジェスチャが、認識されると、ジェスチャ認識モジュールは、アプリケーションの制御を可能にする制御信号を生成してもよい。このように、多開口画像センサおよびデータ処理モジュールはそれ故に、電子デバイスまたはその上で走るソフトウェアアプリケーションを制御するためのジェスチャに基づくUIシステムを形成する。
多開口システム、データ処理モジュールおよび表示モジュールでの電子的に制御される要素は、電子デバイスおよびジェスチャに基づくユーザインターフェース(UI)システムの動作を管理するためのセントラルプロセッサ(図示されず)にデータバス134によって接続される。ジェスチャに基づくユーザインターフェース(UI)システムが、手のジェスチャ、特に1つまたは複数の指の動きと関連する手のジェスチャを効率的にかつ正確に決定することを可能にするための機能およびプロセスは、図3〜図6を参照してより詳細に以下で述べられる。
手および/または指のジェスチャを正確に認識するために、ジェスチャに基づくユーザインターフェース(UI)システムは、多開口センサによって生成される各画像フレームまたは少なくともいくつかの画像フレームについて深度マップ(または深度マップの少なくとも一部)を連続的に生成する。以下でより詳細に述べられることになるように、深度マップは、多開口画像センサによって獲得される画像データおよび画像の一部を特定の深度値sに割り当てるように構成されるDPSでの深度関数R(s)に基づいて決定される。
一実施形態では、深度関数Rは、カメラレンズから離れた異なる距離の物体についてカラー画像成分および赤外線画像成分のシャープネス情報を分析することによって決定されてもよい。ここで、シャープネス情報の分析は、画像センサによって測定される物体空間での撮像点のぼけスポット直径に対応する、いわゆる錯乱円の分析を含んでもよい。焦点ぼけを表すぼけディスク直径は、焦点面での点については非常に小さく(ゼロ)、物体空間でこの平面から前景または背景へ離れると、次第に大きくなる。ぼけディスクが、最大許容錯乱円cよりも小さい限り、それは、十分に鮮明で、DOF範囲の一部と考えられる。既知のDOF式から、物体の深度、すなわちカメラからのその距離sと画像センサ上に撮像されるその物体の焦点ぼけの量(すなわち、シャープネス)との間に直接的関係があるということになる。ぼけはさらに、撮像システムと関連する光学パラメータ、特にレンズパラメータに依存する。
それ故に、多開口撮像システムでは、赤外線画像でのIR成分のシャープネスに対してカラー画像のRGB成分のシャープネスの増加または減少は、撮像される物体のレンズからの距離に依存する。例えば、もしレンズが、3メートルに焦点を合わせられるならば、RGB成分およびIR成分の両方のシャープネスは、同じこともある。対照的に、1メートルの距離の物体については、赤外線画像のために使用される小さい開口に起因して、RGB成分のシャープネスは、赤外線成分のシャープネスよりも著しく少ないこともある。この依存性は、カメラレンズからの物体の距離を推定するために使用されてもよい。
特に、もしレンズが、大きい(「無限の」)焦点に設定されるならば(この点は、多開口システムの過焦点距離Hと呼ばれることもある)、カメラは、カラー成分および赤外線成分が等しく鮮明である画像での点を決定することができる。画像でのこれらの点は、カメラから比較的大きい距離(典型的には背景)に位置する物体に対応する。過焦点距離Hから離れて位置する物体については、赤外線成分とカラー成分との間でのシャープネスの相対的差は、物体とレンズとの間の距離sの関数として増加することになる。1つのスポット(例えば、1つまたは一群の画素)で測定されるカラー画像でのシャープネス情報と赤外線画像でのシャープネス情報との間の比はこの後、深度関数R(s)と呼ばれることになる。
深度関数R(s)は、カメラレンズから異なる所定距離sに位置する1つまたは複数の撮像されるテスト物体と関連する多開口画像データでのカラー成分および赤外線成分のシャープネス情報が決定される、較正方法を使用して得られてもよい。深度関数は、製造業者によってあらかじめ決定されてもよく、関数としてDPSに実装されてもよい。
シャープネス情報に基づいて距離を決定する他の方法もまた、本発明から逸脱することなく可能である。例えば、シャープネス情報を空間領域で例えば高域フィルタを使用して分析する代わりに、シャープネス情報はまた、周波数領域で分析されてもよい。例えば、一実施形態では、実行中の離散フーリエ変換(DFT)が、シャープネス情報を得るために使用されてもよい。DFTは、カラー画像および赤外線画像の両方のフーリエ係数を計算するために使用されてもよい。これらの係数、特に高周波数係数の分析は、距離の表示を提供することができる。
例えば、一実施形態では、カラー画像および赤外線画像での特定のエリアと関連する高周波数DFT係数間の絶対差または比は、距離のための表示として使用されてもよい。さらなる実施形態では、フーリエ成分は、赤外線およびカラー信号と関連するカットオフ周波数を分析するために使用されてもよい。例えば、もし画像の特定のエリアで、赤外線画像信号のカットオフ周波数が、カラー画像信号のカットオフ周波数よりも大きいならば、その時この差は、距離の表示を提供することができる。
一実施形態では、距離関数は、異なる深度と関連する多数のブラーカーネルに基づいてもよい。画像の所定の窓での焦点ぼけは、鮮明な、ぼけのない窓および所定のフィルタHd(この後はまた距離または深度dと関連するブラーカーネルまたはデフォーカスカーネルとも呼ばれる)の局所畳み込みとして述べられてもよい。それ故に、画像での各窓について、上述の焦点ぼけは、多開口画像センサ構成(例えば、レンズ、画像センサおよび開口パラメータによって規定される)に特有である所定のブラーカーネルと関連付けられてもよい。
この関係は、多開口画像センサによって生成される画像データから深度マップを効率的にレンダリングするために使用されてもよい。そのために、ジェスチャに基づくユーザインターフェース(UI)システムを備える電子デバイスの製造中にまたは製造後に、ある範囲の深度d1、d2、・・・、dNと関連するブラーカーネルHdi(i=1、・・・、N)を備える少なくとも1つのフィルタバンクが、赤外線およびカラー画像データに基づいて生成され、ジェスチャに基づくユーザインターフェース(UI)システムのメモリに記憶される、較正方法が、実行される。
そのようなフィルタバンクを生成するためのプロセスは、図3Aおよび図3Bでより詳細に例示される。この図は、較正設定およびブラーカーネルHdi(i=1、・・・、N)のフィルタバンクを決定するための方法を描写し、テスト物体304は、多開口センサ302を備える電子デバイスから離れて所定距離dに位置決めされる。次いで、テスト物体の物体距離dと関連する多開口画像データが、生成される(ステップ312)。一実施形態では、エッジフィルタまたは別の適切なフィルタが、正確な深度推定が達成されてもよいように、十分なエッジ情報を備える撮像テスト物体と関連する所定の窓を決定するために使用されてもよい。
さらなるステップ316では、カラーおよび赤外線画像データが、窓でのカラーチャンネルおよび赤外線チャンネルのシャープネス情報を得るために高域フィルタ処理される。特に、高周波数フィルタ処理したカラー画像データは、第1の開口で画像センサを露光することによって得られるカラーチャンネルと関連するシャープネス情報YRGBを備え、高周波数フィルタ処理した赤外線画像データは、第2の(より小さい)開口で画像センサを露光することによって同じ窓でシャープネス情報XIRを備える。YRGBとXIRとの間の関係、すなわち、
Figure 0006129309
は、その特定の距離についてブラーカーネルの推定を可能にし、ただし、
Figure 0006129309
は、畳み込み演算子である。
一実施形態では、画像フレームの窓での1つまたは複数の画素と関連するブラーカーネルHdは、適切な最適化アルゴリズムを使用してその窓での高周波数画像データYRGBおよびXIRに基づいて推定されてもよい。例えば、ブラーカーネルは、Tikhonov正則化法が、解を安定させるために使用される、例えばLu Yuan他による論文「Image Deblurring with Blurred/Noisy image pairs」、ACM Transactions on Graphics (TOG) - Proceedings of ACM SIGGRAPH 2007 Volume 26 Issue 3、2007年7月、NY、USA、で述べられるような制約付き(constrained)最小二乗最適化法を使用する反復カーネル推定を使用して決定されてもよい。
図3Aは、ブラーカーネル最適化プロセスを概略的に描写する。この方式では、画像フレームの特定の窓、例えば1つの画素または一群の画素でのシャープネス情報YRGBおよびXIRは、線形最小二乗最適化アルゴリズム306に入力されてもよい。特に、窓と関連するYRGBおよびXIRは、アルゴリズムの出力が、電子デバイスのメモリ310に記憶される推定ブラーカーネルHd312である、最適化アルゴリズム306に入力されてもよい。このプロセスは、各深度について関連するブラーカーネルが生成されるように、異なる物体距離(深度)di(i=1、・・・、N)について繰り返されてもよい。
それ故に、上記から、特定の多開口画像センサ構成と関連する所定数の推定ブラーカーネルHdiを備えるフィルタバンクは、多開口画像センサの前の所定の物体距離に位置決めされるテスト物体(の一部)の第1の開口と関連するカラー画像データおよび第2の開口と関連する赤外線画像データを生成するステップと、前記カラーおよび赤外線画像データと関連するシャープネス情報を決定するステップと、最小化アルゴリズムを使用して前記カラーおよび赤外線画像データの少なくとも一部に基づいてその物体距離と関連するブラーカーネルを推定するステップと、ブラーカーネルおよび関連する物体距離(深度)をメモリに記憶するステップと、異なる物体距離について上のプロセスを繰り返すステップとによって生成されてもよいということになる。
そのプロセスは、例えば図1で描写されるようなデータ処理モジュールのメモリ118で事前に構成されてもよい一組のブラーカーネルHdi(i=1、・・・、N)を備えるメモリバンクが形成されるように、所望の値、例えば0.1から100cmの間で選択される値にわたって物体距離を増加させることによって繰り返されてもよい。これらのフィルタは、多開口画像センサによって生成される各画像フレームについて距離マップを効率的に生成するために、ジェスチャに基づくユーザインターフェース(UI)システムによって使用される。
一実施形態では、ブラーカーネルは、1つのカラーチャンネル、例えば緑色チャンネルYGまたは青色チャンネルYBと関連する画像データに基づいて形成されてもよい。別の実施形態では、ブラーカーネルは、2つ以上のカラーチャンネルと関連する画像データに基づいて形成されてもよい。カラーチャンネルの数は、深度マップを正確に決定するために増加してもよい。
図4Aおよび図4Bは、本発明の一実施形態によるジェスチャに基づくUIシステムで使用するための深度マップを生成するためのシステムおよび方法を描写する。特に、図4Aは、多開口画像センサによって生成される画像データに基づいて深度マップを生成するための深度マップ生成器の一部を描写する。ジェスチャに基づくUIシステムは、各々が特定の物体距離(深度)diと関連する、一組のNブラーカーネルHdi(i=1、・・・、N)404を備えるフィルタバンク402を備えるメモリを備えてもよい。フィルタバンクは、図3Aおよび図3Bを参照して述べられるようなプロセスを使用してジェスチャに基づくUIシステムのメモリで決定され、事前に構成されてもよい。
多開口画像センサは、画像データ、例えば画像フレーム406を作成してもよく(ステップ410)、それはその後、データ処理モジュールによって処理される。特に、一実施形態では、所定の窓408と関連するカラーおよび赤外線画像データは、カラーチャンネルY'RGBおよび赤外線チャンネルX'IRについてシャープネス情報を得るために、高周波数フィルタ処理される(ステップ412)。Y'RGBおよびX'IRは、未知の物体距離d'に関係し、それは、ノンブラインド逆畳み込み方式に基づいて高周波数画像データ(例えば、異なるカラーおよび赤外線チャンネルのシャープネス情報)をフィルタバンクでの適切なブラーカーネルHd'に関連付けることによって決定されてもよい。この逆畳み込み操作は、最小化機能に基づいて決定されてもよい(ステップ414)。
一実施形態では、所定の窓と関連するブラーカーネルは、最小化アルゴリズムに基づいて決定されてもよく、ただし、
Figure 0006129309
は、フィルタバンクでのブラーカーネルの各々または少なくとも一部について反復して決定される。そのアルゴリズムは、最適なブラーカーネルの決定を助けるために、先行自然画像(natural images prior)、先行ガウス分布(Gaussian prior)または先行スパース(sparse prior)などの様々な既知の方法を使用してもよい。
所定の窓と関連する距離(深度)d'は、最低出力レベルを生じさせるブラーカーネルHd'に基づいて決定される(ステップ416)。もしすべての出力レベルが、所定値を上回るならば、距離は、その特定の窓での画素に関連付けられるはずがない。このプロセスは、多開口画像センサによってレンダリングされる画像フレームまたは画像フレームの一部の各画素または画素の群について繰り返されてもよく、それ故に深度値が画像フレーム(または画像フレームの一部)での画素の実質的部分に割り当てられる、深度マップを形成する。
それ故に、上記から、深度マップは、フィルタバンクでのブラーフィルタを画像フレームの特定の窓での赤外線チャンネルおよびカラーチャンネルのシャープネス情報と関連付けることによって決定されてもよいということになる。逆畳み込みアルゴリズムは、ブラーフィルタを決定するために使用されてもよい。既知の高速逆畳み込みアルゴリズムは、多開口撮像システムによって生成される一連の画像フレームと関連する深度マップの実時間動的生成を可能にするために選択されてもよい。
図5は、本発明の一実施形態による多開口撮像システムによって生成された画像502および関連する深度マップ504を描写する。深度マップでは、深度情報は、グレースケールを使用して例示され、グレースケールが暗いほど、物体は、画像センサのより近くに位置する。シャープネス情報のないまたは少しだけを有する画像フレームでのあるエリア、すなわちどんなエッジもない滑らかなエリアは、距離を決定するのにあまり適してない。これらのエリア(所定のグレーカラー506で表される)は、深度マップ生成機能によって無視される。別法として、これらのエリアと関連する深度値は、周囲の計算された深度値(図示されず)によって推定されてもよい。
図6は、さらなる実施形態による深度情報を生成するための多開口撮像システム600の概略図を描写する。この実施形態では、深度情報は、代替多開口構成を使用して得られる。例えば図2で描写されるような中央に1つの赤外線開口の代わりに、図6での多開口606は、より大きいカラー開口610の外周を形成するストップのエッジに(または周辺に沿って)多数の小さい赤外線開口612を備える。これらの多数の小さい開口は、図2で描写されるような単一の赤外線開口よりも実質的に小さく、それによって焦点が合っている物体は、これらの小さい開口によってRGBI画像センサの撮像面616上に鮮明な単一の赤外線画像620として結像されるという効果を提供する。
対照的に、焦点がはずれている物体は、撮像面上に2つの横方向に変位した赤外線画像622、623として結像される。ここで、少なくとも第1の赤外線開口と関連する第1の赤外線画像622は、少なくとも第2の赤外線開口と関連する第2の赤外線画像623に関して特定の距離Δにわたって変位する。普通は焦点がはずれたレンズと関連する連続的にぼけた画像の代わりに、多数の小さい赤外線開口を備える多開口は、鮮明な離散画像の形成を可能にする。単一の赤外線開口と比較すると、多数の赤外線開口の使用は、より小さい開口の使用を可能にし、それによって被写界深度のさらなる強化を達成する。物体が焦点から遠くはずれるほど、画像が変位する距離Δは、より大きい。それ故に、2つの横方向に変位した赤外線画像間の距離Δは、物体とカメラレンズとの間の距離(深度)の関数であり、深度関数R(s)を決定するために使用されてもよい。それ故に、この場合、深度関数R(s)は、カメラレンズから多数の距離でのテスト物体を撮像し、それらの異なる距離でのΔを測定することによって決定されてもよい。R(s)は、カメラのメモリに記憶されてもよく、そこでそれは、深度マップを生成するためにDSPによって使用されてもよい。
可視および赤外線画像信号の両方を1つの画像フレームで同時に獲得した後、DSPは、例えば既知のデモザイキングアルゴリズムを使用して、獲得した原モザイク画像でのカラーおよび赤外線画素信号を分離してもよい。DSPはその後、物体の焦点が合っているエリアおよび物体の焦点がはずれているエリアを含んでもよい赤外線画像データの高周波数成分を得るために、赤外線画像データに高域フィルタを使用してもよい。
さらに、DSPは、自己相関関数を使用して高周波数赤外線画像データに基づいて深度情報を導き出してもよい。このプロセスは、図6で概略的に描写される。高周波数赤外線画像616(の一部)の自己相関関数624を取ると、単一スパイク628が、焦点が合っている撮像物体の高周波数エッジに現れることになる。対照的に、自己相関関数は、焦点がはずれている撮像物体の高周波数エッジに二重スパイク626を生成することになる。ここで、スパイク間のシフトは、2つの高周波数画像間の横方向変位Δを表し、それは、撮像物体とカメラレンズとの間の距離sに依存する。
それ故に、高周波数赤外線画像(の一部)の自己相関関数を取ると、二重スパイク(またはピーク)が、物体の焦点がはずれている高周波数赤外線画像での位置に現れることになる。2つのピーク間の距離は、距離測度(すなわち、焦点距離から離れる距離)を提供する。さらに、単一スパイクは、物体の焦点が合っている画像での位置に現れることになる。DSPは、所定の深度関数R(s)を使用して二重スパイク間の距離をある距離に関連付けることによって自己相関関数を処理し、その中の情報を深度マップに変換してもよい。それ故に、この実施形態では、深度マップは、赤外線画像(またはその高周波数画像データ)間の横方向変位をカメラと物体との間の距離に単に変換することよって赤外線画像データだけに基づいて生成されてもよい。
図7は、本発明の一実施形態によるジェスチャに基づくUIシステムの少なくとも一部を描写する。特に、図7は、多開口画像データを生成するための多開口画像センサ702を備えるジェスチャに基づくUIシステム700(の一部)を概略的に描写し、その画像データは、バッファ703に一連の画像フレーム(流れ)として一時的に記憶され、フィルタバンク716でのフィルタに基づいて深度マップを連続的に生成するために深度マップ生成器708によって使用される。本システムはさらに、一連の画像フレームでのジェスチャを認識するためのジェスチャ認識モジュール705を備える。いくつかの実施形態では、画像データは、デジタルシグナルプロセッサ704(図1を参照して述べられるような)によって事前に処理されてもよい。特に、画像データは、そのチャンネルと関連するシャープネス情報YRGB、XIRを得るために、高周波数フィルタを通じて赤外線チャンネルおよび/または1つもしくは複数のカラーチャンネルと関連する画像データを走らせることによって事前に処理されてもよい。別の実施形態では、カラーおよび赤外線画像データは、強化カラー画像、すなわち図1を参照して上で述べられたような赤外線チャンネルからのシャープネス情報で強化されるカラー画像を生成するために処理されてもよい。
深度マップ生成器708は、画像フレームでの赤外線チャンネルおよび1つまたは複数のカラーチャンネルならびに図4Aおよび図4Bを参照して詳細に述べられるようなフィルタバンク716に基づいて深度マップを決定してもよい。
ジェスチャ認識モジュールは、一連の画像フレームで特定の物体を検出し、その物体をジェスチャ、例えば手または指のジェスチャに関連付けるように構成されてもよい。ジェスチャ認識モジュールは一般に、物体、例えば手(またはその一部)を画像データで検出し、検出物体を一連の画像フレームで追跡するための物体追跡機能714を備える。ジェスチャ認識モジュールはさらに、ジェスチャ、例えば手または指のジェスチャを認識するためのジェスチャ認識機能720を備えてもよい。この機能は、検出物体の軌跡が所定ジェスチャの軌跡として分類されても(またはそれと照合されても)よいかどうかを決定するために、検出物体の軌跡を分析する。
一実施形態では、手のジェスチャは、カメラに比較的近い、例えば1から100cmの範囲内にある画像データと関連すると仮定される。それ故に、近くの物体、例えば手もしくはその一部またはポインティングデバイスの深度情報に基づいて、背景が、区別されてもよい。このように、画像フレームで関心のある1つまたは複数の領域(ROI)は、いわゆる前景深度値に基づいて決定されてもよい。前景深度値、すなわちカメラに関して最も近いまたは少なくとも所定の(近い)距離範囲内の深度値と関連する画素は、背景と区別されてもよい。
さらなる実施形態では、手検出プロセスはさらに、図1を参照して上で述べられたように、高周波数フィルタ処理した赤外線画像フレームを低周波数フィルタ処理したカラー画像フレームと混合することによって作成される強化カラー画像を使用して改善されてもよい。この赤外線強化カラー画像は、手またはその一部と関連する関心のある1つまたは複数の領域(ROI)を見出すために、カラー(すなわち、皮膚の色)および形状の観点から画像を分析するための手認識機能712によって分析されてもよい。この情報は、深度マップでの深度情報に基づいて決定されるようなROIについての情報と組み合わされてもよい。このように、手またはその一部710と関連してもよい画素を備える1つまたは複数のROIを正確に認識することが、可能である。
手(またはその一部)の深度マップまたは一連の深度マップは次いで、ジェスチャ認識モジュールによって使用される。ここで、特徴が、既知の特徴抽出方法を使用して抽出され、メモリ718に記憶された基準(モデル)特徴と比較されてもよい。
物体追跡機能714は、特徴抽出機能715および特徴照合機能716を備えてもよい。特徴抽出機能は、1つまたは複数の画像フレーム、例えば赤外線強化カラーフレーム、または深度マップを受け取ってもよい。この機能は次いで、所定のROIでの適切な特徴(すなわち、エッジまたは隅部などの画像または深度マップでの特有の構造)を抽出し、これらの抽出特徴をメモリに一時的に記憶してもよい。
一実施形態では、関心のある物体、典型的には身体部分を含む、関心のある領域(ROI)は、深度マップに基づいて決定されてもよい。例えば、手および/または指の特徴を扱うときは、ROIは、画像センサに比較的近い物体を表す前景深度値、すなわち小さい深度値に基づいて決定されてもよい(それは通常、手および指のジェスチャに関する場合である)。このように、画像センサに近い1つまたは複数の物体と関連する1つまたは複数のROIは、カメラからさらに遠く離れた背景に位置する物体と効果的に区別されてもよい。一実施形態では、このように決定されたROIの位置は次いで、関連する赤外線強化カラー画像の同じROIでの画素を分析する(例えば、特徴を抽出する)ために使用されてもよい。
特徴は、通常特徴記述子と呼ばれる特有のデータ構造の形で記憶されてもよい。SIFT(スケール不変特徴変換)、SURF(迅速なロバスト特徴)、HIP(ヒストグラム強度パッチ)、BRIEF(2進ロバスト独立基本特徴)、ORB(指向性BRIEF)、形状コンテキスト(shape context)、その他を含む、様々な既知の特徴記述子フォーマットが、使用されてもよい。
ROIでの特徴を抽出した後、特徴照合機能716が、実行されてもよい。特徴照合機能は、認識すべき物体、例えば手および/もしくは指の部分または指紋と関連するデータベース718に記憶された基準特徴を受け取ってもよい。これらの基準特徴は、電子デバイスのメモリに事前に供給されまたはネットワークでのサーバーから取り込まれてもよい。その後、抽出特徴は、認識すべき物体の基準特徴と照合されてもよく、その照合は、例えば2つのベクトル間のユークリッド距離、2つのビットマスク間のハミング距離、その他に基づいて計算されてもよい。このように、照合される抽出/基準特徴の対が、生成されてもよく、エラー値が、各対に割り当てられてもよい。エラー値と関連するしきい値パラメータは、どの照合される対が首尾よく一致した特徴対と考えられるかを決定するために使用されてもよい。もし十分に大きい数の首尾よく一致した対が、生成されるならば、これらの特徴は、そのような物体を規定すると決定されてもよい。
次いで、検出物体の軌跡が、連続する画像フレームについて特徴抽出および照合のプロセスを繰り返すことによって追跡されてもよい。追跡は、例えばAl-Hamadi他による論文、題名「Hand Gesture Recognition Based on Combined Feature Extraction」、International Journal of Information and Mathematical Sciences 6:1、2010年で述べられるような方式に基づいてもよい。連続する画像フレームについて、特徴抽出および照合の機能は、1つまたは複数の所定の物体点(例えば、手の重心座標または1つもしくは複数の指先座標)の位置、向きおよび速度の特徴を決定してもよい。
そのような点の位置が、適切な座標系(例えば、デカルト座標系)で決定されるとき、向きおよび速度は、あるフレームレートに従って生成される連続フレームでのそれらの点の座標に基づいて導き出されてもよい。このように、各画像フレームについて、位置、向きおよび速度の特徴を含む、関連するベクトルが、決定されてもよい。ベクトルの順序集合は、追跡される物体の時空軌跡を規定してもよく、軌跡がデータベース718に記憶された特定の基準ジェスチャに対応するかどうかを決定するために、隠れマルコフモデルに入力されてもよい。
別の実施形態では、赤外線強化カラー画像などの2D画像から導き出される特徴の時間発展を使用する代わりに、3D特徴が、深度マップに基づいて導き出されてもよい。一実施形態では、例えば、Suryanarayan他による論文、題名「Dynamic Hand Pose Recognition using Depth Data」、Pattern Recognition (ICPR)、2010 20th International Conference Istanbul、2010年8月23〜26日で述べられるような3D立体形状記述子(3D volumetric shape descriptor)が、プロセス深度マップ特徴を決定するために使用されてもよい。3D立体形状記述子は、スケール不変法で手の3Dポーズを記述するために円筒座標系を使用する。
さらなる実施形態では、ジェスチャ認識モジュールは、物体(例えば、手および/または1つもしくは複数の指先)を追跡し、ソフトウェアアプリケーションを制御するためのジェスチャとしてそのような物体の軌跡を識別するために、赤外線強化画像フレームおよび関連する深度マップの両方(一部)を使用してもよい。さらに、本発明は、上述の特徴抽出およびジェスチャ認識方法に限定されず、他の既知の技法がまた、所望の効果を達成するために使用されてもよいと考えられる。
いったんジェスチャ認識モジュールが、追跡される物体を所定のジェスチャとして識別すると、そのモジュールは、ソフトウェアアプリケーションに送られてもよい所定の制御信号を生成してもよい。制御信号に基づいて、ソフトウェアアプリケーションは、認識されたジェスチャに従ってある機能を起動する。電子デバイスまたはその上で実行されるアプリケーションを制御する様々な方法が、図8から図11を参照してより詳細に以下で述べられる。
図8は、本発明の一実施形態によるジェスチャに基づくユーザインターフェースシステムに基づいて電子デバイスまたはその上で走るアプリケーションを制御する原理を描写する。図8A〜図8Cは、簡単な単一の指のジェスチャまたは指している物体と関連するジェスチャの深度マップに基づく電子デバイスまたはその上で走るアプリケーションの制御を描写する。この特定の設定では、ユーザは、ジェスチャに基づくユーザインターフェースシステムの多開口画像センサの視野で指を位置決めしてもよい(ステップ802)。次いで、多開口画像センサによって生成される画像データに基づいて、指のグレースケール深度マップが、電子デバイスのメモリに記憶された所定の深度関数に基づいて生成されてもよい(図8Bおよび図8C)。一実施形態では、深度関数は、図3および図4を参照して論じられたような一組のブラーカーネルを備えるフィルタバンクを備えてもよい(ステップ804)。深度マップは、ジェスチャ認識モジュールによって連続的に更新されてもよく、そのモジュールはさらに、画像での所定の物体(この特定の例では指の一部)を深度マップで認識し、電子デバイスに最も近い指の部分、例えば指先を決定するために物体認識および追跡機能を実行してもよい。指の部分を識別した後、指先の動きは、三次元で追跡されてもよく(ステップ806)、軌跡がデータベースに記憶された所定のジェスチャの軌跡と関連する可能性があるかどうかを決定する(ステップ806)。
例えば、ユーザは、その指先を電子デバイスに向かって第1の位置(図8B)から第2の位置(図8C)まで所定の時間内に動かしてもよい。この動きは、z軸方向(この例では電子デバイスの主平面に実質的に垂直な方向)での指先の相対的動きとして検出されてもよい。ジェスチャ認識モジュールは、一連の深度マップに基づいて動いている指先の軌跡を決定し、この軌跡をメモリに記憶された所定の軌跡と比較してもよい。もし指先の追跡される軌跡が、記憶された軌跡に実質的に一致するならば、ジェスチャモジュールは、一致した軌跡を制御信号と関連付けてもよい。例えば、図8Bおよび図8Cでの指先の簡単な軌跡は、電子デバイスのディスプレイ上である項目またはメニューを起動するまたは選択するための起動ジェスチャを規定してもよい(マウスボタンを押すことに似ている)。
それ故に、単一の指のジェスチャ(の一部)に基づいて、指先、すなわち多開口画像センサに最も近い手の部分が、深度マップに基づいて追跡されてもよく、それによって電子デバイスのディスプレイを使用して表示されるカーソル制御のエミュレーションを可能にする。指先の位置は、多開口画像センサによって生成される画像フレームの流れに基づいて生成される、多数のその後の深度マップに基づいて追跡されてもよい。画像センサに向かう深度方向での指先の速い動きは、起動機能を引き起こすための起動ジェスチャとしてジェスチャ認識モジュールによって認識されてもよい(マウスのクリック動作に似ている)。
一実施形態では、ジェスチャの意味は、前に認識されたジェスチャに依存してもよい。例えば、一実施形態では、上で述べられたような起動ジェスチャの後、画像センサの方向でのその後の速い指の動きは、停止機能を引き起こすための停止ジェスチャとしてジェスチャ認識モジュールによって認識されてもよい。
様々なジェスチャが、指先の1つまたは複数の軌跡に基づいて規定されてもよい。上で述べられたように、画像センサに向かう速い指の動きは、単一のクリック起動(停止)として認識されてもよい。
別の実施形態では、距離に基づく「クリックアンドホールド(click-and-hold)」のジェスチャ制御は、画像センサに向かう速い指の動きに関係する第1の軌跡であって、指が画像センサから所定距離で押し下げられる場合(すなわち、下向きのクリック)、第2の軌跡が所定距離の平面での指の動きを規定する場合(すなわち、下方クリックを保持)、および第3の軌跡が画像センサから離れる指の動き(後方へ)によって規定される場合(クリック解放)を含む、ジェスチャの所定の連続によって規定されてもよい。
なお別の実施形態では、動作に基づく「クリックアンドホールド」のジェスチャ制御は、ソフトウェアプログラムを第1の(停止した)状態から第2の(起動した)状態に移動させるためのカメラに向かう速い指の動きに関係する第1の軌跡(すなわち、下向きのクリック)、第2の軌跡が所定距離の平面での指の動きを規定する場合(すなわち、下方クリックを保持)、および第3の軌跡がソフトウェアプログラムを第2の(起動した)状態から第1の(停止した)状態に移動させて戻すためのカメラに向かう第2の速い指の動きによって規定される場合(クリック解放)を含む、ジェスチャの所定の連続によって規定されてもよい。
さらに、ジェスチャ認識モジュールは、一連の深度マップに基づいて多数の指先の軌跡を決定し、これらの軌跡をメモリに記憶された所定の軌跡と比較してもよい。例えば、図9Aで描写されるように、ユーザは、ジェスチャに基づくユーザインターフェースシステムの多開口画像センサの視野で少なくとも2つの指を位置決めしてもよい。ユーザは、指を視野に保ちながら、彼または彼女の指を互いに対して動かしてもよい。例えば、1つの特定のジェスチャは、第1または第2の指先のどちらかが電子デバイスに最も近くなるように指を互いに対して動かすことに関連してもよい。ジェスチャ認識モジュールは、2つの指先を検出し、一連の深度マップに基づいて2つの動いている指先の軌跡を決定し、これらの軌跡をメモリに記憶された所定の軌跡と比較してもよい。もし指先の追跡される軌跡が、記憶された軌跡に実質的に一致するならば、ジェスチャモジュールは、一致した軌跡を制御信号と関連付けてもよい。
例えば、図9Aで描写される二指ジェスチャは、ゲーム、例えば飛行シミュレータまたはレーシングゲームでの車両などの模擬物体の動きを制御するために使用されてもよく、その場合2つの指先の相対位置が、ソフトウェア模擬車両が動いている方向を決定する。もし第1の指が、電子デバイスに最も近いならば、ジェスチャに基づくユーザインターフェースは、シミュレーションソフトウェアプログラムが模擬物体を第1の方向(例えば、左)に動かすための制御信号を生成してもよく、もし第2の指が、電子デバイスに最も近いならば、物体は、第2の方向(例えば、右)に動いてもよい。
一実施形態では、大きさ値が、第1の指と第2の指との間の深度の差に関連付けられてもよい。そのような大きさ値は、ソフトウェアプログラムのさらなるジェスチャ制御を提供することができる。例えば、大きさ値は、物体の動きを制御するための上述のソフトウェアプログラムで使用されてもよく、その場合物体は、2つの指先の間に存在する深度差が大きいかまたは小さいかに応じて急旋回するまたは大きく旋回するように制御されてもよい。
それ故に、上記の実施形態から、本発明によるジェスチャに基づくユーザインターフェースシステムは、ソフトウェアプログラムの直観的なジェスチャに基づく制御を可能にするということになる。本ユーザインターフェースは、多開口画像センサ部の画像データを使用して生成される深度マップに基づいて電子デバイスまたはその上で走るアプリケーションの正確な制御を可能にする。本ユーザインターフェースシステムは、ユーザが電子デバイスと物理的接触することを必要とせずにその上で走るアプリケーションの制御を可能にするモバイル機器での使用に適している。
上記のジェスチャに基づく制御の実施形態は、図9Bで概略的に描写され、その図では獲得された多開口画像データ(ステップ902)およびブラーカーネルを備えるフィルタバンクに基づいて、深度マップが、生成される(ステップ904)。深度マップは、ユーザの2つ以上の指先を認識して追跡するために、グラフィカルユーザインターフェースシステムの物体追跡機能およびジェスチャ認識機能に入力されてもよい。指先の軌跡は、ソフトウェアアプリケーションを制御するための二指または多指ジェスチャとして認識されてもよく(ステップ906)、その場合少なくとも2つの指先間の相対深度差は、ソフトウェアアプリケーションによって入力として使用される大きさ値を決定することができる。
図10Aおよび図10Bは、本発明の別の実施形態によるジェスチャに基づくユーザインターフェースに基づいて電子デバイスまたはその上で走るアプリケーションを制御することを描写する。図10Aおよび図10Bは、深度マップに基づくソフトウェアアプリケーションの制御を描写し、そこでは指の三次元の動きが、スクリーンに書くことおよび/または描くことを制御するために使用される。例えば、図10Aでは、図形ソフトウェアプログラムは、画像センサおよびディスプレイ1002に向かう方向1012の指先の速い動きと関連する第1のジェスチャによって引き起こされてもよい。このジェスチャは、ジェスチャに基づくユーザインターフェースによって認識され、図形機能、例えば線描画機能を起動することができる。その後、ユーザは、その指先をディスプレイに平行な平面で動かしてもよく、指先の2Dの動きが、ディスプレイへの線1010の描画を可能にする。ユーザが、スクリーンから離れる方向1014に指先を速く動かすと、ジェスチャに基づくユーザインターフェースは、図形機能の停止を引き起こすことができる。
図10Bは、図10Aで描写される図形ソフトウェアプログラムのさらなる変形形態を描写する。この特定の実施形態では、2D平面で指先を動かすことによって線を描くとき、電子デバイスにより近い指先を緩やかに動かす圧力が、エミュレートされてもよい。それ故に、その場合には、電子デバイスからの指先の距離は、より幅広くなる線1016をもたらすペン圧力を示す。それ故に、指が適切でかつ正確な制御を提供しないタッチセンサ式ディスプレイと対照的に、図10Aおよび図10Bでの実施形態は、ジェスチャに基づくユーザインターフェースシステムが、そのユーザインターフェース(タッチスクリーンなど)と物理的接触する必要性なく、ソフトウェアアプリケーションを正確に制御するために深度情報を使用することができることを例示する。
図11Aおよび図11Bは、本発明の一実施形態による生体認証プロセスでのジェスチャに基づくユーザインターフェースシステムの使用を例示する。この特定の実施形態では、電子デバイスは、本発明のジェスチャに基づくユーザインターフェースシステムによってレンダリングされる生体データを使用してユーザを認証するまたは識別するためのソフトウェアプログラムを備えてもよい。一実施形態では、そのプログラムは、画像データを生成するために、多開口画像センサの視野に指を入れるようにユーザに要請してもよい(ステップ1102)。ジェスチャ認識モジュールはその後、指先(画像センサに最も近い)をROIとして決定するために、多開口画像データおよび事前に構成されたフィルタバンクでの一組のブラーカーネルを使用して撮像された指の深度マップを生成してもよい(ステップ1104)。
その深度マップと関連する赤外線強化画像は、ROIから指紋特徴を抽出するために使用されてもよい。一実施形態では、特徴は、指紋でのいわゆる特徴点(すなわち、隆線の端点および/または分岐点)に基づいて抽出されてもよい。これらの抽出された特徴点の特徴は次いで、認証すべきユーザの指紋の特徴点と関連する記憶された基準特徴と照合される。
一実施形態では、特徴は、方向性フィルタアルゴリズム、好ましくは方向性ガボールフィルタアルゴリズムまたはその派生物を使用して赤外線強化カラー画像でのROIから抽出されてもよい(ステップ1106)。その場合、指紋のROIは、一組の方向性フィルタを備えるガボール型フィルタバンクを使用して所定数の方向でフィルタ処理される。その後、方向性特徴が、方向性フィルタに基づいて決定され、記憶された一組の方向性基準特徴と照合され、その結果もし一致が見出されるならば、ユーザが、認証されてもよい(ステップ1108)。一致は、もしROIと関連する特徴と基準特徴との間の差が、あるしきい値を下回るならば、決定されてもよい。
本発明の実施形態は、コンピュータシステムで使用するためのプログラム製品として実装されてもよい。プログラム製品のプログラムは、実施形態(本明細書で述べられる方法を含む)の機能を規定し、種々のコンピュータ可読記憶媒体に含有されてもよい。実例となるコンピュータ可読記憶媒体は、(i)情報が永久に記憶される書き込み不可の記憶媒体(例えば、CD-ROMドライブによって読み出し可能なCD-ROMディスク、フラッシュメモリ、ROMチップまたは任意の種類の固体不揮発性半導体メモリなどのコンピュータ内の読み出し専用メモリデバイス)、および(ii)変更可能な情報が記憶される書き込み可能な記憶媒体(例えば、ディスケットドライブ内のフロッピー（登録商標）ディスクもしくはハードディスクドライブまたは任意の種類の固体ランダムアクセス半導体メモリ)を含むが、限定されない。
いずれか1つの実施形態との関連で述べられるどんな特徴も、単独で、または他の述べられる特徴と組み合わせて使用されてもよく、また任意の他の実施形態または任意の他の実施形態の任意の組合せの1つもしくは複数の特徴と組み合わせて使用されてもよいことが、理解されるべきである。その上、本発明は、上で述べられた実施形態に限定されず、それらは、添付の請求項の範囲内で変更されてもよい。
100 電子デバイス
101 多開口画像センサ
102 画像センサ
103 データ処理モジュール
104 光学レンズシステム
106 シャッター
108 多開口システム
110 アナログデジタル(A/D)変換器
112 デジタルシグナルプロセッサ(DSP)
114 深度マップ生成器
116 バッファ
118 メモリ
124 信号処理機能
126 ジェスチャ認識モジュール
128 出力モジュール
134 データバス

Claims (24)

  1. 電子デバイス上のソフトウェアプログラムを制御するためのジェスチャに基づくユーザインターフェースのためのコンピュータ実装方法であって、
    前記電子デバイスでの多開口画像センサから画像データを受け取るステップであって、前記画像センサが、第1の開口を使用して電磁(EM)スペクトルの少なくとも第1の部分および1つまたは複数の第2の開口を使用してEMスペクトルの少なくとも第2の部分に画像センサを同時にさらすように構成される、ステップと、
    前記画像センサの画像面上に前記第1の開口および前記1つまたは複数の第2の開口によって結像される物体の少なくとも一部と関連する前記画像データの少なくとも1つのエリアでシャープネス情報を決定するステップと、
    前記シャープネス情報の少なくとも一部に基づいて深度マップを生成するステップと、
    前記深度マップに基づいて前記物体の動きと関連するジェスチャの少なくとも一部を認識するステップであって、前記ジェスチャの前記少なくとも一部を認識するステップは、
    前記深度マップの少なくとも一部から1つまたは複数の深度特徴を抽出するステップと、
    前記1つまたは複数の抽出された深度特徴を、前記物体と関連する１つまたは複数の基準特徴と照合するステップとを含む、方法。
  2. 電磁スペクトルの前記第1の部分と関連する第1の画像データを決定するステップと、
    電磁スペクトルの前記第2の部分と関連する第2の画像データを決定するステップと、をさらに含む方法であって、
    前記シャープネス情報の少なくとも一部に基づいて前記深度マップを生成するステップが、前記第1の画像データでの前記物体の画像の少なくとも一部と関連する第1のシャープネス情報および前記第2の画像データでの前記物体の前記画像の少なくとも一部と関連する第2のシャープネス情報を前記画像センサと前記物体との間の距離に関連付けるステップとをさらに含む、請求項1に記載の方法。
  3. 前記深度マップは、前記電子デバイスのメモリに記憶された所定の深度関数に基づいて生成され、前記所定の深度関数が、前記画像データでのシャープネス情報を前記画像センサと前記物体との間の距離に関連付けるように構成される、請求項1または2に記載の方法。
  4. 前記所定の深度関数が、前記画像データでのシャープネス情報を前記電子デバイスのメモリに記憶された一組のブラーカーネルからの少なくとも1つのブラーカーネルに関連付けられるように構成され、前記一組のブラーカーネルの各々のブラーカーネルは、所定の深度値と関連する、請求項3に記載の方法。
  5. 前記深度マップを生成するステップはさらに、
    前記画像データでの窓を選択する、ステップと、
    最小化アルゴリズムに基づいて前記窓でのシャープネス情報を一組のブラーカーネルの1つのブラーカーネルに関連付けるステップと、
    前記ブラーカーネルと関連する深度値を前記窓での1つまたは複数の画素に割り当てるステップとを含む、請求項1から3のいずれか一項に記載の方法。
  6. 前記最小化アルゴリズムは、
    前記一組のブラーカーネルの少なくとも1つを前記窓での前記シャープネス情報と畳み込むステップを含む、請求項5に記載の方法。
  7. 電磁スペクトルの前記第2の部分と関連する第2の画像データを決定するステップと、
    前記第2の画像データで少なくとも2つの横方向に変位した画像を決定するステップであって、前記画像の各々が、第2の開口と関連し、前記画像が、前記画像センサの前のある距離に位置決めされる物体と関連する、ステップと、
    前記電子デバイスのメモリに記憶された所定の深度関数に基づいて前記深度マップを生成するステップであって、前記所定の深度関数が、前記横方向に変位した画像間の距離を前記画像センサと前記物体との間の距離に関連付けるように構成される、ステップとをさらに含む、請求項1に記載の方法。
  8. 前記多開口画像センサは、前記第2の開口の各々が前記画像センサの画像面上に物体を結像するように構成される2つ以上の第2の開口を備え、前記横方向に変位した画像間の前記距離は、前記物体と前記画像センサとの間の前記距離の関数である、請求項7に記載の方法。
  9. 第2の高周波数画像データを決定するステップと、
    自己相関関数を通じて前記第2の高周波数画像データを走らせることによって前記距離を決定するステップとをさらに含む、請求項7または8に記載の方法。
  10. 前記深度マップを生成するステップは、
    深度値を前記多開口画像センサによって生成される前記画像データの少なくとも一部に割り当てるステップをさらに含む、請求項1から9のいずれか一項に記載の方法。
  11. EMスペクトルの前記第1の部分は、EMスペクトルの可視部の少なくとも一部と関連し、かつ/またはEMスペクトルの前記第2の部分は、EMスペクトルの不可視部の少なくとも一部、好ましくは赤外線スペクトルと関連する、請求項1から10のいずれか一項に記載の方法。
  12. 前記深度マップに基づいて前記画像データと関連する画像フレームの少なくとも一部での関心のある領域(ROI)の少なくとも一部を決定するステップを含む、請求項1から11のいずれか一項に記載の方法。
  13. 関心のある領域の少なくとも一部を決定するステップが、さらに、
    前景深度値と関連する画素に基づいて前記関心のある領域を決定するステップを含み、前記前景深度値は、前記多開口画像センサの画像面に比較的近い深度値の所定の範囲内にある、請求項12に記載の方法。
  14. カラー情報に基づいて前記画像データと関連する画像フレームの少なくとも一部での関心のある領域の少なくとも一部を決定するステップと、
    人体の一部と関連するカラー情報に実質的に一致するカラー情報に基づいて前記関心のある領域を決定するステップと、
    を含む、請求項1から12のいずれか一項に記載の方法。
  15. 前記物体が人体の一部であって、前記ジェスチャの前記少なくとも一部を認識するステップはさらに、
    強化画像から1つまたは複数の2D特徴を抽出するステップであって、前記強化画像は、EMスペクトルの前記第1の部分と関連する第1の低周波数画像データを第2の高周波数画像データと混合することによって形成される、強化画像から1つまたは複数の2D特徴を抽出するステップと、
    前記2D特徴を前記人体の一部と関連する1つまたは複数の基準特徴と照合するステップとを含む、請求項1から14のいずれか一項に記載の方法。
  16. 前記物体が人体の一部であって、前記ジェスチャの前記少なくとも一部を認識するステップは、
    前記深度マップに基づいて前記人体の一部の少なくとも一部の1つまたは複数の軌跡を決定するステップと、
    前記決定された軌跡を所定のジェスチャと関連する基準軌跡と相互に関係付けるステップと、
    もし前記決定された1つまたは複数の軌跡が1つまたは複数の基準軌跡と相互に関連があるならば、所定のジェスチャの検出を確立するステップと、
    前記所定のジェスチャに基づいて前記ソフトウェアプログラムを制御するステップとを含む、請求項1から14のいずれか一項に記載の方法。
  17. 前記人体の一部は、指先に関連し、前記方法は、次のステップ、
    多開口撮像システムの視野で1つまたは複数の所定の軌跡にわたって前記1つまたは複数の指先を動かすことに基づいて前記ソフトウェアプログラムを制御するステップと、
    前記電子デバイスから所定距離の平面で前記1つ又は複数の指先を動かすことによって前記ソフトウェアプログラムを制御するステップと、
    前記画像センサの視野で第1の距離から第2の距離まで前記1つまたは複数の指先を動かすことに基づいて前記ソフトウェアプログラムでの起動または停止機能を制御するステップと、
    前記1つまたは複数の指先の第1の指先を前記1つまたは複数の指先の第2指先に対して動かすことによって前記ソフトウェアプログラムを制御するステップとの少なくとも1つをさらに含む、請求項16に記載の方法。
  18. 前記物体は、指先であり、前記方法は、
    前記深度マップに基づいて前記画像データで前記指先と関連する関心のある領域を決定するステップと、
    強化画像から1つまたは複数の方向性特徴を抽出するステップであって、前記強化画像は、EMスペクトルの前記第1の部分と関連する第1の低周波数画像データを第2の高周波数画像データと混合することによって形成される、強化画像から1つまたは複数の方向性特徴を抽出するステップと、
    前記抽出された方向性特徴をユーザの指紋と関連する方向性基準特徴と照合することによって前記ジェスチャに基づくユーザインターフェースの前記ユーザを認証するステップとをさらに含む、請求項1から14のいずれか一項に記載の方法。
  19. 電子デバイスで使用するためのジェスチャに基づくユーザインターフェースシステムであって、前記ユーザインターフェースシステムが、前記電子デバイス上のソフトウェアプログラムを制御するように構成され、前記システムが、
    画像データを生成するための多開口画像センサであって、第1の開口を使用して電磁(EM)スペクトルの少なくとも第1の部分および1つまたは複数の第2の開口を使用してEMスペクトルの少なくとも第2の部分に画像センサを同時にさらすように構成される多開口画像センサと、
    前記画像センサの画像面上に前記第1の開口および前記1つまたは複数の第2の開口によって結像される人体の一部と関連する前記画像データの少なくとも1つのエリアでシャープネス情報を生成するための1つまたは複数のフィルタと、
    前記シャープネス情報の少なくとも一部に基づいて、深度マップを生成するように構成される深度マップ生成器と、
    前記深度マップに基づいて前記人体の一部の動きと関連するジェスチャを認識するように構成されるジェスチャ認識モジュールであって、前記ジェスチャ認識モジュールは、さらに、
    前記深度マップの少なくとも一部から1つまたは複数の深度特徴を抽出し、
    前記1つまたは複数の抽出された深度特徴を、前記人体の一部と関連する１つまたは複数の基準特徴と照合するように構成される、ジェスチャ認識モジュールと、
    を備える、ジェスチャに基づくユーザインターフェースシステム。
  20. 前記深度マップ生成器はさらに、前記第1の開口と関連する第1のシャープネス情報および前記1つまたは複数の第2の開口と関連する第2のシャープネス情報を前記画像センサと前記人体の一部との間の距離に関連付けるように構成される、または前記深度マップ生成器はさらに、前記第2の開口の少なくとも2つと関連する少なくとも2つの横方向に変位した画像間の距離を前記人体の一部と前記画像センサとの間の距離に関連付けるように構成される、請求項19に記載のジェスチャに基づくユーザインターフェースシステム。
  21. 前記深度マップ生成器はさらに、前記第1の開口と関連する第1のシャープネス情報および前記1つまたは複数の第2の開口と関連する第2のシャープネス情報を前記電子デバイスのメモリに記憶された一組のブラーカーネルからの少なくとも1つのブラーカーネルに関連付けるように構成され、前記ブラーカーネルの各々は、前記画像センサと前記人体の一部との間の所定の距離と関連する、請求項19に記載のジェスチャに基づくユーザインターフェースシステム。
  22. 前記ジェスチャ認識モジュールはさらに、
    前記深度マップに基づいて前記人体の一部の少なくとも1つまたは複数の軌跡を決定し、
    前記1つまたは複数の決定された軌跡を所定のジェスチャと関連する1つまたは複数の基準軌跡と相互に関連付け、
    もし前記決定された1つまたは複数の軌跡が1つまたは複数の基準軌跡の少なくとも1つと相互に関連があるならば、所定のジェスチャの検出を確立し、
    前記所定のジェスチャに基づいて前記ソフトウェアプログラムを制御するように構成される、請求項19から21のいずれか一項に記載のジェスチャに基づくユーザインターフェースシステム。
  23. 前記人体の一部は、1つまたは複数の指先に関連し、前記ジェスチャ認識モジュールはさらに、
    多開口撮像システムの視野で1つまたは複数の所定の軌跡にわたって前記1つまたは複数の指先を動かすことに基づいて前記ソフトウェアプログラムを制御し、
    前記電子デバイスから所定距離の平面で前記1つまたは複数の指先を動かすことによって前記ソフトウェアプログラムを制御し、
    前記画像センサの視野で第1の距離から第2の距離まで前記1つまたは複数の指先を動かすことに基づいて前記ソフトウェアプログラムでの起動または停止機能を制御し、かつ/または、
    前記1つまたは複数の指先の第1の指先を前記1つまたは複数の指先の第2の指先に対して動かすことによって前記ソフトウェアプログラムを制御するように構成される、請求項19から22のいずれか一項に記載のジェスチャに基づくユーザインターフェースシステム。
  24. ジェスチャに基づくユーザインターフェースを提供するためのコンピュータプログラムであって、コンピュータシステムのメモリで走るとき、請求項1から18のいずれか一項に記載の方法ステップを実行するように構成されるソフトウェアコード部分を備える、コンピュータプログラム。
JP2015520827A 2012-07-12 2012-07-12 ジェスチャに基づくユーザインターフェース Active JP6129309B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/EP2012/063703 WO2014008939A1 (en) 2012-07-12 2012-07-12 Gesture-based user interface

Publications (2)

Publication Number Publication Date
JP2015522193A JP2015522193A (ja) 2015-08-03
JP6129309B2 true JP6129309B2 (ja) 2017-05-17

Family

ID=46582671

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015520827A Active JP6129309B2 (ja) 2012-07-12 2012-07-12 ジェスチャに基づくユーザインターフェース

Country Status (5)

Country Link
US (1) US9733717B2 (ja)
EP (1) EP2872966A1 (ja)
JP (1) JP6129309B2 (ja)
KR (1) KR20150043312A (ja)
WO (1) WO2014008939A1 (ja)

Families Citing this family (66)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102013109862A1 (de) * 2012-09-10 2014-03-13 Electronics And Telecommunications Research Institute Vorrichtung und Verfahren für Benutzeranbindung sowie Endgerät, das dieselben benutzt
CN105556944B (zh) 2012-11-28 2019-03-08 核心光电有限公司 多孔径成像系统和方法
KR20140099111A (ko) * 2013-02-01 2014-08-11 삼성전자주식회사 카메라 장치의 동작을 제어하는 방법 및 상기 카메라 장치
US9829984B2 (en) * 2013-05-23 2017-11-28 Fastvdo Llc Motion-assisted visual language for human computer interfaces
CN109040552B (zh) 2013-06-13 2021-06-22 核心光电有限公司 双孔径变焦数字摄影机
CN107748432A (zh) 2013-07-04 2018-03-02 核心光电有限公司 小型长焦透镜套件
CN105917641B (zh) 2013-08-01 2018-10-19 核心光电有限公司 具有自动聚焦的纤薄多孔径成像系统及其使用方法
WO2015145589A1 (ja) 2014-03-25 2015-10-01 富士通フロンテック株式会社 生体認証装置、生体認証方法、及びプログラム
US10228768B2 (en) 2014-03-25 2019-03-12 Analog Devices, Inc. Optical user interface
EP3125194B1 (en) * 2014-03-25 2021-10-27 Fujitsu Frontech Limited Biometric authentication device, biometric authentication method, and program
WO2015145588A1 (ja) 2014-03-25 2015-10-01 富士通フロンテック株式会社 生体認証装置、生体認証方法、及びプログラム
DE102014206443A1 (de) * 2014-04-03 2015-10-08 Continental Automotive Gmbh Verfahren und Vorrichtung zum berührungslosen Eingeben von Schriftzeichen
KR101591172B1 (ko) 2014-04-23 2016-02-03 주식회사 듀얼어퍼처인터네셔널 이미지 센서와 피사체 사이의 거리를 결정하는 방법 및 장치
FR3022377B1 (fr) * 2014-06-13 2017-08-25 Morpho Dispositif d'acquisition optique pour systemes biometriques
US10354242B2 (en) * 2014-07-31 2019-07-16 Ncr Corporation Scanner gesture recognition
US9392188B2 (en) 2014-08-10 2016-07-12 Corephotonics Ltd. Zoom dual-aperture camera with folded lens
WO2016108093A1 (en) 2015-01-03 2016-07-07 Corephotonics Ltd. Miniature telephoto lens module and a camera utilizing such a lens module
WO2016114427A1 (ko) * 2015-01-16 2016-07-21 재단법인 다차원 스마트 아이티 융합시스템 연구단 이미지로부터 심도정보를 추정할 때의 연산 복잡도를 감소시키기 위한 방법 및 장치
US20160255323A1 (en) * 2015-02-26 2016-09-01 Dual Aperture International Co. Ltd. Multi-Aperture Depth Map Using Blur Kernels and Down-Sampling
US9723197B2 (en) 2015-03-31 2017-08-01 Sony Corporation Depth estimation from image defocus using multiple resolution Gaussian difference
KR102227200B1 (ko) 2015-04-16 2021-03-12 코어포토닉스 리미티드 소형 접이식 카메라의 오토 포커스 및 광학 이미지 안정화
WO2016171296A1 (ko) * 2015-04-24 2016-10-27 재단법인 다차원 스마트 아이티 융합시스템 연구단 비 정사각 및 비 원 형상의 애퍼처를 이용하는 이미지의 깊이 추정 방법 및 장치
KR102214287B1 (ko) 2015-08-13 2021-02-09 코어포토닉스 리미티드 비디오 지원 및 스위칭/비스위칭 동적 제어 기능이 있는 듀얼-애퍼처 줌 카메라
WO2017034046A1 (ko) * 2015-08-24 2017-03-02 재단법인 다차원 스마트 아이티 융합시스템 연구단 멀티 애퍼처 카메라에서의 깊이 추출 방법 및 장치
TWI565323B (zh) * 2015-09-02 2017-01-01 原相科技股份有限公司 分辨前景的成像裝置及其運作方法、以及影像感測器
CN109889708B (zh) 2015-12-29 2021-07-06 核心光电有限公司 具有自动可调节长焦视场的双孔径变焦数字摄影机
US10114465B2 (en) 2016-01-15 2018-10-30 Google Llc Virtual reality head-mounted devices having reduced numbers of cameras, and methods of operating the same
US9916433B2 (en) * 2016-02-10 2018-03-13 ContinUse Biometrics Ltd. Condition authentication based upon temporal-spatial analysis of vibrational responsivity
EP3292685B1 (en) 2016-05-30 2019-06-05 Corephotonics Ltd. Rotational ball-guided voice coil motor
KR102302004B1 (ko) * 2016-06-19 2021-09-14 코어포토닉스 리미티드 듀얼 애퍼처 카메라 시스템에서의 프레임 동기화
KR20240051317A (ko) 2016-07-07 2024-04-19 코어포토닉스 리미티드 폴디드 옵틱용 선형 볼 가이드 보이스 코일 모터
EP3563193B1 (en) 2016-12-28 2021-03-31 Corephotonics Ltd. Folded camera structure with an extended light-folding-element scanning range
KR102164655B1 (ko) 2017-01-12 2020-10-13 코어포토닉스 리미티드 컴팩트 폴디드 카메라
US10354387B2 (en) * 2017-02-27 2019-07-16 Intel Corporation Material characterization from infrared radiation
JP2020512581A (ja) 2017-03-15 2020-04-23 コアフォトニクス リミテッド パノラマ走査範囲付きカメラ
US10481736B2 (en) * 2017-06-21 2019-11-19 Samsung Electronics Company, Ltd. Object detection and motion identification using electromagnetic radiation
US10904512B2 (en) 2017-09-06 2021-01-26 Corephotonics Ltd. Combined stereoscopic and phase detection depth mapping in a dual aperture camera
US10951834B2 (en) 2017-10-03 2021-03-16 Corephotonics Ltd. Synthetically enlarged camera aperture
KR102456315B1 (ko) 2017-11-23 2022-10-18 코어포토닉스 리미티드 컴팩트 폴디드 카메라 구조
EP3552050B1 (en) 2018-02-05 2021-06-02 Corephotonics Ltd. Reduced height penalty for folded camera
KR102708672B1 (ko) 2018-02-12 2024-09-20 코어포토닉스 리미티드 광학 이미지 안정화 기능을 갖는 폴디드 카메라
US10449895B2 (en) * 2018-03-20 2019-10-22 Rockwell Collins, Inc. Object tracking illumination system
US10694168B2 (en) 2018-04-22 2020-06-23 Corephotonics Ltd. System and method for mitigating or preventing eye damage from structured light IR/NIR projector systems
CN112367448B (zh) 2018-04-23 2022-04-19 核心光电有限公司 感测机构
CN111316346B (zh) 2018-08-04 2022-11-29 核心光电有限公司 摄像机上方的可切换连续显示信息系统
US11635596B2 (en) 2018-08-22 2023-04-25 Corephotonics Ltd. Two-state zoom folded camera
WO2020144528A1 (en) 2019-01-07 2020-07-16 Corephotonics Ltd. Rotation mechanism with sliding joint
US10867441B2 (en) * 2019-02-15 2020-12-15 Microsoft Technology Licensing, Llc Method and apparatus for prefetching data items to a cache
KR102494006B1 (ko) 2019-03-09 2023-01-30 코어포토닉스 리미티드 동적 입체 캘리브레이션을 위한 시스템 및 방법
KR102254947B1 (ko) 2019-07-31 2021-05-24 코어포토닉스 리미티드 카메라 패닝 또는 모션에서 배경 블러링을 생성하는 시스템 및 방법
CN110764766A (zh) * 2019-10-15 2020-02-07 成都四方伟业软件股份有限公司 一种光圈效果实现方法及装置
US11659135B2 (en) 2019-10-30 2023-05-23 Corephotonics Ltd. Slow or fast motion video using depth information
US11949976B2 (en) 2019-12-09 2024-04-02 Corephotonics Ltd. Systems and methods for obtaining a smart panoramic image
KR102708591B1 (ko) 2019-12-09 2024-09-20 코어포토닉스 리미티드 스마트한 파노라마 이미지를 획득하기 위한 시스템 및 방법
US11209263B2 (en) * 2019-12-12 2021-12-28 Tencent America LLC 3D hand pose estimation based on depth-image guided adversarial network 1
KR20220053023A (ko) 2020-02-22 2022-04-28 코어포토닉스 리미티드 매크로 촬영을 위한 분할 스크린 기능
US11693064B2 (en) 2020-04-26 2023-07-04 Corephotonics Ltd. Temperature control for Hall bar sensor correction
CN117372250A (zh) 2020-05-17 2024-01-09 核心光电有限公司 全视场参考图像的图像拼接
EP3966631B1 (en) 2020-05-30 2023-01-25 Corephotonics Ltd. Systems and methods for obtaining a super macro image
US11637977B2 (en) 2020-07-15 2023-04-25 Corephotonics Ltd. Image sensors and sensing methods to obtain time-of-flight and phase detection information
US11910089B2 (en) 2020-07-15 2024-02-20 Corephotonics Lid. Point of view aberrations correction in a scanning folded camera
WO2022023914A1 (en) 2020-07-31 2022-02-03 Corephotonics Ltd. Hall sensor - magnet geometry for large stroke linear position sensing
KR102480820B1 (ko) 2020-08-12 2022-12-22 코어포토닉스 리미티드 스캐닝 폴디드 카메라의 광학 이미지 안정화
US12101575B2 (en) 2020-12-26 2024-09-24 Corephotonics Ltd. Video support in a multi-aperture mobile camera with a scanning zoom camera
US12081856B2 (en) 2021-03-11 2024-09-03 Corephotonics Lid. Systems for pop-out camera
EP4204885A4 (en) 2021-06-08 2024-03-06 Corephotonics Ltd. SYSTEMS AND CAMERAS FOR TILTING A FOCAL PLANE OF A SUPER MACRO-IMAGE

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3863809B2 (ja) 2002-05-28 2006-12-27 独立行政法人科学技術振興機構 手の画像認識による入力システム
JP3974063B2 (ja) * 2003-03-24 2007-09-12 松下電器産業株式会社 プロセッサおよびコンパイラ
US7308112B2 (en) 2004-05-14 2007-12-11 Honda Motor Co., Ltd. Sign based human-machine interaction
EP1856907A2 (fr) * 2005-03-07 2007-11-21 DXO Labs Procédé pour commander une action, notamment une modification de netteté, à partir d'une image numérique en couleurs
US8406487B2 (en) * 2009-09-16 2013-03-26 General Electric Company Method and system for contactless fingerprint detection and verification
EP2537332A1 (en) * 2010-02-19 2012-12-26 Dual Aperture, Inc. Processing multi-aperture image data
US9495751B2 (en) * 2010-02-19 2016-11-15 Dual Aperture International Co. Ltd. Processing multi-aperture image data
US20110267485A1 (en) * 2010-04-30 2011-11-03 Kane Paul J Range measurement using a coded aperture
EP2474950B1 (en) * 2011-01-05 2013-08-21 Softkinetic Software Natural gesture based user interface methods and systems
EP3654146A1 (en) * 2011-03-29 2020-05-20 QUALCOMM Incorporated Anchoring virtual images to real world surfaces in augmented reality systems
WO2012141868A1 (en) * 2011-04-15 2012-10-18 Faro Technologies, Inc. Enhanced position detector in laser tracker
WO2012168322A2 (en) * 2011-06-06 2012-12-13 3Shape A/S Dual-resolution 3d scanner
JP5712074B2 (ja) * 2011-07-20 2015-05-07 株式会社日立ハイテクノロジーズ 走査透過電子顕微鏡
US8866912B2 (en) * 2013-03-10 2014-10-21 Pelican Imaging Corporation System and methods for calibration of an array camera using a single captured image
US20140327753A1 (en) * 2013-05-06 2014-11-06 Delta ID Inc. Apparatus and method for positioning an iris for iris image capture
US8885901B1 (en) * 2013-10-22 2014-11-11 Eyenuk, Inc. Systems and methods for automated enhancement of retinal images

Also Published As

Publication number Publication date
WO2014008939A1 (en) 2014-01-16
EP2872966A1 (en) 2015-05-20
US9733717B2 (en) 2017-08-15
JP2015522193A (ja) 2015-08-03
US20150261299A1 (en) 2015-09-17
KR20150043312A (ko) 2015-04-22

Similar Documents

Publication Publication Date Title
JP6129309B2 (ja) ジェスチャに基づくユーザインターフェース
US10599228B2 (en) Information processing device and method, program and recording medium for identifying a gesture of a person from captured image data
US10334151B2 (en) Phase detection autofocus using subaperture images
EP2531980B1 (en) Depth camera compatibility
JP6417702B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
EP2531979B1 (en) Depth camera compatibility
EP3915087B1 (en) An electronic device applying bokeh effect to image and controlling method thereof
EP2339507B1 (en) Head detection and localisation method
EP3185209B1 (en) Depth maps generated from a single sensor
JP2015526927A (ja) カメラ・パラメータのコンテキスト駆動型調整
US9703371B1 (en) Obtaining input from a virtual user interface
US10528145B1 (en) Systems and methods involving gesture based user interaction, user interface and/or other features
TW201514830A (zh) 互動式操作方法
JP2019067388A (ja) ライトフィールド画像を操作するためのユーザインターフェイス
KR101501487B1 (ko) 깊이 영상 기반 머리 검출방법 및 장치
CN106951077B (zh) 一种提示方法及第一电子设备
TW201006527A (en) Measuring object contour method and measuring object contour apparatus
JP2010113562A (ja) 物体検知追跡装置，物体検知追跡方法および物体検知追跡プログラム
Lee et al. A Long‐Range Touch Interface for Interaction with Smart TVs
KR101741671B1 (ko) 3d 동작기반의 프레젠테이션 장치 및 방법
CN115878008A (zh) 交互方法、装置、计算机可读存储介质及电子设备

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160210

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160229

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20160527

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20160713

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160831

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161003

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20170104

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170223

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170313

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170411

R150 Certificate of patent or registration of utility model

Ref document number: 6129309

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150