[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP2007534043A - ユーザインターフェイスを制御するための方法、システム、およびその方法を実施するための対応するデバイス、ソフトウェアデバイス - Google Patents

ユーザインターフェイスを制御するための方法、システム、およびその方法を実施するための対応するデバイス、ソフトウェアデバイス Download PDF

Info

Publication number
JP2007534043A
JP2007534043A JP2006530322A JP2006530322A JP2007534043A JP 2007534043 A JP2007534043 A JP 2007534043A JP 2006530322 A JP2006530322 A JP 2006530322A JP 2006530322 A JP2006530322 A JP 2006530322A JP 2007534043 A JP2007534043 A JP 2007534043A
Authority
JP
Japan
Prior art keywords
display
info
information
image information
imageex
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2006530322A
Other languages
English (en)
Inventor
サジュ パラヤー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nokia Oyj
Original Assignee
Nokia Oyj
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nokia Oyj filed Critical Nokia Oyj
Publication of JP2007534043A publication Critical patent/JP2007534043A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1626Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/24Aligning, centring, orientation detection or correction of the image
    • G06V10/242Aligning, centring, orientation detection or correction of the image by image rotation, e.g. by 90 degrees
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/14Image acquisition
    • G06V30/146Aligning or centring of the image pick-up or image-field
    • G06V30/1463Orientation detection or correction, e.g. rotation of multiples of 90 degrees
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/165Detection; Localisation; Normalisation using facial parts and geometric relationships
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/161Indexing scheme relating to constructional details of the monitor
    • G06F2200/1614Image rotation following screen orientation, e.g. switching from landscape to portrait mode
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/163Indexing scheme relating to constructional details of the computer
    • G06F2200/1637Sensing arrangement for detection of housing movement or orientation, e.g. for controlling scrolling or cursor movement on the display of an handheld computer
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/0492Change of orientation of the displayed image, e.g. upside-down, mirrored
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2250/00Details of telephonic subscriber devices
    • H04M2250/52Details of telephonic subscriber devices including functional features of a camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Hardware Design (AREA)
  • Geometry (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Digital Computer Display Output (AREA)
  • Image Processing (AREA)
  • Position Input By Displaying (AREA)
  • Telephone Function (AREA)

Abstract

本発明は、情報(INFO)が対象方向(Oimage)を有おり、ディスプレイ(20)上にユーザ(21)のために表示された情報(INFO)の方向(Oinfo)を制御するための方法に関連する。この方法においては、ディスプレイ(20)の方向(Odisplay)が、ディスプレイ(20)上に表示される情報(INFO)の方向(Oinfo)との相対的な関係において定義され、ディスプレイ(20)上に表示された情報(INFO)の方向(Oinfo)が、そのために設定された対象方向(Oitgt)とは異なる場合に、方向変更(ΔO)が実行され、その変更の結果として、ディスプレイ(20)上に表示された情報(INFO)の方向が対象方向(Oitgt)に対応するようにされる。ディスプレイ(20)に動作するように接続されたカメラ手段(11)が使用されることで、設定された方法においてインターバル毎に、ディスプレイの方向(Odisplay)が定義される。
【選択図】図2

Description

本発明は、情報は対象方向を有している、ディスプレイ上で使用する少なくとも一人のユーザのために表示される情報の方向を制御するための方法に関連する。この方法において、ディスプレイの方向が、画像情報を形成するようにディスプレイへ動作可能なように接続されたカメラ手段を使用することにより、ディスプレイ上に表示される情報の方向との相対的な関係において定義され、該画像情報が解析されることで、画像情報において、一つ以上の選択された特徴が検出され、かつその/それらの方向が定義され、ディスプレイ上に表示された情報の方向が、そのために設定された対象方向とは異なる場合に、方向変更が実行され、その変更の結果として、ディスプレイ上に表示された情報の方向が対象方向に対応するようにされる。加えて、本発明は前記方法を実施するためのシステム、対応するデバイス、およびソフトウェアデバイスにもまた関連する。
例えば、(その他の形態のデバイスを排除するものではないが)移動局およびPDA(Personal Digital Assistant)デバイス等のディスプレイ構成要素を備えた携帯デバイスからの、様々なマルチメディアおよびビデオ会議機能が、近年知られている。このため、ユーザは、デバイスのディスプレイ上に示される情報を監視するのと同時に、(例えばビデオ会議において)通信相手として彼ら自身もまた出現させるため、デバイスは、そのデバイスに接続されたカメラ手段を有する。
例えば、前述の装置の使用に関連するある場合において(今一度、その他の場合を排除するものではないが)、ユーザは操作の途中で(例えば、ビデオクリップを見ていたり、会議中において)、ディスプレイ構成要素の方向を、例えば垂直方向であるノーマルから例えば、水平方向であるその他の方向に変更したいと希望することが考えられる。将来において、他にも理由はあるが、これらの装置の飛躍的な進歩によって、ディスプレイ上に表示される情報のための方向操作に対する必要性は大きく増加するであろう。
前記のことに加え、最近の新しい携帯電話のいくつかのモデルは、異なる操作配置の選択肢を公表してきた。従来の垂直方向に構成されたデバイスと並んで、デバイスは水平方向にも構成することが可能である。この場合、デバイスのキーボードもまた、この方向の変更に対応させられる。ディスプレイもまた、垂直と水平の特徴で効果の違いが有り、それによって、例えば、いつでも最も適したディスプレイポジションを探す場合に、ディスプレイの水平/垂直方向の間で変更する必要性が生じる。
車を運転しているような特別な状況が、そういった方向調整を要求するようなさらにもうひとつの状況である。運転中に、例えば、移動局が車のダッシュボードに取り付けられた場合は、移動局は運転手に対して不都合なポジションにあると考えられる。この場合、少なくとも、より使いやすさを要求する場合には、示される情報を、運転手と移動局の共通のポジショニングに調整することが好ましい。実際には、これは、ディスプレイに表示される情報を可能な限り好ましく運転手に対して方向あわせすることが好ましいことを意味する。すなわち、それは、従来の垂直か水平方向のかわりに、ある角度を持って表示される。
直交した方向から異なる方向のそういった変更を達成するために、先行技術を使用することは、現実的には不可能である。そういった状況では、特に、先行技術に従って、この操作を達成することは、次の事実によりさらに妨げられる。その事実とは、この場合、正確にデバイスから、そのために設定された基準点との相対的な関係におけるディスプレイの方向変更を検出するようなデバイスを方向変更が対象としていないということである。
デバイスと、特にディスプレイ構成要素の再方向合わせを行なうための従来技術を表す第一の解決方法は、デバイスメニューの設定からデバイスのディスプレイ上に表示された情報の方向変更を行なうことである。この場合、デバイスのディスプレイ構成要素の方向は、例えば、設定方法によって定義された(例えば、ディスプレイの短辺が、視聴者との相対的な関係において上辺および底辺に配置される)垂直に配置されたディスプレイから、設定方法によって定義された(例えば、ディスプレイの短辺が、視聴者との相対的な関係において左辺および右辺に配置される)水平に配置されたディスプレイに変更される。
メニューセッティングから実行される方法変更は、希望する操作を達成するアイテムを発見する前に、メニューハイアラーキーを非常に深く探し回ることをユーザに要求することが考えられる。しかし、この操作を、例えば、マルチメディアクリップを視聴している最中やビデオ会議に参加している最中に実行しなければならない場合には、ユーザフレンドリーな方法ではない。加えて、メニューセッティングによってなされる方向変更は、予めプリセットされた情報配置変更に限定される。この例としては、例えば、ディスプレイ上に表示される情報の方向が90から180度の角度においてのみ変更することができる機能である。
さらに、前述の操作に関連した問題を解決するための、そしてさらに、例えば、それを完全に自動的に実行するためのより発展した数多くの解決方法が先行技術によって知られている。そういった解決方法のいくつかの例は、様々な角度/傾きのプローブ/センサ/スイッチ、リミットスイッチ、加速度センサ、およびフラップオープニング(flap opening)のためのセンサを備える。これらは機械的に、または電気的に、さらには両者の組み合わせとして、実装することが可能である。傾き/角度測定に基づいてデバイス解決方法において、デバイスおよび特にそのディスプレイ構成要素の方向が、そのために設定された基準点との相対的な関係において定義される。そして、基準点は地球であり、それらの動作原理は重力の影響に基づいている。
これらに関連する一つの参考文献としては、WO公開公報01/43473(TELBIRD LTD)があり、該文献において開示されている解決方法においては、デバイスに設置されたマイクロマシンによる傾き計測器が使用されている。
しかし、機械的および準機械的なセンサによる解決方法は、例えば、携帯デバイスに実装することは困難である。それらは、デバイスの製造コストを増加させ、そのため、それらの消費者価格が上昇する。加えて、それらの使用は、常にある一定の破損の可能性を危険性をもたらす。この破損については、デバイスにおいて高密度に集積されているため、交換が可能である場合であっても、壊れたセンサの交換は採算が取れるものではない。
電気的なタイプのセンサの操作は、デバイスの特定の方向ポジションにおいてはっきりしないことも考えられる。加えて、非線形装置はこれらの解決方法の方向定義に関連付けて言及される。この例は傾き測定であって、この傾き測定においては、デバイス/ディスプレイの方向を示す信号が正弦波の形状をしている。
前述のセンサによる解決方法は、例えば、携帯デバイスにおいて実装することが難しく、不都合であるという事実があるが、それらはほとんど常に、設定された基準点(地球)との相対的な関係におけるデバイスの方向における物理的な変更を要求する。この基準点との相対的な関係において方向が定義される。例えば、もし、車を運転しているときに、移動局のディスプレイ、およびそこに表示される情報との相対的な関係において、デバイスのユーザが不都合なポジションにいる場合、前述のセンサによる解決方法は、どのような方法でも、この状況に対処することはできない。動作状況を考慮すると、固定量としてメニューセッティングによってなされる方向変更は、こういった状況において、適切な方法によって、情報の方向合わせを行なうための解決方法を提供することはできないであろう。デバイスの方向が、例えば、固定されるような場合において、ユーザの頭部を連続的に傾かせることが、ユーザにとってより適当であり、これにより情報が方向合わせされるが、これは、好ましくなくいし、満足できないデバイスを使用する方法である。
動作するようにディスプレイに接続して構成されたカメラ手段を使用して作成されたディスプレイの方向が画像情報から定義される解決方法は、国際(PCT)特許公開WO−01/88679(Mathengine PLC)によって知られている。例えば、デバイスを使用する人の頭部が画像情報から探し出され、さらに特に、彼/彼女のアイライン(eye line)が画像情報の中で定義され得る。前述の公報において開示された解決方法は、3−D仮想アプリケーションに大きく重点を置いており、この3−D仮想アプリケーションは一般的には単一の人に対するものである。もし、幾人かの人がデバイスの隣にいたとした場合であって、例えば移動局を持っており、その移動局を使用して、例えばビデオクリップを視聴している場合、ディスプレイの方向を定義する機能は、ディスプレイがどこのポジションにあるのかをもはや決定することはできないであろう。さらに、例えば、3−Dアプリケーションのリアルタイム性は方向定義を要求することで、原則的に連続的になる。その結果、例えば、ファインダー画像において使用する検出周期で、画像情報は連続的に検出されなければならない。結果として、画像情報からの連続的な画像化および方向定義は、多量なデバイスリソースを消費する。既知の画像化周期で実行もされる原則的に連続的な画像化は、デバイスパワーの消費において相当な影響をも有する。
本発明は、ディスプレイ上に示された情報の方向を制御するための新しいタイプの方法、およびシステムを創造することを意図している。本発明に従った方法の特徴が、添付された請求項1、およびそれらのシステムについての請求項8において記載される。加えて、本発明は、その特徴が請求項13に記載された対応するデバイス、およびその特徴が請求項17に記載されたその方法を実施するためのソフトウェアデバイスにもまた関連する。
本発明は、ディスプレイ上に少なくとも一人のユーザのために表示された情報の方向が、情報がユーザとの相対的な関係において常に正しく方向合わせされるような方法において制御されることで特徴付けられる。これを実施するために、カメラ手段がディスプレイに接続され、または、一般的には、ディスプレイを備えるデバイスに接続される。このカメラ手段は、ディスプレイの方向を定義するための画像情報を作成するために使用される。ディスプレイの方向は、例えば、画像情報の画像対象から選択された固定ポジションとの相対的な関係において定義されることが考えられる。一度、ディスプレイの方向が既知となると、これに基づいて、一人以上のユーザに対して、適切にそこに表示される情報が方向合わせされる。
一つの実施形態にしたがうと、この方法において、例えば、カメラ手段によって撮像された、デバイスの少なくとも一人のユーザが、画像情報の画像対象として選択され得る。画像情報が解析され、一つか幾つかの選択された特徴が、画像対象から検出される。選択された特徴は、好ましくは少なくとも一人のユーザの顔の特徴である。一度選択された特徴が検出されると、ディスプレイ構成要素に対する少なくとも一人のユーザの方向が定義され得る。検出された特徴は、一つの実施形態にしたがうと、例えば、少なくとも一人のユーザの目の部分(eye point)と、それらによって形成されるアイラインとすることができる。
この後、例えば、定義された基準点、すなわち、例えば、ユーザに対するディスプレイ構成要素の方向が、画像情報における方向の特徴から決定され得る。一度、基準点に対する、または一般的には、それ上に表示される情報の方向との相対的な関係におけるディスプレイ構成要素の方向が既知となれば、非常に好ましくは、少なくとも一人のユーザとの相対的な関係におけるディスプレイ構成要素上に表示される情報を方向合わせするための基準として使用されることも可能となる。
一つの実施形態にしたがえば、ディスプレイ構成要素の方向の状態は、インターバル毎に設定された方法において、定義され得る。この方法による方向の連続的な定義は、本質的ではないが、それは確実に可能である。しかし、従来のファインダー/ビデオ撮像におけるものより低い検出頻度でそれを実行することが可能である。インターバル毎にそういった定義を使用することで、特に、デバイスの電流消費、および全体的な処理能力において節約することができる。しかし、本発明にしたがった方法のアプリケーションは決して不合理であるロードを行なわない。
情報の方向が合理的な早いペースでディスプレイ構成要素の方向調整を継続する代わりに、インターバル毎の方向の定義が実行される場合、例えば、一つの実施形態にしたがうと、1から5秒ごと、好ましくは、例えば、2から3秒のインターバル毎に一度実行されるような方法において、非連続な認識は、実質的に方法の操作性またはデバイス使用の快適性に実質的に影響を与えない。しかし、例えば、ファインダー撮像のような連続的な撮像と比較すると、この方法から生じる電力消費における節約は飛躍的なものである。
例えば、目の部分のような顔の特徴を検出したり、それらによって定義されるアイラインを画像情報から定義するような、画像情報を解析するために使用される多くのアルゴリズムが、顔の特徴についてのアルゴリズムに関する分野で本発明にしたがう方法において少しも制限されずになされるそれらの選択から知られる。加えて、画像情報において、画像情報から検出される画像対象の方向の定義、およびディスプレイ構成要素上に表示される情報に基づいた方向が、多くの異なるアルゴリズム、および基準方向、基準点の選択を利用して実行され得る。
本発明にしたがう方法、システムおよびソフトウェアデバイスは、比較的単純に集積された、一つの実施形態にしたがって携帯可能な既存のデバイス、そして、目下設計されているデバイスの両方において実施され得る。方法は、純粋にソフトウェアレベルにおいて実装することが可能であるが、一方で、ハードウェアレベル、または両者の組み合わせにおいても可能である。しかし、最も好ましい実装方法は純粋なソフトウェアによる実装である。なぜなら、そうすることで、例えば、先行技術においてみられる機構はすべて排除され、デバイスの製造コストを削減し、そして価格もまた低下させるためである。
本発明にしたがう解決方法は、例えば、デバイスの処理能力やメモリ動作について著しく干渉しうる範囲への、カメラ手段を備えるデバイスの複雑性をほとんど増加させない。
本発明にしたがう方法、システム、デバイスおよびソフトウェアデバイスのその他の特徴は、添付された特許請求の範囲から明らかとなる。一方、達成される有利な点は、詳細な説明で詳細に示される。
以下開示される実施形態に制限されない本発明にしたがう方法、システム、デバイスおよび該方法を実行するためのソフトウェアデバイスについて、添付した図面を参照しながら、以下でより詳細に検討する。
図1は、以下では移動局における実施形態の形で示される、携帯デバイス10における本発明にしたがったシステムの一例を示す。本発明にしたがう方法およびシステムが適用され得る携帯ハンドヘルドのカテゴリーは、極めて広範であることに注意されたい。その他のそういった携帯デバイスの例としては、PDAタイプのデバイス、(例えば、Palm、Vizor)、パームコンピュータ、高度自動機能電話、携帯ゲーム機、音楽再生機、およびデジタルカメラが挙げられる。しかし、本発明にしたがうデバイスは、共通の特徴を有している。つまり、それらには何らかの形で取り付けられた、画像情報IMAGExを作成するためのカメラ手段11を備えるか、備えることが可能なように構成される特徴を有している。このデバイスは、固定されて構成されたビデオ会議用の装置とすることも可能であり、この装置においては、話しているグループが、例えば、マイクの処理によって認識される。
図1に示される移動局10は、それ自体は既知である構成要素であり、その送信/受信構成要素15のような構成要素は、本発明に関して言えば無関係であり、ここでは詳細に説明する必要はない。移動局10は、デジタル画像化チェーン(chain)11を有しており、それは、レンズを有しているものとして知られるカメラセンサ手段11.1、およびデジタル静止画および/またはビデオ画像情報IMAGExを処理し、生成するように構成されたものとして知られたタイプの画像処理チェーン11.2含む。
カメラセンサ11.1を備える現実の物理的な全体は、デバイス10において外れないように取り付けられるか、または一般的には、デバイス10のディスプレイ20に接続され外れないように取り付けられるか、または、取り外せるよう取り付けられる。加えて、センサ11.1が対象に向けられるようにすることも可能である。一つの実施形態にしたがえば、カメラセンサ11.1が、デバイス10の少なくとも一人のユーザ21に向けられ、または少なくとも向けられるように構成されることで、本発明にしたがった方法の好ましい形態を可能とする。移動局の場合、ディスプレイ20とカメラ11.1は、デバイス10の同じ側に配置されるであろう。
デバイス10の操作は、処理ユニットDSP/CPU17を用いることで制御される。とりわけ、デバイス10のユーザインターフェイスGUI18が、その手段によって制御される。さらに、ユーザインターフェイス18は、ディスプレイドライバ19を制御するために使用され、ディスプレイドライバ19が、今度は、物理的なディスプレイ構成要素20およびその上に示される情報INFOの操作を制御する。加えて、デバイス10はキーボード16をもまた含むことができる。
この方法を可能とする様々な機能がデバイス10において構成されることで、本発明にしたがう方法が実施される。画像情報IMAGExのために選択された解析アルゴリズム機能12が画像処理チェーン11.2に接続される。一つの実施形態にしたがうと、このアルゴリズム機能12は、一つ以上の選択された特徴24を画像情報IMAGExから探し出す手段となるタイプのものになる。
カメラセンサ11.1がこの方法の観点から好ましく対象に向けられれば、すなわち、デバイス10のディスプレイ20をよく見る少なくとも一人のユーザ21に向けられれば、少なくともユーザ21の頭部22が、通常、カメラセンサ11.1によって作成された画像情報IMAGExにおいて画像対象とされる。選択された顔の特徴は、ユーザ21の頭部22から探し出され、そこから一つ以上の選択された特徴24またはそれらの組み合わせが探し出されるか、または定義される。
そういった顔の特徴の第1の例は、ユーザ21の目の部分23.1、23.2である。複数の異なるフィルタリングアルゴリズムが存在し、その手段によって、ユーザ21の目の部分23.1、23.2、またはそれらのうちの目でさえ特定され得る。例えば、選択された非線形フィルタリングアルゴリズム12を用いることで、目の部分23.1、23.2が特定される。その手段を用いることで、両目の位置におけるくぼみ部が検出される。
本実施形態にしたがう場合、デバイス10が機能13をもまた備える。機能13は、目の部分23.1、23.1の方向Oeyeline、または、一般的には、それらが形成する、この場合はアイライン24である特徴を、カメラ手段11.1によって作成される画像情報IMAGExにおいて特定する。この機能13は、機能14によって後を引き継がれる。この手段によって、ディスプレイ14上に示される情報INFOが、画像情報IMAGExから特定される特徴24の方向Oeyelineにしたがって方向を合わせられ、それは現在の操作状況に適したものとなる。これは、ディスプレイ20の方向Odisplayが、画像情報(IMAGEx)における特徴24の方向Oeyelineから特定され得るものであり、そして、ディスプレイ20によって示された情報が、好ましくはユーザ21に関連して方向を合わせられることを意味する。
方向合わせ機能14は、ユーザインターフェイスGUIのタスクを処理する対応する機能18を直接的に制御するために使用される。それは、デバイス10のディスプレイ20のために定義された方向Oeyelineにしたがい、情報INFOの方向を合わせるための対応する調整操作を実行する。
図2は本発明にしたがった方法の一例のフローチャートを示す。デバイス10のディスプレイ構成要素20上の情報INFOの方向が、デバイス10の動作手順の中で自動化さ得る。その一方で、それは選択的に設定される動作とすることもでき、そうすると、適切な方法で、例えば、デバイス10のユーザインターフェイスGUI18から、それをアクチベートすることができる。さらに、このアクチベーションが、例えば、ビデオ会議またはマルチメディア機能のアクチベートに関連付けられるようなデバイス10を使用するいくつかの特定の動作段階に関連付けられることもできる。
本発明にしたがう方法が、デバイス10(段階200)においてアクティブであるとき、デジタル画像IMAGExが、カメラセンサ11.1によって連続的にまたは設定された周期的にキャプチャされる(段階201)。カメラセンサ11.1は、好ましくは、デバイス10のユーザ21の方に向けるために、上述の方法によって構成されるので、カメラセンサ11.1が作成する画像情報IMAGExの画像の対象は、例えば、少なくとも一人のユーザ21の頭部22である。これにより、ユーザ21との相対的な関係においてディスプレイ20および情報INFOの各方向状態を定義するとき、例えば、ユーザ21の頭部22は、一つの実施形態にしたがうと、基準点として設定され得る。したがって、ディスプレイ構成要素20、および情報INFOの方向Odisplay、Oinfoは、ユーザ21の頭部22の方向との相対的な関係において定義され得る。今度は、設定された方法で定義された画像情報IMAGExの方向Oimageに関連して、設定された方法で選択された特徴24の方向Oeyelineを定義することで、頭部22の方向が得られる。
次に、画像情報IMAGE1、IMAGE2が解析されることで、一つ以上の特徴24が画像対象22から、機能12を用いることで検出される(段階202)。特徴24は、例えば、幾何学的なものとすることができる。解析は、例えば、一つ以上の選択された顔の特徴解析アルゴリズムを用いることで実行される。ある意味では、顔の特徴解析は一つの手順であって、この手順において、例えば、目、鼻、および口の位置を、画像情報IMAGExから位置付けることができる手順である。
本実施形態に示される場合において、この選択された特徴は、ユーザ21の目23.1、23.2によって形成されるアイライン24である。その他の有力な特徴は、例えば、ユーザ21の頭部22によって形成される幾何学的な回転画像(例えば、楕円)とすることも可能である。そこから選択された基準点22の配置が、極めて明確に特定され得る。さらに、顔から検出される鼻孔もまた、特定する特徴として選択することが可能である。それは、もう一度、鼻孔によって定義される鼻孔の線、口、またはこれらの特徴の組み合わせの問題である。このように、特定される特徴を選択する数多くの方法がある。
顔の特徴解析12を実施するための一つの方法は、輝度の値に基づいて特定され得る、顔におけるこれらの特定の位置において形成された深いくぼみ部(これは、その他の顔の部分に比べてより暗い影の領域として現れる)に基づくものである。このくぼみ部の場所は、したがって、画像情報IMAGExから、ソフトウェアフィルタリングを用いることで検出され得る。非線形フィルタリングが、顔の特徴定義の前処理段階においてくぼみ部を特定するためにもまた使用される。顔の特徴解析についての幾つかの例が、詳細な説明の最後の文献[1]、および[2]において開示されている。本発明にしたがう方法に関連する顔の特徴解析の実施は、当業者にとっては、明らかな手続の操作であるため、これに関しては、詳細に述べないこととする。
一度、選択された顔の特徴23.1、23.2が画像情報IMAGExから検出されると、次のステップは、画像情報IMAGExに関連してそれらの方向Oeyelineを定義するために機能13を使用するステップである(段階203)。
一度画像情報IMAGExにおける特徴24の方向Oeyelineが決定されると、設定された方法によって、そこから、基準点、すなわち、ユーザ21の頭部である画像対象22との相対的な関係におけるディスプレイ構成要素20の方向Odisplayを決定することも可能である。当然に、これは、選択された基準点、定義された特徴、およびそれらの方向、そして、一般的には、選択された方向の向きに依存する。
対象方向Oitgtが、選択された基準点22に関連してディスプレイ20上に表示された情報INFOのために設定されることで、ディスプレイ20上の情報INFOを、最も適切な方法で、ディスプレイ20の方向Odisplayにしたがって方向合わせをする。対象方向Oitgtは、ディスプレイ構成要素20および情報INFOの方向Odisplay、Oinfoを定義する基準点22にしたがって固定され得る。この場合、対象方向Oitgtは、したがって、デバイス10との相対的な関係において、デバイス10のユーザ21の頭部22の方向に対応する。
さらに、一度、選択された基準点22からの相対的なディスプレイ20の方向Odisplayが既知となると、選択された基準点22からの相対的なディスプレイ20上に表示される情報INFOの方向Oinfoを決定することもまた可能である。これは、デバイス10のディスプレイ20を制御する機能18、19が、情報INFOのデバイス10のディスプレイ20上の方向Oinfoを常に知ることができるようにするためである。
段階204においては、比較操作が行なわれる。ディスプレイ構成要素20上に表示される情報INFOの方向Oinfoが、選択された基準点22との相対的な関係において、そのために設定された対象方向Oitgtと、設定された方法において、違っていれば、ディスプレイ構成要素20上に表示される情報INFOにおいて、配置変更)Oが実行される。次に、要求される配置変更)Oが定義される(段階205)。その変更の結果、ディスプレイ構成要素20上に表示される情報INFOの方向Oinfoが、選択された基準点22との相対的な関係において、そのために設定された対象方向Oitgtと一致させられる(段階206)。
情報INFOの方向Oinfoおよび対象方向Oitgtの間に、その設定にしたがって、違いが無ければ、ディスプレイ20上に表示される情報INFOの方向Oinfoは適切である、すなわち、この場合、情報INFOはユーザ21のアイライン24に対して正しい角度で方向合わせされているということである。これを確定した後、予定される遅延段階(207)の後に(後述)、段階(201)へ戻ることができる。段階(201)においては、新たな画像情報IMAGExがキャプチャされることで、ユーザ21とデバイス10のディスプレイ構成要素20の間の方向の関係を調べることができる。その設定にしたがった違いが、例えば、ユーザ21のアイライン24が頭部22の垂直方向に対する完全に正しい角度ではない状態として、(すなわち、頭部の断面に対して少し異なるレベルに位置している)定義され得る。ディスプレイ構成要素20によって表示される情報INFOを再方向合わせするために測定を要求しない。
以下に、本発明にしたがう方法において使用される配置アルゴリズムのC擬似コードの例を、図3〜4の実施形態を参照しながら記載する。本発明にしたがうシステムにおいては、そういったソフトウェアの実装が、例えば、機能14において行なわれ得る。この手段によって、ディスプレイ20の方向設定タスクは自動的に処理される。本実施形態において、垂直および水平方向のみが扱われる。しかし、当業者にとっては、このコードが他の方向についても適用でき、それにより、基準点22と相対的な関係において、ディスプレイ構成要素20の方向の向きを考慮することが明らかであろう(水平時計回り/水平反時計回り&垂直標準/垂直上下)。
第1に、方向を制御するのに必要ないくらかの方向調整選択がコードにおいて作られ得る。
if(Oimage == vertical) → Odisplay = vertical;
if(Oimage == horizontal) → Odisplay = horizontal;
図3a〜4bを参照すると、そのような定義の後に、もし、カメラ11.1が画像情報IMAGE1をキャプチャするために使用されており、画像情報IMAGE1が垂直(縦長書式)ポジションである場合には、デバイス10もまた、選択された基準点、すなわち、この場合ユーザ21の頭部22と相対的な関係で垂直ポジションとなる。これに対して、もし、画像情報IMAGE2が、水平(横長書式)位置であるときは、定義を決定する設定された方向に基づいて、選択された基準点22と相対的な関係においてデバイス10が水平ポジションとなる。
次に、いくつかの初期定義がなされ得る。
set Oitgt,Oinfo = vertical;
そういった初期定義の後に、情報INFOの方向Oinfoの初期設定でもあるが、選択された基準点22との相対的な関係においてディスプレイ20上に表示される情報INFOの対象方向Oitgtは垂直である。
次に、カメラ手段11、11.1を使用して、(i)画像情報IMAGExがキャプチャされ、(ii)画像情報IMAGExが解析されることで、選択された幾何学的な特徴24を検出し、(iii)画像情報IMAGExにおけるその方向Oeyelineを定義する。
(i) capture_image(IMAGE);
(ii) detect_eyepoints(IMAGE);
(iii) detect_eyeline(IMAGE,eyepoints);
次の段階として、画像情報の配置定義Oimageとの相対的な関係において、カメラ11.1によってキャプチャされた画像情報IMAGEx(x=1〜3)から定義される選択された幾何学的な特徴22の方向Oeyelineを検討し、これに基づいて、選択された基準点22との関係においてディスプレイ20上に表示される情報INFOのOinfoへの変更操作を指示する。記述された二段階の実施形態を考慮すると、ディスプレイ20の方向Odisplayは、選択された基準点、すなわちユーザ21との相対的な関係において、垂直または水平である。実施形態の第1の段階においては、次のことを検討することができる。
If((Oeyeline 2 Oimage) && (Odisplay != Oinfo)) {
set_orientation(Odisplay,Oinfo,Oitgt);
換言すると、コードの初期段階において作られる初期定義および基準点22の選択された幾何学的な特徴24の方向性によって、この段階は図3aに示される状態を表す。この場合、デバイス10および作られる方向定義によるそのディスプレイ構成要素20が、ユーザとの相対的な関係において垂直である。カメラ手段11、11.1が、垂直ポジションにおいてデバイス10のユーザ21の画像IMAGE1をキャプチャするために使用される場合、(初期設定において作成される画像IMAGE1の配置定義にも起因して)画像IMAGE1から検出されるユーザ21のアイライン24の方向Oeyelineが、画像IMAGE1の方向Oimageとの相対的な関係において正しい角度にされる。
しかし、この場合、後の状況検査は有効ではない。これは、作成される方向設定に起因して、画像IMAGE1が垂直であるとして特定されるためであり、その結果、すでに初期段階で作成された定義は、基準点22と相対的な関係においてOdisplayもまた垂直であるということである。これらの結論に関連して、情報INFOの方向Oinfoもまた、基準点22との相対的な関係において垂直であるとして初期化されたという事実のために許可がなされた場合、後の状況調査は有効でなく、情報INFOは正しい方向、すなわち、選択された基準点22との相対的な関係において垂直である方向においてディスプレイ構成要素20が既に表示される。
しかし、この状態調査段階が図3dに示される状態に適用される場合、後の状況調査もまた有効である。図3dにおいて、デバイス10は、ユーザ21との相対的な関係において、図3c(図3cにおいて、ユーザ21との相対的な関係において情報INFOの方向Oinfoは正しい)に示される水平ポジションから垂直ポジションにされる。この結果、ユーザ21との相対的な関係においてディスプレイ20上に示される情報INFOの方向Oinfoは、まだ水平である。すなわち、対象方向Oitgtとは異なる。ここで、状況調査の後の状態は、また真である。なぜなら、ディスプレイ20の方向Odisplayは、設定された方法において、情報INFOの方向Oinfoとは異なるためである。この結果、情報のための方向合わせ手順は、ディスプレイ20上で繰り返される(set_orientation)。しかし、それについては、詳細に説明する必要は無い。なぜなら、その動作は、当業者にとっては明らかだからである。この動作の結果として、図3aに示される状況に到達する。
この手順は、第2のif調査段階を含んでおり、予め作成された初期設定選択および調整に基づいて、例えば、以下のように形成され得る。
If((Oeyeline || Oimage) && (Odisplay ==Oinfo)) {
set_orientation(Odisplay,Oinfo,Oitgt);
これは、例えば、図3bに示される状況を処理するために使用される。この場合、デバイス10と、それと同時にそのディスプレイ20もまた、ユーザ21との相対的な関係において、図3aに示される垂直ポジションから水平ポジションへ回転される(垂直−>水平)。この方向変更の結果、ディスプレイ20に表示される情報INFOがユーザ21との相対的な関係において、水平に配置される。すなわち、誤ったポジションである。
画像IMAGE2においてユーザ21のアイライン24の方向Oeyelineが初期設定において定義された画像方向Oimageに平行であることが、このIf文において決定される。ここから、デバイス10のディスプレイ構成要素20がユーザ21との相対的な関係において水平であることが推測される(既になされた初期設定に基づいて)。さらに、If文において後者の状況を調査する場合、基準点、すなわちユーザ21との相対的な関係においてディスプレイ20の方向が、ディスプレイ20に表示された情報INFOと水平、および平行であることがわかる。これは、情報INFOがそのために設定された対象方向Oitgtになく、したがって、再方向合わせ手順(set_orientation)が情報INFOのためにディスプレイ20上で実行されなければならないことを意味する。これは、しかし、詳細には説明しない。なぜならこの動作は当業者にとっては明らかであり、ディスプレイドライバエンティティ19において、多くの異なる方法によって実行され得るからである。この場合、最終的な結果は、図3cにおいて示される状態である。
さらに、一つの実施形態にしたがうと、もし、デバイス20のディスプレイ構成要素20だけが追加的に方向を変更することに対応する場合、長方形方向(縦長書式、横長書式)のみの変更であるその他の調査が導出され得る。図4aおよび4bがそういった実施形態に関連する状態の例を示す。一つの実施形態にしたがうと、これは、例えば以下に示すような方法で、擬似コードレベルで表すことができる。
define_orientation_degree(Oimage,Oeyeline);
概略的には、この手順においては(しかし、詳細には説明しない)、アイラインの回転度αが、例えば、選択された画像IMAGE3の方向Oimage(縦長書式/横長書式)との相対的な関係において定義される。これから、デバイス10との相対的な関係において、したがって、ディスプレイとの相対的な関係においてもユーザ21のポジションを確定することが可能である。要求される方向変更が、前の段階におけるものと同様の原理を利用することで、しかし、画像方向Oimage、および可能な追加的パラメータとして幾何学的な特徴24の方向Oeyelineとの間の度の数とともに、実行される。
さらにもう一つの最後の段階として、該手順における遅延インターバルを置くことができる。
delay(2 seconds);
このあと、画像キャプチャ段階(capture_image)へ戻ることとすることができる。
もし、幾人かの人がディスプレイ20上に表示される情報INFOを調査するデバイス10の隣に居る場合に、いくつかの顔が画像情報IMAGExにおいて検出され得る。この場合、画像情報IMAGExから、例えば、その中で検出されるべき顔、そしてそれらによって定義されるアイライン24の平均的な方向を定義することが可能である。これは、ディスプレイ20の方向Odisplayを定義する特徴に対応するために設定する。この平均的な特徴24の方向Oeyelineに基づいて、ディスプレイ20の方向Odisplayが定義され、そして、これに基づき、情報INFOはディスプレイ20上で、適切なポジションへ方向合わせされる。もう一つの可能性としては、もし、ディスプレイ20の方向が機能を用いて明確に定義することができない場合は、ディスプレイ20上で、情報INFOを例えば、デフォルト方向へ方向合わせすることである。
デバイス10のディスプレイ20の現在の方向Odisplayを、画像情報IMAGExから、基準点22との相対的な関係において特定する上記の例は、単なる例示である。様々な画像情報解析アルゴリズム、およびそれらによって定義される対象の特定および取り扱いは、当業者にとっては明らかであろう。加えて、デジタル画像処理においては、画像情報縦長書式/横長書式を適用する必要性が無い。代わりに、センサ11.1によって生成される画像情報IMAGExはすべての方向について同じ幅とすることができる。この場合、画像センサ11.1の一つの辺は、基準辺として選択されることができ、これとの相対的な関係においてディスプレイ構成要素20および選択された特徴24の方向が定義される。
一般的に、ディスプレイ20上に表示される情報INFOに関連するディスプレイ20の方向Odisplayを定義することは十分である。もし、ディスプレイ20の方向Odisplayが定義され、ディスプレイ20に関連してディスプレイ20上に表示される情報INFOの現在の方向Oinfoが既知である場合、情報INFOの方向Oinfoはそのために設定された対象方向Oitgtに合致すると結論付けられる。したがって、本発明にしたがう方法は、上述の基準点方法を使用するために必要であろうそういった方法において適応される。
これにより、選択された特徴の方向を、カメラセンサ11.1によって生成された画像情報IMAGExから定義するためのより高度に開発された解決方法もまた、当業者にとっては明らかであろう。そして、例えば、センサマトリクス11.1の調和よく組み合わされたものによって形成された方向の特定に基づくことができる。
既に前述したように、基本的に連続的に実行されるデバイス10のディスプレイ構成要素20の方向の特定の代わり、特定は、設定された方法により、インターバル毎に行なわれることとすることもできる。実施形態にしたがうと、方向の特定は、1〜5秒インターバル毎で実行されることができ、例えば、2〜4秒インターバル、好ましくは2〜3秒インターバルとすることもできる。
インターバルの使用は、多くの異なる機能にも適用することができる。第1の実施形態にしたがうと、これはプロセッサ17のクロック周波数に結合され、または、第2の実施形態にしたがうと、マルチメディアクリップに、または、ビデオ会議機能に結合される。先行する状態操作は、インターバルの使用に影響をも与える。そして、デバイス10を使用する間に変更することもできる。デバイス10が同じ方向で長期間使用され、その方向が突然変更される場合、配置の定義の周期が増加される。なぜなら、先行の長い期間の方向へすぐに戻ると考えられるためである。
画像情報IMAGExおよび/方向の検出を使用することで実行される、そういったいくらか遅延された、さもなければ少ない頻度の方向合わせ実行の使用は、実際には、デバイス10の有用性については深刻な不利点を有さない。代わりに、例えば、カメラ手段17の連続的な検出周期より頻度の少ない撮像および/または検出を使用することで実行されるそういったインターバル毎の撮像および/または検出は、例えば、連続的なファインダまたはビデオ撮像(例えば15〜30フレーム毎秒)において使用される撮像周波数と比較すると、より低い電流消費であるという利点を達成する。
個別のフレームキャプチャまたは実質的に頻度の少ない連続的な検出(例えば、1〜5(10)フレーム毎秒)の代わりに、既知の周期であるような連続的な撮像を、例えば、設定された時間インターバル毎に頻度の少ない周期で実行することができる。先行技術にしたがう撮像は、例えば前述の期間、例えば2〜4秒の間の、例えば、1秒間実行される。一方で、単一期間においてほんの少ない画像フレームのキャプチャもまた考えられる。しかし、おそらく少なくともいくらかの画像フレームが、単一の撮像セッションのために要求され、それにより、解析される画像情報IMAGExを形成するために適しているカメラパラメータを調整する。
さらにもう一つの追加的な利点としては、デバイス10のその他の操作のためのデバイスリソース(DSP/CPU)の節約が達成される。したがって、プロセッサパワーで、デバイスリソース(DSP/CPU)の30〜95%、例えば、50〜80%、しかし、好ましくは90%未満(>80%)が方向定義/撮像のために予約され得る。そういった頻度の少ないインターバルで実行される定義が、制限された処理能力、電力容量によって特徴付けられる携帯デバイス、例えば、移動局、およびデジタルカメラの場合において特に重要である。
上記詳細な説明および関連する図は、本発明を説明することのみを目的とすることが理解されなければならない。本発明は、したがって、上述の実施形態、または、特許請求の範囲に述べられたものにのみ制限されることは無い。その代わりに、添付された特許請求の範囲において定義される本発明の思想の範囲内において可能な本発明の多くの異なる変形および調整が当業者には明らかであろう。
[文献]
[1] Ru-Shang Wang and YaoWang,"Facial Feature Extraction and Tracking in Video Sequences", IEEE Signal Processing Society 1997 Workshop on Multimedia Signal Processing, June 23-25, 1997, Princeton New Jersey, USA Electronic Proceedings. pp.233-238.
[2] Richard Fateman, Paul Debevec, "A Neural Network for Fa- cial Feature Location", CS283 Course Project, UC Berkeley, USA.
図1は、携帯デバイスにおいて構成された本発明にしたがったシステムの一例の概略図を示す。 図2は、本発明に従った方法の一例のフローチャートを示す。 図3a−3dは、本発明にしたがった方法の第1の実施形態を示す。 図4aおよび4bは、本発明にしたがった方法の第2の実施形態を示す。

Claims (21)

  1. 情報(INFO)が対象方向(Oimage)を有しており、少なくとも一人のユーザ(21)のためにディスプレイ(20)上に表示された情報(INFO)の方向(Oinfo)を制御するための方法において、
    画像情報(IMAGEx)を形成するようにディスプレイ(20)へ動作可能なように接続されたカメラ手段(11)を使用することにより、ディスプレイ(20)の方向(Odisplay)がディスプレイ(20)上に表示される情報(INFO)の方向(Oinfo)との相対的な関係において定義され、前記画像情報が解析されることで、画像情報(IMAGEx)において、一つ以上の選択された特徴(24)が検出され、その/それらの方向(Oeyeline)が定義され(200〜203)、
    ディスプレイ(20)上に表示された情報(INFO)の方向(Oinfo)がそのために設定された対象方向(Oitgt)と異なる場合に、方向変更(ΔO)が実行され、その変更の結果としてディスプレイ(20)上に表示された情報(INFO)の方向が対象方向(Oitgt)に対応するようにされ(204〜206)、
    それらの連続的なファインダー検出の頻度と比較して少ない頻度で、画像情報(IMAGEx)が形成されるようにカメラ手段(11)を使用するようなやり方で、方向定義がインターバル毎に実行されることを特徴とする方法。
  2. 請求項1に記載の方法であって、少なくとも一人のユーザ(21)の頭部(22)が画像情報(IMAGEx)の画像対象として選択されることを特徴とする方法。
  3. 請求項2に記載の方法であって、選択される特徴が、例えば、少なくとも一人のユーザ(21)の顔の特徴(23.1、23.2、24)を含み、それらは顔の特徴解析(12)を使用することにより解析され、一つ以上の顔の特徴を検出することを特徴とする方法。
  4. 請求項3に記載の方法であって、顔の特徴が、例えば、少なくとも一人のユーザ(21)の目の部分(23.1、23.2)であって、選択された特徴が、例えば、前記目の部分(23.1、23.2)によって定義されるアイライン(24)であることを特徴とする方法。
  5. 請求項1ないし4のいずれか一項に記載の方法であって、方向の定義が、1〜5秒、例えば、2〜4秒、好ましくは、2〜3秒のインターバル毎に実行されることを特徴とする方法。
  6. 請求項1ないし5のいずれか一項に記載の方法であって、30〜95%、例えば、50〜80%、しかし、好ましくは90%未満のデバイスリソースが、方向の定義のために予約されることを特徴とする方法。
  7. 請求項1ないし6のいずれか一項に記載の方法であって、少なくとも二人のユーザが画像情報(IMAGEx)から検出され、それらのユーザの顔の特徴から平均値を定義し、前記特徴(24)に対応するように設定されることを特徴とする。
  8. デバイス(10)において、少なくとも一人のユーザ(21)のために、ディスプレイ(20)上に表示される情報の方向(Oinfo)を制御するためのシステムであって、前記システムは、
    情報(INFO)を表示するために、デバイス(10)に接続されて構成されるディスプレイ(20)と、
    動作可能なようにデバイス(10)に接続されるように構成され、画像情報(IMAGEx)を形成するためのカメラ手段であって、画像情報(IMAGEx)からディスプレイ(20)の方向(Odisplay)が、ディスプレイ(20)上に表示される情報(INFO)の方向(Oinfo)との相対的な関係において定義されるように構成されるカメラ手段(11、11.1)と、
    ディスプレイ(20)の方向(Odisplay)とディスプレイ(20)上に表示される情報(INFO)の方向(Oinfo)とが、設定された方法において、互いに異なる場合、そのために設定された対象方向(Oitgt)へディスプレイ上に表示される情報(INFO)の方向を変更するための手段(14)とを備え、
    連続的なファインダー検出周期と比較して少ない頻度で、画像情報(IMAGEx)を形成するように、カメラ手段(11)が構成されるようなやり方で、ディスプレイ(20)の方向の定義がインターバル毎に実行されるように構成されることを特徴とするシステム。
  9. 請求項8に記載のシステムであって、画像情報(IMAGEx)の画像対象が、デバイス(10)の隣に居る少なくとも一人のユーザ(21)として選択され、その場合に、前記システムは、画像情報(IMAGEx)から一人または幾人かのユーザ(21)の顔の部分(23.1、23.2)を検出するための顔の特徴解析機能(12)を備え、画像情報(IMAGEx)と関連して定義された特徴(24)において、前記ディスプレイ(20)の方向(Odisplay)が定義されるように構成されることを特徴とするシステム。
  10. 請求項8または9に記載されたシステムであって、方向の定義が、1〜5秒、例えば、2〜4秒、好ましくは、2〜3秒のインターバル毎に実行されるように構成されていることを特徴とするシステム。
  11. 請求項8ないし10のいずれか一項に記載のシステムであって、30〜95%、例えば、50〜80%、しかし、好ましくは90%未満のデバイスリソースが、方向の定義のために使用されるように構成されることを特徴とするシステム。
  12. 請求項8ないし11のいずれか一項に記載のシステムであって、少なくとも二人のユーザが画像情報(IMAGEx)から検出され、それらのユーザの顔の特徴から平均値が定義されるように構成され、それは前記特徴(24)に対応するように設定されるように構成されることを特徴とするシステム。
  13. 携帯デバイス(10)であって、
    前記形態デバイス(10)に、
    情報(INFO)を表示するためのディスプレイ(20)と、
    動作可能なようにデバイス(10)に接続され、画像情報(IMAGEx)を形成するためのカメラ手段であって、画像情報(IMAGEx)からディスプレイ(20)上に表示される情報(INFO)の方向(Oinfo)との相対的な関係におけるディスプレイ(20)の方向(Odisplay)が定義されるように構成されるカメラ手段(11、11.1)と、
    ディスプレイ(20)の方向(Odisplay)とディスプレイ(20)上に表示される情報(INFO)の方向(Oinfo)とが、設定された方法において、互いに異なる場合に、ディスプレイ(20)上に表示される情報(INFO)の方向(Oinfo)をそのために設定された対象方向(Oitgt)に変更するための手段(14)と、
    が接続されるように構成され、
    連続的なファインダー検出周期と比較して少ない頻度で、画像情報(IMAGEx)を形成するように、カメラ手段(11)が構成されるようなやり方で、ディスプレイ(20)の方向の定義がインターバル毎に実行されるように構成されることを特徴とする携帯デバイス。
  14. 請求項13に記載のデバイス(10)であって、方向の定義が、1〜5秒、例えば、2〜4秒、好ましくは、2〜3秒のインターバル毎に実行されるように構成されていることを特徴とするデバイス。
  15. 請求項13または14に記載のデバイス(10)であって、30〜95%、例えば、50〜80%、しかし、好ましくは90%未満のデバイスリソースが、方向の定義のために使用されるように構成されていることを特徴とするデバイス。
  16. 請求項13ないし15のいずれか一項に記載のデバイス(10)であって、少なくとも二人のユーザが画像情報(IMAGEx)から検出され、それらのユーザの顔の特徴から平均値が定義されるように構成され、それに基づいて、ディスプレイ(20)の方向(Odisplay)が定義されるように構成されることを特徴とするデバイス。
  17. 請求項1ないし7のいずれか一項に記載の方法を実施するためのソフトウェア手段であって、
    画像情報(IMAGEx)を形成するためのカメラ手段であって、ディスプレイ(20)上に表示される情報(INFO)の方向(Oinfo)との相対的な関係におけるディスプレイ(20)の方向(Odisplay)を定義するための一つ以上の選択されたアルゴリズムを適用するソフトウェア手段(12、13)を使用することで、画像情報(IMAGEx)が解析されるように構成されるカメラ手段(11、11.1)と、
    ディスプレイの方向(Odisplay)とディスプレイ(20)上に表示される情報(INFO)の方向(Oinfo)とが、設定された方法において、互いに異なる場合、ディスプレイ(20)上に表示される情報(INFO)の方向(Oinfo)をそのために設定される対象方向(Oitgt)へ変更するためのソフトウェア手段(14)と、
    が動作するようにディスプレイ(20)に接続され、
    連続的なファインダー検出周期と比較してより少ない頻度で、画像情報(IMAGEx)を形成するようにカメラ手段(11)が構成されるようなやり方で、ディスプレイ(20)の方向(Odisplay)と、それに基づいて設定するための情報(INFO)の方向(Oinfo)を定義するためのソフトウェア手段(12〜14)がインターバル毎に実行するように構成されることを特徴とするソフトウェア手段。
  18. 請求項17に記載のソフトウェア手段であって、顔の特徴解析(12)は方向の定義において使用されるように構成されることを特徴とするソフトウェア手段。
  19. 請求項17または18に記載のソフトウェア手段であって、方向の定義が、1〜5秒、例えば、2〜4秒、好ましくは、2〜3秒のインターバル毎に実行されるように構成されることを特徴とするソフトウェア手段。
  20. 請求項17ないし19のいずれか一項に記載のソフトウェア手段であって、30〜95%、例えば、50〜80%、しかし、好ましくは90%未満のデバイスリソースが、方向の定義のために予約されるように構成されることを特徴とするソフトウェア手段。
  21. 請求項17ないし20のいずれか一項に記載のソフトウェア手段であって、少なくとも二人のユーザが画像情報(IMAGEx)から検出され、それらのユーザの顔の特徴から平均値が定義されるように構成され、それに基づいて、ディスプレイ(20)の方向(Odisplay)が定義されるように構成されることを特徴とするソフトウェア手段。
JP2006530322A 2003-10-01 2004-09-23 ユーザインターフェイスを制御するための方法、システム、およびその方法を実施するための対応するデバイス、ソフトウェアデバイス Pending JP2007534043A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FI20035170A FI117217B (fi) 2003-10-01 2003-10-01 Menetelmä ja järjestelmä käyttöliittymän (User Interface) hallitsemiseksi, vastaava laite ja ohjelmalliset (Software) välineet menetelmän toteuttamiseksi
PCT/FI2004/050135 WO2005031492A2 (en) 2003-10-01 2004-09-23 Method and system for controlling a user interface, a corresponding device, and software devices for implementing the method

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2009242494A Division JP2010016907A (ja) 2003-10-01 2009-10-21 ユーザインターフェイスを制御するための方法、システム、およびその方法を実施するための対応するデバイス、ソフトウェアデバイス

Publications (1)

Publication Number Publication Date
JP2007534043A true JP2007534043A (ja) 2007-11-22

Family

ID=29226024

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2006530322A Pending JP2007534043A (ja) 2003-10-01 2004-09-23 ユーザインターフェイスを制御するための方法、システム、およびその方法を実施するための対応するデバイス、ソフトウェアデバイス
JP2009242494A Pending JP2010016907A (ja) 2003-10-01 2009-10-21 ユーザインターフェイスを制御するための方法、システム、およびその方法を実施するための対応するデバイス、ソフトウェアデバイス

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2009242494A Pending JP2010016907A (ja) 2003-10-01 2009-10-21 ユーザインターフェイスを制御するための方法、システム、およびその方法を実施するための対応するデバイス、ソフトウェアデバイス

Country Status (7)

Country Link
US (1) US20060265442A1 (ja)
EP (1) EP1687709A2 (ja)
JP (2) JP2007534043A (ja)
KR (1) KR20060057639A (ja)
CN (1) CN1860433B (ja)
FI (1) FI117217B (ja)
WO (1) WO2005031492A2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2006126310A1 (ja) * 2005-05-27 2008-12-25 シャープ株式会社 表示装置
JP2009171259A (ja) * 2008-01-16 2009-07-30 Nec Corp 顔認証による画面切替装置、方法、プログラム及び携帯電話機
JP2017207753A (ja) * 2011-11-10 2017-11-24 株式会社ニコン 電子機器、情報システム及びサーバ
JP2018524654A (ja) * 2015-06-10 2018-08-30 アリババ・グループ・ホールディング・リミテッドAlibaba Group Holding Limited 活動検出方法及びデバイス、並びに本人認証方法及びデバイス

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110298829A1 (en) * 2010-06-04 2011-12-08 Sony Computer Entertainment Inc. Selecting View Orientation in Portable Device via Image Analysis
US20080266326A1 (en) * 2007-04-25 2008-10-30 Ati Technologies Ulc Automatic image reorientation
JP5453717B2 (ja) * 2008-01-10 2014-03-26 株式会社ニコン 情報表示装置
JP5253066B2 (ja) * 2008-09-24 2013-07-31 キヤノン株式会社 位置姿勢計測装置及び方法
CN104133299B (zh) * 2010-05-29 2017-08-04 蒋文宇 用于制造和使用具有自适应透镜的眼镜的系统、方法和设备
WO2012030265A1 (en) * 2010-08-30 2012-03-08 Telefonaktiebolaget L M Ericsson (Publ) Face screen orientation and related devices and methods
US8957847B1 (en) 2010-12-28 2015-02-17 Amazon Technologies, Inc. Low distraction interfaces
WO2012120799A1 (ja) * 2011-03-04 2012-09-13 パナソニック株式会社 表示装置及び表示方向切替方法
US8843346B2 (en) 2011-05-13 2014-09-23 Amazon Technologies, Inc. Using spatial information with device interaction
KR101366861B1 (ko) * 2012-01-12 2014-02-24 엘지전자 주식회사 이동 단말기 및 이의 제어방법
US10890965B2 (en) 2012-08-15 2021-01-12 Ebay Inc. Display orientation adjustment using facial landmark information
CN103718148B (zh) * 2013-01-24 2019-09-20 华为终端有限公司 屏幕显示模式确定方法及终端设备
CN103795922A (zh) * 2014-01-24 2014-05-14 厦门美图网科技有限公司 一种移动终端的摄像头智能校正方法
US10932103B1 (en) * 2014-03-21 2021-02-23 Amazon Technologies, Inc. Determining position of a user relative to a tote
CN109451243A (zh) * 2018-12-17 2019-03-08 广州天越电子科技有限公司 一种基于移动智能终端实现360°环拍的方法
CN117097774A (zh) * 2023-08-18 2023-11-21 深圳市洲明科技股份有限公司 Led显示屏控制系统的控制方法、装置、计算机设备
CN117456542B (zh) * 2023-12-26 2024-04-26 苏州镁伽科技有限公司 图像匹配方法、装置、电子设备及存储介质
CN118587777B (zh) * 2024-08-06 2024-10-29 圣奥科技股份有限公司 基于人物识别的座椅控制方法、装置、设备及座椅
CN118612819B (zh) * 2024-08-07 2024-10-22 株洲中车时代电气股份有限公司 一种基于二维码的重联机车自动识别系统及识别方法
CN119294346B (zh) * 2024-12-13 2025-04-08 源卓微纳科技(苏州)股份有限公司 一种线路重布线方法、装置及重布线处理系统

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AUPQ055999A0 (en) * 1999-05-25 1999-06-17 Silverbrook Research Pty Ltd A method and apparatus (npage01)
JPS60167069A (ja) * 1984-02-09 1985-08-30 Omron Tateisi Electronics Co 図形認識装置
US6728404B1 (en) * 1991-09-12 2004-04-27 Fuji Photo Film Co., Ltd. Method for recognizing object images and learning method for neural networks
JP3227218B2 (ja) * 1992-09-11 2001-11-12 キヤノン株式会社 情報処理装置
JPH08336069A (ja) * 1995-04-13 1996-12-17 Eastman Kodak Co 電子スチルカメラ
US5923781A (en) * 1995-12-22 1999-07-13 Lucent Technologies Inc. Segment detection system and method
US6804726B1 (en) * 1996-05-22 2004-10-12 Geovector Corporation Method and apparatus for controlling electrical devices in response to sensed conditions
US6137468A (en) * 1996-10-15 2000-10-24 International Business Machines Corporation Method and apparatus for altering a display in response to changes in attitude relative to a plane
EP2309453A3 (en) * 1998-07-31 2012-09-26 Panasonic Corporation Image displaying apparatus and image displaying method
JP3985373B2 (ja) * 1998-11-26 2007-10-03 日本ビクター株式会社 顔画像認識装置
US6539100B1 (en) * 1999-01-27 2003-03-25 International Business Machines Corporation Method and apparatus for associating pupils with subjects
US7037258B2 (en) * 1999-09-24 2006-05-02 Karl Storz Imaging, Inc. Image orientation for endoscopic video displays
US6851851B2 (en) * 1999-10-06 2005-02-08 Hologic, Inc. Digital flat panel x-ray receptor positioning in diagnostic radiology
JP3269814B2 (ja) * 1999-12-03 2002-04-02 株式会社ナムコ 画像生成システム及び情報記憶媒体
GB0011455D0 (en) * 2000-05-13 2000-06-28 Mathengine Plc Browser system and method for using it
DE10103922A1 (de) * 2001-01-30 2002-08-01 Physoptics Opto Electronic Gmb Interaktives Datensicht- und Bediensystem
WO2002093879A1 (de) * 2001-05-14 2002-11-21 Siemens Aktiengesellschaft Mobilfunkgerät
US7423666B2 (en) * 2001-05-25 2008-09-09 Minolta Co., Ltd. Image pickup system employing a three-dimensional reference object
US7079707B2 (en) * 2001-07-20 2006-07-18 Hewlett-Packard Development Company, L.P. System and method for horizon correction within images
US7113618B2 (en) * 2001-09-18 2006-09-26 Intel Corporation Portable virtual reality
US6959099B2 (en) * 2001-12-06 2005-10-25 Koninklijke Philips Electronics N.V. Method and apparatus for automatic face blurring
JP3864776B2 (ja) * 2001-12-14 2007-01-10 コニカミノルタビジネステクノロジーズ株式会社 画像形成装置
JP2003244786A (ja) * 2002-02-15 2003-08-29 Fujitsu Ltd 電子機器
EP1345422A1 (en) * 2002-03-14 2003-09-17 Creo IL. Ltd. A device and a method for determining the orientation of an image capture apparatus
US7002551B2 (en) * 2002-09-25 2006-02-21 Hrl Laboratories, Llc Optical see-through augmented reality modified-scale display
US6845914B2 (en) * 2003-03-06 2005-01-25 Sick Auto Ident, Inc. Method and system for verifying transitions between contrasting elements
US20040201595A1 (en) * 2003-04-11 2004-10-14 Microsoft Corporation Self-orienting display
US6968973B2 (en) * 2003-05-31 2005-11-29 Microsoft Corporation System and process for viewing and navigating through an interactive video tour
US7269292B2 (en) * 2003-06-26 2007-09-11 Fotonation Vision Limited Digital image adjustable compression and resolution using face detection information
US7716585B2 (en) * 2003-08-28 2010-05-11 Microsoft Corporation Multi-dimensional graphical display of discovered wireless devices
JP2005100084A (ja) * 2003-09-25 2005-04-14 Toshiba Corp 画像処理装置及び方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2006126310A1 (ja) * 2005-05-27 2008-12-25 シャープ株式会社 表示装置
JP2009171259A (ja) * 2008-01-16 2009-07-30 Nec Corp 顔認証による画面切替装置、方法、プログラム及び携帯電話機
JP2017207753A (ja) * 2011-11-10 2017-11-24 株式会社ニコン 電子機器、情報システム及びサーバ
JP2018524654A (ja) * 2015-06-10 2018-08-30 アリババ・グループ・ホールディング・リミテッドAlibaba Group Holding Limited 活動検出方法及びデバイス、並びに本人認証方法及びデバイス

Also Published As

Publication number Publication date
FI117217B (fi) 2006-07-31
CN1860433A (zh) 2006-11-08
JP2010016907A (ja) 2010-01-21
US20060265442A1 (en) 2006-11-23
FI20035170A0 (fi) 2003-10-01
WO2005031492A2 (en) 2005-04-07
FI20035170A7 (fi) 2005-04-02
KR20060057639A (ko) 2006-05-26
EP1687709A2 (en) 2006-08-09
WO2005031492A3 (en) 2005-07-14
CN1860433B (zh) 2010-04-28

Similar Documents

Publication Publication Date Title
JP2010016907A (ja) ユーザインターフェイスを制御するための方法、システム、およびその方法を実施するための対応するデバイス、ソフトウェアデバイス
US20230252779A1 (en) Personal computing device control using face detection and recognition
JP5498573B2 (ja) ディスプレイを含む携帯電子機器、及び該機器の制御方法
JP6732317B2 (ja) 顔活動検出方法および装置、ならびに電子デバイス
WO2019219065A1 (zh) 视频分析的方法和装置
US10057484B1 (en) Method and apparatus for activating a hardware feature of an electronic device
EP3158418B1 (en) Architechture for managing input data
CN112907725B (zh) 图像生成、图像处理模型的训练、图像处理方法和装置
WO2015195445A1 (en) Motion control for managing content
KR20140090318A (ko) 햅틱 기반 카메라 운용 지원 방법 및 이를 지원하는 단말기
JPWO2012120799A1 (ja) 表示装置及び表示方向切替方法
CN108446638A (zh) 身份验证方法、装置、存储介质及电子设备
US10019140B1 (en) One-handed zoom
US20120105589A1 (en) Real time three-dimensional menu/icon shading
WO2013178151A1 (zh) 屏幕翻转方法及装置、移动终端
CN109831817B (zh) 终端控制方法、装置、终端及存储介质
CN111079119B (zh) 验证方法、装置、设备及存储介质
CN110263695B (zh) 人脸部位的位置获取方法、装置、电子设备及存储介质
JP2008072322A (ja) 携帯情報端末、及びコンテンツ情報の取得/操作方法、並びにこの方法のプログラム
KR101685340B1 (ko) 휴대 단말기 및 그 동작 방법
CN114283108A (zh) 图像序列的鉴别方法、装置、设备及可读存储介质

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20081030

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20081110

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20090210

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20090218

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090508

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20090629

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091021