[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN104137028A - 控制被显示图像的旋转的设备和方法 - Google Patents

控制被显示图像的旋转的设备和方法 Download PDF

Info

Publication number
CN104137028A
CN104137028A CN201280069478.9A CN201280069478A CN104137028A CN 104137028 A CN104137028 A CN 104137028A CN 201280069478 A CN201280069478 A CN 201280069478A CN 104137028 A CN104137028 A CN 104137028A
Authority
CN
China
Prior art keywords
rotation
image
equipment
shown image
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201280069478.9A
Other languages
English (en)
Other versions
CN104137028B (zh
Inventor
郑地守
朴用国
朴敏祯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN104137028A publication Critical patent/CN104137028A/zh
Application granted granted Critical
Publication of CN104137028B publication Critical patent/CN104137028B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1626—Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/242—Aligning, centring, orientation detection or correction of the image by image rotation, e.g. by 90 degrees
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72454—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to context-related or environment-related conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00—Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16—Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/161—Indexing scheme relating to constructional details of the monitor
    • G06F2200/1614—Image rotation following screen orientation, e.g. switching from landscape to portrait mode
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0261—Improving the quality of display appearance in the context of movement of objects on the screen or movement of the observer relative to the screen
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0492—Change of orientation of the displayed image, e.g. upside-down, mirrored
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/52—Details of telephonic subscriber devices including functional features of a camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Environmental & Geological Engineering (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Meat, Egg Or Seafood Products (AREA)

Abstract

提供了控制被显示图像的旋转的设备和方法。设备包括：传感器单元，用于检测设备是否已经被旋转；拍摄单元，用于响应于确定设备已经被旋转来获取用户的面部的图片；旋转确定单元，用于基于捕获的用户的面部图像来确定被显示图像的旋转；以及图像旋转单元，用于根据确定的被显示图像的旋转来旋转被显示图像。

Description

控制被显示图像的旋转的设备和方法
技术领域
本发明一般涉及用于控制被显示图像的旋转的设备和方法，并且更具体地，涉及使用捕获的用户的图像来控制在屏幕上显示的图像的旋转的设备和方法。
背景技术
最近的一些用于显示图像的设备可以通过相对于设备的旋转状态旋转图像来显示该图像。
具体地，当这样的设备被垂直放置时，设备通过沿垂直方向旋转被显示图像(displayed image)来输出被显示图像；并且当被水平放置时，设备通过将设备旋转到水平方向来输出被显示图像。
然而，由于传统的设备在确定被显示图像的方向时往往只考虑设备的旋转状态，因此被显示图像可能不恰当地旋转，这导致了用户观看到不恰当地旋转的图像的问题。
因此，需要有效地确定是否旋转被显示图像的新技术。
发明内容
因此，本发明的目的是解决现有技术中存在的至少上述问题和/或缺点，并提供至少下述优点。
本发明的一个方面提供了设备和方法以用于，当设备已经被旋转时，通过基于捕获的用户的面部图像确定是否旋转被显示图像来控制被显示图像的旋转。
本发明的一个方面提供了设备和方法以用于，通过基于用户的面部图像确定旋转方向来控制被显示图像的旋转。
本发明的一个方面提供了设备和方法以用于，通过有效地捕获用户的面部图像来控制被显示图像的旋转。
附图说明
从参照附图详细描述本发明的实施例，本发明的以上和其他特征和优点将变得更加明显，在附图中：
图1是示出根据本发明的实施例的用于控制被显示图像的旋转的设备的详细框图；
图2是示出根据本发明的实施例的、由旋转确定单元执行的基于用户的面部图像中眼睛的位置确定被显示图像的旋转的例子的示图；
图3是示出根据本发明的实施例的、由旋转确定单元执行的基于用户的面部图像中眼睛的形状确定被显示图像的旋转的例子的示图；
图4是示出根据本发明的实施例、由旋转确定单元执行的基于用户的面部图像中眼睛和眉毛的位置确定被显示图像的旋转的例子的示图；
图5是示出根据本发明的实施例的、由旋转确定单元执行的基于用户的面部图像中头发的位置确定被显示图像的旋转的例子的示图；以及
图6是示出根据本发明的实施例的控制被显示图像的旋转的方法的流程图。
最佳实施方式
根据本发明的一方面，提供了控制被显示图像的旋转的设备。该设备包括：传感器单元，用于检测设备是否已经被旋转；拍摄单元，用于响应于确定设备已经被旋转来获取用户的面部的图片；旋转确定单元，用于基于捕获的用户的面部图像来确定被显示图像的旋转；以及图像旋转单元，用于根据确定的被显示图像的旋转来旋转被显示图像。
根据本发明的另一方面，提供了控制被显示图像的旋转的方法。该方法包括：确定设备是否已经被旋转；当确定设备被旋转时，拍摄用户的面部；基于捕获的用户的面部图像来确定被显示图像的旋转；以及根据确定的被显示图像的旋转来旋转被显示图像。
根据本发明的另一方面，提供了在其上具体实施程序的计算机可读记录介质，该程序在被计算机运行时执行控制被显示图像的旋转的方法。该方法包括：确定设备是否已经被旋转；当确定设备被旋转时，拍摄用户的面部；基于捕获的用户的面部图像来确定被显示图像的旋转；以及根据确定的被显示图像的旋转来旋转被显示图像。
具体实施方式
在下文中，将参照附图描述本发明的实施例。在下面的描述中发现的各种特定定义仅被提供以帮助总体理解本发明，而且对本领域技术人员显而易见的是，本发明可以在没有这样的定义的情况下被实现。另外，在下面的描述中，为了清晰和简洁，将省略并入这里的已知功能和配置的详细描述。
贯穿下面的描述，术语“连接”或其他类似术语并不仅仅局限于直接耦合，而且也可以指“电耦合”。
图1是示出根据本发明的实施例的用于控制被显示图像的旋转的设备的详细框图。
参照图1，设备包括传感器单元110、拍摄激活单元120、拍摄单元130、亮度调整单元140、旋转确定单元150、图像旋转单元160、数据库(DB)170、和控制单元180。
传感器单元110检测设备是否已经被旋转。本文中，设备的“旋转”被定义为设备的方向和/或旋转位置的改变。传感器单元110基于设备的垂直轴的方向与重力方向之间的角度来检测设备是否已经被旋转。传感器单元110包括，例如，用于检测旋转的加速度传感器、陀螺仪传感器和/或重力传感器，但不限于此。当设备的垂直方向与重力方向之间的角度改变了至少等于预设的阈值的值时，传感器单元110确定设备已经被旋转。虽然传感器单元110可以基于设备的垂直方向与重力方向之间的角度来检测设备是否已经被旋转，但是本发明的实施例并不限于这种检测旋转的方式。例如，传感器单元110可以通过检验设备的垂直轴的方向与重力方向之间的角度是否小于或等于45°，或小于或等于45°来检测设备是否已经被旋转。
此外，传感器单元110检测设备周围的照度。传感器单元110通过使用，例如，照度传感器来检测设备周围的照度，但是本发明的实施例不限于此，并且根据本发明的实施例可以使用其它方法来检测照度。
拍摄激活单元120根据设备是否已经被旋转来激活拍摄单元130。在确定设备已经旋转时，拍摄激活单元120激活拍摄单元130。因此，通过在激活拍摄单元130之前等待确定设备已经被激活，设备节省了拍摄设备的用户的图像所消耗的电力。
拍摄单元130获取用户的面部的图片。拍摄单元130可以利用安装在设备的前面的相机来获取用户的面部的图片。
照度调整单元140基于设备周围的照度来调整设备的屏幕的亮度。当设备周围的照度的值小于或等于预设的阈值时，照度调整单元140可以增加设备的屏幕的亮度。例如，照度调整单元140可以通过控制包含在设备的显示单元中的背光来调整设备屏幕的亮度，但是本发明的实施例不限于这样的调整亮度的操作，并且根据本发明的实施例可以使用其它方法来调整亮度。
旋转确定单元150基于捕获的用户的面部图像来确定是否旋转设备中被显示图像。例如，旋转确定单元150基于捕获的用户的面部图像中的眼睛的形状来确定是否旋转被显示图像。旋转确定单元150分析捕获的面部图像中的眼睛的形状来确定眼睛的水平和垂直方向。此外，旋转确定单元150基于眼睛的水平方向与被显示图像之间的角度来确定是否旋转被显示图像。当眼睛的水平方向与被显示图像之间的角度在，例如，从50°到90°的范围中时，旋转确定单元150可以确定旋转被显示图像，但是根据本发明的实施例可以使用其它范围。此外，旋转确定单元150基于眼睛的垂直方向与被显示图像的水平方向之间的角度来确定是否旋转被显示图像，但是根据本发明的实施例可以使用确定是否旋转被显示图像的其他方法。
旋转确定单元150还可以基于连接捕获的面部图像中的眼睛的线的方向来确定是否旋转被显示图像。旋转确定单元150还可以基于所述线的方向与被显示图像的水平方向之间的角度来确定是否旋转被显示图像。当所述线的方向与被显示图像的水平方向之间的角度在，例如，从50°到90°的范围中时，旋转确定单元150确定旋转被显示图像，但是本发明不限于此。此外，旋转确定单元150可以基于所述线的方向与被显示图像的垂直方向之间的角度来确定是否旋转被显示图像。
旋转确定单元150还可以基于面部图像的头发的形状来确定是否旋转被显示图像。例如，旋转确定单元150可以基于头发的形状的突出部分朝向的方向来识别用户的面部图像的垂直方向，并基于用户的面部图像的垂直方向与被显示图像的水平方向之间的角度来确定是否旋转被显示图像。
旋转确定单元150还可以基于面部图像中头发和其他面部部位的位置来确定是否旋转被显示图像。旋转确定单元150基于，例如，头发和其他面部部位的位置来识别用户的面部图像的垂直方向。在这种情况下，旋转确定单元150参考头发的形状来识别面部图像的垂直方向。此外，旋转确定单元150基于用户的面部图像的垂直方向与被显示图像的水平方向之间的角度来确定是否旋转被显示图像。
旋转确定单元150还可以基于面部图像中眼睛和眉毛的位置来确定是否旋转被显示图像。旋转确定单元150基于眼睛和眉毛的位置来识别用户的面部图像的垂直方向。在这种情况下，旋转确定单元150参考眼睛和眉毛的形状来识别面部图像的垂直方向。此外，旋转确定单元150可以基于用户的面部图像的垂直方向与被显示图像的水平方向之间的角度来确定是否旋转被显示图像。
图像旋转单元160旋转从设备输出的被显示图像。当确定设备已经旋转时，图像旋转单元160基于旋转确定单元150的确定来旋转被显示图像。否则，当确定设备未旋转时，图像旋转单元160基于旋转确定单元150的确定来防止旋转被显示图像。
图像旋转单元160沿设备的垂直或水平方向旋转被显示图像。当沿设备的垂直方向旋转被显示图像时，被显示图像可以旋转以使得被显示图像的上半部分显示在设备的上部。当沿设备的水平方向旋转被显示图像时，被显示图像可以旋转以使得被显示图像的上半部分沿逆重力方向放置。逆重力方向可以与重力方向相反的方向。
图像旋转单元160基于用户的面部图像确定被显示图像应该旋转的方向。当基于面部图像执行旋转时，例如，图像旋转单元160可以旋转被显示图像以使得用户的面部的上部与被显示图像基于用户的面部图像中眼睛、眉毛和头发的位置中的至少一个来相互对应。然而，根据本发明的其它实施例可以使用面部的其他部分。在本实施例中，可以基于眼睛、眉毛和头发的轮廓的曲线来确定被显示图像应该旋转的方向。
DB170存储各种信息以用于设备基于用户的面部图像来确定是否旋转被显示图像。DB170存储设置值，其用于根据用户的面部图像的垂直方向与被显示图像的水平方向之间的角度来确定设备是否应该旋转被显示图像，但是根据本发明的实施例可以存储其他值以用于执行这样的确定。
控制单元180控制设备的总体操作，并且，特别地，控制传感器单元110、拍摄激活单元120、拍摄单元130、亮度调整单元140、旋转确定单元150、图像旋转单元160和DB170，以允许设备拍摄用户的面部并基于捕获的面部图像的方向来确定是否旋转被显示图像。
参照图2至图5，根据本发明的实施例，由旋转确定单元150执行基于用户的面部图像确定被显示图像的旋转的方法。
图2是示出根据本发明的实施例的、由旋转确定单元执行的基于用户的面部图像中眼睛的位置确定被显示图像的旋转的例子的示图。
如图2所示，根据本发明的实施例，旋转确定单元150将连接用户的面部图像中的眼睛的线20的方向与被显示图像24的水平轴22的方向进行比较。旋转确定单元150然后基于线20和水平轴22之间的角度来确定是否旋转被显示图像24。当线20与水平轴22之间的角度在，例如，从50°到90°的范围中时，旋转确定单元150确定旋转被显示图像24。还可以基于面部图像中眉毛、鼻子、嘴和头发中的至少一个的位置与线20的位置的组合来确定被显示图像24的旋转方向。
图3是示出根据本发明的实施例的、由旋转确定单元执行的基于用户的面部图像中眼睛的形状确定被显示图像的旋转的例子的示图。
如图3所示，根据本发明另一实施例，旋转确定单元150检测用户的面部图像中的眼睛的轮廓30，并且通过检测到的轮廓30来确定垂直轴32和水平轴34。旋转确定单元150基于眼睛的水平轴34与被显示图像38的水平轴线36之间的角度来确定是否旋转被显示图像38。当眼睛的水平轴34与被显示图像38的水平轴线36之间的角度在，例如，从50°到90°的范围中时，旋转确定单元150确定旋转被显示图像38。通过检验用户的眼睛的形状来确定是否旋转被显示图像38，即使当仅捕获用户的面部的一部分时，旋转确定单元150也有效地确定旋转。此外，可以基于用户的眉毛、眼睛、鼻子、嘴和头发的位置与眼睛的轮廓30的组合来确定旋转方向。
图4是示出根据本发明的实施例、由旋转确定单元执行的基于用户的面部图像中眼睛和眉毛的位置确定被显示图像的旋转的例子的示图。
如图4所示，根据本发明的另一实施例，旋转确定单元150基于用户的面部图像中眼睛和眉毛的位置来确定是否旋转被显示图像48。例如，旋转确定单元150可以检测用户的面部图像中眼睛的轮廓40和眉毛的轮廓42，并且使用轮廓40和42来识别眼睛和眉毛的位置。
此外，旋转确定单元150可以从眼睛的轮廓在眼睛的垂直方向上识别突出部分的位置，并且基于所识别的眼睛的突出部分的位置来确定的面部图像的垂直轴44的方向。而且，旋转确定单元150基于用户面部的垂直轴44与被显示图像48的水平轴46之间的角度来确定是否旋转被显示图像48。当用户的面部图像的垂直方向44与被显示图像48的水平方向46之间的角度在，例如，从0°到40°的范围中时，旋转确定单元150确定旋转被显示图像48。旋转方向基于面部图像中眼睛和眉毛的位置来确定。
图5是示出根据本发明的实施例的、由旋转确定单元执行的基于用户的面部图像中头发的位置确定被显示图像的旋转的例子的示图。
如图5所示，旋转确定单元150检测用户的面部图像中头发的轮廓50，并基于头发的轮廓50的突出部分的位置来识别用户的面部图像的竖直轴52的方向。此外，旋转确定单元150基于用户面部的垂直轴52与被显示图像56的水平轴54之间的角度来确定是否旋转被显示图像56。当用户的面部图像的垂直轴52与被显示图像56的水平轴54之间的角度在，例如，从0°到40°的范围中时，旋转确定单元150确定旋转被显示图像56。旋转方向基于头发的轮廓50的突出部分的方向来确定。
现在将参照图6说明根据本发明的实施例的控制被显示图像的旋转的方法。
图6是示出根据本发明的实施例的控制被显示图像的旋转的方法的流程图。
在步骤S600中，设备确定它是否已经被旋转。在这方面，设备基于设备的垂直轴的方向与重力方向之间的角度来检测它是否已经被旋转。设备通过，例如，加速度传感器、陀螺仪传感器和重力传感器中的至少一个来检测它是否已经被旋转。
当设备的垂直轴的方向与重力方向之间的角度被改变为高于预设的阈值时，设备确定它已经被旋转。设备还可以基于设备的垂直轴的方向与重力方向之间的角度的量来检测它是否已经被旋转。例如，设备可以通过检验设备的垂直轴的方向与重力方向之间的角度是45°或更大、或者45°或更小来检测设备是否已经被旋转。
当在步骤S600中确定设备已经旋转时，在步骤S602中，设备将拍摄单元130激活预设的时间段。
在步骤S604中，设备通过使用安装在设备上的照度传感器来测量设备周围的照度。
在步骤S606中，设备基于设备周围的照度来调整设备的屏幕的亮度。当设备周围的照度的值小于或等于预设的阈值时，设备可以增加设备的屏幕的亮度。例如，设备可以通过控制包含在设备的显示单元中的背光来调整设备屏幕的亮度，但是根据本发明的实施例可以使用其它方法来调整亮度。
在步骤S608中，设备经由安装在设备的前面的拍摄单元130来获取用户的面部的图片。
在步骤S610中，设备确定是否旋转被显示图像。设备基于用户的面部图像来确定是否旋转被显示图像。可替换地，设备可以基于捕获的用户的面部图像中的眼睛的形状来确定是否旋转被显示图像。设备分析捕获的面部图像中的眼睛的形状来确定眼睛的水平和垂直方向。此外，设备基于眼睛的水平方向与被显示图像之间的角度来确定是否旋转被显示图像。当眼睛的水平方向与被显示图像之间的角度在，例如，从50°到90°的范围中时，设备确定旋转被显示图像，但是本发明不限于此。此外，设备可以基于眼睛的垂直方向与被显示图像的水平方向之间的角度来确定是否旋转被显示图像，但是根据本发明的实施例可以使用其他操作来确定是否旋转被显示的图像。
设备还可以基于连接捕获的面部图像中的眼睛的线的方向，或者基于所述线的方向与被显示图像的水平方向之间的角度来确定是否旋转被显示图像。当所述线的方向与被显示图像的水平方向之间的角度在，例如，从50°到90°的范围中时，设备确定旋转被显示的图像，但是根据本发明的实施例可以使用其他范围。此外，设备可以基于所述线的方向与被显示图像的垂直方向之间的角度来确定是否旋转被显示图像，但是本发明不限于此。
设备可以可替换地基于面部图像的头发的形状来确定是否旋转被显示图像。例如，设备可以基于头发的形状的突出部分朝向的方向来识别用户的面部图像的垂直方向，并基于用户的面部图像的垂直方向与被显示图像的水平方向之间的角度来确定是否旋转被显示图像。
设备可以可替换地基于面部图像中头发和其他面部部位的位置来确定是否旋转被显示图像。设备基于，例如，头发和其他面部部位的位置来识别用户的面部图像的垂直方向。在这种情况下，设备参考头发的形状来识别面部图像的垂直方向。此外，设备还可以基于用户的面部图像的垂直方向与被显示图像的水平方向之间的角度来确定是否旋转被显示图像。
设备可以可替换地基于面部图像中眼睛和眉毛的位置来确定是否旋转被显示图像。设备基于眼睛和眉毛的位置来识别用户的面部图像的垂直方向。在这种情况下，设备参考眼睛和眉毛的形状来识别面部图像的垂直方向。设备还可以基于用户的面部图像的垂直方向与被显示图像的水平方向之间的角度来确定是否旋转被显示图像。
在步骤S612中，基于在步骤S610中做出的确定，当设备已经被旋转时旋转被显示图像，否则防止旋转被显示图像。
设备沿设备的垂直或水平方向旋转被显示图像。在沿设备的垂直方向旋转被显示图像的情况下，被显示图像旋转以使得被显示图像的上半部分出现在设备的上部。另一方面，在沿设备的水平方向旋转被显示图像的情况下，被显示图像旋转以使得被显示图像的上半部分沿逆重力方向放置。
设备基于用户的面部图像确定被显示图像应该旋转的方向。设备旋转被显示图像以使得用户的面部的上部与被显示图像基于用户的面部图像中眼睛和眉毛的位置中的至少一个来相互对应，但是根据本发明的实施例设备可以基于其他面部信息来旋转图像。
本发明的实施例也可以被具体实现为计算机可读记录介质上的计算机可读代码。本文中，计算机可读记录介质是能够存储数据的任意数据存储设备，所述数据此后能够被计算机系统读取。计算机可读记录介质的例子包括易失性、非易失性、可移动和不可移动介质。计算机可读记录介质也可以分布在网络耦合的计算机系统上，以使得计算机可读代码以分布式方式存储并且执行。
根据本发明的实施例，当设备已经被旋转时，可以基于用户的面部图像来确定是否旋转被显示图像。另外，根据本发明的另一实施例，可以基于用户的面部图像来确定被显示图像的旋转方向。根据本发明的又一实施例，可以被有效地捕获用户的面部图像以用于旋转被显示图像。
虽然已经参照本发明的某些实施例描述了本发明，但是本领域技术人员将理解的是，可以在形式和细节上对其进行改变而不偏离由所附权利要求限定的本发明的精神和范围。

Claims (21)

1.一种控制被显示图像的旋转的设备，该设备包括：
传感器单元，用于检测设备是否已经被旋转；
拍摄单元，用于响应于确定设备被旋转来获取用户的面部的图片；
旋转确定单元，用于基于捕获的用户的面部图像来确定被显示图像的旋转；以及
图像旋转单元，用于根据确定的被显示图像的旋转来旋转被显示图像。
2.如权利要求1所述的设备，还包括拍摄激活单元，用于当检测到设备已经被旋转时激活拍摄单元。
3.如权利要求1所述的设备，其中，所述旋转确定单元基于面部图像中的眼睛的形状来确定被显示图像的旋转。
4.如权利要求3所述的设备，其中，所述旋转确定单元基于眼睛的水平轴和垂直轴的方向中的至少一个来确定被显示图像的旋转。
5.如权利要求1所述的设备，其中，所述旋转确定单元基于连接面部图像中的眼睛的线的方向来确定被显示图像的旋转。
6.如权利要求1所述的设备，其中，所述旋转确定单元基于面部图像中的头发的形状来确定是否旋转被显示图像。
7.如权利要求6所述的设备，其中，所述图像旋转单元基于面部图像中的头发的形状来确定被显示图像的旋转方向。
8.如权利要求1所述的设备，其中，所述旋转确定单元基于面部图像中的眼睛和眉毛的位置来确定是否旋转被显示图像。
9.如权利要求8所述的设备，其中，所述图像旋转单元基于面部图像中的眼睛和眉毛的位置来确定被显示图像的旋转方向。
10.如权利要求1所述的设备，其中，所述传感器单元测量设备周围的照度，以及
所述设备还包括亮度调整单元，用于调整设备的屏幕的亮度。
11.一种控制被显示图像的旋转的方法，该方法包括：
确定设备是否已经被旋转；
当确定设备被旋转时，拍摄用户的面部；
基于捕获的用户的面部图像来确定被显示图像的旋转；以及
基于确定的被显示图像的旋转来旋转被显示图像。
12.如权利要求11所述的方法，还包括：当确定设备已经被旋转时激活拍摄单元，
其中，拍摄用户的面部包括利用激活的拍摄单元来拍摄用户的面部。
13.如权利要求11所述的方法，其中，确定被显示图像的旋转包括基于面部图像中的眼睛的形状来确定被显示图像的旋转。
14.如权利要求13所述的方法，其中，确定被显示图像的旋转包括基于眼睛的水平轴和垂直轴的方向中的至少一个来确定被显示图像的旋转。
15.如权利要求11所述的方法，其中，确定被显示图像的旋转包括基于连接面部图像中的眼睛的线的方向来确定被显示图像的旋转。
16.如权利要求11所述的方法，其中，确定被显示图像的旋转包括基于面部图像中的头发的形状来确定是否旋转被显示图像。
17.如权利要求16所述的方法，还包括基于面部图像中的头发的形状来确定被显示图像的旋转方向，
其中旋转被显示图像包括沿确定的旋转方向旋转被显示图像。
18.如权利要求11所述的方法，其中，确定被显示图像的旋转包括基于面部图像中的眼睛和眉毛的位置来确定是否旋转被显示图像。
19.如权利要求18所述的方法，还包括基于面部图像中的眼睛和眉毛的位置来确定被显示图像的旋转方向，
其中旋转被显示图像包括沿确定的旋转方向旋转被显示图像。
20.如权利要求11所述的方法，还包括，
测量设备周围的照度；以及
基于测量的照度来调整设备的屏幕的亮度。
21.一种在其上具体实施程序的计算机可读记录介质，该程序在被计算机运行时执行方法，该方法包括：
确定设备是否已经被旋转；
当确定设备被旋转时，拍摄用户的面部；
基于捕获的用户的面部图像来确定被显示图像的旋转；以及
基于确定的被显示图像的旋转来旋转被显示图像。
CN201280069478.9A 2012-01-10 2012-09-18 控制被显示图像的旋转的设备和方法 Expired - Fee Related CN104137028B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2012-0003087 2012-01-10
KR1020120003087A KR101969931B1 (ko) 2012-01-10 2012-01-10 디스플레이 영상의 회전을 제어하는 장치 및 방법
PCT/KR2012/007435 WO2013105715A1 (en) 2012-01-10 2012-09-18 Device and method for controlling rotation of displayed image

Publications (2)

Publication Number Publication Date
CN104137028A true CN104137028A (zh) 2014-11-05
CN104137028B CN104137028B (zh) 2019-01-25

Family

ID=48743618

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280069478.9A Expired - Fee Related CN104137028B (zh) 2012-01-10 2012-09-18 控制被显示图像的旋转的设备和方法

Country Status (8)

Country Link
US (1) US9262984B2 (zh)
EP (1) EP2802966B1 (zh)
JP (1) JP6211536B2 (zh)
KR (1) KR101969931B1 (zh)
CN (1) CN104137028B (zh)
AU (1) AU2012365030B2 (zh)
RU (1) RU2616567C2 (zh)
WO (1) WO2013105715A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105607835A (zh) * 2015-12-21 2016-05-25 惠州Tcl移动通信有限公司 图片方向自动调整的移动终端及其显示方法
CN106125933A (zh) * 2016-06-28 2016-11-16 维沃移动通信有限公司 一种显示界面旋转的方法及移动终端
WO2017000796A1 (zh) * 2015-06-30 2017-01-05 芋头科技（杭州）有限公司 人脸定向显示系统及方法
CN109313883A (zh) * 2016-07-12 2019-02-05 高通股份有限公司 基于面部取向检测的图像取向

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9082456B2 (en) 2005-01-31 2015-07-14 The Invention Science Fund I Llc Shared image device designation
US9489717B2 (en) 2005-01-31 2016-11-08 Invention Science Fund I, Llc Shared image device
US9910341B2 (en) 2005-01-31 2018-03-06 The Invention Science Fund I, Llc Shared image device designation
US9124729B2 (en) 2005-01-31 2015-09-01 The Invention Science Fund I, Llc Shared image device synchronization or designation
US9325781B2 (en) 2005-01-31 2016-04-26 Invention Science Fund I, Llc Audio sharing
US9451200B2 (en) 2005-06-02 2016-09-20 Invention Science Fund I, Llc Storage access technique for captured data
US9621749B2 (en) * 2005-06-02 2017-04-11 Invention Science Fund I, Llc Capturing selected image objects
US9819490B2 (en) 2005-05-04 2017-11-14 Invention Science Fund I, Llc Regional proximity for shared image device(s)
US9076208B2 (en) 2006-02-28 2015-07-07 The Invention Science Fund I, Llc Imagery processing
US20070222865A1 (en) 2006-03-15 2007-09-27 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Enhanced video/still image correlation
US10003762B2 (en) 2005-04-26 2018-06-19 Invention Science Fund I, Llc Shared image devices
US9967424B2 (en) 2005-06-02 2018-05-08 Invention Science Fund I, Llc Data storage usage protocol
US9191611B2 (en) 2005-06-02 2015-11-17 Invention Science Fund I, Llc Conditional alteration of a saved image
CN104345872A (zh) * 2013-08-06 2015-02-11 鸿富锦精密工业(武汉)有限公司 移动设备智能横屏方法及系统
KR102151206B1 (ko) * 2014-07-07 2020-09-03 삼성디스플레이 주식회사 이동 단말기 및 그 제어방법
US20160109952A1 (en) * 2014-10-17 2016-04-21 Top Victory Investments Ltd. Method of Controlling Operating Interface of Display Device by User's Motion
KR102348947B1 (ko) 2014-10-30 2022-01-11 삼성전자 주식회사 전자장치의 화면 표시 제어 방법 및 장치
CN105653017B (zh) * 2014-11-14 2018-09-25 昆山纬绩资通有限公司 电子装置及电子装置的重力感测校正方法
TWI646503B (zh) * 2014-12-30 2019-01-01 香港商富智康〈香港〉有限公司 照片方位校正系統及方法
CN105138297B (zh) * 2015-07-24 2019-01-11 深圳市梓桥科技有限公司 一种旋转屏控制系统及方法
CN109257484B (zh) * 2017-07-14 2021-05-25 西安中兴新软件有限责任公司 一种显示屏亮度处理方法、终端设备和可读存储介质
JP2020091617A (ja) * 2018-12-05 2020-06-11 富士ゼロックス株式会社 情報処理装置及び情報処理プログラム
US11367416B1 (en) * 2019-06-27 2022-06-21 Apple Inc. Presenting computer-generated content associated with reading content based on user interactions
KR20210118616A (ko) * 2020-03-23 2021-10-01 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
WO2023167048A1 (ja) * 2022-03-02 2023-09-07 株式会社Ｊｖｃケンウッド 表示装置、表示方法及び表示プログラム
CN115273210B (zh) * 2022-09-30 2022-12-09 平安银行股份有限公司 抗图像旋转的合影图像识别方法、装置、电子设备及介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090239579A1 (en) * 2008-03-24 2009-09-24 Samsung Electronics Co. Ltd. Mobile device capable of suitably displaying information through recognition of user's face and related method
US20100016014A1 (en) * 2008-07-15 2010-01-21 At&T Intellectual Property I, L.P. Mobile Device Interface and Methods Thereof
US20100141571A1 (en) * 2008-12-09 2010-06-10 Tony Chiang Image Sensor with Integrated Light Meter for Controlling Display Brightness
US20110098024A1 (en) * 2008-10-27 2011-04-28 Samsung Electronics Co., Ltd. Mobile communication terminal and method of automatically executing an application in accordance with the change of an axis of a display in the mobile communication terminal

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08138024A (ja) * 1994-11-04 1996-05-31 Konica Corp 画像の向き判定方法
JPH0944143A (ja) 1995-08-01 1997-02-14 Toshiba Corp 携帯情報通信端末装置
FI20001506A (fi) * 1999-10-12 2001-04-13 J P Metsaevainio Design Oy Kädessäpidettävän laitteen toimintamenetelmä
JP2004187154A (ja) * 2002-12-05 2004-07-02 Sharp Corp カメラ搭載携帯端末
KR100611182B1 (ko) 2004-02-27 2006-08-10 삼성전자주식회사 회전상태에 따라 메뉴표시상태를 변경하는 휴대형전자기기 및 그 방법
ATE393424T1 (de) * 2004-10-06 2008-05-15 Nokia Corp Zugriffssteuerung für kommunikationsendgerät
JP2006140773A (ja) * 2004-11-12 2006-06-01 Sharp Corp 移動通信システム及び移動通信端末
JP4645223B2 (ja) * 2005-02-18 2011-03-09 富士通株式会社 顔追跡プログラムおよび顔追跡方法
GB2432659A (en) * 2005-11-28 2007-05-30 Pixology Software Ltd Face detection in digital images
KR101346859B1 (ko) * 2007-03-13 2014-01-03 엘지전자 주식회사 화상 통신 이동 단말기 및 그 화상 처리 방법
US8244068B2 (en) 2007-03-28 2012-08-14 Sony Ericsson Mobile Communications Ab Device and method for adjusting orientation of a data representation displayed on a display
JP2009278325A (ja) * 2008-05-14 2009-11-26 Seiko Epson Corp 画像処理装置、画像処理方法、およびプログラム
JP4995783B2 (ja) * 2008-07-30 2012-08-08 京セラ株式会社 携帯端末機
JP5397081B2 (ja) * 2009-08-12 2014-01-22 富士通モバイルコミュニケーションズ株式会社 携帯端末
US8503739B2 (en) * 2009-09-18 2013-08-06 Adobe Systems Incorporated System and method for using contextual features to improve face recognition in digital images
JP2011138449A (ja) * 2010-01-04 2011-07-14 Nec Corp 表示制御装置、表示装置、電子装置および表示制御方法
KR101096051B1 (ko) 2010-02-12 2011-12-19 황정원 디스플레잉 방향을 전환하는 텔레비전
JP5184570B2 (ja) * 2010-03-24 2013-04-17 株式会社エヌ・ティ・ティ・ドコモ 情報端末及び表示切替方法
KR101694820B1 (ko) * 2010-05-07 2017-01-23 삼성전자주식회사 사용자 위치 인식 방법 및 장치
KR20110130190A (ko) * 2010-05-27 2011-12-05 전자부품연구원 디스플레이 장치의 화면 영상 회전 장치 및 방법
TWI416288B (zh) * 2010-09-01 2013-11-21 Inventec Corp 可攜式電子裝置及其操作方法
TWI435597B (zh) * 2010-10-20 2014-04-21 Altek Corp 結合臉部特徵辨識之相片資訊顯示方法及其具有攝像功能之電子裝置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090239579A1 (en) * 2008-03-24 2009-09-24 Samsung Electronics Co. Ltd. Mobile device capable of suitably displaying information through recognition of user's face and related method
US20100016014A1 (en) * 2008-07-15 2010-01-21 At&T Intellectual Property I, L.P. Mobile Device Interface and Methods Thereof
US20110098024A1 (en) * 2008-10-27 2011-04-28 Samsung Electronics Co., Ltd. Mobile communication terminal and method of automatically executing an application in accordance with the change of an axis of a display in the mobile communication terminal
US20100141571A1 (en) * 2008-12-09 2010-06-10 Tony Chiang Image Sensor with Integrated Light Meter for Controlling Display Brightness

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017000796A1 (zh) * 2015-06-30 2017-01-05 芋头科技（杭州）有限公司 人脸定向显示系统及方法
CN106325484A (zh) * 2015-06-30 2017-01-11 芋头科技（杭州）有限公司 人脸定向显示系统及方法
CN105607835A (zh) * 2015-12-21 2016-05-25 惠州Tcl移动通信有限公司 图片方向自动调整的移动终端及其显示方法
CN106125933A (zh) * 2016-06-28 2016-11-16 维沃移动通信有限公司 一种显示界面旋转的方法及移动终端
CN109313883A (zh) * 2016-07-12 2019-02-05 高通股份有限公司 基于面部取向检测的图像取向
CN113506551A (zh) * 2016-07-12 2021-10-15 高通股份有限公司 基于面部取向检测的图像取向

Also Published As

Publication number Publication date
US20130176341A1 (en) 2013-07-11
KR101969931B1 (ko) 2019-04-17
WO2013105715A1 (en) 2013-07-18
CN104137028B (zh) 2019-01-25
EP2802966A1 (en) 2014-11-19
JP2015513711A (ja) 2015-05-14
AU2012365030A1 (en) 2014-08-28
JP6211536B2 (ja) 2017-10-11
RU2616567C2 (ru) 2017-04-17
EP2802966B1 (en) 2022-04-20
EP2802966A4 (en) 2015-08-12
RU2014132860A (ru) 2016-02-27
AU2012365030B2 (en) 2017-08-17
KR20130081957A (ko) 2013-07-18
US9262984B2 (en) 2016-02-16

Similar Documents

Publication Publication Date Title
CN104137028A (zh) 控制被显示图像的旋转的设备和方法
US10460164B2 (en) Information processing apparatus, information processing method, eyewear terminal, and authentication system
KR102333101B1 (ko) 관심 객체에 대한 외부 광원의 속성 정보를 제공하는 방법을 지원하는 전자 장치
US10075629B2 (en) Electronic device for capturing images while user looks directly at camera
KR20180014624A (ko) 홍채 인증 시스템 및 방법
KR20180109109A (ko) 홍채 기반 인증 방법 및 이를 지원하는 전자 장치
US20160041614A1 (en) System and method of inducing user eye blink
TW201633215A (zh) 護眼系統及方法
TW201743166A (zh) 護眼系統及方法
CN109002786A (zh) 人脸检测方法、设备及计算机可读存储介质
CN104143086A (zh) 人像比对在移动终端操作系统上的应用技术
CN110751728B (zh) 具有bim建筑模型混合现实功能的虚拟现实设备及方法
CN108090908A (zh) 图像分割方法、装置、终端及存储介质
KR101674099B1 (ko) 얼굴 인증을 위한 영상 생성 장치 및 그 방법
CN106293303A (zh) 终端屏幕显示画面的旋转方法及装置
KR101476503B1 (ko) 착용형 디스플레이 장치를 위한 인터랙션 제공 장치 및 방법
CN109215292A (zh) 一种疲劳驾驶辅助方法及系统
TW201411565A (zh) 眼睛搜尋方法及使用該方法的眼睛狀態檢測裝置與眼睛搜尋裝置
JP6441763B2 (ja) 表示装置、表示制御方法、及びそのためのプログラム
JP2012227830A (ja) 情報処理装置、その処理方法、プログラム及び撮像装置
JP4790391B2 (ja) 自動取引装置及び監視システム
KR20210118616A (ko) 디스플레이 장치 및 그 제어 방법
US12108139B2 (en) Apparatus, system, method and storage medium
US11994675B2 (en) Head-mounted device for tracking screen time
KR102337908B1 (ko) 작업 보조 방법 및 장치

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20190125