[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

RU2175143C1 - Remote control technique - Google Patents

Remote control technique Download PDF

Info

Publication number
RU2175143C1
RU2175143C1 RU2000108176A RU2000108176A RU2175143C1 RU 2175143 C1 RU2175143 C1 RU 2175143C1 RU 2000108176 A RU2000108176 A RU 2000108176A RU 2000108176 A RU2000108176 A RU 2000108176A RU 2175143 C1 RU2175143 C1 RU 2175143C1
Authority
RU
Russia
Prior art keywords
control
signs
control element
information
hand
Prior art date
Application number
RU2000108176A
Other languages
Russian (ru)
Inventor
Ю.В. Морзеев
В.С. Кот
Original Assignee
Свириденко Андрей Владимирович
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Свириденко Андрей Владимирович filed Critical Свириденко Андрей Владимирович
Priority to RU2000108176A priority Critical patent/RU2175143C1/en
Priority to PCT/RU2000/000503 priority patent/WO2001075578A1/en
Application granted granted Critical
Publication of RU2175143C1 publication Critical patent/RU2175143C1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Nitrogen And Oxygen Or Sulfur-Condensed Heterocyclic Ring Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

FIELD: computer engineering. SUBSTANCE: technique proposed for data input in computer and also for remote control of various pieces of equipment includes shaping of control action by positioning at least one part of human body in space and in time, transmitting information on control action from control element to data processing device by means of optical stream set up by control element, identifying information on control action by detecting at least one of structural, geometric, and chromatic characteristics of control element and motion characteristics such as direction of motion. EFFECT: enhanced reliability and precision of data input. 5 cl, 2 dwg

Description

Изобретение относится к области компьютерной техники, а более конкретно к вводу информации в компьютер, и может быть использовано для дистанционного управления различными объектами. The invention relates to the field of computer technology, and more particularly to the input of information into a computer, and can be used for remote control of various objects.

Известны способы ввода информации в компьютер, основанные на преобразовании механического движения в цифровые сигналы, управляющие работой компьютера. К ним относятся способы ввода данных о положении и перемещении курсора по экрану, основанные на преобразовании движения различных манипуляторов типа "мышь" и "джойстик" (см., например, ЕПВ, патент N 0085960, G 06 K 11/06, 1983). Known methods for entering information into a computer based on the conversion of mechanical motion into digital signals that control the operation of the computer. These include methods for entering data on the position and movement of the cursor on the screen, based on the conversion of the movement of various manipulators such as a mouse and joystick (see, for example, EPO, patent N 0085960, G 06 K 11/06, 1983).

Известны способы управления курсором, использующие движение пальца по поверхности емкостного датчика (см., например, FR, патент N 2702292, G 06 K 11/16, 1994). Known cursor control methods using finger movement on the surface of a capacitive sensor (see, for example, FR, patent N 2702292, G 06 K 11/16, 1994).

Известны способы биоэлектрического управления механизмами и устройствами, предполагающие использование в качестве управляющих данных биопотенциалов руки (электромиограммы), отводимых, усиливаемых и преобразованных в цифровой входной формат компьютера (см., например, RU, патент N 2121706, G 06 F 3/00, A 61 F 4/00, 1996). Known methods for bioelectric control of mechanisms and devices involving the use of biopotentials as control data (electromyograms), retracted, amplified and converted to a digital input computer format (see, for example, RU, patent N 2121706, G 06 F 3/00, A 61 F 4/00, 1996).

Известны также способы ввода информации в компьютер, использующие преобразование жестов рук в символы, вводимые в компьютер (см., например, PCT (WC), патент N 94/12925, G 06 F 3/00, 1994). Данный способ является наиболее близким к заявленному по технической сущности и выбирается в качестве прототипа. Известные способы-аналоги и способ-прототип имеют следующие недостатки: низкая надежность, определяемая надежностью механических устройств и датчиков, большая инерционность механических перемещений и сравнительно низкая точность. There are also known methods of entering information into a computer using the conversion of hand gestures into characters entered into a computer (see, for example, PCT (WC), patent N 94/12925, G 06 F 3/00, 1994). This method is the closest to the claimed technical essence and is selected as a prototype. The known analogue methods and the prototype method have the following disadvantages: low reliability, determined by the reliability of mechanical devices and sensors, high inertia of mechanical movements and relatively low accuracy.

В изобретении ставятся задачи устранения перечисленных выше недостатков и расширение области применения дистанционного управления. The invention aims to eliminate the above disadvantages and expand the scope of remote control.

Эти задачи решены в способе дистанционного управления, включающем операцию формирования управляющего сигнала органом управления, передачи с помощью оптического потока информации об управляющем воздействии от органа управления к входу устройства обработки информации, операцию идентификации и интерпретации информации об управляющем воздействии, выявляющей системные команды, управляющие работой объекта управления, в котором формирование управляющего воздействия осуществляют посредством положения и состояния в пространстве и времени, по крайней мере, одной части человеческого тела, передачу информации об управляющем воздействии от органа управления к устройству обработки осуществляют посредством оптического потока, создаваемого органом управления, идентификацию и интерпретацию информации об управляющем воздействии, которую несет оптический поток, производят путем выявления в световом потоке по крайней мере одного из структурных, геометрических, цветовых признаков органа управления и признаков движения, например, направления, сравнения управляющих признаков с параметрами модели органа управления, хранящихся в запоминающем устройстве устройства обработки и представляющими собой характерные структурные, геометрические, цветовые признаки и признаки движения, кодирующие системные команды, а системные команды, управляющие работой объекта управления, формируют по результатам упомянутого сравнения выявленных признаков с параметрами упомянутой модели. These problems are solved in a remote control method, including the operation of generating a control signal by a control body, transmitting information about the control action from the control body to the input of the information processing device using an optical stream, the operation of identifying and interpreting information about the control action, identifying system commands that control the operation of the object control, in which the formation of the control action is carried out by means of position and state in space and time and at least one part of the human body, information about the control action from the control to the processing device is transmitted through an optical stream created by the control, identification and interpretation of information about the control effect that the optical stream carries is produced by detecting it in the light stream at least one of the structural, geometric, color signs of the control and signs of movement, for example, direction, comparison of control signs parameters governing body model processing device stored in the memory and representing a characteristic structural, geometric, color signs and symptoms motion encoding system commands and system commands that control the operation of the control object is formed based on the results of said comparisons revealed signs of the parameters of said model.

Отличие предложенного способа заключается в том, что формирование управляющего воздействия осуществляют посредством положения и состояния в пространстве и времени, по крайней мере, одной части человеческого тела, передачу информации об управляющем воздействии от органа управления к устройству обработки осуществляют посредством оптического потока, создаваемого органом управления, идентификацию и интерпретацию информации о управляющем воздействии, которую несет оптический поток производят путем выявления в световом потоке, по крайней мере, одного из структурных, геометрических, цветовых признаков органа управления и признаков движения, например направления, сравнения управляющих признаков с параметрами модели органа управления, хранящихся в запоминающем устройстве устройства обработки и представляющими собой характерные структурные, геометрические, цветовые признаки и признаки движения, кодирующие системные команды, а системные команды, управляющие работой объекта управления, формируют по результатам упомянутого сравнения выявленных признаков с параметрами упомянутой модели. The difference of the proposed method lies in the fact that the formation of the control action is carried out by means of the position and state in space and time of at least one part of the human body, information about the control action is transmitted from the control to the processing device by means of an optical stream created by the control, identification and interpretation of information about the control action carried by the optical flux is carried out by detecting in the light flux at the extreme to it, of one of the structural, geometric, color signs of the control element and signs of movement, for example, direction, comparison of control signs with the model parameters of the control element stored in the storage device of the processing device and representing characteristic structural, geometric, color signs and movement signs encoding system commands, and system commands that control the operation of the control object, form according to the results of the above comparison of the identified signs with the parameters the mentioned model.

Отличие первого варианта способа в том, что в качестве органа управления используют, по крайней мере, один палец кисти руки, а в световом потоке, создаваемом органом управления, выявляют структурные и цветовые признаки пальца и признаки его движения. The difference between the first variant of the method is that at least one finger of the hand is used as the control element, and structural and color signs of the finger and signs of its movement are detected in the light flux created by the control element.

Отличие второго варианта способа заключается в том, что в качестве органа управления используют кисть руки, а в световом потоке, создаваемом кистью руки, выявляют регулярную структуру в виде, по крайней мере, трех параллельных линий, образованных прижатыми друг к другу пальцами раскрытой ладони кисти руки. Отличие третьего варианта способа заключается в том, что для реализации команд используют жесты кисти человека - оператора. The difference between the second variant of the method is that the hand is used as the control element, and in the light flux created by the hand, the regular structure is revealed in the form of at least three parallel lines formed by the fingers of the open palm of the hand pressed to each other . The difference of the third variant of the method lies in the fact that for the implementation of the commands use gestures of a human person - the operator.

Отличие четвертого варианта способа заключается в том, что выявление признаков органа управления и признаков движения производят по всей области изображения с последующим сужением области поиска до размеров органа управления с окрестностями. The difference of the fourth variant of the method lies in the fact that the identification of the characteristics of the control and signs of movement is carried out throughout the image area with the subsequent narrowing of the search area to the size of the control with the surrounding area.

Предложенный способ иллюстрируется приведенными чертежами. The proposed method is illustrated by the drawings.

На фиг. 1 приведена общая блок-схема способа дистанционного управления. In FIG. 1 shows a general block diagram of a remote control method.

На фиг. 2 приведен алгоритм выделения контурной информации. In FIG. 2 shows the algorithm for selecting contour information.

Способ дистанционного управления включает:
1 - операцию формирования управляющего сигнала органом управления, по крайней мере, одной частью человеческого тела;
2 - передачу с помощью оптического потока информации об управляющем воздействии;
3 - преобразование оптического потока в двумерный цифровой электронный сигнал;
4 - задание области цифрового изображения, внутри которого находится орган управления;
5 - выявление структурных, геометрических, цветовых признаков органа управления и признаков движения;
6 - сравнение выявленных признаков управляющего органа с параметрами модели органа управления, хранящихся в запоминающем устройстве устройства обработки;
7 - расшифровку выявленных признаков органа управления и признаков движения;
8 - выработку управляющего воздействия;
9 - визуализацию положения и состояния объекта управления;
10 - переопределение параметров.
The remote control method includes:
1 - the operation of generating a control signal by the control body of at least one part of the human body;
2 - transmission of optical information about the control action;
3 - conversion of the optical stream into a two-dimensional digital electronic signal;
4 - setting the digital image area within which the control is located;
5 - identification of structural, geometric, color signs of the control and signs of movement;
6 is a comparison of the identified features of the governing body with the parameters of the model of the governing body stored in the memory of the processing device;
7 - decoding of the identified signs of the control body and signs of movement;
8 - development of control action;
9 - visualization of the position and condition of the control object;
10 - redefinition of parameters.

На операции 4 вначале в качестве области цифрового изображения, внутри которой находится орган управления, задается полный экран. После нахождения органа управления размеры этой области ограничиваются размерами органа управления с окрестностями. In step 4, first, a full screen is set as the digital image area within which the control is located. After finding the control, the size of this area is limited by the size of the control with the surrounding area.

В качестве органа управления при реализации способа может быть использован палец руки, и в этом случае на операции 5 выявляют, его структурные и цветовые признаки и характерные для него признаки движения. A finger of the hand can be used as a control body during the implementation of the method, and in this case, at step 5, its structural and color signs and its characteristic signs of movement are revealed.

В качестве органа управления может быть использована также кисть руки. При этом на операции 5 выявляется регулярная структура в виде, по крайней мере, трех параллельных линий, образованных прижатыми друг к другу пальцами раскрытой ладони кисти руки. После первоначального определения объекта управления в данном случае (как и в предыдущем) на операциях переопределения 10 и задания области 4 производят ограничение области поиска до размеров несколько больших области ладони. A hand can also be used as a control. At the same time, in operation 5, a regular structure is revealed in the form of at least three parallel lines formed by the fingers of the open palm of the hand pressed to each other. After the initial definition of the control object in this case (as in the previous one), overriding operations 10 and setting the area 4 restrict the search area to sizes slightly larger than the palm area.

Алгоритм, приведенный на фиг. 2 детализирует операцию 5 выявления структурных, геометрических, цветовых признаков органа управления и признаков движения. Операция 5 включает:
11 - получение полутонового изображения заданной области цифрового изображения, внутри которой находится орган управления одним из известных методов, например, методом главных компонент;
12 - выделение точек и провязка их в линии, сбор их в список линий;
13 - сбор линий в тройки, выделение из собранных троек линий тройки с наибольшей длиной провязки;
14 - обнаружение краев руки одним из известных методов, например с использованием критерия разделимости по Otsu;
15 - определение точки привязки прижатого большого пальца;
16 - определение наличия признаков движения большого пальца для процедуры выработки управляющих команд;
В варианте способа для реализации команд, управляющих работой системы управления, могут быть использованы различные жесты человека-оператора, например, отклонение ладони от вертикального положения.
The algorithm shown in FIG. 2 details the operation 5 of revealing structural, geometric, color signs of the control element and signs of movement. Operation 5 includes:
11 - obtaining a grayscale image of a given area of a digital image, inside which is located the control of one of the known methods, for example, the principal component method;
12 - selection of points and tying them into lines, collecting them into a list of lines;
13 - collection of lines in triples, the selection from the assembled triples of the lines of the triples with the longest length of the stitch;
14 - detection of the edges of the hand by one of the known methods, for example, using the Otsu separability criterion;
15 - determination of the anchor point of the pressed thumb;
16 - determination of the presence of signs of thumb movement for the procedure for generating control commands;
In a variant of the method for the implementation of the commands controlling the operation of the control system, various gestures of a human operator can be used, for example, the deviation of the palm from a vertical position.

В качестве конкретного примера предлагаемый способ может быть использован при дистанционном управлении курсором манипулятора "мышь" компьютера. При этом в качестве органа управления вместо традиционного электронно-механического или электронно-оптического устройства используют части человеческого тела, например, кисть руки. Для позиционирования курсора на экране дисплея используют положение одного, направленного вверх, пальца кисти рук (например, указательного), который может отклоняться от вертикального положения. Палец характеризуется как достаточно однородный по цвету вытянутый (возможно, немного изогнутый) объект, имеющий следующие признаки:
- примерно постоянную ширину,
- определенное отношение (сколько ширин укладывается в длину) средней ширины к длине,
- достаточно (перепад в 10-20 градаций яркости) четкие внешние верхние и боковые границы.
As a specific example, the proposed method can be used for remote control of the mouse cursor of the computer mouse. Moreover, instead of a traditional electronic-mechanical or electron-optical device, parts of the human body, for example, a hand, are used as a control element. To position the cursor on the display screen, use the position of one upward finger of the hand (for example, the index finger), which may deviate from the vertical position. The finger is characterized as an elongated (possibly slightly curved) object with a fairly uniform color, having the following features:
- approximately constant width,
- a certain ratio (how many widths fit in length) of average width to length,
- enough (drop in 10-20 gradations of brightness) clear external upper and side borders.

Объект управления - курсор занимает на экране компьютера положение, определяемое информацией, которая содержится в управляющем сигнале. Управляющий сигнал формируют органы управления. Передачу сигнала от органа управления входному устройству компьютера осуществляют посредством оптического потока, создаваемого пальцем руки. В качестве входного устройства используют сенсор, например ПЗС, преобразующий оптический поток в цифровой электрический сигнал. Далее электрический сигнал обрабатывают с помощью устройства обработки цифровой информации. В результате на вход устройства обработки цифровой информации подается двумерный байтовый массив, линейные размеры которого соответствуют формату входного изображения. При этом специальной программой производят нахождение некоторых структурных, геометрических, цветовых признаков и признаков движения органа управления, приведенных выше и соответствующих модели органа управления. Это производится по алгоритму, включающему два этапа, которые выполняют последовательно: первый - предобработка исходных изображений, содержащих орган управления - палец, представленных в виде цифрового электрического сигнала; второй - обработка и анализ предобработанных изображений. Control object - the cursor occupies on the computer screen a position determined by the information contained in the control signal. The control signal is formed by the controls. The signal from the control to the input device of the computer is transmitted by means of an optical stream created by the finger of the hand. As an input device, a sensor is used, for example, a CCD, which converts the optical stream into a digital electrical signal. Next, the electrical signal is processed using a digital information processing device. As a result, a two-dimensional byte array is supplied to the input of the digital information processing device, the linear dimensions of which correspond to the format of the input image. At the same time, a special program is used to find some structural, geometric, color, and motion signs of the control body given above and corresponding to the model of the control body. This is done according to an algorithm that includes two stages that are performed sequentially: the first is the preprocessing of the original images containing the control - a finger, presented in the form of a digital electrical signal; the second is processing and analysis of pre-processed images.

В процессе предобработки производят выделение внешних и/или внутренних контуров движущихся объектов в исходных изображениях. Путем усреднения по цветам или методом главных компонент преобразуют цветные изображения в полутоновые. Одним из известных локальных методов, например сверткой с Лапласианом, выделяют контура. Сверткой с Гауссианом удаляют шумы сенсора. Пороговой бинаризацией, вычитанием последовательных кадров и логической фильтрацией устраняют разрывы контуров. В результате предобработки получают временной набор двумерных контурных изображений движущихся объектов. На втором этапе производят анализ контурных изображений для каждого момента времени. При этом находят и выделяют отрезки верхних границ движущихся контуров, например методом анализа второй производной от функции, описывающей контур по пути обхода контура. Производят провязку точек контура вниз от найденных отрезков верхних границ движущихся контуров. Составляют списки движущихся контуров. Производят расчет геометрических признаков, являющихся параметрами модели органа управления - пальца. В качестве примера модели органа управления можно использовать совокупность следующих признаков:
1 - наличие двух параллельных прямых в контуре, соединенных сверху выпуклой кривой;
2 - число, равное отношению длин параллельных линий к расстоянию между ними;
3 - средний уровень цветности внутри контура.
In the process of pre-processing, the external and / or internal contours of moving objects are selected in the original images. By averaging over colors or using the principal component method, color images are converted to grayscale. One of the known local methods, for example, convolution with Laplacian, isolate the contour. With a convolution with a Gaussian, the noise of the sensor is removed. Threshold binarization, subtraction of successive frames and logical filtering eliminate contour breaks. As a result of pre-processing, a temporary set of two-dimensional contour images of moving objects is obtained. At the second stage, the analysis of contour images for each point in time is performed. In this case, segments of the upper boundaries of the moving contours are found and extracted, for example, by analyzing the second derivative of the function that describes the contour along the path of the circuit. Make points of the contour points down from the found segments of the upper boundaries of the moving contours. Make lists of moving contours. They calculate the geometric features that are the parameters of the model of the control body - the finger. As an example of a model of a governing body, a combination of the following features can be used:
1 - the presence of two parallel lines in the circuit, connected on top of a convex curve;
2 - a number equal to the ratio of the lengths of parallel lines to the distance between them;
3 - average color level inside the contour.

В результате обработки предобработанных изображений получают несколько наборов признаков, соответствующих части из обнаруженных контуров, удовлетворяющих модели органа управления. Далее производится их сравнение с эталонными параметрами модели органа управления, хранящимися в запоминающем устройстве устройства обработки. По результатам сравнения определяется контур, в наибольшей степени соответствующий эталону. As a result of processing the pre-processed images, several sets of features are obtained that correspond to part of the detected circuits that satisfy the control model. Further, they are compared with the reference parameters of the model of the control body stored in the storage device of the processing device. Based on the results of the comparison, the contour is determined that best corresponds to the standard.

Для этого контура производят поиск верхней точки, координаты которой фиксируют в системе координат исходного изображения. Визуализация положения курсора на экране дисплея осуществляют с учетом режима экранного разрешения путем подсчета масштабных коэффициентов. В результате этой операции на экране появляется изображение курсора, соответствующее относительному положению органа управления-пальца в поле зрения оптического датчика. For this contour, a top point is searched, the coordinates of which are fixed in the coordinate system of the original image. Visualization of the cursor position on the display screen is carried out taking into account the screen resolution mode by calculating scale factors. As a result of this operation, a cursor image appears on the screen corresponding to the relative position of the finger control in the field of view of the optical sensor.

Перемещение курсора по экрану осуществляют в режиме реального времени в зависимости от перемещения органа управления-пальца. Moving the cursor on the screen is carried out in real time, depending on the movement of the control-finger.

Для реализации команд, соответствующих нажатиям клавиш манипулятора "мышь" компьютера, используют определенные жесты, например, других пальцев той же ладони. To implement the commands corresponding to the keystrokes of the computer mouse, certain gestures are used, for example, of other fingers of the same palm.

При этом распознавание жестов производят по алгоритму, описанному выше. В качестве примера подобных жестов можно использовать однократные и/или многократные отклонения большого пальца той же ладони, которые будут соответствовать одинарному или двойному нажатию клавиш манипулятора "мышь" компьютера. In this case, gesture recognition is performed according to the algorithm described above. As an example of such gestures, you can use single and / or multiple deviations of the thumb of the same palm, which will correspond to a single or double keystroke of the computer mouse.

Данный способ может быть использован для ввода команд и данных в компьютер в условиях, когда использование традиционного манипулятора "мышь" компьютера затруднено или нежелательно по гигиеническим соображениям и соображениям сохранности имущества. Способ может найти широкое применение при работе с компьютером и другими устройствами дистанционного управления: беспроводные и бесклавиатурные устройства ввода команд и данных для банкоматов, игровых автоматов, уличных электронных справочных систем. This method can be used to enter commands and data into a computer in conditions when the use of a traditional computer mouse is difficult or undesirable for reasons of hygiene and property preservation. The method can be widely used when working with a computer and other remote control devices: wireless and keyboardless input devices for commands and data for ATMs, slot machines, street electronic help systems.

Рассмотренными примерами не исчерпываются все возможные применения предложенного способа. The considered examples do not exhaust all possible applications of the proposed method.

Кроме пальца, используемого в качестве органа управления, могут быть использованы и другие части человеческого тела: кисть руки, голова, туловище и т. д. При этом алгоритм распознавания сохраняется, меняется лишь модель органа управления. In addition to the finger used as a control, other parts of the human body can also be used: hand, head, trunk, etc. At the same time, the recognition algorithm is saved, only the model of the control changes.

Способ может найти широкое применение: для дистанционного управления вычислительными, справочно-информационными устройствами, манипуляторами, телекоммуникационными устройствами и другими, в которых в качестве сигналов управления можно использовать жесты человека. The method can be widely used: for remote control of computing, reference and information devices, manipulators, telecommunication devices and others, in which human gestures can be used as control signals.

Claims (5)

1. Способ дистанционного управления, включающий операции формирования управляющего сигнала органом управления, передачу с помощью оптического потока информации об управляющем сигнале от органа управления ко входу устройства обработки информации, операцию идентификации и интерпретации информации об управляющем сигнале, выявляющей системные команды, управляющие работой объекта управления, отличающийся тем, что формирование управляющего сигнала осуществляют посредством положения и состояния в пространстве и времени, по крайней мере, одной части человеческого тела, передачу информации о управляющем сигнале от органа управления к устройству обработки осуществляют посредством оптического потока, создаваемого органом управления, идентификацию и интерпретацию информации о управляющем сигнале, которую несет оптический поток, производят путем выявления в световом потоке, по крайней мере, одного из структурных, геометрических, цветовых признаков органа управления и признаков движения органа управления, сравнения выявленных признаков управляющего органа с параметрами модели органа управления, хранящимися в запоминающем устройстве устройства обработки и представляющими собой характерные структурные, геометрические, цветовые признаки и признаки движения, кодирующие системные команды, а системные команды, управляющие работой объекта управления, формируют по результатам упомянутого сравнения выявленных признаков с параметрами упомянутой модели. 1. A remote control method, including the operation of generating a control signal by a control element, transmitting information on a control signal from the control element to the input of an information processing device using an optical stream, an operation for identifying and interpreting information about a control signal that identifies system commands that control the operation of the control object, characterized in that the formation of the control signal is carried out by means of position and state in space and time, at least one part of the human body, the transmission of information about the control signal from the control to the processing device is carried out by means of the optical stream created by the control, identification and interpretation of information about the control signal carried by the optical stream is carried out by identifying at least one of the light stream from structural, geometric, color signs of the control body and signs of movement of the control body, comparing the identified signs of the governing body with the parameters models of the control body stored in the storage device of the processing device and representing characteristic structural, geometric, color and motion signs encoding system commands, and system commands that control the operation of the control object are formed according to the results of said comparison of the identified signs with the parameters of the mentioned model. 2. Способ дистанционного управления по п.1, отличающийся тем, что в качестве органа управления используют, по крайней мере, один палец кисти руки, а в световом потоке, создаваемом органом управления, выявляют структурные и цветовые признаки пальца и признаки его движения. 2. The remote control method according to claim 1, characterized in that at least one finger of the hand is used as the control element, and structural and color signs of the finger and signs of its movement are detected in the light flux generated by the control element. 3. Способ дистанционного управления по п.1, отличающийся тем, что в качестве органа управления используют кисть руки, а в световом потоке, создаваемом кистью руки, выявляют регулярную структуру в виде, по крайней мере, трех параллельных линий, образованных прижатыми друг к другу пальцами раскрытой ладони кисти руки. 3. The remote control method according to claim 1, characterized in that the hand is used as the control element, and in the light flux generated by the hand, the regular structure is revealed in the form of at least three parallel lines formed pressed against each other fingers of the open palm of the hand. 4. Способ дистанционного управления по одному из пп.1-3, отличающийся тем, что для реализации системных команд используют жесты человека-оператора. 4. The remote control method according to one of claims 1 to 3, characterized in that the gestures of a human operator are used to implement system commands. 5. Способ дистанционного управления по одному из пп.1-4, отличающийся тем, что выявление признаков органа управления и признаков движения органа управления производят по всей области изображения с последующим сужением области поиска до размеров органа управления. 5. The remote control method according to one of claims 1 to 4, characterized in that the detection of signs of the control element and signs of movement of the control element is performed throughout the image area, followed by narrowing the search area to the size of the control element.
RU2000108176A 2000-04-04 2000-04-04 Remote control technique RU2175143C1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
RU2000108176A RU2175143C1 (en) 2000-04-04 2000-04-04 Remote control technique
PCT/RU2000/000503 WO2001075578A1 (en) 2000-04-04 2000-12-13 Remote control method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
RU2000108176A RU2175143C1 (en) 2000-04-04 2000-04-04 Remote control technique

Publications (1)

Publication Number Publication Date
RU2175143C1 true RU2175143C1 (en) 2001-10-20

Family

ID=20232732

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2000108176A RU2175143C1 (en) 2000-04-04 2000-04-04 Remote control technique

Country Status (2)

Country Link
RU (1) RU2175143C1 (en)
WO (1) WO2001075578A1 (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8049719B2 (en) 2006-08-08 2011-11-01 Microsoft Corporation Virtual controller for visual displays
RU2519286C2 (en) * 2007-07-19 2014-06-10 Юрий Маркович Боянжу Contactless computer control method (versions)
RU2552192C2 (en) * 2010-09-17 2015-06-10 Тенсент Текнолоджи (Шенжен) Компани Лимитед Method and system for man-machine interaction based on gestures and machine readable carrier to this end
RU2581013C2 (en) * 2010-11-01 2016-04-10 Томсон Лайсенсинг Method and device for detecting input using gestures
RU2584459C2 (en) * 2010-12-17 2016-05-20 Конинклейке Филипс Электроникс Н.В. Gesture control for monitoring vital body signs

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5335288A (en) * 1992-02-10 1994-08-02 Faulkner Keith W Apparatus and method for biometric identification
EP0622722B1 (en) * 1993-04-30 2002-07-17 Xerox Corporation Interactive copying system
US5686942A (en) * 1994-12-01 1997-11-11 National Semiconductor Corporation Remote computer input system which detects point source on operator
US5900863A (en) * 1995-03-16 1999-05-04 Kabushiki Kaisha Toshiba Method and apparatus for controlling computer without touching input device
RU2123718C1 (en) * 1996-09-27 1998-12-20 Кузин Виктор Алексеевич Method for information input to computer

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8049719B2 (en) 2006-08-08 2011-11-01 Microsoft Corporation Virtual controller for visual displays
US8115732B2 (en) 2006-08-08 2012-02-14 Microsoft Corporation Virtual controller for visual displays
US8552976B2 (en) 2006-08-08 2013-10-08 Microsoft Corporation Virtual controller for visual displays
RU2519286C2 (en) * 2007-07-19 2014-06-10 Юрий Маркович Боянжу Contactless computer control method (versions)
RU2552192C2 (en) * 2010-09-17 2015-06-10 Тенсент Текнолоджи (Шенжен) Компани Лимитед Method and system for man-machine interaction based on gestures and machine readable carrier to this end
RU2581013C2 (en) * 2010-11-01 2016-04-10 Томсон Лайсенсинг Method and device for detecting input using gestures
RU2584459C2 (en) * 2010-12-17 2016-05-20 Конинклейке Филипс Электроникс Н.В. Gesture control for monitoring vital body signs

Also Published As

Publication number Publication date
WO2001075578A1 (en) 2001-10-11

Similar Documents

Publication Publication Date Title
Keskin et al. Real time hand tracking and 3d gesture recognition for interactive interfaces using hmm
KR101514169B1 (en) Information processing device, information processing method, and recording medium
JP3863809B2 (en) Input system by hand image recognition
US9959463B2 (en) Gesture recognition system using depth perceptive sensors
US10242255B2 (en) Gesture recognition system using depth perceptive sensors
JP5403699B2 (en) Finger shape estimation device, finger shape estimation method and program
Malassiotis et al. A gesture recognition system using 3D data
KR100862349B1 (en) User interface system based on half-mirror using gesture recognition
JP6066093B2 (en) Finger shape estimation device, finger shape estimation method, and finger shape estimation program
TWI471815B (en) Gesture recognition device and method
JP2016520946A (en) Human versus computer natural 3D hand gesture based navigation method
JPH10214346A (en) Hand gesture recognizing system and its method
WO2003071410A2 (en) Gesture recognition system using depth perceptive sensors
CN103092334B (en) Virtual mouse driving device and virtual mouse simulation method
Kalsh et al. Sign language recognition system
KR102052449B1 (en) System for virtual mouse and method therefor
JP6651388B2 (en) Gesture modeling device, gesture modeling method, program for gesture modeling system, and gesture modeling system
RU2175143C1 (en) Remote control technique
KR101281461B1 (en) Multi-touch input method and system using image analysis
US8232964B2 (en) Apparatus for operating objects and a method for identifying markers from digital image frame data
KR101404018B1 (en) Device for recognizing the hand gesture and method thereof
KR101967858B1 (en) Apparatus and method for separating objects based on 3D depth image
CN102778951A (en) Input device and input method employing virtual key
Khan et al. Computer vision based mouse control using object detection and marker motion tracking
JP5217917B2 (en) Object detection and tracking device, object detection and tracking method, and object detection and tracking program

Legal Events

Date Code Title Description
MM4A The patent is invalid due to non-payment of fees

Effective date: 20080405