[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

RU2541192C1 - Device for determination of characteristics of materials - Google Patents

Device for determination of characteristics of materials Download PDF

Info

Publication number
RU2541192C1
RU2541192C1 RU2013153482/08A RU2013153482A RU2541192C1 RU 2541192 C1 RU2541192 C1 RU 2541192C1 RU 2013153482/08 A RU2013153482/08 A RU 2013153482/08A RU 2013153482 A RU2013153482 A RU 2013153482A RU 2541192 C1 RU2541192 C1 RU 2541192C1
Authority
RU
Russia
Prior art keywords
images
image
segments
calibration
relative
Prior art date
Application number
RU2013153482/08A
Other languages
Russian (ru)
Inventor
Артемий Александрович Котов
Борис Митрофанович Величковский
Сергей Александрович Шевчик
Борис Борисович Величковский
Original Assignee
Федеральное государственное бюджетное учреждение "Национальный исследовательский центр "Курчатовский институт"
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Федеральное государственное бюджетное учреждение "Национальный исследовательский центр "Курчатовский институт" filed Critical Федеральное государственное бюджетное учреждение "Национальный исследовательский центр "Курчатовский институт"
Priority to RU2013153482/08A priority Critical patent/RU2541192C1/en
Application granted granted Critical
Publication of RU2541192C1 publication Critical patent/RU2541192C1/en

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

FIELD: measurement equipment.
SUBSTANCE: method of identification of line-of-sight consists in that two or more image detectors are positioned, and their positions are unknown in proper time, in the space area a reference fragment is placed which is an image or object with the known texture, colour and sizes, so that to make it visible for all image detectors simultaneously, pre-calibration using the named reference fragments is performed, or the named calibration is performed directly during measurements, simultaneously the images are received from all image detectors, for each obtained image the object area is localised with selection on it of local features, on each image the local features related to the reference fragment, a three-dimensional model of mutual position of local features with reference to each other is constructed, and also with reference to the image detectors, an actual spatial position of the object segments is determined using the results of calibration, the assessment of the line-of-sight is performed.
EFFECT: possibility of increase of amount of image detectors at absence of requirements to their mutual position, automatic system calibration in real time mode and improvement of measurement accuracy.
9 cl, 4 dwg

Description

Изобретение относится к контрольно-измерительной технике и может быть использовано для измерения направления линии взгляда в процессе выполнения человеком когнитивных задач, а также для реализации интерфейсов, чувствительных к вниманию, в интерфейсах глаз-мозг-компьютер, в системах, осуществляющих коммуникацию между людьми с нарушениями моторных функций (печать текста взглядом с использованием интерактивной клавиатуры).The invention relates to a control and measuring technique and can be used to measure the direction of the line of sight in the process of performing cognitive tasks by a person, as well as to implement attention-sensitive interfaces in eye-brain-computer interfaces, in systems that communicate between people with impaired motor functions (print text with an eye using an interactive keyboard).

Уровень техникиState of the art

Техника относится к системам регистрации движений глаз. Обработка визуальной информации изучается в рамках прикладных когнитивных наук многие десятилетия [3, 4, 5, 9]. Одним из результатов исследований стало открытие связи между динамикой движений глаз и параметрами восприятия зрительной информации [4, 5, 6]. Это открыло возможность создания принципиально новых методов измерения зрительного внимания и распознавания намерений пользователя [4, 5, 8, 14]. Практическая значимость заключается в возможности создания уникальных технологий, обеспечивающих интерфейс взаимодействия человека с техническими системами посредством взгляда. Область применения таких систем довольно широка и может включать такие практические приложения, как дистанционное управление автономными робототехническими системами и технологическими процессами при одновременном контроле состояния человека-оператора.The technique relates to eye movement recording systems. The processing of visual information has been studied in the framework of applied cognitive sciences for many decades [3, 4, 5, 9]. One of the research results was the discovery of the relationship between the dynamics of eye movements and the parameters of perception of visual information [4, 5, 6]. This opened up the possibility of creating fundamentally new methods for measuring visual attention and recognizing user intentions [4, 5, 8, 14]. The practical significance lies in the possibility of creating unique technologies that provide the interface of human interaction with technical systems through gaze. The scope of such systems is quite wide and may include such practical applications as remote control of autonomous robotic systems and technological processes while monitoring the state of the human operator.

Несмотря на значительное количество накопленных знаний в области когнитивных наук, создание устройств, которые бы в полной мере реализовали описанные выше возможности, представляет сложную техническую задачу. Многолетний опыт использования традиционных методов позволил сформулировать основные требования к подобным системам в целом:Despite the considerable amount of accumulated knowledge in the field of cognitive sciences, the creation of devices that would fully realize the above possibilities presents a difficult technical problem. Many years of experience using traditional methods allowed us to formulate the basic requirements for such systems in general:

1. Возможность бесконтактной, дистанционной регистрации движения зрачка.1. The possibility of non-contact, remote registration of the movement of the pupil.

2. Отсутствие ограничений на естественные движения пользователя.2. No restrictions on the user's natural movements.

3. Использование пассивных методов регистрации (без специальной подсветки или обучения пользователя).3. Using passive registration methods (without special highlighting or user training).

Последнее требование обусловлено необходимостью в ряде случаев проводить длительные наблюдения за человеком, в то время как наличие подсветки накладывает значительные временные ограничения на подобные измерения (вследствие накопления дозы излучения). Частичное достижение вышеперечисленных требований стало возможным только с появлением относительно дешевых устройств регистрации изображений на базе матричных фотодетекторов (ПЗС, КМОП). Функциональность подобных систем полностью обеспечивается алгоритмами обработки изображений. В состав таких систем входит непосредственно само устройство регистрации изображений (одно или несколько), а также вычислительный модуль (в большинстве коммерческих вариантов это персональный компьютер), обеспечивающий обработку полученных изображений в режиме реального времени. Алгоритмы обработки изображений при этом реализуют сложные многоэтапные математические методы, которые обычно последовательно производят поиск лица и глаз пользователей на изображении, поиск зрачка, его оконтуривание, вычисление пространственного положения пользователя и определение линии взгляда. На сегодняшний день доступны несколько коммерческих систем, имеющих описанную выше архитектуру [7, 8]. Несмотря на значительные преимущества по сравнению с традиционными контактными методами, такие системы по-прежнему обладают рядом значительных недостатков, основными из которых являются:The latter requirement is due to the need in some cases to conduct long-term observations of a person, while the presence of backlighting imposes significant time limitations on such measurements (due to the accumulation of radiation dose). Partial achievement of the above requirements became possible only with the advent of relatively cheap image recording devices based on matrix photodetectors (CCD, CMOS). The functionality of such systems is fully provided by image processing algorithms. The composition of such systems includes the image registration device itself (one or several), as well as a computational module (in most commercial options it is a personal computer), which provides processing of the received images in real time. Image processing algorithms at the same time implement complex multi-stage mathematical methods that usually consistently search for the face and eyes of users in the image, search for the pupil, outline it, calculate the spatial position of the user and determine the line of sight. To date, several commercial systems are available that have the architecture described above [7, 8]. Despite significant advantages compared to traditional contact methods, such systems still have a number of significant disadvantages, the main of which are:

- Ограниченность пространства, в котором производится регистрация, и, как следствие, ограничение на естественные движения пользователя;- The limited space in which registration is performed, and, as a result, the restriction on the user's natural movements;

- В ряде случаев наличие засветки для вычисления пространственного положения пользователя, что накладывает ограничения на время измерений (вследствие накопления дозы облучения).- In some cases, the presence of light to calculate the spatial position of the user, which imposes restrictions on the measurement time (due to the accumulation of the radiation dose).

Настоящее решение предлагает пассивный метод регистрации направленности линии взгляда, а также дает возможность увеличения количества устройств регистрации изображений с возможностью их свободной расстановки. При этом калибровка системы может производиться автоматически, в режиме реального времени.This solution offers a passive method of registering the directivity of the line of sight, and also makes it possible to increase the number of image registration devices with the possibility of their free arrangement. In this case, the system calibration can be performed automatically, in real time.

Обзор аналоговOverview of analogues

Известно техническое решение [14], в котором осуществляется подсветка объекта несколькими источниками излучения, которые формируют световой паттерн на поверхности объекта. В качестве объекта рассматривается глаз пользователя. Производят регистрацию изображений объекта, содержащих отражение светового паттерна. Производят обнаружение объекта путем обработки полученных изображений, содержащих световой паттерн и образ объекта. По положению паттерна определяют пространственное положение объекта. Основным недостатком системы является наличие активной засветки, а также регистрация изображений в спектральном диапазоне излучателя. В системе необходимо совместить излучатель с полем зрения устройства регистрации изображений. Отличие предлагаемого решения заключается в использовании пассивных методов, основанных на регистрации и обработки изображений, без какого-либо облучения объекта. Вместо обнаружения отраженных световых паттернов предлагаемый метод использует обнаружение локальных особенностей объекта, принадлежащих его конкретным сегментам. Метод основан на обработке изображений без использования дополнительных источников. Также предлагаемая система допускает свободную расстановку компонент, входящих в ее состав (устройства регистрации изображений), в то время как в приведенном выше патенте необходимо строгое положение устройства регистрации и излучателя.A technical solution is known [14], in which the object is illuminated by several radiation sources that form a light pattern on the surface of the object. As an object, the user's eye is considered. The images of the object containing the reflection of the light pattern are recorded. The object is detected by processing the obtained images containing the light pattern and the image of the object. The position of the pattern determines the spatial position of the object. The main disadvantage of the system is the presence of active illumination, as well as the registration of images in the spectral range of the emitter. In the system, it is necessary to combine the emitter with the field of view of the image recording device. The difference of the proposed solution is the use of passive methods based on registration and image processing, without any irradiation of the object. Instead of detecting reflected light patterns, the proposed method uses the detection of local features of an object belonging to its specific segments. The method is based on image processing without the use of additional sources. Also, the proposed system allows the free arrangement of the components included in its composition (image registration device), while in the above patent a strict position of the registration device and the emitter is necessary.

Известно решение [15] для систем регистрации движений глаз, в котором производится подсветка объекта (лицо пользователя) несколькими низкоинтенсивными источниками ближнего ИК-диапазона. Производится регистрация изображений подсвеченного излучением объекта и его сегментов. Производится локализация данного объекта и его сегментов путем пороговой обработки изображений. Вычисляется положение объекта и его сегментов на изображении. В изобретении не описаны методы определения пространственного положения объекта и его сегментов, а также определения линии взгляда. Отличием изобретения [15] от настоящего является метод локализации объекта на изображении. В предлагаемом методе локализация осуществляется путем обнаружения локальных особенностей, присущих объекту и его сегментам. Данный метод является пассивным и не требует дополнительно засветки. Определение пространственного положения объекта и его сегментов с использованием [15] может быть затруднено в связи с отсутствием необходимого числа локальных особенностей (для решения такой задачи необходимо минимум пять локальных особенностей).A solution is known [15] for eye movement registration systems in which an object (user’s face) is illuminated by several low-intensity sources of the near infrared range. Registration of images of an object illuminated by radiation and its segments is carried out. Localization of this object and its segments is performed by threshold image processing. The position of the object and its segments in the image is calculated. The invention does not describe methods for determining the spatial position of an object and its segments, as well as determining a line of sight. The difference between the invention [15] and the present is the method of localizing the object in the image. In the proposed method, localization is carried out by detecting local features inherent in the object and its segments. This method is passive and does not require additional exposure. Determining the spatial position of an object and its segments using [15] can be difficult due to the lack of the required number of local features (to solve this problem, at least five local features are needed).

Также известно решение [8], в котором производится засветка объекта источниками излучения, где излучение сформировано в паттерн. Производится регистрация изображений объекта с последующей обработкой данных изображений. Целью такой обработки является локализация объекта и его сегментов на изображениях (лицо и глаза), а также локализация на изображениях отраженного от объекта светового паттерна. Вычисление пространственного положения объекта осуществляется путем анализа ориентации и размеров отраженного светового паттерна от объекта и локализованного на изображениях. Производится определение линии взгляда. Отличие предлагаемого метода от [8] состоит в использовании пассивных методов определения направленности линии взгляда. Определение пространственного положения объекта и его сегментов при этом осуществляется методами построения трехмерной модели (в которую входит взаимное пространственное положение локальных особенностей объекта и его сегментов) по серии изображений, полученными под разными ракурсами (с использованием эпиполярной геометрии, методы которой приведены в [8]). При этом, как и в предыдущих изобретениях, методу не требуется четкая фиксация положения устройств регистрации изображений, тогда как в активных системах необходимо фиксированное положение излучателя относительно детектора.Also known is the solution [8], in which the object is illuminated by radiation sources, where the radiation is formed into a pattern. The images of the object are registered with the subsequent processing of the image data. The purpose of this processing is to localize the object and its segments in the images (face and eyes), as well as localization in the images of the light pattern reflected from the object. The spatial position of the object is calculated by analyzing the orientation and dimensions of the reflected light pattern from the object and localized in the images. The line of sight is determined. The difference of the proposed method from [8] is the use of passive methods for determining the directivity of the line of sight. The spatial position of the object and its segments is determined by the methods of constructing a three-dimensional model (which includes the mutual spatial position of the local features of the object and its segments) from a series of images obtained from different angles (using epipolar geometry, the methods of which are given in [8]) . In this case, as in previous inventions, the method does not require a clear fixation of the position of image recording devices, whereas in active systems a fixed position of the emitter relative to the detector is required.

Также известно решение [10], в котором производится регистрация изображений объекта, обработка этих изображений с последующей локализацией объекта на изображениях без использования активных систем, а также определения линии взгляда. К основному недостатку этого решения является регистрация изображений объекта с одного ракурса (используется однокамерная система). Это в значительной степени ограничивает естественные движения пользователя. Использование нескольких регистрирующих устройств с целью расширения области регистрации и снятия ограничений на естественные движения пользователя в данной системе не представляется возможной. Направление линии взгляда приводится в координатах, привязанных непосредственно к каждому устройству регистрации изображений. Область регистрации определена исключительно полем зрения самого регистрирующего устройства. В предлагаемом изобретении возможно использование нескольких устройств, снимающих объект с разных ракурсов. Определение направления линии взгляда производится в системе координат, привязанной ко всем устройствам одновременно. Существует возможность расширения области регистрации путем наращивания количества регистрирующих устройств.Also known is the solution [10], in which the registration of images of an object is carried out, processing of these images with subsequent localization of the object in the images without using active systems, as well as determining the line of sight. The main disadvantage of this solution is the registration of object images from one angle (using a single-camera system). This greatly limits the user's natural movements. The use of several recording devices in order to expand the registration area and remove restrictions on the user's natural movements in this system is not possible. The direction of the line of sight is given in coordinates tied directly to each image recording device. The recording area is determined solely by the field of view of the recording device itself. In the present invention, it is possible to use several devices that take an object from different angles. The determination of the direction of the line of sight is made in the coordinate system attached to all devices simultaneously. It is possible to expand the registration area by increasing the number of recording devices.

Другим решением для определения направления линии взгляда является способ, предложенный в [1]. В работе производится регистрация изображений объекта и его сегментов (лицо и глаза пользователя), производится поиск локальных особенностей объекта и его сегментов на изображениях и с помощью обнаруженных локальных особенностей производится локализация объекта и его сегментов на каждом изображении. Пространственное положение объекта и его сегментов определяется путем восстановления трехмерной модели объекта по серии обычных двухмерных изображений, снятых с различных ракурсов (методы эпиполярной геометрии) [2]. Another solution for determining the direction of the line of sight is the method proposed in [1]. In the work, the images of the object and its segments are recorded (the face and eyes of the user), the local features of the object and its segments are searched for on the images, and using the detected local features, the object and its segments are localized on each image. The spatial position of the object and its segments is determined by restoring a three-dimensional model of the object from a series of ordinary two-dimensional images taken from various angles (methods of epipolar geometry) [2].

Трехмерная модель содержит взаимное пространственное положение обнаруженных локальных особенностей друг относительно друга, а также относительно устройств регистрации изображений. Последним шагом определяется направление линии взгляда. Описанный метод имеет один недостаток. Построенная трехмерная модель содержит информацию только о взаимном относительном положении локальных особенностей друг относительно друга и относительно устройств регистрации изображений. Определение реального масштаба взаимного положения особенностей в работе [1] осуществляется заранее известным положением регистрирующих устройств, а также известными данными о внутренних параметрах устройств регистрации изображений (intrinsic parameters). В такой схеме необходима предварительная настройка системы в части расстановки камер. Смещение их положения в процессе работы приведет к невозможности дальнейших вычислений. В предлагаемом изобретении реальный масштаб определяется непосредственно перед или же в процессе самих вычислений с использованием референсного фрагмента, при этом не требуется информации о взаимном положении устройств регистрации изображений, а также данных их внутренних параметров.The three-dimensional model contains the mutual spatial position of the detected local features relative to each other, as well as relative to image recording devices. The last step is determining the direction of the line of sight. The described method has one drawback. The constructed three-dimensional model contains information only on the relative relative position of local features relative to each other and relative to image recording devices. The real scale of the relative position of the features in the work [1] is determined by the previously known position of the recording devices, as well as the known data on the internal parameters of image recording devices (intrinsic parameters). In such a scheme, the system must be pre-configured in terms of camera placement. The displacement of their position during operation will lead to the impossibility of further calculations. In the present invention, the real scale is determined immediately before or in the process of the calculations themselves using the reference fragment, and information on the relative position of the image recording devices, as well as data on their internal parameters, is not required.

Способ определения направления линии взглядаThe way to determine the direction of the line of sight

Наиболее близким к предлагаемому способу определения направления линии взгляда является способ, описанный в [13]. В изобретении линия взгляда определяется с использованием минимум трех устройств регистрации изображений. Аналогично предлагаемому решению производится регистрация объекта и его сегментов, производится локализация сегментов объекта на каждом из изображений. Пространственное положение сегментов осуществляется путем сопоставления положения сегментов объекта минимум на трех изображениях. Определяется направление линии взгляда.Closest to the proposed method for determining the direction of the line of sight is the method described in [13]. In the invention, the line of sight is determined using at least three image recording devices. Similarly to the proposed solution, the object and its segments are registered, and the object segments are localized on each of the images. The spatial position of the segments is carried out by comparing the position of the segments of the object in at least three images. The direction of the line of sight is determined.

Описанный метод имеет ряд недостатков. Поскольку для построения трехмерной модели используются только две точки (в качестве которых выбираются сегменты объекта), то для определения их пространственного положения необходимо три изображения. При этом необходимым условием является фиксация положения устройств регистрации изображений друг относительно друга. В предлагаемом методе не требуется фиксированного положения устройств регистрации изображений, а их взаимное положение определяется в процессе измерений. Также для определения пространственного положения объекта и сегментов объекта для предлагаемого метода необходимо наличие всего двух устройств регистрации изображений.The described method has several disadvantages. Since only two points are used to build a three-dimensional model (which are used to select segments of the object), three images are needed to determine their spatial position. In this case, a necessary condition is to fix the position of the image registration devices relative to each other. In the proposed method, the fixed position of the image registration devices is not required, and their relative position is determined during the measurement process. Also, to determine the spatial position of the object and object segments for the proposed method, it is necessary to have only two image registration devices.

Таким образом, решаемая в рамках данного способа техническая задача состоит в том, чтобы обеспечить определение линии взгляда, используя несколько изображений, полученных с нескольких ракурсов, при неизвестном положении самих устройств регистрации изображений. При этом пространство, по которому производится регистрация изображений, может быть неограниченно расширено путем увеличения количества устройств регистрации изображений при полном отсутствии каких-либо требований к их взаимному положению. Калибровка такой системы производится автоматически, без участия оператора, перед или непосредственно в процессе измерений. Все вычисления ведутся в реальных координатах, что обеспечивает точные измерения даже в случае изменения взаимного положения устройств регистрации изображений. Таким образом, это приводит к расширению функциональных возможностей способа и повышению его точности.Thus, the technical problem to be solved within the framework of this method is to ensure the determination of the line of sight using several images obtained from several angles with an unknown position of the image recording devices themselves. At the same time, the space through which images are recorded can be expanded unlimitedly by increasing the number of image registration devices in the complete absence of any requirements for their mutual position. Calibration of such a system is carried out automatically, without operator intervention, before or directly in the measurement process. All calculations are carried out in real coordinates, which ensures accurate measurements even in case of a change in the relative position of the image recording devices. Thus, this leads to the expansion of the functionality of the method and increase its accuracy.

Техническая задача решается предложенной совокупностью существенных признаков.The technical problem is solved by the proposed set of essential features.

Способ определения направления линии взгляда, состоящий в том, что устанавливают произвольно не менее двух устройств регистрации изображений (УРИ), производят калибровку системы УРИ с использованием референсного фрагмента (РФ), в результате которой определяют коэффициент реального масштаба трехмерной модели, после чего регистрируют объект с разных ракурсов, находят локальные особенности (ЛО) сегментов объекта, на основании полученных ЛО из нескольких изображений строят трехмерную модель, отражающую пространственное положение ЛО сегментов объекта друг относительно друга, а также относительно УРИ и содержащую информацию в относительных координатах, далее с учетом данных калибровки пересчитывают положения указанных ЛО из относительных координат трехмерной модели в реальные координаты, проецируют ЛО сегментов объекта из трехмерной модели на исходные изображения и производят оконтуривание сегментов объекта на этих двумерных изображениях, производят расчет ориентации данных контуров в пространстве и определяют направление линии взгляда путем проведения прямой, проходящей через центр образующего окружность трехмерного контура сегмента объекта и ориентированной вдоль нормали трехмерной плоскости, в которой находится данный контур.A method for determining the direction of the line of sight, which consists in the fact that at least two image recording devices (SIDs) are set arbitrarily, a SID system is calibrated using a reference fragment (RF), as a result of which the real-scale coefficient of a three-dimensional model is determined, and then an object different angles, find local features (LO) of the segments of the object, based on the received LOs from several images build a three-dimensional model that reflects the spatial position of the LO segments nt object relative to each other, as well as relative to the URI and containing information in relative coordinates, then, taking into account the calibration data, recalculate the positions of the specified LO from the relative coordinates of the three-dimensional model into real coordinates, project the LO of the object segments from the three-dimensional model onto the original images and outline the object segments on these two-dimensional images, they calculate the orientation of these contours in space and determine the direction of the line of sight by drawing a straight line, walking through the center of a circle forming a three-dimensional contour of an object segment and oriented along the normal to the three-dimensional plane in which this contour is located.

При этом:Wherein:

- для определения реального масштаба используются ЛО, принадлежащие РФ;- to determine the real scale are used LO belonging to the Russian Federation;

- положение РФ фиксировано в пространстве;- The position of the Russian Federation is fixed in space;

- положение РФ изменяют в процессе измерений;- the position of the Russian Federation is changed during the measurement process;

- РФ расположен в поле зрения ПЗ УРИ в процессе измерений;- The Russian Federation is located in the field of view of the URZ PZ during the measurement process;

- РФ после калибровки располагают в поле зрения ПЗ УРИ периодически;- After calibration, the Russian Federation is placed periodically in the field of view of the URI PP;

- при каждом выполненном измерении взаимное положения УРИ запоминают, а в дальнейшие результаты измерений вносят поправку на изменение положений УРИ путем сравнения сохраненного старого положения и нового;- with each measurement taken, the mutual position of the URI is memorized, and the subsequent measurement results are amended to change the position of the URI by comparing the saved old position and the new one;

- в качестве РФ используют несколько разных изображений, причем калибровку выполняют по любому из этих изображений;- as the RF, several different images are used, and calibration is performed according to any of these images;

- в качестве сегментов объекта используют радужки и/или зрачки глаз объекта/- as the segments of the object using the iris and / or pupils of the eyes of the object /

При расчете направленности взгляда человека производят оконтуривание области зрачка и радужки глаз методами [11, 12] и с использованием анализа проекции данного контура производят расчет направленности линии взгляда, например, аналогично [13], либо с использованием методологии, описанной в [19].When calculating the direction of a person’s gaze, the pupil area and the iris are contoured using methods [11, 12] and using the analysis of the projection of this contour, the direction of the line of sight is calculated, for example, similarly to [13], or using the methodology described in [19].

Способ раскрыт в подробном описании, приведенном ниже, со ссылкой на сопроводительные фигуры, где принятые сокращения:The method is disclosed in the detailed description below, with reference to the accompanying figures, where the accepted abbreviations:

УРИ - устройство регистрации изображений;URI - image registration device;

РФ - референсный фрагмент;RF - reference fragment;

ПЗ - поле зрения;PZ - field of view;

ЛО - локальные особенности.LO - local features.

Фигура 1 - исходные изображения объекта для случая с двумя УРИ-камерами;Figure 1 - source image of the object for the case with two URI cameras;

Фигура 2 - обнаружение лица объекта на приведенной паре изображений с выделенными на нем локальными особенностями ЛО лица и сопоставление этих особенностей для приведенной пары изображений;Figure 2 - detection of the face of an object on a given pair of images with the local features of the face LO highlighted on it and a comparison of these features for a given pair of images;

Фигура 3 - А) пример изображения референсного фрагмента. Б) пример выделения локальных особенностей референсного фрагмента из пары исходных изображений.Figure 3 - A) an example image of a reference fragment. B) an example of isolating local features of a reference fragment from a pair of source images.

Фигура 4 - Пространственное положение локальных неоднородностей друг относительно друга, где круглыми маркерами обозначены неоднородности, принадлежащие объекту, в качестве которого рассматривается лицо пользователя, или сегментам объекта, в качестве которых рассматриваются глаза пользователя (результат обработки, приведенный на Фигуре 2), квадратными маркерами приведены локальные особенности, принадлежащие референсному фрагменту (результат обработки приведен на Фигуре 3). П1 - плоскость в пространстве, в которой находятся локальные особенности лица, П2 - плоскость в пространстве, в которой находятся локальные особенности референсного фрагмента, α, β и µ - углы, характеризующие угловую ориентацию плоскости локальных особенностей, принадлежащих лицу пользователя.Figure 4 - The spatial position of local inhomogeneities relative to each other, where the circular markers denote the heterogeneities belonging to the object, which is considered the face of the user, or segments of the object, which are the eyes of the user (the result of processing shown in Figure 2), square markers are shown local features belonging to the reference fragment (the processing result is shown in Figure 3). P1 is the plane in the space in which local features of the face are located, P2 is the plane in the space in which local features of the reference fragment are located, α, β and µ are the angles characterizing the angular orientation of the plane of local features belonging to the user's face.

Фигура 4, П1 - плоскость 1, в которой находятся локальные особенности, принадлежащие объекту (лицу пользователя), либо, если такие локальные особенности в пространстве не лежат в одной плоскости, то П1 строится как плоскость, проходящая через трехмерное облако точек, формируемое из локальных особенностей объекта и его сегментов, и проходящая таким образом, что сумма расстояний от каждой точки облака до данной плоскости минимальна. Такая плоскость может быть найдена, например, методами наименьших квадратов или методами факторного анализа;Figure 4, P1 - plane 1, in which local features that belong to the object (the user's face) are located, or if such local features in space do not lie in one plane, then P1 is constructed as a plane passing through a three-dimensional cloud of points formed from local features of the object and its segments, and passing in such a way that the sum of the distances from each point of the cloud to a given plane is minimal. Such a plane can be found, for example, by least squares methods or by factor analysis methods;

Фигура 4, П2 - плоскость 2, в которой находятся локальные особенности, принадлежащие референсному объекту.Figure 4, P2 - plane 2, in which there are local features that belong to the reference object.

Описание способаMethod Description

1. Устанавливаются не менее двух устройств регистрации изображений (УРИ), при этом заранее не известно их взаимное положение. УРИ устанавливаются таким образом, чтобы каждая точка пространства, покрываемая системой УРИ, попадала в поле зрения (ПЗ) минимум двух УРИ одновременно. Внутренние параметры (intrinsic parameters) для каждого УРИ заранее известны.1. At least two image recording devices (SIDs) are installed, and their relative position is not known in advance. The SIDs are set so that each point in space covered by the SID system falls into the field of view (PP) of at least two SIDs at the same time. The intrinsic parameters for each URI are known in advance.

2. Систему расставленных УРИ калибруют перед началом измерений. Задача калибровки заключается в нахождении коэффициента реального масштаба трехмерной модели. Калибровка осуществляется путем размещения в ПЗ УРИ некоторого референсного фрагмента (РФ), текстура, размеры и форма которого заранее известны. В качестве такого РФ может быть, например, использован любой трехмерный объект или плоское изображение. Пример такого изображения приведен на Фиг.3, А. Изображение РФ может храниться в памяти вычислительного устройства. Также вместо самого изображения РФ, возможно, запоминать ЛО, принадлежащие данному РФ. При этом также запоминаются расстояния в реальных координатах между данными ЛО. Данная информация может вноситься в память каждый раз перед началом, но не во время вычислений. Калибровку осуществляют путем регистрации всеми УРИ части пространства, содержащей РФ, после чего:2. The system of separated URIs is calibrated before the start of measurements. The calibration task is to find the coefficient of the real scale of the three-dimensional model. Calibration is carried out by placing a reference fragment (RF) in the URZP, the texture, size and shape of which are known in advance. As such an RF, for example, any three-dimensional object or a flat image can be used. An example of such an image is shown in Figure 3, A. The image of the Russian Federation can be stored in the memory of the computing device. Also, instead of the image of the Russian Federation itself, it is possible to remember LOs belonging to this RF. It also remembers the distance in real coordinates between the LO data. This information can be stored every time before the start, but not during the calculation. Calibration is carried out by registration by all the URIs of the part of the space containing the Russian Federation, after which:

2.1. На каждом зарегистрированном изображении выделяют ЛО, принадлежащие РФ. Для этого сначала извлекают все ЛО, принадлежащие данному изображению. Данная операция может производиться методами обнаружения границ Харриса (Harris corner detector) [17], и/или методами, описанными в [16] или [18] (ЛО методами SURF и/или SIFT). Обнаружение ЛО принадлежащих РФ осуществляется путем сравнения каждого ЛО, обнаруженного на изображении, с ЛО РФ, хранящимися в памяти вычислительного устройства. В случае, если в памяти хранится само изображение РФ, извлекают ЛО из данного изображения вышеописанными методами, после чего производят сравнение.2.1. On each registered image, LOs belonging to the Russian Federation are distinguished. To do this, first retrieve all the LO belonging to this image. This operation can be performed using Harris corner detector methods [17] and / or methods described in [16] or [18] (LO methods SURF and / or SIFT). Detection of LOs belonging to the Russian Federation is carried out by comparing each LO detected in the image with the LO of the RF stored in the memory of the computing device. If the image of the RF itself is stored in memory, the LO is extracted from this image by the methods described above, after which a comparison is made.

2.2. Из всех обнаруженных ЛО, принадлежащих РФ, находят те, которые присутствуют на всех изображениях одновременно. В качестве метода поиска таких соответствий можно использовать k-мерные деревья (kd-trees) [20]. Пример поиска РФ на изображении приведен на Фигуре 3, где А - это непосредственно сам РФ, а Б - результат его поиска для случая двух изображений.2.2. Of all detected LOs belonging to the Russian Federation, those are found that are present on all images simultaneously. As a search method for such correspondences, k-dimensional trees (kd-trees) can be used [20]. An example of RF search in the image is shown in Figure 3, where A is the RF itself, and B is the result of its search for the case of two images.

2.3. Используя данные о нахождении каждой ЛО на каждом изображении, вычисляют взаимное положение УРИ. Вычисление взаимного положения УРИ возможно с помощью восьми, семи и пяти обнаруженных на этапе 2.2 соответствий (8, 7, 5 point algorithms) [2].2.3. Using data on the location of each LO in each image, calculate the relative position of the SID. The calculation of the relative position of the URI is possible with the help of eight, seven, and five correspondences (8, 7, 5 point algorithms) detected in step 2.2 [2].

2.4. Для устранения ошибок при поиске соответствий этап 2.3 может использоваться совместно с алгоритмами RANSAC, например отдельными его модификациями из [21]. На данном этапе производится фильтрация ложных ЛО (ЛО, первоначально опознанных как принадлежащие РФ, но на самом деле таковыми не являющимися).2.4. To eliminate errors in the search for matches, step 2.3 can be used in conjunction with RANSAC algorithms, for example, its individual modifications from [21]. At this stage, false LOs are filtered out (LOs that were initially recognized as belonging to the Russian Federation, but are not actually such).

2.5. После нахождения взаимного положения УРИ строят трехмерную модель, отображающую пространственное положение ЛО, принадлежащих РФ, относительно УРИ. В такую модель входят только те ЛО, которые были обнаружены на всех изображениях одновременно (так называемая sparse 3D model [2]). Вычисление пространственного положения ЛО возможно методом триангуляции, описанным в [2].2.5. After finding the mutual position of the URI, a three-dimensional model is constructed that displays the spatial position of the LOs belonging to the Russian Federation relative to the URI. Such a model includes only those LOs that were detected on all images simultaneously (the so-called sparse 3D model [2]). The calculation of the spatial position of the LO is possible by the triangulation method described in [2].

Результатом выполнения шагов 2.2.-2.5. является трехмерная модель, содержащая информацию о взаимном пространственном положении ЛО РФ относительно регистрирующих камер и друг относительно друга, однако не отражающая реальные координаты ЛО (положение ЛО определены с точностью до масштаба). Такая трехмерная модель представлена на Фигуре 4 - квадратные маркеры. Модель представляет собой трехмерное облако точек. Каждая точка в трехмерной модели соответствует ЛО, присутствующей на всех изображениях одновременно. Поскольку в приведенном примере РФ представляет собой плоское изображение, все точки трехмерной модели РФ лежат в плоскости П2. Для случая, когда в качестве РФ используется некоторый трехмерный объект, пространственное положение ЛО повторяет рельеф РФ.The result of steps 2.2.-2.5. is a three-dimensional model containing information on the mutual spatial position of the RF LO relative to the recording chambers and relative to each other, but not reflecting the real coordinates of the LO (the location of the LO is determined to scale). Such a three-dimensional model is presented in Figure 4 - square markers. The model is a three-dimensional cloud of points. Each point in the three-dimensional model corresponds to the LO present on all images simultaneously. Since in the given example the RF is a flat image, all points of the three-dimensional model of the RF lie in the plane P2. For the case when some three-dimensional object is used as the RF, the spatial position of the LO repeats the relief of the RF.

2.6. Вычисление реального масштаба производят следующим методом. Берут любую пару ЛО, присутствующих на всех изображениях (Фигура 3, Б)) и входящих в трехмерную модель. Находят реальное расстояние между этими ЛО, используя информацию о РФ, хранящуюся в памяти (Фигура 3, А)). При этом, если в памяти сохраняется список ЛО РФ, то одновременно с этим для каждой пары ЛО сохраняется и расстояние. Для случая, если в памяти сохраняется изображение РФ, то вычисление расстояния между парой ЛО осуществляется исходя из известных размеров РФ. Выбирают данную пару ЛО в трехмерной модели и вычисляют расстояние между ними в координатах данной модели. Коэффициент пересчета из относительных координат трехмерной модели в реальные координаты приводится как K=M/N, где К - коэффициент пересчета (коэффициент реального масштаба), М - расстояние между парой ЛО в координатах изображения РФ в натуральной величине, N - расстояние между той же самой парой ЛО в координатах трехмерной модели.2.6. The calculation of the real scale is carried out by the following method. Take any pair of LOs present on all images (Figure 3, B)) and included in the three-dimensional model. Find the real distance between these LOs using the information about the Russian Federation stored in memory (Figure 3, A)). Moreover, if the list of RF LOs is stored in memory, then at the same time, for each pair of LOs, the distance is also saved. For the case, if the image of the RF is stored in the memory, then the distance between the pair of LOs is calculated based on the known sizes of the RF. Select this pair of LO in a three-dimensional model and calculate the distance between them in the coordinates of this model. The conversion factor from the relative coordinates of the three-dimensional model into real coordinates is given as K = M / N, where K is the conversion factor (real-scale coefficient), M is the distance between the pair of LOs in the coordinates of the image of the Russian Federation in kind, N is the distance between the same a pair of LOs in the coordinates of a three-dimensional model.

3. Систему расставленных УРИ возможно калибровать один раз перед началом измерений. При этом данные калибровки могут быть запомнены, а впоследствии сам РФ можно убрать из поля зрения УРИ.3. It is possible to calibrate the system of placed URIs once before starting the measurements. In this case, the calibration data can be remembered, and later the RF itself can be removed from the field of view of the URI.

4. Систему расставленных УРИ возможно калибровать непосредственно в процессе самих измерений через фиксированный промежуток времени. Для этого необходимо держать РФ в поле зрения всех камер в процессе измерений.4. It is possible to calibrate the system of placed URIs directly in the process of measurements themselves after a fixed period of time. For this, it is necessary to keep the RF in the field of view of all cameras during the measurement process.

5. Производят непосредственно сами измерения. Регистрируют изображения некоторой части пространства УРИ. Для этого для изображения, полученного с каждого УРИ, осуществляют поиск ЛО, относящихся к сегментам объекта (радужке и/или зрачкам глаз человека). Данный поиск ЛО может осуществляться, например, методами Viola-Jones [22]. Метод использует вейвлет-подобные функции, получаемые из интегрального изображения и описывающие ЛО объекта и его отдельных сегментов (лицо и глаза пользователя). Пример результата обработки исходной пары изображений данным алгоритмом приведен на Фигуре 3.5. Make the measurements themselves. Register images of some part of the URI space. To do this, for the image obtained from each URI, they search for LOs related to segments of the object (the iris and / or pupils of the human eye). This search for LO can be carried out, for example, by Viola-Jones methods [22]. The method uses wavelet-like functions obtained from the integrated image and describing the LO of the object and its individual segments (face and eyes of the user). An example of the result of processing the original pair of images by this algorithm is shown in Figure 3.

6. Далее находят соответствующие ЛО, присутствующие минимум на двух изображениях. Поиск осуществляется аналогично методам из п.2.2. Примеры исходных изображений пользователя, полученных под разными ракурсами УРИ, приведены на Фигуре 1. Результат обнаружения ЛО, присутствующих на всех изображениях одновременно и вычисляемых в соответствии с алгоритмом, описанным в 2.2, приведен на Фигуре 2.6. Next, find the corresponding LOs that are present in at least two images. The search is carried out similarly to the methods from clause 2.2. Examples of the user's original images obtained from different angles of the URI are shown in Figure 1. The result of the detection of LOs present on all images simultaneously and calculated in accordance with the algorithm described in 2.2 is shown in Figure 2.

7. Далее производят вычисление взаимного положения УРИ относительно ЛО, вычисленных на предыдущем этапе. Вычисление производится методами, аналогично 2.4-2.5.7. Next, the mutual position of the URI relative to the LO calculated in the previous step is calculated. The calculation is carried out by methods similar to 2.4-2.5.

8. На основании результатов из п.7 производят триангуляцию и построение трехмерной модели, в качестве элементов которой выступают ЛО, принадлежащие объекту (лицу) и его отдельным сегментам (глазам). Модель строится методами, аналогичными описанным в 2.5.8. Based on the results of paragraph 7, triangulation and construction of a three-dimensional model are performed, the elements of which are LOs that belong to the object (face) and its individual segments (eyes). The model is constructed by methods similar to those described in 2.5.

9. В результате описанной обработки получают трехмерную модель, в которой отражено взаимное пространственное положение ЛО сегментов объекта (глаз) друг относительно друга и относительно УРИ. Такая модель, аналогично 2.6, представляет собой облако точек. Пример такой модели для пары изображений с Фигуры 1 приведен на Фигуре 4 (отмечено круглыми маркерами).9. As a result of the described processing, a three-dimensional model is obtained, which reflects the mutual spatial position of the LO of the object segments (eyes) relative to each other and relative to the SID. Such a model, similarly to 2.6, is a cloud of points. An example of such a model for a pair of images from Figure 1 is shown in Figure 4 (marked with round markers).

10. В случае предварительной калибровки, используя коэффициент реального масштаба, пересчитывают положения ЛО сегментов объекта из относительных координат трехмерной модели в реальные. При этом используют результаты соотношений из 2.6.10. In the case of preliminary calibration, using the coefficient of the real scale, recalculate the position of the LO segments of the object from the relative coordinates of the three-dimensional model in real. In this case, use the results of the relations from 2.6.

11. В случае, если калибровка производится в режиме реального времени (или периодически, через равные промежутки времени), то РФ находится в ПЗ УРИ. В процессе обработки из изображений извлекаются ЛО, принадлежащие сегментам объекта (Фигура 2), а также принадлежащие РФ (Фигура 3), и обработка 2.3-2.5 производится для всех ЛО. Это позволяет повысить устойчивость алгоритмов обработки. Трехмерная модель для этого случая включает в себя два облака точек (соответствующих ЛО объекта, его сегментов, а также РФ). Дифференциация точек ЛО может производиться с использованием данных о РФ, хранящихся в памяти вычислительного устройства (как изображения самого РФ, или как списка ЛО, принадлежащих ему). Пример приведен на Фигуре 4 (круглые и квадратные маркеры). Аналогично предварительной калибровке производится расчет коэффициента реального масштаба с последующим вычислением реальных координат ЛО сегментов объекта. На основании этого определяют пространственное положение сегментов объекта (радужки или/и зрачков глаз пользователя).11. In the event that calibration is performed in real time (or periodically, at regular intervals), then the Russian Federation is in the URI. In the process of processing, the LOs belonging to the segments of the object (Figure 2), as well as those belonging to the Russian Federation (Figure 3) are extracted from the images, and processing 2.3-2.5 is performed for all LOs. This improves the stability of processing algorithms. The three-dimensional model for this case includes two point clouds (corresponding LO of the object, its segments, as well as the Russian Federation). Differentiation of LO points can be performed using data on the RF stored in the memory of the computing device (as images of the RF itself, or as a list of LOs belonging to it). An example is shown in Figure 4 (round and square markers). Similarly to the preliminary calibration, the coefficient of the real scale is calculated with the subsequent calculation of the real coordinates of the LO segments of the object. Based on this, the spatial position of the segments of the object (the iris or / and pupils of the user's eyes) is determined.

12. После вычисления реальных пространственных координат ЛО сегментов объекта, находят проекцию данных ЛО на исходные двумерные изображения. Такая проекция может быть легко осуществлена с использованием результатов из п.2.3, 2.4. Производят оконтуривание границ сегментов объекта (радужка и зрачок) на двумерном изображении.12. After calculating the real spatial coordinates of the LO segments of the object, find the projection of the LO data on the original two-dimensional image. Such a projection can be easily carried out using the results from clauses 2.3, 2.4. Outline the boundaries of the segments of the object (iris and pupil) in a two-dimensional image.

13. Используя проекции сегментов объектов, производят расчет направленности линии взгляда. Это может быть осуществлено путем нахождения центра контура границ сегмента объекта, вычисления его пространственной ориентации [12, 13]. Аналогичным методом может служить метод из [19].13. Using the projection of the segments of the objects, calculate the directivity of the line of sight. This can be done by finding the center of the contour of the boundaries of the segment of the object, calculating its spatial orientation [12, 13]. A similar method can be the method from [19].

14. Далее после построения трехмерного контура сегмента объекта (радужка и/или зрачки глаз человека) находят направленность линии взгляда как прямую, проходящую через центр трехмерного контура и ориентированную по нормали к плоскости, содержащий контур данного сегмента.14. Then, after constructing the three-dimensional contour of the segment of the object (the iris and / or pupils of the human eye), the directivity of the line of sight is found as a straight line passing through the center of the three-dimensional contour and oriented normal to the plane containing the contour of this segment.

15. Запоминают взаимное текущее расположение УРИ, вычисленное на этапе 6 (с помощью методов, описанных в 2.3) и затем сравнивают его с предыдущим. В случае, если эти положения отличаются, вводят поправку на результаты измерения, добавляя сдвиг или поворот линии взгляда.15. Remember the mutual current location of the URI calculated in step 6 (using the methods described in 2.3) and then compare it with the previous one. In the event that these positions are different, a correction is made for the measurement results, adding a shift or rotation of the line of sight.

Источники информацииInformation sources

1. Патент US 8339459 Zhang Z., Sankaranarayanan A., Zhang Q., Liu Z., Cai Q., Multi camera head pose tracking, Microsoft Corporation (Redmond, WA).1. Patent US 8339459 Zhang Z., Sankaranarayanan A., Zhang Q., Liu Z., Cai Q., Multi camera head pose tracking, Microsoft Corporation (Redmond, WA).

2. Hartley R.I., Zisserman A. Multiple View Geometry in Computer Vision [Текст]. - Cambridge University Press, 2004.2. Hartley R.I., Zisserman A. Multiple View Geometry in Computer Vision [Text]. - Cambridge University Press, 2004.

3. Velichkovsky В.М., Cornelissen F., Geusebroek J.-M., Graupner S.-Th., Hari R., Marsman J.В., Shevchik S.A., Pannasch S. Measurement-related issues in investigation of active vision [Текст] // Measurement with persons: Theory and methods / B. Berglund, G.B. Rossi, J. Townsend, L. Pendrill (Eds.). - London-New York: Taylor and Francis, 2012. - P.281-300.3. Velichkovsky V.M., Cornelissen F., Geusebroek J.-M., Graupner S.-Th., Hari R., Marsman J. B., Shevchik SA, Pannasch S. Measurement-related issues in investigation of active vision [Text] // Measurement with persons: Theory and methods / B. Berglund, GB Rossi, J. Townsend, L. Pendrill (Eds.). - London-New York: Taylor and Francis, 2012 .-- P.281-300.

4. Pannasch S., Velichkovsky В.М. Distractor Effect and Saccade Amplitudes: Further Evidence on Different Modes of Processing in Free Exploration of Visual Images [Текст] // Visual Cognition. - 2009. - 17 (6/7). - P.1109-1131.4. Pannasch S., Velichkovsky V.M. Distractor Effect and Saccade Amplitudes: Further Evidence on Different Modes of Processing in Free Exploration of Visual Images [Text] // Visual Cognition. - 2009 .-- 17 (6/7). - P.1109-1131.

5. Di Stasi L.L., Renner R., Staehr P., Helmert J.R., Velichkovsky B.М., Canas J.J., Catena A., Pannasch S. Saccadic peak velocity is sensitive to variations in mental workload in complex environments [Текст] // Aviation, Space, and Environmental Medicine. - 2010. - 81(4). - P.413-417.5. Di Stasi LL, Renner R., Staehr P., Helmert JR, Velichkovsky B. M., Canas JJ, Catena A., Pannasch S. Saccadic peak velocity is sensitive to variations in mental workload in complex environments [Text] / / Aviation, Space, and Environmental Medicine. - 2010 .-- 81 (4). - P. 413-417.

6. Majaranta P., Raiha K.-J. Twenty Years of Eye Typing: Systems and Design Issues [Текст] // Proceedings of ETRA 2002, Eye Tracking Research and Applications Symposium, 25-27, 2002.6. Majaranta P., Raiha K.-J. Twenty Years of Eye Typing: Systems and Design Issues [Text] // Proceedings of ETRA 2002, Eye Tracking Research and Applications Symposium, 25-27, 2002.

7. SR Research Complete Eye Tracking Solutions [Электронный ресурс] / SR Research. - Электрон, дан. - Ontario, Canada, 2012. - Режим доступа: http://www.sr-research.com/свободный. - Загл. с экрана. - Яз. англ.7. SR Research Complete Eye Tracking Solutions [Electronic resource] / SR Research. - Electron, given. - Ontario, Canada, 2012. - Access mode: http://www.sr-research.com/free. - Zagl. from the screen. - Yaz. English

8. SMI Senso Motoric Instruments [Электронный ресурс] / SMI SensoMotoric Instruments. - Электрон, дан. - Teltow, Germany, 2013. - Режим доступа: http://www.smivision.com свободный.- Загл. с экрана. - Яз. англ.8. SMI Senso Motoric Instruments [Electronic resource] / SMI SensoMotoric Instruments. - Electron, given. - Teltow, Germany, 2013. - Access mode: http://www.smivision.com free. - Title. from the screen. - Yaz. English

9. Velichkovsky B.M., Sprenger A., Pomplun, М., Unema P. Eye movements and encoding manipulations in two visual memory tasks [Текст] // Proceedings of the Psychonomic Society 38th Annual Meeting. November 20th-23rd - Philadelphia, USA. 1997 - P.73.9. Velichkovsky B.M., Sprenger A., Pomplun, M., Unema P. Eye movements and encoding manipulations in two visual memory tasks [Text] // Proceedings of the Psychonomic Society 38th Annual Meeting. November 20th-23rd - Philadelphia, USA. 1997 - P.73.

10. Kapur J.N., Sahoo P.K., Wong A.K. A new method for gray-level picture thresholding using the entropy of the histogram [Текст] // Computer vision, graphics, and image processing - 1985 - 29(3). - P.273-285, 1, 2.5, 2.6.10. Kapur J.N., Sahoo P.K., Wong A.K. A new method for gray-level picture thresholding using the entropy of the histogram [Text] // Computer vision, graphics, and image processing - 1985 - 29 (3). - P.273-285, 1, 2.5, 2.6.

11. Davies E. Machine Vision: Theory, Algorithms and Practicalities [Текст]. - Academic Press, 1990 - Chap.6.11. Davies E. Machine Vision: Theory, Algorithms and Practicalities [Text]. - Academic Press, 1990 - Chap. 6.

12. Li D., Winfield D., Parkhurst D.J. Starburst: A hybrid algorithm for video-based eye tracking combining feature-based and model-based approaches [Текст] // Computer Vision and Pattern Recognition - Workshops, 2005. CVPR Workshops, IEEE Computer Society Conference on, 25-25 June 2005 - P.79.12. Li D., Winfield D., Parkhurst D.J. Starburst: A hybrid algorithm for video-based eye tracking combining feature-based and model-based approaches [Text] // Computer Vision and Pattern Recognition - Workshops, 2005. CVPR Workshops, IEEE Computer Society Conference on, 25-25 June 2005 - P.79

13. Способ и устройство для определения пространственного положения глаз для вычисления линии взгляда [Текст]: патент РФ №2444275 / Шевчик С.А., Величковский Б.М., Величковский Б.Б., Вартанов А.В. - Опубл. 10.09.10.13. Method and device for determining the spatial position of the eyes for calculating the line of sight [Text]: RF patent No. 2444275 / Shevchik SA, Velichkovsky BM, Velichkovsky BB, Vartanov AV - Publ. 09/10/10.

14. Method and installation for detecting and following an eye and the gaze direction therefore [Текст]: патент 7572008 США.14. Method and installation for detecting and following an eye and the gaze direction therefore [Text]: US patent 7572008.

15. Eye position detecting apparatus [Текст]: патент 5218387 США.15. Eye position detecting apparatus [Text]: US patent 5218387.

16. Bay H., Ess A., Tuytelaars Т., Van Gool L. SURF: Speeded Up Robust Features // Computer Vision and Image Understanding (CVIU). - 2008 - Vol.110, No.3 - P.346-359.16. Bay H., Ess A., Tuytelaars T., Van Gool L. SURF: Speeded Up Robust Features // Computer Vision and Image Understanding (CVIU). - 2008 - Vol. 110, No.3 - P.346-359.

17. Harris С., Stephens М. A combined comer and edge detector // Proceedings of the 4th Alvey Vision Conference - 1988 - P.147-151.17. Harris S., Stephens M. A combined comer and edge detector // Proceedings of the 4th Alvey Vision Conference - 1988 - P.147-151.

18. Lowe G.D. Distinctive Image Features from Scale-Invariant Keypoints // International Journal of Computer Vision. - 2004 - Band 60, Nr.2 - P.91-110.18. Lowe G. D. Distinctive Image Features from Scale-Invariant Keypoints // International Journal of Computer Vision. - 2004 - Band 60, Nr. 2 - P.91-110.

19. Safaee-Rad R., Choukanov I., Crless Smith K., Benhabib B. Three-dimensional location estimation of circular features for machine vision // IEEE transactions of robotics and automation - 1992 - Vol.8, №5 - P.624-640.19. Safaee-Rad R., Choukanov I., Crless Smith K., Benhabib B. Three-dimensional location estimation of circular features for machine vision // IEEE transactions of robotics and automation - 1992 - Vol.8, No. 5 - P .624-640.

20. de Berg М. et al. Computational Geometry: Algorithms and Applications, 3rd Edition. - Springer, 2008 - P.99-101.20. de Berg M. et al. Computational Geometry: Algorithms and Applications, 3rd Edition. - Springer, 2008 - P.99-101.

21. Chum О., Matas J., Kittler J. Locally optimized RANSAC // Pattern Recognition Lecture Notes in Computer Science / Eds. B. Michaelis, G. Krell. - 2003. - Vol.2781. - P.236-243.21. Chum O., Matas J., Kittler J. Locally optimized RANSAC // Pattern Recognition Lecture Notes in Computer Science / Eds. B. Michaelis, G. Krell. - 2003 .-- Vol.2781. - P.236-243.

22. Viola P., Jones М.J. Fast multi-view face detection. - Mitsubishi Electric Research Laboratories, TR2003-096 - August 2003.22. Viola P., Jones M.J. Fast multi-view face detection. - Mitsubishi Electric Research Laboratories, TR2003-096 - August 2003.

Claims (9)

1. Способ определения направления линии взгляда, состоящий в том, что устанавливают произвольно не менее двух устройств регистрации изображений (УРИ), производят калибровку системы УРИ с использованием референсного фрагмента (РФ), в результате которой определяют коэффициент реального масштаба трехмерной модели, после чего регистрируют объект с разных ракурсов, находят локальные особенности (ЛО) сегментов объекта, на основании полученных ЛО из нескольких изображений строят трехмерную модель, отражающую пространственное положение ЛО сегментов объекта друг относительно друга, а также относительно УРИ, и содержащую информацию в относительных координатах, далее с учетом данных калибровки пересчитывают положения указанных ЛО из относительных координат трехмерной модели в реальные координаты, проецируют ЛО сегментов объекта из трехмерной модели на исходные изображения и производят оконтуривание сегментов объекта на этих двумерных изображениях, производят расчет ориентации данных контуров в пространстве и определяют направление линии взгляда путем проведения прямой, проходящей через центр образующего окружность трехмерного контура сегмента объекта и ориентированной вдоль нормали трехмерной плоскости, в которой находится данный контур.1. The method of determining the direction of the line of sight, which consists in the fact that at least two image recording devices (SIDs) are set arbitrarily, the SID system is calibrated using a reference fragment (RF), as a result of which the real-scale coefficient of the three-dimensional model is determined, and then recorded an object from different angles, find the local features (LO) of the segments of the object, based on the received LOs from several images build a three-dimensional model that reflects the spatial position of the LO seg of the object’s coordinates relative to each other, as well as relative to the SID, and containing information in relative coordinates, then, taking into account the calibration data, the positions of the indicated LOs are recalculated from the relative coordinates of the three-dimensional model into real coordinates, the LO segments of the object from the three-dimensional model are projected onto the original images, and the segments are outlined object in these two-dimensional images, calculate the orientation of these contours in space and determine the direction of the line of sight by drawing a straight line, passing through the center of a circle forming a three-dimensional contour of an object segment and oriented along the normal of the three-dimensional plane in which this contour is located. 2. Способ по п.1, отличающийся тем, что для определения реального масштаба используются ЛО, принадлежащие РФ.2. The method according to claim 1, characterized in that for determining the real scale are used LO belonging to the Russian Federation. 3. Способ по п.1, в котором положение РФ фиксировано в пространстве.3. The method according to claim 1, in which the position of the Russian Federation is fixed in space. 4. Способ по п.1, в котором положение РФ изменяют в процессе измерений.4. The method according to claim 1, in which the position of the Russian Federation is changed during the measurement process. 5. Способ по п.1, отличающийся тем, что РФ расположен в поле зрения ПЗ УРИ в процессе измерений.5. The method according to claim 1, characterized in that the RF is located in the field of view of the SID URI in the measurement process. 6. Способ по п.1, отличающийся тем, что РФ после калибровки располагают в поле зрения ПЗ УРИ периодически.6. The method according to claim 1, characterized in that the RF after calibration is placed periodically in the field of view of the URZ PZ. 7. Способ по п.1, отличающийся тем, что при каждом выполненном измерении взаимное положения УРИ запоминают, а в дальнейшие результаты измерений вносят поправку на изменение положений УРИ путем сравнения сохраненного старого положения и нового.7. The method according to claim 1, characterized in that, at each measurement, the relative position of the SID is memorized, and the subsequent measurement results are amended to change the position of the SID by comparing the saved old position and the new one. 8. Способ по п.1, отличающийся тем, что в качестве РФ используют несколько разных изображений, причем калибровку выполняют по любому из этих изображений.8. The method according to claim 1, characterized in that several different images are used as the RF, and calibration is performed according to any of these images. 9. Способ по п.1, отличающийся тем, что в качестве сегментов объекта используют радужки и/или зрачки глаз объекта. 9. The method according to claim 1, characterized in that as the segments of the object using the iris and / or pupils of the eyes of the object.
RU2013153482/08A 2013-12-03 2013-12-03 Device for determination of characteristics of materials RU2541192C1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
RU2013153482/08A RU2541192C1 (en) 2013-12-03 2013-12-03 Device for determination of characteristics of materials

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
RU2013153482/08A RU2541192C1 (en) 2013-12-03 2013-12-03 Device for determination of characteristics of materials

Publications (1)

Publication Number Publication Date
RU2541192C1 true RU2541192C1 (en) 2015-02-10

Family

ID=53287100

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2013153482/08A RU2541192C1 (en) 2013-12-03 2013-12-03 Device for determination of characteristics of materials

Country Status (1)

Country Link
RU (1) RU2541192C1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2818028C1 (en) * 2020-03-18 2024-04-23 Бэйцзин 7Инвенсунь Текнолоджи Ко., Лтд. Method and device for calibration in oculography

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5218387A (en) * 1990-05-21 1993-06-08 Nissan Motor Co., Ltd. Eye position detecting apparatus
RU93553U1 (en) * 2009-11-19 2010-04-27 Общество с ограниченной ответственностью "Системы позиционирования - оптические технологии" COMPUTER MANIPULATOR USING EYE TURNING ANGLES AND HUMAN VIEWING DIRECTION FOR POSITIONING THE CURSOR ON THE COMPUTER SCREEN
RU2444275C1 (en) * 2010-09-30 2012-03-10 Федеральное государственное бюджетное учреждение "Национальный исследовательский центр "Курчатовский институт" Method and apparatus for determining spatial position of eyes for calculating line of sight

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5218387A (en) * 1990-05-21 1993-06-08 Nissan Motor Co., Ltd. Eye position detecting apparatus
RU93553U1 (en) * 2009-11-19 2010-04-27 Общество с ограниченной ответственностью "Системы позиционирования - оптические технологии" COMPUTER MANIPULATOR USING EYE TURNING ANGLES AND HUMAN VIEWING DIRECTION FOR POSITIONING THE CURSOR ON THE COMPUTER SCREEN
RU2444275C1 (en) * 2010-09-30 2012-03-10 Федеральное государственное бюджетное учреждение "Национальный исследовательский центр "Курчатовский институт" Method and apparatus for determining spatial position of eyes for calculating line of sight

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2818028C1 (en) * 2020-03-18 2024-04-23 Бэйцзин 7Инвенсунь Текнолоджи Ко., Лтд. Method and device for calibration in oculography

Similar Documents

Publication Publication Date Title
CN108875524B (en) Sight estimation method, device, system and storage medium
Takemura et al. Estimating 3-D point-of-regard in a real environment using a head-mounted eye-tracking system
US7190826B2 (en) Measuring the location of objects arranged on a surface, using multi-camera photogrammetry
Pintaric et al. Affordable infrared-optical pose-tracking for virtual and augmented reality
Liu et al. 3D gaze estimation for head-mounted eye tracking system with auto-calibration method
CN109388233B (en) Transparent display device and control method thereof
US20130106833A1 (en) Method and apparatus for optical tracking of 3d pose using complex markers
US20210319585A1 (en) Method and system for gaze estimation
CN102812416A (en) Instruction input device, instruction input method, program, recording medium and integrated circuit
Hay et al. Optical tracking using commodity hardware
US10698067B2 (en) System and method of camera-less optical motion capture
Lahamy Real-Time Hand Posture Recognition Using a Range Camera.
CN113782159B (en) Medical image marking point matching method and device, electronic equipment and storage medium
Penelle et al. Multi-sensor data fusion for hand tracking using Kinect and Leap Motion
CN105354825A (en) Intelligent device for automatically identifying position of reading material in read-write scene and application of intelligent device
CN109344714A (en) One kind being based on the matched gaze estimation method of key point
Chen et al. Fusion hand gesture segmentation and extraction based on CMOS sensor and 3D sensor
CN104376323B (en) A kind of method and device for determining target range
JP2018197974A (en) Line-of-sight detection computer program, line-of-sight detection device and line-of-sight detection method
EP3074844A1 (en) Estimating gaze from un-calibrated eye measurement points
McIlroy et al. Kinectrack: 3d pose estimation using a projected dense dot pattern
Kocejko et al. Gaze tracking in multi-display environment
Kang et al. A robust extrinsic calibration method for non-contact gaze tracking in the 3-D space
US20240362880A1 (en) Method And System For Non-Contract Patient Registration In Image-Guided Surgery
CN113923437B (en) Information display method, processing device and display system thereof