RU2601169C1 - Способ и устройство для взаимодействия с виртуальными объектами - Google Patents
Способ и устройство для взаимодействия с виртуальными объектами Download PDFInfo
- Publication number
- RU2601169C1 RU2601169C1 RU2015122510/08A RU2015122510A RU2601169C1 RU 2601169 C1 RU2601169 C1 RU 2601169C1 RU 2015122510/08 A RU2015122510/08 A RU 2015122510/08A RU 2015122510 A RU2015122510 A RU 2015122510A RU 2601169 C1 RU2601169 C1 RU 2601169C1
- Authority
- RU
- Russia
- Prior art keywords
- control
- virtual objects
- space
- graphic primitives
- virtual
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 230000003993 interaction Effects 0.000 title claims abstract description 28
- 230000009471 action Effects 0.000 claims abstract description 7
- 238000012937 correction Methods 0.000 claims abstract description 7
- 239000011521 glass Substances 0.000 claims description 12
- 238000013528 artificial neural network Methods 0.000 claims description 11
- 230000008569 process Effects 0.000 claims description 10
- 230000003190 augmentative effect Effects 0.000 claims description 8
- 238000005286 illumination Methods 0.000 claims description 4
- 238000005516 engineering process Methods 0.000 abstract description 4
- 238000004364 calculation method Methods 0.000 abstract description 3
- 239000000126 substance Substances 0.000 abstract 1
- 239000003550 marker Substances 0.000 description 34
- 210000002569 neuron Anatomy 0.000 description 5
- 210000004027 cell Anatomy 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 239000000446 fuel Substances 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 238000013529 biological neural network Methods 0.000 description 2
- 238000013178 mathematical model Methods 0.000 description 2
- 230000008520 organization Effects 0.000 description 2
- 206010028980 Neoplasm Diseases 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000002591 computed tomography Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- 238000010353 genetic engineering Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000003278 mimic effect Effects 0.000 description 1
- 238000012821 model calculation Methods 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 102000004169 proteins and genes Human genes 0.000 description 1
- 108090000623 proteins and genes Proteins 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/0007—Image acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/24—Aligning, centring, orientation detection or correction of the image
- G06V10/245—Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Изобретение относится к области взаимодействия с виртуальными объектами. Технический результат - обеспечение возможности взаимодействия с виртуальными объектами с помощью только одного устройства. Способ взаимодействия с виртуальными объектами содержит этапы, на которых: определяют орган управления, с помощью которого будет производиться взаимодействие с виртуальными объектами; определяют характерные графические примитивы виртуального объекта; определяют положение в пространстве органа управления; сопоставляют положение в пространстве органа управления с графическими примитивами виртуального объекта; осуществляют действия по отношению к виртуальному объекту; причем для получения данных о положении в пространстве органа управления используют изображения с устройства для взаимодействия с виртуальными объектами, создают по полученным изображениям библиотеку изображений органа управления; определяют по библиотеке изображений графические примитивы органа управления; определяют положение в пространстве органа управления посредством расчета движения в пространстве графических примитивов органа управления с применением поправок, компенсирующих вибрацию устройства для взаимодействия с виртуальными объектами. 2 н. и 6 з.п. ф-лы, 6 ил.
Description
Область техники, к которой относится изобретение.
Данная группа изобретений относится к способам и системам, предназначенным для взаимодействия с виртуальными объектами, при котором определяют орган управления, с помощью которого будет производиться взаимодействие с виртуальными объектами, определяют характерные графические примитивы виртуального объекта, определяют положение в пространстве органа управления, сопоставляют положение в пространстве органа управления с графическими примитивами виртуального объекта, осуществляют желаемые действия по отношению к виртуальному объекту.
В данной работе используются следующие термины.
Виртуальный объект - созданный техническими средствами объект, передаваемый человеку через его ощущения: зрение, слух и другие.
Орган управления - то, что управляет виртуальным объектом, это может быть человек, часть человека, например рука, или предмет, в свою очередь управляемый человеком, например указка.
Библиотека изображений - база данных различных изображений одного и того же объекта или субъекта. Желательно иметь как можно более отличающиеся изображения, чтобы получить максимальное количество информации об объекте
Метод искусственных нейронных сетей - математическая модель, а также ее программное или аппаратное воплощение, построенная по принципу организации и функционирования биологических нейронных сетей - сетей нервных клеток живого организма.
Метод Калмана - эффективный рекурсивный фильтр, оценивающий вектор состояния динамической системы, используя ряд неполных и зашумленных измерений.
Смартфон (англ. smartphone - умный телефон) - телефон, дополненный функциональностью карманного персонального компьютера.
Графические примитивы - заранее определенные элементы, которые можно поместить в модель при помощи одной команды. Каждый графический примитив формируется на основании геометрического описания объекта. Это могут быть такие как: точка, линия (отрезок), луч, линия конструкции (прямая), фигура, полоса, дуга, круг, полилиния, прямоугольник, полигон (многоугольник) и другие. Преимущественно, это характерные точки или маркеры.
Уровень техники способа.
Согласно первой из своих сторон настоящее изобретение относится к способу взаимодействия с виртуальными объектами.
В настоящее время все больше людей используют различные электронные устройства и взаимодействуют с виртуальными объектами. Это происходит не только в компьютерных играх, но и в процессе обучения, а также, например, при удаленной торговле товарами, когда покупатель принимает решение о покупке, пользуясь виртуальной моделью товаров.
Известны способы взаимодействия с виртуальными объектами, при которых: определяют орган управления, с помощью которого будет производиться взаимодействие с виртуальными объектами, определяют графические примитивы виртуального объекта, определяют положение в пространстве органа управления, сопоставляют положение в пространстве органа управления с графическими примитивами виртуального объекта, осуществляют желаемые действия по отношению к виртуальному объекту, но при этом определяют положение в пространстве органа управления способом, когда используют специальные устройства, например перчатки, надеваемые на руку пользователя, которые передают данные, необходимые для вычисления положения руки пользователя в пространстве. В этом примере рука пользователя и является органом управления. Пример такой перчатки - Dexmo, см. интернет сайт http://odnako.su/hi-tech/gadgets/-187862-dexmo-perchatka-virtualnoy-realnosti-s-obratnoy-svyazyu/.
Другим примером, когда определяют положение в пространстве органа управления способом, когда используют специальные устройства, является технология с применением устройства Кинект (Kinect), см. интернет сайт http://en.wikipedia.org/wiki/Kinect.
Данный способ является наиболее близким по технической сути и достигаемому техническому результату и выбран за прототип предлагаемого изобретения как способа.
Недостатком этого прототипа является его сложность, так как требуется наличие дополнительных устройств, а именно самого устройства Кинект, подсоединяемого к компьютерному устройству пользователя, и нет возможности взаимодействия с виртуальными объектами с помощью только одного устройства для взаимодействия с виртуальными объектами, имеющего видеокамеру и дисплей, такими как смартфон, компьютерный планшет или устройства типа очков дополненной реальности, которые, как правило, всегда находятся у пользователя с собой.
Действительно, дополнительно устройство необходимо специально покупать и, кроме того, носить с собой постоянно, подключать к устройству для взаимодействия с виртуальными объектами, чтобы при необходимости в любой момент времени иметь возможность взаимодействовать с виртуальными объектами. А необходимость такого рода взаимодействия с каждым годом стремительно растет и тенденция такова, что скоро оно станет повсеместным.
Раскрытие изобретения как способа.
Опирающееся на это оригинальное наблюдение настоящее изобретение, главным образом, имеет целью предложить способ взаимодействия с виртуальными объектами, при котором: определяют орган управления, с помощью которого будет производиться взаимодействие с виртуальными объектами, определяют графические примитивы виртуального объекта, определяют положение в пространстве органа управления, сопоставляют положение в пространстве органа управления с графическими примитивами виртуального объекта, осуществляют желаемые действия по отношению к виртуальному объекту, позволяющие, по меньшей мере, сгладить как минимум один из указанных выше недостатков, а именно обеспечить возможность взаимодействия с виртуальными объектами с помощью только одного устройства для взаимодействия с виртуальными объектами, имеющего видеокамеру и дисплей, такими как смартфон, компьютерный планшет или устройства типа очков добавленной реальности, что и является поставленной технический задачей.
Для достижения этой цели определяют положение в пространстве органа управления путем, когда:
- для получения данных о положении в пространстве органа управления используют изображения с устройства для взаимодействия с виртуальными объектами, имеющего видеокамеру и дисплей, соединенные с вычислительным модулем, обрабатывающим данные,
- создают по полученным изображениям библиотеку изображений органа управления, которая учитывает различные положения в пространстве, яркость, контрастность, освещенность,
- определяют по полученной библиотеке изображений графические примитивы органа управления,
- определяют положение в пространстве органа управления посредством расчета движения в пространстве графических примитивов органа управления,
- рассчитывают движение в пространстве графических примитивов органа управления с применением поправок, компенсирующих вибрацию устройства для взаимодействия с виртуальными объектами.
Благодаря данным выгодным характеристикам появляется возможность определения положения в пространстве органа управления, например руки пользователя, или специального предмета, например указки, с помощью только одного устройства для взаимодействия с виртуальными объектами, имеющего видеокамеру и дисплей, такими как смартфон, компьютерный планшет или устройства типа очков добавленной реальности. В любой момент времени пользователь может видеть на дисплее своего устройства для взаимодействия с виртуальными объектами виртуальный объект и сразу с ним взаимодействовать. То же самое устройство для взаимодействия с виртуальными объектами, специальным образом сконфигурированное, выполняет теперь этапы, которые позволяют строить трехмерную модель органа управления и осуществлять взаимодействие между органом управления и виртуальным объектом.
Существует вариант изобретения, в котором компенсацию вибрации устройства для взаимодействия с виртуальными объектами производят с использованием фильтра Калмана.
Благодаря данной выгодной характеристике появляется возможность упростить способ взаимодействия с виртуальными объектами, так как последовательность операций при использовании фильтра Калмана минимизирует нагрузку на вычислительный модуль, который вынужден рассчитывать поправки, компенсирующие помехи, возникающие при вибрации устройства для взаимодействия с виртуальными объектами. А такие помехи обязательно возникают, так как в качестве устройства для взаимодействия с виртуальными объектами используются смартфон, компьютерный планшет или устройства типа очков добавленной реальности, которые пользователь держит в руках или они, как очки, имеют крепление к голове пользователя.
Действительно, считываемая кадр за кадром информация с камеры сотового телефона типа смартфон, или компьютерного планшета, или устройств типа очков дополненной реальности, будет нести в себе некоторый шум - постоянный разброс коодринат вывода модели вокруг некоторых усредненных точек. В итоге пользователь будет наблюдать постоянную «тряску» 3D-модели.
Для этого и реализован в способе такой этап, при котором предсказывают движения графических примитивов, основанный на модифицированном фильтре Калмана. Фильтр Калмана - эффективный рекурсивный фильтр, оценивающий вектор состояния динамической системы, используя ряд неполных и зашумленных измерений.
Объяснить суть его работы проще всего на примере. Представим, что мы получаем информацию об уровне топлива в баке передвигающегося автомобиля. Из-за неровностей дороги и вибрации двигателя значение будет скачкообразно изменятся вследствие плескания жидкости. Вполне логично посчитать это ошибкой измерения, обращая внимание только на некое усредненное значение. При этом, зная средний расход топлива, можно предположить, каков его уровень будет в следующий момент времени. Идея Калмана состоит в том, чтобы получить наилучшее приближение к истинной координате. Необходимо выбрать «золотую середину» между показанием неточного сенсора и предсказаным по закону расхода топлива значением. Стоит отметить, что точность фильтра зависит от времени его применения, что означает все более стабильный вывод модели на последующих кадрах.
Существует вариант изобретения, в котором захватывают изображения органа управления и осуществляют вывод на дисплей органа управления и виртуального объекта с помощью сотового телефона типа смартфон.
Благодаря данной выгодной характеристике появляется возможность использовать сотовый телефон типа смартфон в качестве устройства для взаимодействия с виртуальными объектами.
Существует вариант изобретения, в котором захватывают изображения органа управления и осуществляют вывод на дисплей органа управления и виртуального объекта с помощью планшетного компьютера.
Благодаря данной выгодной характеристике появляется возможность использовать планшетный компьютер в качестве устройства для взаимодействия с виртуальными объектами.
Существует вариант изобретения, в котором захватывают изображения органа управления и осуществляют вывод на дисплей органа управления и виртуального объекта с помощью устройств типа очков дополненной реальности.
Благодаря данной выгодной характеристике появляется возможность использовать очки дополненной реальности в качестве устройства для взаимодействия с виртуальными объектами.
Существует вариант изобретения, в котором при расчете движения в пространстве графических примитивов органа управления применяют модель искусственных нейронных сетей.
Благодаря данной выгодной характеристике появляется возможность повышать точность расчетов модели за счет возможности организации процесса в виде искусственных нейронных сетей. Искусственная нейронная сеть - математическая модель, а также ее аппаратное воплощение, построенная по принципу организации и функционирования биологических нейронных сетей - сетей нервных клеток живого организма. Они применяются в различных областях науки: начиная от систем распознавания речи до распознавания вторичной структуры белка, классификации различных видов рака и генной инженерии. ИНС могут быть созданы путем имитации модели сетей нейронов на компьютере. Используя алгоритмы, которые имитируют процессы реальных нейронов, мы можем заставить сеть «учиться», что помогает решить множество различных проблем. Модель нейрона представляется как пороговая величина. Модель получает данные от ряда других внешних источников, определяет значение каждого входа и добавляет эти значения. Если общий вход выше пороговой величины, то выход блока равен единице, в противном случае - нулю. Таким образом, выход изменяется от 0 до 1, когда общая «взвешенная» сумма входов равна пороговой величине. Предоставив сети заранее известное количество графических примитивов, передавая их группой на вход под разными углами и условиями освещения и контролируя выходные значения, даст возможность использовать заранее обученную нейронную сеть в «движке». В частности, благодаря этому модулю «движок» сможет получать информацию о пространственной ориентации маркера - о его преспективном положении, расположении его графических примитивов относительно друг друга, что позже используется для построения универсальных видовых и проекционных матриц - информации, что позволяет большинству современных графических 3D-редакторов строить на изображении модель под заданным углом и направлением к смотрящему.
Совокупность существенных признаков предлагаемого изобретения не известна из уровня техники для способов аналогичного назначения, что позволяет сделать вывод о соответствии критерию «новизна» для изобретения в отношении способа.
Уровень техники устройства.
Другой своей стороной настоящее изобретение относится к устройству для взаимодействия с виртуальными объектами, содержащему видеокамеру и дисплей, соединенные с вычислительным модулем, обрабатывающим данные.
Такое устройство описано как устройство Кинект (Kinect), см. интернет сайт http://en.wikipedia.org/wiki/Kinect, которое подключается к устройству для взаимодействия с виртуальными объектами.
Данное устройство является наиболее близким по технической сути и достигаемому техническому результату и выбрано за прототип предлагаемого изобретения как устройства.
Недостатком этого прототипа является его сложность, так как требуется наличие целой системы из нескольких устройств, то есть самого устройства для взаимодействия с виртуальными объектами с дисплеем и дополнительных устройств, а именно самого устройства Кинект, подсоединяемого к компьютерному устройству пользователя. При этом нет возможности взаимодействия с виртуальными объектами с помощью только одного устройства для взаимодействия с виртуальными объектами, имеющего видеокамеру и дисплей, такими как смартфон, компьютерный планшет или устройства типа очков добавленной реальности, которые, как правило, всегда находятся у пользователя с собой.
Действительно, дополнительно устройство необходимо специально покупать и, кроме того, носить с собой постоянно, подключать к устройству для взаимодействия с виртуальными объектами, чтобы при необходимости в любой момент времени иметь возможность взаимодействовать с виртуальными объектами.
Раскрытие изобретения как устройства.
Настоящее изобретение, с другой своей стороны, главным образом, имеет целью предложить устройство для взаимодействия с виртуальными объектами, содержащее видеокамеру и дисплей, соединенные с вычислительным модулем, обрабатывающим данные, позволяющее, по меньшей мере, сгладить как минимум один из указанных выше недостатков, а именно обеспечить возможность и взаимодействия с виртуальными объектами с помощью только одного устройства для взаимодействия с виртуальными объектами, имеющего видеокамеру и дисплей, что и является поставленной технической задачей.
Для достижения этой цели устройство дополнительно имеет соединенный с указанным выше вычислительным модулем электронный модуль построения и хранения библиотеки изображений органа управления виртуальным объектом, выход которого соединен с входом электронного модуля построения графических примитивов органа управления по библиотеке изображений, выход которого соединен со входом электронного модуля определения положения в пространстве графических примитивов органа управления, выход которого соединен со входом электронного модуля расчета поправок, компенсирующих вибрацию устройства для взаимодействия с виртуальными объектами.
Благодаря данным выгодным характеристикам появляется возможность определения положения в пространстве органа управления, например руки пользователя, или специального предмета, например указки, с помощью только одного устройства для взаимодействия с виртуальными объектами, имеющего видеокамеру и дисплей, такими как смартфон, компьютерный планшет или устройства типа очков дополненной реальности. В любой момент времени пользователь может видеть на дисплее своего устройства для взаимодействия с виртуальными объектами виртуальный объект и сразу с ним взаимодействовать.
Существует также вариант изобретения, в котором дополнительно устройство содержит модуль расчета движения в пространстве графических примитивов органа управления по модели искусственных нейронных сетей, соединенный с вычислительным модулем.
Благодаря данной выгодной характеристике появляется возможность повышать точность построения моделей, необходимых для взаимодействия с виртуальным объектом, при этом точность растет со временем взаимодействия как результат автоматической настройки устройства.
Совокупность существенных признаков предлагаемого изобретения как устройства не известна из уровня техники для устройств аналогичного назначения, что позволяет сделать вывод о соответствии критерию «новизна» для изобретения как устройства.
Краткое описание чертежей.
Другие отличительные признаки и преимущества данной группы изобретений ясно вытекают из описания, приведенного ниже для иллюстрации и не являющегося ограничительным, со ссылками на прилагаемые рисунки, на которых
- фигура 1 изображает функциональную схему устройства для взаимодействия с виртуальными объектами согласно изобретению
- фигура 2 схематично изображает этапы способа взаимодействия с виртуальными объектами согласно изобретению,
- фигура 3 схематично изображает оригинальное изображение,
- фигура 4 схематично изображает маркер с найденными ключевыми точками,
- фигура 5 схематично изображает кадр с найденными ключевыми точками,
- фигура 6 схематично изображает обведенный рамкой маркер.
Согласно фигуре 1 устройство для взаимодействия с виртуальными объектами содержит видеокамеру 1 и дисплей 2, соединенные с вычислительным модулем 3, обрабатывающим данные. Устройство дополнительно имеет соединенный с указанным выше вычислительным модулем 3 электронный модуль 4 построения и хранения библиотеки изображений органа управления виртуальным объектом, выход которого соединен со входом электронного модуля 5 построения графических примитивов органа управления по библиотеке изображений, выход которого соединен со входом электронного модуля 6 определения положения в пространстве графических примитивов органа управления, выход которого соединен со входом электронного модуля 7 расчета поправок, компенсирующих вибрацию устройства для взаимодействия с виртуальными объектами.
Дополнительно устройство может содержать модуль 8 расчета движения в пространстве графических примитивов органа управления по модели искусственных нейронных сетей, соединенный с вычислительным модулем.
Осуществление изобретения.
Устройство для взаимодействия с виртуальными объектами работает следующим образом. Приведем наиболее исчерпывающий пример реализации изобретения, имея в виду, что данный пример не ограничивает применения изобретения.
Согласно фигуре 2
Этап А1. Предварительно определяют орган управления, с помощью которого будет производиться взаимодействие с виртуальными объектами, будет ли это, например, часть пользователя или какой-то предмет.
Этап А2. Определяют графические примитивы виртуального объекта.
Этап A3. Определяют положение в пространстве органа управления.
Этап А31. Для получения данных о положении в пространстве органа управления используют изображения с устройства для взаимодействия с виртуальными объектами, имеющего видеокамеру и дисплей, соединенные с вычислительным модулем, обрабатывающим данные.
Этап А32. Создают по полученным изображениям библиотеку изображений органа управления, которая учитывает различные положения в пространстве, яркость, контрастность, освещенность,
Этап А33. Определяют по полученной библиотеке изображений графические примитивы органа управления.
Этап А34. Определяют положение в пространстве органа управления посредством расчета движения в пространстве графических примитивов органа управления.
Этап А35. Рассчитывают движение в пространстве графических примитивов органа управления с применением поправок, компенсирующих вибрацию устройства для взаимодействия с виртуальными объектами. Например, компенсацию вибрации устройства для взаимодействия с виртуальными объектами производят с использованием фильтра Калмана.
Этап А36. При расчете движения в пространстве графических примитивов органа управления применяют модель искусственных нейронных сетей.
Этап А4. Сопоставляют положение в пространстве органа управления с графическими примитивами виртуального объекта.
Этап А5. Осуществляют вывод на дисплей органа управления и виртуального объекта с помощью сотового телефона типа смартфон, или с помощью планшетного компьютера, или устройств типа очков дополненной реальности.
Последовательность этапов является примерной и позволяет переставлять, убавлять, добавлять или производить некоторые операции одновременно без потери возможности обеспечивать взаимодействия с виртуальными объектами.
Пример 1. Технология взаимодействия с виртуальными объектами
Технология взаимодействия реальных и виртуальных объектов основана на распознавании образов, а именно на методе сравнения с шаблоном. Виртуальный объект ассоциируется с неким реальным объектом, причем изменение второго непосредственно сказывается на изменении первого: виртуальный объект можно передвигать, изменять его свойства, передвигая или меняя свойства объекта реального.
Вначале необходимо создать библиотеку изображений реального объекта, с помощью которой будет производится манипуляции над объектом виртуальным (активный маркер). Сам виртуальный объект может выводиться на свой маркер (пассивный маркер) или вообще его не использовать.
В случае плоского маркера необходимо всего одно изображение для каждого маркера. С помощью камеры выполняется поиск заданных изображений в окружающем мире. Маркер может быть нанесен на поверхность любого предмета любым способом, однако он должен сохранять изначальную форму (допускается масштабирование с сохранением пропорций). Как правило, он представляет собой лист плотного материала с нанесенным на него характерным изображением. Однако маркером может выступать не только изображение, но и объемный предмет. В этом случае необходимо несколько изображений маркера (минимум два), добавленных в библиотеку шаблонов.
При детектировании пассивного маркера производится вычисление его перспективы, ориентации, уточнение координат его краев. Относительно его плоскости строится система отсчета. Если маркеров несколько - для каждого строится своя система отсчета, при этом ей задается идентификационный номер. Затем в поле зрения вносится активный маркер. Его перемещения высчитываются относительно системы отсчета пассивного маркера, также находятся его края и ориентация в пространстве, после чего с помощью активного маркера можно взаимодействовать с виртуальным объектом.
На пассивный маркер проецируется ассоциированная с ним 3D-модель, которая может быть как анимированной, так и статичной. Благодаря построенной системе координат при перемещении камеры положение модели относительно маркера не меняется, поэтому виртуальную модель можно также перемещать с помощью движений реального маркера.
Маркеры (пассивный и активный) могут быть соотнесены не только с 3D-моделью, но так же и с аудио- и видеодорожкой, 3D-сценой (набором взаимодействующих 3D-моделей). В последнем случае при взаимодействии с пассивным маркером из сцены могут удалятся или добавляться модели.
Взаимодействие реального и виртуального объектов сводится в общем виде к двум способам: взаимодействие на плоскости и взаимодействие в пространстве.
1) 2D (взаимодействие на плоскости). В этом случае не учитывается глубина, расположение реального и виртуального объектов рассчитывается в плоских координатах. Примером использования этого подхода может служить нажатие на виртуальную кнопку реальным предметом (например, пальцем руки). При перекрытии пассивного маркера маркером активным выполняется заданное действие.
2) 3D (взаимодействие в пространстве). В этом случае учитывается глубина как третья координата. Она может быть получена при обработке нескольких кадров и последующей 3D-реконструкции, а также при использовании дополнительного оборудования, например дальномером или иным устройством, позволяющим измерять расстояние до объекта. В отличие от первого способа, способного работать с первого кадра, здесь требуется большее количество кадров для выяснения геометрических размеров активного маркера и 3D-модели. Этот способ позволяет большую свободу действий. На примере человеческой руки как активного маркера можно не только передвигать виртуальный объект в пространстве, но также, используя определенные жесты пальцами, сжимать его, растягивать, разбирать на составные части (если сама 3D-модель это позволяет).
Пример 2. Возможность манипуляции с виртуальными объектами
Устройство в руках пользователя (например, планшетный компьютер) хранит в своей памяти чертежи некоей сборки деталей. С помощью видеокамеры устройство получает данные из окружающей среды. Этот видеопоток подвергается фильтрации (Лапласианом). На изображении с помощью сравнения дескрипторов ключевых точек находится маркер. Вычисляются томография маркера, ориентация в пространстве, на основе которых на этом маркере строится составная 3D-модель сборки, чей чертеж и является маркером. Далее в кадр как активный маркер вносится рука пользователя, которая является органом управления, библиотека шаблонов которой также имеется в памяти устройства. Благодаря использованию всех трех координат обеспечивается возможность «разборки» конструкции на отдельные детали с помощью рук как активных маркеров. В частности, характеристика глубины здесь используется для выяснения, «схватил» ли пользователь деталь пальцами.
Пример 3. Пример построения трехмерной модели по характерным точкам (графическим примитивам)
В качестве маркера используют бинарное изображение, нанесенное на лист бумаги. На фигуре 3 показано оригинальное изображение.
Предварительно загруженное изображение маркера и кадр, поступающий с камеры, анализируют на наличие графических примитивов - углов, резких перепадов градиента и т.п.
На фигуре 4 показан маркер с найденными характерными точками, а на фигуре 5 - кадр с найденными характерными точками.
Далее вычисляют дескрипторы точек маркера и кадра. После вычисления дескрипторы сравниваются. Это сравнение позволяет узнать пространственную направленность изображения маркера и в первом приближении обвести его рамкой. (См. фиг. 6). Разные цвета сторон рамки на данном этапе позволяет отследить правильность вычисления пространственной направленности маркера в кадре.
Промышленная применимость.
Предлагаемые способ и система взаимодействия с виртуальными объектами могут быть осуществлены специалистом на практике и при осуществлении обеспечивают реализацию заявленного назначения, что позволяет сделать вывод о соответствии критерию «промышленная применимость» для изобретения.
В соответствии с предложенным изобретением изготовлен опытный образец устройства для взаимодействия с виртуальными объектами.
Испытания опытного образца системы показали, что она обеспечивает возможность:
- получения данных о положении в пространстве органа управления по изображениям с устройства для взаимодействия с виртуальными объектами,
- создания по полученным изображениям библиотеки изображений органа управления, которая учитывает различные положения в пространстве, яркость, контрастность, освещенность,
- определения по полученной библиотеке изображений графических примитивов органа управления,
- определения положения в пространстве органа управления посредством расчета движения в пространстве графических примитивов органа управления,
- вычисления движения в пространстве графических примитивов органа управления с применением поправок, компенсирующих вибрацию устройства для взаимодействия с виртуальными объектами,
- дальнейшего взаимодействия с виртуальными объектами при использовании всего лишь одного устройства для взаимодействия с виртуальными объектами.
Таким образом, в данном изобретении достигнута поставленная задача - обеспечение возможности взаимодействия с виртуальными объектами с помощью только одного устройства для взаимодействия с виртуальными объектами, имеющего видеокамеру и дисплей.
Claims (8)
1. Способ взаимодействия с виртуальными объектами, при котором:
- определяют орган управления, с помощью которого будет производиться взаимодействие с виртуальными объектами,
- определяют характерные графические примитивы виртуального объекта,
- определяют положение в пространстве органа управления,
- сопоставляют положение в пространстве органа управления с графическими примитивами виртуального объекта,
- осуществляют желаемые действия по отношению к виртуальному объекту,
отличающийся тем, что определяют положение в пространстве органа управления путем, когда:
- для получения данных о положении в пространстве органа управления используют изображения с устройства для взаимодействия с виртуальными объектами, имеющего видеокамеру и дисплей, соединенные с вычислительным модулем, обрабатывающим данные,
- создают по полученным изображениям библиотеку изображений органа управления, которая учитывает различные положения в пространстве, яркость, контрастность, освещенность,
- определяют по полученной библиотеке изображений графические примитивы органа управления,
- определяют положение в пространстве органа управления посредством расчета движения в пространстве графических примитивов органа управления,
- рассчитывают движение в пространстве графических примитивов органа управления с применением поправок, компенсирующих вибрацию устройства для взаимодействия с виртуальными объектами.
- определяют орган управления, с помощью которого будет производиться взаимодействие с виртуальными объектами,
- определяют характерные графические примитивы виртуального объекта,
- определяют положение в пространстве органа управления,
- сопоставляют положение в пространстве органа управления с графическими примитивами виртуального объекта,
- осуществляют желаемые действия по отношению к виртуальному объекту,
отличающийся тем, что определяют положение в пространстве органа управления путем, когда:
- для получения данных о положении в пространстве органа управления используют изображения с устройства для взаимодействия с виртуальными объектами, имеющего видеокамеру и дисплей, соединенные с вычислительным модулем, обрабатывающим данные,
- создают по полученным изображениям библиотеку изображений органа управления, которая учитывает различные положения в пространстве, яркость, контрастность, освещенность,
- определяют по полученной библиотеке изображений графические примитивы органа управления,
- определяют положение в пространстве органа управления посредством расчета движения в пространстве графических примитивов органа управления,
- рассчитывают движение в пространстве графических примитивов органа управления с применением поправок, компенсирующих вибрацию устройства для взаимодействия с виртуальными объектами.
2. Способ по п. 1, отличающийся тем, что компенсацию вибрации устройства для взаимодействия с виртуальными объектами производят с использованием фильтра Калмана.
3. Способ по п. 1, отличающийся тем, что захватывают изображения органа управления и осуществляют вывод на дисплей органа управления и виртуального объекта с помощью сотового телефона типа смартфон.
4. Способ по п. 1, отличающийся тем, что захватывают изображения органа управления и осуществляют вывод на дисплей органа управления и виртуального объекта с помощью планшетного компьютера.
5. Способ по п. 1, отличающийся тем, что захватывают изображения органа управления и осуществляют вывод на дисплей органа управления и виртуального объекта с помощью устройств типа очков дополненной реальности.
6. Способ по п. 1, отличающийся тем, что при расчете движения в пространстве графических примитивов органа управления применяют модель искусственных нейронных сетей.
7. Устройство для взаимодействия с виртуальными объектами, содержащее видеокамеру и дисплей, соединенные с вычислительным модулем, обрабатывающим данные, отличающееся тем, что устройство дополнительно имеет соединенный с указанным выше вычислительным модулем электронный модуль построения и хранения библиотеки изображений органа управления виртуальным объектом, выход которого соединен с входом электронного модуля построения графических примитивов органа управления по библиотеке изображений, выход которого соединен с входом электронного модуля определения положения в пространстве графических примитивов органа управления, выход которого соединен со входом электронного модуля расчета поправок, компенсирующих вибрацию устройства для взаимодействия с виртуальными объектами.
8. Устройство по п. 7, отличающееся тем, что дополнительно устройство содержит модуль расчета движения в пространстве графических примитивов органа управления по модели искусственных нейронных сетей, соединенный с вычислительным модулем.
Priority Applications (6)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2015122510/08A RU2601169C1 (ru) | 2015-06-11 | 2015-06-11 | Способ и устройство для взаимодействия с виртуальными объектами |
| US15/735,380 US10713847B2 (en) | 2015-06-11 | 2016-06-07 | Method and device for interacting with virtual objects |
| KR1020187000518A KR102063408B1 (ko) | 2015-06-11 | 2016-06-07 | 가상 객체와의 상호 작용을 위한 방법 및 장치 |
| CN201680046555.7A CN108027647B (zh) | 2015-06-11 | 2016-06-07 | 用于与虚拟对象交互的方法和设备 |
| EP16807904.4A EP3309713B1 (en) | 2015-06-11 | 2016-06-07 | Method and device for interacting with virtual objects |
| PCT/RU2016/050018 WO2016200295A2 (ru) | 2015-06-11 | 2016-06-07 | Способ и устройство для взаимодействия с виртуальными объектами |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2015122510/08A RU2601169C1 (ru) | 2015-06-11 | 2015-06-11 | Способ и устройство для взаимодействия с виртуальными объектами |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| RU2601169C1 true RU2601169C1 (ru) | 2016-10-27 |
Family
ID=57216600
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| RU2015122510/08A RU2601169C1 (ru) | 2015-06-11 | 2015-06-11 | Способ и устройство для взаимодействия с виртуальными объектами |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US10713847B2 (ru) |
| EP (1) | EP3309713B1 (ru) |
| KR (1) | KR102063408B1 (ru) |
| CN (1) | CN108027647B (ru) |
| RU (1) | RU2601169C1 (ru) |
| WO (1) | WO2016200295A2 (ru) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2695053C1 (ru) * | 2018-09-18 | 2019-07-18 | Общество С Ограниченной Ответственностью "Заботливый Город" | Способ и устройство для управления трехмерными объектами в виртуальном пространстве |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110764614B (zh) * | 2019-10-15 | 2021-10-08 | 北京市商汤科技开发有限公司 | 增强现实数据呈现方法、装置、设备及存储介质 |
| CN115016648B (zh) * | 2022-07-15 | 2022-12-20 | 大爱全息(北京)科技有限公司 | 一种全息互动装置及其处理方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7308112B2 (en) * | 2004-05-14 | 2007-12-11 | Honda Motor Co., Ltd. | Sign based human-machine interaction |
| RU105503U1 (ru) * | 2010-12-27 | 2011-06-10 | Павел Сергеевич Захаров | Система управления объектами виртуального пространства |
Family Cites Families (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100980202B1 (ko) * | 2008-10-30 | 2010-09-07 | 한양대학교 산학협력단 | 3차원 가상물체와 인터랙션이 가능한 모바일 증강현실 시스템 및 방법 |
| US9256282B2 (en) * | 2009-03-20 | 2016-02-09 | Microsoft Technology Licensing, Llc | Virtual object manipulation |
| US20140063054A1 (en) * | 2010-02-28 | 2014-03-06 | Osterhout Group, Inc. | Ar glasses specific control interface based on a connected external device type |
| KR20110132260A (ko) * | 2010-05-29 | 2011-12-07 | 이문기 | 모니터 기반 증강현실 시스템 |
| US20120113223A1 (en) | 2010-11-05 | 2012-05-10 | Microsoft Corporation | User Interaction in Augmented Reality |
| CN102103409A (zh) * | 2011-01-20 | 2011-06-22 | 桂林理工大学 | 基于运动轨迹识别的人机交互方法及装置 |
| US9170648B2 (en) * | 2012-04-03 | 2015-10-27 | The Boeing Company | System and method for virtual engineering |
| US9477303B2 (en) * | 2012-04-09 | 2016-10-25 | Intel Corporation | System and method for combining three-dimensional tracking with a three-dimensional display for a user interface |
| GB201208088D0 (en) * | 2012-05-09 | 2012-06-20 | Ncam Sollutions Ltd | Ncam |
| CN102722249B (zh) * | 2012-06-05 | 2016-03-30 | 上海鼎为电子科技（集团）有限公司 | 操控方法、操控装置及电子装置 |
| US10824310B2 (en) * | 2012-12-20 | 2020-11-03 | Sri International | Augmented reality virtual personal assistant for external representation |
| KR101518904B1 (ko) * | 2013-09-23 | 2015-05-11 | 현대자동차 주식회사 | 차량용 조작 장치 |
| WO2016018488A2 (en) * | 2014-05-09 | 2016-02-04 | Eyefluence, Inc. | Systems and methods for discerning eye signals and continuous biometric identification |
| CN104038799A (zh) * | 2014-05-21 | 2014-09-10 | 南京大学 | 一种面向立体电视的手势操控方法 |
| US9892560B2 (en) * | 2014-09-11 | 2018-02-13 | Nant Holdings Ip, Llc | Marker-based augmented reality authoring tools |
| US9696795B2 (en) * | 2015-02-13 | 2017-07-04 | Leap Motion, Inc. | Systems and methods of creating a realistic grab experience in virtual reality/augmented reality environments |
-
2015
- 2015-06-11 RU RU2015122510/08A patent/RU2601169C1/ru active
-
2016
- 2016-06-07 EP EP16807904.4A patent/EP3309713B1/en active Active
- 2016-06-07 KR KR1020187000518A patent/KR102063408B1/ko active IP Right Grant
- 2016-06-07 CN CN201680046555.7A patent/CN108027647B/zh not_active Expired - Fee Related
- 2016-06-07 WO PCT/RU2016/050018 patent/WO2016200295A2/ru unknown
- 2016-06-07 US US15/735,380 patent/US10713847B2/en active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7308112B2 (en) * | 2004-05-14 | 2007-12-11 | Honda Motor Co., Ltd. | Sign based human-machine interaction |
| RU105503U1 (ru) * | 2010-12-27 | 2011-06-10 | Павел Сергеевич Захаров | Система управления объектами виртуального пространства |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2695053C1 (ru) * | 2018-09-18 | 2019-07-18 | Общество С Ограниченной Ответственностью "Заботливый Город" | Способ и устройство для управления трехмерными объектами в виртуальном пространстве |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102063408B1 (ko) | 2020-02-11 |
| EP3309713A4 (en) | 2019-02-20 |
| US20200027270A1 (en) | 2020-01-23 |
| WO2016200295A3 (ru) | 2017-02-02 |
| KR20180034387A (ko) | 2018-04-04 |
| EP3309713B1 (en) | 2021-01-06 |
| WO2016200295A2 (ru) | 2016-12-15 |
| EP3309713A2 (en) | 2018-04-18 |
| US10713847B2 (en) | 2020-07-14 |
| CN108027647A (zh) | 2018-05-11 |
| CN108027647B (zh) | 2021-08-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7096925B2 (ja) | 直方体検出のための深層機械学習システム | |
| Brahmbhatt et al. | ContactPose: A dataset of grasps with object contact and hand pose | |
| CN111126272B (zh) | 姿态获取方法、关键点坐标定位模型的训练方法和装置 | |
| US20220326781A1 (en) | Bimanual interactions between mapped hand regions for controlling virtual and graphical elements | |
| Hasan et al. | RETRACTED ARTICLE: Static hand gesture recognition using neural networks | |
| CN116724285A (zh) | 用于控制虚拟和图形元素的微手势 | |
| CN117178247A (zh) | 用于动画化及控制虚拟和图形元素的手势 | |
| US20130335318A1 (en) | Method and apparatus for doing hand and face gesture recognition using 3d sensors and hardware non-linear classifiers | |
| EP3379396A1 (en) | Method for acting on augmented reality virtual objects | |
| Rautaray et al. | Design of gesture recognition system for dynamic user interface | |
| Wang et al. | Immersive human–computer interactive virtual environment using large-scale display system | |
| Lee et al. | Control framework for collaborative robot using imitation learning-based teleoperation from human digital twin to robot digital twin | |
| RU2601169C1 (ru) | Способ и устройство для взаимодействия с виртуальными объектами | |
| Silva et al. | Sensor data fusion for full arm tracking using myo armband and leap motion | |
| Jiang et al. | independent hand gesture recognition with Kinect | |
| CN117523659A (zh) | 基于骨架的多特征多流实时动作识别方法、装置和介质 | |
| Chaudhary et al. | A vision-based method to find fingertips in a closed hand | |
| Gadhiya et al. | Analysis of deep learning based pose estimation techniques for locating landmarks on human body parts | |
| CN115461794A (zh) | 从二维图像估计用户手势的方法、系统和非暂时性计算机可读记录介质 | |
| Jain et al. | Human computer interaction–Hand gesture recognition | |
| Vu et al. | Hand pose detection in hmd environments by sensor fusion using multi-layer perceptron | |
| Prasad et al. | Mobile augmented reality based interactive teaching & learning system with low computation approach | |
| CN116686006A (zh) | 基于可变形模型的三维扫描配准 | |
| Juang | Humanoid robot fetching objects using monocular vision unit | |
| Chaudhary et al. | Bent Fingers’ Angles Calculation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| TC4A | Change in inventorship |
Effective date: 20161125 |
|
| PC41 | Official registration of the transfer of exclusive right |
Effective date: 20180522 |