RU2751981C1

RU2751981C1 - Устанавливаемый на голове дисплей и способ снижения синдрома укачивания, вызванного зрительной иллюзией движения, в подключенном удаленном дисплее

Info

Publication number: RU2751981C1
Application number: RU2020135148A
Authority: RU
Inventors: Жозе АРАУЖО; Володя ГРАНЧАРОВ; Гунилла БЕРНДТССОН; Элвин Джуд ХАРИ ХАРАН
Original assignee: Телефонактиеболагет Лм Эрикссон (Пабл)
Priority date: 2018-03-28
Filing date: 2018-06-04
Publication date: 2021-07-21
Also published as: JP6993516B2; ZA202003994B; SG11202006241XA; BR112020014077A2; US20210335032A1; US11587285B2; WO2019185173A1; CA3093180C; BR112020014077B1; CO2020008872A2; MX2020009804A; JP2021520668A; KR102456332B1; CA3093180A1; ES2898216T3; KR20200123833A; AU2018416431A1; EP3776143A1; AU2018416431B2; CN111788538B

Abstract

Изобретение относится к устанавливаемому на голове дисплею (HMD). Дисплей (100) содержит камеру (101), выполненную с возможностью захвата видео сцены реального мира с первым полем зрения (FoV) (111), схему сетевого интерфейса (102), выполненную с возможностью потоковой передачи видео на принимающее устройство (140) отображения, и средство (103) обработки, действующее, чтобы формировать 3D модель сцены реального мира и формировать видео из 3D модели с использованием второго поля зрения (FoV), которое шире, чем первое FoV (111). Средство (103) обработки дополнительно действует, чтобы оценивать движение камеры (101) и осуществлять потоковую передачу сформированного видео на принимающее устройство (140) отображения, если оцененное движение камеры (101) удовлетворяет одному или более условиям, указывающим на быстрое движение, иначе - осуществлять потоковую передачу захваченного видео на принимающее устройство (140) отображения. Изобретение позволяет повысить эффективность отображения для дистанционного управления. 3 н. и 12 з.п. ф-лы, 7 ил.

Description

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

Изобретение относится к устанавливаемому на голове дисплею (HMD), способу, выполняемому посредством HMD, к соответствующей компьютерной программе и соответствующему считываемому компьютером носителю хранения.

УРОВЕНЬ ТЕХНИКИ

Устанавливаемые на голове дисплеи (HMD) или аналогичные устройства могут быть использованы в приложениях визуального дистанционного управления. Например, инженер службы поддержки, посещающий участок для обслуживания базовой радиостанции, может носить HMD, содержащий фронтальную камеру, которая захватывает видео физической сцены реального мира, которую видит инженер службы поддержки, такой как шкаф базовой радиостанции. HMD может использоваться для отображения релевантной документации инженеру службы поддержки при одновременной потоковой передаче захваченного видео в удаленное местоположение, например, в центр сетевых операций (NOC), где оно просматривается специалистом, который осуществляет руководство и/или содействие инженеру службы поддержки.

Вследствие ограниченного поля зрения (FoV) камеры, содержащейся в HMD, человек, просматривающий видео, захваченное камерой HMD, имеет лишь ограниченное FoV узла, посещаемого инженером службы поддержки. В частности, это имеет место в том случае, если камера HMD увеличивает масштаб изображения, чтобы обеспечить крупный план оборудования, подлежащего техническому обслуживанию.

В результате ограниченного FoV захваченного видео, человек, просматривающий захваченное видео, может испытывать синдром укачивания (“морской болезни”) от зрительной иллюзии движения (VIMS). В частности, это имеет место, если камера HMD перемещается быстро, например, если инженер службы поддержки поворачивает свою голову или быстро изменяет положение. Как правило, VIMS вызывается движением, которое наблюдается, но не ощущается. Вследствие ограниченного FoV, только поднабор визуальных опорных точек в сцене реального мира захватывается в видео.

Краткое описание Сущности изобретения

Задача изобретения состоит в том, чтобы предложить улучшенную альтернативу вышеуказанным технологиям и предшествующему уровню техники.

Более конкретно, задачей настоящего изобретения является создание улучшенных решений для приложений визуального дистанционного управления. В частности, задача изобретения заключается в том, чтобы предоставить решения для визуального дистанционного взаимодействия, которые уменьшают риск VIMS.

Эти и другие задачи изобретения решаются посредством различных аспектов изобретения, как определено в независимых пунктах формулы изобретения. Варианты осуществления изобретения охарактеризованы в зависимых пунктах формулы изобретения.

Согласно первому аспекту изобретения, предлагается HMD. HMD содержит камеру, выполненную с возможностью захвата видео сцены реального мира с первым FoV, схему сетевого интерфейса, выполненную с возможностью потоковой передачи видео на принимающее устройство отображения, и средство обработки. Средство обработки действует, чтобы формировать 3D модель сцены реального мира и формировать видео из 3D модели с использованием второго FoV, которое шире, чем первое FoV. Средство обработки дополнительно действует, чтобы оценивать движение камеры, и, если оцененное движение камеры удовлетворяет одному или более условиям, указывающим на быстрое движение, осуществлять потоковую передачу сформированного видео на принимающее устройство отображения, иначе, осуществлять потоковую передачу захваченного видео на принимающее устройство отображения.

Согласно второму аспекту изобретения, предлагается способ, выполняемый посредством HMD. Способ содержит захват видео сцены реального мира с первым FoV с использованием камеры, содержащейся в HMD, формирование 3D модели сцены реального мира и формирование видео из 3D модели с использованием второго FoV, которое шире, чем первое FoV. Способ дополнительно содержит оценивание движения камеры и, если оцененное движение камеры удовлетворяет одному или более условиям, указывающим на быстрое движение, потоковую передачу сформированного видео на принимающее устройство отображения с использованием схемы сетевого интерфейса, содержащейся в HMD, иначе, потоковую передачу захваченного видео на принимающее устройство отображения с использованием схемы сетевого интерфейса.

Согласно третьему аспекту изобретения, предлагается компьютерная программа. Компьютерная программа содержит исполняемые компьютером инструкции для предписания HMD выполнять способ согласно варианту осуществления второго аспекта изобретения, когда исполняемые компьютером инструкции исполняются в блоке обработки, содержащемся в HMD.

Согласно четвертому аспекту изобретения, предлагается считываемый компьютером носитель хранения. Считываемый компьютером носитель хранения имеет сохраненную на нем компьютерную программу согласно третьему аспекту изобретения.

Изобретение использует понимание того, что риск для наблюдателя видео, передаваемого в потоковом режиме посредством варианта осуществления HMD, испытывать VIMS уменьшается за счет потоковой передачи видео, сформированного с уменьшением масштаба изображения, а не захваченного видео, если камера быстро перемещается.

Несмотря на то что преимущества изобретения в некоторых случаях были описаны со ссылкой на варианты осуществления первого аспекта изобретения, соответствующие рассуждения применимы к вариантам осуществления других аспектов изобретения.

Другие задачи, признаки и преимущества изобретения станут очевидными при изучении нижеследующего подробного раскрытия, чертежей и прилагаемой формулы изобретения. Специалисты в данной области техники поймут, что различные признаки изобретения могут быть скомбинированы для создания вариантов осуществления, отличных от тех, которые описаны ниже.

Краткое описание чертежей

Указанные выше, а также дополнительные задачи, признаки и преимущества изобретения будут лучше понятны из следующего иллюстративного и неограничивающего подробного описания вариантов осуществления изобретения со ссылкой на прилагаемые чертежи, на которых:

Фиг. 1 иллюстрирует HMD в сценарии дистанционного взаимодействия в соответствии с вариантами осуществления изобретения.

Фиг. 2 иллюстрирует потоковую передачу видео посредством HMD в соответствии с вариантами осуществления изобретения.

Фиг. 3 показывает вариант осуществления средства обработки, содержащегося в HMD.

Фиг. 4 показывает другой вариант осуществления средства обработки, содержащегося в HMD.

Фиг. 5 показывает способ, выполняемый посредством HMD, в соответствии с вариантами осуществления изобретения.

Все чертежи являются схематичными, не обязательно в масштабе, и в общем показывают только части, которые необходимы для пояснения изобретения, причем другие части могут опускаться или просто предполагаться.

Подробное описание

Далее изобретение будет описано более подробно со ссылкой на прилагаемые чертежи, на которых показаны некоторые варианты осуществления изобретения. Однако настоящее изобретение может быть осуществлено во многих различных формах и не должно толковаться как ограниченное вариантами осуществления, изложенными в настоящем документе. Скорее эти варианты осуществления представлены в качестве примера, так что настоящее раскрытие будет исчерпывающим и завершенным и будет полностью передавать объем изобретения специалистам в данной области техники.

Настоящее изобретение относится к визуальному дистанционному управлению, которое в настоящем контексте включает в себя захват видео с использованием устанавливаемой на голове камеры, носимой первым человеком, например, инженером службы поддержки, носящим устанавливаемый на голове дисплей (HMD), и совместное использование захваченного видео (например, посредством потоковой передачи) со вторым человеком, просматривающим захваченное видео в другом, и потенциально удаленном, местоположении. Второй человек может, например, быть экспертом, осуществляющим руководство и/или содействие инженеру службы поддержки, который посещает участок, который должен обслуживаться, например, базовую радиостанцию или другое оборудование телекоммуникационной сети. Хотя варианты осуществления изобретения в основном описаны в отношении обслуживания оборудования телекоммуникационной сети, следует понимать, что варианты осуществления изобретения могут использоваться во многих различных типах приложений визуального дистанционного управления, таких как обслуживание транспортных средств (например, автомобилей, грузовиков, поездов и самолетов), обслуживание бытовых электроприборов (например, посудомоечных машин, стиральных машин, холодильников и тепловых насосов), обслуживание компьютеров и сетевого оборудования в центрах обработки данных, мониторинг строительных работ, наблюдение (например, охранниками или персоналом правоохранительных органов) и т.д.

На фиг. 1 показан HMD 100 в соответствии с вариантами осуществления изобретения. HMD 100 содержит камеру 101, которая выполнена с возможностью захвата видео сцены реального мира с первым полем зрения (FoV) 111. Камера 101 может, например, представлять собой фронтальную камеру, которая захватывает сцену перед пользователем 151, носящим HMD 100. HMD 100 дополнительно содержит схему 102 сетевого интерфейса, которая выполнена с возможностью потоковой передачи видео на принимающее устройство 140 отображения, где оно может визуализироваться и отображаться наблюдателю 152. Как показано на фиг. 1, человек 151, носящий HMD 100 (в данном документе упоминаемый как "пользователь"), и наблюдатель 152 могут находиться в различных, потенциально удаленных, местоположениях. В остальном, предполагается, что пользователь 151 и наблюдатель 152 дистанционно взаимодействуют. Например, пользователь 151 может быть инженером службы поддержки, посещающим участок базовой радиостанции телекоммуникационной сети, в котором развернут шкаф 121 базовой радиостанции. Наблюдатель 152, просматривающий поток видео в реальном времени, захваченный камерой 101, с использованием принимающего устройства 140 отображения, может быть экспертом, осуществляющим руководство и/или содействие инженеру службы поддержки (наблюдателю) 151.

Схема 102 сетевого интерфейса может быть, например, основана на любой известной технологии проводной или беспроводной связи. Например, схема 102 сетевого интерфейса может быть основана на технологии радиосвязи ближнего действия, подобной беспроводной локальной сети (WLAN)/Wi-Fi или Bluetooth, или сотовой радиотехнологии, подобной Глобальной системе мобильной связи (GSM), Универсальной мобильной телекоммуникационной системе (UMTS), Долгосрочному развитию (LTE) или технологии 5G на основе NR/NX. Коммуникации, то есть обмен данными между HMD 100 и принимающим устройством 140 отображения, в частности, потоковая передача видео, может начинаться с использованием любого подходящего протокола, например протокола передачи гипертекста (HTTP), протокола ограниченных приложений (CoAP), протокола потоковой передачи в реальном времени (RTSP), транспортного протокола реального времени (RTP), протокола управления передачей в реальном времени (RTCP), динамической адаптивной потоковой передачи по HTTP (DASH) или тому подобного. Как показано на фиг. 1, коммуникации между HMD 100 и принимающим устройством 140 отображения могут передаваться через проводные или беспроводные соединения 131 и 132 и одну или более коммуникационных сетей 130, например Интернет.

HMD 100 дополнительно содержит средство 103 обработки, которое предписывает HMD 100 действовать в соответствии с вариантами осуществления изобретения, изложенными в настоящем документе. Более конкретно, HMD 100 действует, чтобы формировать 3D модель сцены реального мира и формировать видео из 3D модели с использованием второго FoV, которое шире, чем первое FoV 111, то есть вид с уменьшенным масштабом изображения сцены реального мира. 3D модель может, например, быть сформирована из видео, захваченного камерой 101 (для этой цели камера 101 должна уменьшать масштаб изображения, то есть увеличивать свое FoV 111), и/или от дополнительной камеры, содержащейся в HMD 100, например, образующей стереоскопическую камеру. В качестве альтернативы или в дополнение, 3D модель может быть сформирована одним или более датчиками глубины, например, с использованием LIDAR (лидара) или подобных технологий радара или других типов 3D сканеров. Лидар измеряет расстояние до целевого объекта путем подсветки объекта импульсным лазерным светом и детектирования отраженных импульсов с помощью датчика. Различия во временах и длинах волн лазерных эхо-сигналов могут затем использоваться для формирования 3D представления, т.е. 3D модели объекта, и, соответственно, модели сцены реального мира, содержащей множество объектов.

3D модель может быть, например, сформирована, сохранена и обработана в виде облака точек. В общем, облако точек является набором точек данных в некоторой системе координат. На основе облака точек, 3D поверхность может быть сформирована с использованием ряда методологий, известных в области компьютерной графики. Обзор способов для реконструкции поверхностей из облаков точек был приведен в публикации M. Berger, A. Tagliasacchi, L. M. Seversky, P. Alliez, G. Guennebaud, J. A. Levine, A. Sharf, and C. T. Silva, “A Survey of Surface Reconstruction from Point Clouds”, Computer Graphics Forum, Volume 36, pages 301-329, Wiley, 2017. В качестве примера, отображение в реальном времени сцен внутри помещения с использованием подвижной экономичной камеры с восприятием глубины сцены (датчик Microsoft Kinect) описано в публикации R. A. Newcombe, S. Izadi, O. Hilliges, D. Molyneaux, D. Kim, A. J. Davison, P. Kohi, J. Shotton, S. Hodges, and A. Fitzgibbon, “KinectFusion: Real-time dense surface mapping and tracking”, 10th IEEE International Symposium on Mixed and Augmented Reality (ISMAR), pages 127-136, IEEE, 2012. В качестве дополнительного примера, 3D реконструкция в реальном времени пространства, включая людей, обстановку и объекты, с использованием стереоскопических камер с восприятием глубины сцены было продемонстрировано в публикации S. Orts-Escolano et al., “Holoportation: Virtual 3D Teleportation in Real-time”, Proceedings of the 29th Annual Symposium on User Interface Software and Technology (UIST '16), pages 741-754, ACM, 2016.

Затем видео может быть сформировано из 3D модели, например, как представлено облаком точек, как известно в области компьютерной графики. Это может быть достигнуто, например, с использованием легко доступного программного обеспечения, такого как библиотека облаков точек (PCL) (http://pointclouds.org/), инфраструктура для обработки 2D/3D изображения и облака точек, открытая библиотека графики (OpenGL) (https://www.openql.org/), библиотека для визуализации 2D и 3D векторной графики или Unity 3D (https://unity3d.com/), игровой механизм для визуализации 2D и 3D видео.

HMD 100 дополнительно действует, чтобы оценивать движение камеры 101. Например, HMD 100 может дополнительно содержать по меньшей мере один датчик 104 движения, выполненный с возможностью восприятия движения HMD 100, такой как акселерометры, гироскопы, магнитометры, датчики глобальной системы позиционирования (GPS) и тому подобное. HMD 100 действует, чтобы оценивать движение камеры 101 на основе воспринятого движения HMD 100, путем анализа данных измерений и/или сигналов, принятых от датчика(ов) 104 движения, и на основе геометрии HMD 100, в частности, расстояния между камерой 101 и датчиком(ами) 104 движения. Более конкретно, HMD 100 может действовать, чтобы оценивать по меньшей мере одно из вращательного движения, движения наклона или поступательного движения камеры 101, которое вызвано соответствующим движением головы пользователя 151, носящего HMD 100.

В качестве альтернативы, HMD 100 может действовать, чтобы оценивать движение камеры 101 на основании анализа последующих кадров видео, захваченного камерой 101. Это может быть достигнуто посредством (глобальной) оценки движения, что является известным из кодирования/сжатия видео. Оценка движения представляет собой процесс определения векторов движения, которые описывают преобразование от одного изображения к другому, обычно между смежными кадрами в последовательности видео, такого как видео, захваченное камерой 101. Это может, например, быть достигнуто с использованием алгоритма согласования блоков для определения местоположения согласующихся макроблоков в последовательности кадров видео, как известно в данной области техники.

HMD 100 дополнительно действует, чтобы определять, удовлетворяет ли оцененное движение камеры 101 одному или более условиям, которые указывают на быстрое движение, и, если это так, то осуществлять потоковую передачу сформированного видео на принимающее устройство 140 отображения, то есть видео, сформированного из 3D модели c использованием второго FoV, которое шире, чем первое FoV 111. НMD 100 дополнительно действует, чтобы, если оцененное движение камеры 101 не удовлетворяет одному или более условиям, которые указывают на быстрое движение, осуществлять потоковую передачу захваченного видео на принимающее устройство 140 отображения, то есть видео, захваченного камерой 101 с использованием первого FoV 111. Одно или более условий, указывающих на быстрое движение, предпочтительно указывают на режим движения, в котором наблюдатели захваченного видео, вероятно, испытывают VIMS.

Одно или более условий могут, например, быть пороговыми значениями для любого одного или комбинации скорости или быстроты поступательного движения, ускорения поступательного движения, скорости или быстроты вращения или ускорения вращения. В этом отношении, HMD 100 может действовать, чтобы определять, удовлетворяет ли оцененное движение камеры 101 одному или более условиям, которые указывают на быстрое движение, путем сравнения оцененного движения камеры 101 с одним или более пороговых значений. Например, HMD 100 может действовать, чтобы определить, что оцененное движение камеры 101 удовлетворяет одному или более условиям, которые указывают на быстрое движение, если оцененное движение превышает одно или более пороговых значений. Это может быть, например, в том случае, если пользователь 151, носящий HMD 100, быстро перемещает свою голову путем перемещения (перемещения вперед/назад/влево/вправо), поворота (поворота влево/вправо) или путем наклона (вперед/назад/влево/вправо) своей головы.

Например, HMD 100 может действовать, чтобы отслеживать движение камеры 101 путем усреднения и, возможно, взвешивания нескольких оцененных значений движения камеры 101 в течение определенного периода времени, например, от нескольких десятых секунды до нескольких секунд. Предпочтительно, текущее значение для усредненного оцененного движения камеры 101, V_ave, вычисляется регулярно, например, для каждого кадра видео, захваченного камерой 101, т.е. с частотой кадров захваченного видео. Альтернативно, текущее значение для усредненного оцененного движения камеры 101 может быть вычислено для каждого n-го кадра (т.е. с 1/n частоты кадров), где n является положительным целым числом. Например, в текущее время t₀, текущее усредненное оцененное движение камеры 101 может быть вычислено как:

,

где V(t) представляет собой оцененное движение камеры 101 во время t, и весовая функция w(t) выбирается так, что:

, и

для

.

В этом конкретном примере оцененное движение камеры 101, V(t), может быть любым компонентом скорости, таким как компонент скорости поступательного или вращательного движения, абсолютное значение скорости поступательного или вращательного движения или их комбинация.

Одно или более пороговых значений могут быть, например, сконфигурированы изготовителем HMD 100, провайдером программного обеспечения, используемого для дистанционного взаимодействия, причем программное обеспечение исполняется средством 103 обработки или пользователем 151. Пороговые значения могут быть выражены как абсолютные или относительные значения. Со ссылкой на приведенный выше пример, условие, указывающее на быстрое движение, может, например, рассматриваться как удовлетворенное, если текущее оцененное движение камеры 101, V(t₀), превышает текущее усредненное оцененное движение камеры 101, V_ave(t₀), на определенную величину, т.е., если

,

где

. Например, если

1,5, условие, указывающее на быстрое движение, удовлетворяется, если текущее оцененное движение камеры 101 превышает ее текущее усредненное движение по меньшей мере на 50%.

Необязательно, одно или более пороговых значений могут обучаться и настраиваться во время нормальной работы. Например, принимающее устройство 140 отображения может действовать, чтобы обнаруживать, испытывает ли наблюдатель 152 VIMS, и уведомлять HMD 100 соответствующим образом. Соответственно, HMD 100 может действовать, при приеме такого уведомления, чтобы записать оцененные значения перемещения, такие как скорость/быстрота или ускорение поступательного/вращательного движения, которые вызывают VIMS. На основе таких записанных оцененных значений движения, HMD 100 может действовать, чтобы определять одно или более пороговых значений, которые выбираются так, чтобы минимизировать риск того, что наблюдатель 152 испытывает VIMS. Например, на основе записанных оцененных значений движения, пороговые значения могут быть установлены на нижней границе или чуть ниже нижней границы записанных оцененных значений движения, которые вызывают VIMS.

Варианты осуществления изобретения имеют преимущество, состоящее в том, что снижается риск для человека (такого как наблюдатель 152), просматривающего поток видео, который принимается от, и захватывается посредством, нестационарной камеры (такой как камера 101, содержащаяся в HMD 100, носимом пользователем 151). Это достигается путем переключения между потоковой передачей видео, захваченного камерой 101, если HMD 100 не перемещается быстро, то есть, если оцененное движение камеры 101 не удовлетворяет одному или более условиям, указывающим на быстрое движение, и потоковой передачей видео, которое формируется из 3D модели сцены реального мира c использованием второго FoV, которое шире, чем первое FoV 111 камеры 101, если HMD 100 быстро перемещается, в принимающее устройство 140 отображения. Путем изменения масштаба изображения от первого FoV 111 камеры 101 до большего второго FoV для сформированного видео, дополнительные опорные точки из сцены реального мира, такой как дверца 122, показанная на фиг. 1, становятся видимыми в потоковом (сформированном) видео, которое отображается наблюдателю 152. Соответственно, риск для зрителя 152 испытывать VIMS уменьшается или даже ослабляется.

Необязательно, HMD 100 может действовать, чтобы формировать 3D модель сцены реального мира, только если оцененное движение камеры 101 удовлетворяет одному или более условиям, указывающим на быстрое движение. Таким образом, уменьшается объем обработки, требуемой для формирования 3D модели из захваченного видео, и/или данных, принимаемых от дополнительных камер и/или датчиков глубины, что предпочтительным образом приводит к увеличению срока службы батареи питания HMD 100.

Необязательно, HMD 100 может действовать, чтобы формировать видео из 3D модели с использованием второго FoV, которое шире, чем первое FoV, только если оцененное движение камеры 101 удовлетворяет одному или более условиям, которые указывают на быстрое движение. Таким образом, уменьшается объем обработки, который требуется для формирования видео из 3D модели, что предпочтительным образом приводит к увеличению срока службы батареи питания HMD 100.

Переключение между различными представлениями видео посредством HMD 100, то есть между захваченным видео и сформированным видео, в зависимости от того, удовлетворяет ли оцененное движение камеры 101 одному или более условиям, указывающим на быстрое движение, в соответствии с вариантами осуществления изобретения, дополнительно проиллюстрировано на фиг. 2. Более конкретно, на фиг. 2A показан кадр 210 видео, захваченного камерой 101, когда пользователь 151, носящий HMD 100, ориентирован на шкаф 121 базовой радиостанции, как показано на фиг. 1, на которой захваченный кадр 210 видео отображается на принимающем устройстве 140 отображения.

На фиг. 2В показан кадр 220 видео, который формируется из 3D модели сцены реального мира, которую наблюдает пользователь 151. Понятно, что кадр 220, показанный на фиг. 2B, формируется из 3D модели сцены реального мира и обычно является менее детализированным, чем кадр 210, показанный на фиг. 2A, который захватывается камерой 101. Уровень детализации, в частности в отношении деталей, текстуры поверхности и тому подобного, обычно зависит от ресурсов обработки, которые доступны для формирования видео из 3D модели. Следует отметить, что кадр 220 формируется, по существу, с тем же самым FoV, что и захваченный кадр 210, т.е. первым FoV 111 камеры 101. Напротив, фиг. 2С иллюстрирует кадр 230, который формируется из 3D модели сцены реального мира с FoV, которое шире, чем первое FoV 111 камеры 101, используемой для захвата кадра 210. Иными словами, кадр 230 обеспечивает вид с уменьшенным масштабом изображения сцены реального мира, которая находится перед пользователем 151, носящим HMD 100, сформированный из 3D модели сцены реального мира. Предпочтительным образом, вид с уменьшенным масштабом изображения кадра 230, по сравнению с кадром 220, содержит дополнительную опорную точку в сцене реального мира, а именно, дверцу 122. Вследствие этой дополнительной опорной точки, риск для удаленного наблюдателя 152 испытывать VIMS снижается или даже ослабляется.

Кроме того, со ссылкой на фиг. 1, HMD 100 может действовать, чтобы осуществлять потоковую передачу сформированного видео на принимающее устройство 140 отображения, если оцененное движение камеры 101 удовлетворяет одному или более условиям, указывающим на быстрое движение, и первое FoV 111 меньше порогового значения, которое является характерным для FoV человека. Иначе, HMD 100 действует, чтобы осуществлять потоковую передачу захваченного видео на принимающее устройство 140 отображения. Пороговое значение, которое является характерным для FoV человека, может, например, быть сконфигурировано изготовителем HMD 100, провайдером программного обеспечения, используемого для дистанционного взаимодействия, причем это программное обеспечение исполняется средством 103 обработки или пользователем 151 и может представлять типовое значение для FoV человека или конкретное значение, представляющее FoV наблюдателя 152.

HMD 100 может дополнительно действовать, чтобы определять второе FoV на основе первого FoV 111 и оцененного движения камеры 101. Например, второе FoV может быть выбрано так, что по меньшей мере одна дополнительная опорная точка является видимой в сформированном видео. Наличие дополнительных опорных точек и их соответствующее местоположение относительно текущего первого FoV 111 камеры 101 может быть определено на основе сформированной 3D модели сцены реального мира и оцененного движения камеры 101. Последнее может использоваться для определения того, до какой степени должно быть расширено FoV, чтобы сделать опорную точку в сцене реального мира видимой в сформированном видео. В частности, это имеет место для опорных точек, которые должны стать видимыми в сформированном видео, вследствие движения камеры 101 и ассоциированного движения первого FoV 111. Наличие дополнительных опорных точек в сформированном видео, которое передается в потоковом режиме на принимающее устройство 140 отображения, уменьшает риск для наблюдателя 152 испытывать VIMS. Альтернативно, второе FoV может быть предварительно сконфигурировано изготовителем HMD 100, провайдером программного обеспечения, используемого для дистанционного взаимодействия, причем это программное обеспечение исполняется средством 103 обработки, пользователем 151 или наблюдателем 152. Например, принимающее устройство 140 отображения может действовать, чтобы позволять наблюдателю 152 настраивать второе FoV посредством изменения настройки на принимающем устройстве 140 отображения, причем эта настройка сигнализируется на HMD 100.

HMD 100 может дополнительно действовать, вслед за потоковой передачей сформированного видео на принимающее устройство 140 отображения, чтобы осуществлять потоковую передачу захваченного видео на принимающее устройство 140 отображения в ответ по меньшей мере на одно из: потоковой передачи сформированного видео в течение предопределенного периода времени, и определения того, что оцененное движение камеры 101 удовлетворяет одному или более условиям, указывающим на стабилизированное движение. Другими словами, HMD 100 действует, чтобы переключиться обратно на потоковую передачу захваченного видео, если, например, оцененное движение камеры 101 удовлетворяет одному или более условиям, указывающим на быстрое движение в течение определенного периода времени, например пяти секунд. Этот период времени выбирается таким образом, чтобы позволить мозгу наблюдателя 152 адаптироваться к быстрому движению, например, благодаря дополнительным опорным точкам, которые видны в сформированном видео с уменьшенным масштабом изображения. HMD 100 может действовать, чтобы определять, что оцененное движение камеры 101 удовлетворяет одному или более условиям, указывающим на стабилизированное движение, на основе одного или более пороговых значений, аналогично тому, что было описано выше со ссылкой на определение того, удовлетворяет ли оцененное движение камеры 101 одному или более условиям, указывающим на быстрое движение. Например, если одно или более условий, которые указывают на быстрое движение, выражаются как превышающие пороговое значение для измеренного ускорения поступательного или вращательного движения HMD 100 или камеры 101, то одно или более условий, указывающих на стабилизированное движение, могут быть выражены в терминах оцененного движения камеры 101, не превышающего, т.е. являющегося меньшим, чем соответствующее пороговое значение для измеренного ускорения. Наборы из одного или более пороговых значений для обнаружения быстрого движения и стабилизированного движения могут быть идентичными или нет. Предпочтительным образом, используются различные значения для обеспечения эффекта гистерезиса и предотвращения быстрого переключения между потоковой передачей захваченного видео и потоковой передачей сформированного видео с уменьшенным масштабом изображения. Альтернативно, может использоваться таймер, чтобы гарантировать, что захваченное видео передается в потоковом режиме в течение определенного периода времени, прежде чем HMD 100 переключится на потоковую передачу сформированного видео с уменьшенным масштабом изображения, или наоборот.

Хотя варианты осуществления изобретения были описаны, главным образом, со ссылкой на HMD 100, следует понимать, что варианты осуществления изобретения могут быть основаны на устройствах камеры, отличных от HMD. Например, варианты осуществления изобретения могут быть реализованы в мобильном телефоне, смартфоне, планшете, цифровой камере или т.п., которые могут удерживаться в руке пользователя 151 или прикрепляться к части тела пользователя 151. В качестве примера, варианты осуществления изобретения могут быть реализованы в устанавливаемой на голове камере, например, GoPro-камере, которая прикрепляется к голове пользователя 151, или в шлеме, носимом пользователем 151.

Ниже описаны варианты осуществления средства 103 обработки в вариантах осуществления HMD, такого как HMD 100, со ссылкой на фиг. 3 и 4.

Первый вариант осуществления 300 средства 103 обработки показан на фиг. 3. Средство 300 обработки содержит блок 302 обработки, такой как универсальный процессор, и считываемый компьютером носитель 303 хранения, такой как память с произвольным доступом (RAM), флэш-память или тому подобное. Кроме того, средство 300 обработки содержит один или более интерфейсов 301 (“I/O” на фиг. 3) для управления и/или приема информации от других компонентов, содержащихся в HMD, таких как камера 101, схема сетевого интерфейса 102 и датчик(и) движения 104. Память 303 содержит исполняемые компьютером инструкции 304, т.е. компьютерную программу или программное обеспечение, чтобы предписывать HMD действовать в соответствии с вариантами осуществления изобретения, как описано в настоящем документе, когда исполняемые компьютером инструкции 304 исполняются в блоке 302 обработки.

Альтернативный вариант 400 осуществления средства 103 обработки иллюстрируется на фиг. 4. Аналогично средству 300 обработки, средство 400 обработки содержит один или более интерфейсов 401 (“I/O” на фиг. 4) для управления и/или приема информации от других компонентов, содержащихся в HMD, таких как камера 101, схема 102 сетевого интерфейса и датчик(и) 104 движения. Средство 400 обработки дополнительно содержит модуль 402 модели, модуль 403 видео, модуль 404 движения и модуль 405 потоковой передачи, которые выполнены с возможностью предписывать HMD действовать в соответствии с вариантами осуществления изобретения, как описано в настоящем документе.

В частности, модуль 402 модели выполнен с возможностью формировать 3D модель сцены реального мира, и модуль 403 видео выполнен с возможностью формировать видео из 3D модели с использованием второго FoV, которое шире, чем первое FoV 111. Модуль 404 движения выполнен с возможностью оценивать движение камеры 101. Модуль 405 потоковой передачи выполнен с возможностью осуществлять потоковую передачу сформированного видео на принимающее устройство 140 отображения, если оцененное движение камеры удовлетворяет одному или более условиям, указывающим на быстрое движение, иначе, осуществлять потоковую передачу захваченного видео на принимающее устройство 140 отображения. Предпочтительно, одно или более условий, указывающих на быстрое движение, указывают на режим движения, в котором наблюдатели захваченного видео испытывают VIMS.

Необязательно, модуль 405 потоковой передачи может быть выполнен с возможностью осуществлять потоковую передачу сформированного видео на принимающее устройство 140 отображения, если оцененное движение камеры 101 удовлетворяет одному или более условиям, указывающим на быстрое движение, и первое FoV 111 меньше, чем пороговое значение, характерное для FoV человека, иначе, осуществлять потоковую передачу захваченного видео на принимающее устройство 140 отображения.

Необязательно, модуль 404 движения может быть выполнен с возможностью оценивать движение камеры 101 на основе воспринятого движения HMD 100. Альтернативно, модуль 404 движения может быть выполнен с возможностью оценивать движение камеры 101 на основе анализа последующих кадров захваченного видео.

Необязательно, модуль 403 видео может быть выполнен с возможностью определять второе FoV на основе первого FoV 111 и оцененного движения камеры 101.

Необязательно, модуль 405 потоковой передачи может дополнительно быть выполнен с возможностью осуществлять потоковую передачу захваченного видео на принимающее устройство 140 отображения после потоковой передачи сформированного видео на принимающее устройство 140 отображения и в ответ на по меньшей мере одно из потоковой передачи сформированного видео в течение предопределенного периода времени, и определения того, что оцененное движение камеры 101 удовлетворяет одному или более условиям, указывающим на стабилизированное движение.

Модули 402-405, содержащиеся в средстве 400 обработки, могут быть дополнительно выполнены с возможностью выполнять дополнительные или альтернативные операции в соответствии с вариантами осуществления изобретения, как описано в настоящем документе.

Интерфейсы 301 и 401 и модули 402-405, а также любые дополнительные модули, содержащиеся в средстве 400 обработки, могут быть реализованы любым видом электронных схем, например, любой одной или комбинацией аналоговых электронных схем, цифровых электронных схем и средств обработки, исполняющих подходящую компьютерную программу, т.е. программное обеспечение.

Ниже со ссылкой на фиг. 5 описаны варианты 500 осуществления способа, выполняемого посредством HMD, такого как HMD 100.

Способ 500 содержит захват 501 видео сцены реального мира с первым FoV с использованием камеры 101, содержащейся в HMD 100, формирование 503/513 3D модели сцены реального мира и формирование 504/514 видео из 3D модели с использованием второго FoV, которое шире, чем первое FoV 111. Способ 500 дополнительно содержит оценивание 505 движения камеры 101 и потоковую передачу 515 сформированного видео на принимающее устройство 140 отображения с использованием схемы 102 сетевого интерфейса, содержащейся в HMD 100, если оцененное движение камеры 101 удовлетворяет 506 одному или более условиям, указывающим на быстрое движение, иначе, потоковую передачу 525 захваченного видео на принимающее устройство 140 отображения с использованием схемы 102 сетевого интерфейса. Предпочтительным образом, одно или более условий, указывающих на быстрое движение, указывают на режим движения, в котором наблюдатели захваченного видео испытывают VIMS.

Необязательно, сформированное 504 видео передается в потоковом режиме 515 на принимающее устройство 140 отображения, если оцененное 505 движение камеры 101 удовлетворяет 506 одному или более условиям, указывающим на быстрое движение, и первое FoV 111 меньше, чем пороговое значение, представляющее FoV человека, иначе, захваченное видео передается в потоковом режиме 525 на принимающее устройство 140 отображения.

Необязательно, движение камеры 101 оценивается 505 на основе воспринимаемого движения HMD 100 с использованием по меньшей мере одного датчика 104 движения, содержащегося в HMD 100. В качестве альтернативы, движение камеры 101 оценивается 505 на основании анализа последующих кадров захваченного 501 видео.

Необязательно, способ 500 может дополнительно содержать определение 512 второго FoV на основе первого FoV 111 и оцененного 505 движения камеры 101.

Необязательно, способ 500 дополнительно содержит потоковую передачу 525 захваченного видео на принимающее устройство 140 отображения после потоковой передачи 515 сформированного видео на принимающее устройство 140 отображения и в ответ на по меньшей мере одно из потоковой передачи 516 сформированного видео в течение предопределенного периода времени, и определения того, что оцененное движение камеры удовлетворяет 517 одному или более условиям, указывающим на стабилизированное движение.

Следует понимать, что способ 500 может содержать дополнительные или модифицированные этапы в соответствии с тем, что описано в настоящем раскрытии. Вариант осуществления способа 500 может быть реализован как программное обеспечение, такое как компьютерная программа 304, подлежащее исполнению блоком обработки, содержащимся в HMD, при этом HMD получает возможность действовать в соответствии с вариантами осуществления изобретения, описанными в настоящем документе.

Специалисту в данной области техники должно быть понятно, что изобретение никоим образом не ограничивается описанными выше вариантами осуществления. Напротив, возможны многие модификации и изменения в пределах объема прилагаемой формулы изобретения.

Claims

1. Устанавливаемый на голове дисплей, HMD, (100), содержащий:

камеру (101), выполненную с возможностью захвата видео сцены реального мира с первым полем зрения (111),

схему сетевого интерфейса (102), выполненную с возможностью потоковой передачи видео на принимающее устройство (140) отображения, и

средство (103) обработки, действующее, чтобы:

формировать 3D модель сцены реального мира,

формировать видео из 3D модели с использованием второго поля зрения, которое шире, чем первое поле зрения (111),

оценивать движение камеры (101), и

если оцененное движение камеры (101) удовлетворяет одному или более условиям, указывающим на быстрое движение:

осуществлять потоковую передачу сформированного видео на принимающее устройство (140) отображения, иначе:

осуществлять потоковую передачу захваченного видео на принимающее устройство (140) отображения.

2. HMD по п. 1, в котором средство (103) обработки действует, чтобы, если оцененное движение камеры (101) удовлетворяет одному или более условиям, указывающим на быстрое движение, и первое поле зрения (111) меньше порогового значения, характерного для поля зрения человека, осуществлять потоковую передачу сформированного видео на принимающее устройство (140) отображения, иначе, осуществлять потоковую передачу захваченного видео на принимающее устройство (140) отображения.

3. HMD по п. 1 или 2, дополнительно содержащее по меньшей мере один датчик (104) движения, выполненный с возможностью восприятия движения HMD (100), при этом средство (103) обработки выполнено с возможностью оценивать движение камеры (101) на основе воспринятого движения HMD (100).

4. HMD по п. 1 или 2, в котором средство (103) обработки выполнено с возможностью оценивать движение камеры (101) на основании анализа последующих кадров захваченного видео.

5. HMD по любому одному из пп. 1-4, в котором средство (103) обработки дополнительно выполнено с возможностью определять второе поле зрения на основе первого поля зрения (111) и оцененного движения камеры (101).

6. HMD по любому одному из пп. 1-5, в котором одно или более условий, указывающих на быстрое движение, указывают на режим движения, в котором наблюдатели (152) захваченного видео испытывают синдром укачивания от зрительной иллюзии движения (VIMS).

7. HMD по любому одному из пп. 1-6, в котором средство (103) обработки дополнительно действует, чтобы, после потоковой передачи сформированного видео на принимающее устройство (140) отображения, осуществлять потоковую передачу захваченного видео на принимающее устройство (140) отображения в ответ на по меньшей мере одно из:

потоковой передачи сформированного видео в течение предопределенного периода времени, и

определения того, что оцененное движение камеры (101) удовлетворяет одному или нескольким условиям, указывающим на стабилизированное движение.

8. Способ (500) снижения синдрома укачивания, выполняемый устанавливаемым на голове дисплеем, HMD, в котором способ содержит:

захват (501) видео сцены реального мира с первым полем зрения с использованием камеры, содержащейся в HMD,

формирование (503, 513) 3D модели сцены реального мира,

формирование (504, 514) видео из 3D модели с использованием второго поля зрения, которое шире, чем первое поле зрения,

оценивание (505) движения камеры, и

если оцененное движение камеры удовлетворяет (506) одному или более условиям, указывающим на быстрое движение:

потоковую передачу (515) сформированного видео на принимающее устройство отображения с использованием схемы сетевого интерфейса, содержащейся в HMD, иначе:

потоковую передачу (525) захваченного видео на принимающее устройство отображения с использованием схемы сетевого интерфейса.

9. Способ по п. 8, в котором, если оцененное движение камеры удовлетворяет (506) одному или более условиям, указывающим на быстрое движение, и первое поле зрения меньше порогового значения, характерного для поля зрения человека, осуществляется потоковая передача (515) сформированного видео на принимающее устройство отображения, иначе, осуществляется потоковая передача (525) захваченного видео на принимающее устройство отображения.

10. Способ по п. 8 или 9, в котором движение камеры оценивается (505) на основании воспринятого движения HMD с использованием по меньшей мере одного датчика движения, содержащегося в HMD.

11. Способ по п. 8 или 9, в котором движение камеры оценивается (505) на основании анализа последующих кадров захваченного видео.

12. Способ по любому одному из пп. 8-11, дополнительно содержащий определение (512) второго поля зрения на основе первого поля зрения и оцененного (505) движения камеры.

13. Способ по любому одному из пп. 8-12, в котором одно или более условий, указывающих на быстрое движение, указывают на режим движения, в котором наблюдатели захваченного видео испытывают синдром укачивания от зрительной иллюзии движения (VIMS).

14. Способ по любому одному из пп. 8-13, дополнительно содержащий, после потоковой передачи (515) сформированного видео на принимающее устройство отображения, потоковую передачу (525) захваченного видео на принимающее устройство отображения в ответ на по меньшей мере одно из:

потоковой передачи (516) сформированного видео в течение предопределенного промежутка времени, и

определения, что оцененное движение камеры удовлетворяет (517) одному или более условиям, указывающим на стабилизированное движение.

15. Считываемый компьютером носитель (303) хранения, имеющий сохраненную на нем компьютерную программу (304), содержащую исполняемые компьютером инструкции для предписания устанавливаемому на голове дисплею, HMD, выполнять способ по любому из пп. 8-14, когда исполняемые компьютером инструкции исполняются блоком (302) обработки, содержащимся в HMD.