[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

RU2682022C2 - Способ представления трехмерной сцены на автостереоскопическом мониторе - Google Patents

Способ представления трехмерной сцены на автостереоскопическом мониторе Download PDF

Info

Publication number
RU2682022C2
RU2682022C2 RU2017104539A RU2017104539A RU2682022C2 RU 2682022 C2 RU2682022 C2 RU 2682022C2 RU 2017104539 A RU2017104539 A RU 2017104539A RU 2017104539 A RU2017104539 A RU 2017104539A RU 2682022 C2 RU2682022 C2 RU 2682022C2
Authority
RU
Russia
Prior art keywords
image
monitor
mask
distance
screen
Prior art date
Application number
RU2017104539A
Other languages
English (en)
Other versions
RU2017104539A (ru
RU2017104539A3 (ru
Inventor
Андреас КУГЛЕР
Original Assignee
Новоматик Аг
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Новоматик Аг filed Critical Новоматик Аг
Publication of RU2017104539A publication Critical patent/RU2017104539A/ru
Publication of RU2017104539A3 publication Critical patent/RU2017104539A3/ru
Application granted granted Critical
Publication of RU2682022C2 publication Critical patent/RU2682022C2/ru

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/302Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/122Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/128Adjusting depth or disparity
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/161Encoding, multiplexing or demultiplexing different image signal components
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/324Colour aspects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/363Image reproducers using image projection screens
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/366Image reproducers using viewer tracking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/366Image reproducers using viewer tracking
    • H04N13/373Image reproducers using viewer tracking for tracking forward-backward translational head movements, i.e. longitudinal movements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/398Synchronisation thereof; Control thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

Изобретение относится к области вычислительной техники для отображения на автостереоскопическом мониторе. Технический результат заключается в точности стереоскопического отображения на автостереоскопическом мониторе. Технический результат достигается за счет отображения некоторого числа N базовых изображений отображаемой сцены, которые, соответственно, показывают отображаемое изображение под различными углами зрения; обеспечения маски изображения для каждого базового изображения, каждое из которых имеет размер собственного экранного разрешения монитора или подобласти монитора, взвешивания отдельных базовых изображений в соответствии с пикселем или субпикселем со значениями соответствующей маски изображения, присвоенными им, а затем добавления к растровому изображению, определения текущего нормального расстояния наблюдателя от монитора перпендикулярно к плоскости экрана монитора, и определения коэффициента растяжения в зависимости от определенного текущего нормального расстояния и номинального расстояния монитора. 2 н. и 5 з.п. ф-лы, 5 ил.

Description

Изобретение относится к способу представления трехмерной сцены на автостереоскопическом мониторе в соответствии с ограничительной частью пункта 1 формулы изобретения. Кроме того, изобретение относится к автостереоскопическому монитору в соответствии с ограничительной частью пункта 5 формулы изобретения.
Из уровня техники известны различные варианты осуществления автостереоскопических мониторов, излучающих световое поле, которое создает трехмерный эффект для наблюдателя, когда он находится в заданной плоскости на некотором расстоянии от плоскости изображения. Если, однако, наблюдатель выходит из этой плоскости, трехмерный эффект уменьшается как функция нормального расстояния до этой плоскости, пока не перестанет присутствовать на некотором расстоянии. Таким образом, общим для всех этих вариантов осуществления является то, что наблюдателю доступен заданный диапазон расстояний перед автостереоскопическим монитором в соответствии с конструкцией, в котором возможно стереоскопическое восприятие и, следовательно, трехмерный эффект. Из уровня техники известны различные способы, при которых в каждом случае определяют точное положение наблюдателя перед экраном, а затем для соответствующего наблюдателя определяют и отображают световое поле, оптимизированное для данного положения. Такие способы создают очень интенсивную вычислительную нагрузку на центральный процессор и обычно применяются только в особых случаях. Целью настоящего изобретения является предложение способа, расширяющего простым и ресурсосберегающим образом заданный диапазон, в котором перед автостереоскопическим монитором возможно стереоскопическое восприятие в соответствии с конструкцией. Заданную плоскость, в которой наблюдатель увидел бы оптимальное стереоскопическое изображение без этого способа, можно поэтому сдвигать вперед или назад перпендикулярно к плоскости экрана в соответствии с данным способом.
Цель настоящего изобретения достигается в рамках способа упомянутого типа сначала за счет отличительных признаков пункта 1 формулы изобретения.
Изобретение предлагает способ представления трехмерной сцены на автостереоскопическом мониторе, в котором
a) задают некоторое число N базовых изображений сцены, соответственно показывающих отображаемую сцену под различными углами зрения,
b) задают маску изображения для каждого из соответствующих базовых изображений с размером собственного экранного разрешения монитора или подобласти монитора,
c) взвешивают отдельные базовые изображения в соответствии с пикселем или субпикселем со значениями маски изображения, присвоенными им, а затем добавляют к растровому изображению,
d) отображают на экране автостереоскопического монитора растровое изображение, определенное таким способом,
e) определяют текущее нормальное расстояние наблюдателя от монитора перпендикулярно к плоскости экрана монитора, и
f) определяют коэффициент растяжения в зависимости от определенного текущего нормального расстояния и номинального расстояния до экрана, причем маски изображения растягиваются или сжимаются в направлении горизонтальной оси изображения в зависимости от коэффициента растяжения. В качестве альтернативы шагу f), маски изображения могут также растягиваться или сжиматься в направлении горизонтальной оси изображения, причем коэффициент растяжения не прямо пропорционален определенному нормальному расстоянию.
В результате создается полезный эффект, состоящий в том, что для нового вычисления отдельных масок изображения необходимым является не точное положение наблюдателя перед монитором, а, скорее, лишь любое изменение нормального расстояния наблюдателя от монитора, и это повторное вычисление может выполняться очень простым и ресурсосберегающим образом. Это приводит к тому, что ухудшение качества изображения для человеческого глаза вследствие интерполяции остается почти незаметным.
Предпочтительный вариант реализации оптических свойств предусматривает присвоение некоторого числа оптических элементов строке изображения на экране, при этом значения цвета и/или яркости, происходящие из каждого базового изображения, проецируют при помощи соответствующих оптических элементов на соответствующую точку проекции, имеющую предварительно заданное расстояние до автостереоскопического монитора, причем расстояние между каждыми двумя соседними точками проекции на прямой линии при нормальном расстоянии, на котором в данный момент находится наблюдатель, по существу совпадает с соответствующим расстоянием между двумя соседними точками проекции на прямой линии при номинальном расстоянии от автостереоскопического монитора.
Чтобы создать условия оптимальной адаптации для пользователя при низких требованиях к ресурсам, можно обеспечить, чтобы шаг е) выполнялся однократно или в заданные моменты времени обновления, в частности, непрерывно, и нормальное расстояние снова измерялось и обновлялось, и чтобы шаг f) снова выполнялся при изменении определенного нормального расстояния или после каждого определения нормального расстояния.
Чтобы отображать движущиеся изображения, можно обеспечить структуру видеоданных для представления движущихся сцен, причем для каждого момента времени доступны N базовых изображений сцены, и шаги b)-е) выполняются для каждого момента времени.
В соответствии с одним примером осуществления может быть обеспечено, чтобы маски изображения, которые растягиваются или сжимаются в зависимости от коэффициента растяжения, выравнивались, в частности, центрировались в горизонтальном направлении так, чтобы центр по горизонтали растянутых или сжатых масок изображения совпадал с центром по горизонтали исходной маски изображения, и при этом матричные значения выровненных масок изображений переносились на матричные значения новой маски изображения посредством интерполяции, причем новая маска имеет такое же разрешение и ширину, что и первоначальная маска изображения, причем шаги с) и d) выполняются с новой маской изображения.
Кроме того, изобретение решает проблему представления трехмерной сцены на автостереоскопическом мониторе, обеспечивая некоторое число базовых изображений, показывающих отображаемую сцену под различными углами зрения. Монитор содержит следующие элементы:
- для каждого из базовых изображений - память для маски изображения с размером собственного экранного разрешения монитора или частичной области, адаптированной к его окну стереоскопического отображения.
- блок взвешивания, который взвешивает отдельные базовые изображения на основе субпикселей со значениями соответствующей маски изображения, присвоенными им, а затем добавляет их,
- экран для отображения растрового изображения, и
- оптические элементы, которые преобразуют свет, исходящий от базовых изображений, в точки на прямой линии при использовании маски базового изображения,
- блок обнаружения для определения нормального расстояния наблюдателя от монитора, перпендикулярного к плоскости изображения монитора, и
- блок обновления, который определяет коэффициент растяжения в зависимости от нормального расстояния при изменении нормального расстояния наблюдателя, причем маски изображения растягиваются или сжимаются по горизонтальной оси изображения в зависимости от коэффициента растяжения.
Предпочтительный вариант реализации оптических свойств обеспечивает, чтобы расстояние между каждыми двумя соседними точками на прямой линии, на которой находится наблюдатель, соответствовало расстоянию между каждыми двумя соседними точками на прямой линии с номинальным расстоянием (т.е. номинальному расстоянию) до автостереоскопического монитора.
Предпочтительный вариант осуществления изобретения подробнее иллюстрируется на чертежах.
На фиг. 1 показана процедура, известная из уровня техники.
На фиг. 2 схематически показано определение промежуточных результатов и коэффициентов.
На фиг. 3 показана процедура, модифицированная по сравнению с уровнем техники (фиг. 1), в которой учтено соответствующее расстояние от пользователя до монитора.
На фиг. 4а показано вычисление изображения, отображаемого посредством растяжения маски изображения.
На фиг. 4b показано вычисление изображения, отображаемого посредством сжатия маски изображения.
Чтобы представить стереоскопическое изображение сцены, обеспечивают некоторое число базовых изображений 21, 22, 23, 24, 25, которые соответственно показывают трехмерную сцену под разными углами зрения (фиг. 2). В настоящем варианте осуществления при создании базовых изображений 21, 22, 23, 24, 25, одна и та же сцена была записана из пяти положений записи соответственно с одинаковой ориентацией, причем пять положений записи равномерно смещены друг относительно друга на прямой линии перпендикулярно к оси изображения камеры. Размер базовых изображений соответствует собственному разрешению экрана; в любом случае базовые изображения, прежде всего, могут быть преобразованы, в частности, интерполированы, для получения собственного разрешения. Под собственным разрешением понимают разрешение в пикселях, фактически присутствующее на мониторе. В качестве альтернативного варианта существует также возможность использования только части площади экрана для создания светового поля. В этом случае изобретение может также быть реализовано на части площади экрана монитора.
Отдельные камеры, как правило, имеют одинаковую ориентацию, хотя они показывают различные участки своей зоны просмотра. Они имеют различные проекционные матрицы; поэтому настройки камер, как правило, не идентичны. Таким образом, базовые изображения могут быть перспективно немного различными изображениями, как правило, снятыми со смещением по горизонтали, причем каждые два соседних изображения соответственно приводят к получению оптимального стереоскопического изображения. Например, 5 (входных или) базовых изображений дают 4 стереоскопических изображения; 8 (входных или) базовых изображений дают 7 стереоскопических изображений.
Предпочтительный вариант осуществления изобретения подробнее объясняется ниже со ссылкой на приложенные чертежи. На фиг. 1 показана процедура, известная из предшествующего уровня техники. При этом показан автостерескопический монитор 1, имеющий блок отображения, причем блок 10 отображения содержит некоторое число экранных пикселей 11, расположенных в виде сетчатого шаблона. В настоящем случае показан цветной монитор. В этом случае каждый из экранных пикселей 11 содержит некоторое число субпикселей.
На фиг. 1 отображена только одна строка изображения с такими экранными пикселями 11 (на горизонтальной оси х изображения). Автостереоскопический монитор 1 имеет множество строк изображения, расположенных одна над другой (на вертикальной оси у изображения) в плоскости отображения блока 10 отображения, с по существу одинаковой структурой. Некоторое число оптических элементов 12, представленных кружками на фиг. 1, отведены для соответствующей строки изображения автостереоскопического монитора 1.
Отдельные точки изображения базовых изображений 21, 22, 23, 24, 25 отображены в различных точках экрана 10 автостереоскопического монитора 1. Как видно из фиг. 1, изображение, значение цвета или значение яркости показано в субпикселе, отображаемом крайним слева, который происходит из первого базового изображения 21 и взят из соответствующей показанной строки изображения и крайнего левого столбца первого базового изображения. Значение цвета и/или яркости соответствующего положения пикселя из второго базового изображения 22 отображается в соответствующем втором субпикселе отображаемой строки экрана 1. В следующем третьем субпикселе отображаемой строки экрана значение цвета или яркости соответствующего положения пикселя отображается из третьего базового изображения 23 и т.д. В шестом субпикселе отображаемой строки экрана значение цвета или яркости отображаемого положения пикселя снова отображается из первого базового изображения 21. Эта конкретная корреляция субпикселей также выполняется для последующих точек изображения, причем корреляция повторяется на горизонтальной оси х изображения, и значения цвета или яркости отдельных базовых изображений повторяются в каждом случае.
Вследствие объединения света субпикселей в оптических элементах 12 и конкретного расположения отдельных оптических элементов 12, все значения цвета и яркости, происходящие из первого базового изображения 21, проецируются на точку Р1, которая имеет заданное расстояние d (по оси z) до автостереоскопического монитора 1 (в плоскости х-у).
Все значения цвета и яркости, происходящие из второго базового изображения 22 и отображаемые на экран автостереоскопического монитора, объединяются во второй точке Р2, которая также находится на расстоянии d от автостереоскопического монитора. Аналогичным образом, каждое из значений цвета и яркости оставшихся базовых изображений 23, 24, 25 объединяются в соответствующих точках Р3, Р4, Р5, находящихся на расстоянии d от автостереоскопического монитора.
Все из этих точек Р1, Р2, Р3, Р4, Р5 расположены на одной и той же прямой линии G, проходящей по существу параллельно номинальному расстоянию на расстоянии d от автостереоскопического монитора. Такая процедура приводит к тому, что глаза наблюдателя, находящиеся на расстоянии d от автостереоскопического монитора 1 на прямой линии G, могут воспринимать стереоскопическое изображение записанной сцены. В качестве номинального может рассматриваться любое расстояние от монитора, на котором наблюдатель может воспринимать наилучшее стереоскопическое изображение. Для достижения особенно эффективной адаптации к глазам, расстояние и размер оптических элементов 12, а также расстояние оптических элементов 12 от экрана 10 до отдельных точек 11 изображения предусмотрены на экране 10 таким образом, чтобы между соседними точками Р1, Р2, Р3, Р4, Р5, на которые отображаются соответствующие соседние изображения 21, 22, 23, 24, 25, среднее межзрачковое расстояние составляло приблизительно 6,5 см, или меньшее расстояние dp, так что два различных, в частности, соседних базовых изображения 21, 22, 23, 24, 25 проецируются на глаза наблюдателя и, таким образом, возникает стереоскопическое восприятие сцены. Расстояние dp может также быть существенно меньше, чтобы уменьшить расстояние положений записи базовых изображений относительно друг друга и, таким образом, для получения более мягкого градиента с эффектом ʺоглядыванияʺ.
Как видно из настоящего варианта осуществления изобретения (фиг. 2), каждое из базовых изображений 21, 22, 23, 24, 25 подвергается отдельному фильтрованию, которое обеспечивает проницаемость через определенные интервалы времени и подавляет значения цвета и яркости соответствующих других базовых изображений 21, 22, 23, 24, 25. Для каждого базового изображения 21, 22, 23, 24, 25 используется отдельная маска 31, 32, 33, 34, 35 изображения, причем в каждом субпикселе 11 отображаются значения цвета и интенсивности другого базового изображения 21, 22, 23, 24, 25. Сумма всех масок изображений дает единую матрицу. На фиг. 2 показаны вычислительные шаги и промежуточные результаты, необходимые для более детального определения строки изображения, причем одна строка базовых изображений 21, 22, 23, 24, 25, соответствующие маски 31, 32, 33, 34, 35 изображений, а также результаты 41, 42, 43, 44, 45 масок изображений показаны в ходе применения соответствующих базовых изображений 21, 22, 23, 24, 25. Иными словами, маска 31 изображения присвоена базовому изображению 21, и получен результат 41 и т.д. Строка 50 представляет итоговое растровое изображение по всем результатам 41-45.
Значения цвета и яркости первого базового изображения 21 в каждом случае умножают в соответствии с субпикселем на значения маски первой маски 31 изображения, аналогично умножению матриц, посредством чего получают промежуточный результат 41. Аналогичным образом, значения цвета и яркости оставшихся базовых изображений 22, 23, 24, 25 умножают в соответствии с пикселем на значения соответствующих масок 32, 33, 34, 35 изображения, присвоенных им, посредством чего получают промежуточный результат 42, 43, 44, 45. Отдельные промежуточные результаты 41, 42, 43, 44, 45 добавляют после этого к окончательному растровому изображению 50, отображаемому на экране 10. Блок взвешивания используется для определения растрового изображения, которое, соответственно, имеет память для масок 31, 32, 33, 34, 35 изображений, а также для базовых изображений 21, 22, 23, 24, 25 и, в результате выполняемого взвешивания, обеспечивает на выходе растровое изображение 50 и выводит его на экран 10 автостереоскопического монитора 1.
На фиг. 2 представлена процедура для единственной строки изображения (на горизонтальной оси х изображения), причем процедура для других отдельных строк изображения монитора, как правило, выполняется идентично, однако периодическая корреляция субпикселей для каждой строки изображения может сдвигаться горизонтально на конкретную величину смещения к соответствующей предшествующей строке изображения.
Часто линзы или параллаксные барьеры в 3D мониторах располагаются по диагонали под определенным углом, например, в случае наклонной лентикулярной линзы, для равномерного разделения итогового уменьшения разрешения при работе в 3D-режиме на осях х и у (в плоскости монитора), и в этом случае корреляция субпикселей в каждой строке сдвигается вправо или влево на конкретную величину горизонтального смещения относительно соответствующей предыдущей строки пикселей.
Обычно нет необходимости в том, чтобы все отдельные значения цвета и яркости точек изображения подвергались полной фильтрации, т.е. с точками трехцветного изображения, красными, зелеными и синими частями базовых изображений 21, 22, 23, 24, 25. Напротив, возможно также, чтобы только отдельные цветовые части точек 11 изображения взвешивались по субпикселям, т.е. в каждом случае отдельно и в соответствии с расположением на экране 10, причем субпиксель, используемый для конкретного цвета, соответствующего расположению, учитывается в строке изображения экрана 10 автостереоскопического монитора 1. В настоящем случае отдельные субпиксели расположены на экране автостереоскопического монитора 1 в порядке …RGBRGBRGB…, так, чтобы формирование значений цвета и интенсивности крайней левой точки 11а изображения происходило по первому базовому изображению 21 красного канала крайней левой точки 11а изображения, по второму базовому изображению 22 зеленого канала крайней левой точки 11а изображения, и по третьему базовому изображению 23 синего канала крайней левой точки 11а изображения. Значение красного цвета четвертого базового изображения 24, значение зеленого цвета пятого базового изображения 25 и значение синего цвета первого базового изображения 21 соответственно используются для второй точки 11b соответствующей строки изображения, расположенной рядом с крайней левой точки 11а изображения. Эта процедура продолжается для всей строки изображения в соответствии с заданной маской изображения.
Оптимальный подход к получению стереоскопического изображения, когда наблюдатель не находится на номинальном расстоянии d от экрана 1, подробнее показан на фиг. 3. Существенное преимущество по сравнению со способами, известными из предшествующего уровня техники, состоит в том, что оптические элементы 12 или точку 11 изображения не нужно изменять по сравнению с их заданными положениями, и только маски 31, 32, 33, 34, 35 изображений определяются снова. На фиг. 3 показана прямая линия G', расположенная на нормальном расстоянии d' от экрана 1, причем это нормальное расстояние d' наблюдателя от автостереоскопического монитора 1 не соответствует непосредственно номинальному расстоянию d автостереоскопического монитора 1. Чтобы обеспечить возможность генерации оптимального светового поля для наблюдателя на прямой линии G' при известном нормальном расстоянии d' наблюдателя до автостереоскопического монитора 1, далее осуществляют модификацию способа, описанного вначале, причем к другому текущему расстоянию d' (т.е. фактическому нормальному расстоянию d') адаптируют только маски 31, 32, 33, 34, 35 изображений.
На первом этапе нормальное расстояние d' соответствующего наблюдателя до автостереоскопического монитора 1 определяют при помощи блока обнаружения, например, определяют посредством управляемой пользователем камеры, или любого расстояния. Нормальное расстояния наблюдателя определяется при этом как расстояние между наблюдателем и монитором, перпендикулярное к плоскости изображения монитора. Для управления экраном 10 таким образом, чтобы световое поле, соответствующее сцене, излучалось монитором для наблюдателя с произвольным нормальным расстоянием d', отдельные маски 31, 32, 33, 34, 35 изображений растягивают или сжимают на определенную величину в зависимости от нормального расстояния d' наблюдателя. Один вариант определения коэффициента s растяжения как функции номинального расстояния d и фактического нормального расстояния d' обеспечивает, чтобы коэффициент s растяжения был получен на основе результата деления или отношения номинального расстояния d к фактическому нормальному расстоянию d'.
Сжатие (фиг. 4b) или растяжение (фиг. 4а) масок 31, 32, 33, 34, 35 изображений может выполняться при помощи всех интерполяционных методов, предусмотренных или известных из предшествующего уровня техники, причем маски 31', 32', 33', 34', 35' базовых изображений преимущественно получены на основе масок 31, 32, 33, 34, 35 изображений, показанных на фиг. 2. Если имеет место сжатие, сначала создается маска 31'', 32'', 33'', 34'', 35'' сжатого базового изображения. Отдельные области маски 31'', 32'', 33'', 34'', 35'' базовых изображений, которые применяются для последующего взвешивания базовых изображений, остаются неопределенными сжатием (фиг. 4b). По этой причине создают дополнительную маску 31''', 32''', 33''', 34''', 35''' базового изображения, в которой области, остающиеся неопределенными в сжатой маске базового изображения, определяют на основе значений X, Y. Это может быть выполнено посредством приравнивания областей X, Y нулю. Однако можно также добавить пропущенные субпиксели снаружи в областях X, Y посредством периодического продолжения масок 31', 32', 33', 34', 35' базовых изображений.
На фиг. 4а и 4b создание маски 31 изображения показано более подробно, причем на фиг. 4а показано растяжение с коэффициентом 1,25 растяжения, а на фиг. 4b показано сжатие с коэффициентом 0,75 растяжения.
Чтобы проиллюстрировать вычислительный метод, матрица с 3-кратной шириной и 1-кратной высотой собственного разрешения в пикселях части экрана показана так, чтобы число элементов матрицы соответствовало числу субпикселей части экрана. Матричные элементы маски 31' базового изображения поочередно имеют значение 1 и 0, или матричным элементам поочередно присваивают значения 0 и 1. В окончательной процедуре матричные элементы масок базовых изображений могут, однако, иметь значения в диапазоне от 0 до 1, т.е. значение 0, значение 1 или все возможные значения между ними. Фактически возможно, но необязательно, чтобы значения образовывали периодическую структуру. Маска 31' базового изображения проходит по существу по всему (горизонтальному) базовому изображению или по всему экрану 10. На первом этапе маску 31а', 31b' базового изображения растягивают с коэффициентом s растяжения, когда коэффициент s растяжения больше, чем 1 (фиг. 4а), или сжимают, когда коэффициент s растяжения меньше, чем 1 (фиг. 4b); получают растянутую или сжатую маску 31а'' или 31b'' базового изображения. Затем растянутую или сжатую маску 31а'', 31b'' базового изображения центрируют в горизонтальном направлении так, чтобы центр по горизонтали маски 31а''', 31b''' базового изображения совпадал с центром по горизонтали маски 31а', 31b' базового изображения. На последнем этапе выровненные (отцентрированные) маски 31а''', 31b''' базового изображения переносят на новую маску 31а, 31b изображения посредством интерполяции, причем новая маска 31а, 31b изображения имеет такое же разрешение и ширину, что и первоначальная маска 31а', 31b' базового изображения, и, таким образом, может отображаться на экране 10. Для переноса посредством интерполяции может применяться линейная интерполяция, причем используется отношение ширины отдельных областей RGB-матрицы маски 31а', 31b' базового изображения к ширине областей RGB-матрицы растянутой или сжатой маски 31а'' или 31b'' базового изображения, и в этом случае, в частности, делятся только те участки (отрезки) областей RGB-матрицы, которые имеют значение 1. Таким образом, как показано примером на фиг. 4а, значение красного R первой точки 11а изображения новой маски 31а изображения принимает значение ʺ0,5ʺ, значение зеленого G первой точки 11а изображения принимает значение ʺ0,75ʺ, поскольку соответствующая область RGB-матрицы растянутой маски 31а'' изображения перекрывает наполовину значение красного R первой точки 11а изображения новой маски 31а изображения, а значение зеленого перекрывает на три четверти. Иными словами, соответствующее значение области матрицы растянутой маски 31а''' изображения (или сжатой маски 31b''' изображения) делится в отношении степени перекрытия двух соседних областей матрицы новой маски 31а (или 31b) изображения, и соответствующее деленное значение присваивается новой маске 31а изображения. Области матрицы растянутой маски 31а'' изображения со значением ʺ0ʺ должны также давать значение ʺ0ʺ для соседних областей матрицы новой маски 31а изображения.
Со сжатой маской 31b'' базового изображения, показанной на фиг. 4b, связана проблема, состоящая в том, что для отображаемых областей X, Y отцентрированной маски 31b''' базового изображения не заданы никакие значения. С одной стороны, можно заполнить эти области X, Y нулями, чтобы иметь достаточные значения, доступные для выполнения интерполяции. В этом случае субпиксель красного цвета К первой точки 11а изображения принимает, например, значение 0, субпиксель синего цвета С второй точки 11b изображения принимает значение 0,25.
В альтернативном варианте, можно также периодически продолжать области маски 31b''' базового изображения и выполнять интерполяцию этим способом. За счет периодического продолжения область X принимала бы значение 1, а область Y - значение 0. В этом случае субпиксель красного цвета К первой точки 11а изображения принимает значение 0,75, субпиксель синего цвета С второй точки 11 b изображения принимает значение 0,25.
Благодаря изменению (растяжению, сжатию) масок 31, 32, 33, 34, 35 изображений свет от субпикселей, исходящий из тех же базовых изображений 21, 22, 23, 24, 25, отображается на ту же точку Р1', Р2', РЗ', Р4', Р5' на прямой линии G' (фиг. 3).
Расстояние dp' между двумя соседними точками Р1', Р2', Р3', Р4', Р5' на прямой линии G', на которой находится наблюдатель, соответствует расстоянию dp между каждыми двумя соседними точками Р1, Р2, Р3, Р4, Р5 на прямой линии G с номинальным расстоянием d до автостереоскопического монитора 1. Изменение в маски 31, 32, 33, 34, 35 изображения вносится блоком обновления в соответствии с расстоянием d' наблюдателя от монитора 1.
Благодаря применению приведенной выше процедуры маски 31, 32, 33, 34, 35 изображений имеют растянутое или сжатое распределение по сравнению с маской базового изображения. Маски 31, 32, 33, 34, 35 изображений растягиваются или сжимаются в направлении горизонтальной оси изображения так, чтобы растягивание отдельных масок 31, 32, 33, 34, 35 изображений было не прямо пропорционально определенному нормальному расстоянию d'. Растровое изображение 50 отображается на экране 10 автостереоскопического монитора 1. Некоторое число базовых изображений 21, 22, 23, 24, 25 доступно для каждого момента отображения при работе автостереоскопического монитора. Нормальное расстояние d' наблюдателя от монитора 1, перпендикулярное к плоскости экрана монитора 1, непрерывно регистрируется или определяется иным образом. Если нормальное расстояние d' пользователя от автостереоскопического монитора изменяется, маски 31, 32, 33, 34, 35 изображений соответственно пересчитываются, и представление базовых изображений 21, 22, 23, 24, 25 происходит в результате вновь созданных масок 31, 32, 33, 34, 35 изображений.

Claims (19)

1. Способ представления трехмерной сцены на автостереоскопическом мониторе (1), в котором
a) отображают некоторое число N базовых изображений (21, 22, 23, 24, 25) отображаемой сцены, которые, соответственно, показывают отображаемое изображение под различными углами зрения,
b) обеспечивают маску изображения (31, 32, 33, 34, 35) для каждого базового изображения (21, 22, 23, 24, 25), каждое из которых имеет размер собственного экранного разрешения монитора (1) или подобласти монитора,
c) взвешивают отдельные базовые изображения (21, 22, 23, 24, 25) в соответствии с пикселем или субпикселем со значениями соответствующей маски изображения (31, 32, 33, 34, 35), присвоенными им, а затем добавляют к растровому изображению (50),
d) отображают на экране (10) автостереоскопического монитора (1) растровое изображение (50), определенное таким способом,
e) определяют текущее нормальное расстояние (d') наблюдателя от монитора (1) перпендикулярно к плоскости экрана монитора (1), и
f) определяют коэффициент растяжения в зависимости от определенного текущего нормального расстояния (d') и номинального расстояния (d) монитора (1), причем маски (31, 32, 33, 34, 35) изображения растягивают или сжимают в направлении горизонтальной оси (х) изображения в зависимости от коэффициента растяжения.
2. Способ по п. 1, отличающийся тем, что строке изображения на экране (10) присваивают некоторое число элементов (12), причем значения цвета и/или яркости, происходящие из каждого базового изображения, проецируют посредством соответствующих оптических элементов (12) на соответствующую точку (Р1, Р2, Р3, Р4, Р5) проекции, имеющую заданное расстояние (d, d') до автостереоскопического монитора (1), причем расстояние (d'p) между каждыми двумя соседними точками (Р1', Р2', Р3', Р4', Р5') проекции на прямой линии (G') при нормальном расстоянии (d'), на котором в данный момент находится наблюдатель, по существу, совпадает с соответствующим расстоянием (dp) между двумя соседними точками (Р1, Р2, Р3, Р4, Р5) проекции на прямой линии (G) при номинальном расстоянии (d) до экрана (10).
3. Способ по п. 1, отличающийся тем, что шаг е) выполняют однократно или в заданные моменты времени обновления, в частности, непрерывно, и нормальное расстояние (d') снова определяют и обновляют, и шаг f) выполняют снова при изменении определенного нормального расстояния (d') или после каждого определения нормального расстояния (d').
4. Способ по любому из пп. 1 или 2, отличающийся тем, что обеспечивают структуру видеоданных для представления движущихся сцен, причем для каждого момента времени доступны N базовых изображений (21, 22, 23, 24, 25) сцены, и шаги b)-е) выполняют для каждого момента времени.
5. Способ по любому из пп. 1-4, отличающийся тем, что выравнивают маски (31а'', 31b'') изображения, растянутые или сжатые в зависимости от коэффициента растяжения, в частности, центрируют в горизонтальном направлении так, чтобы центр по горизонтали растянутых или сжатых масок изображения совпадал с центром по горизонтали исходной маски (31а', 31b') изображения, и при этом матричные значения выровненных масок (31а'''; 31b''') изображения переносят на матричные значения новой маски (31а, 31b) изображения посредством интерполяции, причем новая маска имеет такое же разрешение и ширину, что и первоначальная маска (31а'; 31b') изображения, и шаги с) и d) выполняют с новой маской изображения.
6. Автостереоскопический монитор для отображения трехмерной сцены, представленной в виде ряда базовых изображений (21, 22, 23, 24, 25), соответственно показывающих отображаемую сцену под различными углами зрения, содержащий
- память для маски (31, 32, 33, 34, 35) изображения для каждого из базовых изображений (21, 22, 23, 24, 25) с размером собственного экранного разрешения монитора или частичной области, адаптированной к его окну стереоскопического отображения,
- блок взвешивания, выполненный с возможностью взвешивания отдельных базовых изображений (21, 22, 23, 24, 25) в соответствии с субпикселями со значениями соответствующей маски (31, 32, 33, 34, 35) изображения, присвоенными им, и последующего их добавления,
- экран (10) для отображения растрового изображения, и
- оптические элементы (12), которые, при использовании маски (31', 32', 33', 34', 35') базового изображения, соответственно выполнены с возможностью преобразования света, исходящего от базовых изображений (21, 22, 23, 24, 25), в точки (Р1, Р2, Р3, Р4, Р5) на прямой линии (G),
- блок обнаружения для определения нормального расстояния (d') наблюдателя от монитора (1), перпендикулярного к плоскости изображения монитора (1), и
- блок обновления, который выполнен с возможностью определения коэффициента растяжения в зависимости от нормального расстояния (d') и номинального расстояния (d) при изменении нормального расстояния (d') наблюдателя, при этом предусмотрена возможность растягивания или сжатия масок (31, 32, 33, 34, 35) изображения по горизонтальной оси (х) изображения в зависимости от коэффициента растяжения.
7. Автостереоскопический монитор по п. 6, отличающийся тем, что расстояние (d'p) между двумя соседними точками (Р1', Р2', Р3', Р4', Р5') на прямой линии (G') при нормальном расстоянии (d'), на котором находится наблюдатель, соответствует расстоянию (dp) между двумя соседними точками (Р1, Р2, Р3, Р4, Р5) на прямой линии (G) с номинальным расстоянием (d) от автостереоскопического монитора (10).
RU2017104539A 2014-07-15 2015-07-15 Способ представления трехмерной сцены на автостереоскопическом мониторе RU2682022C2 (ru)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
ATPCT/AT2014/050158 2014-07-15
PCT/AT2014/050158 WO2016007976A1 (de) 2014-07-15 2014-07-15 Verfahren zur darstellung einer dreidimensionalen szene auf einem autostereoskopischen monitor
PCT/EP2015/066217 WO2016008953A1 (de) 2014-07-15 2015-07-15 Verfahren zur darstellung einer dreidimensionalen szene auf einem autostereoskopischen monitor

Publications (3)

Publication Number Publication Date
RU2017104539A RU2017104539A (ru) 2018-08-15
RU2017104539A3 RU2017104539A3 (ru) 2019-01-24
RU2682022C2 true RU2682022C2 (ru) 2019-03-14

Family

ID=51300464

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2017104539A RU2682022C2 (ru) 2014-07-15 2015-07-15 Способ представления трехмерной сцены на автостереоскопическом мониторе

Country Status (9)

Country Link
US (1) US10368048B2 (ru)
EP (1) EP3170307B1 (ru)
JP (1) JP6718432B2 (ru)
KR (1) KR20170033362A (ru)
CN (1) CN107079140B (ru)
AU (1) AU2015289185B2 (ru)
CA (1) CA2954942C (ru)
RU (1) RU2682022C2 (ru)
WO (2) WO2016007976A1 (ru)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018169361A1 (ko) 2017-03-16 2018-09-20 주식회사 엘지화학 고분자 전해질을 포함하는 전극의 제조 방법 및 그 방법으로 제조된 전극
BR112020014201A2 (pt) * 2018-01-10 2020-12-01 Institut de Recherche sur les Cancers de l'Appareil Digestif - IRCAD sistema e método de segmentação automática de uma imagem médica 3d por uma ou várias redes neurais através de convolução estruturada de acordo com a geometria anatômica da imagem médica 3d
US11172190B2 (en) * 2018-07-10 2021-11-09 Google Llc Stereo weaving for head-tracked autostereoscopic displays
CN109979253B (zh) * 2019-03-22 2024-07-05 湖州师范学院 一种直线投影演示仪
CN114927068B (zh) * 2022-06-30 2023-11-21 合肥维信诺科技有限公司 可拉伸显示面板及其显示驱动方法、显示装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012021967A1 (en) * 2010-08-16 2012-02-23 Tandemlaunch Technologies Inc. System and method for analyzing three-dimensional (3d) media content
RU2474973C2 (ru) * 2011-03-23 2013-02-10 Василий Александрович ЕЖОВ Устройство стереовидения в реальном времени
WO2013041509A1 (en) * 2011-09-20 2013-03-28 Thomson Licensing Method for the synchronization of 3d devices and corresponding synchronization device
WO2013088390A1 (en) * 2011-12-14 2013-06-20 Universita' Degli Studi Di Genova Improved three-dimensional stereoscopic rendering of virtual objects for a moving observer
RU2518484C2 (ru) * 2012-04-26 2014-06-10 Василий Александрович ЕЖОВ Способ автостереоскопического отображения с полноэкранным разрешением и устройство для осуществления способа (варианты)

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2341231A (en) * 1998-09-05 2000-03-08 Sharp Kk Face detection in an image
KR101685981B1 (ko) 2010-07-29 2016-12-13 엘지전자 주식회사 입체영상 디스플레이 시스템, 입체영상 디스플레이 장치 및 입체영상 디스플레이 방법
KR101269631B1 (ko) * 2011-10-06 2013-05-30 한국과학기술연구원 3차원 영상표시장치 및 이것에서 수행되는 3차원 영상표시 방법
US8848006B2 (en) * 2012-01-25 2014-09-30 Massachusetts Institute Of Technology Tensor displays
JP5762998B2 (ja) * 2012-03-07 2015-08-12 株式会社ジャパンディスプレイ 表示装置および電子機器
KR20140051072A (ko) * 2012-10-22 2014-04-30 한국전자통신연구원 시청 영역 이동식 무안경 3d 디스플레이 장치 및 방법
KR101977251B1 (ko) * 2012-12-18 2019-08-28 엘지디스플레이 주식회사 멀티 뷰 무안경 입체 영상 표시장치와 그 최적 시청 거리 제어 방법
CN103686133A (zh) * 2013-12-24 2014-03-26 友达光电股份有限公司 一种用于裸眼立体显示器的图像补偿装置及其方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012021967A1 (en) * 2010-08-16 2012-02-23 Tandemlaunch Technologies Inc. System and method for analyzing three-dimensional (3d) media content
RU2474973C2 (ru) * 2011-03-23 2013-02-10 Василий Александрович ЕЖОВ Устройство стереовидения в реальном времени
WO2013041509A1 (en) * 2011-09-20 2013-03-28 Thomson Licensing Method for the synchronization of 3d devices and corresponding synchronization device
WO2013088390A1 (en) * 2011-12-14 2013-06-20 Universita' Degli Studi Di Genova Improved three-dimensional stereoscopic rendering of virtual objects for a moving observer
RU2518484C2 (ru) * 2012-04-26 2014-06-10 Василий Александрович ЕЖОВ Способ автостереоскопического отображения с полноэкранным разрешением и устройство для осуществления способа (варианты)

Also Published As

Publication number Publication date
US10368048B2 (en) 2019-07-30
EP3170307B1 (de) 2020-08-26
CA2954942C (en) 2021-01-19
AU2015289185B2 (en) 2019-12-05
WO2016008953A1 (de) 2016-01-21
RU2017104539A (ru) 2018-08-15
CN107079140B (zh) 2019-07-23
KR20170033362A (ko) 2017-03-24
JP6718432B2 (ja) 2020-07-08
RU2017104539A3 (ru) 2019-01-24
US20170127037A1 (en) 2017-05-04
WO2016007976A1 (de) 2016-01-21
EP3170307A1 (de) 2017-05-24
CN107079140A (zh) 2017-08-18
CA2954942A1 (en) 2016-01-21
AU2015289185A1 (en) 2017-03-02
JP2017529723A (ja) 2017-10-05

Similar Documents

Publication Publication Date Title
JP5615136B2 (ja) 立体画像補正方法、立体表示装置、および立体画像生成装置
RU2682022C2 (ru) Способ представления трехмерной сцены на автостереоскопическом мониторе
RU2692432C2 (ru) Способ и устройство для формирования трехмерного изображения
JP5809293B2 (ja) 表示装置
JP6061852B2 (ja) 映像表示装置および映像表示方法
JP5687654B2 (ja) 画像処理装置、立体画像表示装置、画像処理方法および画像処理プログラム
EP2166402A2 (en) 2D/3D switchable autostereoscopic display apparatus and method
US20130135299A1 (en) Image processing apparatus and method for subpixel rendering
US9396579B2 (en) Method for visualizing three-dimensional images on a 3D display device and 3D display device
JP2003521181A (ja) 立体画像表示装置
US10547832B2 (en) Image processing apparatus, method, and storage medium for executing gradation on stereoscopic images
JP2015118094A (ja) 映像表示品質パラメータ測定装置及び方法
US20170155895A1 (en) Generation of drive values for a display
CN105158915B (zh) 一种基于三合一led裸眼3d显示装置及制备方法
JP2012186653A (ja) 画像表示装置、方法およびプログラム
US8159492B2 (en) Method for simulating optical components for the stereoscopic production of spatial impressions
TW201320719A (zh) 立體畫像顯示裝置、畫像處理裝置及畫像處理方法
US9190020B2 (en) Image processing device, image processing method, computer program product, and stereoscopic display apparatus for calibration
CN115022612B (zh) 一种显示装置的驱动方法、装置及显示设备
US20140313199A1 (en) Image processing device, 3d image display apparatus, method of image processing and computer-readable medium
TWI556623B (zh) 三維影像控制方法
JP2007506124A (ja) 空間的に知覚可能な提示のための方法および装置
JP2013178322A (ja) 画像処理装置、方法、及びプログラム、並びに画像表示装置