RU206431U1

RU206431U1 - Interactive speech therapy smart mirror

Info

Publication number: RU206431U1
Application number: RU2021119214U
Authority: RU
Inventors: Дмитрий Олегович Андреев; Игорь Ильич Григорьев
Original assignee: Общество с ограниченной ответственностью "СтендАп Инновации"
Priority date: 2021-07-01
Filing date: 2021-07-01
Publication date: 2021-09-13

Abstract

Полезная модель относится к устройствам для получения, обработки и передачи информации, а именно к интерактивному зеркальному дисплею, который может работать в режиме отображения отражения и, одновременно, в режиме отображения информации, в котором дисплей показывает изображение. Данное решение применяется, в частности, в качестве интерактивного взаимодействия логопеда для коррекционной работы с детьми, имеющими проблемы в речевом, когнитивном и эмоциональном развитии.Задачей полезной модели является расширение функционала использования интерактивного зеркала. Техническим результатом полезной модели является повышение качества аудиовидеозаписи и воспроизведения картинки на экране.Интерактивное умное зеркало, содержащее встроенные в корпус: модуль записи, обработки и воспроизведения звука в составе: звуковые динамики, звуковые карты, микрофон; модуль коммуникации в составе: цифровые интерфейсы подключения и коммуникации, аналоговые интерфейсы подключения и коммуникации, источник питания; модуль записи, обработки и вывода изображения в составе: информационный дисплей и видеокамера, при этом передней стенкой корпуса является зеркало, за которым размещен информационный дисплей, размер которого меньше размера зеркала, при этом информационный дисплей через модуль коммуникации выполнен с возможностью подключения к компьютеру и видеокамере, согласно полезной модели информационный дисплей установлен в корпусе на раме с образованием воздушного зазора между зеркалом и дисплеем, видеокамера установлена на раме под углом относительно вертикальной оси зеркала, модуль записи, обработки и воспроизведения звука соединен через модуль коммуникации с модулем записи, обработки и вывода изображения, при этом компьютер выполнен встроенным в раму. В частном случае исполнения в качестве зеркала используется зеркало Гезелла. Также в верхней части зеркала в частном случае исполнения выполнена прозрачная точка. Технический результат достигается также тем, что угол наклона видеокамеры не более 90 градусов. Технический результат достигается также тем, что видеокамера установлена под углом 90 градусов. В качестве видеокамеры может быть использована камера глубины. 5 з.п. ф-ы, 2 ил.The utility model relates to devices for receiving, processing and transmitting information, namely, an interactive mirror display, which can operate in the reflection display mode and, at the same time, in the information display mode, in which the display shows an image. This solution is used, in particular, as an interactive interaction of a speech therapist for corrective work with children who have problems in speech, cognitive and emotional development. The task of the utility model is to expand the functionality of using an interactive mirror. The technical result of the utility model is to improve the quality of audio and video recording and image reproduction on the screen. An interactive smart mirror containing built into the body: a module for recording, processing and reproducing sound consisting of: sound speakers, sound cards, a microphone; communication module consisting of: digital interfaces for connection and communication, analog interfaces for connection and communication, power supply; a module for recording, processing and outputting an image consisting of: an information display and a video camera, while the front wall of the case is a mirror, behind which there is an information display, the size of which is smaller than the size of the mirror, while the information display through the communication module is made with the ability to connect to a computer and a video camera , according to the utility model, the information display is installed in the housing on the frame with the formation of an air gap between the mirror and the display, the video camera is installed on the frame at an angle relative to the vertical axis of the mirror, the sound recording, processing and reproduction module is connected through the communication module with the image recording, processing and output module while the computer is built into the frame. In the particular case of execution, a Gesell mirror is used as a mirror. Also in the upper part of the mirror, in the particular case of execution, a transparent point is made. The technical result is also achieved by the fact that the angle of inclination of the video camera is not more than 90 degrees. The technical result is also achieved by the fact that the video camera is installed at an angle of 90 degrees. A depth camera can be used as a video camera. 5 p.p. f-s, 2 ill.

Description

Полезная модель относится к устройствам для получения, обработки и передачи информации, а именно к интерактивному зеркальному дисплею, которое может работать в режиме отображения отражения и, одновременно, в режиме отображения информации, в котором дисплей показывает изображение. Данное решение применяется, в частности, в качестве интерактивного взаимодействия логопеда для коррекционной работы с детьми, имеющими проблемы в речевом, когнитивном и эмоциональном развитии.The utility model relates to devices for receiving, processing and transmitting information, namely, an interactive mirror display, which can operate in the reflection display mode and, at the same time, in the information display mode, in which the display shows an image. This solution is used, in particular, as an interactive interaction of a speech therapist for corrective work with children who have problems in speech, cognitive and emotional development.

В настоящий момент очень быстро и активно развиваются технологии по интерактивным зеркальным дисплеям, способным в режиме реального времени отображать изображение человека. Такие технологии используются в частности в торговле, так называемые интерактивные примерочные; индустрия красоты – интерактивные зеркала для макияжа; в области личной гигиены, например, бритья и заботы о внешнем виде. Также подобные технологии используются для проведения интерактивных спортивных/физических тренировок https://www.mirror.com//. At the moment, technologies for interactive mirror displays capable of displaying a person's image in real time are developing very quickly and actively. Such technologies are used in particular in trade, the so-called interactive fitting rooms; beauty industry - interactive makeup mirrors; in the area of personal hygiene, such as shaving and grooming. Also, similar technologies are used for interactive sports / physical training https://www.mirror.com//.

Из уровня техники известно устройство формирования изображения и отображения данных (патент RU 2668408, МПК G06F17/00, опубл. 28.09.2018). Зеркало содержит машиночитаемый носитель, в котором сохранена программа для выполнения процессором, при этом указанная программа включает команды для выделения объекта в цифровом изображении путем осуществления стадий, включающих формирование цифрового изображения; получение команды выбора объекта на цифровом изображении; выбор множества репрезентативных пикселей, которые оценены как находящиеся в границах указанного объекта; вычисление репрезентативного цвета из множества репрезентативных пикселей; выбор пикселей цифрового изображения, и вычисление для каждого пикселя евклидового расстояния до репрезентативного цвета, и, если эвклидово расстояние находится в пределах заданного порогового значения, идентификацию пикселя в качестве принадлежащего указанному объекту, и генерирование множества масок, при этом в каждой маске сохранены значения различных характеристик пикселей, принадлежащих объекту. Недостаток данного решение – сложная конструкция и невысокое качество воспроизведения изображения на дисплее. A device for image formation and data display is known from the prior art (patent RU 2668408, IPC G06F17 / 00, publ. 09/28/2018). The mirror contains a computer-readable medium in which a program is stored for execution by a processor, said program including instructions for highlighting an object in a digital image by performing steps including generating a digital image; receiving a command to select an object on a digital image; selecting a plurality of representative pixels that are judged to be within the boundaries of the specified object; calculating a representative color from a plurality of representative pixels; selection of pixels of a digital image, and calculating for each pixel the Euclidean distance to a representative color, and, if the Euclidean distance is within a given threshold value, identifying the pixel as belonging to the specified object, and generating a set of masks, while the values of various characteristics are stored in each mask pixels belonging to the object. The disadvantage of this solution is its complex design and low quality of image reproduction on the display.

Известно зеркало (патент US 9845537, МПК GOIL 1/00, H04N 5/645, опубл. 19.12.2017), которое включает в себя зеркальную платформу. Зеркальная платформа имеет зону просмотра устройства отображения мультимедиа и зону отражения. Отражательная способность области просмотра мультимедийного устройства отображения меньше, чем отражательная способность отражающей области. В комплект входит монтажный кронштейн. Монтажный кронштейн прикреплен к платформе зеркала. Монтажный кронштейн открыт с одной стороны, и отверстие в монтажном кронштейне выполнено с возможностью размещения устройства отображения мультимедиа. Способ размещения устройства отображения мультимедиа в сборке платформы зеркала включает в себя вставку устройства отображения мультимедиа через отверстие в монтажном кронштейне, при этом платформа зеркала прикреплена к монтажному кронштейну, а платформа зеркала имеет зону просмотра устройства отображения мультимедиа. Недостаток данного зеркала – ограниченное поле области просмотра мультимедиа, невысокое качество воспроизведения изображения на дисплее.Known mirror (patent US 9845537, IPC GOIL 1/00, H04N 5/645, publ. 19.12.2017), which includes a mirror platform. The mirror platform has a viewing area of a media display device and a reflection area. The reflectivity of the viewing area of the multimedia display device is less than the reflectivity of the reflective area. Mounting bracket included. The mounting bracket is attached to the mirror platform. The mounting bracket is open on one side, and a hole in the mounting bracket is configured to receive a multimedia display device. A method for positioning a media display device in a mirror platform assembly includes inserting the media display device through a hole in a mounting bracket, the mirror platform being attached to the mounting bracket, and the mirror platform having a viewing area of the media display device. The disadvantage of this mirror is the limited field of the multimedia viewing area, low quality of image reproduction on the display.

Известно интерактивное зеркало (патент RU 172702, МПК G06F3/042, G06F17/00, опубл. 19.07.2017), которое содержит корпус, передней стенкой которого является вертикально ориентированное зеркало с инфракрасной рамкой по его периметру, имеющее олеофобное покрытие с внешней стороны зеркала, белую непрозрачную подложку с внутренней стороны зеркала. Между вертикально ориентированным зеркалом и задней стенкой корпуса размещаются горизонтально ориентированный информационный дисплей с функциями управления, а также компьютер (одноплатный) или компьютерная плата, имеющий Wi-Fi-антенну. Между зеркалом и задней стенкой корпуса зеркала могут быть также установлены видеокамера, подключаемая к компьютеру или компьютерной плате. Недостаток данного зеркала – ограниченное поле области просмотра мультимедиа, невысокое качество воспроизведения изображения на дисплее.Known interactive mirror (patent RU 172702, IPC G06F3 / 042, G06F17 / 00, publ. 19.07.2017), which contains a body, the front wall of which is a vertically oriented mirror with an infrared frame around its perimeter, having an oleophobic coating on the outside of the mirror, a white opaque substrate on the inside of the mirror. A horizontally oriented information display with control functions, as well as a computer (single-board) or computer board with a Wi-Fi antenna are placed between the vertically oriented mirror and the rear wall of the case. A video camera connected to a computer or a computer board can also be installed between the mirror and the rear wall of the mirror housing. The disadvantage of this mirror is the limited field of the multimedia viewing area, low quality of image reproduction on the display.

Наиболее близким к заявляемому решению является умное зеркало «АЛМА Зазеркалье» (https://myalma.ru/product/zazerkale/, дата обращения 29.03.2021г.), которое содержит зеркальный мультимедийный экран со встроенной видеокамерой, акустическую систему, микрофон. Недостаток данного зеркала – ограниченное поле области просмотра мультимедиа, невысокое качество воспроизведения изображения на дисплее.The closest to the claimed solution is the smart mirror "ALMA Through the Looking Glass" (https://myalma.ru/product/zazerkale/, date of treatment 03/29/2021), which contains a mirrored multimedia screen with a built-in video camera, acoustic system, microphone. The disadvantage of this mirror is the limited field of the multimedia viewing area, low quality of image reproduction on the display.

Задачей полезной модели является расширение функционала использования интерактивного зеркала.The purpose of the utility model is to expand the functionality of using an interactive mirror.

Техническим результатом полезной модели является повышение качества аудио-видео записи и воспроизведения картинки на экране.The technical result of the utility model is to improve the quality of audio-video recording and playback of a picture on the screen.

Технический результат достигается тем, что интерактивное умное зеркало, содержащее встроенные в корпус: модуль записи, обработки и воспроизведения звука в составе: звуковые динамики, звуковые карты, микрофон; модуль коммуникации в составе: цифровые интерфейсы подключения и коммуникации, аналоговые интерфейсы подключения и коммуникации, источник питания; модуль записи, обработки и вывода изображения в составе: информационный дисплей и видеокамера, при этом передней стенкой корпуса является зеркало, за которым размещен информационный дисплей, размер которого меньше размера зеркала, при этом информационный дисплей через модуль коммуникации выполнен с возможностью подключения к компьютеру и видеокамере, согласно полезной модели, информационный дисплей установлен в корпусе на раме с образованием воздушного зазора между зеркалом и дисплеем, видеокамера установлена на раме под углом относительно вертикальной оси зеркала, модуль записи, обработки и воспроизведения звука соединен через модуль коммуникации с модулем записи, обработки и вывода изображения, при этом компьютер выполнен встроенным в раму.The technical result is achieved by the fact that an interactive smart mirror containing built into the body: a module for recording, processing and reproducing sound consisting of: sound speakers, sound cards, a microphone; communication module consisting of: digital interfaces for connection and communication, analog interfaces for connection and communication, power supply; a module for recording, processing and outputting an image consisting of: an information display and a video camera, while the front wall of the case is a mirror, behind which there is an information display, the size of which is smaller than the size of the mirror, while the information display through the communication module is made with the ability to connect to a computer and a video camera , according to the utility model, the information display is installed in the case on the frame with the formation of an air gap between the mirror and the display, the video camera is installed on the frame at an angle relative to the vertical axis of the mirror, the sound recording, processing and reproduction module is connected through the communication module with the recording, processing and output module image, with the computer built into the frame.

В частном случае исполнения в качестве зеркала используется зеркало Гезелла. Также в верхней части зеркала в частном случае исполнения выполнена прозрачная точка. Технический результат достигается также тем, что угол наклона видеокамеры не более 90 градусов. Технический результат достигается также тем, что видеокамера установлена под углом 90 градусов. В качестве видеокамеры может быть использована камера глубины.In the particular case of execution, a Gesell mirror is used as a mirror. Also in the upper part of the mirror, in the particular case of execution, a transparent point is made. The technical result is also achieved by the fact that the angle of inclination of the video camera is not more than 90 degrees. The technical result is also achieved by the fact that the video camera is installed at an angle of 90 degrees. A depth camera can be used as a video camera.

Интерактивное умное зеркало предназначено для работы логопеда и ребенка. Наличие встроенной видеокамеры обеспечивает качественную видеозапись процесса обучения. При этом видеокамера камера должна обеспечить качественную запись и ребенка, и педагога-логопеда, которые отличаются по росту и размерам, поэтому она установлена на раме под углом к вертикальной оси зеркала (острый угол или 90 градусов), что обеспечивает требуемый захват и видеозапись изображения. The interactive smart mirror is designed for the speech therapist and the child. The built-in video camera provides high-quality video recording of the learning process. At the same time, a video camera should provide a high-quality recording of both the child and the speech therapist, which differ in height and size, therefore it is installed on a frame at an angle to the vertical axis of the mirror (acute angle or 90 degrees), which provides the required image capture and video recording.

Наличие воздушного зазора между зеркалом и дисплеем обеспечивает качественное воспроизведение изображения.The presence of an air gap between the mirror and the display ensures high-quality image reproduction.

Специально разработанное программное обеспечение, установленное во внешнем компьютере, позволяет синхронизировать работу аудио и видеозаписи, позволяет синхронизировать аудио и видео воспроизведение с записанными специализированными программами.Specially developed software installed in an external computer allows you to synchronize the operation of audio and video recording, allows you to synchronize audio and video playback with recorded specialized programs.

Сущность представленного технического решения поясняется графическим материалом, где на фиг. 1 показана конструкция интерактивного умного зеркала по слоям, на фиг. 2 показана блок-схема соединения основных узлов.The essence of the presented technical solution is illustrated by graphic material, where in Fig. 1 shows the construction of an interactive smart mirror in layers, FIG. 2 shows a block diagram of the connection of the main components.

В состав модуля записи, обработки и воспроизведения звука в данном примере конкретного исполнения входит: микрофон, звуковая карта, динамики.The structure of the module for recording, processing and reproducing sound in this example of a specific version includes: a microphone, a sound card, speakers.

В состав модуля записи, обработки и вывода изображения в данном примере конкретного исполнения входит: дисплей и видеокамера.The structure of the module for recording, processing and output of the image in this example of a specific version includes: a display and a video camera.

В состав модуль коммуникации с набором цифровых и аналоговых интерфейсов входят: стандартные цифровые интерфейсы подключения и коммутации устройств (USB-хаб, HDMI разъем, разъем USB), аналоговые интерфейсы подключения и коммутации устройств (разъем Jack), источник питания, разъем питания.The communication module with a set of digital and analog interfaces includes: standard digital interfaces for connecting and switching devices (USB hub, HDMI connector, USB connector), analog interfaces for connecting and switching devices (Jack connector), power supply, power connector.

На фиг. 1 и фиг. 2 представлен пример конкретного исполнения интерактивного умного зеркала, позициями обозначены следующие элементы: 1 - прозрачная точка под камеру, 2 - затемняющая рамка, 3 - зеркало Гизелло, 4 - дисплей, 5 - камера, 6 – USB-хаб, 7 - динамики, 8 - корпус, 9 - сетевой разъем, 10 - блок питание для компьютера (далее мини ПК), 11 - мини ПК, 12 - кронштейн под мини ПК, 13 - накладки акриловые под ножки, 14 - встроенный микрофон, 15 - закладные под ножки, 16 - закладные для кронштейна, 17 - закладные для крепежа рамы, 18 - рама, 19 - блок питания дисплея, 20 - разъемы HDMI, USB, Аux, 21 - звуковые карты, 22 - акриловая панель. FIG. 1 and FIG. 2 shows an example of a specific implementation of an interactive smart mirror, the positions indicate the following elements: 1 - transparent point under the camera, 2 - darkening frame, 3 - Gisello mirror, 4 - display, 5 - camera, 6 - USB hub, 7 - speakers, 8 - case, 9 - network connector, 10 - power supply for a computer (hereinafter referred to as mini PC), 11 - mini PC, 12 - bracket for mini PC, 13 - acrylic pads for legs, 14 - built-in microphone, 15 - embedded under legs, 16 - bracket inserts, 17 - frame fasteners, 18 - frame, 19 - display power supply, 20 - HDMI, USB, Aux connectors, 21 - sound cards, 22 - acrylic panel.

Интерактивное умное зеркало содержит корпус 8, передней стенкой которого является зеркало 3, например, зеркало Гезелла. На зеркале 3 в верхней части выполнена прозрачная точка 1. Прозрачная точка - это функциональный элемент, который является единым целым элементом, расположенным на стекле и его особенность в том, что он имеет круглую форму, которая не имеет зеркального напыления в отличие от остальной поверхности стекла. Это необходимо для того, чтобы видеокамера 5 могла корректно отображать цвета при видеозаписи. В корпусе 8 встроена рама 18. На раме 18 установлен информационный дисплей 4 с образованием воздушного зазора между дисплеем 4 и зеркалом 3. Дисплей 4 подключен к блоку питания 19 и через HDMI-разъем 20 с компьютером 11 (фиг. 2). На раме 18 установлена видеокамера 5. Звуковые динамики 7 и встроенный микрофон 14 через звуковые карты 21 соединены с USB-хабом 20. Сзади корпус 8 закрывается акриловой панелью 22. Соединение дисплея 4 и блока питания 19 осуществляется внутри корпуса, напрямую стандартным способом. Акустическая система и видеокамера 5 питаются от USB-хаба, к которому подсоединены. USВ-хаб подсоединен к USB-разъему, через который по проводу USB поступает питание от внешнего источника.The interactive smart mirror contains a body 8, the front wall of which is a mirror 3, for example, a Gesell mirror. On the mirror 3 in the upper part there is a transparent point 1. A transparent point is a functional element, which is a single whole element located on the glass and its peculiarity is that it has a round shape, which does not have a mirror coating, unlike the rest of the glass surface ... This is necessary in order for the camcorder 5 to be able to correctly display the colors when recording video. A frame 18 is built into the body 8. An information display 4 is mounted on the frame 18, with the formation of an air gap between the display 4 and the mirror 3. The display 4 is connected to the power supply 19 and via the HDMI connector 20 to the computer 11 (Fig. 2). A video camera 5 is installed on the frame 18. Sound speakers 7 and a built-in microphone 14 are connected via sound cards 21 to a USB hub 20. At the rear, the case 8 is closed with an acrylic panel 22. The display 4 and power supply unit 19 are connected inside the case, directly in a standard way. The speaker system and video camera 5 are powered from the USB hub to which they are connected. The USB hub is connected to a USB connector that supplies power from an external source via the USB cable.

Работа с умным зеркалом осуществляется следующим образом. Working with a smart mirror is as follows.

На зеркальной поверхности интерактивного умного зеркала происходит вывод изображения с предустановленного на встроенном мини ПК программного обеспечения. Происходит запись видео. Происходит подача звука с помощью умного зеркала. Происходит запись звука с помощью умного зеркала. Далее, полученные данные передаются на компьютер для обработки и вывода обратной связи в виде изображений, звуков, записи аудио- и видео.On the mirror surface of the interactive smart mirror, the image is displayed from the software preinstalled on the built-in mini PC. Video is being recorded. Sound is delivered using a smart mirror. Sound is recorded using a smart mirror. Further, the received data is transferred to a computer for processing and outputting feedback in the form of images, sounds, audio and video recording.

По сравнению с известными решениями, представленное интерактивное умное зеркало обеспечивает качественную аудиовидеозапись и воспроизведение изображение на экране. In comparison with known solutions, the presented interactive smart mirror provides high-quality audio-video recording and image reproduction on the screen.

Claims

1. An interactive smart mirror containing built into the body: a module for recording, processing and reproducing sound, consisting of: sound speakers, sound cards, a microphone; communication module consisting of: digital interfaces for connection and communication, analog interfaces for connection and communication, power supply; a module for recording, processing and outputting an image consisting of: an information display and a video camera, while the front wall of the case is a mirror, behind which there is an information display, the size of which is smaller than the size of the mirror, while the information display through the communication module is made with the ability to connect to a computer and a video camera , characterized in that the information display is installed in the case on the frame with the formation of an air gap between the mirror and the display, the video camera is installed on the frame at an angle relative to the vertical axis of the mirror, the sound recording, processing and reproduction module is connected through the communication module with the recording, processing and output module image, with the computer built into the frame.

2. An interactive smart mirror according to claim 1, characterized in that a Gesell mirror is used as a mirror.

3. An interactive smart mirror according to claim 1, characterized in that a transparent point is made in the upper part of the mirror.

4. Interactive smart mirror according to claim 1, characterized in that the angle of inclination of the video camera is no more than 90 degrees.

5. Interactive smart mirror according to claim 1, characterized in that the video camera is installed at an angle of 90 degrees.

6. Interactive smart mirror according to claim 1, characterized in that a depth camera is used as a video camera.