Claims (14)
1. Способ осуществления в реальном масштабе времени идентификации и локализации зоны с относительным перемещением в сцене, наблюдаемой системой наблюдения с выходным сигналом, состоящим из цифрового видеосигнала, содержащего последовательность соответствующих кадров, каждый из которых состоит из последовательности строк, каждая из которых состоит из последовательности элементов изображения, и для определения скорости и ориентированного направления перемещения, отличающийся тем, что включает выполнение следующей последовательности операций над цифровым выходным видеосигналом: обработку сглаживания указанного цифрового выходного видеосигнала с использованием цифровой постоянной времени, численное значение которой может изменяться независимо для каждого элемента изображения выходного сигнала, запоминание, с одной стороны, кадра выходного сигнала после сглаживания и, с другой стороны, постоянной времени сглаживания, связанной с указанным кадром, временную обработку для каждого положения элемента изображения, заключающуюся в определении, во-первых, наличия и, во-вторых, амплитуды значимого изменения в амплитуде сигнала элемента изображения между текущим кадром и непосредственно предыдущим сглаженным и запомненным кадром, и в генерировании двух цифровых сигналов, при этом первый сигнал является двоичным, или однобитовым, сигналом с двумя возможными значениями, одно из которых представляет наличие, а другое представляет отсутствие значимого изменения между двумя последовательными кадрами, причем значение указанного двоичного сигнала изменяет запомненное значение указанной постоянной времени, чтобы уменьшить его, если указанный сигнал представляет значимое изменение, и чтобы увеличить его, если указанный сигнал не представляет такого изменения, при этом уменьшение или увеличение осуществляются количественно, тогда как второй цифровой сигнал, т.е. сигнал амплитуды, является многобитовым сигналом с ограниченным числом битов, количественно определяющих амплитуду этого изменения, и пространственную обработку, состоящую из следующих этапов для каждого кадра цифрового выходного видеосигнала: распределяют только значения части элементов изображения в кадре в заданный момент наблюдения (части, которую сканируют по матрице в течение длительности кадра), во-первых, указанного двоичного сигнала, а во-вторых, указанного цифрового сигнала амплитуды, в матрицу с числом рядов и столбцов, которое мало по сравнению с числом строк и числом элементов изображения в строке в видеосигнале, соответственно, чтобы охарактеризовать значения элементов изображения, определяют в этом двойном мгновенном матричном представлении конкретную зону, в которой указанный двоичный сигнал имеет искомое значение, представляющее наличие или отсутствие значимого изменения, а указанный цифровой сигнал амплитуды изменяется или не изменяется на значимую величину для соседних элементов изображения в матрице вдоль ориентированного направления, начиная с исходного элемента изображения, в той же самой части кадра, и поэтому в тот же самый момент наблюдения, и генерируют сигналы, представляющие наличие и локализацию зоны с относительным перемещением и относительную межкадровую скорость и ориентированное направление этого перемещения, если оно есть, относительно окружающей ее среды, исходя из мгновенного матричного распределения упомянутых двух цифровых сигналов - двоичного сигнала и сигнала амплитуды.1. A method for real-time identification and localization of a zone with relative movement in a scene observed by a surveillance system with an output signal consisting of a digital video signal containing a sequence of corresponding frames, each of which consists of a sequence of lines, each of which consists of a sequence of elements image, and to determine the speed and oriented direction of movement, characterized in that it includes the following sequence operations on a digital video output: smoothing processing of a specified digital video output using a digital time constant, the numerical value of which can be changed independently for each image element of the output signal, storing, on the one hand, the frame of the output signal after smoothing and, on the other hand, the time constant smoothing associated with the specified frame, temporary processing for each position of the image element, which consists in determining, firstly, the presence and, in secondly, the amplitudes of a significant change in the amplitude of the signal of the image element between the current frame and the immediately preceding smoothed and stored frame, and in the generation of two digital signals, the first signal being a binary, or single-bit, signal with two possible values, one of which represents the presence of and the other represents the absence of a significant change between two consecutive frames, and the value of the specified binary signal changes the stored value of the specified constant time and to reduce it if said signal is a significant change, and to enlarge it if said signal is not such a change, the increase or decrease made quantified, while the second digital signal, i.e., the amplitude signal is a multi-bit signal with a limited number of bits that quantitatively determine the amplitude of this change, and spatial processing, consisting of the following steps for each frame of the digital video output signal: only the values of part of the image elements in the frame are distributed at a given moment of observation (the part that is scanned by matrix for the duration of the frame), firstly, of the specified binary signal, and secondly, of the specified digital amplitude signal, into a matrix with the number of rows and columns, In comparison with the number of lines and the number of image elements per line in a video signal, it is small, respectively, to characterize the values of image elements, in this double instant matrix representation, a specific area is defined in which the specified binary signal has the desired value representing the presence or absence of a significant change, and the indicated digital amplitude signal changes or does not change by a significant value for neighboring image elements in the matrix along an oriented direction, I’m from the original image element, in the same part of the frame, and therefore at the same moment of observation, they generate signals representing the presence and localization of the zone with relative movement and the relative interframe speed and the oriented direction of this movement, if any, relative to the surrounding its environment, based on the instantaneous matrix distribution of the above two digital signals - a binary signal and an amplitude signal.
2. Способ по п. 1, отличающийся тем, что он также включает формирование, во-первых, гистограмм значений сигналов, распределенных в матрицы, а во-вторых, гистограмм наклонов двух координатных осей с изменяемым наклоном в плоскости, идентификацию области, в которой происходит значимое изменение обрабатываемых значений в каждой сформированной гистограмме, и для каждой идентифицированной области установление наличия зоны с относительным перемещением и, в случае наличия, ее локализацию и определение скорости и ориентированного направления. 2. The method according to p. 1, characterized in that it also includes the formation, firstly, histograms of signal values distributed in the matrix, and secondly, histograms of the slopes of two coordinate axes with a variable slope in the plane, identifying the area in which there is a significant change in the processed values in each histogram generated, and for each identified area, the presence of a zone with relative movement and, if available, its localization and determination of speed and oriented direction are determined.
3. Способ по п. 1 или 2, отличающийся тем, что указанная матрица является квадратной матрицей с одинаковым нечетным числом рядов и столбцов (21+1), при этом используют вложенные матрицы, содержащие 3х3, 5х5, 7х7, ... (21+1)x(21+1) элементов, центрированные по центру этой квадратной матрицы, для определения наименьшей вложенной матрицы, в которой указанный цифровой сигнал изменяется вдоль ориентированного направления, начиная от указанного центра, при этом значение указанного двоичного сигнала показывает, что превышен порог вдоль этого направления. 3. The method according to p. 1 or 2, characterized in that said matrix is a square matrix with the same odd number of rows and columns (21 + 1), using embedded matrices containing 3x3, 5x5, 7x7, ... (21 +1) x (21 + 1) elements centered on the center of this square matrix to determine the smallest embedded matrix in which the specified digital signal changes along the oriented direction, starting from the specified center, while the value of the specified binary signal indicates that the threshold is exceeded along this direction.
4. Способ по п. 1 или 2, отличающийся тем, что указанная матрица является шестиугольной матрицей, при этом используют вложенные шестиугольные матрицы увеличивающегося размера, центрированные по центру этой шестиугольной матрицы, для определения наименьшей вложенной матрицы, в которой указанный цифровой сигнал изменяется вдоль ориентированного направления. 4. The method according to p. 1 or 2, characterized in that the matrix is a hexagonal matrix, using embedded hexagonal matrices of increasing size, centered on the center of this hexagonal matrix, to determine the smallest embedded matrix in which the specified digital signal changes along the oriented directions.
5. Способ по п. 1 или 2, отличающийся тем, что указанная матрица является инвертированной L-образной матрицей с одним рядом и одним столбцом, при этом используют вложенные матрицы, содержащие 3х3 элементов изображения, 5х5 элементов изображения, 7х7 элементов изображения, ... (21+1)х(21+1) элементов изображения, для одного ряда и одного столбца для определения наименьшей вложенной матрицы, в которой указанный цифровой сигнал изменяется вдоль ориентированного направления, а именно - линии с самым большим наклоном и постоянным квантованием. 5. The method according to p. 1 or 2, characterized in that said matrix is an inverted L-shaped matrix with one row and one column, using embedded matrices containing 3x3 image elements, 5x5 image elements, 7x7 image elements, .. . (21 + 1) x (21 + 1) image elements, for one row and one column to determine the smallest embedded matrix in which the indicated digital signal changes along the oriented direction, namely, the line with the largest slope and constant quantization.
6. Способ по любому из предыдущих пунктов, отличающийся тем, что указанную постоянную времени представляют в виде 2p, где p - число меньше 16-ти, в результате чего ее представляют с использованием не более, чем 4-х битов, причем эту постоянную времени уменьшают или увеличивают, вычитая или прибавляя одну единицу к р.6. The method according to any one of the preceding paragraphs, characterized in that the specified time constant is represented as 2 p , where p is a number less than 16, as a result of which it is represented using no more than 4 bits, and this constant time decrease or increase by subtracting or adding one unit to p.
7. Способ по п. 6, отличающийся тем, что используют последовательно уменьшающиеся части полных кадров на основе алгоритма временного масштаба Мэллета и выбирают наибольшую из этих частей, которая дает показания перемещения, скорости и ориентации, совместимые со значением р. 7. The method according to p. 6, characterized in that they use sequentially decreasing parts of the full frames based on the time scale algorithm of Mallet and select the largest of these parts, which gives indications of displacement, speed and orientation, compatible with the value of p.
8. Устройство для осуществления в реальном масштабе времени идентификации и локализации зоны с относительным перемещением в сцене, наблюдаемой системой наблюдения с выходным сигналом, состоящим из цифрового видеосигнала, содержащего последовательность соответствующих кадров, последовательных строк в каждом соответствующем кадре и последовательных элементов изображения в каждой строке, и для определения скорости и ориентированного направления перемещения с использованием вышеописанного способа, причем указанное устройство принимает указанный выходной видеосигнал в качестве входного сигнала, отличающееся тем, что оно содержит средство (15) для сглаживания цифрового выходного видеосигнала, использующее цифровую постоянную времени (СО), численное значение которой может изменяться независимо для каждого из элементов изображения выходного сигнала; средство (16) для запоминания, во-первых, кадра выходного сигнала после сглаживания (LI), и во-вторых, постоянной времени сглаживания (CI), связанной с указанным кадром, модуль (15) временной обработки для анализа изменений во времени амплитуды сигнала элемента изображения для положения одного и того же элемента изображения между текущим кадром и непосредственно предыдущим сглаженным и запомненным кадром цифрового сигнала, при этом указанный модуль содержит запоминающее устройство (16), выполненное с возможностью приема, хранения и поиска информации соответствующего предыдущего сглаженного кадра, вместе со средствами сравнения (15а) для определения того, превышает или не превышает абсолютное значение разности между текущим сигналом элемента изображения и характерным значением сигнала элемента изображения для положения одного и того же элемента изображения в предыдущем кадре, хранимом в указанном запоминающем устройстве, порог для каждого положения элемента изображения в кадре входного видеосигнала путем генерирования двоичного, или однобитового, сигнала (DP) с двумя значениями, причем одно из этих двух значений показывает, что порог превышен, а другое показывает, что он не превышен, и вычислительные средства (15с), выполненные с возможностью определения многобитового цифрового сигнала амплитуды с малым числом битов, значение которого зависит от амплитуды изменения в значении одного и того же элемента изображения между текущим кадром и непосредственно предыдущим, сглаженным и запомненным кадром цифрового видеосигнала, и модуль (17) пространственной обработки, в который введены выходы указанных последовательных двоичного сигнала и цифрового сигнала амплитуды для элементов изображения в заданном кадре, выработанных модулем временной обработки, при этом модуль пространственной обработки содержит средство для характеристики значений амплитуды элементов изображения, причем это средство распределяет только указанные двоичный сигнал и цифровой сигнал амплитуды, связанные с одним и тем же моментом, т.е. с одним кадром, в матрицу (21) с числом рядов и столбцов, меньшим, чем число строк и число элементов изображения в строке, соответственно, в кадре цифрового видеосигнала, причем этот кадр сканируют по указанной матрице в течение длительности кадра, средство выделения участков для определения зоны элементов изображения в пределах матрицы, в которой в этот момент двоичный сигнал имеет искомое значение, и средство для определения зоны элементов изображения в матрице, в которой в этот же момент цифровой сигнал амплитуды для соседних элементов изображения изменяется на значимую величину, и средство, которое в ответ на результат, полученный обоими предыдущими средствами, генерирует сигналы, представляющие эту зону элементов изображения и, следовательно, наличие и местоположение зоны с относительным перемещением в пределах наблюдаемой сцены, и относительную межкадровую скорость и ориентированное направление этой зоны, когда она действительно перемещается относительно окружающей ее среды. 8. A device for real-time identification and localization of a zone with relative movement in a scene observed by a surveillance system with an output signal consisting of a digital video signal containing a sequence of corresponding frames, consecutive lines in each corresponding frame and sequential image elements in each line, and to determine the speed and oriented direction of movement using the above method, and the specified device is accepted a said video output signal as an input signal, characterized in that it comprises means (15) for smoothing the digital video signal output using a digital time constant (CO), the numerical value of which may vary independently for each of the elements of the output image; means (16) for storing, firstly, the output signal frame after smoothing (LI), and secondly, the smoothing time constant (CI) associated with the specified frame, time processing module (15) for analyzing changes in the signal amplitude over time image element for the position of the same image element between the current frame and the immediately preceding smoothed and stored frame of the digital signal, while this module contains a storage device (16) configured to receive, store and search for information the corresponding previous smoothed frame, together with the means of comparison (15a) to determine whether the absolute value of the difference between the current signal of the image element and the characteristic value of the signal of the image element exceeds or does not exceed the position of the same image element in the previous frame stored in the specified storage device, the threshold for each position of the image element in the frame of the input video signal by generating a binary, or single-bit, signal (DP) with two values and one of these two values shows that the threshold is exceeded, and the other shows that it is not exceeded, and computing tools (15c), configured to determine a multi-bit digital amplitude signal with a small number of bits, the value of which depends on the amplitude of the change in the value of the same image element between the current frame and the immediately preceding, smoothed and stored frame of the digital video signal, and the spatial processing module (17) into which the outputs of these sequences are input the binary signal and the digital amplitude signal for the image elements in a given frame generated by the time processing module, while the spatial processing module contains means for characterizing the values of the image element amplitudes, and this means distributes only the specified binary signal and the digital amplitude signal associated with one and the same moment, i.e. with one frame, in the matrix (21) with the number of rows and columns less than the number of rows and the number of image elements in a row, respectively, in a frame of a digital video signal, moreover, this frame is scanned on the specified matrix for the duration of the frame, means for selecting sections for determining a zone of image elements within the matrix in which at that moment the binary signal has the desired value, and means for determining the zone of image elements in the matrix in which at the same moment a digital amplitude signal for neighboring elements and images is changed by a significant amount, and the means, which in response to the result obtained by both of the previous means, generates signals representing this area of the image elements and, therefore, the presence and location of the area with relative movement within the observed scene, and the relative interframe speed and oriented the direction of this zone when it really moves relative to its environment.
9. Устройство по п. 7, отличающееся тем, что указанный модуль пространственной обработки включает в себя первые каскадно соединенные средства задержки (r), каждое из которых вводит задержку, равную разнице во времени между началом двух последовательных строк, и вторые каскадно соединенные средства задержки (d) для каждой строки, каждое из которых вводит задержку, равную разнице во времени между двумя последовательными элементами изображения в строке, причем выходы вторых средств задержки (d) и вход каскадного соединения вторых средств задержки (d) для каждой строки выдают в заданный момент значения указанного двоичного сигнала и указанного цифрового сигнала амплитуды в один и тот же момент в указанное средство идентификации (17а). 9. The device according to claim 7, characterized in that said spatial processing module includes first cascaded delay means (r), each of which introduces a delay equal to the time difference between the beginning of two consecutive lines, and second cascaded delay means (d) for each row, each of which introduces a delay equal to the time difference between two consecutive image elements in a row, the outputs of the second delay means (d) and the input of the cascade connection of the second delay means ki (d) for each line at a given moment gives the values of the specified binary signal and the specified digital amplitude signal at the same time to the specified identification means (17a).
10. Устройство по п. 8 или 9, отличающееся тем, что оно также содержит средство (24-29) для формирования гистограмм выходных значений указанного модуля пространственной обработки и гистограмм наклонов двух имеющих изменяемый наклон координатных осей в плоскости, средство для идентификации области на каждой гистограмме, в которой имеется значимое изменение в обрабатываемом значении, чтобы подтвердить эту область на выходе и получить для всех гистограмм выходные сигналы, которые идентифицируют и локализуют зону относительного перемещения в наблюдаемой сцене, если она есть, и скорость и ориентированное направление этого перемещения, если указанная зона на самом деле перемещается относительно окружающей ее среды. 10. The device according to p. 8 or 9, characterized in that it also contains means (24-29) for generating histograms of the output values of the specified spatial processing module and histograms of the slopes of two coordinate axes with a variable inclination in the plane, means for identifying the area on each a histogram in which there is a significant change in the processed value in order to confirm this region at the output and to obtain output signals for all histograms that identify and localize the zone of relative displacement in the observed scene, if it exists, and the speed and oriented direction of this movement, if the specified zone actually moves relative to its environment.
11. Устройство по пп. 8, 9 или 10, отличающееся тем, что указанные средства сглаживания (15с, 15d) включают в себя вход для приема цифрового видеосигнала S(PI) и выработки для каждого последующего элемента изображения в кадре видеосигнала сглаженного сигнала (LO), в котором временные изменения входного цифрового видеосигнала уменьшены за счет использования порогового сигнала, принимаемого на другом входе, и постоянной времени (СО), связанной с положением каждого элемента изображения в кадре, значение которой изменяется последовательно, так чтобы сглаживание поддерживало пониженную тенденцию изменений поступающего цифрового видеосигнала, причем средство сглаживания работает во взаимодействии с запоминающим устройством (16), которое принимает, хранит и обеспечивает поиск обновленных значений сглаженного сигнала и постоянной времени для каждой части элементов изображения в кадре, и выдает для положения каждого элемента изображения, по меньшей мере, последовательность значений обновленной постоянной времени и значений двоичного сигнала, который показывает, превышен ли порог абсолютным значением разности между значением элемента изображения и его сглаженным значением. 11. The device according to paragraphs. 8, 9 or 10, characterized in that the said smoothing means (15c, 15d) include an input for receiving a digital video signal S (PI) and generating for each subsequent image element in a video signal frame a smooth signal (LO) in which temporary changes the input digital video signal is reduced due to the use of a threshold signal received at another input and the time constant (CO) associated with the position of each image element in the frame, the value of which changes sequentially, so that smoothing is maintained There was a reduced tendency for changes in the incoming digital video signal, and the smoothing means working in conjunction with a storage device (16) that receives, stores and provides a search for updated values of the smoothed signal and time constant for each part of the image elements in the frame, and provides for the position of each image element at least a sequence of values of the updated time constant and the values of the binary signal, which indicates whether the threshold is exceeded by the absolute value of pa NOSTA value between the picture element and its smoothed value.
12. Устройство по любому из пп. 8-11, отличающееся тем, что модуль (17, 18) пространственной обработки, который осуществляет матричное распределение вдоль рядов и столбцов в уменьшенном количестве выходных сигналов средства сглаживания, а именно, последовательных значений постоянной времени (СО) и указанного двоичного сигнала, содержит средство идентификации (17а) для идентификации в указанном матричном распределении зоны элементов изображения, в которой одновременно либо значение двоичного сигнала соответствует превышению порога, и постоянная времени изменяется между соседними элементами изображения на значимую величину в одном направлении при формировании выходных сигналов, указывающих локализацию указанной зоны и скорость и ориентированное направление перемещения в этой зоне, либо значение двоичного сигнала соответствует не превышению порога, и постоянная времени не изменяется между соседними элементами изображения. 12. The device according to any one of paragraphs. 8-11, characterized in that the spatial processing module (17, 18), which performs matrix distribution along rows and columns in a reduced number of output signals of the smoothing means, namely, sequential values of the time constant (CO) and said binary signal, comprises means identification (17a) for identification in the specified matrix distribution of the area of the image elements, in which either the value of the binary signal corresponds to exceeding the threshold, and the time constant varies between adjacent image elements by a significant amount in one direction when generating output signals indicating the localization of the specified zone and the speed and oriented direction of movement in this zone, or the value of the binary signal corresponds to not exceeding the threshold, and the time constant does not change between adjacent image elements.
13. Устройство для обеспечения вождения наземного транспортного средства по дороге или при посадке воздушного транспортного средства на взлетно-посадочную полосу аэропорта, отличающееся тем, что содержит устройство для осуществления в реальном масштабе времени идентификации и локализации зоны с относительным перемещением по любому из пп. 10 - 12, средство для представления правой и левой сторон дороги или соответственно взлетно-посадочной полосы и средство для ориентации, по меньшей мере, одной из координатных осей с изменяемым наклоном так, чтобы она оставалась приблизительно ортогональной соответствующей стороне. 13. A device for driving a land vehicle on the road or when landing an air vehicle on the runway of the airport, characterized in that it contains a device for real-time identification and localization of a zone with relative movement according to any one of paragraphs. 10 to 12, means for representing the right and left sides of the road or the runway respectively, and means for orienting at least one of the coordinate axes with a variable inclination so that it remains approximately orthogonal to the corresponding side.
14. Способ отслеживания состояния бодрствования водителя транспортного средства для обнаружения возможной тенденции к засыпанию водителя, отличающийся тем, что вырабатывают видеосигнал, представляющий первоначально последовательные изображения лица водителя, а затем непрерывно в реальном масштабе времени последовательные изображения глаз водителя, обрабатывают указанный видеосигнал, относящийся к изображениям глаз водителя, в соответствии со способом по любому из пп. 1 - 7 для последовательного в реальном времени обнаружения и изображении глаз вертикальных движений глазных век, представляющих мигания, определения частот миганий и обнаружения частот ниже пороговой частоты мигания, соответствующей переходу водителя из состояния бодрствования в состояние сонливости, и формируют сигнал оповещения, предупреждающий водителя, как только указанная пороговая частота мигания пройдена. 14. A method of monitoring the wakefulness of a driver of a vehicle to detect a possible tendency for the driver to fall asleep, characterized in that they generate a video signal that initially represents consecutive images of the driver’s face, and then continuously in real time consecutive images of the driver’s eyes, process the specified video signal related to the images driver’s eye, in accordance with the method according to any one of paragraphs. 1 to 7 for real-time sequential detection and image of the eyes of the vertical movements of the eyelids, representing blinking, determining blinking frequencies and detecting frequencies below the threshold blinking frequency corresponding to the transition of the driver from the wakeful state to drowsiness, and generate an alert signal warning the driver how only the indicated threshold flashing frequency is passed.