RU2331084C1 - Method of detecting objects - Google Patents
Method of detecting objects Download PDFInfo
- Publication number
- RU2331084C1 RU2331084C1 RU2006135285/28A RU2006135285A RU2331084C1 RU 2331084 C1 RU2331084 C1 RU 2331084C1 RU 2006135285/28 A RU2006135285/28 A RU 2006135285/28A RU 2006135285 A RU2006135285 A RU 2006135285A RU 2331084 C1 RU2331084 C1 RU 2331084C1
- Authority
- RU
- Russia
- Prior art keywords
- objects
- images
- distance
- image
- fragments
- Prior art date
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
Abstract
Description
Изобретение относится к локализации (выделению), в частности к пассивным оптическим способам селекции (обнаружения) посторонних объектов на сложном контрастном динамически изменяемом фоне в охраняемой (контролируемой) зоне.The invention relates to localization (isolation), in particular to passive optical methods for the selection (detection) of foreign objects on a complex contrasting dynamically changing background in a protected (controlled) area.
Известен способ выделения объектов по патенту РФ №2081439 от 27.09.84, МПК G01S 17/06, в котором производится формирование изображения объектов и фона в плоскости, соответствующей априорной дальности до объекта, и дополнительно в плоскости, смещенной относительно первой плоскости, с последующей математической обработкой. Однако такой способ, как это и следует из описания патента, применим только в случае использования соответствующего телескопа или длиннофокусного объектива, что приводит к исключительно малой обзорности и, как следствие, низкому быстродействию при контроле всей охраняемой зоны, а не только узкого направления. Все это приводит к низкой обнаружительной способности в целом. Кроме того, быстрое перемещение объекта или резкое изменение фона при непринятии специальных мер по общему повышению быстродействия тракта регистрации (например, одновременной регистрации всех пикселей изображения) приведет к размытию изображения и неэффективности применяемого метода математической обработки, так контуры объекта могут быть не замкнуты или вообще частично исчезнуть.A known method of allocating objects according to the patent of the Russian Federation No. 2081439 from 09/27/84, IPC G01S 17/06, in which the image is formed of objects and background in a plane corresponding to the a priori distance to the object, and additionally in a plane offset from the first plane, followed by mathematical processing. However, such a method, as follows from the description of the patent, is applicable only in the case of using the corresponding telescope or telephoto lens, which leads to extremely low visibility and, as a result, low speed when monitoring the entire protected area, and not just a narrow direction. All this leads to low detection ability in general. In addition, the rapid movement of the object or a sharp change in the background when special measures are not taken to increase the overall performance of the registration path (for example, simultaneously registering all image pixels) will lead to blurring of the image and inefficiency of the applied mathematical processing method, since the object contours may not be closed or even partially disappear.
Известен способ обнаружения объектов на сложных фонах, включающий операцию предобработки сигналов, представленной временной последовательностью изображений сцены, на которой возможно появление объекта, запоминание опорных сигналов, а также вычитание из соответствующих текущих сигналов соответствующих опорных сигналов, при этом алгоритм обработки предусматривает разделение каждого изображения на фрагменты, измерение величины признаков каждого фрагмента, например оптической плотности, запоминание соответствующих сигналов, а после вычитания сигналов сравнение полученных разностей с заданным пороговым значением, формирование управляющих сигналов, осуществляющих фрагментарную фильтрацию временной последовательности текущих изображений для пропускания только тех разностных сигналов, абсолютные значения которых превышают пороговое значение (пат. РФ №2250478 от 11.04.2003, МПК G01S 17/06).A known method of detecting objects on complex backgrounds, including the operation of signal preprocessing, represented by a time sequence of images of a scene on which an object may appear, memorizing reference signals, and subtracting the corresponding reference signals from the corresponding current signals, the processing algorithm provides for the separation of each image into fragments , measuring the magnitude of the characteristics of each fragment, for example, optical density, storing the corresponding signals, and after subtracting signals, comparing the differences obtained with a predetermined threshold value, generating control signals that perform fragmented filtering of the time sequence of current images to transmit only those difference signals whose absolute values exceed the threshold value (US Pat. No. 2250478 of 04/11/2003, IPC
Недостатком данного способа является сложность алгоритма обработки разностного изображения и ограничение его применения при необходимости обнаружения быстро перемещающегося объекта, т.к. для данного алгоритма обработки будет недостаточно данных для обеспечения достоверного результата.The disadvantage of this method is the complexity of the differential image processing algorithm and the limitation of its application if it is necessary to detect a rapidly moving object, because there will not be enough data for this processing algorithm to provide a reliable result.
В качестве прототипа выбран способ селекции объекта на удаленном фоне по патенту РФ №2081435 от 02.04.84, МПК G01S 17/00, заключающийся в приеме и формировании двух изображений в двух пространственно разнесенных точках, одновременной регистрации сформированных изображений, определении параллактического смещения фона путем формирования взаимокорреляционной функции двух зарегистрированных изображений и определении ее максимума, смещении первого из зарегистрированных изображений на величину параллактического смещения фона в направлении, противоположном этому смещению, получении разностного изображения путем вычитания смещенного и второго зарегистрированных изображений, разделении разностного изображения на области, имеющие противоположные знаки, и анализе фрагментов областей.As a prototype, the method of selecting an object on a remote background according to RF patent No. 2081435 dated 04/04/84, IPC G01S 17/00, which consists in receiving and forming two images at two spatially separated points, simultaneously registering the formed images, determining the parallactic background displacement by forming the inter-correlation function of two registered images and determining its maximum, the displacement of the first of the registered images by the amount of background parallactic displacement in the direction opolozhnom this offset, obtaining a differential image by subtracting the offset and second registered images, dividing the differential image into areas having opposite signs, and analysis fragments areas.
Известный способ имеет следующие недостатки.The known method has the following disadvantages.
1. Ограниченные функциональные возможности, так как известный способ не позволяет достоверно обнаруживать малоконтрастный объект на высококонтрастном разнородном фоне, например освещаемыми солнцем облаками, даже при незначительном различии пространственно разнесенных оптических систем формирования и регистрации изображений, например, вызванном условиями эксплуатации или технологической погрешностью изготовления. В результате за искомый объект могут быть приняты случайные флуктуации в разностном изображении.1. Limited functionality, since the known method does not allow to reliably detect a low-contrast object against a high-contrast heterogeneous background, for example, clouds illuminated by the sun, even with a slight difference in spatially separated optical systems for generating and recording images, for example, caused by operating conditions or technological manufacturing error. As a result, random fluctuations in the difference image can be taken as the desired object.
2. Ограниченную применимость, так как алгоритм работы известного способа не рассчитан на фоновые объекты, находящиеся на сравнимых с искомым объектом расстоянии, а не на бесконечном удалении.2. Limited applicability, since the algorithm of the known method is not designed for background objects located at a distance comparable to the desired object, and not at infinite distance.
3. Относительно низкую селективность в случае одновременной регистрации изображений группы объектов, когда применение алгоритма работы известного способа может привести к селекции «ложных» объектов.3. Relatively low selectivity in the case of simultaneous registration of images of a group of objects, when the application of the algorithm of the known method can lead to the selection of "false" objects.
Задачей, стоящей перед настоящим изобретением, является повышение точности обнаружения (селекции) одного и более объектов в условиях высококонтрастных сравнительно близкорасположенных фоновых объектов при одновременном увеличении быстродействия и обзорности.The challenge facing the present invention is to increase the accuracy of detection (selection) of one or more objects in conditions of high contrast relatively closely spaced background objects while increasing speed and visibility.
Поставленная задача решается следующим образом.The problem is solved as follows.
В способе селекции объекта на удаленном фоне, заключающемся в приеме и формировании двух изображений в двух пространственно разнесенных точках, одновременной регистрации сформированных изображений, согласно изобретению опорное и сравниваемое цифровые изображения регистрируют одномоментно для каждого фрагмента изображений двумя идентичными видеосистемами на основе многоэлементных высокоскоростных фотоприемников, например CMOS-матриц с объективами, которые предварительно фиксируют на небольшом, по сравнению с удалением от предполагаемого места появления объекта, расстоянии между собой параллельно друг другу в направлении на контролируемое пространство, а анализ изображений проводят при помощи определения величин смещения Δ характерных фрагментов сравниваемого изображения с аналогичными фрагментами опорного при максимально возможном их совпадении в направлении параллактического смещения и последующего выявления селектируемого и фоновых объектов из полученных смещений Δ.In the method of selecting an object against a remote background, which consists in receiving and generating two images at two spatially separated points, simultaneously registering the generated images, according to the invention, the reference and compared digital images are recorded simultaneously for each image fragment with two identical video systems based on multi-element high-speed photodetectors, for example CMOS -matrices with lenses that are pre-fixed on a small, compared with the distance from the prepolar the location of the object, the distance between each other parallel to each other in the direction of the controlled space, and image analysis is carried out by determining the displacement Δ of the characteristic fragments of the compared image with similar fragments of the reference at the maximum possible coincidence in the direction of the parallactic displacement and the subsequent detection of selectable and background objects from the obtained displacements Δ.
Техническая сущность изобретения заключается в применении эффекта бинокулярного зрения, подобного человеческому зрению, когда каждая из видеосистем выполняет функцию отдельного глаза, принимающего изображение объекта, сдвинутым на определенную величину относительно удаленного фона. Сдвиг тем больше, чем ближе объект. Как и в человеческом зрении, для выявления (обнаружения) объекта производится совмещение его изображений, полученных разнесенными видеосистемами, до полного совпадения, при этом изображение фона размывается.The technical essence of the invention lies in the application of the effect of binocular vision, similar to human vision, when each of the video systems performs the function of a separate eye, receiving an image of an object shifted by a certain amount relative to a distant background. The greater the shift, the closer the object. As in human vision, to identify (detect) an object, its images obtained by spaced video systems are combined to a complete match, while the background image is blurred.
Кроме того, для повышения узнаваемости вида обнаруженных объектов, смещения Δ строят в виде трехмерного распределения относительно опорного изображения, анализируют связность полученных трехмерных изображений объектов, их геометрические размеры и расположение относительно друг друга в контролируемом пространстве.In addition, to increase the recognition of the type of detected objects, the displacements Δ are constructed in the form of a three-dimensional distribution relative to the reference image, the connectivity of the obtained three-dimensional images of the objects, their geometric dimensions and location relative to each other in a controlled space are analyzed.
Кроме того, может быть определено расстояние до обнаруженных объектов R из выражения R=L·A/Δ, где L - расстояние между центрами объективов видеосистем, А - расстояние от видеоматрицы до главной оптической оси объектива видеосистемы.In addition, the distance to the detected objects R can be determined from the expression R = L · A / Δ, where L is the distance between the centers of the lenses of the video systems, A is the distance from the video matrix to the main optical axis of the lens of the video system.
Кроме того, для сокращения времени обработки допускается проводить определение смещений Δ не для всех характерных фрагментов сравниваемого изображения с аналогичными фрагментами опорного, а выборочно, через заданный шаг.In addition, to reduce the processing time, it is allowed to determine the displacements Δ not for all characteristic fragments of the compared image with similar fragments of the reference, but selectively, after a given step.
Кроме того, для сокращения времени обработки допускается проводить определение смещений Δ в области смещений, определенной при обработке предыдущей по времени пары цифровых изображений.In addition, in order to reduce the processing time, it is allowed to determine the displacements Δ in the displacement region determined when processing the previous time pair of digital images.
Кроме того, для повышения обнаружительной способности предлагаемого способа и упрощения анализа трехмерного распределения смещения Δ допускается предварительное определение калибровочного трехмерного распределения смещения Δ для случая фоновых объектов, заведомо удаленных на значительное расстояние от контролируемой области, и вычитание данного калибровочного распределения из текущего.In addition, in order to increase the detecting ability of the proposed method and simplify the analysis of the three-dimensional displacement distribution Δ, it is possible to preliminarily determine the calibration three-dimensional distribution of the displacement Δ for the case of background objects that are known to be far removed from the controlled area and subtract this calibration distribution from the current one.
На фиг.1 приведено схематическое расположение двух видеосистем и объекта относительно фона. Видеосистемы содержат многоэлементные CMOS-матрицы 1 и 2 и объективы 3 и 4, полностью идентичные друг другу. Матрицы и объективы зафиксированы на основании 5 на небольшом расстоянии L относительно друг друга. Выходы матриц 1 и 2 подключены к блоку 6 обработки информации.Figure 1 shows a schematic arrangement of two video systems and an object relative to the background. Video systems contain multi-element CMOS sensors 1 and 2 and lenses 3 and 4, which are completely identical to each other. The matrices and lenses are fixed on the base 5 at a small distance L relative to each other. The outputs of the matrices 1 and 2 are connected to the information processing unit 6.
На фиг.2 показано как для каждого пикселя 7 опорного цифрового изображения 8 выделяется прямоугольный фрагмент (матрица) 9 опорного изображения, которому ищется близкий или совпадающий аналогичный фрагмент (матрица) 10, но уже в сравниваемом изображении 11 в направлении параллактического смещения 12, начиная с пикселя 13 в сравниваемом изображении, соответствующем текущему пикселю 7 опорного изображения.Figure 2 shows how, for each
На фиг.3 для изображений объектов 14, 15 и 16 в опорном 17 и сравниваемом 18 цифровых изображениях показано построение трехмерного распределения 19 смещений Δ относительно опорного изображения 17.Figure 3 for images of
Способ реализуется следующим образом.The method is implemented as follows.
Начало наблюдения, связанное с отсутствием объекта, характеризуется регистрацией только фона каждой из обеих видеосистем в один и тот же момент времени. Удаленный фон, как правило, представляет собой комбинацию динамически изменяемого неба за счет облаков, перемещающихся в разных направлениях, и более стабильного земного покрова (хотя стабильность его также условна за счет ветра, вызывающего колыхание растительности). Объект может появляться в заранее неизвестном месте и перемещаться в широком диапазоне скоростей. При этом объект может перемещаться в разных направлениях, включая хаотичные или наблюдаемые в природе. Объект может иметь различные размеры и быть защищенным камуфляжем. Регистрация обоих (опорного и сравниваемого) цифровых изображений производится с заданной частотой, определяемой характеристиками CMOS-матрицы и блока обработки. В момент появления объекта в контролируемом пространстве (зоне) обе CMOS-матрицы 1 и 2 зарегистрируют изображение объекта на удаленном фоне (фиг.1) с разным смещением относительно фона.The beginning of the observation associated with the absence of an object is characterized by recording only the background of each of both video systems at the same time. The distant background, as a rule, is a combination of dynamically changing sky due to clouds moving in different directions and a more stable earth cover (although its stability is also conditional due to the wind, causing the rippling vegetation). An object can appear in a previously unknown place and move in a wide range of speeds. In this case, the object can move in different directions, including chaotic or observable in nature. The object can have various sizes and be protected by camouflage. Registration of both (reference and compared) digital images is performed at a given frequency, determined by the characteristics of the CMOS matrix and processing unit. At the time of the appearance of the object in a controlled space (zone), both CMOS matrices 1 and 2 will register the image of the object against a remote background (Fig. 1) with different offsets relative to the background.
Для определения смещений Δ и, как следствие, расстояний R до регистрируемых на изображениях объектов и их фрагментов, включая фоновые, для каждого пикселя 7 опорного цифрового изображения 8 выделяется, как это показано на фиг.2, прямоугольный фрагмент (матрица) 9 опорного изображения, которому ищется близкий или совпадающий аналогичный фрагмент (матрица) 10, но уже в сравниваемом изображении 11. Для сокращения времени счета поиск совпадения осуществляется в направлении параллактического смещения 12, начиная с пикселя 13 в сравниваемом изображении, соответствующем текущему пикселю 7 опорного изображения. Для сокращения времени счета поиск совпадения не проводят, если прямоугольный фрагмент (матрица) 9 опорного изображения не содержит значимых неоднородностей (деталей), например является однородным. Совпадение прямоугольных фрагментов (матрица) 9 и 10 может быть определено, например, как максимум во взаимокорреляционной функции данных фрагментов в направлении параллактического смещения 12. Определенные таким образом смещения Δ для пикселей опорного изображения строятся в виде трехмерного распределения, как это показано на фиг.3, где изображениям объектов 13, 14 и 15 в опорном 16 и сравниваемом 17 цифровых изображениях соответствует трехмерное распределение 19. В дальнейшем производится анализ связности выделенных на трехмерном распределении 19 объектов, определение их геометрических размеров и расположения в контролируемом пространстве. Таким образом, производится локализация (обнаружение) всех объектов, включая фоновые. Одновременно определяется расстояние до каждого из обнаруженных объектов по формуле, приведенной выше.To determine the displacements Δ and, as a consequence, the distances R to the objects and their fragments recorded on the images, including background ones, for each
При этом способ обеспечивает достаточно высокое быстродействие, т.к. можно исключить обработку тех фрагментов, которые не содержат значимых для сравнения деталей изображений, они просто опускаются. Таких значимых фрагментов необходимо столько, чтобы можно было определит лишь контуры объекта, и этого вполне достаточно, чтобы отличить один вид объекта от другого и сделать соответствующие выводы об исходящей от них опасности. Быстродействие можно повысить и за счет ограничения количества обрабатываемых фрагментов, выбирая их с заданным шагом.Moreover, the method provides a sufficiently high speed, because it is possible to exclude the processing of those fragments that do not contain image details that are significant for comparison, they are simply omitted. There are so many such significant fragments that it would be possible to determine only the contours of the object, and this is enough to distinguish one type of object from another and draw appropriate conclusions about the danger emanating from them. Performance can also be improved by limiting the number of fragments being processed by selecting them with a given step.
Допускается также проводить расчет взаимокорреляционной функции в области смещения Δ, определенной при обработке предыдущей пары цифровых изображений, что также сокращает время обработки.It is also possible to calculate the inter-correlation function in the displacement region Δ determined during the processing of the previous pair of digital images, which also reduces the processing time.
При предварительном определении калибровочного трехмерного распределения смещений Δ для случая фоновых объектов, заведомо удаленных на значительное расстояние от контролируемой области, и вычитании данного калибровочного распределения из текущего появляется возможность в значительной мере учесть нетождественность оптических трактов регистрации и аберрационные искажения.By preliminary determination of the calibration three-dimensional distribution of displacements Δ for the case of background objects deliberately removed at a considerable distance from the controlled area, and subtracting this calibration distribution from the current one, it becomes possible to take into account the non-identity of the optical detection paths and aberration distortions.
Случаи отсутствия искомых фрагментов опорного изображения в сравниваемом изображении соответствуют выходу объекта или его фрагмента из контролируемой области, которая начинается после ближайшей мертвой зоны и заканчивается границей фоновых объектов, которые могут создавать затенение искомых объектов. Затенение объекта также возможно другими объектами из группы, однако оно носит редкий (из-за возможности затенения только в выделенном направлении) и кратковременный (из-за движения объектов) характер. При непрерывном слежении за группой объектов вышеуказанные затенения будут восприниматься как локальная кратковременная потеря цели.Cases of the absence of the desired fragments of the reference image in the compared image correspond to the exit of the object or its fragment from the controlled area, which begins after the nearest dead zone and ends with the border of background objects that can create shadowing of the desired objects. Shading of an object is also possible by other objects from the group, however, it is rare (due to the possibility of shadowing only in the selected direction) and short-term (due to the movement of objects). With continuous monitoring of a group of objects, the above shading will be perceived as a local short-term loss of purpose.
Заявляемый способ вполне реализуем, т.к. применяемые технические средства уже освоены промышленностью развитых стран. Создание программного обеспечения также является вполне решаемой задачей, т.к. способы обработки изображений на сегодняшний день также проработаны.The inventive method is quite feasible, because Applied technical means have already been mastered by the industry of developed countries. Creation of software is also a completely solvable task, because image processing methods have also been developed to date.
Использование способа повысит надежность и эффективность современных средств обнаружения тех объектов, для которых принимаются различные меры скрытного появления в зонах контроля.Using the method will increase the reliability and efficiency of modern means of detecting those objects for which various measures of covert appearance in control zones are taken.
Claims (6)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2006135285/28A RU2331084C1 (en) | 2006-10-05 | 2006-10-05 | Method of detecting objects |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2006135285/28A RU2331084C1 (en) | 2006-10-05 | 2006-10-05 | Method of detecting objects |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| RU2006135285A RU2006135285A (en) | 2008-04-10 |
| RU2331084C1 true RU2331084C1 (en) | 2008-08-10 |
Family
ID=39746492
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| RU2006135285/28A RU2331084C1 (en) | 2006-10-05 | 2006-10-05 | Method of detecting objects |
Country Status (1)
| Country | Link |
|---|---|
| RU (1) | RU2331084C1 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2574224C1 (en) * | 2014-09-18 | 2016-02-10 | Федеральное государственное казённое военное учреждение высшего профессионального образования "Военная академия материально технического обеспечения имени генерала армии А.В. Хрулева" | Passive detection of miniature drones and determination of their coordinates |
| RU2760845C1 (en) * | 2021-02-12 | 2021-11-30 | Федеральное государственное бюджетное военное образовательное учреждение высшего образования "Военно-космическая академия имени А.Ф. Можайского" Министерства обороны Российской Федерации | Method for detecting and identifying targets characteristics based on registration and processing of rays from objects in observed space and device for its implementation |
-
2006
- 2006-10-05 RU RU2006135285/28A patent/RU2331084C1/en not_active IP Right Cessation
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2574224C1 (en) * | 2014-09-18 | 2016-02-10 | Федеральное государственное казённое военное учреждение высшего профессионального образования "Военная академия материально технического обеспечения имени генерала армии А.В. Хрулева" | Passive detection of miniature drones and determination of their coordinates |
| RU2760845C1 (en) * | 2021-02-12 | 2021-11-30 | Федеральное государственное бюджетное военное образовательное учреждение высшего образования "Военно-космическая академия имени А.Ф. Можайского" Министерства обороны Российской Федерации | Method for detecting and identifying targets characteristics based on registration and processing of rays from objects in observed space and device for its implementation |
Also Published As
| Publication number | Publication date |
|---|---|
| RU2006135285A (en) | 2008-04-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3195042B1 (en) | Linear mode computational sensing ladar | |
| EP3089449B1 (en) | Method for obtaining light-field data using a non-light-field imaging device, corresponding device, computer program product and non-transitory computer-readable carrier medium | |
| US8780182B2 (en) | Imaging system and method using partial-coherence speckle interference tomography | |
| US20030067537A1 (en) | System and method for three-dimensional data acquisition | |
| US9967459B2 (en) | Methods for background subtraction using focus differences | |
| KR20190076998A (en) | Apparatus and method for obtaining distance information from a view | |
| CN100403973C (en) | Pupil detecting device, and iris certifying apparatus | |
| Stone et al. | Buried explosive hazard detection using forward-looking long-wave infrared imagery | |
| CN111027496A (en) | Infrared dim target detection method based on space-time joint local contrast | |
| RU2363018C1 (en) | Method of selecting objects on remote background | |
| CN106574966A (en) | A method for binning time-of-flight data | |
| CN110345924B (en) | Distance acquisition method and device | |
| CN107209061B (en) | Method for determining complex amplitude of scene-dependent electromagnetic field | |
| JP6042146B2 (en) | Object detection apparatus and object detection method | |
| RU2331084C1 (en) | Method of detecting objects | |
| AU2016342547A1 (en) | Improvements in and relating to missile targeting | |
| RU2552123C2 (en) | Method of selecting objects on remote background | |
| KR20160120533A (en) | Image sementation method in light field image | |
| Connor et al. | Discriminative imaging using a LWIR polarimeter | |
| RU2498336C1 (en) | Method of selecting multiple objects according to range | |
| JPH11223516A (en) | Three dimensional image pickup device | |
| RU2576471C2 (en) | Method for high-speed detection of objects on high-contrast dynamically variable background | |
| EP3513380B1 (en) | Method and device for depth detection using stereo images | |
| CN109669553B (en) | Device and method for detecting movement of a pointer in three dimensions | |
| Rodriguez | A methodology to develop computer vision systems in civil engineering: Applications in material testing and fish tracking |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| MM4A | The patent is invalid due to non-payment of fees |
Effective date: 20191006 |