ES2563098B1 - Procedimiento de mejora de imagen IR basado en información de escena para videoanálisis - Google Patents
Procedimiento de mejora de imagen IR basado en información de escena para videoanálisis Download PDFInfo
- Publication number
- ES2563098B1 ES2563098B1 ES201530836A ES201530836A ES2563098B1 ES 2563098 B1 ES2563098 B1 ES 2563098B1 ES 201530836 A ES201530836 A ES 201530836A ES 201530836 A ES201530836 A ES 201530836A ES 2563098 B1 ES2563098 B1 ES 2563098B1
- Authority
- ES
- Spain
- Prior art keywords
- image
- region
- scene
- interest
- video analysis
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 83
- 238000004458 analytical method Methods 0.000 title claims abstract description 39
- 238000001514 detection method Methods 0.000 claims abstract description 36
- 238000012545 processing Methods 0.000 claims abstract description 16
- 230000009466 transformation Effects 0.000 claims description 17
- 230000006872 improvement Effects 0.000 claims description 12
- 238000001914 filtration Methods 0.000 claims description 9
- 238000001228 spectrum Methods 0.000 claims description 8
- 230000011218 segmentation Effects 0.000 claims description 6
- 230000003068 static effect Effects 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 5
- 210000004027 cell Anatomy 0.000 claims description 4
- 238000009499 grossing Methods 0.000 claims description 4
- 210000004460 N cell Anatomy 0.000 claims description 2
- 230000002123 temporal effect Effects 0.000 claims description 2
- 238000002329 infrared spectrum Methods 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 4
- 238000001429 visible spectrum Methods 0.000 description 4
- 238000005259 measurement Methods 0.000 description 3
- 238000003780 insertion Methods 0.000 description 2
- 230000037431 insertion Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000013213 extrapolation Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000002689 soil Substances 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
- G08B13/19613—Recognition of a predetermined image pattern or behaviour pattern indicating theft or intrusion
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B29/00—Checking or monitoring of signalling or alarm systems; Prevention or correction of operating errors, e.g. preventing unauthorised operation
- G08B29/18—Prevention or correction of operating errors
- G08B29/20—Calibration, including self-calibrating arrangements
- G08B29/24—Self-calibration, e.g. compensating for environmental drift or ageing of components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Security & Cryptography (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
Procedimiento de mejora de imagen IR basado en información de escena para videoanálisis.#Procedimiento de mejora de imagen para sistemas de videoanálisis o videovigilancia automática que comprenden por lo menos un dispositivo de adquisición de imágenes a través del cual se captura una imagen en el espectro IR o térmico de una zona del espacio, un sistema de calibración de escena y un sistema de detección a través del cual se detecta por lo menos un tipo de objeto comprendiendo dicho procedimiento por lo menos una etapa de procesamiento en la que se mejora el contraste de la imagen captada por el dispositivo de adquisición de imágenes a través de la información de profundidad o de escena de la imagen, obtenida, de forma directa o indirecta, por el sistema de calibración de escena o bien introducida manualmente por el usuario.
Description
5
10
15
20
25
30
35
DESCRIPCIÓN
Procedimiento de mejora de imagen IR basado en información de escena para videoanálisis. Campo de la técnica
La presente invención hace referencia a un procedimiento de mejora de imagen para sistemas de videoanálisis o videovigilancia automática cuya imagen de entrada es de espectro IR o térmico, en el que se utiliza información de profundidad o de escena para realizar esta mejora.
Estado de la Técnica anterior
Un sistema de videoanálisis genérico tienen como finalidad determinar la presencia de personas, vehículos u otros objetos concretos (objetivo) en una zona determinada del espacio a partir de las imágenes capturadas por un dispositivo de adquisición de imágenes, preferiblemente, una cámara fija, que observa dicha determinada zona del espacio.
En el caso de que la imagen de entrada al mencionado sistema de videoanálisis sea de espectro IR (infrarrojo) o térmica, uno de los principales problemas a los que se debe enfrentar dicho sistema es la falta de contraste entre la escena (background ) y el objetivo (foreground), dificultándose la detección del objetivo. Así por ejemplo, para el caso térmico, en determinadas épocas del año, principalmente en las más cálidas, la temperatura del suelo puede rondar los 37°C lo que puede dificultar la detección de objetivos humanos por la falta de contraste de la imagen. Este efecto se acentúa más si cabe en las zonas lejanas de la imagen donde los objetos son más pequeños. De este problema no solo sufren los sistemas de vigilancia automática o de videoanálisis si no también aquellos verificados por un operador.
Los fabricantes de cámaras de espectro infrarrojo han hecho un esfuerzo por añadir herramientas de software en sus sensores que permiten reducir el problema de contraste y, en consecuencia, mejorar la calidad de la imagen. Los algoritmos desarrollados para este propósito son aquellos que permiten ajustar el brillo o ganancia o bien realizar una ecualización de histograma básica o ecualizaciones complejas tipo plateau o bien filtros de realce de detalles. Por su parte, los fabricantes de sistemas de videoanálisis, conscientes de este problema, también han
5
10
15
20
25
30
35
incorporado módulos de mejora de imagen y/o aumento del contraste para mitigar el mismo.
El inconveniente de los algoritmos mencionados es que para efectuar sus mejoras se basan única y exclusivamente en la información presente en la imagen. En otras palabras tratan a todos los píxeles por igual sin hacer ningún tipo de asunción sobre la naturaleza de éstos (p. ej. desde qué distancia viene la temperatura proyectada o cual es el tamaño de una persona en ese lugar).
Sin embargo, se ha de señalar que en la literatura científica existen documentos que describen procedimientos o métodos de mejora de imágenes que se basan en información de escena y/o de profundidad en los que se utilizan mayoritariamente cámaras de espectro visible. Entre estos documentos los más significativos son los siguientes:
Por un lado encontramos referencias, como por ejemplo la solicitud de patente con número de publicación US2010/0304854 o en el documento de Hachicha et al., en “20th European Signal Processing Conference” (EUSIPCO 2012) y con título "Combining Depth Information and Local Edge Detection for Stereo Image Enhancemenf, en las que el objetivo no es el de mejorar la calidad de la imagen usando una referencia de profundidad sino mejorar dicha estimación de profundidad en base a la imagen analizada. En definitiva, se realiza el proceso inverso apuntado anteriormente.
o El primero de los documentos citados como ejemplo describe un sistema que calcula la profundidad de imagen en base a emitir luz estructurada y analizar su proyección sobre la escena. En dicho documento, se intenta mejorar la calidad de la imagen de luz estructurada proyectada para mejorar así la estimación de profundidad.
o En el segundo de los documentos citados como ejemplo tenemos un par estéreo (imagen visible + mapa de profundidad) y se intenta segmentar los objetos de la imagen, mejorar su contraste y aplicar esta información para mejorar el mapa de profundidad.
- Por otro lado encontramos publicaciones, como por ejemplo el documento de Hu et al., en ICIP 2013 y con título “KINECT DEPTH MAP BASED ENHANCEMENT FOR LOW LIGHT SURVEILLANCE IMAGE” y la solicitud de patente con número de publicación CN103400351A, en las que se aplican informaciones de dispositivos externos (por ejemplo: cámara Kinect)sobre las cámaras de espectro visible. Estos
5
10
15
20
25
30
35
dispositivos nos dan un mapa de profundidad de la escena asociado a la imagen de la escena que se está observando con la cámara de espectro visible para realizar operaciones de realce sobre dicha cámara de espectro visible. En concreto, en el primer caso se realiza un filtrado de ruido y un ajuste de histograma en el que se incorpora la imagen de profundidad en la ecualización global de la imagen.
Existe también una gran cantidad de referencias, como por ejemplo el documento de Srinivasa et al., en “IEEE TransactionsOnPatternAnalysis and Machine Intelligence, vol. 25, No. 6, June 2003”, con título “Contrast Restoration of Weather Degraded Images” o bien el documento de Muñirá et al., en “International Journal of Scientific and ResearchPublications, Volume 3, Issue 6, June 2013”, con título “Single Image Fog Removal Using Depth Estimation Basedon Blur Estimation”, cuyo objetivo es mejorar la calidad de imágenes que están afectadas por condiciones climáticas (por ejemplo: niebla o contaminación), realizándose una estimación de la profundidad de la escena basada precisamente en estos efectos. En concreto, cuanto más borrosa es una zona de la imagen significa que la cámara está a mayor distancia. Una vez obtenida la estimación de profundidad, se utiliza ésta para cancelar los efectos producidos por las condiciones atmosféricas sobre la imagen, mejorándose así la calidad de la misma.
- Se ha de destacar también otro grupo de documentos, como por ejemplo: la patente con número de publicación US7,706,576 B1, en los que se detectan objetos de interés para mejorar la calidad de los propios objetos. En el documento citado como ejemplo, se asume que en la escena existe la cara de una persona, se detecta dicha cara y se aplica un algoritmo de mejora de imagen en la región que ocupa la misma. En realidad, se está aplicando una información de la escena para mejorar por lo menos una zona de la imagen.
En cuanto a documentos científicos sobre procedimientos y métodos de mejora de imágenes IR o térmicas, los documentos más significativos dentro de las pocas referencias existentes son la solicitud de patente con número de publicación EP 2226762A1 y la solicitud de patente PCT con número de publicación WO 2013126001A2, utilizan información global o local de la propia imagen y en ningún caso se utiliza información de profundidad o de escena. El principal inconveniente de estos procedimientos es que en las imágenes siguen existiendo zonas en las que no existe suficiente contraste para poder detectar objetos.
5
10
15
20
25
30
35
La presente invención tiene como principal finalidad describir un procedimiento de mejora de imagen para sistemas de videoanálisis o videovigilancia automática cuya imagen de entrada es de espectro IR o térmica en el que, utilizándose información de profundidad o de escena, la imagen resultante tiene el contraste suficiente para que se determine la presencia de un objeto en concreto.
Explicación de la invención
La presente invención logra superar todos los inconvenientes así como defectos mencionados anteriormente en el estado de la técnica y alcanzar la finalidad descrita en el párrafo anterior.
Los sistemas de videoanálisis o de vigilancia automática comprenden por lo menos un dispositivo de adquisición de imagen a través del cual se obtienen diferentes imágenes de una zona del espacio en concreto que junto con un sistema de digitalización de imágenes proporciona a la salida del mismo una imagen digital.
A continuación dicha imagen se somete a un sistema de procesamiento de imagen que aplica por lo menos un procedimiento de mejora de la imagen de tal manera que a su salida dicha imagen ha de tener la calidad suficiente para se pueda detectar un tipo de objeto concreto (persona, animal o cualquier otro definido por el usuario).
En concreto, los sistemas de videoanálisis o de vigilancia automática ofrecen por lo menos dos modos de funcionamiento, el de calibración del sistema y el de detección. Tales modos de funcionamiento son realizados por sus correspondientes sistemas de calibración y de detección.
El modo de funcionamiento de calibración generalmente se utiliza al inicio de la puesta en funcionamiento del sistema de videoanálisis o de vigilancia automática ya que su finalidad es dotar a la imagen de una referencia espacial para que así el sistema de detección pueda referenciar todos los cálculos que realiza durante el procedimiento de detección: cálculo de la distancia recorrida, velocidad, tamaño de los objetos, etc. En concreto, la etapa de calibración realizada por el sistema de calibración ha de permitir aportar la equivalencia entre el tamaño aproximado en píxeles del objeto a detectar (generalmente persona) y cada una de las coordenadas de los píxeles de la imagen.
5
10
15
20
25
30
35
Pues bien, tal y como se ha comentado anteriormente es objeto de la presente invención un procedimiento de mejora de imagen para sistemas de videoanálisis o videovigilancia automática cuya imagen de entrada es de espectro IR o térmico en el que se utiliza para ello la información de profundidad o de escena de la imagen. Para ello, el primer paso de este procedimiento es que dicha información de profundidad o de escena de la imagen sea introducido por el usuario o bien que proceda de la etapa de calibración o del sistema de calibración puesto que la obtención de la variación del tamaño aproximado del objeto a detectar para cada una de las coordenadas de los píxeles de la imagen es una forma indirecta de la profundidad de la escena real captada en la imagen.
En este sentido, se ha de destacar que para ello se puede utilizar cualquier procedimiento de calibración que permita obtener tales resultados, siendo los más representativos los siguientes:
- Procedimiento de calibración fuerte que se basa en la obtención tanto de los parámetros intrínsecos de la cámara (distancia focal, tamaño del píxel, distorsión radial de lente, etc.) como de los extrínsecos (altura y orientación angular) para efectuar medidas de distancia y velocidad reales sobre la imagen y la extrapolación de los tamaños de los objetos a detectar para cada píxel mediante geometría básica. Preferiblemente, dentro de estos procedimientos se utiliza alguno de los descritos en el documento de Hartley, R y Zisserman, A con título “Múltiple view geometry in Computer visión” de Cambridge University Press 2003.
Procedimiento de calibración débil en el que a partir de una serie de observaciones de un tipo de objeto a detectar, se asocia el tamaño del objeto a detectar a cada uno de los píxeles de la imagen ya sea por fuerza bruta (1 observación / 1 pixel) o por interpolación de un modelo geométrico estimado en base a un número limitado de observaciones. Preferiblemente, dentro de estos procedimiento se utiliza el descrito en la solicitud de patente US7596241 o la solicitud de patente ES2364915.
Además de estos dos tipos de procedimientos de calibración, en una realización preferente del procedimiento de mejora de imagen para sistemas de videoanálisis o videovigilancia automática para obtener la información de profundidad o de escena se utiliza el procedimiento de calibración descrito en la solicitud de patente española P201330462. Este procedimiento de calibración es una calibración débil en términos de estimación de parámetros (puesto que sólo se refiere a los extrínsecos) pero robusto en cuanto a precisión y corrección de errores y comprende, tal y como está explicado en la mencionada solicitud, por lo menos las siguientes fases:
5
10
15
20
25
30
35
Fase de adquisición de muestras que se divide en las siguientes sub fases: o sub fase de adquisición de imagen;
o sub fase de procesamiento de imagen a través de la cual se determina si en dicha imagen existe algún objeto móvil; y o sub fase de pre-clasificación de personas que determina si el objeto móvil identificado es una persona o no, almacenándose como muestra en caso de ser persona los fatos de tamaño y posición del objeto móvil identificado; y Fase de calibración que obtiene el tamaño de una persona para cada posición de la imagen a partir de los datos de tamaño y posición obtenidos para cada objeto identificado como persona en la fase de adquisición de muestras.
Una vez obtenida la información de profundidad o de escena de la imagen ya se puede entrar a detallar el procedimiento de mejora de la imagen propiamente dicho. Para ello se debe destacar que existen dos grandes tipos de procedimientos de mejora de imagen denominados filtrado espacial y ecualización.
En consecuencia, es objeto de la invención aplicar esta información de profundidad o de escena de la imagen a este tipo de procedimientos de mejora de imagen para así mejorar el contraste de las imágenes de videoanálisis o videovigilancia automática.
En relación al primer tipo, el denominado filtrado espacial, se ha de señalar que se basa en seleccionar y aplicar un filtro sobre la imagen con el objetivo de reducir ruido, aumentar los detalles, suavizar la imagen..., obteniéndose una imagen con mejor contraste. Estos filtros no son más que pequeñas subimágenes que se convolucionan con la imagen principal y generan una respuesta. Así, dependiendo del tamaño del filtro trataremos con diferentes escalas de información de la imagen.
Preferiblemente, el filtrado espacial y la forma de aplicarse el mismo se basa en por lo menos los siguientes pasos:
Para cada punto de la imagen se obtiene el tamaño en píxeles del objeto a detectar (w,h) mediante el sistema de calibración, siendo w y h respectivamente la anchura y la altura en píxeles del objeto a detectar en ese punto.
- Para cada punto de la imagen se construye un filtro espacial de tamaño entre 3x3 píxeles y max (w,h)x max (w,h), y
Se convoluciona cada punto de la imagen con el filtro espacial del tamaño correspondiente a ese punto.
5
10
15
20
25
30
Pues bien, es objeto de la presente invención que dichos filtros ajusten su tamaño de forma variable en cada posición de la imagen en función de la información de profundidad de imagen o de escena obtenida durante la fase de calibración. Preferiblemente, dicha información ha de comprender por lo menos el tamaño del objeto a detectar que se haya estimado durante la calibración.
Así por ejemplo, si se utiliza un filtrado espacial para reducir el ruido, se puede escoger entre aquellos filtros que reducen el ruido en el dominio espacial, entre los cuales se encontrarían los filtros lineales, como por ejemplo: filtro de media, y los no lineales, como por ejemplo: filtro de mediana o bilateral, y aquellos filtros que reducen el ruido en el dominio transformado, entre los que cuales se encontrarían los filtros basados en la transformada wavelet. Sin embargo, independientemente del filtro que se escoja, éste debe adaptar su tamaño en cada posición de la imagen en función de la información de profundidad o de escena obtenida durante la fase de calibración.
Asimismo, en relación a otras técnicas como por ejemplo las de realce de detalles o filtrado paso alto, éstas deberían ajustar los tamaños de sus filtros en función de la información de profundidad o de escena obtenida durante la fase de calibración.
Por lo que se refiere al segundo tipo, el de ecualización, se ha de destacar que la ecualización de una imagen es en realidad la normalización de su histograma. Es decir, la idea principal es que, dada una imagen de entrada /, se transforma dicha imagen de entrada en base a la información de su histograma para que la imagen de salida tenga un histograma lo más plano posible.
Así pues, si definimos I como la imagen de entrada cuyos posibles valores i van de 0 < í < L - 1, la probabilidad que la imagen de entrada I tenga el valor i se define como:
P/(0 = p(/ = 0 = — n
donde n¿ es el número total de píxeles cuyo valor es igual a i y n al número total de píxeles de la imagen. A través de este histograma tenemos una referencia de la probabilidad de cada nivel de gris en la imagen de entrada /. El siguiente paso es aplicar una transformación T a toda la imagen de entrada I para que la imagen de salida O = T(I) tenga un histograma lo más plano posibley así mejorar el contraste de la imagen y, en consecuencia, su calidad. Esta imagen de salida O también se denomina imagen ecualizada.
5
10
15
20
25
30
35
En una realización preferente, la función de transformación es la que se indica en la página 91 del libro de González y Woods con título “Digital Image Processing” de Prentice Hall 2002.
En definitiva, dicha ecualización simple comprende por lo menos los siguientes pasos:
1- Calcular el histograma p,(i) de toda la imagen de entrada y su función de transformación correspondiente T
2- Aplicar esa transformación sobre toda la imagen de entrada y obtener así la imagen ecualizada O = T(I)
Se ha de señalar que por lo general las imágenes de entrada y de salida se definen con el mismo número de bits, 8 bits por píxel, existiendo un rango de 256 posibilidades (28). Sin embargo, algunos dispositivos de adquisición, como por ejemplo las cámaras térmicas, utilizan 14 bits por píxel por lo que al mantenerse la imagen de salida con 8 bits por píxel la ecualización debe reducir el espacio de 16.384 posibilidades (214) de la imagen de entrada a 256 posibilidades de la imagen de salida.
Ahora bien, tal y como, ocurría con el procedimiento de mejora de imagen denominado filtrado espacial se debe utilizar la información de la profundidad o de escena de la imagen para mejorar notablemente el contraste de la imagen.
En el caso de la ecualización, la información de profundidad o de escena se utiliza para focalizar la mejora de la imagen en aquellas zonas en las que los objetos a detectar por el sistema de videoanálisis son más pequeños, consiguiéndose que en las zonas de difícil detección el contraste sea el mayor posible.
Es decir, se modifica el paso número 1 del procedimiento para la ecualización simple calculándose la transformación T utilizando solamente la información de los píxeles de las regiones donde los objetos a detectar son de menor tamaño.
De esta manera, se maximiza el contraste en las zonas de detección difícil aunque se pueda perjudicar a las zonas de detección fácil (objetos a detectar grandes).
Para ello, se debe definir también las regiones de la imagen en la que los objetos a detectar son de menor tamaño, la cual se denomina región de interés(ROI).
5
10
15
20
25
30
Esta región no queda restringida a ningún tipo de forma ni tamaño en concreto hasta el punto que bien podría estar compuesta de subregiones. Preferiblemente, se define como un rectángulo
r = \x,y,w,h\
dondex e y se corresponden con las coordenadas de la esquina superior de r, mientras que w y h con los valores de anchura y altura de la región en píxeles.
Por otra parte, se define la sub-imagen formada por los píxeles de la imagen de entrada I contenidos en la región r como Ir y el histograma de esta sub-imagen como
Pir(0 = vOr = i)= —
T nr
donde nir es el número total de píxeles de la sub-imagen Ir cuyo valor es igual a i y nr al número total de píxeles de la sub-imagen Ir. Así pues si en la ecualización simple de histograma la transformación se obtenía como una función del histograma de la imagen de entrada T = f(p¡(i)), se define una nueva transformación Tr como la función de transformación calculada en base al histograma de los píxeles de la región de interés Tr = f(p¡r(í)). Entonces, el procedimiento de mejora de imágenes basado en ecualización simple comprende por lo menos los siguientes pasos:
1- Calcular el histograma de los píxeles dela imagen de entrada contenidos en la región de interés p¡r(i) y utilizar esta información para obtener su función de transformación correspondiente Tr;
2- Aplicar esa transformación Tr sobre toda la imagen de entrada y obtener así la imagen ecualizada O = Tr(I)
De esta manera se maximiza el contraste en las zonas de difícil detección aunque se puedan perjudicar algunas zonas de fácil detección (aquellas en las que los objetos a detectar son de mayor tamaño).
Breve descripción de los dibujos
Las anteriores y otras ventajas y características se comprenderán más plenamente a partir de la siguiente descripción detallada de unos ejemplos de realización con referencia a los dibujos adjuntos, que deben considerarse a título ilustrativo y no limitativo, en los que:
5
10
15
20
25
30
35
la fig. 1 ilustra el diagrama de bloques de un sistema de videoanálisis o videovigilancia según la invención;
- la fig. 2 muestra el diagrama de bloques del sistema de detección ;
la fig. 3 representa el diagrama de bloques de un sistema de calibración de escena basado en un procedimiento de calibración fuerte;
la fig. 4 ilustra el diagrama de bloques de un sistema de calibración de escena basado en un procedimiento de calibración débil;
- la fig. 5 muestra una imagen a la que se le ha aplicado un sistema de calibración de escena;
la fig. 6 representa un procedimiento de ecualización.
- la fig. 7 ilustra el funcionamiento de un interruptor basado en histéresis.
Descripción detallada de un ejemplo de realización
La Fig. 1 ilustra el diagrama de bloques de un sistema de videoanálisis o de vigilancia automática (1) según la invención que comprende por lo menos un dispositivo de adquisición de imagen (2) del que se obtienen imágenes de una zona del espacio, un sistema de digitalización de imágenes (3) que proporciona la imagen digital obtenida por el mencionado dispositivo de adquisición de imagen (2), un sistema de procesamiento de la imagen (4) y dos sistemas alternativos de funcionamiento, el sistema de calibración de escena (5) y el sistema de detección (6).
Los dispositivos de adquisición de imágenes (2) permiten obtener imágenes en el espectro IR o térmicos. Preferiblemente son cámaras fijas con este tipo de captación de imágenes. Asimismo, se incluyen dispositivos de adquisición de imágenes (2) que obtienen imágenes en el espectro IR cercano, como por ejemplo, cámaras de día/noche que funcionan con esta sección del espectro electromagnético durante la vigilancia nocturna.
En este sentido, se ha de señalar que ciertos dispositivos de adquisición de imágenes (2) ya proporcionan una imagen digital, integrando los mismos un sistema de digitalización de imágenes (3) por lo que no haría falta incluir en esos casos dicho sistema de digitalización de imágenes (3) en el sistema de videoanálisis o de vigilancia automática (1).
El dispositivo de adquisición de imágenes (2) en el caso que ya permite obtener una imagen digital o el sistema de digitalización de imágenes (3) pueden estar preparados para transmitir las imágenes por cualquier medio de transmisión (cable, fibra, inalámbrico, etc.).
5
10
15
20
25
30
35
El sistema de procesamiento de la imagen (4) aplica por lo menos un procedimiento de mejora de la imagen de tal manera que a la salida de dicho sistema la imagen tiene la calidad suficiente para que se detecte un tipo de objeto concreto, preferiblemente, una persona.
Tal y como se ha comentado el sistema de videoanálisis o de vigilancia automática (1) tiene dos sistemas alternativos de funcionamiento, el sistema de detección (6) y el sistema de calibración de escena (5).
El sistema de detección (6) se aplica de forma habitual durante el funcionamiento del sistema de videoanálisis o de vigilancia automática (1) ya que es el que permite detectar unos objetos en concreto, preferiblemente, personas.
El sistema de calibración de escena (5) se aplica, preferiblemente, una sola vez al inicio de la puesta en marcha del sistema de videoanálisis o de vigilancia automática (1) y ha de dotar a la imagen de una referencia espacial para que así el sistema de detección (6) pueda referenciar todos los cálculos que realiza durante el proceso de detección: cálculo de la distancia recorrida, velocidad, tamaño de los objetos, etc., así como proporcionar también información directa o indirecta de la profundidad de la escena real captada en la imagen para el sistema de procesamiento de la imagen (4).
Preferiblemente, el sistema de calibración de escena (5) puede ser cualquier tipo de sistema que obtenga la profundidad de la escena real captada en la imagen ya sea de forma directa o indirecta. En una realización preferente,, el sistema de calibración de escena (5) es un sistema que obtiene la variación del tamaño aproximado del objeto a detectar para cada una de las coordenadas de los píxeles de la imagen puesto que es una forma indirecta de medir la profundidad de la escena real captada en la imagen.
En la Fig. 2 se muestra el diagrama de bloques del sistema de detección (6) que comprende un sistema de segmentación de escena estática (7), un sistema de generación de candidatos (8), un sistema de clasificación (9), un sistema de seguimiento (10) y un sistema de decisión (20).
El sistema de segmentación de escena estática (7) clasifica los píxeles en por lo menos dos tipos, objetos móviles y objetos pertenecientes al fondo de la imagen.
5
10
15
20
25
30
35
El sistema de generación de candidatos (8) agrupa los píxeles que se refieren a objetos móviles y asigna un identificador único a cada objeto en movimiento de la imagen.
Se ha de señalar que tanto para el sistema de segmentación estática (7) como para el sistema de generación de candidatos (8) es muy relevante disponer de una imagen suficientemente contrastada.
El sistema de clasificación (9) clasifica los objetos móviles según si es un objeto a detectar, preferiblemente, persona y/o vehículo, o no lo es. Este sistema necesita, tal y como se acaba de comentar, la información de escena que se obtiene durante la fase de calibración para realizar los cálculos necesarios (medida de velocidad, tamaño, distancia recorrida, etc.) para clasificar los objetos y de ahí que en el diagrama de bloques de la Fig. 2aparezca un bloque denominado calibración para referenciar tal necesidad de información.
Un sistema de seguimiento (10) mantiene la coherencia temporal de los objetos para finalmente, en función de las reglas de detección introducidas por el usuario generar las respectivas alarmas de intrusión.
El sistema de decisión (20) se encarga de determinar, a partir de unas reglas -de ahí que exista un bloque denominado reglas para referenciar tal necesidad de información-, si los objetos clasificados por el sistema de clasificación (9) deben considerarse como intrusos, generándose la correspondiente alarma en ese caso.
En la Fig. 3 se representa un diagrama de bloques de un sistema de calibración de escena (5) basado en un procedimiento de calibración fuerte, como por ejemplo, el descrito en el documento de Hartley, R y Zisserman, A con título “Múltiple view geometry in Computer visión” de Cambridge University Press 2003.
Dicho sistema de calibración (5) puede comprender por lo menos un sistema de inserción de parámetros del dispositivo de adquisición de imagen (14) y un sistema de cálculo de parámetros de escena (15).
El sistema de inserción de parámetros del dispositivo de adquisición de imagen (14) obtiene, él directamente o a través del propio usuario, los parámetros intrínsecos del dispositivo de
5
10
15
20
25
30
35
adquisición de imagen (2), como por ejemplo: distancia focal, tamaño del píxel, distorsión radial de lente, y los parámetros extrínsecos, como por ejemplo: altura y orientación angular.
El sistema de cálculo de parámetros de escena (15) obtiene el tamaño de los objetos a detectar para cada píxel.
En la Fig. 4 se ilustra un diagrama de bloques de un sistema de calibración de escena (5) basado en un procedimiento de calibración débil, como por ejemplo, los descritos enla solicitud de patente US7596241 o la solicitud de patente ES2364915.
Tal y como se puede observar, dicho sistema de calibración de escena (5) comprende por lo menos un sistema de segmentación de escena estática (7), un sistema de generación de candidatos (8), un sistema de seguimiento (10), un sistema de mapeo de tamaño/posición observados (11) y sistema de estimación de parámetros de escena (12).
Preferiblemente, los sistemas de segmentación de escena estática (7), de generación de candidatos (8), de seguimiento (10) realizan las mismas funciones que los descritos en el sistema de detección (6), pudiendo ser incluso los mismos.
El sistema de mapeo de tamaño/posición (11) obtiene la variación del tamaño aproximado del objeto a detectar para cada una de las coordenadas de los píxeles de la imagen.
El sistema de estimación de parámetros de escena (12) permite obtener otros parámetros necesarios para el sistema de detección (6), como por ejemplo: medida de velocidad, tamaño y distancia recorrida.
En una realización preferente, el sistema de calibración de escena (5) del sistema de videoanálisis o de vigilancia automática (1) según la invención utiliza el procedimiento de calibración descrito en la solicitud de patente española P201330462 para obtener la información de profundidad o de escena.
Independientemente del procedimiento de calibración utilizado por el sistema de calibración de escena (5), la Fig. 5 muestra una imagen a la que se le ha aplicado el sistema de calibración y en la que los rectángulos (16) indican el tamaño aproximado del objeto a detectar, preferiblemente, personas, en el punto en el que el rectángulo (16) está dibujado.
5
10
15
20
25
30
35
El sistema de procesamiento de la imagen (4) según la invención realiza un procedimiento de mejora de imagen que comprende una etapa de procesamiento en la que a través de la mencionada información de profundidad o de escena, introducida por el usuario u obtenida a través de cualquier sistema de calibración de escena (5), aunque preferiblemente aquellos que utilicen los procedimientos acabados de describir, se mejora el contraste de las imágenes captadas por el dispositivo de adquisición de imagen (2).
En una realización preferente, el sistema de procesamiento de la imagen (4) comprende por lo menos un filtro que ajusta su tamaño de forma variable en cada posición de la imagen en función de la información de profundidad de imagen o de escena, preferiblemente, un porcentaje del tamaño del objeto a detectar que se haya estimado por el sistema de calibración de escena (5).
En otra realización preferente, el sistema de procesamiento de la imagen (4) comprende por lo menos un procedimiento de ecualización en el que se utiliza la información de profundidad o de escena obtenida a través del sistema de calibración de escena (5).
Preferiblemente, dicho procedimiento de ecualización se basa en un procedimiento de ecualización simple centrado en una región que se considera de interés (r). Los criterios para definir dicha región de interés son preferiblemente:
Región definida manualmente por el usuario; o bien Región en la que los objetos a detectar son de menor tamaño; o bien Zonas de tránsito durante el proceso de calibración de escena (5), basado en la solicitud de patente española P201330462.
Para el caso del criterio en que los objetos a detectar son de menor tamaño, preferiblemente, se definen dos tamaños de persona en píxeles: Tmin (tamaño mínimo de objeto que es capaz de detectar el sistema de detección (6) y que viene dado por el propio sistema de detección (6)) yTmax que se corresponde con el máximo tamaño posible de un objeto a detectaren la imagen a considerar (que viene dado por el sistema de calibración (5)). Así pues, en este caso, el criterio para definir la ROI será todos aquellos píxeles para los que el tamaño de objeto esperado dado por el sistema de calibración de escena (5), se sitúe en el rango (Tmin,Tmin + s(Tmax - Tmin)). Siendo s un número entre 0 y 1 que permite regular el nivel de ecualización.
Tal y como se ha explicado anteriormente, existen procedimientos de calibración que consisten en asociar tamaños de objeto observados a la posición donde han sido
5
10
15
20
25
30
observados para, de esta forma, estimar el modelo geométrico que describe la escena, entre los cuales, preferiblemente, el sistema de calibración de escena (5) utiliza el descrito en la solicitud de patente española P201330462. Preferiblemente, en estos casos, un criterio para definir la región de interés (r) comprende por lo menos los siguientes pasos:
-Dividir la imagen en N celdas de tamaño ajustable;
- Marcar las celdas en las que el sistema de calibración (5) ha obtenido al menos una muestra.
-Definir la región de interés como la zona convexa que envuelve las celdas
marcadas.
Las regiones de interés (r)no están restringidas a ningún tipo de forma ni tamaño.
referiblemente, dicha región de interés(r), se define como un rectángulo (17)
r = [x,y,w,h\
dondex e y se corresponden con las coordenadas de la esquina superior de r, mientras que w yh con los valores de anchura y altura de la región en píxeles.
En las escenas de videoanálisis o videovigilancia, el contenido relevante, a nivel de detección de objetos, suele estar centrado en la parte central de la imagen por lo que, preferiblemente, se define
r = [x, y, w, h] = [alw, yhor, ylw, pyhoA
dondea,y,^ e (0,1) y ( a + y) < 1 ; Iw es la anchura total de la imagen de entrada; y yhor es la coordenada vertical que delimita el límite de detección (preferiblemente, la coordenada vertical a partir de la cual el tamaño esperado del objeto a detectar una persona, es menor que el mínimo tamaño que el sistema necesita para poder detectar una persona) que la puede introducir el usuario o bien se puede obtener del sistema de calibración (5).
En la Fig. 5 aparece dibujado un rectángulo (17) que define una región de interés para esa imagen.
Se ha de señalar que este tipo de región rectangular sirve para cualquier sistema de calibración de escena (5) ya que el resultado final de la calibración es un mapa de tamaño de persona por píxel.
5
10
15
20
25
30
En una realización preferente, el procedimiento de ecualización define una sub-imagen formada por los píxeles de la imagen de entrada I contenidos en la región r como Ir y el histograma de esta sub-imagen como
'H-
PiAO = pQr = 0 = —
r nr
Asimismo, se define una nueva transformación Tr como la función de transformación calculada en base al histograma de los píxeles de la región de interés Tr = f(p¡r(i)).
En definitiva, en una realización preferente del procedimiento de ecualización comprende por lo menos los siguientes pasos:
1- Calcular el histograma de los píxeles dela imagen de entrada contenidos en la región de interés p¡r(i) y utilizar esta información para obtener su función de transformación correspondiente Tr;
2- Aplicar esa transformación T rsobre toda la imagen de entrada y obtener así la imagen ecualizada O = Tr(I)
Tal y como se ha comentado con anterioridad, el hecho de ecualizar ciertas zonas de la imagen con un histograma que no le corresponde puede perjudicar el contraste de dichas zonas con la aparición de efectos no deseados tales como ruido, saturación en el nivel de gris, etc. Así pues, en una realización preferente, se propone una etapa de suavizado de la ecualización mediante una suma ponderada de la imagen ecualizada con el método anterior y la imagen sin ecualizar de la siguiente manera:
IF(x,y) = g(x,y) ■ 0(x,y) + (l - g(x,y)) ■ i(x,y)
Donde la función de ponderación g(x,y)puede ser cualquier tipo de función cuyo valor en el centro de la región de interés sea máximo, aunque preferiblemente es una función gaussiana bidimensional centrada en el centro de la región de interés (r) y con desviaciones estándar de sus dimensiones la anchura y altura de la propia región de interés (r), quedando el centro de la gaussiana como:
_ ( 'v _ , J . Ylw Pyhe
P \Px ’Py) ( & + 2 >yhor ^
y su vector desviación standard como
5
10
15
20
25
30
O (o'x, ®y) ( &IW, fiyhor )
En consecuencia, la función,g(x,y)
g(x,y)
-1((x-^x\2 + (y-v-y
Q 2 (V ax ) ( Oy
2
) )
Tal y como se puede observar, el valor de g(x,y)en el centro de la región de interés (r) es máximo (igual a 1) y, a medida que los valores de x ó y se alejan del centro, el valor de g(x,y)decrece y por lo tanto la imagen no ecualizada empieza a tomar relevancia dado que la funciónl - g(x,y) crece.
En consecuencia, toda esta etapa realiza un suavizado de la ecualización pudiéndose entender también como la introducción de un foco artificial que ilumina la zona de la región de interés (r).
Hasta ahora se ha descrito un procedimiento de ecualización básico en el que se utiliza la información de profundidad o de escena obtenida a través del sistema de calibración de escena (5). Sin embargo, se puede considerar que existen dos tipos de procedimiento de ecualización dependiendo de la naturaleza de la imagen de entrada, procedimiento de ecualización local y procedimiento de ecualización remota.
El procedimiento de ecualización local es el más simple y es el que se representa en la Fig. 6. Tal y como se puede observar, en este tipo de procedimiento de ecualización se ecualiza la imagen del dispositivo de adquisición de imagen (2) o la imagen resultante de aplicar el sistema de digitalización de imagen (3) utilizando información de profundidad de la que dispone el sistema de calibración de escena (5) del sistema de videoanálisis o de vigilancia automática (1).
Puesto que el rango dinámico de la imagen, es decir, el rango de valores de la mayoría de los píxeles, es en ocasiones demasiado pequeño, puede provocar que, al expandir el histograma durante la ecualización, se introduzca excesivo ruido. Este ruido no es deseable en la imagen ya que puede comportar falsas alarmas generadas por el sistema de detección (6). Por este motivo, en una realización preferente, en el procedimiento de ecualización según la invención se incorpora un paso que estudia el rango del histograma mediante el cálculo de la entropía en la región de interés, medida que, aunque indirecta, es mucho más robusta que estudiar simplemente la anchura del histograma.
5
10
15
20
25
30
En este sentido, se define la entropía de la imagen en la región de interés como:
Hr(t) = -^p/r(t) ■ log(p/r(í))
r
Esta métrica será mayor cuanto más tienda el histograma a una distribución de probabilidad uniforme y cuanto más ancho sea el rango dinámico de la imagen.
De esta manera, se fijan dos valores umbrales para los que activaremos (on) o desactivaremos (off) la ecualización: Hhl y Hlh .
El funcionamiento de este interruptor basado en histéresis se ilustra en la Fig. 7. En concreto, si durante el procedimiento de ecualización se encuentra en el modo "off" de ecualización y la entropía calculada sube por encima de Hlh, se activa el procedimiento de ecualización. Por el contrario, si se encuentra en el estado "on" de ecualización y la entropía cae por debajo de Hhl , se desactiva el procedimiento de ecualización.
Se ha de señalar que este ciclo de histéresis se implementa para evitar saltos entre modos que puedan afectar al sistema de detección (6). Sin embargo y para suavizar aún más esta transición entre los cambios de modos, se trabaja con entropías calculadas mediante una media móvil en lugar de entropías instantáneas:
H~r(t) = H~r(t - l) ■ (l - p) + Hr(t) ■ p
siendop un valor muy pequeño entre 0 y 1.
Por otro lado, el procedimiento de ecualización remota se basa en definir remotamente la región de interés, a partir de la información de profundidad o de escena obtenida en el sistema de calibración de imagen (5), para aquellos dispositivos de adquisición de imagen (2) o sistemas de digitalización de imagen (3) que disponen de software que ejecuta un procedimiento de ecualización. Es decir, el procedimiento de ecualización lo realiza el dispositivo de adquisición de imagen (2) o el sistema de digitalización de imagen (3) pero sobre la región de interés definida a partir de la información de profundidad o de escena obtenida en el sistema de calibración de imagen (5).
Claims (3)
- 5101520253035REIVINDICACIONESProcedimiento de mejora de imagen para sistemas de videoanálisis o videovigilancia automática que comprenden por lo menos un dispositivo de adquisición de imágenes (2) a través del cual se captura una imagen en el espectro IR o térmico de una zona del espacio, la cual se digitaliza por dicho dispositivo de adquisición de imágenes (2) o por un sistema de digitalización de imágenes (3), un sistema de calibración de escena (5) y un sistema de detección (6) a través del cual se detecta por lo menos un tipo de objetocaracterizado porquedicho procedimiento comprende por lo menos una etapa de procesamiento en la que se mejora el contraste de la imagen digital captada por el dispositivo de adquisición de imágenes (2) a través de la información de profundidad o de escena de la imagen, obtenida, de forma directa o indirecta, por el sistema de calibración de escena (5) o bien introducida manualmente por el usuario y que comprende por lo menos una etapa de ecualización definida a partir de la información de profundidad o de escena de la imagen obtenida por el sistema de calibración de escena (5);dicha etapa de ecualización comprende por lo menos los siguientes pasos o Definir una región de interés (r);o Calcular el histograma de los píxeles de la imagen de entrada contenidos en dicha región de interésp/r(0 y utilizar esta información para obtener una función de transformación correspondiente Tr;dondep; (í) = p(/r = í) = — es el histograma de esta región de interésr nrformada por los píxeles de la imagen contenidos en la región r; yTr esuna función de transformación calculada en base al histograma de lospíxeles de la región de interés Tr= f (p,r(0) o Aplicar esa transformación Trsobre toda la imagen de entrada y obtener así la imagen ecualizada O = Tr(I).51015202530Procedimiento de mejora de imagen para sistemas de videoanálisis o videovigilancia automática según la reivindicación 1 en el que la región de interés (r) es aquella en la que los tipos de objetos a detectar son de menor tamaño y es difícil su detección por el sistema de detección (6).Procedimiento de mejora de imagen para sistemas de videoanálisis o videovigilancia automática según la reivindicación anterior en el que la región de interés (r) comprende por lo menos todos aquellos píxeles para los que el tamaño esperado de los objetos a detectar se encuentra en el rango{Tmin,Tmin + e(Tmax - 7’m¿„));siendo TmineI tamaño mínimo de objeto a detectar capaz de detectar el sistema de detección (6);Tmax el tamaño máximo posibleen la imagen de un objeto a detectar; s un número entre 0 y 1.Procedimiento de mejora de imagen para sistemas de videoanálisis o videovigilancia automática según cualquiera de las reivindicaciones 2 ó 3 en el que la región de interés se define con un rectángulo7" = [x, y, W, h\ [dlw, y¡ior> Y¡w> Pyhor\ donde x e y se corresponden con las coordenadas de la esquina superior de r, w y/icon los valores de anchura y altura de la región en píxeles, a,y,(S e (0,1) y ( a + y) < 1 ; Iw es la anchura total de la imagen de entrada; y yhor es la coordenada vertical que delimita el límite de detección (a partir de la cual el tamaño esperado del objeto a detectar es menor que el mínimo tamaño que el sistema de detección (6) puede detectar.Procedimiento de mejora de imagen para sistemas de videoanálisis o videovigilancia automática según cualquiera de las reivindicaciones 1 a 4 en el que la etapa de ecualización comprende por lo menos un paso que estima el rango del histograma de la región de interés mediante el cálculo de la entropía en dicha región de interés de la siguiente manera:y otro paso que fija por lo menos dos valores umbrales (Hhl y Hlh) para los que se activa o se desactiva respectivamente la etapa de ecualización.
imagen1 r51015202530Procedimiento de mejora de imagen para sistemas de videoanálisis o videovigilancia automática según la reivindicación anterior en el que en el paso en que se calcula la entropía se realiza mediante la siguiente media móvilH~r(t) = íTr(t - 1) • (1 - p) + Hr(t) • p siendop un valor muy pequeño entre 0 y 1.Procedimiento de mejora de imagen para sistemas de videoanálisis o videovigilancia automática según cualquiera de las reivindicaciones 1 a 6 que comprende además una etapa de suavizado de la ecualización en la que se obtiene una nueva imagen a partir de la suma ponderada de la imagen ecualizada y la imagen sin ecualizar de la siguiente manera:IF(x,y) = g(x,y) • 0(x,y) + (l - g(x,y)) • I(x,y)Donde g(x,y) es cualquier función cuyo valor es máximo e igual a 1 en el centro de la región de interés (r);I(x,y)es la imagen digital sin ecualizar.Procedimiento de mejora de imagen para sistemas de videoanálisis o videovigilancia automática según la reivindicación 7 que comprende además una etapa de suavizado de la ecualización en la que se obtiene una nueva imagen a partir de la suma ponderada de la imagen ecualizada y la imagen sin ecualizar de la siguiente manera:IF(x,y) = g(x,y) • 0(x,y) + (l - g(x,y)) • I(x,y)Dondeg(x,y) = e2 '■(.. .. A ( i Pyhorg \Mx ,My) ytt'w + 2 ,yhor ^O (o'x, ®y) (ttl\v, fiyhor\I(x,y) es la imagen digital sin ecualizarProcedimiento de mejora de imagen para sistemas de videoanálisis o videovigilancia automática que comprenden por lo menos un dispositivo de adquisición de imágenes5101520253035(2) a través del cual se captura una imagen en el espectro IR o térmico de una zona del espacio, la cual se digitaliza por dicho dispositivo de adquisición de imágenes (2) o por un sistema de digitalización de imágenes (3), un sistema de calibración de escena (5) y un sistema de detección (6) a través del cual se detecta por lo menos un tipo de objetocaracterizado porquedicho procedimiento comprende por lo menos una etapa de procesamiento en la que se mejora el contraste de la imagen digital captada por el dispositivo de adquisición de imágenes (2) a través de la información de profundidad o de escena de la imagen, obtenida, de forma directa o indirecta, por el sistema de calibración de escena (5) o bien introducida manualmente por el usuario y que comprende por lo menos una etapa de filtrado espacial definida a partir de la información de profundidad o de escena de la imagen obtenida por el sistema de calibración de escena (5);dicha etapa de filtrado espacial comprende por lo menos los siguientes pasos:o Para cada punto de la imagen se obtiene el tamaño en píxeles del objeto a detectar (w, h) mediante el sistema de calibración de escena (5), siendo w y h respectivamente la anchura y la altura en píxeles del objeto a detectar en ese punto.o Para cada punto de la imagen se construye un filtro espacial de tamaño entre 3x3 píxeles y max (w,h) x max (w,h), o Se convoluciona cada punto de la imagen con el filtro espacial del tamaño correspondiente a ese punto.Procedimiento de mejora de imagen para sistemas de videoanálisis o videovigilancia automática según cualquiera de las reivindicaciones anteriores en el que la información de profundidad o de escena se obtiene a partir de un sistema de calibración de escena (5) que aplica un procedimiento de calibración que comprende por lo menos las siguientes fases:o Fase de adquisición de muestras que se divide en las siguientes sub fases: o sub fase de adquisición de imagen;o sub fase de procesamiento de imagen a través de la cual se determina si en dicha imagen existe algún objeto móvil; y5101520253035o sub fase de pre-clasificación de personas que determina si el objeto móvil identificado es una persona o no, almacenándose como muestra en caso de ser persona los fatos de tamaño y posición del objeto móvil identificado; yo Fase de calibración que obtiene el tamaño de una persona para cada posición de la imagen a partir de los datos de tamaño y posición obtenidos para cada objeto identificado como persona en la fase de adquisición de muestras.Procedimiento de mejora de imagen para sistemas de videoanálisis o videovigilancia automática según la reivindicación anterior cuando depende de las reivindicaciones 1 a 8 en el que la región de interés (r) se define como la zona de tránsito durante el procedimiento de calibración de escena definido en la reivindicación anterior.Procedimiento de mejora de imagen para sistemas de videoanálisis o videovigilancia automática según la reivindicación 10 en el que la región de interés (r) se obtiene según el procedimiento:o Dividir la imagen en N celdas de tamaño ajustable;o Marcar las celdas en las el sistema de calibración de escena (5) haya obtenido por lo menos una muestra en la fase de adquisición de muestras descrito en la reivindicación 10;o Definir la región de interés como la zona convexa que envuelve las celdas marcadas.Sistema de mejora de imagen para sistemas de videoanálisis o videovigilancia automática para ejecutar cualquiera de los procedimiento de mejora de imagen según las reivindicaciones anteriores en el que dicho sistema de mejora de imagen comprende por lo menos un dispositivo de adquisición de imágenes (2) a través del cual se captura una imagen en el espectro IR o térmico de una zona del espacio, la cual se digitaliza por dicho dispositivo de adquisición de imágenes (2) o por un sistema de digitalización de imágenes (3), un sistema de calibración de escena (5) y un sistema de detección (6) a través del cual se detecta por lo menos un tipo de objeto y quecomprende por lo menosun sistema de segmentación estática (7) que clasifica los píxeles en por lo menos dos tipos, objetos móviles y objetos pertenecientes al fondo de la imagen;un sistema de generación de candidatos (8) que agrupa los píxeles móviles conexos en objetos;un sistema de clasificación (9) que clasifica los objetos según si es un tipo de objeto 5 a detectar o no lo es; yun sistema de seguimiento (10) que mantiene la coherencia temporal de los objetos para finalmente en función de las reglas de detección introducidas por el usuario generar las respectivas alarmas de intrusión.10 - 14. Sistema de mejora de imagen para sistemas de videoanálisis o videovigilancia automática según la reivindicación anterior en el que el dispositivo de adquisición de imagen (2) es analógico y la digitalización de la imagen captada por el mencionado dispositivo de adquisición de imagen (2) es previa a la etapa de procesamiento.15
- 15. Sistema de videoanálisis o videovigilancia automática caracterizado porque tiene elementos funcionales aptos para realizar cualquiera de los procedimientos de mejora de imagen de las reivindicaciones 1 a 12.
Priority Applications (6)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| ES201530836A ES2563098B1 (es) | 2015-06-15 | 2015-06-15 | Procedimiento de mejora de imagen IR basado en información de escena para videoanálisis |
| US15/580,257 US10452922B2 (en) | 2015-06-15 | 2016-06-13 | IR or thermal image enhancement method based on background information for video analysis |
| CA2989188A CA2989188A1 (en) | 2015-06-15 | 2016-06-13 | Method for ir or thermal image enchancement based on scene information for video analysis |
| PCT/ES2016/070443 WO2016203078A2 (es) | 2015-06-15 | 2016-06-13 | Procedimiento de mejora de imagen térmica o ir basado en información de escena para videoanálisis |
| GB1721740.7A GB2557035B (en) | 2015-06-15 | 2016-06-13 | Method for IR or thermal image enhancement based on scene information for video analysis |
| IL256202A IL256202B (en) | 2015-06-15 | 2017-12-08 | An information-based ir or thermal image enhancement method for video analysis |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| ES201530836A ES2563098B1 (es) | 2015-06-15 | 2015-06-15 | Procedimiento de mejora de imagen IR basado en información de escena para videoanálisis |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| ES2563098A1 ES2563098A1 (es) | 2016-03-10 |
| ES2563098B1 true ES2563098B1 (es) | 2016-11-29 |
Family
ID=55440517
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| ES201530836A Active ES2563098B1 (es) | 2015-06-15 | 2015-06-15 | Procedimiento de mejora de imagen IR basado en información de escena para videoanálisis |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US10452922B2 (es) |
| CA (1) | CA2989188A1 (es) |
| ES (1) | ES2563098B1 (es) |
| GB (1) | GB2557035B (es) |
| IL (1) | IL256202B (es) |
| WO (1) | WO2016203078A2 (es) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102615070B1 (ko) * | 2016-10-12 | 2023-12-19 | 삼성전자주식회사 | 디스플레이 장치, 및 그 제어방법 |
| CN109658515B (zh) * | 2017-10-11 | 2022-11-04 | 阿里巴巴集团控股有限公司 | 点云网格化方法、装置、设备及计算机存储介质 |
| CN109346100A (zh) * | 2018-10-25 | 2019-02-15 | 烟台市奥境数字科技有限公司 | 一种数字媒体交互式教学系统的网络传输方法 |
| US10896492B2 (en) * | 2018-11-09 | 2021-01-19 | Qwake Technologies, Llc | Cognitive load reducing platform having image edge enhancement |
| EP3888344B1 (en) * | 2018-11-27 | 2024-05-29 | Google LLC | Methods and systems for colorizing infrared images |
| CN109409345B (zh) * | 2018-12-24 | 2020-10-02 | 台州和沃文化传播有限公司 | 智能化弹奏演出装置 |
| CN112102207A (zh) * | 2020-10-29 | 2020-12-18 | 北京澎思科技有限公司 | 一种确定温度的方法、装置、电子设备及可读存储介质 |
| TWI806006B (zh) * | 2021-02-20 | 2023-06-21 | 緯創資通股份有限公司 | 熱影像定位方法及其系統 |
| CN113449664B (zh) * | 2021-07-06 | 2023-09-12 | 河南慧联世安信息技术有限公司 | 一种火灾现场火情监测系统和监测方法 |
| CN114216931B (zh) * | 2021-11-05 | 2024-07-02 | 中国矿业大学 | 一种基于红外图像的带式输送机煤炭自燃检测方法 |
| CN115035350B (zh) * | 2022-06-29 | 2024-05-07 | 电子科技大学 | 一种基于边缘检测增强的对空地、地面背景小目标检测方法 |
Family Cites Families (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5046118A (en) * | 1990-02-06 | 1991-09-03 | Eastman Kodak Company | Tone-scale generation method and apparatus for digital x-ray images |
| AU4594796A (en) * | 1994-11-25 | 1996-06-19 | Yuriy Alexandrov | System and method for diagnosis of living tissue diseases |
| US7308126B2 (en) * | 1997-08-28 | 2007-12-11 | Icad, Inc. | Use of computer-aided detection system outputs in clinical practice |
| US6696945B1 (en) | 2001-10-09 | 2004-02-24 | Diamondback Vision, Inc. | Video tripwire |
| US7706576B1 (en) | 2004-12-28 | 2010-04-27 | Avaya Inc. | Dynamic video equalization of images using face-tracking |
| US7596241B2 (en) | 2005-06-30 | 2009-09-29 | General Electric Company | System and method for automatic person counting and detection of specific events |
| US8139828B2 (en) * | 2005-10-21 | 2012-03-20 | Carestream Health, Inc. | Method for enhanced visualization of medical images |
| US7826666B2 (en) * | 2008-02-27 | 2010-11-02 | Honeywell International Inc. | Methods and apparatus for runway segmentation using sensor analysis |
| US8059911B2 (en) * | 2008-09-30 | 2011-11-15 | Himax Technologies Limited | Depth-based image enhancement |
| US8339475B2 (en) * | 2008-12-19 | 2012-12-25 | Qualcomm Incorporated | High dynamic range image combining |
| US8274565B2 (en) * | 2008-12-31 | 2012-09-25 | Iscon Video Imaging, Inc. | Systems and methods for concealed object detection |
| ITTO20090161A1 (it) | 2009-03-03 | 2010-09-04 | Galileo Avionica Spa | Equalizzazione ed elaborazione di immagini ir |
| US8054290B2 (en) | 2009-05-27 | 2011-11-08 | Microsoft Corporation | Image contrast enhancement in depth sensor |
| SE536510C2 (sv) | 2012-02-21 | 2014-01-14 | Flir Systems Ab | Bildbehandlingsmetod för detaljförstärkning och brusreduktion |
| ES2452790B1 (es) * | 2013-03-28 | 2015-01-20 | Davantis Technologies Sl | Procedimiento y sistema de análisis de imágenes |
| CN103400351B (zh) | 2013-07-30 | 2015-12-23 | 武汉大学 | 基于kinect深度图的低光照图像增强方法及系统 |
| US9460499B2 (en) * | 2014-05-30 | 2016-10-04 | Shenzhen Mindray Bio-Medical Electronics Co., Ltd. | Systems and methods for selective enhancement of a region of interest in an image |
-
2015
- 2015-06-15 ES ES201530836A patent/ES2563098B1/es active Active
-
2016
- 2016-06-13 GB GB1721740.7A patent/GB2557035B/en active Active
- 2016-06-13 WO PCT/ES2016/070443 patent/WO2016203078A2/es active Application Filing
- 2016-06-13 CA CA2989188A patent/CA2989188A1/en not_active Abandoned
- 2016-06-13 US US15/580,257 patent/US10452922B2/en active Active
-
2017
- 2017-12-08 IL IL256202A patent/IL256202B/en active IP Right Grant
Also Published As
| Publication number | Publication date |
|---|---|
| IL256202B (en) | 2021-05-31 |
| GB2557035B (en) | 2021-05-26 |
| US20180225522A1 (en) | 2018-08-09 |
| WO2016203078A4 (es) | 2017-09-14 |
| CA2989188A1 (en) | 2016-12-22 |
| GB201721740D0 (en) | 2018-02-07 |
| GB2557035A (en) | 2018-06-13 |
| IL256202A (en) | 2018-02-28 |
| ES2563098A1 (es) | 2016-03-10 |
| US10452922B2 (en) | 2019-10-22 |
| WO2016203078A2 (es) | 2016-12-22 |
| WO2016203078A3 (es) | 2017-07-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| ES2563098B1 (es) | Procedimiento de mejora de imagen IR basado en información de escena para videoanálisis | |
| US11354827B2 (en) | Methods and systems for fusion display of thermal infrared and visible image | |
| US10580161B2 (en) | Imaging system, object detection device and method of operating same | |
| CN109076198B (zh) | 基于视频的对象跟踪遮挡检测系统、方法和设备 | |
| US7912252B2 (en) | Time-of-flight sensor-assisted iris capture system and method | |
| US10032283B2 (en) | Modification of at least one parameter used by a video processing algorithm for monitoring of a scene | |
| US10839521B2 (en) | Image processing apparatus, image processing method, and computer-readable storage medium | |
| JP2016514936A5 (es) | ||
| JP6497579B2 (ja) | 画像合成システム、画像合成方法、画像合成プログラム | |
| CN108351964B (zh) | 图像识别装置及图像识别方法 | |
| JP2013089252A (ja) | 映像処理方法及び装置 | |
| CN109242900B (zh) | 焦平面定位方法、处理装置、焦平面定位系统及存储介质 | |
| JP2014067193A (ja) | 画像処理装置および画像処理方法 | |
| KR101341243B1 (ko) | 기상 현상으로 인해 훼손된 영상을 복원하는 장치 및 방법 | |
| JP2014048131A (ja) | 画像処理装置、方法及びプログラム | |
| WO2020132920A1 (en) | Systems and methods for object recognition | |
| JP7039208B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
| JP6275022B2 (ja) | 画像監視装置 | |
| Sheng et al. | Dark channel prior-based altitude extraction method for a single mountain remote sensing image | |
| Maragatham et al. | Noise detection in images using moments | |
| ES2452790B1 (es) | Procedimiento y sistema de análisis de imágenes | |
| Lei et al. | Forest smoke detection in video images based on constant speed rotating platform | |
| US12096163B2 (en) | Device and a method of encoding images including a privacy filter | |
| de Villiers et al. | A study of the sensitivity of long-range passive ranging techniques to atmospheric scintillation | |
| Hoo et al. | Skin-based privacy filter for surveillance systems |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FG2A | Definitive protection |
Ref document number: 2563098 Country of ref document: ES Kind code of ref document: B1 Effective date: 20161129 |