A. Izquierdo. Síntesis Tecnológica. V.2 N° 1 (2005) 21-26
DOI:10.4206/sint.tecnol.2005.v2n1-03

UN SISTEMA AVANZADO DE VIGILANCIA BASADO EN INFORMACION MULTISENSORIAL

ALBERTO IZQUIERDO FUENTE
JUAN J. VILLACORTA CALVO
LARA DEL VAL PUENTE
MARIANO RABOSO MATEOS

Universidad de Valladolid Dpto. Teoría de la Señal y Comunicaciones e Ing. Telemática alberto.izquierdo@tel.uva.es.
Universidad de Valladolid Dpto. Teoría de la Señal y Comunicaciones e Ing. Telemática juavil@tel.uva.es.
Universidad de Valladolid Dpto. Teoría de la Señal y Comunicaciones e Ing. Telemática larval@tel.uva.es.
Universidad Pontificia de Salamanca Escuela Universitaria de Informática mraboso@upsa.es.

Resumen

En esta comunicación presentamos un sistema de vigilancia que utiliza la información obtenida a partir de múltiples sensores. La definición de tareas y eventos gestionados por el módulo principal, permite que el sistema puede adaptarse, bien cambiando la forma de trabajo o bien agregando módulos nuevos. El uso de un módulo de clasificación permite la supervisión humana contribuyendo a aumentar la confiabilidad.

Abstract

In this paper we present a complete surveillance system that uses information obtained from several media devices.The definition of tasks and events managed by the core module allows that the system can be adapted, changing the how the system works or adding new modules. The use of a classification module allows the human supervision contributing with greater reliability.

1. INTRODUCCIÓN

Se ha desarrollado un sistema de clasificación humano que trabaja con imágenes acústicas y de video que supone una mejora del sistema de vigilancia que fue presentado en la conferencia 1999 del IEEE Carnahan sobre la tecnología de seguridad [1]. El nuevo sistema de vigilancia esta compuesto por dos tipos de sensores: cámaras de video basadas en webcam (cableadas o conexión sin hilos) y un SODAR ( SOund Detecting and Ranging) multifunción mejorado, basado en DSP , con un array inteligente, basado en sensores acústicos. Ambos sensores pueden detectar cambios en las imágenes video-acústicas, enviando alarmas y almacenando datos en el servidor de la base de datos.

2. ARQUITECTURA DEL SISTEMA

Se describen a continuación todos los aspectos de diseño de la arquitectura. Se ha pretendido diseñar un sistema lo más completo posible, pero que pueda ser adaptado fácilmente a las exigencias de cada recinto y extendido mediante la introducción de nuevos módulos.

El sistema está compuesto por un módulo central, el módulo de control y gestión. Este módulo utiliza los conceptos de tarea y evento, estableciendo las tareas que realizan el resto de módulos, las políticas de actuación ante eventos y la gestión de los mismos. La información de las tareas, eventos, políticas, logs y resultados de la clasificación está almacenada en una base de datos.

Una tarea es la realización de una secuencia de acciones por un dispositivo, como una cámara o un radar acústico. Un evento es la respuesta a un suceso durante la realización de una tarea. Cuando un módulo genera un evento, este es recibido por el módulo de control y gestión, quien decide, según su política, la actuación a tomar:

• Lanzar una tarea en otro módulo y contrastar el resultado.
• Lanzar una tarea en otro módulo.
• Lanzar un evento a otro módulo.
• Ignorar el evento.

El sistema está compuesto además por otro conjunto de módulos básicos que realizan diferentes tareas y de los vemos una breve descripción:

• Módulo de imagen: realiza la captura de imágenes a través de un dispositivo siguiendo la realización de una tarea.
• Módulo acústico: toma imágenes acústicas siguiendo unas tareas establecidas o por un evento y detecta cambios en las mismas lanzando un evento.
• Módulo de autentificación: controla la activación y desactivación del sistema por medio del uso de tarjetas inteligentes.
• Módulo de clasificación: permite clasificar los resultados para el entrenamiento del sistema y recogida de información.

Los canales de comunicación entre los módulos son canales TCP usando la tecnología de sockets seguros. Por las necesidades de funcionamiento, los módulos acústico, imagen y autentificación deben comunicarse con el módulo de control y gestión a través de una red TCP/IP.

Si vemos su arquitectura en capas o niveles nos encontramos con:

• Base de datos centralizada, donde se almacena toda la información del sistema: tareas, eventos, logs, imágenes video-acústicas, etc.
• Canal de comunicación: canal usado por los módulos para comunicarse.
• Módulos de sistema: cada uno de los elementos que controlan el resto de dispositivos.
• Servidor web, que proporciona el servicio de los módulos.

2.1 Funcionalidades Del Sistema

Las principales funcionalidades del sistema son:

• Vigilancia de un recinto cerrado: mediante dispositivos de imagen y acústicos permite la vigilancia de un recinto con características permanentes.
• Captura de imágenes video-acústicas permitiendo la correlación entre ambos medios.
• Predetección automática de intrusos, a partir del procesado de las imágenes video-acústicas.
• Autenticación de usuarios mediante el uso de tarjetas inteligentes y sus características de imagen y sonoras.
• Clasificación de la información obtenida por el sistema
• Obtención de informes estadísticos para su posterior análisis.

Características del sistema

• Sistema modular y extensible
• Interfaz sencillo y amigable
• Robusto y fiable
• Funcional

Figura 1. Arquitectura del Sistema

3. MÓDULO DE CONTROL Y GESTIÓN

El módulo de control y gestión es el elemento central y más significativo del sistema. Es el encargado de controlar la realización de las tareas por los distintos módulos, la gestión de la información y de los eventos producidos, y la definición de las políticas ante los eventos.

Como ya hemos introducido, la tarea es la realización de una secuencia de acciones por un dispositivo. Estas tareas son almacenadas en la base de datos, donde se almacena la secuencia de acciones de la tarea y otra información de la tarea. Tenemos dos tipos de tareas:

• Programadas: son aquellas que está previsto arranquen en un momento concreto fijado por una fecha y hora.
• No programadas: aquellas que son lanzadas por la presencia de un evento en el sistema.

Los eventos es la respuesta a un suceso durante la realización de una tarea. Para simplificar el funcionamiento del sistema, también son considerados eventos las situaciones de error, inicio y finalización de la tarea. El conjunto de los posibles eventos deben estar almacenados en la base de datos, junto con la política que se debe realizar al presentarse dicho evento, de forma que cada tarea tiene un conjunto fijo de eventos que se pueden producir durante su realización.

Las políticas definen la actuación que se debe tomar ante cada evento producido. Están almacenadas en la base de datos, definiendo los umbrales que debe superar el evento para ser tomado en consideración y la decisión a tomar ante el evento entre las siguientes posibilidades:

• Lanzar una tarea en otro módulo y contrastar el resultado.
• Lanzar una tarea en otro módulo.
• Lanzar un evento a otro módulo.
• Ignorar el evento.

La forma de introducir esta información de las tareas, eventos y políticas, así como la revisión de toda la información almacenada es realizada por el propio módulo, contando con un interfaz web gráfico y sencillo.

Fig. 2. Esquema del gestor de tareas

4. DETECTOR ACÚSTICO

Se enmarca dentro de los sistemas SODAR multifunción [2,4] que utilizan arrays sensores (“smart sensor”) donde, mediante los algoritmos de conformación de haz, se posiciona en elevación y azimuth un haz electrónico [7], que puede conmutar espacialmente , lo que permite realizar el seguimiento de múltiples objetos simultáneamente [2].

Aunque esta basado en la filosofía de los sistemas RADAR, sistemas se diferencian por utilizar ondas sónicas, que se propagan por el medio aéreo, con una velocidad de 340 [m/s] y sin polarización. Como contrapartida los sistemas radar utilizan ondas electromagnéticas, con velocidad de propagación de 3*10⁸ [m/s] y que no necesitan de medio para propagarse

4.1 Gestión Del Haz (“Scheduler”)

Se definen dos tipos de funciones:

a) Vigilancia, encargada de detectar nuevos blancos en el recinto. Tras la detección, se procede a la confirmación de falsa alarma, para validar los blancos detectados y reducir la probabilidad de falsa alarma

b) Seguimiento, encargada de estimar la posición filtrada y predicha para cada blanco, mediante filtros de Kalman [3]. Se implementan los modos de backscanning y readquisición, para garantizar una probabilidad de detección cercana a la unidad.

Ambas funciones se implementan conjuntamente mediante un gestor de tareas [6], que se encarga de repartir el tiempo del radar entre las tareas activas respetando los requisitos de vigilancia y de seguimiento, en particular los tiempos de iluminación para cada tarea.

4.2 Tareas Y Eventos

Este módulo se gestiona mediante el módulo de control y gestión. Las tareas que pueden comandarse son:

a) Vigilancia periódica de un sector
b) Vigilancia única de un sector
c) Seguimiento de un blanco previamente detectado
d) Obtención Posición filtrada/predicha blanco

Los eventos relacionados.

a) detección de blancos en el sector
b) perdida de un blanco
c) posición filtrada/predicha

4.3 Arquitectura Hardware

Está constituido por 4 subsistemas: subsistema de procesado, subsistema de adquisición y procesado en tiempo real, subsistema de acondicionamiento y subsistema de sensores.

El subsistema de procesado, visualización y comunicación está formado por un ordenador personal, tipo PC, de prestaciones medias, un monitor y una tarjeta de red. Tiene cuatro funciones básicas:

• Alojamiento (slot PCI) y comunicación con el subsistema de procesamiento
• Procesado de los algoritmos de seguimiento
• Comunicación con el sistema de control y supervisión central

El subsistema de procesado en tiempo real y adquisición está formado por una tarjeta DSP, basada en el procesador TMS320C44, con 60 Mflops y 256 Kb; una tarjeta OMNIBUS con 16 codec ( A/D y D/A) de 18 bits, y 48 KHz. Tiene cinco funciones básicas:

• Generar y capturar las señales acústicas
• Filtrar digitalmente las señales
• Conformación en transmisor y recepción
• Detección
• Gestión de tareas

El subsistema de acondicionamiento: está formado por preamplificadores, amplificadores de potencia y adaptadores de nivel e impedancia.

Por último, el subsistema de sensores, está constituido por 8 micrófonos electret Fonestar MK34 y 8 tweeter

5. MÓDULO DE VIDEO

El módulo de vídeo se encarga de la captura y procesado de imágenes de la estancia vigilada. Su integración en el sistema permite corroborar la información obtenida por el módulo acústico y aportar mayor fiabilidad al sistema global.

Este módulo está compuesto por dos subsistemas: subsistema de adquisición y subsistema de procesado de vídeo. Esta división permite independizar el módulo del tipo de cámara utilizado. El subsistema de adquisición se encarga del control y comunicación con las cámaras, realizando un procesado previo de las imágenes dividiéndolas en secciones angulares. El subsistema de procesado de video toma esas imágenes sectoriales y las procesa comparándolas con capturas previas del mismo sector, detectando los cambios producidos en la imagen.

El subsistema de adquisición debe poder controlar varias cámaras simultáneamente. Estas cámaras pueden estar conectadas directamente al PC de control, o pueden controlarse remotamente si están conectadas a Internet, bien directamente o a través de otro ordenador. Para permitir esta multiplicidad es necesario un driver o controlador de bajo nivel específico para cada tipo de cámara. En la actualidad se han desarrollado módulos de bajo nivel para cámaras Webcam conectadas directamente al PC o en otro PC remoto y para la cámara IP del fabricante Veo.

Además de la forma de conexión, cada cámara tiene otras particularidades que es necesario tener en cuenta para independizar el sistema de la cámara utilizada. En concreto, cada cámara permite capturar imágenes de tamaño distinto, y lo que es más importante, el ángulo de apertura que es distinto en cada caso, por lo que el mismo tamaño de imagen puede corresponder a distintas porciones o ángulos del recinto controlado. Por otra parte algunas cámaras tienen la posibilidad de girar, aumentando la cobertura angular cubierta por la cámara, pero a costa de tomar varias imágenes con distintos ángulos de giro. Estos parámetros de las cámaras también son almacenadas en la base de datos, de forma que el subsistema de adquisición puede calcular a que lugar del recinto corresponde cada píxel de la imagen capturada y pasar a los módulos de bajo nivel los comandos adecuados para obtener las imágenes correspondientes a cada sector del recinto vigilado.

5.1 Tareas Y Eventos

Esté módulo permite la ejecución de varias tareas gestionadas por le módulo de control y gestión:

a) Vigilancia continua: el módulo toma periódicamente imágenes de la sala vigilada en busca de posibles movimientos. En este modo de funcionamiento se definen unos sectores de vigilancia y un periodo de refresco. El sistema toma imágenes de cada uno de esos sectores con la máxima resolución que permita la cámara y la procesa en busca de cambios. Cuando esto ocurre se dispara un evento de cambio de imagen.

b) Verificación de un sector: En este caso, solo se realiza la captura de imagen del sector indicado, encargándose de confirmar o no la alerta en ese sector.

c) Captura y almacenamiento de las imágenes capturadas en la base de datos del sistema, incluyendo información sobre el momento de la captura y el estado de detección.

El único evento que genera el módulo de vídeo es el ‘cambio de imagen’, que se produce cuando el módulo detecta que se ha producido un cambio significativo en uno de los sectores de vigilancia.

Fig. 3. Módulo de vídeo

6. MÓDULO DE AUTENTIFICACIÓN

El acceso a la estancia bajo vigilancia es controlado por una tarjeta inteligente, que permite acceder únicamente a las personas autorizadas.

Este control de acceso por tarjeta inteligente no es algo novedoso, sin embargo el módulo de autentificación incorporado al sistema integra completamente el control de acceso en el sistema de clasificación, añadiendo la posibilidad de activar/desactivar la vigilancia del recinto según la persona que acceda al recinto. De esta forma, se puede desactivar la vigilancia cuando entre una persona autorizada y activarse de nuevo automáticamente cuando esta persona salga del recinto. O ante la entrada de una persona poco fiable, activar la vigilancia para realizar un seguimiento de los movimientos de esa persona por la estancia.

6.1 Tareas Y Eventos

Se trata de un módulo pasivo que no puede ejecutar ninguna tarea, simplemente está a la espera de que alguien introduzca la tarjeta inteligente generando los siguientes eventos:

a) Entrada: cuando una persona autorizada entra en el recinto.
b) Salida: cuando una persona autorizada abandona el recinto.
c) Acceso denegado: cuando se produce un intento de autorizado de entrada o salida.

7. MÓDULO DE CLASIFICACIÓN

El módulo de clasificación permite analizar los resultados del funcionamiento para un aprendizaje del sistema.

Tiene dos modos de funcionamiento:
• On-line donde a un usuario se le presenta la información de un evento producido en el sistema junto con información asociada al mismo, como una imagen de video. El usuario debe tomar una decisión sobre el evento.
• Off-line donde al usuario se le presentan los eventos producidos, junto con su información asociada y las decisiones tomadas. De esta forma el usuario puede analizar y revisar el funcionamiento del sistema, tomando decisiones sobre el mismo como un cambio en las políticas.

Para su funcionamiento se utiliza un interfaz web donde se le presenta la información y el usuario debe responder a un conjunto de preguntas y respuestas sencillas. A partir de toda esta información se generan estadísticas e informes para el estudio del funcionamiento del sistema.

Consta de los siguientes elementos:
• Generador de formularios, donde se especifican las preguntas y las respuestas posibles ante la información que deberá responder el usuario.
• Terminal donde se presenta la información (eventos, imágenes,…) y las preguntas a responder ante esa información por el usuario.
• Generador de informes, que genera la información estadística de un periodo de monitorización del sistema y de la información introducida por los usuarios.

8. CASO DE ESTUDIO

A continuación se muestran los resultados experimentales, del prototipo para un sala de dimensiones 10x10, donde el módulo acústico y el módulo de imagen, se sitúan sobre el punto medio de una de la paredes a una altura de 1.8 metros sobre el suelo.

Se han colocado tres blancos, los dos primeros de test, formados por tubos de cartón, de diámetro 130 mm, con alturas de 1.5 m y 1,8 m respectivamente, y el tercero una persona caminando en sentido transversal al plano del sensor inteligente.

Los pasos que realiza el sistema y que se pueden ver también en la figura X son los siguientes:

Fig. 4. Diagrama de ejecución del caso de estudio

9. CONCLUSIONES

Se ha desarrollado sistema de monitorización de altas prestaciones, donde se fusiona la información de las cámaras de vídeo, un SODAR multifunción, y las tarjetas inteligentes.

La inteligencia del sistema es soportada por dos sistemas: i) un módulo del control y gestión, que define un sistema de tareas y eventos, que se ejecutan a través de un gestor de políticas y ii) un módulo de la clasificación, supervisado por una persona, que analiza la información multisensorial, validan las detecciones y extraen la máxima información basada en las percepciones del usuario, reduciendo la probabilidad de falsa alarma.

Figura 5. Prototipo de cámara y array inteligente

BIBLIOGRAFÍA

[1] Izquierdo A. and Villacorta J.J. Data Fusion Surveillance System IEE E AES Magazine V. 15, nº2, 2000 09-16

[2] Blackman, S.S. Multiple-Target Tracking with Radar applications Artech House, 1986

[3] Bogler, P.L. Radar Principles with Applications to tracking Systems Wiley, 1990.

[4] Billeter D.R. Multifunction Array Radar Artech House. 1989

[5] Farina D.A., Studer F.A. Radar DataProcessing, Volume I-Introduction and Tracking Research Studies Press. John Wiley &Sons. 1985

[6] Izquierdo A., Casar-Corredera J.R A Simulation Methodology for Multifunction RadarEvaluation Proceedings of the IASTED International Conference Modelling and Simulation, Pittsburgh, PA, USA, May 1993, 103-106

[7] Van Veen B.D. and Buckley K.M. Beamforming: A Versatile Approach to Spatial Filtering IEEE ASSP Magazine, April 1988.

[8] Hall, Ernest L. Computer Image Processing and Recognition Academic Press, 1979.

[9] Aggarwal J.K. and Nandhakumar On the computation of motion from sequences of images – A review Proc. IEEE, Vol. 76, Aug 1998.

[10] Jain A.K. Fundamentals of Digital Image processing Prentice-Hall, Englewood Cliffs, NJ, 1989

[11] Krueger J. & Schloss R. Facing the Smart Card Security Issue http://www.smartcrd.com/info/more/security.htm

[12] Looi M., Cohen F. and Elgey G. A Smart Card Programming Environment for Authentication Applications Information Security Research Center, Queensland University of Technology, and ASP, Pittsburgh, USA.