Normalización, almacenamiento y correlación de eventos

Abstract

En la actualidad, en el ámbito tecnológico mas concretamente, hay una clara apuesta por extraer la máxima información de los datos que se generan. En vista de lo anterior, nos decidimos a realizar una herramienta centrada en el tratamiento de registro de eventos, logs. Esta herramienta, por tanto, toma como datos de entrada logs y es capaz de generar información la cuál puede ser utilizada para, por ejemplo, generar informes de fallos, mejorar las prestaciones de una red, depurar arquitecturas complejas(Big data, desarrollo software…). En definitiva, el objetivo principal es ayudar a extraer la máxima información posible ante una serie de logs. Dicha herramienta está desarrollada con sistemas de código abierto ya existentes, pero personalizadas para alcanzar los objetivos propuestos. Sin entrar en mucho detalle, se muestran dichos sistemas y su funcionalidad principal:  Rsyslog: se encarga de la ingesta de logs y su normalización.  Apache Kafka: sistema de almacenamiento distribuido.  Siddhi CEP: genera información en base a la correlación de los datos, logs en nuestro caso. La herramienta intenta dar solución a una serie problemas como:  Abstracción del usuario de la complejidad del tratamiento de un log. Ya sea desarrollador, administrador de sistemas, auditor, usuario final, etc.  Obtención de un tiempo de respuesta menor que por los métodos habituales: visualización de ficheros con ingentes cantidades de datos, uso de la depuración en ejecución, etc.  Diagnosticar problemas y anomalías que afecten al buen funcionamiento de la máquina, red, sensor, etc.  Detectar patrones de fallos e intrusiones.

In this project, I show a tool that has as input data, logs. When input data has been processed , the tool generates information that can be used to produce informs, debugging complex architectures(Big data, software development), to generate alarms, etc. I show as I developed the tool, from design to deployment. Inside of tool, some open source systems are integrated like Rsyslog, Apache Kafka and Siddhi CEP. In conclusion, this tool helps you to manage big amount of events and producing useful information.