Desarrollo de un Sistema de Gestión Syslog en Cloud

Abstract

Este trabajo fin de grado se centra en el desarrollo de un sistema de gestión de logs para la plataforma de visibilidad de red en tiempo real y ciberseguridad de la empresa redBorder®. Dicho sistema pasará a llamarse redBorder Vault. Comienza con una investigación sobre logs y el protocolo Syslog, para posteriormente definir la estructura del sistema y los servicios usados para el desarrollo del mismo. Entre estos servicios se usan algunos como Rsyslog, Kafka o Chef, que también son tema central de algunos apartados, ya que sobre ellos se sustenta el desarrollo de este proyecto. Posteriormente se definen los aspectos más técnicos de la implementación realizada y de la integración del sistema en la plataforma redBorder. Para la implementación del sistema, se desarrolla inicialmente una configuración para que los diferentes servicios trabajen conjuntamente en un entorno Centos sin modificaciones. Esta configuración debe permitir recibir logs de diferentes fuentes y usando diferentes protocolos de transporte, parsear toda la información posible del log y enviar a un topic de Kafka en un formato común (JSON) que facilite el procesado de la información. Para la integración en redBorder, usaremos Chef que es un framework de automatización de infraestructuras de sistemas capaz de facilitar la tarea de instalación y configuración de herramientas. Gracias a Chef, todos los nodos que den soporte a nuestro sistema se configurará automáticamente y mantendrán siempre la última versión de esta configuración.

This end-of-degree project focuses on developing a log management system for the real-time network visibility and cybersecurity platform of redBorder® team. This system will be called redBorder Vault. It begins with an investigation into logs and Syslog protocol, and defines the structure of the system and services used for development. Some of these services are Rsyslog, Kafka or Chef, that are also main theme of some sections in this document. Afterward technical aspects of the implementation and system integration in redBorder platform are defined. To implement the system, we have initially developed a configuration so that different services work together in a Centos environment without modification. This configuration should allow receiving logs from different sources and using different transport protocols, parsing all possible log information and sending it to a Kafka topic in a common format (JSON) to make easier to process information. For integration into redBorder, we'll use Chef. Chef is a system infrastructure automation framework that makes easier to install and configure tools. Thanks to Chef, all nodes that support our system are automatically set up with the last configuration version.