Detección de malware usando herramientas de big data

Abstract

En el presente documento se describe el desarrollo del proyecto rb-Malware (perteneciente a la empresa ENEO Tecnología). Este proyecto busca la detección de ficheros maliciosos que entran en una red local. Concretamente, se va a detallar el desarrollo de la parte relacionada con el análisis de malware. Varios sensores de red se encargan de capturar los ficheros y almacenarlos en rb-S3. Posteriormente, la aplicación rb-sequence-oozie toma estos ficheros y los manda a un sistema de detección de malware. Este sistema de detección realiza un procesamiento por lotes y exporta los resultados a Apache Kafka. Finalmente, estos datos son leídos y mostrados por la interfaz web de rb-Malware. Este proyecto está basado en el proyecto BinaryPig, diseñado por la empresa Endgame en 2013. El sistema de detección de BinaryPig se desarrolló sobre un cluster de Hadoop para realizar un análisis escalable. Las tareas desarrolladas durante el procesamiento por lotes, ejecutan algunas herramientas usadas para la detección de malware. Estas herramientas de detección son YARA, VirusTotal, Kaspersky, Metascan y ClamAV. Finalmente, se han realizado pruebas para la valoración de la release 0.4 del proyecto rb-Malware

This document detail the rb-Malware Project development (from ENEO Tecnología). It will specify the malware analysis part. The main objective of this project is to detect malware that comes into a local network. Some network sensors store sniffed files into rb-S3. Then, rb-sequence-oozie application take this files and send it to the Malware Detection System. This Malware Detection System do a batch processing and transfer the results to Apache Kafka. Finally, this data is showed by rb-Malware Web Interface. This project try to be a continuation of the project BinaryPig, which was designed by Endgame in 2013. BinaryPig use a Hadoop cluster to develop the Malware Detection System, in order to avoid scalability problems. The jobs of batch processing used the malware tools YARA, VirusTotal, Kaspersky, Metascan and ClamAV. Finally, I have made some test to value the release 0.4 of rb-Malware