Un Framework para Big Data Optimization Basado en jMetal y Spark

Abstract

Las metaheur sticas multi-objetivo se han convertido en t ecnicas muy utilizadas para la resoluci on problemas complejos de optimizaci on compuestos de varias funciones objetivo en con icto entre s . Nos encontramos en la actualidad inmersos en la era del Big Data, por lo que los problemas multi-objetivo que surjan en este contexto cumplir an algunas de las cinco V's que caracterizan a las aplicaciones Big Data (volumen, velocidad, variedad, veracidad, valor). Como consecuencia, las metaheur sticas deber an ser capaces de resolver problemas din amicos, que pueden cambiar en el tiempo debido al procesamiento y an alisis de diferentes fuentes de datos, que t picamente ser an en streaming. En este trabajo presentamos el software jMetalSP, que combina el framework jMetal con Apache Spark. De esta forma, las metaheur sticas disponibles en jMetal se pueden adaptar f acilmente para resolver problemas din amicos que se alimenten de distintas fuentes de datos en streaming, y que son gestionadas por Spark. Se describe la arquitectura de jMetalSP y se valida mediante un caso de uso realista basado en TSP bi-objetivo con datos abiertos reales de tr a co de la ciudad de Nueva York.