Hacia las pruebas en sistemas de alta variabilidad utilizando opiniones de los usuarios

Abstract

Los sistemas de alta variabilidad son sistemas de software que describen una gran cantidad de configuraciones. Este elevado número de configuraciones hace que el testing sea un proceso caro y propenso a errores. En el ecosistema Android, por ejemplo, podemos encontrar hasta 2ˆ24 configuraciones válidas del emulador, lo que hace imposible el testing de una aplicación sobre todas ellas. Para aliviar el problema, distintas investigaciones proponen la selección de un subconjunto de casos de pruebas que mitigue este elevado costo. Concretamente, las propuestas se centran en la priorización y selección de las pruebas de manera que sólo se prueban aquellas configuraciones relevantes segun algún criterio. En este artículo proponemos tener en cuenta las opiniones de los usuarios en la selección y priorización de las pruebas. Para ello, exploramos el uso de sistemas de recomendación como posible mejora a la selección de casos de pruebas en sistemas de alta variabilidad.

Variability intensive systems are software systems that describe a large set of diverse and different configurations that share some characteristics. This high number of configurations makes testing such systems an expensive and error-prone task. For example, in the Android ecosystem we can find up to 24 different valid configurations, thus, making it impossible to test an application on all of them. To alleviate this problem, previous research suggest the selection of a subset of test cases that maximize the changes of finding errors while maximizing the diversity of configurations. Concretely, the proposals focus on the prioritization and selection of tests, so only relevant configurations are tested according to some criterion. In this paper, we envision the use of user reports to prioritize and select meaningful tests. To do this, we explore the use of recommender systems as a possible improvement to the selection of test cases in intensive variability systems.