Deep Learning to Segment Crossing Points in X-rays of Old Canvases

Abstract

This document presents our research and results in the field of study of X-rays of paints. Specifically, we will present a novel method to characterize old canvases based on the estimation of density of threads in a square of one cm side. The presented method uses a Deep Learning model to segment crossing points between vertical and horizontal threads in X-ray plates of plain weaves. Then, the density of vertical and horizontal threads are calculated from the segmentation obtained with the Deep Learning model. Accordingly, throughout this document we will be talking about different aspects. Once we had described the motivation of this work in detail, we will talk about previous approaches to estimation of density of threads in which Deep Learning tools weren’t involved. Later, we will discuss about the Deep Learning model employed in full detail. The design of the architecture will be described, as well as all the variants and tools used to optimize said architecture. Likewise, all the results of the different training sessions carried out will be presented in order to select the best architectures based on different metrics. Once the most interesting models have been selected, they will be used to obtain the segmentation of the crossing points that will serve to measure the distance between threads. We will develop a series of algorithms that allow the segmented image to be binarized and, later, the count can be obtained. All these variants will be tested and compared to offer a global vision of the performance of each one. Finally, we will present an algorithm to apply everything previously developed to full paintings, so that we can obtain their density maps. A series of examples of the density maps obtained for different plates will be presented, as well as the possible matchs found between them. We will close the document with some conclusions and defining a series of future lines of research in this field.

En este trabajo presentamos nuestra investigación y resultados en el campo de estudio de las placas de rayos X de cuadros. En concreto, presentaremos un método novedoso para caracterizar lienzos antiguos basado en la estimación de la densidad de hilos en cuadrados de un cm de lado. El método presentado utiliza un modelo de aprendizaje profundo para segmentar puntos de cruce entre hilos verticales y horizontales en placas de rayos X de lienzos tejidos en tafetán. Luego se calcula la densidad de hilos verticales y horizontales a partir de la segmentación obtenida con el modelo de Deep Learning. Por tanto, a lo largo de este documento hablaremos de diferentes aspectos. Una vez que hayamos descrito en detalle la motivación de este trabajo, describiremos algunos enfoques previos para la estimación de la densidad de hilos en los que las herramientas de Deep Learning no han sido usadas hasta ahora. Más adelante, discutiremos sobre el modelo de Deep Learning empleado con todo detalle. Se describirá el diseño de la arquitectura del modelo, así como todas las variantes y herramientas utilizadas para optimizar dicha arquitectura. Asimismo, se presentarán todos los resultados de los diferentes entrenamientos realizados para seleccionar las mejores arquitecturas en base a diferentes métricas. Una vez seleccionado los modelos más interesantes, dichos modelos se usarán para obtener la segmentación de los puntos de cruce que servirá para medir la distancia entre hilos. Para esto último desarrollaremos una serie de algoritmos que permitan binarizar la imagen segmentada y luego realizar el conteo. Todas estas variantes serán probadas y comparadas para ofrecer una visión global del desempeño de cada una. Por último, presentaremos un algoritmo para aplicar todo lo anteriormente desarrollado a cuadros completos, de forma que podamos obtener los mapas de densidad. Se presentarán una serie de ejemplos de los mapas de densidad obtenidos para diferentes cuadros, así como los posibles matchs encontrados entre ellos. Cerraremos el trabajo con unas conclusiones y definiendo una serie de líneas futuras de investigación en este campo.