On Data Engineering and Knowledge Graphs: A Reinforcement Learning system for Knowledge Graph Reasoning

Abstract

Knowledge Graphs have been at the forefront of domain information storage since their inception. These graphs can be used as the basis for a number of smart applications, such as question answering or product recommendations. However, they are generally built in an automated unsupervised way, which frequently leads to missing information, usually in the form of missing links between related entities in the original data source, and which have to be added a posteriori by completion techniques. Knowledge Graph Completion seeks to find missing elements in a Knowledge Graph, usually edges representing some relation between two concepts. One possible way to do this is to find paths between two nodes that indicate the presence of a missing edge. This can be achieved through Reinforcement Learning, by training an agent that learns how to navigate through the graph, starting at a node with a missing edge and identifying what edge among the available ones at each step is more promising in order to reach the target of the missing edge. While some approaches have been proposed to this effect, their reward functions only take into account whether the target node was reached or not, and only apply a single Reinforcement Learning algorithm. In this regard, we present a new family of reward functions based on node embeddings and structural distance, leveraging additional information related to semantic similarity and removing the need to reach the target node to obtain a measure of the benefits of an action. We introduce SpaceRL an end-to-end Python framework designed for the generation of reinforcement learning (RL) agents, which can be used in knowledge graph completion and link discovery. The purpose of the generated agents is to help identify missing links in a knowledge graph by finding paths that implicitly connect two nodes, incidentally providing a reasoned explanation for the inferred new link. The generation of such agents is a complex task, even more so for a non-expert user, and to the best of our knowledge there do not exist tools to provide that kind of support. SpaceRL is meant to overcome these limitations by providing a flexible set of tools designed with a wide variety of customization options, in order to be flexible enough to adapt to different user needs. It also includes a variety of state-of-the-art RL algorithms and several embedding models that can be combined to optimize the agent’s performance. Furthermore, SpaceRL offers different interfaces to make it available either locally (programmatically or via a GUI), or through an OpenAPI-compliant REST API.

Los grafos de conocimiento han estado a la vanguardia del almacenamiento de información de dominio desde su creación. Estos grafos pueden servir de base para una serie de aplicaciones inteligentes, como la respuesta a preguntas o las recomendaciones de productos. Sin embargo, por lo general se construyen de forma automatizada y no supervisada, lo que a menudo da lugar a que falte información, normalmente en forma de enlaces que faltan entre entidades relacionadas en la fuente de datos original . La s técnicas de compleción de grafos de conocimiento trata n de encontrar los elementos que faltan en un grafo de conocimiento . Una posible forma de hacerlo es encontrar caminos entre dos nodos que indiquen la presencia de una arista que falta. Esto puede lograrse mediante el Aprendizaje por Refuerzo, entrenando a un agente que aprenda a navegar por el grafo, comenzando en un nodo con una arista ausente e identificando qué arista de entre las disponibles en cada paso es más prometedora para alcanzar el objetivo de la arista ausente. En es ta tesis , presentamos una nueva propue sta para completar grafos usando aprendizaje por re fuerzo, y proponemos una nueva familia de funciones de recompensa basadas en la incrustación de nodos y la distancia estructural, aprovechando información adicional relacionada con la similitud semántica y eliminando la necesidad de alcanzar el nodo objetivo para obtener una medida de los beneficios de una acción SpaceRL es un marco integral en Python diseñado para la generación de agentes de aprendizaje por refuerzo (RL), que pueden utilizarse para completar grafos de conocimiento y descubrir enlaces. L a generación de tales agentes es una tarea compleja, más aún para un usuario no experto, y hasta donde sabemos no existen herramientas que proporcionen ese tipo de ayuda. SpaceRL pretende superar estas limitaciones proporcionando un conjunto flexible de herramientas diseñadas con una amplia variedad de opciones de personalización, con el fin de ser lo suficientemente flexible como para adaptarse a las diferentes necesidades de los usuarios. También incluye una variedad de algoritmos RL de última generación y varios modelos de incrustación que pueden combinarse para optimizar el rendimiento del agente.