Deep embeddings and Graph Neural Networks: can context improve domain-independent predictions?

Abstract

Graph neural networks (GNNs) are deep learning architectures that apply graph convolutions through message-passing processes between nodes, represented as embeddings. GNNs have recently become popular because of how they obtain a contextual representation of each node that takes into account the information from surrounding nodes. Existing work has focused on the development of GNN architectures, using basic domain-specific information about the nodes to compute embeddings. In the context of knowledge graphs, much effort has been put towards developing deep learning techniques to obtain node embeddings that preserve information about relationships and structure without relying on domain-specific data. The potential of the application of graph neural networks with deep embeddings of knowledge graphs remains largely unexplored. In this project, we carry out a number of experiments to answer open research questions about how said embeddings perform when using a graph neural network. We test 7 different deep embeddings across several attribute prediction tasks in two attribute-rich datasets. We conclude that there is a significant performance improvement but it varies heavily depending on the task and deep embedding technique. Given the interest of the results obtained, we have submitted an article to the conference CIKM’22, and we have defined some tasks and future work in order to continue this study in the form of a PhD.

Las redes neuronales de grafos (GNN) son arquitecturas de aprendizaje profundo que aplican convoluciones de grafos mediante procesos de “message passing” entre nodos, representados como embeddings. Las GNNs se han hecho populares recientemente por la forma en que obtienen una representación contextual de cada nodo que tiene en cuenta la información de los nodos circundantes. Los trabajos existentes en la literatura se han centrado en el desarrollo de arquitecturas GNN, utilizando información básica especifica del dominio sobre los nodos para calcular los embedding. En el contexto de los grafos de conocimiento, se han realizado muchos esfuerzos para desarrollar técnicas de aprendizaje profundo que permitan obtener embeddings de nodos que preserven la información sobre las relaciones y la estructura sin depender de los datos específicos del dominio. El potencial de la aplicación de las redes neuronales de grafos con embeddings profundos de grafos de conocimiento sigue inexplorado en su mayoría. En este proyecto, llevamos a cabo una serie de experimentos para responder a preguntas de investigación abiertas sobre el rendimiento de dichos embeddings cuando se utiliza una red neuronal de grafos. Probamos 7 técnicas de embeddings profundos diferentes en varias tareas de predicción de atributos en dos conjuntos de datos ricos en atributos. Llegamos a la conclusión de que hay una mejora significativa en el rendimiento, pero varía mucho dependiendo de la tarea y de la técnica de embedding empleada. Dado el interés de los resultados obtenidos, enviamos un articulo a la conferencia CIKM’22, y hemos definido algunas tareas y trabajos futuros para continuar este estudio en forma de doctorado.