Towards a multimodal perspective to assess pragmatics: A study based on complaints-responses to complaints

Abstract

The purpose of this study is to provide insights into pragmatic assessment in terms of appropriateness from a multimodal perspective at a conversational level. The study involved the design of a rubric for assessing pragmatic appropriateness from a holistic perspective, that is, it addresses linguistic and non-linguistic resources. The study was conducted in a Spanish higher education context and involved 64 participants, who were divided into two different proficiency levels (B1 and B2). Data were gathered by means of a role-play task that elicits complaints and responses to complaints, and a multimodal corpus consisting of 32 videos was compiled. Two raters examined participants’ performance according to the rubric devised for the purposes of the study. Results reveal that general proficiency level appears to influence pragmatic appropriateness in terms of the expressions used and the management of turns during the conversation. This study suggests that analysing pragmatic appropriateness from a holistic perspective deserves further investigation and its findings set the ground for future research in this area.

El objetivo de este estudio es proporcionar información sobre la evaluación de la adecuación de pragmática desde una perspectiva multimodal al nivel de la conversación. Para este estudio se diseñó una rúbrica para evaluar la adecuación de la pragmática desde una perspectiva holística, es decir, centrándose en recursos lingüísticos y no lingüísticos. El estudio se llevó a cabo en un contexto español de educación superior y contó con 64 participantes, que fueron divididos en dos niveles de competencia (B1 y B2). La muestra se recogió con una actividad de role-play diseñada para recabar quejas y respuestas a quejas y se compiló un corpus multimodal de 32 vídeos. Dos evaluadores examinaron la producción de los participantes con la rúbrica que se diseñó para este estudio. Los resultados parecen indicar que el nivel de competencia general ha afectado a la adecuación de la pragmática en cuanto a las expresiones que se han usado y a la gestión de los turnos durante la conversación. Los resultados de este estudio desvelan el potencial de analizar la adecuación de la pragmática desde una perspectiva holística, así como la necesidad de llevar a cabo futuras investigaciones en esta área.