Comparing native speaker ratings and quantitative measures of oral proficiency in IELTS interviews

Abstract

Research on second language acquisition has used various quantitative and qualitative measures to assess oral proficiency, yet there is little empirical research comparing these measures. Comparisons between quantitative measures and native speaker ratings are especially rare. Four of the most common quantitative measurements applied in L2 research include the type-token ratio as a measure of lexical diversity; the T-unit as a measure of syntactic complexity; the error-free t-unit as a measure of grammatical accuracy; and average speech rate as a measure of fluency. The present study compares these four quantitative measures of oral proficiency and one qualitative measure of oral proficiency, i.e., native speaker ratings, based on the speech of three non-native English speakers during the International English Language Testing System (IELTS) oral interview. The results indicate that measures of syntactic complexity and speed fluency correlate with native speaker ratings; however, the measure of lexical diversity does not correlate with the native speaker ratings. Interestingly, the measure of grammatical accuracy displays an inverse relationship to the native speaker ratings. These results are discussed in light of an accuracy-fluency continuum. This finding demonstrates the importance of careful consideration in determining which measure of oral proficiency is appropriate for a given research context.

Las investigaciones sobre la adquisición de segundas lenguas (L2) han utilizado varios indicadores cuantitativos y cualitativos para medir la competencia oral. Sin embargo, hay poca investigación empírica que compare dichas medidas. De hecho, las comparaciones con los referentes de hablantes nativos son especialmente raras. Cuatro de los indicadores cuantitativos que se aplican con mayor frecuencia en las investigaciones de L2 incluyen la proporción type-token como medida de la diversidad léxica; el T-unit como medida de la complejidad sintáctica; el error-free t-unit como medida de la precisión gramatical; y la velocidad media de habla como medida de la fluidez. El presente estudio muestra una comparación de cuatro indicadores de competencia oral basadas en el habla de tres hablantes no nativos de inglés durante la entrevista oral del International English Language Testing System (IELTS). Los resultados indican que los indicadores de complejidad y fluidez sintácticas se correlacionan con los valores de hablantes nativos; sin embargo, las medidas de precisión gramatical y diversidad léxica no se correlacionan con los valores de hablantes nativos. De hecho, la medida de precisión gramatical muestra una relación inversa con respecto a los valores de hablantes nativos. Dichos resultados se analizan bajo la perspectiva del continuo precisión-fluidez. Este resultado demuestra la importancia de determinar cuidadosamente qué medida de competencia oral es apropriada para un contexto de investigación.