Guidelines for reporting evaluations based on observational methodology

Abstract

Background: Observational methodology is one of the most suitable research designs for evaluating fi delity of implementation, especially in complex interventions. However, the conduct and reporting of observational studies is hampered by the absence of specifi c guidelines, such as those that exist for other evaluation designs. This lack of specifi c guidance poses a threat to the quality and transparency of these studies and also constitutes a considerable publication hurdle. The aim of this study thus was to draw up a set of proposed guidelines for reporting evaluations based on observational methodology. Method: The guidelines were developed by triangulating three sources of information: observational studies performed in different fi elds by experts in observational methodology, reporting guidelines for general studies and studies with similar designs to observational studies, and proposals from experts in observational methodology at scientific meetings. Results: We produced a list of guidelines grouped into three domains: intervention and expected outcomes, methods, and results. Conclusions: The result is a useful, carefully crafted set of simple guidelines for conducting and reporting observational studies in the fi eld of program evaluation.

Directrices para publicar evaluaciones basadas en metodología observacional. Antecedentes: la metodología observacional es una de las más apropiadas para la evaluación de la fidelidad de la implementación, especialmente en el caso de intervenciones complejas. Sin embargo, a diferencia de lo que ocurre con otros diseños evaluativos, en este caso no existe una guía que delimite los componentes necesarios a incluir en el reporte de estudios observacionales, con lo que su divulgación, transparencia y calidad podrían quedar mermadas. El objetivo de este trabajo es proponer un protocolo específico para el reporte de estudios evaluativos basados en la metodología observacional. Método: la idoneidad del protocolo propuesto se basa en información procedente de estudios observacionales en distintos ámbitos realizados por expertos consolidados en metodología observacional; guías generales para cualquier tipo de diseño y específicas para diseños similares a los observacionales; y propuestas de expertos recibidas en reuniones científicas. Resultados: se obtuvieron elementos a considerar para realizar un informe de metodología observacional, encuadrados en tres dominios: intervención y resultados esperados, método y resultados. Conclusiones: se presenta un protocolo útil y parsimonioso para el desarrollo y elaboración de reportes de evaluación de programas con metodología observacional.