I. Peer-reviewed journals
Challenging the gold standard consensus: Randomised controlled trials (RCTs) and their pitfalls in evidence-based education (with Edwards)
Critical Studies in Education, 2024
https://doi.org/10.1080/17508487.2024.2314118
Abstract
This paper seeks to raise awareness among educational researchers and practitioners of some significant weaknesses and internal contradictions of randomised control trials (RCTs). Although critiques throughout the years from education scholars have pointed to the detrimental effects of this experimental approach on education practice and values, RCTs are considered the gold standard for assessing the impact of education policies and interventions. By drawing on the approach of immanent critique, we elucidate substantial argumentative gaps between the assumptions and applications – that is, between the theory and reality – of RCTs in empirical research. This kind of analytic exercise complements existing critiques from outside the experimental discourse based on moral and epistemic principles. The present paper, in contrast, contributes to the literature by highlighting internal limitations and contradictions that can be seen by probing the logic espoused by those who are proponents of RCTs. In fleshing out our argument, we seek to encourage more informed and critical engagement by educators, policymakers, and researchers, among other stakeholders, when they are confronted with proposals for education programmes and reforms supported by findings from RCTs.
Realist evaluation and its role in the stages of explanatory research based on critical realism
Journal of Critical Realism, 2023
https://doi.org/10.1080/14767430.2023.2251816
Abstract
This article advocates for the validity of Realist Evaluation (RE) as a manifestation of Critical Realism in evaluation research despite criticisms suggesting that the former disregards principles from Bhaskarian ontology. Specifically, I argue that critics overstate RE's philosophical actualism in their argument that its inclination towards technocratic knowledge impedes its scrutiny of stratified social systems. Notwithstanding its limitations in fully elucidating causal structural mechanisms in social inquiry, I argue that RE's research rationale can contribute to the stages of explanatory research based on CR by bridging the comprehension of mechanisms linked to micro-interventions with exploring potential structural forces operating across levels of reality. To illustrate this point, I present a case of a policy evaluation study I led that demonstrates how a RE-oriented research design facilitated a transition from investigating specific programme mechanisms within the interventions' context to proposing transcendental questions about the governance of the education system in Colombia.
El pensamiento de diseño y la evaluación de políticas e intervenciones sociales: hacia un diálogo "realista" (with Vieira)
Desafíos, 2023
https://doi.org/10.12804/revistas.urosario.edu.co/desafios/a.12199
Abstract (in spanish)
Si bien la literatura documenta un interés creciente en las aplicaciones del Pensamiento de Diseño (pdd) en la administración pública en general, existe una brecha en la producción académica sobre su papel en el campo específico de la evaluación de políticas e intervenciones sociales. Este artículo hace un aporte conceptual y metodológico en este último debate. Parte de la reflexión propuesta es de naturaleza meta-teórica, a partir de la cual se identifican puntos en común entre fundamentos epistemológicos del pdd y una escuela de evaluación en particular: la evaluación pragmática. En un segundo momento analítico del texto se examinan algunas limitaciones epistemológicas del pragmatismo (como paradigma de investigación) al momento de fundamentar conclusiones causales en el estudio de fenómenos sociales. Este punto no es trivial, en tanto, el análisis causal es la razón de ser de la evaluación de políticas o programas (públicos). Se propone que es posible enmendar algunos de estos problemas en la evaluación basada en el diseño a partir de la adopción de principios epistemológicos del Realismo Crítico. Las implicaciones metodológicas de estos argumentos son ilustradas con la discusión de dos ejemplos de evaluaciones de programas educativos en Colombia, lideradas por los autores.
Decentralisation and school-based management in Colombia: An exploration (using systems thinking) of the Full‐Day Schooling programme
International Journal of Educational Development, 2022
https://doi.org/10.1016/j.ijedudev.2022.102579
Abstract
We discuss the findings of an evaluation of the implementation process of the Colombian Full-Day Schooling programme. The assessment draws on a systems thinking-based approach to delve into the complexities of this social intervention, seen as a system operating within a decentralised governance system. Our research design allowed us to link deficiencies in how the programme arrives at subregions with contradictions between its design -which highly depends on school autonomy- and structural tendencies in Colombia towards recentralising decision-making in national authorities. Questions about how policy debates at different levels -including the international one- shape national education systems are left open.
Sobre el uso de la evidencia y la validez externa en la evaluación de intervenciones sociales: una mirada crítica
Colombia Internacional, 2021
https://doi.org/10.7440/colombiaint105.2021.07
Abstract (in spanish)
Objetivo/contexto: son cada vez más las voces críticas sobre la idoneidad de prácticas dominantes en la evaluación de intervenciones sociales (por ejemplo, las RCT) frente al objetivo de informar políticas basadas en evidencia. Este artículo se enfoca en dos elementos centrales de dicha reflexión: i) la evidencia, como concepto y como resultado de un proceso de razonamiento; y ii) la noción de validez externa. Metodología: el uso de literatura en los campos de la evaluación y de la filosofía del conocimiento me permite hacer una deconstrucción del concepto de causalidad en las ciencias sociales. A partir de este ejercicio, y de la distinción entre teorías de causalidad sucesionista y generativa, identifico criterios para examinar críticamente algunos postulados epistemológicos implícitos en argumentos de exponentes de las técnicas experimentales de evaluación. Conclusiones: las técnicas experimentales no permiten, por sí mismas, informar decisiones sobre cómo invertir recursos de forma eficiente. Pese a su fortaleza para cuantificar posibles efectos causales, es necesario complementar el análisis estadístico contrafactual con formas de razonamiento cualitativo conducentes a solucionar interrogantes sobre las causas eficaces detrás del resultado de intervenciones sociales, y los factores de soporte que podrían permitir pensar en la extrapolación de políticas o programas sociales entre diferentes contextos. Originalidad: la literatura en español sobre críticas y alternativas a las técnicas de evaluación de impacto es escasa. Más que presentar un resumen de argumentos de otros autores, este artículo construye una narrativa coherente para repensar el papel de la evaluación en la sociedad.
(Re)introducing critical realism as a paradigm to inform qualitative content analysis in causal educational research (with Said-Hung & Montoya-Vargas)
International Journal of Qualitative Studies in Education, 2020
https://doi.org/10.1080/09518398.2020.1735555
Abstract
This article contributes to the debate on the empirical applications of critical realism (CR) in school effectiveness research. Researchers that endorse this research paradigm privilege intensive, over extensive, research designs, focussing, hence, in ethnographic methods and qualitative interviewing. However, and despite some recent academic proposals, there is little guidance in the literature on how to analyse qualitative data using the lenses of CR to produce causal knowledge about the operation of education policies in society. The current piece elaborates on the tenets of dialectical CR to develop some methodological arguments on how to engage in this type of empirical work. These reflections are then applied to analyse qualitative information retrieved in three ‘failing’ schools from Northern Colombia as an exemplar.
Potencial de la educación a distancia para reducir brechas de aprendizaje en educación superior: Una mirada al caso colombiano (with Ricardo, Borjas, Valencia-Cobo & Cano)
American Journal of Distance Education, 2020
https://doi.org/10.1080/08923647.2020.1756024
Abstract
This paper aims to explore the potential of the provision of distance education programs to close learning gaps in Colombia’s higher education. In order to do so, we present an estimatation of the effects that students and programs characteristics can have on the results of the test “Saber PRO” (a Colombian standardized test that measures the level of competences developed by students in different higher education programs). This estimation was done applying a mixed model (Hierarchical Linear Modeling-HLM) based on the information of 451,358 students who were assessed in their last phase of their university major. Data were collected from 2016 to 2018. The econometrics estimations show that controlling individuals’ backgrounds and the characteristics of different academic programs, the variables that were highly associated with the reduction of learning gaps among individuals registered in distance programs compared to face-to-face programs are the students’ age and their cognitive backgrounds (grades in standardized tests taken before their undergraduate studies). The results show that we could expect distance education to become an efficient mechanism to contribute to the reduction of learning gaps in higher education. The quantitative findings suggest a series of research questions that invite to reflect about the potential of distance education in medium-income countries.
El arte del muestreo cualitativo y su importancia para la evaluación y la investigación de políticas públicas: una aproximación realista
Revista OPERA, 2019
https://doi.org/10.18601/16578651.n25.07
Abstract (in spanish)
Este artículo hace un examen crítico a aproximaciones tradicionales al muestreo cualitativo para la evaluación y la investigación de políticas públicas. En general, se trata de un debate lleno de contradicciones y de lugares comunes que limitan la capacidad de comprender mecanismos complejos que subyacen a la existencia de fenómenos o eventos sociales. Como alternativa, se exaltan las bondades del muestreo realista y su lógica de estudiar, verificar y refinar teorías preliminares sobre el cómo, el cuándo y el porqué de las políticas públicas. Se concluye que los principios del realismo deben invitar a investigadores y a evaluadores expertos, y también a instituciones contratantes de estudios y evaluaciones sociales, a replantear prácticas y definiciones metodológicas frente a la escogencia de muestras cualitativas.
Historia reciente de la educación básica y media en el caribe colombiano: El caso del Departamento del Atlántico (with Gustavo Correa)
Revista Historia de la Educación Latinoamericana, 2019
https://doi.org/10.19053/01227238.9389
Abstract (in spanish)
Este artículo hace un aporte historiográfico al debate sobre los rezagos educativos en el caribe colombiano. Para ello se toma el caso del Departamento del Atlántico y se explora el proceso de formación de su institucionalidad educativa a partir de una indagación de ordenanzas departamentales publicadas en el periodo 1980-2014. La primera sección del artículo presenta un recuento de eventos históricos relevantes para comprender de la formación del actual sistema de educación básica y media en Colombia y sirve como punto de referencia para interpretar dinámicas educativas regionales durante el periodo de estudio. La narrativa se construye a partir de la lectura de fuentes primarias, y su contraste con fuentes secundarias permite identificar los pocos incentivos con los que cuentan actores educativos importantes tales como funcionarios públicos, rectores, y docentes para impulsar más prácticas de planeación educativa en contexto. Si bien estos hallazgos deben ser verificados con otras fuentes para potenciar su poder explicativo, sientan bases analíticas para debatir los problemas educativos en el norte del país.
Classroom observation in context: an exploratory study in secondary schools from northern Colombia (Con Carola Hernández)
Revista Brasileira de Educação, 2019
https://doi.org/10.1590/S1413-24782019240005
Abstract
This paper discusses the role of classroom observations in informing debates on the quality of teaching and learning in secondary education. Specifically, the document proposes a methodology for classroom observation in context (CoC) to address many of the epistemological limitations of mainstream input-output observation models in relation to the professionalisation of educators. To observe in context entails working with a non-structured observation strategy to identify patterns in classroom events and the subsequent opening of spaces for collaborative dialogues (among observers and between observes and observees) to reflect about the potential mechanisms behind these patterns. The results of an exploratory study of CoC in Northern Colombia indicate the potential of such a strategy in informing education policy debates beyond the classroom setting.
Reflexiones sobre los retos de la política educativa en el caribe colombiano: una indagación en prensa (Con Gustavo Correa)
Revista Papeles, 2018
https://doi.org/10.54104/papeles.v10n19.512
Abstract (in spanish)
El artículo presenta los resultados de un ejercicio de indagación de noticias alusivas al sector educativo publicadas en dos medios de comunicación de alta circulación en el norte de Colombia. El Heraldo es un periódico de amplia consulta entre líderes de opinión en ciudades como Barranquilla, mientras que la audiencia del Diario La Libertad se concentra más entre clases populares y municipios de la región. El contraste de temáticas y debates difundidos en ambas fuentes da cuenta de las complejidades detrás del proceso educativo que surge tras hitos como la publicación de la Ley 715 de 2001. Los hallazgos del estudio sacan a relucir implicaciones metodológicas relevantes que invitan a la innovación en los debates académicos y políticos sobre los grandes retos educativos del país.
People, personal projects and the challenging of social structures: a contribution to the reflection on the challenges of teaching development studies
Third World Quarterly, 2018
https://doi.org/10.1080/01436597.2018.1460594
Abstract
This article makes a critique of using Post-Development as a tool in teaching an introductory course in development studies. Such a debate was initiated by Harcourt in a previous issue of Third World Quarterly as she reflected on her teaching experience in a European Institution. Harcourt concludes that the lack of engagement of some of the students in the course reflects the unwillingness of privileged middle-class pupils to challenge western lifestyles. I draw on a critical realist meta-theory about the process of learning in higher education to challenge the ontological support of that conclusion and invite her to reconsider her teaching strategy.
Critical realism and school effectiveness research in Colombia: the difference it should make
British Journal of Sociology of Education, 2018
https://doi.org/10.1080/01425692.2017.1330681
Abstract
This article draws on the case of academic work produced by Colombian scholars, to address the debate on the persistent failure of policy efforts to improve school effectiveness. Realist meta-theory plays a significant role in this research, because it provides a general framework to identify ontological problems and inconsistencies in empirical and theoretical positions informing policy debates in the country. The analysis focuses on the contributions and weaknesses of empiricism, structuralism and post-structuralism in the work of Colombian scholars, and concludes by arguing for the need to deploy research methodologies that study stratified emergent social processes behind observable educational outcomes.
El reto de la descentralización educativa: reflexiones desde la mirada de actores nacionales y subnacionales en el caso del Departamento del Atlántico
Papel Político, 2017
https://doi.org/10.11144/Javeriana.papo22-2.rder
Abstract (in spanish)
Según teóricos de la escuela de la elección pública, la descentralización política y administrativa mejora la eficiencia en la prestación de servicios públicos territoriales. Este artículo parte de una visión crítica de este marco de referencia en el estudio del fenómeno del bajo desempeño escolar. La experiencia del departamento del Atlántico representa un caso atípico del cumplimiento de los supuestos de la primera escuela y, por tanto, abre la posibilidad de entablar una discusión ontológica y práctica sobre el estudio del proceso de descentralización educativa básica y media en Colombia. El uso de un paradigma realista como referente metodológico para analizar entrevistas individuales y grupales hechas en diferentes niveles de gobierno permite entrever varias de estas implicaciones. Temáticas identificadas como la capacidad limitada de autoridades loca-les para diseñar y administrar políticas educativas, la falta de claridad entre actores de distintos niveles del sistema nacional de educación sobre el uso de las pruebas de Estado y la dificultad que enfrentan rectores de instituciones educativas públicas para que se transfieran oportunamente recursos para la calidad educativa son indicativas de complejidades de la política educativa omitidas en los diagnósticos del sector publicados en la literatura dominante.
Introducción a la evaluación realista y sus métodos: ¿Qué funciona, para quién, en qué aspectos, hasta qué punto, en qué contexto y cómo?
Economía & Región, 2017
https://revistas.utb.edu.co/economiayregion/article/view/163
Abstract (in spanish)
Este artículo introduce la Evaluación Realista (ER) para el análisis de políticas públicas. La ER encuentra justificación en las limitaciones de prácticas dominantes, como las técnicas de evaluación de impacto, para ofrecer explicaciones sobre el por qué una intervención o programa tuvo (o no) resultado. La noción de cambio o transformación de la ER se centra en el estudio contextual de la agencia humana, o la forma en que individuos y colectividades actúan frente a intervenciones públicas o privadas. El texto se adentra en propuestas metodológicas para el despliegue de una ER en la práctica, tarea que implicará un trabajo interdisciplinario para refinar diferentes teorías sobre qué funciona, para quién, en qué aspectos, hasta qué punto, en qué contexto y cómo. La introducción del texto incluye una breve discusión sobre el potencial de una propuesta metodológica de este tipo para fortalecer el diseño y la implementación de iniciativas de política que respondan de manera más oportuna a las necesidades de una sociedad que se perfila para una era de postconflicto.
Realismo crítico: una alternativa en el análisis social
Sociedad y Economía, 2016
https://doi.org/10.25100/sye.v0i31.3895
Abstract (in spanish)
El artículo resalta las limitaciones del positivismo en las ciencias sociales. Sus críticos apelan a su superficialidad ontológica, y sus consecuencias sobre su pertinencia epistemológica, para reivindicar la necesidad de alternativas metodológicas en la investigación social. Se presentan a continuación el realismo crítico, como postura filosófica, y el enfoque morfogenético de Margaret Archer, como una implicación teórica, para contrarrestar el paradigma dominante. El artículo es innovador en su esfuerzo por vincular discusiones filosóficas con implicaciones en la práctica académica, incluyendo la referencia a tres trabajos que han utilizado el realismo en el análisis institucional. La contrapropuesta es aún prematura, pero cuenta con un gran potencial científico.
Guest Editorial: Rethinking Democracy (con Embido et al.)
Development, 2015
https://doi.org/10.1057/dev.2015.14
Abstract
Despite the general claims of triumph and success by its proponents and defenders, the universality and normativity of democracy is currently under scrutiny. Its proponents claim democracy as the most important development in the twentieth century (Sen, 1999). Democracy has been widely accepted as the ‘normal’ form of government to which all nations are entitled – whether in Europe, America, Asia, or Africa. The assumption is that for a nation to prosper, a democratic state is required. Democracy is hailed as the only system of governance where there is freedom of expression, equality, economic development and peace.
The Paradigm of Critical Realism and Involving Educators in Policy Debates
Education and Learning Research Journal-GiST, 2015
https://doi.org/10.26817/16925777.272
Abstract
Education policy debates in Colombia often exclude the voice of professional educators. The aim of this paper is to introduce Critical Realism as an alternative to dominant social research paradigms that enables the possibility of more inclusive education policies. The ontic and epistemic elements of CR make a call for an inter-paradigmatic dialogue to retrieve causal explanations by providing scientific value to first-hand living experiences of social actors. In the end, different researchers (i.e. statisticians and school teachers) have a crucial, but differentiated, role, in the quest for scientific discovery.