Análisis de eficiencia de centros educativos

Résumé

Resumen de la Tesis La educación es una de las claves del desarrollo humano y económico de las sociedades. Mayores niveles de educación se identifican con incrementos en la calidad de vida de los ciudadanos. Este consenso acerca de su importancia no se traduce, sin embargo, en estrategias comunes ni en acuerdos generales sobre cómo alcanzar esas mayores cotas de formación. Esto se debe, entre otros factores, a su compleja naturaleza, su carácter acumulativo y el hecho de que el papel del individuo es crucial en su propio aprendizaje. Ante esta complejidad, resulta necesario abordar la cuestión desde distintas perspectivas, de forma que cada enfoque aporte su propia visión. Una de ellas es la Economía de la Educación, que consiste en aplicar técnicas y perspectivas económicas a la educación. Así, podemos entender ésta como un proceso productivo en el que los estudiantes son transformados mediante su paso por el sistema educativo. En este proceso de transformación intervienen distintos agentes, lo que se corresponde con los distintos enfoques que se pueden adoptar, desde los sistemas educativos establecidos por los países, hasta llegar al individuo o agente involucrado en el proceso de aprendizaje. Entre las ventajas de esta perspectiva se encuentra la objetividad de sus métodos. El uso de técnicas matemáticas y estadísticas, permite evaluar el desempeño de los distintos sistemas o centros educativos sin sesgos introducidos por el investigador. Como hemos dicho, parece clara la correlación entre el crecimiento y el desarrollo social con el nivel del capital humano. Ello supone, sin duda, un incentivo a la inversión en educación para las economías. Pero, por otro lado, se alzan voces respecto a la necesidad de reducir los crecientes déficits públicos en un entorno de crisis económica y sobre la necesidad de revisar cada unidad monetaria que se gasta en el sector público. En este contexto, el concepto de eficiencia de los sistemas educativos se torna crucial. Se demandan resultados excelentes a la vez que se mantienen limitados, y en muchos casos se reducen, los recursos disponibles para tal fin. De manera sintética, el estudio no puede centrarse exclusivamente en evaluar los resultados de las instituciones o sistemas educativos. Este análisis ha de realizar se de manera paralela y vinculada con el análisis de los recursos y de uso que se hace de éstos, del desempeño de las unidades que intervienen en el proceso y del aprovechamiento que se realiza de dichos recursos. El estudio de la Economía de la Educación ha recibido una atención creciente en las últimas décadas. Desde el punto de vista de la economía de la educación, la educación es considerada como un proceso de producción en la que se utilizan diferentes entradas (inputs) para producir diferentes resultados (outputs), para una tecnología dada. La base teórica de esta propuesta se basa en los estudios de Levin y Hanushek. Sin embargo, cuantificar la educación recibida por un individuo no es una tarea simple. Muchos de los aspectos que deben considerarse son intangibles y, además, es necesario considerar diferentes años para cuantificar el resultado final. Mancebon M.J., Bandres, E. (1999) ponen de manifiesto como esta intangibilidad, el carácter acumulativo y el hecho de que sean los propios usuarios (estudiantes) los que desarrollan el proceso añaden una gran dificultad a la estimación, si lo comparamos con otros procesos productivos. En este contexto, las técnicas de análisis paramétricas, como pueden ser modelos de regresión que buscan estimar la función de producción, presentan ciertas limitaciones y una enorme dificultad para ser aplicadas en aplicaciones empíricas. Por contra, los modelos nos paramétricos no imponen una forma funcional concreta en la evaluación del proceso. Se parte de construir un conjunto de posibilidades de producción a partir de las observaciones, lo que permite incluir múltiples tipos de variables. Esta característica es especialmente para representar las particularidades del proceso de producción educativo. Dentro de esta familia de técnicas, los modelos basados en DEA se han mostrados especialmente interesantes para medir su aplicación en el campo educativo. El Análisis Envolvente de Datos (referenciado habitualmente por sus siglas en inglés, DEA), es una técnica de análisis no paramétrico desarrollado a partir del concepto de eficiencia económica de Farrell, que inicialmente es concebido para la medición de la eficiencia de un conjunto de unidades. Los trabajos iniciales de Charnes et al. y Banker et al. desarrollan modelos lineales que permiten identificar, basándose únicamente en los valores observados de entradas y salidas de cada unidad, a aquellas unidades con un mejor comportamiento. Dichas alternativas, denotadas como eficientes, constituyen la frontera eficiente y servirán como referencia al resto de alternativas (unidades ineficientes), con un peor desempeño. En el caso particular de su aplicación al estudio de centros o sistemas educativos, Mancebón y Bandrés destacan en tres razones fundamentalespara su atractivo como técnica de medición en este tipo de estudios. En primer lugar, como modelo no paramétrico, no se busca ajustar los datos observados a una forma funcional preestablecida. En segundo lugar, son modelos que respetan las particularidades individuales de cada unidad. Si bien se asume que existe una tecnología común para el conjunto de unidades, los modelos DEA presentan un alto grado de flexibilidad local en tanto se resuelve un modelo para cada una de las unidades evaluadas. Y, en tercer lugar, los modelos DEA se ajustan muy bien a la naturaleza múltiple de las salidas del proceso educativo y a la carencia total de información sobre los precios de dichas salidas. En la presente memoria se presentan tres trabajos en los que se ha profundizado en el estudio de la eficiencia en el contexto de la Economía de la Educación. En particular, hemos analizado la aplicación de modelos basados en el Análisis Envolvente de Datos (DEA) para el análisis de diferentes aspectos relacionados con la educación, tanto en la evaluación de las instituciones educativas como de los sistemas nacionales de educación. Con los trabajos que se presentan aquí, hemos pretendido analizar diferentes aspectos relacionados con la economía de la educación a través de la propuesta de modelos basados en DEA. Como se podrá ver en los tres trabajos que se presentan, en ningún caso se propone la aplicación sin más de los modelos clásicos de esta metodología. Esto es, las propuestas no pasan por medir sin más la eficiencia en la actuación de instituciones, países o cualquier agente que intervenga en el proceso con la aplicación de modelos clásicos. En todos ellos, se ha buscado desarrollar nuevos propuestas metodológicas. Todas cuentan con el componente común de proponer modelos de valoración en la que los pesos de las diferentes variables se determinan de manera libre, como caracteriza a los modelos DEA: la determinación de los vectores de pesos se produce de manera endógena, como variables del propio modelo. En el desarrollo de la misma se ha utilizado como fuente básica de información la publicada en los informes PISA (Programme for International Student Assessment). La presente memoria se trata de una tesis doctoral por compendio, en el que se incluyen tres trabajos de investigación ya publicados con un hilo conductor común: la aplicación de modelos basados en DEA al campo de la educación. Buscamos estudiar la utilidad de esta familia de procedimientos en diferentes aspectos, con diferentes aproximaciones a una realidad compleja como es el estudio de los sistemas educativos tanto desde una perspectiva nacional como en comparaciones entre diferentes países. El trabajo que se presenta en el primer capítulo, An assessment of the efficiency of Spanish schools: evaluating the influence of the geographical, managerial, and socioeconomic features, es el que propone una metodología más cercana a los modelos clásicos de medición de eficiencia No obstante, se propone una aplicación diferente de los mismos, lo que permitirá, obtener resultados más completos. De manera sintética, el trabajo propone el estudio de los colegios de secundaria en España para el año 2012. A partir de los datos del informe PISA para ese año, proponemos la agregación de los colegios según tres criterios: tipología (diferenciando entre privados, públicos y concertados), localización geográfica (diferenciando 15 regiones recogidas en PISA) y nivel de formación de los padres (bajo, medio y alto). Estos tres criterios, nos permiten construir 135 perfiles o agrupaciones de colegios que comparten las tres características descritas. Dichos perfiles actúan como unidades de decisión o alternativas a las que estudiamos su eficiencia operativa. Tomando los recursos tradicionales propuestos en la literatura (recursos físicos, financieros y humanos) y los resultados medios de los alumnos en las pruebas realizadas por PISA, medimos la eficiencia de cada tipo de institución. En este punto, se introducen algunas mejoras respecto a los modelos clásicos, como es la reducción de incidencia de outliers mediante la computación de muestras generadas de manera aleatoria. La aplicación de los modelos de medición de eficiencia permiten evaluar cada alternativa (grupo de colegios en este caso) desde la perspectiva de su desempeño. No se evalúa únicamente si los resultados de los test han sido mayores o menores. Se evalúan dichos resultados a la vista de los inputs, de la dotación de recursos con los que contaba cada alternativa. La aplicación de técnicas multivariantes sobre los resultados obtenidos de esta primera fase permite obtener diferentes conclusiones. En particular, estamos interesados en detectar si alguno de los criterios utilizado para la construcción de los perfiles es determinante en el valor de su eficiencia. Esto es, cómo de determinante es la tipología de colegio, su ubicación geográfica o el nivel socioeconómico de las familias en la bondad de su desempeño. Como podrá verse, el estudio concluye con que tanto la tipología de colegio como el nivel de formación de los padres son variables determinantes de la eficiencia, mientras que la localización geográfica no aparece como determinante. El segundo trabajo A DEA-inspired model to evaluate the efficiency of education in OECD countries, surge en el desarrollo del trabajo anterior. Sin duda, la información más destacada que se publica en cada informe PISA es el valor de las calificaciones obtenidas por los alumnos en los tests. Este valor único calculado por PISA no es de lejos la única información contenida en el informe. Y su construcción implica un procedimiento estadístico complejo basado en unos niveles de desempeño o competencia (proficiency levels). Cada uno de los 7 niveles incluidos en el informe, ordenados de menor a mayor, tiene un significado en sí mismo. Esto induce a pensar que trabajar directamente con estos niveles, y no con el valor único obtenido como media en el informe, puede resultar de interés. sin embargo, incluir la información recogida en estos niveles en modelos DEA no es directo. Es por ello que en este segundo trabajo desarrollamos un modelo de medición de eficiencia, basado en el modelo Aditivo DEA, para incluir la información recogida en los niveles de competencia. En la información incluida en DEA aparecen los porcentajes de estudiantes que alcanzan cada uno de los siete niveles. Esto obliga a una doble modificación en los modelos clásicos: - Cada uno de los niveles deben incorporarse al modelo como una variable ordinal, en la que la valoración de estar situado en un nivel (categoría) superior debe valorarse más de estar situado en una inferior. - Tanto el conjunto de posibilidades de producción como, especialmente, los valores de referencia deben adaptarse a las características particulares de los datos que consideramos. Los valores representan porcentajes y tanto las observaciones como los valores proyectados en la frontera deben sumar 100. Se articula un modelo en el que la mejora de una unidad implica necesariamente el trasvase de alumnos desde los niveles menos valorados hasta niveles más altos, mejor valorados. A través de la información adicional incluida, se modula el esfuerzo que implica el trasvase de una a otra categoría. Al igual que en el resto de trabajos, en el artículo se incluye una aplicación empírica para evaluar los sistemas educativos de los países OCDE. En el tercer trabajo A multiplicative composite indicator to evaluate educational systems in OECD countries, a diferencia de los dos anteriores, la utilización de la metodología DEA no es directa, si no que se utiliza como herramienta complementaria, y no como base del estudio. En el trabajo proponemos la construcción de un indicador sintético para la evaluación de los sistemas educativos nacionales. Un indicador compuesto, supone una agregación de un conjunto de indicadores simples o sub-indicadores a través de una función matemática, en la que el vector de pesos que pondera la importancia de cada indicador es un elemento determinante. Los modelos DEA se han mostrado como una herramienta de gran utilidad para determinar el vector de ponderaciones en los procedimientos de construcción de indicadores compuestos. Esta idea, propuesta inicialmente en Cherchye, L., Moesen, W., and Puyenbroeck, T. (2003) y Cherchye, L., Moesen, W., Rogge, N., and Puyenbroeck, T. (2007) ha dado origen a una filosofía para la generación de pesos conocida como Beneficio de la Duda. Las principales ventajas de esta forma de determinar los pesos residne en dos aspectos: - El vector de ponderaciones se determina de manera autónoma, como parte del procedimiento, y no viene impuesto a partir de información o decisiones subjetivas. - Cada unidad tiene la oportunidad de seleccionar los pesos en la mejor situación posible. De esta forma, en caso de no recibir una buena evaluación no podrá atribuirla a una elección arbitraria del vector de pesos. En el trabajo se diseña una metodología completa para la construcción de un indicador compuesto y para la explotación de los resultados. De manera sintética, los puntos más destacables del trabajo son los siguientes. - Se diseña un panel de indicadores más amplio del utilizado tradicionalmente para evaluar un sistema educativo. Considerando que el objetivo de un sistema educativo va más allá de maximizar los resultados académicos de los alumnos, proponemos un sistema más complejo de indicadores con tres dimensiones. • Una dimensión académica en la que se evalúa tanto el resultado medio de los estudiantes como que el máximo de éstos alcancen un mínimo de competencias y que se optimice la excelencia. • Una dimensión social, en la que se intenta evaluar la educación como instrumento para reducir las desigualdades sociales. • Una dimensión personal del alumno, que intenta evaluar cómo influyen los años escolares en el desarrollo y bienestar personal de los alumnos. Se propone un esquema de agregación multiplicativo, en el que se pretende minimizar la posible compensación entre indicadores. Este esquema, además, una mejora de las evaluaciones requerirá un esfuerzo de mejora individual de aquellos indicadores en los que peores resultados se ha obtenido. La determinación de los pesos se realiza a través de un modelo inspirado en DEA. Siguiendo la idea original propuesta en [7], desarrollamos un nuevo modelo con elección libre de pesos que permite determinar el vector de ponderación de cada unidad. El que se utilice un esquema de agregación multiplicativo permite que, cuando se realizan comparaciones de diferentes períodos, las tasas de variación de uno a otro período puedan descomponerse. De esta manera, puede identificarse y aislarse el efecto que genera la variación de las propias observaciones, la selección de un vector de pesos particular y la evaluación del valor base o de referencia. Al igual que en los otros dos artículos, se presenta una aplicación empírica para el modelo teórico propuesto. En este caso, se evalúan los sistemas educativos de los países OCDE para los años 2012 y 2015. De la comparación de los resultados se concluye que, aunque existe cierta estabilidad en los resultados globales y los rankings de países inducidos a partir del indicador compuesto, se pueden identificar algunas variaciones importantes, derivadas fundamentalmente del cambio en los propios valores observados de los indicadores simples y de una reducción generalizada de los valores medios (que son utilizados como valores de referencia).