Modelo de reglas difuso para el análisis y evaluación de MOOCs con la norma UNE 66181 de calidad de la formación virtual

Resumen

RESUMEN Desde un punto de vista histórico, los MOOCs son una evolución de anteriores experiencias en el ámbito de la Educación Abierta y el e-Learning. Entre sus antecedentes se encuentra el movimiento para los OER y las iniciativas pioneras en la Educación a Distancia con tecnología digital. Es importante tener en cuenta estos antecedentes porque pueden dar pautas para valorar la innovación educativa de los MOOCs, si se apoyan en los conocimientos que aporta la investigación en educación digital y si superan las limitaciones que en el pasado manifestaron otras experiencias similares. En este sentido, estos cursos se han considerado en la literatura divulgativa y científica como una revolución con un gran potencial en el mundo educativo y formativo (Vázquez-Cano y López, 2014). De esta manera, este movimiento ha acaparado un interés mundial debido a su gran potencial para ofrecer una formación gratuita, de calidad y accesible a cualquier usuario independientemente de su país de procedencia, su formación previa y sin la necesidad de pagar por su matrícula (Liyanagunawardena et al., 2013). En esta misma línea, con la llegada acelerada de los MOOCs hoy en día, se han considerado en la literatura divulgativa y científica como una revolución con un gran potencial en el mundo educativo y formativo (Bouchard, 2011; Aguaded et al., 2013), y que se implantarán en nuestras instituciones de educación superior en un horizonte de cuatro a cinco años (Durall et al., 2012). Sin embargo, hay una serie de aspectos pedagógicos que se plantean en el desarrollo de un MOOC que deben ser considerados (McAuley et al., 2010a). En primer lugar, hasta qué punto los cursos MOOCs pueden promover una investigación profunda y la creación de un conocimiento sofisticado, y cómo se puede articular la dicotomía amplitud frente a la profundidad de la participación de los estudiantes. En este sentido, cabría preguntarse cómo la participación puede extenderse más allá de las personas con acceso de banda ancha a Internet y avanzadas competencias en el uso de las redes sociales. Así pues, debería ser cuestionado la identificación de los procesos y prácticas que podrían motivar a los usuarios merodeadores a ser más activos o adoptar roles más participativos. Por último, sería conveniente utilizar estrategias específicas para optimizar la contribución de los docentes y los participantes más avanzados. En concordancia con los aspectos pedagógicos que deberían ser considerados en el diseño y desarrollo de los MOOCs, la presente investigación se justifica por la escasez de estudios de investigación relevantes en relación con el uso de la formación por muchas organizaciones educativas sin garantizar el cumplimiento del apartado 6.2 de la Norma UNE-EN ISO 9001 sobre Sistemas de Gestión de la Calidad, donde se establece que se debe ¿proporcionar la demanda necesaria a sus empleados y garantizar su competencia¿. En este sentido, la Norma UNE 66181:2012 sobre la Gestión de la Calidad de la Formación Virtual pretende servir como brújula orientadora para identificar las características de las acciones formativas virtuales, y por ende, que los usuarios de formación no presencial puedan seleccionar los cursos MOOCs que mejor se adapten a sus necesidades y expectativas, y que las organizaciones educativas puedan mejorar su oferta y, con ello, la satisfacción de sus estudiantes. La importancia y la relevancia del presente estudio de investigación reside, bajo nuestro punto de vista, en indagar en el diseño y puesta en marcha de un estándar adaptado de calidad (denominado EduTool®; marca registrada en la Oficina Española de Patentes y Marcas, y con número 3.087.298, en vigor) que intente disminuir el posible diferencial existente entre las expectativas de los alumnos y su nivel de satisfacción sobre los cursos MOOCs y, por tanto, la gran oferta de la formación virtual ganará en fiabilidad y credibilidad, mitigándose el riesgo de abandono de los usuarios y proporcionando cursos virtuales garantizados por parámetros de calidad normativa mínima exigible. Y de esta forma, ofrecer un escenario valorativo, de carácter evaluador y constructivo (con propuestas de mejora), de la posible calidad ofertada por diferentes plataformas MOOC. Referente al organigrama funcional de la Tesis Doctoral, este sigue el establecido por los estudios contemporáneos en los que el planteamiento del estudio precede al marco teórico de la investigación. En este sentido, el manuscrito de investigación se encuentra constituido por cinco capítulos y un apartado correspondiente a los anexos y partes del DVD. En el primer capítulo se describe la justificación, objetivos y estructura global del trabajo de investigación. De esta manera, se señalan los siguientes objetivos generales: 1. Valorar la calidad de una muestra de plataformas y cursos MOOCs mediante un instrumento de evaluación de calidad de la formación virtual. 2. Diseñar un instrumento de valoración cualitativa y cuantitativa de la calidad de la formación virtual en general, y de los MOOCs en particular, basado en los motores de inferencia y sistemas de reglas difusas. En su capítulo segundo, se muestra la revisión de la literatura científica y divulgativa acerca de los cursos online masivos y abiertos, y las líneas de investigación sobre la calidad de los MOOCs. En esta misma línea, se presenta la visión resumida del marco conceptual, guía de uso, y la descripción de los factores de satisfacción y los niveles de calidad la norma UNE 66181:2012 sobre la Calidad Normativa de la Formación Virtual. Y por último, se establece una revisión bibliográfica acerca de los sistemas difusos, los motores de inferencia basados en sistemas de reglas difusas y la investigación actual en la aplicación de la lógica difusa en el contexto educativo. En el ecuador del estudio se expone el contexto metodológico de la investigación resaltando la adaptación de la norma UNE 66181:2012 a un sistema de valoración de cursos MOOCs. De esta manera, se compara este estándar adaptado con otro instrumento de evaluación de la formación virtual: ADECUR®, y se propone el diseño de nuevos instrumentos de evaluación de la calidad de cursos MOOCs. A continuación, se diseña la metodología de evaluación cuantitativa del instrumento EduTool® mediante un sistema de inferencia difuso que establece la valoración de las ponderaciones de los subfactores de las dimensiones del estándar adaptado de la norma UNE 66181:2012. Esta línea de trabajo se inicia en la investigación ¿Innovación docente 2.0 con Tecnologías de la Información y la Comunicación en el Espacio Europeo de Educación Superior¿, situada en el marco de la Acción 2 de Proyectos de Innovación y Desarrollo Docente, subvencionados por el Vicerrectorado de Docencia y Convergencia Europea de la Universidad Pablo de Olavide de Sevilla y desarrollado en el Laboratorio de Inteligencia Computacional (LIB) de la misma Universidad. En este sentido, la agregación de las variables lingüísticas de los 10 jueces expertos (Inspectores de Educación con amplia experiencia en supervisión, evaluación y asesoramiento de enseñanzas) se realizó mediante la función OR probabilística y se defuzzificaron mediante el método del centroide de área para calcular las ponderaciones de las dimensiones del estándar normativo. En este sentido, se diseña la metodología de evaluación cualitativa del instrumento EduTool® mediante un sistema de reglas difusos sobre los subfactores de las dimensiones del estándar adaptado. Y por último, se presenta el formato de la herramienta EduTool® como una propuesta del instrumento de valoración cualitativa y cuantitativa de la calidad de los MOOCs a partir del estándar adaptado. En el capítulo cuarto se presentan, de forma exhaustiva y rigurosa, el análisis y discusión de los resultados obtenidos. Para ello se han seleccionado, por muestreo no probabilístico intencional, cinco cursos MOOCs de las plataformas más relevantes: Udacity, EdX, MiríadaX y Coursera, que estaban disponibles en el segundo trimestre del año 2014 y provenientes eminentemente de la categoría de informática y ciencias de la computación. Para este procedimiento de recogida de información, se dio de alta en dichas plataformas a dos codificadores, un ingeniero experto en informática y un pedagogo, ambos inspectores de educación, que valoraron cuantitativa y cualitativamente la calidad de los cursos seleccionados mediante el citado instrumento EduTool®. Esta valoración de la calidad se apoya con una representación gráfica de la calidad de las plataformas MOOC en perspectiva isométrica adaptada. En esta misma línea, se analiza pormenorizadamente los indicadores de calidad de los subfactores de las dimensiones de ¿reconocimiento de la formación para la empleabilidad¿, ¿metodología de aprendizaje¿ y los ¿niveles de accesibilidad¿. Los resultados analíticos y gráficos muestran que, de forma general, la calidad de la media de los MOOC analizados en cada plataforma se sitúa por encima de la puntuación que describe el mínimo exigido (50%). En este sentido, se percibió una calidad media superior en las plataformas Coursera (66,34%) y EdX (62,62%), intermedia en la plataforma Udacity (54,92%) y algo más baja en la plataforma MiríadaX (50,40%). A nivel particular, casi la totalidad de los cursos alcanzan el valor mínimo de la primera dimensión con un 6,66%. En cuanto a la segunda dimensión, se observa que los cursos de la plataforma Coursera lideran la ponderación superando el valor de calidad mínima con una media del 36,49%, siguiéndole posteriormente EdX (32,77%), Udacity (25,87%) y MiríadaX (23,72%). Y por último, en la tercera dimensión se evidencia que todos los cursos superan la calidad aceptable o media exigida en las plataformas de Coursera, EdX y MiríadaX (23,19%) y posteriormente le sigue la plataforma Udacity (22,77%). En el ocaso del estudio, capítulo quinto, se describen de forma completa y detallada las reflexiones y conclusiones obtenidas de la instrumentalización aplicada, resaltando los siguientes aspectos: Se expone una exhaustiva revisión bibliográfica acerca de los MOOCs, y los sistemas difusos y los distintos tipos de motores de inferencia basados en sistemas de reglas difusas. A su vez, a lo largo del trabajo de investigación ha sido una constante el uso de referencias bibliográficas y reflexiones introspectivas aportadas como brújula que orientaba la fundamentación de la lógica difusa en el contexto educativo de la calidad de la formación virtual de forma general, y particularmente en los MOOCs. En esta misma línea, de acuerdo con la literatura revisada, el instrumento que se plantea ha constatado, con valoración positiva, los criterios de validez y fiabilidad en su diseño y aplicación en la muestra de los cursos de las principales plataformas MOOC. Por otro lado, el propósito general se ha conseguido y se llega a las mismas conclusiones que en otras investigaciones, donde queda evidenciado que los MOOCs tienen una base pedagógica sólida en sus formatos (Glance et al., 2013). Así pues, de forma general, se puede afirmar que la valoración de la calidad de los MOOCs analizados no sólo está por encima de la puntuación media estimada, sino que éstos presentan en ello una puntuación promedio ligeramente superior a la media (Roig et al., 2014). No obstante, a tenor de las conclusiones, aunque estos cursos han irrumpido en la formación en red de forma relevante, se evidencia que existe una falta de calidad cuantitativa en términos de la formación virtual. De esta manera, se suscribe que los MOOCs, como una nueva respuesta educativa entroncada en un entorno tecnosocial, la Red, todavía no han ensayado una ruptura con los modelos formativos online propios del e-learning (Roig et al., 2014). Nuestra intención en la génesis y cristalización de este estudio se centra en la evidencia de valorar los niveles de calidad de los cursos MOOCs debido a la constatación de los datos observados. En este sentido, la valoración de la calidad de los cursos MOOCs está en la agenda de investigación para el futuro. En esta misma línea, se estima la necesidad de un mayor número de estudios sobre algunos indicadores de calidad e-evaluación en cursos online, así como estudios longitudinales (Stödberg, 2012) o comparativos (Balfour, 2013). Y, más concretamente, continuar investigando para dar respuesta a preguntas sobre métodos que mejoren fiabilidad, validez, autenticidad y seguridad de las evaluaciones del estudiante, o sobre técnicas que ofrezcan evaluación automatizada eficaz y sistemas de retroalimentación inmediata; y cómo pueden ser integrados en ambientes de aprendizaje abiertos (Oncu y Cakir, 2011), para dar más garantía de usabilidad a las herramientas de calidad que se puedan desarrollar. Por otro lado, se hace necesario futuras investigaciones en el diseño de caracterizar las dimensiones que definen una nueva pedagogía, si existe, bajo el modelo MOOC para, a partir de ahí, obtener herramientas que evalúen los indicadores de los subfactores de las mismas dimensiones a considerar. De esta manera, sería viable el análisis y comparación de herramientas de forma más eficiente, una mejora de procedimientos en los nuevos diseños de las mismas y una certificación del nivel de calidad más ajustada a la realidad. En esta misma línea de trabajo, se podrían acreditar a las plataformas ofertantes con cursos MOOCs certificados y evitar la oferta de acciones formativas con debilidades en las metodologías de enseñanza inapropiadas desde las actuales teorías pedagógicas (Valverde, 2014) e impidiendo, en la medida de lo posible, la tendencia a la estandarización del conocimiento y los graves problemas para atender las diferencias individuales debido a la masificación, que conduce a un diseño comunicativo unidireccional, centrado en el docente y basado en el contenido. Así pues, los MOOCs se podrían mostrar como una democratización de la Educación Superior pero con unos intereses pedagógicos que priman sobre los económicos. Por último, se quisiera cerrar estas líneas reflexivas indicando que el presente trabajo de investigación es iniciativa innovadora en la conformación de un Observatorio de la Calidad e Innovación MOOCs (OCIMOOC®), que pretende ser un entorno operativo-funcional y un hábitat virtual donde se configuren esquemas de cooperación científica multidisciplinar y la promoción de sinergias con otros países para la creación de futuros convenios de colaboración de carácter científico y posdoctorales que contribuyan al enriquecimiento del tejido competitivo y socio-económico del país. Palabras clave: MOOC, calidad de la Formación Virtual, Estándares de Calidad, EduTool®, pedagogía, evaluación, valoración, Norma UNE 66181, lógica difusa, reglas difusas, OCIMOOC®. ABSTRACT From a historical standpoint, MOOCs are an evolution of previous experiences in the field of Open Education and e-Learning. Its history is the OER movement and pioneering initiatives in distance education with digital technology. It is important to note that this background can provide guidelines for assessing educational innovation MOOCs, if supported by the knowledge that research provides on digital education and if they exceed the limitations stated in the past similar experiences. In this sense, these courses have been considered in the informative and scientific literature as a revolution with great potential in the education and training world (Vázquez-Cano and López, 2014). Thus, this movement has attracted worldwide interest because of their potential to provide a free, quality and accessible training to all users regardless of their country of origin, prior training and without the need to pay for their tuition (Liyanagunawardena et al., 2013b). In the same vein, with the rapid arrival of MOOCs today, have been considered in the informative and scientific literature as a revolution with great potential in the education and training world (Bouchard, 2011; Aguaded et al., 2013) and to be implemented in our institutions of higher education in a horizon of four to five years (Durall et al., 2012). However, a number of pedagogical issues that arise in the development of a MOOC have to be considered (McAuley et al., 2010). First, to what extent MOOCs courses can promote a deep research and creating sophisticated knowledge, and how to articulate the dichotomy breadth versus depth of students¿ involvement. In this sense, one might ask how participation can extend beyond those with broadband access to the Internet and advanced skills in the use of social networks. So it should be challenged to identify the processes and practices that could motivate marauders users to be more active and take more participatory roles. Finally, it would be desirable to use specific strategies to optimize the contribution of teachers and advanced participants. In keeping with the educational aspects that should be considered in the design and development of MOOCs, this research is justified by the lack of relevant research studies regarding the use of training by many educational organizations without ensuring compliance with 6.2 paragraph of the UNE-EN ISO 9001 rule about Management Systems for Quality, which states that one should "provide the necessary demand for their employees and ensure their competence." In this sense, the UNE 66181: 2012 rule on Quality Management of Virtual Training intended to identify the characteristics of virtual training activities, and therefore, users can select the MOOCs courses that best suit their needs and expectations, and educational organizations to improve their supply and thereby satisfying their students. The importance and relevance of this research study lies, in our view, to investigate the design and implementation of a suitable quality standard (called EduTool®, registered brand with the Spanish Patent and Trademark Office, and number 3087298, in force) that can try decreasing the existing gap between the expectations of students and their level of satisfaction about the MOOCs courses and therefore the wide range of e-learning will gain credibility and reliability, decreasing the risk of abandonment of users and providing virtual guaranteed courses by parameters with required quality minimum standards. And so, provide an evaluative and constructive stage (with suggestions for improvement) of quality possible offered by different MOOC platforms. Concerning the functional organization of the Doctoral Thesis, this work follows the established contemporary studies in which the approach of the study precedes the theoretical framework of the research. In this sense, the research manuscript is composed of five chapters and a section corresponding attachments and parts of the DVD. In the first chapter the rationale, objectives and overall structure of the research is described. Thus, the following general objectives are identified: 1. To assess the quality of a sample of platforms and MOOCs courses using a quality assessment tool for virtual training. 2. Design a tool for qualitative and quantitative assessment of the virtual training quality in general, of particularly MOOCs, based inference engines and fuzzy rules systems. In his second chapter, the review of the scientific and informational literature on quality of MOOCs is shown. In the same vein, the summary view of the conceptual framework, user guide, and a description of the factors of satisfaction and quality levels is presented about UNE 66181: 2012 rule on the Normative Quality of Virtual Training. And finally, a literature review on fuzzy systems, inference engines based on fuzzy rules systems and current research in the application of fuzzy logic in the educational context is established. In half of the study, the methodological research context is discussed highlighting the adaptation of the UNE 66181:2012 rule to a MOOCs assessment system. Thus, this adapted standard is compared with another assessment instrument of virtual training: ADECUR®, and the design of new tools for assessing of MOOCs quality is proposed. Next, the methodology for the quantitative assessment of EduTool® instrument is designed using a fuzzy inference system that sets the value of the weights of dimension subfactors of the UNE 66181: 2012 adapted standard. This line of research started in "Teaching innovation 2.0 with Information and Communication Technology in the European Higher Education Area", located under the second Innovation and Educational Development Project Action, funded by the Teaching Department and European Convergence of Pablo de Olavide University of Seville and developed at the Computational Intelligence Laboratory (CIL) from the same university. Thus, aggregation of linguistic variables of the 10 expert judges (Inspectors of Education with extensive experience in monitoring, evaluation and assessment of teaching) was performed using the probabilistic OR function and defuzzyfy using area centroid method to calculate the weights of the normative standard dimensions. In this regard, the quality assessment methodology of EduTool® instrument is designed by a fuzzy rules system on the dimensions subfactors of the adapted standard. Finally, the format of the EduTool® tool is presented as a proposal of qualitative and quantitative assessment Instrument of the MOOCs quality from the adapted standard. The fourth chapter presents, in a comprehensive and rigorous way, the analysis and discussion of the results. For this purpose we have selected by intentional non-probabilistic sampling, five MOOCs courses of the most relevant platforms: Udacity, EdX, MiríadaX and Coursera, which were available in the second quarter of 2014 and eminently from the category of information and computer science. For this method of data collection, was discharged on these platforms two encoders, an expert computer engineer and an educator, both Inspectors in Education, who evaluated qualitatively and quantitatively the quality of the courses selected by said EduTool® instrument. This quality assessment is supported by a graphical representation of the MOOCs platforms quality through the adapted isometric perspective. In the same vein, it analyzes in detail the quality indicators of dimension subfactors of "recognition of training for employability¿, ¿learning methodology¿ and ¿accessibility levels¿. In general, the analytical and graphs results show that the quality of the average of the MOOCs analyzed in each platform is located above the score that describes the minimum required (50%). In this regard, higher average quality were perceived in Coursera (66.34%) and EdX (62.62%) platforms, intermediate average quality in Udacity (54.92%) platform and somewhat lower in MiríadaX (50.40%). On a personal level, almost all of the courses below the minimum value of the first dimension with 6.66%. As for the second dimension, it is observed that courses of Coursera platform lead weights exceeding the minimum quality value with an average of 36.49%, later following EdX (32.77%), Udacity (25.87%) and MiríadaX (23.72%). And finally, in the third dimension is evident that all courses exceed the acceptable quality or required average in Coursera, EDX and MiríadaX (23.19%) platforms and subsequently followed Udacity (22.77%). At the end of the study or chapter five, is fully described and detailed reflections and conclusions of applied instrumentation, highlighting the following aspects: A comprehensive literature review on the MOOCs and different types of inference engines based on fuzzy rules systems is presented. In turn, during the research work has been used constantly bibliographic references and introspective reflections provided to guide the foundation of fuzzy logic in the educational context of the virtual training quality in general, and particularly in the MOOCs. In the same vein, according to the literature reviewed, the criteria of validity and reliability in the design and implementation of the instrument in the sample of the courses of the main MOOC platforms was positively evidenced. On the other hand, the general purpose has been achieved and we reach the same conclusions that in other studies, where it is shown that the MOOCs have a solid educational foundation in their formats (Glance et al., 2013). So, in general, it can be stated that the assessment of the MOOCs quality of analyzed courses present an average score slightly above average (Roig et al., 2014). However, according to the findings, although these courses have bounced into the virtual training in a relevant way, it is evident that there is a lack of quantitative quality. Thus, in this work is subscribed that MOOCs, as a new educational response attached to a technosocial environment, the Web, have not yet tested a break with the own online training models of e-learning (Roig et al., 2014). Our intention in the genesis and crystallization of this study is focused on the evidence to assess the quality levels of MOOCs courses due to the finding of the observed data. Thus, the assessment of the MOOCs quality is on the agenda for future research. In the same vein, we estimate the need for more studies on some indicators of e-assessment quality in online courses, as well as longitudinal studies (Stödberg, 2012) or comparative ones (Balfour, 2013). And, more specifically, to continue investigating to answer questions about methods to improve reliability, validity, authenticity and security of student assessments, or about techniques to provide effective automated assessment and immediate feedback systems; and how they can be integrated in open learning environments (Oncu and Cakir, 2011) to give more usability assurance to quality instruments that can be developed. In addition to this, further research is necessary to characterize the design of the dimensions that define a new teaching under the MOOC model for, thereafter, obtain tools to assess the indicators of subfactors of the same dimensions to consider. Thus, it would be the analysis and comparison between tools more efficiently, improving procedures in the new designs and making a quality level certification more in line with reality as feasible. In this line of work, it could accredit to vendors platforms with certified MOOCs courses and avoid the offer of training activities with weaknesses in inappropriate teaching methodology from current pedagogical theories (Valverde, 2014) and preventing, as far possible, the trend towards standardization of knowledge and serious problems to attend to individual differences due to overcrowding, which leads to a unidirectional communication design, teacher-centered and based on the content. Thus, MOOCs could be a democratization of higher education but with pedagogical interests prevail over economic ones. Finally, we would like to close these reflective lines indicating that the present research is a innovative initiative in the creation of a Observatory for Quality and Innovation MOOCs (OCIMOOC®), intended be an operating-functional environment and a virtual habitat where this setting allows multidisciplinary scientific cooperation schemes and promotes synergies with other countries to building future scientific collaboration agreements and postdoctoral works that contribute to the enrichment of competitive and socio-economic business network of the country. Keywords: MOOC, Virtual Training Quality, Quality Standards, EduTool®, pedagogy, evaluation, assessment, UNE 66181 Rule, fuzzy logic, fuzzy rules, OCIMOOC®.