Como estudiantes de una maestría en línea, es importante comprender el proceso de validación del diseño de los EVA, el cual nos permite comprobar si todos sus elementos componentes contribuyen al cumplimiento de los objetivos, competencias o resultados de aprendizaje establecidos para un curso o asignatura. El proceso de validación implica una revisión exhaustiva de la interfaz del usuario, la estructura de navegación, los contenidos digitales, las actividades de evaluación, así como de las herramientas de comunicación. También implica llevar a cabo un conjunto de pruebas de funcionamiento que ayudan a identificar fortalezas, debilidades y posibles áreas de mejora.

Las analíticas de aprendizaje son necesarias para comprender y optimizar los procesos de enseñanza y de aprendizaje en los EVA creados mediante la plataforma Moodle, ya que ellas nos permiten tomar decisiones informadas basadas en datos con la finalidad de mejorar las experiencias de aprendizaje diseñadas. Términos como minería de datos educativos, el seguimiento del progreso estudiantil y los indicadores de rendimiento académico son esenciales para entender la arquitectura de esta plataforma y actuar con un plan de trabajo que ayude a modificar o crear nuevos contenidos digitales o actividades de evaluación si así fuese necesario.

En la Clase 2, enfatizamos la importancia de contar con estándares de calidad e instrumentos efectivos para evaluar y validar el diseño de este tipo de ambientes virtuales. En la educación virtual, gran parte de los procesos de enseñanza y de aprendizaje se desarrolla a través de un EVA, por tanto, es primordial asegurar su óptimo funcionamiento con altos estándares de calidad y ajustado a los intereses y necesidades de los estudiantes. La validación del diseño de un EVA implica la aplicación de métodos de evaluación que ayuden a analizar diversos aspectos, como la usabilidad, la accesibilidad, la organización de los contenidos digitales y actividades de evaluación, la efectividad de las herramientas de comunicación, así como la alineación de estos aspectos con los objetivos, competencias y resultados de aprendizaje.

Estos instrumentos de validación deben ser cuidadosamente diseñados, teniendo en cuenta modelos teóricos sólidos y alineados con estándares internacionales reconocidos, como el Institute for Higher Education Policy (2000) que estableció un conjunto de estándares de calidad organizados en siete categorías: a) apoyo institucional, b) desarrollo del curso, c) proceso de enseñanza/aprendizaje, d) estructura del curso, e) apoyo al estudiante, f) apoyo al profesorado y, g) evaluación y valoración. En función de estas categorías se desglosan unos indicadores de logro con el cual validamos el funcionamiento de un EVA para propósitos educativos y de capacitación profesional. Al contar con estos instrumentos de validación, los docentes de diversas áreas disciplinares, los expertos informáticos y curriculares, tecnólogos educativos y demás profesionales que integran un equipo de diseño instruccional podrán identificar fortalezas, debilidades y áreas de mejora de manera sistemática, favoreciendo la optimización constante de los EVA.

8.1.1. Propósitos para su elaboración y uso

Entre los principales motivos que justifican la elaboración de instrumentos de validación de los EVA es determinar si cumplen con los requisitos pedagógicos, tecnológicos y de usabilidad establecidos. Con ellos determinamos las fortalezas y debilidades que puedan tener sus elementos componentes, y en función de estas llevar a cabo procedimientos de edición que contribuyan a mejorar su funcionamiento y garantizar que tales elementos guarden relevancia con los resultados de aprendizaje establecidos, los intereses y las necesidades de los estudiantes (García Peña et al., 2023).

Al aplicar los instrumentos de validación en momentos clave, como la etapa de implementación en el proceso de diseño instruccional, los docentes y diseñadores podrán tomar decisiones informadas, realizar ajustes oportunos y garantizar que el producto final cumpla con los estándares de calidad deseados. Cuando se recopilan y analizan los resultados de las validaciones, lograrán identificar tendencias, patrones y áreas de oportunidad, lo cual justificará el desarrollo de actualizaciones u optimizaciones que fortalezcan las experiencias de aprendizaje en el EVA.

A continuación, señalaremos un procedimiento básico para la creación de instrumentos de validación orientados al diseño de los EVA. Los pasos que lo conforman pueden adaptarse a situaciones de carácter académico o de capacitación empresarial.

• Definir los objetivos y alcance de la validación: Identifique claramente los aspectos a evaluar en el EVA, como usabilidad, accesibilidad, diseño instruccional, así como la alineación con los resultados de aprendizaje, los intereses y necesidades de los estudiantes. Esto guiará la selección del formato apropiados para la construcción de los instrumentos.
• Revisar estándares y modelos de referencia: Estudie las pautas de calidad en educación virtual según la Organización Internacional de Normalización (ISO) o recomendaciones de la Organización de las Naciones Unidas para la educación, la Ciencia y la Cultura (UNESCO) y del Institute for Higher Education Policy (2000), para asegurar que los instrumentos a crear se alineen con las mejores prácticas internacionales. El uso de herramientas web como Google Docs o Canva podrían facilitar la edición colaborativa de los instrumentos, sobre todo en la redacción de los criterios o indicadores de logro.
• Diseñar instrumentos de evaluación: Cree listas de cotejo, cuestionarios, guías de observación y rúbricas que permitan recopilar datos cuantitativos y cualitativos sobre el diseño del EVA. El uso de herramientas web para la edición de formularios como Microsoft Forms o Google Forms son útiles para cumplir con este propósito.
• Validar los instrumentos con expertos: Someta los instrumentos de validación elaborados a la revisión de un panel de expertos en Diseño Instruccional y Tecnología Educativa para garantizar su relevancia, claridad y efectividad. En caso de dificultades para organizar una reunión presencial, puede utilizar herramientas de videoconferencia como Zoom o Microsoft Teams para llevar a cabo el proceso de validación de expertos.
• Aplicar los instrumentos de validación: Implemente los instrumentos elaborados con los usuarios finales, ya sean estudiantes, docentes o diseñadores instruccionales, con el propósito de recopilar informaciones sobre el funcionamiento de los elementos componentes del EVA. Herramientas como Google Sheets o Microsoft Excel son ideales para analizar los datos recopilados.
• Analizar resultados y proponer mejoras: Procese y sintetice los hallazgos de la validación para identificar fortalezas, debilidades u oportunidades de mejora sobre el diseño del EVA. El uso de herramientas como Canva o Genial.ly podrían ayudar en la difusión de los resultados de la validación.

8.1.2. Criterios o indicadores de validación

Ilustraremos los estándares de calidad establecidos por el Institute for Higher Education Policy (2000), con sus respectivos criterios o indicadores de validación. Aunque provengan de una fuente reconocida mundialmente, su utilización dependerá de los intereses que tenga el equipo de diseño instruccional y los elementos componentes de un EVA en los que deseen realizar una revisión más exhaustiva y validar su funcionalidad.

Otro aspecto a considerar es la adopción del formato y herramienta adecuada para el diseño de los instrumentos de validación, puesto que no solo se pretende ofrecer alternativas que faciliten su entrega a los evaluadores, sino también garantizar un registro detallado y resguardo de los datos obtenidos. Existen herramientas web que facilitan la visualización y procesamiento estadístico de los datos, de manera que optimicen el análisis de los estándares o criterios deben ser atendidos y así especificar las áreas de mejora en los EVA. A través de la figura 1 expondremos las siguientes recomendaciones.

Las analíticas de aprendizaje permiten realizar un seguimiento detallado y sistemático de las interacciones, el progreso y los patrones de comportamiento que se desarrollan en los EVA. Su importancia radica en la capacidad de proporcionar datos significativos que impulsan la toma de decisiones informadas. A través de ellas, podemos identificar patrones de acceso al contenido, tiempo dedicado a las actividades, niveles de participación en foros y el progreso en las evaluaciones. Estas informaciones resultan ser gran importancia para detectar tempranamente los participantes que están en riesgo de reprobar un curso o asignatura y, en función de eso, proporcionarles el apoyo necesario y oportuno para mantenerlos activos y así logren alcanzar los resultados de aprendizaje establecidos.

Desde la perspectiva del diseño Instruccional, las analíticas de aprendizaje en la plataforma Moodle nos permiten evaluar la efectividad de los recursos y actividades de evaluación implementados, identificando aquellos que generan mayor compromiso y aprendizaje significativo. Estos aspectos facilitan el mejoramiento continuo del diseño del EVA y la adaptación de nuevas estrategias según los intereses y necesidades de los estudiantes. Además, estas herramientas analíticas fomentan la autorregulación del aprendizaje, en vista que los estudiantes pueden acceder a informes sobre su progreso, identificar sus áreas de mejora y ajustar sus estrategias de estudio. En la plataforma Moodle, esta capacidad de seguimiento personal es especialmente valiosa, donde la autonomía y la gestión eficiente del tiempo son claves para garantizar el éxito académico.

8.2.1. Fundamentos y conceptos claves

Las analíticas de aprendizaje surgen en el ámbito de las organizaciones empresariales con la intención de conocer el comportamiento del consumidor externo. Este origen empresarial es uno de los factores que ha generado mayor resistencia, siendo el ámbito educativo uno de los más rezagados en tomarlo para fines propios (Sabulsky, 2019). Tiene sus raíces en la inteligencia de negocios y la minería de datos. La primera está centrada en herramientas computacionales para mejorar la toma de decisiones organizativas, mediante la fusión eficaz de datos recopilados a través de diversos sistemas, mientras que la segunda se ocupa de emplear grandes cantidades de datos para apoyar el descubrimiento de información nueva y potencialmente útil.

En el contexto educativo, las analíticas de aprendizaje se fundamentan en la recopilación, medición, análisis y presentación sistemática de datos sobre los estudiantes y sus contextos de aprendizaje. Este proceso se basa en el principio de que toda interacción en un EVA deja una huella digital que puede ser analizada para comprender y optimizar el proceso de aprendizaje. La fundamentación teórica se nutra de diversas disciplinas, incluyendo la ciencia de datos, la pedagogía, la psicología educativa y la informática (Domínguez Figaredo et al., 2020). Los conceptos claves asociados a las analíticas de aprendizaje son:

• Datos educativos: Se refiere a toda la información generada en un contexto educativo, desde el rendimiento académico hasta las interacciones en los ambientes virtuales. Sirve para personalizar el aprendizaje, mejorar la enseñanza y tomar decisiones basadas en evidencias. (Álava Morán, 2021).
• Minería de datos educativos: Es el proceso de extraer patrones y conocimientos significativos a partir de grandes volúmenes de datos generados en los ambientes virtuales. Su objetivo es mejorar la enseñanza y el aprendizaje a través de la personalización, la identificación de dificultades y la toma de decisiones basadas en datos (Sabulsky, 2019).
• Rastro digital del aprendizaje: Engloba todas las interacciones que los estudiantes realizan en un ambiente virtual. Esto incluye patrones de navegación, tiempo dedicado a recursos específicos, participación en actividades colaborativas y desempeño en evaluaciones. Estos datos, si se analizan en conjunto, proporcionan una visión holística del proceso de aprendizaje (Domínguez Figaredo et al., 2020).
• Predicción del rendimiento académico: Se basa en el uso de modelos estadísticos y algoritmos para identificar patrones que pueden indicar el éxito o las dificultades potenciales de los estudiantes durante su participación en un ambiente virtual. Esta capacidad predictiva permite implementar intervenciones tempranas y personalizadas, siendo fundamentales para garantizar el éxito académico en este tipo de ambientes virtuales (Sabulsky, 2019).
• Áreas de oportunidad: Constituyen un espacio o aspecto específico que presenta un potencial para la mejora, el desarrollo o la innovación, con el fin de optimizar la experiencia educativa en un EVA. Estas áreas pueden manifestarse en diferentes dimensiones del diseño, desde aspectos técnicos como la implementación de nuevas herramientas y la optimización de la interfaz, hasta elementos pedagógicos como la incorporación de estrategias didácticas innovadoras y la personalización del contenido (Ruipérez-Valiente, 2020).
• Aprendizaje basado en evidencia: Se refiere a la toma de decisiones pedagógicas y la implementación de intervenciones educativas fundamentadas en datos concretos y análisis sistemáticos, en lugar de basarse en suposiciones o percepciones subjetivas. Mediante el uso de las analíticas, los docentes pueden acceder a información detallada sobre el progreso de los estudiantes, patrones de interacción y resultados de aprendizaje. Estos datos permiten diseñar intervenciones y estrategias pedagógicas que respondan de manera precisa a los intereses y necesidades de los estudiantes. En contraste con un modelo basado en la intuición o la experiencia anecdótica, el aprendizaje basado en evidencia asegura que las decisiones en el diseño y la implementación de los ambientes virtuales estén respaldadas por evidencias sólidas (Ruipérez-Valiente, 2020).

8.2.2. Métodos y técnicas de recolección y análisis de datos

A continuación, señalaremos un conjunto de métodos y técnicas que permiten a los administradores y docentes de los EVA diseñados en la Plataforma Moodle tomar decisiones sobre el diseño instruccional, el uso de recursos, la asignación de actividades de evaluación y el apoyo a los estudiantes. Recordemos que los principales propósitos de su aplicación es posibilitar el mejoramiento continuo y adaptar los EVA a los intereses y necesidades de los estudiantes. Para efectos explicativos, expondremos los componentes útiles para las analíticas de aprendizaje con base en la Plataforma Moodle en su versión 4.1. En la figura 2, describiremos las opciones que esta ofrece para llevar a cabo la recolección de datos.

En la figura 3, describiremos las herramientas que se pueden usar en esta Plataforma LMS para desarrollar el procesamiento de datos.

En la figura 4, describiremos las técnicas que se aplican comúnmente para analizar los datos obtenidos de la Plataforma Moodle.

8.2.3. Aplicaciones prácticas de las analíticas de aprendizaje en EVA

Conocer y aplicar los métodos y técnicas tendientes a una buena práctica de las analíticas de aprendizaje radica en varios aspectos fundamentales que impactan tanto en la calidad educativa como en la gestión eficiente de los EVA. En primer lugar, el análisis de datos permite una evaluación continua y precisa del rendimiento académico de los estudiantes. A través de la recolección de datos sobre la participación en actividades, calificaciones, tiempos de acceso y otros indicadores, los docentes pueden identificar patrones de comportamiento y rendimiento, facilitando la detección temprana de estudiantes que puedan necesitar apoyo adicional. También permite implementación de estrategias de intervención personalizadas que en las mejoras de su desempeño académico.

Por otra parte, al examinar los datos de interacción y retroalimentación de los estudiantes, los docentes pueden identificar qué elementos del curso son más efectivos y cuáles requieren ajustes. Incluye la revisión de los contenidos digitales, la estructura de las evaluaciones y la metodología de enseñanza adoptada. La capacidad de adaptar y mejorar los cursos en línea basándose en datos concretos asegura que la oferta educativa se mantenga relevante y de alta calidad. Otro aspecto importante es la optimización de los recursos, ya que la recolección y análisis de los datos permite a las instituciones educativas gestionar de manera más eficiente sus recursos humanos y tecnológicos. Por ejemplo, al identificar los momentos de mayor uso de una plataforma LMS como Moodle, podemos planificar mejor los períodos de mantenimiento y actualizaciones, minimizando las interrupciones en el servicio. Asimismo, podemos asignar de manera más efectiva los recursos de tutoría y soporte técnico, asegurando que estén disponibles cuando más se necesitan.

Es oportuno recordar que el conocimiento de las herramientas analíticas facilita la evaluación objetiva de la efectividad de los recursos y actividades de evaluación implementados en un curso en línea. La intención del docente y de los administradores de plataformas es realizar ajustes basados en evidencias concretas, no en suposiciones. Vamos con otro ejemplo, podemos identificar en un módulo del EVA qué recursos son más utilizados, qué actividades de evaluación generan mayor participación y qué contenidos resultan más difíciles para los estudiantes. La capacidad de interpretar adecuadamente los datos recolectados también impacta la optimización del proceso de diseño instruccional, porque si comprendemos los patrones de interacción y compromiso de los estudiantes, podemos diseñar experiencias de aprendizaje más efectivas y motivadoras, incluyendo la adaptación de contenidos, la modificación de estrategias de evaluación o la implementación de nuevas formas de interacción.

El uso de las analíticas de aprendizaje fomenta una cultura de toma de decisiones basada en datos. Esto no solo mejora la transparencia y la rendición de cuentas, sino que también empodera a los docentes y administradores de las plataformas para tomar decisiones informadas que beneficien a toda una comunidad educativa. La capacidad de respaldar decisiones con evidencias y datos concretos fortalece la confianza en las políticas y prácticas educativas implementadas. En este sentido, la aplicación de métodos y técnicas relacionadas con las analíticas de aprendizaje es necesaria para mejorar la calidad educativa, optimizar recursos y fomentar una cultura de decisiones informadas, contribuyendo así al éxito académico y administrativo de las instituciones que prestan servicios educativos en línea.