Foro 5: Métricas y Metodologías Ágiles para la Gestión de Datos

Yo pienso que el mayor desafío al implementar metodologías ágiles como el Scrum, es la resistencia al cambio por parte del equipo de trabajo, muchos están acostumbrados a las metodologías rígidas tradicionales, por ejemplo, dentro del sector petrolero, en la empresa SERTECPET, se contrató a un experto en Srum para que implemente esta metodología en la empresa. Lo más difícil para el ingeniero, fue transmitir sus conocimiento a los jefes de área, ya que miraban esta metodología como una traba, un paso extra que les quitaba tiempo, en especial en campo "bases en el coca", ya que muchos de los lideres no estaban acostumbrados a ceder el control. Los gerentes determinaron que al realizar cursos continuos durante un mes, todos podrían manejar de manera versátil la metodología Scrum, esta decisión fue un gran cierto, ya que los tiempos de trabajo en campo, se redujeron, así como los errores en obra, esto ayudó a que el índice de ganancia por obra subiera. Fue un gran desafío implementar metodologías ágiles pero también fue un gran acierto a futuro. Incluso se creó un área específica para esto.
Incluyo bibliografía para que puedan revisar algunos de los desafíos en entornos ágiles.
Advised Skills Research Team. (2024). Desafíos comunes en las prácticas ágiles en la actualidad. AdvisedSkills. https://www.advisedskills.com/es/blog/%C3%A1gil-y-scrum/Desaf%C3%ADos-comunes-en-las-pr%C3%A1cticas-%C3%A1giles-hoy-en-d%C3%ADa

Tu aporte es sólido y bien estructurado, reconoce la naturaleza persistente y acumulativa del dato. Sin embargo, vale la pena profundizar y tensionar algunos puntos desde una perspectiva técnica y teórica.

1. Cultura y Data Mesh
Coincido en que el paso de “activo custodiado” a “producto vivo” es central. No obstante, el enfoque de Data Mesh (Dehghani, 2022) no es trivial de implementar en organizaciones con baja madurez en gobernanza. La descentralización sin estándares mínimos puede generar fragmentación semántica y proliferación de definiciones inconsistentes (por ejemplo, múltiples versiones de “cliente activo”). Aquí un contraargumento clave es que antes de descentralizar conviene establecer un marco base (como DAMA) que defina metadatos comunes, glosarios y políticas globales. Es decir, la descentralización requiere primero estandarización.

2. Herramientas y DataOps
La adopción de DataOps y CI/CD es esencial, pero no elimina completamente la deuda técnica. A diferencia del software transaccional, los pipelines de datos dependen de fuentes externas volátiles. Incluso con Git y pruebas automatizadas, los cambios en esquemas upstream pueden romper flujos completos. Por ello, además de versionamiento, es clave implementar data observability (monitoreo de frescura, volumen y distribución estadística). Métricas como data drift y pipeline reliability deberían integrarse como indicadores ágiles en cada sprint.

3. Equipos Multidisciplinarios
El modelo cross-functional reduce cuellos de botella, pero introduce otro riesgo: la dilución de especialización profunda. En proyectos complejos (por ejemplo, arquitecturas lakehouse), la experiencia técnica senior sigue siendo crítica. Una alternativa híbrida interesante es el modelo hub-and-spoke: equipos de dominio ágiles conectados a un centro de excelencia que define estándares y buenas prácticas.

4. Gobernanza Federada y cumplimiento
La idea de “guardrails automatizados” es potente, pero requiere madurez en automatización y catálogo de datos. Sin linaje trazable ni clasificación automatizada, la gobernanza federada puede volverse simbólica. Además, normativas como GDPR no solo exigen controles técnicos, sino accountability organizacional.

En síntesis, la agilidad en datos no debe plantearse como velocidad versus control, sino como automatización del control para habilitar velocidad sostenible. El verdadero debate no es metodológico, sino de arquitectura organizacional y madurez cultural.

Estimado Lenin, su análisis sobre los desafíos de implementar marcos ágiles en gestión de datos demuestra una comprensión profunda de las tensiones inherentes entre agilidad y gobernanza. Particularmente encuentro valioso su referencia al concepto de Data Mesh propuesto por Dehghani (2022), que efectivamente revoluciona la concepción tradicional de propiedad centralizada de datos.

Quisiera profundizar en el desafío de gobernanza federada que menciona. Desde mi experiencia como funcionario público en el Gobierno Provincial de Imbabura, la "falsa dicotomía" entre velocidad y control resulta especialmente pronunciada en el sector público ecuatoriano. Los requerimientos de trazabilidad documental exigidos por la Contraloría General del Estado y el sistema Quipux parecen inicialmente incompatibles con ciclos iterativos cortos. Sin embargo, como bien señala, los guardrails automatizados permiten mantener cumplimiento normativo sin burocratizar cada entrega.

Una reflexión adicional: ¿considera que la adopción de DataOps requiere un nivel de madurez tecnológica que muchas instituciones latinoamericanas aún no poseen?