Estas reflexiones se compartieron en la conferencia Future Downstream.
Uno de los problemas del big data es que el volumen total de datos tiende a convencernos de que los hallazgos basados en esos datos masivos deben ser precisos.
Sin embargo, si no se considera la calidad de los datos, esta suposición podría no ser cierta.
La cantidad de datos es solo un criterio para la precisión de una medición o predicción. Para abordar la precisión estadística basada en datos y determinar qué tan bien podemos representar el mundo real, debe evaluarse junto con la calidad de los datos.[1]
La calidad de los datos depende en gran medida del propósito de su uso. Deberían tenerse en cuenta algunas pautas.
- libres de sesgos (muestra, exclusión, medición, recuerdo, observador, asociación, prejuicio, confirmación…)
- tener un tamaño estadísticamente representativo,
- fuentes de datos documentadas (incluido el procesamiento, la limpieza, …)
Me gustaría destacar tres ideas principales:
Diseño considerando la estandarización de datos#
Hoy en día, al diseñar un modelo de datos, debes asegurar la trazabilidad de los datos, la observabilidad de los datos y considerar el uso de almacenes de datos.
Todos los metadatos incluidos en tus conjuntos de datos son necesarios. Estos ayudan a la seguridad, la calidad y la transparencia.
Este diseño estándar debería tener en cuenta desde el inicio cómo integrar sistemas heredados. Fíjate que digo “integrar” y no “migrar”. La migración puede ser un proceso costoso (en términos de dinero y tiempo) y no debería considerarse en la primera fase de tu proyecto.
El valor de negocio es lo primero#
No pierdas de vista el valor de negocio. Asegúrate de que tus programas de datos no se centren únicamente en la exactitud. Deben tener la función objetivo orientada al valor de negocio y a resolver problemas empresariales.
Una forma de garantizar valor es romper los silos entre disciplinas. Así, todos aportan sus mejores fuentes de datos; y, lo más importante, se comparte el conocimiento entre las diferentes implementaciones.
Y por último, una clave importante de “modelado y analítica” …
La analítica no es la nueva física#
Hemos estado probando nuestros fundamentos durante más de 100 años.
Sabemos lo que funciona y lo que no; por eso contamos en nuestra empresa (y externamente) con expertos.
El modelado y la analítica no están aquí para reemplazar lo anterior, sino para ampliarlo y aprovecharlo. Lo que hacemos es una combinación de modelos impulsados por datos y modelos numéricos basados en ecuaciones físicas.
Piensa en la “Analítica Avanzada” como una herramienta para desafiar a tus expertos a replantear las soluciones.
La analítica utiliza big data para apoyar hipótesis, describir comportamientos y plantear a los especialistas problemas nuevos o nunca imaginados.
Solo una cosa más…#
Ten una mentalidad ágil con implementaciones rápidas de MVP y despliegues subsecuentes.
Procura demostrar valor rápidamente al negocio. No hagas que el negocio asuma el coste de las primeras implementaciones hasta que se demuestre un caso de éxito.
Más información en el link 👇
