Gestión de datos maestros

Datos maestros: Hacen referencia a las características de los objetos básicos de negocio dentro de una organización. Este tipo incluye datos de materiales, productos, proveedores, clientes, empleados y activos. Por ejemplo, respecto del cliente, su nombre y apellidos forman parte de los datos maestros.

Datos transaccionales: Describen las transacciones comerciales y representan la entrada y salida de los procesos empresariales. Se crea constantemente en el curso de las actividades empresariales, hace referencia a datos maestros e indica cambios en los datos de inventario. Por ejemplo, imaginemos que tenemos una cafetería, la compra de un café y una galleta para desayunar y los datos vinculados a dicha compra (importe, hora...) son datos transaccionales.

Datos de inventario: Hacen referencia a los niveles de existencias y cuentas. Por ejemplo, si continuamos con el tema de la cafetería, la cantidad en existencia de café, en qué fecha se compró o la fecha de caducidad son datos de inventario.

Referencia temporal: Hace referencia a la dependencia del dato respecto de un determinado punto en el tiempo.

Frecuencia actualización: Hace referencia a la frecuencia con la que un dato se actualiza o cambia durante un determinado periodo de tiempo.

Volatilidad volumen: Hace referencia al crecimiento del dato en volumen respecto al tiempo.

Independencia existencial: Hace referencia al grado en el que el dato hace referencia a otros tipos de datos.

El nombre y apellidos de un cliente, que sabemos que es un dato maestro, son datos que no suelen cambiar en el tiempo, por lo que está claro que las tres primeras características tienen el valor «baja», y la cuarta, «alta».

En el caso de la compra del café y la galleta, este dato está ligado a un cierto momento en el tiempo; no se va a actualizar, depende de los datos maestros (cliente y productos).

En el caso del nivel de existencia de café, depende del tiempo; se actualiza tras cada transacción en la que se vende un café, depende de los datos maestros y las transacciones, pero tan solo cambia un registro.

La gestión de datos maestros es una pieza fundamental para las operaciones y la toma de decisiones analíticas.

Los datos maestros se pueden encontrar dispersos por toda la organización, e incluso fuera de ella.

El dato maestro establece una definición estándar para datos críticos desde la perspectiva de negocio que se comparte a lo largo de la organización, y representa la única fuente de verdad.

Datos de referencia: Es el conjunto de valores admisibles que deben ser utilizados por otros campos de datos (maestros o transacciones). Los datos de referencia, normalmente, cambian lentamente, reflejando cambios en los modos de operación de la empresa, en lugar de cambiar en el curso normal de los negocios.

Datos de maestros: Son una fuente única de datos empresariales comunes utilizados en múltiples sistemas, aplicaciones y/o procesos.

Datos maestros corporativos: Hacen referencia a la fuente única de datos empresa riales comunes utilizados en todos los sistemas, aplicaciones y procesos de toda una empresa (todos los departamentos, divisiones, empresas y países).

Datos maestros de mercado: Son la fuente única de datos comerciales comunes para todo un mercado. Los datos maestros de mercado se utilizan entre empresas dentro de la cadena de valor. Un ejemplo de datos maestros de mercado es el UPC (Universal Product Code), que se encuentra en los productos de consumo. Este tipo de dato maestro es necesario para vender productos en Amazon ⁽³⁾ .

Una comprensión consistente de los activos de datos más críticos y comunes de la organización.

Mecanismos para el uso consistente de los datos maestros a lo largo de la organización.

Está diseñado para la gestión de cambio, lo que ayuda a una organización a adaptarse al mercado.

Gestión del riesgo: La volatilidad del mercado, las brechas en la seguridad cibernética e incluso la inestabilidad del gobierno extranjero están contribuyendo al aumento del riesgo empresarial. Para mitigar ese riesgo, es necesario comprender el dato desde su origen y sus modificaciones. Por ejemplo, teniendo trazabilidad del dato se puede conocer el punto donde ha sucedido la brecha y, por lo tanto, cuál es el punto más débil de la cadena.

Cumplimiento normativo: Cada año aparecen nuevos escenarios que requieren la actuación de las agencias reguladoras desarrollando o extendiendo medidas como HIPAA (Health Insurance Portability and Accountability, 1996), SOX (Sarbanes- Oxley, 2002) o GDPR (General Data Protection Regulation, 2016). Ser capaz de producir informes precisos es más importante que nunca, sea cual sea el ámbito que el organismo regulador ocupe: medio ambiente, impuestos, empleo, protección del consumidor, importación/exportación o empleados.

Gestión de inventarios: Los estándares para productos, que podemos encontrar en la tabla 2, requieren datos maestros limpios para garantizar que las empresas puedan mantenerse al día con sus inventarios y ventas. Por ejemplo, imaginemos que somos una empresa con tiendas físicas en España y que cada una de las tiendas compra, de forma independiente, al mismo proveedor. El hecho de usar la gestión de datos maestros daría conocimiento de esta situación y, por lo tanto, se podría haber negociado el precio con el proveedor.

Identificar fuentes de datos maestros: En este paso se crea un catálogo de todas las fuentes de datos (bases de datos, ficheros...) que contienen los datos de materiales, productos, proveedores, clientes, empleados y activos. Este paso frecuentemente resulta ser muy revelador, dado que se descubre que los datos suelen estar dispersos en múltiples fuentes que el departamento de las tecnologías de información (TI) no sabía que existían.

Identificar a los productores y consumidores de los datos maestros: Tras tener el catálogo de datos, el siguiente paso es conocer qué actores en la organización generan y consumen datos. Por ejemplo, qué aplicaciones/personas producen los datos maestros identificados en el primer paso y qué aplicaciones/personas los utilizan. En algunos casos, este punto puede ser más sencillo si todos los cambios se detectan y se manejan en el nivel de base de datos.

Recopilar y analizar metadatos acerca de sus datos maestros: Este paso consiste en generar conocimiento sobre las fuentes de datos. Para todas las fuentes identificadas en el primer paso, ¿cuáles son las entidades y atributos de los datos, y qué significan? Responder a esta pregunta significa conseguir el nombre de atributo, el tipo de datos, los valores permitidos, las restricciones, los valores predeterminados, las dependencias y quién posee la definición y el mantenimiento de los datos. Frecuentemente, determinar quién es el propietario de los datos resulta sumamente difícil y pone de manifiesto una necesidad.

Nombrar administradores de datos: En la etapa anterior, habrá quedado patente qué datos tienen propietarios y administradores. Un administrador de datos, también conocido como data steward, es una persona con el conocimiento de los datos fuente actuales y la capacidad de determinar cómo transformar la fuente en el formato de datos maestros. En general, los administradores deben ser nombrados por los propietarios de cada fuente maestra de datos, por los arquitectos responsables de los sistemas MDM y por representantes de los usuarios empresariales de los datos maestros.

Implementar un programa y un consejo de gobierno de datos: La implementación de MDM necesita del gobierno del dato. Es sumamente aconsejable que exista un proceso de toma de decisiones para con el dato bien definido, puesto que será necesario tomar decisiones sobre cómo se mantienen los datos maestros, qué contienen, cuánto tiempo se mantienen y cómo se autorizan y auditan los cambios.

Desarrollar un modelo de datos maestros: Normalmente, esta es una de las fases más importantes y difíciles. Aquí es necesario determinar cómo son los datos maestros, es decir, qué atributos se incluyen, qué tamaño y tipo de datos son, qué valores se permiten, etc. También aquí se incluye la asignación entre el modelo de datos maestros y las fuentes de datos actuales. La dificultad en este punto reside en que, si se incluyen todos los atributos de origen en la entidad maestra, a menudo se termina con un modelo de datos maestros demasiado complejo y engorroso para ser útil.

Elegir un conjunto de herramientas: La implementación de la gestión de datos maestros require herramientas de soporte para el almacenamiento del dato, el tratamiento del dato, su limpieza y su gestión. Existen herramientas especializadas en MDM –que integran diferentes componentes necesarias–, o tan solo en uno de los conjuntos de datos, como puede ser para cliente, conocidas como customer data integration (CDI) o para producto, conocidas como product information management (PIM), o se pueden aprovechar herramientas existentes en la organización de ámbitos, como la integración de datos o la calidad del dato. Como veremos en el capítulo 4, el conjunto de herramientas debe soportar múltiples funciones, entre las que destacamos también mantener versiones y jerarquías de datos maestros.

Diseñar la infraestructura: Los datos maestros deben almacenarse en una infraestructura que permita exponerlos a las aplicaciones y proporcionar al mismo tiempo procesos para administrarlos y mantenerlos. Existen diferentes opciones para el diseño, como veremos en el capítulo 3. El foco de esta infraestructura es la fiabilidad y la escalabilidad.

Generar y probar los datos maestros: En este paso es donde se utilizan las herramientas que han sido seleccionadas. Se combinan los datos de origen para confirmar las listas de datos maestros. Durante el proceso, frecuentemente, se requiere el ajuste de reglas de negocio al descubrir, por ejemplo, excepciones. Aunque las herramientas han avanzado considerablemente, la inspección manual puede ser necesaria para asegurar que los resultados son correctos y cumplen con los requisitos establecidos para el proyecto. Este proceso se conoce como curación de datos.

Modificar los sistemas productores y consumidores: La implementación de MDM en una organización frecuentemente implica cambiar los sistemas que producen, mantienen o consumen datos maestros para trabajar con la nueva fuente de datos maestros. Si los datos maestros se utilizan en un sistema separado de los sistemas de origen (un almacén de datos, por ejemplo), es posible que los sistemas fuente no tengan que cambiar. Sin embargo, si los sistemas fuente van a utilizar los datos maestros, probablemente habrá cambios requeridos. Los sistemas fuente tendrán que acceder a los nuevos datos maestros o los datos maestros tendrán que sincronizarse con los sistemas fuente, de modo que los sistemas fuente tengan una copia de los datos maestros limpios que se utilizarán. En este punto, las técnicas de integración de datos jugarán un papel fundamental.

Implementar los procesos de mantenimiento: MDM es un proceso continuo en el que se debe asegurar y mantener la calidad de los datos maestros. Esta fase consiste en establecer mecanismos para reconocer los problemas (por ejemplo, señalar coincidencias cuestionables), simplificar las correcciones (por ejemplo, la herramienta debe proponer soluciones y ayudar a la rápida identificación de los errores) y revisar el historial de cambios (por ejemplo, para aislar la fuente de errores y deshacer cambios incorrectos, o revisar los elementos que se agregaron como nuevos, porque los criterios de coincidencia estaban cerca pero por debajo del umbral).

Dominio de datos (maestros): Esta dimensión pone el foco en el dominio de datos a considerar en el proyecto, que puede ser acotado o completo.

Acotado: Hace referencia a un conjunto limitado pero cerrado de datos. Estos datos pueden ser de clientes (B2B o B2C), de producto, datos de referencia, localizaciones, de proveedores, etc.

Completo: Hace referencia a todos los datos maestros de la organización.

Estilo del proyecto: Esta dimensión pone el foco en el estilo del proyecto MDM. Tenemos, principalmente, seis estilos:

Estilo de registro: En este tipo de proyecto, los distintos sistemas de origen publican sus datos y el sistema MDM almacena solo el identificador (ID) de sistema de origen, las claves foráneas (ID de registro en sistemas de origen) y los valores de datos clave necesarios para la coincidencia. El sistema ejecuta los algoritmos de limpieza y el emparejamiento y asigna identificadores globales únicos a los registros coincidentes, pero no envía ningún dato de nuevo a los sistemas de origen. En este caso, el sistema se apalanca en la federación de datos para crear una vista de los datos maestros.

Estilo de consolidación: Los registros maestros se consolidan físicamente en un sistema central. La creación de los datos sigue estando distribuida a través de los sistemas operacionales y los datos maestros pueden actualizarse a partir de eventos, pero no se garantiza que estén actualizados. Los datos maestros, en este caso, generalmente no se usan para transacciones, sino que apoyan la generación de informes.

Estilo de coexistencia: El sistema MDM incluye datos maestros escritos y almacenados en numerosos sistemas operacionales, pero incluye un registro maestro físicamente almacenado en el sistema central y datos maestros armonizados en toda la cartera de aplicaciones de la organización.

Estilo de transacción: El sistema MDM almacena, mejora y mantiene todos los atributos de datos (maestros) relevantes. Se convierte en la fuente autorizada de la verdad y publica esta información valiosa de nuevo en los respectivos sistemas de origen. El sistema MDM publica y escribe los diversos elementos de datos en los sistemas fuente después de que los algoritmos de vinculación, limpieza, emparejamiento y enriquecimiento hayan hecho su trabajo. Los sistemas operacionales están suscritos a actualizaciones.

Estilo de transacción adaptable: Es similar al estilo de transacción, pero además proporciona la capacidad de responder a diversas solicitudes de información y proceso en toda la empresa. El sistema consolida información interna y externa y proporciona servicios a sistemas operacionales, analíticos o ambos. Proporciona información en tiempo real y linaje (o trazabilidad) de cambios.

Estilo de confederación: Existen diferentes sistemas MDM que se mantienen a nivel departamental/territorio/agencia y que están conectados a un sistema central. Cada sistema, en el ámbito del dominio, puede diseñarse con uno de los estilos anteriores, pero el central suele ser de registro. Este enfoque suele aplicarse en el sector público, donde no es posible almacenar datos de diferentes agencias de forma conjunta.

Caso de uso: Existen dos casos de uso:

Operacional: Que proporciona servicios de MDM para sistemas operacionales.

Analítico: Que proporciona servicios de MDM para sistemas analíticos, como el almacén de datos.

Comportamiento: Los datos maestros se pueden identificar por la forma en que interactúan con otros datos. Los datos maestros normalmente están relacionados con los datos transaccionales siguiendo una relación sustantivo/verbo. Los datos transaccionales captan verbos (por ejemplo, una venta) y los maestros los sustantivos (por ejemplo, cliente y producto).

Ciclo de vida: Los datos maestros también se pueden identificar por la forma en la se crean, se leen, se actualizan, se eliminan y se buscan. Este ciclo de vida se conoce como CRUD, acrónimo de Create, Read, Update y Delete. Este proceso depende de las reglas de la empresa, el segmento de la industria y los sistemas de datos. La tabla 3 ilustra ciclos CRUD para cuatro dominos de datos maestros comunes.

Cardinalidad: A medida que la cardinalidad de un dato decrece, la probabilidad de que sea considerado un dato maestro decrece. Por ejemplo, si una empresa tiene una cantidad limitada y reducida de clientes, los beneficios de implementar una solución de gestión de datos maestros serán limitados.

Vida del dato: Los datos maestros tienden a ser menos volátiles que los datos transaccionales. La duración del dato depende del sector. Un tipo de dato en una industria particular puede considerarse un dato maestro (en términos de baja volatilidad), mientras que en otras no. Por ejemplo, un contrato para pintar una casa es una transacción al ser un acuerdo único y de corta duración, mientras que un contrato para representar a un artista puede ser considerado un dato maestro al ser un acuerdo a largo plazo e incluir datos no volátiles.

Complejidad: Los datos maestros suelen ser complejos; por ello, requieren mayor atención y cuidado en su gestión. Aquellos activos que son simplemente guardados y almacenados (lo que puede entenderse como baja complejidad) no necesitan considerarse como datos maestros.

Valor: A mayor valor de un dato, más grande es la necesidad de protegerlo y mantener su calidad, por lo que hay una mayor probabilidad de que sea considerado como un dato maestro.

Volatilidad: Aunque los datos maestros son menos volátiles, no significa que no lo sean. Un dato que no presenta esta característica no necesita una solución para gestionarlo.

Reusabilidad: Los datos maestros se caracterizan por su alta reusabilidad en la organización. Por ejemplo, consideremos los datos de cliente que se comparten en múltiples aplicaciones y departamentos. Sin una solución de MDM, existirán múltiples versiones del mismo concepto.

Datos financieros: Este tipo de datos puede obtenerse del ERP (Enterprise Resource Planning), que es un sistema informático destinado a la administración de recursos en una organización.

Datos de cliente: Este tipo de datos puede obtenerse del CRM (Customer Relationship Management), que es un sistema informático para la administración y gestión de la relación con clientes. Sin embargo, con la explosión de las redes sociales e información de terceros es posible extender esta información más allá de los sistemas internos de la organización.

Datos de empleados: Este tipo de datos puede obtenerse del HRM (Human Resources Management), que es un sistema informático para la administración y gestión de la relación con empleados. También es posible encontrar información en sistemas para la gestión de proyectos. Sucede algo similar con la información de cliente, que es posible extender con información de terceros.

Datos de producto: Este tipo de datos puede obtenerse del PLM (Product Lifecycle Management), que es un sistema para la gestión del ciclo de vida de un producto, desde su diseño hasta el fin de su vida útil y reciclaje.

Datos de localización: Que puede incluir datos geopolíticos (como países, estados, provincias...) y datos de negocio (como direcciones de oficinas, de almacenes...).

Técnicas de integración de datos: Permiten la captura, el procesamiento y la distribución de datos desde fuentes de origen hacia el repositorio central de datos maestros, y viceversa. Estas técnicas incluyen la propagación de datos, la consolidación de datos, la federación de datos y el change data capture.

Técnicas de almacenamiento de datos: Permiten el almacenamiento de datos maestros y de referencia en un repositorio central (y aquellos que sean necesarios en función del enfoque). Estas técnicas incluyen la creación de modelos de datos y el establecimiento de reglas de negocio.

Técnicas de calidad de datos: Permiten mantener y mejorar la calidad de los datos maestros y de referencia. Estas técnicas incluyen el perfilado de datos, el análisis semántico y estadístico de datos, el emparejamiento por reglas de negocio, semántico y estadístico de datos, la normalización y estandarización de datos. Parte de estas técnicas se fundamentan en algoritmos de aprendizaje automático.

Técnicas de jerarquías: Permiten ordenar y categorizar los datos maestros de forma flexible. Estas técnicas tienen puntos en común con las técnicas OLAP (en el sentido de definición).

Técnicas de exploración de datos, aplicaciones y sistemas: Permiten identificar automáticamente los datos de una organización (presentes en múltiples sistemas y aplicaciones) y, además, proponer qué datos deben formar parte del repositorio MDM. Parte de estas técnicas también se fundamentan en algoritmos de aprendizaje automático.

Modelización de datos: Componente que se encarga de la creación y el mantenimiento del modelo de datos maestros; incluye: diseño fundamentado en reglas de negocio, glosario de negocio, soporte para reglas complejas de negocio, etc.

Semántica y calidad de datos: Componente que se encarga de la calidad de datos incluyendo la normalización, la estandarización, el uso de capacidades semánticas y estadísticas para el emparejamiento y la calidad de datos, el enriquecimiento de datos, etc.

Flujos y procesos de negocio: Componente para la gestión de flujo de trabajos vinculados con datos maestros, incluyendo asignaciones basadas en roles y usuarios, API para integración con sistemas externos, métricas para la comprensión de los flujos y actividades fundamentadas en reglas de negocio.

Gobierno y definición de políticas de datos: Componente que habilita la creación y el mantenimiento de políticas de datos; incluye: perfilado y descubrimiento de datos, creación colaborativa de reglas de datos, glosario de definiciones, versión de políticas y cuadro de mando de control.

Gestión de jerarquías de datos: Componente para la gestión de jerarquías de datos maestros, que incluye: autodescubrimiento de jerarquías, jerarquías basadas en relaciones predefinidas, búsqueda por jerarquías, soporte para jerarquías múltiples por role y dato maestro, así como jerarquías balanceadas, desequilibradas y recursivas.

Administración y aplicación de políticas de datos: Componente que es el único punto para la aplicación de políticas de datos maestros, incluyendo: autoría y combinación de datos, aplicación de políticas a nivel de registro o atributo, gestión de colas de aplicación de políticas, creación y gestión de eventos y notificaciones y métricas y cuadro de mando de control.

Integración de datos: Componente que se encarga de integración de datos maestros, incluyendo: conectores a todo tipo de fuentes de datos (bases de datos relacionales, NoSQL, ficheros, aplicaciones, APIs...), ETL, CDC, etc.

Arquitectura de datos: Componente que se encarga del almacenamiento de datos maestros que debe soportar despliegue en la nube o en el centro de datos propio de la organización, así como la escalabilidad.

Seguridad y confianza de datos: Componente que se encarga de la seguridad de los datos, incluyendo: seguridad basada en roles, a nivel de registro y campo, integración con sistema corporativo de la gestión de protocolos de acceso como LDAP (Lightweight Directory Access Protocol), auditoría de datos, trazabilidad del dato y análisis de impacto.

Descubrir qué aplicaciones contiene datos relevantes de producto y susceptibles de formar parte de los datos maestros. Asimismo, es necesario evaluar su nivel de calidad. En este punto se usan las componentes de integración y calidad de datos de la plataforma.

Crear el modelo de datos maestros a través del consenso con las diferentes unidades de negocio implicadas. En este punto se usa el componente de modelización de datos maestros.

Definir las reglas de validación (de negocio), de calidad de datos y de convergencia entre fuentes. En este punto se usan diferentes componentes, como la de administración de las políticas.

Identificar y definir las interfaces de acceso de usuarios a la plataforma MDM. En este punto interviene la componente de integración de datos, así como la seguridad del dato y el gobierno.

Definir las políticas de gobierno de datos maestros y sus flujos de trabajo. Aquí es relevante la componente de administración y definición de políticas.

Integrar MDM con las aplicaciones de negocio necesarias. Así juega un papel fundamental la componente de integración de datos.

Poner en producción y gestionar el gobierno del dato maestro fundamentada en la componente de gobierno.

Ingerir datos: Capacidad para la ingesta de datos de autoservicio con limpieza de datos, validación y perfiles automáticos.

Preparar datos: Capacidad para manipular y preparar datos a través de SQL y transformación interactiva a través de una interfaz de usuario simple.

Descubrir datos: Capacidad para explorar datos y metadatos y comprender su linaje, así como su perfilado.

Monitorizar datos: Capacidad para comprender el rendimiento y funcionamiento del data lake (es decir, quién lo usa, cómo, etc.), así como el seguimiento de SLA y resolución de problemas de rendimiento.

Diseño de flujos de datos: Capacidad para el diseño de flujos de datos para autoservicio.