Data mesh

Descripción: Preámbulo .............................................................................................. xv Prefacio ................................................................................................. xvii Prólogo: Imagine una malla de datos .................................................... xxv Parte I. ¿Qué es Data Mesh o la "malla de datos"? 1. Data Mesh en pocas palabras .............................................................. 3 Los beneficios ....................................................................................................... 3 Los cambios .......................................................................................................... 4 Los principios ........................................................................................................ 6 Principio de propiedad del dominio ........................................................................... 6 Principio de los datos como producto ........................................................................ 7 Principio de la plataforma de datos de autoservicio .................................................. 8 Principio de gobernanza informática federada .......................................................... 9 Interacción de los principios................................................................................. 9 Vistazo del modelo de Data Mesh ...................................................................... 11 Los datos............................................................................................................. 12 Los datos operativos ................................................................................................. 12 Los datos analíticos .................................................................................................. 13 El origen .............................................................................................................. 14 2. Principio de propiedad del dominio ................................................... 17 Información breve sobre el diseño orientado al dominio .................................. 19 Uso del diseño estratégico del DDD para los datos ........................................... 20 Arquetipos de datos de dominio ........................................................................ 23 Datos de dominio alineados con la fuente ............................................................... 25 Datos de dominio agregados .................................................................................... 26 Datos de dominio alineados con el consumidor ...................................................... 27 Transición hacia la propiedad del dominio ........................................................ 28 Impulse la propiedad de los datos hacia arriba ........................................................ 28 Defina "múltiples modelos conectados" ................................................................. 29 Aproveche los datos de dominio más relevantes: no espere una única fuente de la verdad .................................................................................. 30 Oculte las tuberías de datos como implementación interna del dominio ............... 30 Repaso ................................................................................................................ 31 3. Principio de los datos como producto ................................................ 33 Uso del concepto de "producto" en los datos................................................... 35 Atributos básicos de uso de un producto de datos .................................................. 38 Transición hacia los datos como producto ......................................................... 47 Incluya la propiedad de los productos de datos en los dominios ............................ 48 Reformule la nomenclatura para crear un cambio .................................................. 49 Piense en los datos como un producto, no como un simple activo ......................... 49 Establezca una cultura de confianza, pero con verificación de datos ...................... 50 Una datos y cálculo como una unidad lógica ........................................................... 51 Repaso ................................................................................................................ 52 4. Principio de la plataforma de datos de autoservicio .......................... 53 Plataforma de la malla de datos: compare y contraste ..................................... 55 Servicio a los equipos autónomos orientados al dominio ........................................ 57 Gestión de productos de datos autónomos e interoperables .................................. 57 Una plataforma continua de recursos operativos y analíticos ................................. 58 Diseñado para la mayoría en general ....................................................................... 59 En favor de las tecnologías descentralizadas ........................................................... 60 Agnóstica respecto al dominio ................................................................................. 61 El concepto de "plataforma de la malla de datos" ............................................ 61 Habilite a los equipos autónomos para obtener valor de los datos ......................... 64 Intercambie valor con productos de datos autónomos e interoperables ................ 65 Acelere el intercambio de valor reduciendo la carga cognitiva ............................... 66 Comparta datos a escala .......................................................................................... 68 Apoye una cultura de innovación integrada ............................................................ 69 Transición hacia una plataforma de malla de datos de autoservicio ................. 70 Diseñe primero las API y los protocolos ................................................................... 70 Prepárese para la adopción en general .................................................................... 71 Haga un inventario y simplifique .............................................................................. 72 Cree API de nivel superior para gestionar productos de datos ................................ 72 Construya experiencias, no mecanismos ................................................................. 72 Comience con la raíz más pequeña y coseche para crecer ...................................... 73 Repaso ................................................................................................................ 74 5. Principio de gobernanza informática federada .................................. 75 Uso del concepto de "sistema" en la gestión de la malla de datos ................... 78 Mantener el equilibrio dinámico entre la autonomía del dominio y la interoperabilidad global ....................................................................................... 79 Adoptar la topología dinámica como estado inicial ................................................. 84 Utilizar la automatización y la arquitectura distribuida ........................................... 84 Uso de la federación en el modelo de gobernanza ............................................ 85 Equipo federado ....................................................................................................... 86 Valores guía .............................................................................................................. 88 Las políticas .............................................................................................................. 91 Incentivos ................................................................................................................. 93 Uso de la informática en el modelo de gobernanza .......................................... 94 Estándares como código........................................................................................... 95 Las políticas como código ......................................................................................... 96 Pruebas automatizadas ............................................................................................ 97 Control automatizado .............................................................................................. 97 Transición a la gobernanza informática federada .............................................. 97 Delegue la responsabilidad en los dominios ............................................................ 98 Integrar la ejecución de políticas en cada producto de datos .................................. 98 Automatice la habilitación y el control en vez de intervenir .................................... 99 Modele las deficiencias ............................................................................................ 99 Mida el efecto de la red.......................................................................................... 100 Prefiera el cambio a la constancia .......................................................................... 100 Repaso .............................................................................................................. 100 Parte II. ¿Por qué Data Mesh? 6. El punto de inflexión .........................................................................105 Grandes expectativas acerca de los datos ....................................................... 106 La gran divisoria de los datos ........................................................................... 108 Escala: encuentro de un nuevo tipo ................................................................. 110 Más allá del orden ............................................................................................ 112 Aproximación a la etapa de rendimiento ......................................................... 113 Repaso .............................................................................................................. 113 7. Después del punto de inflexión .........................................................115 Responda al cambio con elegancia en una empresa compleja ........................ 116 Alinee el negocio, la tecnología y, ahora, los datos analíticos ............................... 117 Disminuya la distancia entre los datos analíticos y los operativos ......................... 118 Localice los cambios de datos en los dominios empresariales ............................... 120 Reduzca la complejidad accidental de las tuberías y la copia de datos ................. 121 Mantenga la agilidad frente al crecimiento ..................................................... 122 Elimine los cuellos de botella centralizados y monolíticos ..................................... 122 Reduzca la coordinación de los conductos de datos .............................................. 123 Reduzca la coordinación de la gobernanza de datos ............................................. 124 Habilite la autonomía ............................................................................................. 125 Aumente la relación entre el valor de los datos y el de la inversión ............... 126 Abstraer la complejidad técnica con una plataforma de datos .............................. 127 Incorporar el concepto de "producto en todo" ..................................................... 127 Trascienda los límites ............................................................................................. 128 Repaso .............................................................................................................. 128 8. Antes del punto de inflexión .............................................................131 La evolución de las arquitecturas de datos analíticos ...................................... 131 Primera generación: arquitectura del almacén de datos ....................................... 132 Segunda generación: arquitectura del lago de datos ............................................. 133 Tercera generación: arquitectura de nube multimodal ......................................... 135 Características de la arquitectura de datos analíticos ..................................... 136 Monolítica .............................................................................................................. 138 Propiedad centralizada de los datos ...................................................................... 143 Orientación tecnológica ......................................................................................... 144 Repaso .............................................................................................................. 148 Parte III. Cómo diseñar la arquitectura de Data Mesh 9. Arquitectura lógica ...........................................................................153 Interfaces de intercambio de datos analíticos orientados al dominio ............. 157 Diseño de la interfaz operativa .............................................................................. 158 Diseño de la interfaz de datos analíticos ................................................................ 159 Dependencias de datos analíticos entre dominios ................................................. 160 El producto de datos como cuanto arquitectónico .......................................... 161 Componentes estructurales de un producto de datos ........................................... 162 Interacciones de intercambio de datos del producto de datos.............................. 168 API de detección y observación de datos ............................................................... 170 La plataforma de datos multiplano .................................................................. 171 Un plano de plataforma ......................................................................................... 172 Plano (de utilidad) de la infraestructura de datos .................................................. 173 Plano de experiencia del producto de datos .......................................................... 174 Plano de experiencia de la malla ............................................................................ 174 Ejemplo ................................................................................................................... 174 Políticas informáticas integradas ..................................................................... 175 Sidecar del producto de datos ................................................................................ 177 Contenedor informático del producto de datos .................................................... 178 Puerto de control ................................................................................................... 179 Repaso .............................................................................................................. 180 10. La arquitectura de la plataforma de datos multiplano ......................183 Diseñar una plataforma basada en los roles de los usuarios ........................... 186 Rol del desarrollador de productos de datos ................................................... 188 Conciba, explore, arranque y genere ..................................................................... 190 Construya, pruebe, instale y opere ........................................................................ 193 Mantenga, desarrolle y retire ................................................................................. 196 Rol del consumidor de productos de datos ..................................................... 198 Conciba, explore, arranque, genere ....................................................................... 201 Construya, pruebe, instale, opere .......................................................................... 201 Mantenga, desarrolle y retire ................................................................................. 203 Repaso .............................................................................................................. 203 Parte IV. Cómo diseñar la arquitectura del producto de datos 11. Diseño de un producto de datos a partir de los permisos ..................207 Permisos de los productos de datos ................................................................ 208 Características de la arquitectura de productos de datos ............................... 212 Diseño inspirado en la simplicidad de los sistemas adaptables complejos ...... 213 Comportamiento emergente a partir de políticas locales simples......................... 213 Sin orquestador central .......................................................................................... 215 Repaso .............................................................................................................. 215 12. Diseño de consumo, transformación y servicio de datos ...................217 Servicio de datos .............................................................................................. 217 Las necesidades de los usuarios de datos .............................................................. 217 Propiedades del diseño del servicio de datos ........................................................ 220 Diseño del servicio de datos ................................................................................... 235 Datos para consumo......................................................................................... 236 Arquetipos de fuentes de datos ............................................................................. 237 Localización de los datos para consumo ................................................................ 241 Diseño de los datos para consumo ......................................................................... 243 Datos para transformar .................................................................................... 245 La transformación programática frente a la no programática ............................... 246 La transformación basada en el flujo de datos....................................................... 248 El ML como transformación ................................................................................... 249 Transformación de la variable de tiempo ............................................................... 249 Diseño de la transformación .................................................................................. 250 Repaso .............................................................................................................. 251 13. Diseño de la detección, la comprensión y la recopilación de datos ....................................................................253 Descubra, comprenda, confíe y explore ........................................................... 253 Inicie la detección con el autorregistro .................................................................. 257 Descubra el URI global ............................................................................................ 257 Comprenda los modelos semánticos y sintácticos ................................................. 258 Establezca confianza con las garantías de los datos ............................................... 260 Explore la estructura de los datos .......................................................................... 263 Aprenda con la documentación ............................................................................. 264 Descubra, explore y comprenda el diseño ............................................................. 265 Recopilación de datos ...................................................................................... 266 Propiedades de diseño de los datos de consumo .................................................. 268 Enfoques tradicionales de la recopilación de datos ............................................... 269 Diseño de la recopilación de datos ......................................................................... 273 Repaso .............................................................................................................. 276 14. Diseño de la gestión, el gobierno y la observación de datos ..............279 Gestione el ciclo de vida ................................................................................... 279 Diseño de la gestión del ciclo de vida ..................................................................... 280 Componentes del manifiesto del producto de datos ............................................. 281 Gestione los datos ............................................................................................ 282 Gestione el diseño de los datos .............................................................................. 283 Unifique las políticas .............................................................................................. 284 Integración de datos y políticas .............................................................................. 287 Vinculación de políticas .......................................................................................... 287 Observe, depure y audite ................................................................................. 287 Diseño de la observación ........................................................................................ 289 Repaso .............................................................................................................. 293 Parte V. Cómo empezar 15. Estrategia y ejecución .......................................................................297 ¿Debería adoptar la malla de datos hoy? ........................................................ 297 La malla de datos como elemento de la estrategia de datos........................... 302 Marco de ejecución de la malla de datos ......................................................... 306 Ejecución orientada al negocio............................................................................... 307 Ejecución integral e iterativa .................................................................................. 313 Ejecución evolutiva ................................................................................................. 314 Repaso .............................................................................................................. 332 16. Organización y cultura ......................................................................335 Cambio ............................................................................................................. 337 Cultura .............................................................................................................. 340 Valores .................................................................................................................... 341 Recompensa ..................................................................................................... 344 Motivaciones intrínsecas ........................................................................................ 344 Motivaciones extrínsecas ....................................................................................... 345 Estructura ......................................................................................................... 346 Supuestos de la estructura organizativa ................................................................ 347 Descubra los límites de los productos de datos ..................................................... 355 Personal ............................................................................................................ 360 Roles ....................................................................................................................... 360 Desarrollo de habilidades ....................................................................................... 363 Proceso ............................................................................................................. 366 Cambios clave en los procesos ............................................................................... 367 Repaso .............................................................................................................. 369