Centralización y Descentralización de Datos

En el mundo de las bases de datos y la gestión de la información, dos enfoques arquitectónicos principales han definido cómo las organizaciones manejan sus datos: la centralización y la descentralización. Históricamente, la centralización de datos se consideró la norma, especialmente en proyectos de big data con data warehouses y data lakes. Esta estrategia implicaba consolidar todos los datos en una única ubicación física o lógica. Sin embargo, este enfoque monolítico, aunque prometía una 'única fuente de verdad', a menudo generaba cuellos de botella significativos, sobrecargando a los equipos de ingeniería de datos y retrasando proyectos críticos. Como reacción a estos desafíos, la descentralización de datos ganó terreno, buscando distribuir la carga y dar más autonomía a los equipos de dominio. Pero la realidad, como suele suceder, es más compleja. No existe una respuesta única sobre cuál es el mejor enfoque; la clave reside en encontrar el equilibrio adecuado y saber cuándo aplicar cada estrategia. Este artículo explorará las diferencias entre ambos, por qué la centralización tradicional enfrentó problemas y cómo un enfoque moderno y flexible puede ofrecer lo mejor de ambos mundos.

¿Qué es la Centralización de Datos y Por Qué es Importante?

La centralización de datos es una estrategia de arquitectura que implica copiar datos desde sus fuentes originales hacia una única fuente centralizada. Este sistema central se convierte en la única fuente de verdad para cargas de trabajo de análisis de datos e Inteligencia Artificial (IA). Para lograrlo, los ingenieros de datos construyen pipelines para extraer, cargar y transformar datos de diversas fuentes, a menudo armonizando estructuras heterogéneas en una única estructura unificada. Estos procesos se ejecutan regularmente para asegurar la frescura de los datos.

Beneficios de la Centralización (Cuando se Aplica Correctamente)

Aunque no siempre es fácil de lograr, cuando se aborda con moderación, la centralización de datos proporciona numerosos beneficios:

Consultas Más Rápidas

Incluso con excelente conectividad, es difícil competir con la velocidad inherente de tener todos tus datos en una única ubicación física. Usar algo de centralización en tu pila de datos acelera las uniones entre tablas y sistemas, reduciendo la latencia inherente en las consultas federadas y creando oportunidades de optimización. Esta necesidad solo ha aumentado con el auge del análisis en tiempo real.

Mejor Descubribilidad

A pesar de las dificultades de centralizar todos tus datos, tener algunos datos mantenidos en una única fuente de verdad simplifica las cosas. Específicamente, mejora la descubribilidad y el acceso a los datos al dar a los usuarios de datos una única ubicación para buscar, reduciendo el riesgo de crear silos de datos.

Facilita la Colaboración

Dependiendo de la arquitectura de datos distribuida que estés utilizando, podrías estar almacenando el mismo conjunto de datos en múltiples ubicaciones. Esto aumenta el riesgo de introducir discrepancias. Tener una fuente oficial de verdad para un conjunto de datos hace que la colaboración sea más manejable y mejora la toma de decisiones, ya que puedes asegurar que no surjan problemas de control de versiones. Formatos de tabla modernos como Apache Iceberg ayudan a gestionar esto en sistemas distribuidos, permitiendo flexibilidad.

Mejor Gobernanza

La centralización reduce el riesgo de conjuntos de datos "rebeldes". Los datos que no están altamente aislados pueden detectar y resolver problemas de seguridad y cumplimiento más fácilmente. Centralizar ciertos conjuntos de datos donde la gobernanza es crucial tiene sentido, y tecnologías modernas pueden ayudar a lograrlo sin los problemas de la centralización del pasado.

¿Por Qué la Centralización de Datos Tuvo Mala Reputación?

Si la centralización de datos es tan beneficiosa, ¿por qué los equipos de datos se alejaron de ella? La respuesta es que la centralización se convirtió en un decreto en lugar de una elección arquitectónica. Esto llevó a una mentalidad de "Centralizar Todo", una estrategia que sucumbe a graves trampas:

El Ciclo del Apocalipsis de Datos

Tomar la centralización como política por defecto significa que un equipo de datos centralizado tiene que invertir tiempo y dinero significativos moviendo datos antes de que se pueda hacer algo. En la mayoría de los casos, esto resulta en grandes retrasos de ingeniería, posponiendo nuevos proyectos de incorporación de datos por semanas o incluso meses. Esto impacta directamente en la eficiencia operativa, particularmente en el caso de datos empresariales grandes y complejos. A pesar de esto, históricamente cambiar el alcance de un proyecto de centralización no ha sido una opción. Una vez que comienza el proceso, las organizaciones necesitan seguir avanzando hacia una única ubicación central, lo que no favorece los proyectos ágiles. Mientras tanto, en lugar de esperar, muchos equipos se ven obligados a crear sus propias soluciones dentro de sus respectivos dominios de datos. Esto resulta en una explosión de proyectos de "Shadow IT" (TI en la sombra) costosos, redundantes y sin gobernanza en toda la empresa. En este sentido, demasiada centralización puede afectar negativamente tus procesos de negocio y, de hecho, reducir tu capacidad para tomar decisiones empresariales claras.

La Centralización Indiscriminada es un Desperdicio

No toda centralización tiene sentido para tus datos o tu negocio, pero la naturaleza de las tecnologías de datos tradicionales impulsó un enfoque "todo incluido". Por ejemplo, pregúntate: ¿tus stakeholders están realmente utilizando los datos que estás gastando tanto tiempo y dinero en centralizar? Si no, estás gastando grandes cantidades de dinero con un beneficio mínimo. La centralización, por defecto, puede terminar costándote tiempo de ingeniería y costos continuos de almacenamiento y computación al enfrentar problemas de escalabilidad. Esto dispara tu presupuesto de datos, lo que perjudica el resultado final del negocio y hace que toda tu estrategia de datos sea menos rentable.

Puede Crear Desconexiones

Cuando se ejecuta mal, la centralización puede eliminar la responsabilidad de un conjunto de datos de los propietarios del dominio. En este escenario, las personas más familiarizadas con los datos y cómo deben ser moldeados y mantenidos se desconectan de las decisiones estratégicas necesarias para lograr el éxito. Inadvertidamente, los ingenieros de datos que no están familiarizados con ese dominio de datos pueden terminar tomando decisiones que pueden afectar negativamente la calidad de los datos, llevando fácilmente a duplicaciones o redundancias. Por ejemplo, podrían usar lógica incorrecta o fuentes de datos obsoletas. Todo esto muestra el daño que el tipo incorrecto de centralización puede causar.

Cómo Hacer la Centralización de Datos de la Manera Correcta: Centralización 2.0

Es hora de abordar los datos centralizados de una nueva manera, una que reintroduzca la elección. Lo que se necesita es un nuevo enfoque para la arquitectura de datos, uno que te permita equilibrar la descentralización versus la centralización caso por caso. Llamemos a esto "Centralización 2.0". Es un enfoque para la gestión de datos que reconoce que algunos conjuntos de datos críticos funcionan mejor cuando están estandarizados, fácilmente descubribles y co-localizados con datos relacionados. Lograr esto requiere una arquitectura de centralización que te permita elegir qué conjuntos de datos centralizar y cuáles descentralizar utilizando la federación de datos. Para este enfoque flexible, generalmente perseguirás una de tres opciones tecnológicas:

• Data Warehouse
• Data Lake
• Data Lakehouse

Data Warehouse

El data warehouse moderno, con su separación de almacenamiento y cómputo, es una tecnología de alto rendimiento para analizar grandes cantidades de datos estructurados. Por esa razón, ha sido la tecnología principal que impulsó la centralización de datos durante décadas. Desafortunadamente, la centralización basada en data warehouses también ha sido el principal impulsor de muchos proyectos de centralización fallidos. Hay varias razones para esto. Primero, las solicitudes de centralización se canalizan a través de un único equipo de ingeniería de datos que actúa como guardián de las llaves. Esto lleva a todos los problemas relacionados con los proyectos interminables que discutimos anteriormente. Además, los data warehouses almacenan un tipo de datos: datos estructurados en formatos específicos. El esquema fijo e inmutable del almacén dificulta la reutilización de datos para otros fines. También significa que no puedes aprovechar datos semiestructurados o no estructurados sin una transformación previa. En otras palabras, un data warehouse no puede servir verdaderamente como la única fuente de verdad de una organización para *todos* los tipos de datos.

Data Lake

Un data lake utiliza almacenamiento de objetos en la nube, almacenamiento de objetos local o el Sistema de Archivos Distribuidos de Hadoop (HDFS). En cada caso, alberga grandes cantidades de datos brutos de manera rentable, sin importar dónde se generen en el negocio. La mayoría de las implementaciones de data lake son impulsadas por Apache Hive, que permite consultas tipo SQL en datos almacenados en S3, ADLS y GCS. El gran beneficio de un data lake en comparación con un data warehouse es que puedes acceder a todos tus datos independientemente de la estructura, incluyendo tablas, archivos JSON, documentos, audio y video. Un data lake es verdaderamente una ventanilla única para las necesidades de datos centralizados de una organización.

Desafortunadamente, por cada ventaja con el data lake, hay una desventaja:

Data Lakehouse

Un data lakehouse es una evolución del data lake diseñada para abordar algunas de sus limitaciones principales, incluida la centralización de datos. En lugar de usar Hive, los data lakehouses utilizan formatos de tabla abiertos avanzados como Apache Iceberg, Delta Lake y Hudi, así como formatos de archivo abiertos como Parquet y ORC. Como resultado, los data lakehouses superan a los data lakes en varios aspectos clave:

• Mejor Soporte para Datos de Alta Velocidad

  Los data lakehouses tienen un rendimiento particularmente bueno en datos que sufren actualizaciones y eliminaciones regulares. Esto hace que los datos de alta velocidad estén disponibles para la centralización por primera vez.

• Mejor Rendimiento General

  Los data lakehouses utilizan formatos de archivo columnares y optimizados para lectura junto con formatos de tabla abiertos. Esto les permite aprovechar características de alto rendimiento como indexación, caché y latencia mejorada. Esto ofrece un rendimiento superior y eficiencia operativa para datos centralizados y físicamente co-localizados.

  

• Mejor Gobernanza

  Los formatos de tabla abiertos permiten el almacenamiento de un conjunto más rico de metadatos, lo que mejora la gobernanza de datos y características mejoradas como viaje en el tiempo y evolución de particiones. Esto te permite adaptar tu repositorio central a medida que cambia con el tiempo.

• Mejor Gestión de Datos

  Los lakehouses simplifican la gestión de datos de todo tipo, incluyendo el almacenamiento, análisis y consulta de datos en diferentes estructuras. En este sentido, un data lakehouse simplifica tus pipelines de datos, convirtiéndolo en una opción más atractiva para la centralización.

• Soporte para Análisis Avanzado e IA

  Un data lakehouse puede ofrecer un mejor rendimiento que un data lake para casos de uso de análisis e IA/aprendizaje automático. Esto es especialmente cierto al aprovechar datos de alta velocidad que requieren actualizaciones y eliminaciones frecuentes, o donde las cantidades de datos involucradas son grandes o implican ciertos requisitos regulatorios. En estos casos, un data lakehouse centralizado soporta mejor tanto las herramientas de inteligencia de negocios (BI) como los flujos de trabajo de IA.

Un Enfoque Evolutivo para la Centralización de Datos

Es hora de repensar el papel de la centralización de datos a la luz de los data lakehouses. Al expandir el alcance de los casos de uso, mejorar el rendimiento y potenciar el soporte para la gobernanza, los data lakehouses hacen la centralización de manera diferente. Con un data lakehouse, puedes centralizar sin que la centralización sea el valor por defecto. En el pasado, la centralización era el punto de partida automático para todos los proyectos de datos. Eso llevó a los equipos de datos a intentar "hervir el océano", una hazaña imposible cuyo final rápidamente se convirtió en el proverbial proyecto de "Marcha de la Muerte". Pero la solución no es abandonar la centralización por completo. Es adoptar una arquitectura híbrida que permita escenarios de datos tanto descentralizados como centralizados, con la centralización ocurriendo en tus términos, alineada con tus necesidades de negocio. Esta arquitectura flexible te permite adoptar un enfoque DevOps para la centralización. En lugar de centralizar "Todo, en Todas Partes, al Mismo Tiempo", puedes planificar proyectos más pequeños que traigan subconjuntos de datos a tu data lakehouse pieza por pieza.

¿Cómo empezar? Recomendamos usar el siguiente enfoque para abordar la centralización de la manera correcta:

Empezar Pequeño

En lugar de centralizar automáticamente todo tu ecosistema de datos, comienza con algo simple. Por ejemplo, podrías comenzar conectando una única instancia de una fuente de datos y accediendo a ella. Esto te permite mantener tus datos donde están inicialmente mientras exploras la posibilidad de centralización.

Explorar Tus Datos

Una vez que eso esté en su lugar, comienza a conectar otras fuentes de datos y revisa el impacto. Luego, experimenta extrayendo datos de múltiples sistemas con consultas federadas, viendo qué funciona, qué no y dónde podrías necesitar transformar o arreglar los datos antes de centralizarlos. Como parte de este proceso, identifica tus casos de uso de centralización de mayor valor. Estos conjuntos de datos son los más centrales para tu negocio y se acceden con frecuencia en toda la empresa. La centralización lleva tiempo y dinero, por lo que no es apropiada para todo, pero cuando se hace correctamente, puede traer grandes recompensas. Al abordar estos primero, obtendrás el mayor beneficio.

Expandir Tu Alcance

A medida que tu proyecto progresa, monitorea métricas como el uso de datos, el rendimiento y la capacidad del clúster. Compara el rendimiento centralizado con el descentralizado para verificar si estás obteniendo los beneficios esperados. Usa prueba y error para ver qué funciona y qué no. Después de verificar el caso de uso inicial, repite el proceso. Aplica el mismo enfoque de prueba y error con cada nuevo conjunto de datos, especialmente a medida que soportas nuevos escenarios. Por ejemplo, podrías pasar de centralizar conjuntos de datos alojados en la nube a datos locales si determinas que podría ahorrarte dinero a largo plazo. Depende de ti, y ese es el punto. Qué tan rápido vayas y cuánto centralices versus federes depende de ti y de tu negocio.

Conclusión

Una cierta cantidad de centralización de datos puede impulsar el rendimiento, la seguridad de los datos, la gobernanza de datos y la colaboración entre equipos para tus casos de uso y capacidades de datos más críticos. La forma correcta de aplicar la centralización es de manera reflexiva y cuidadosa. Para apoyar esto, una centralización exitosa requiere una arquitectura de datos en la que puedas perseguir la centralización a través de iteraciones pequeñas y rápidas. Herramientas modernas basadas en arquitecturas como el Data Lakehouse híbrido abierto permiten ejecutar cargas de trabajo tanto descentralizadas como centralizadas de manera eficiente en conjuntos de datos masivos, mezclando y combinando para obtener la mejor combinación de rendimiento y costo, todo a tu ritmo y en tus términos. Con la arquitectura adecuada, como la que ofrecen plataformas construidas sobre Trino y formatos como Iceberg, puedes centralizar tanto o tan poco de tus datos como desees, manteniendo el control de esa decisión firmemente en tus manos.

Preguntas Frecuentes

Aquí respondemos algunas preguntas comunes sobre la centralización y descentralización de datos:

¿Cuál es la principal diferencia entre datos centralizados y descentralizados?

Los datos centralizados se copian y almacenan en una única ubicación o sistema, sirviendo como una fuente única de verdad. Los datos descentralizados permanecen en sus fuentes originales o se distribuyen en múltiples ubicaciones, gestionados a menudo por equipos de dominio específicos.

¿La centralización de datos es siempre la mejor opción?

No. Aunque ofrece beneficios como consultas más rápidas y mejor gobernanza para ciertos conjuntos de datos, la centralización indiscriminada puede generar cuellos de botella, altos costos y problemas de gestión. Un enfoque equilibrado es clave.

¿Qué es un Data Lakehouse y cómo ayuda con la centralización?

Un Data Lakehouse es una arquitectura que combina lo mejor de los data lakes (costo, flexibilidad para datos no estructurados) y los data warehouses (estructura, rendimiento, gobernanza). Utiliza formatos de tabla abiertos para permitir una centralización más flexible, eficiente y manejable, incluso con datos de alta velocidad.

¿Cómo puedo empezar a implementar un enfoque de Centralización 2.0?

Comienza identificando conjuntos de datos de alto valor y centralízalos de forma iterativa en una arquitectura flexible como un Data Lakehouse. Explora tus datos y expande el alcance gradualmente, monitoreando el rendimiento y los costos.

Si quieres conocer otros artículos parecidos a Centralización y Descentralización de Datos puedes visitar la categoría Bases de datos.