Introducción

¿Alguna vez te has sentido perdido entre tantos datos que entran y salen de tu sistema? ¡Aquí es donde entran las canalizaciones de datos en Microsoft Fabric! Piensa en ellas como las autopistas de tu información, que te permiten llevar datos de un lado a otro, transformándolos y organizándolos en el camino para que lleguen justo donde los necesitas.

Fabric ha hecho que crear estas canalizaciones sea mucho más fácil. Puedes configurar procesos complejos de extracción, transformación y carga (ETL) sin necesidad de escribir largas líneas de código. Desde la simple actividad de Copiar datos hasta canalizaciones más avanzadas que aplican flujos de transformación y control, tienes todo en un mismo lienzo, listo para usar.

En este post, vamos a ver cómo estas canalizaciones pueden automatizar tu flujo de datos, asegurando que la información correcta esté en el lugar adecuado, en el momento justo. 


Descripción y Componentes Básicos de las Canalizaciones

Las canalizaciones encapsulan un flujo de actividades que pueden organizarse mediante lógica de flujo de control para manejar bucles, bifurcaciones condicionales y otras operaciones. Fabric proporciona un lienzo gráfico que facilita la creación de canalizaciones sin necesidad de programación compleja.

1. Actividades

Las actividades son las tareas que se ejecutan dentro de una canalización. Pueden definirse en secuencia y el resultado de una actividad determina el flujo hacia la siguiente. Existen dos tipos principales de actividades:

  • Actividades de Transformación de Datos: Incluyen la actividad Copiar datos, que ingiere datos de una fuente y los carga en un destino, y actividades como:

    • Flujo de Datos: Aplica transformaciones a medida que los datos se transfieren.
    • Cuaderno: Ejecuta un cuaderno de Spark para transformación avanzada.
    • Procedimiento Almacenado: Ejecuta código SQL.
    • Eliminar Datos: Remueve datos de un destino específico.

  • Actividades de Flujo de Control: Administran el flujo de datos y pueden implementar bucles, condiciones y variables. Estas actividades permiten que la canalización implemente lógicas complejas de orquestación y control del flujo de transformación.

2. Parámetros

Los parámetros permiten parametrizar canalizaciones, es decir, proporcionar valores específicos para cada ejecución, aumentando la reutilización y flexibilidad de los procesos de datos. Por ejemplo, se puede parametrizar el nombre de una carpeta de destino, lo cual facilita especificar una ubicación diferente en cada ejecución.

3. Ejecuciones de Canalización

Cada vez que una canalización se ejecuta, se genera una ejecución de datos. Las ejecuciones pueden lanzarse manualmente o programarse, generando un identificador único que permite revisar detalles de ejecución y verificar la correcta finalización o investigar errores.

Uso de la Actividad Copiar Datos

La actividad Copiar datos es fundamental en las canalizaciones de datos y facilita la ingesta de datos de fuentes externas a destinos como un almacén de lago. Muchas canalizaciones constan únicamente de esta actividad, pero también puede combinarse con otras para formar procesos ETL completos.

Configuración de Copiar Datos: Al configurar la actividad, una herramienta gráfica guía la selección de origen y destino de los datos. Se admiten numerosas fuentes de datos comunes, lo que permite flexibilidad en la ingesta.

Cuándo Usar la Actividad Copiar Datos: Esta actividad es ideal cuando se requiere copiar datos sin aplicar transformaciones. Para casos en los que se necesiten modificaciones adicionales, se recomienda usar un Flujo de Datos (Gen2), configurado a través de Power Query.

Plantillas de Canalización

Microsoft Fabric incluye plantillas de canalización predefinidas que cubren escenarios comunes de ETL, facilitando la creación de canalizaciones sin necesidad de empezar desde cero. Estas plantillas son personalizables y pueden adaptarse a necesidades específicas mediante el lienzo de canalización.

Para usar una plantilla, selecciona la opción Elegir una Tarea para Iniciar en el lienzo, elige la plantilla adecuada, y edítala según los requisitos de tu proyecto.

Ejecución y Supervisión de Canalizaciones

Una vez creada una canalización, es posible validar la configuración para asegurarse de que es correcta. Las canalizaciones pueden ejecutarse manualmente o programarse para automatización. Fabric permite consultar el historial de ejecución de cada canalización, con detalles completos de cada ejecución en gráficos de Gantt que muestran el tiempo de ejecución por actividad.