¿Has pasado horas preparando datos de diferentes fuentes, uno por uno, antes de poder usarlos? Los Flujos de Datos Gen2 en Microsoft Fabric están aquí para cambiar eso y hacer que tus datos trabajen para ti, no al revés.

Imagina que estás en una empresa con tiendas en varios países y recibes datos de todos lados: ventas, inventarios, datos de clientes. ¿Cómo unificarlos y limpiarlos sin perder la cabeza? Aquí es donde entran los Flujos de Datos Gen2, diseñados para conectar, transformar y cargar tus datos en un modelo único, listo para análisis y visualización.

En este post, exploraremos cómo usar estos flujos para automatizar tu proceso ETL, conectarte a diversas fuentes, transformar datos sin código y ahorrar horas de trabajo manual.


Descripción de los Flujos de Datos Gen2

Los Flujos de Datos Gen2 son una herramienta ETL (Extracción, Transformación y Carga) basada en la nube, que permite transformar datos de varios orígenes y cargarlos en un destino. Esto se realiza a través de una interfaz gráfica en Power Query Online, que permite definir y visualizar cada paso del proceso de transformación sin necesidad de programación.

Un flujo de datos Gen2 puede ser:

  • Guardado como una nueva tabla.
  • Integrado en una canalización de datos para procesamiento adicional.
  • Utilizado como fuente de datos en Power BI.

Uso de los Flujos de Datos Gen2

Flujos de Datos Gen2 proporcionan una forma eficiente y reutilizable de llevar a cabo tareas ETL en Microsoft Fabric. En lugar de realizar transformaciones manualmente o con programación intensiva, los flujos Gen2 permiten definir transformaciones en Power Query y guardar los datos transformados en el destino elegido, facilitando la creación de un modelo de datos reutilizable.

Opciones de Uso

  1. Cargar Datos en un Destino: Los datos pueden cargarse directamente en un almacén de lago o en otro destino final.
  2. Proceso ELT (Extracción, Carga, Transformación): Para procesos ELT, los datos se cargan en el almacén de lago mediante una canalización de datos y luego se conectan y transforman en el flujo Gen2.
  3. Creación de Modelos Semánticos Especializados: Un flujo de datos puede segmentarse en partes específicas para satisfacer las necesidades de distintos equipos de análisis.

Beneficios y Limitaciones de los Flujos de Datos Gen2

Beneficios:

  • Coherencia y Calidad de Datos: Permiten estandarizar y limpiar los datos antes de ser cargados en el destino final.
  • Reutilización y Optimización: Almacenan una vez y reutilizan los datos, optimizando las consultas y reduciendo el tiempo de actualización.
  • Autoservicio para Usuarios: Facilitan a los usuarios el acceso a datos transformados sin requerir conexiones complejas.
  • Interfaz de Bajo Código: Simplifica la ingesta y transformación de datos, ideal para usuarios con poca experiencia en programación.

Limitaciones:

  • No reemplazan a un almacenamiento de datos.
  • Sin soporte para seguridad a nivel de fila.
  • Requieren una capacidad de Fabric en el área de trabajo.

Exploración de la Interfaz de Flujos de Datos Gen2 en Microsoft Fabric

Para crear flujos de datos Gen2, se utiliza la carga de trabajo de Data Factory dentro de Microsoft Fabric, mediante Power Query Online que permite visualizar y gestionar las transformaciones en los datos.

Componentes de la Interfaz de Power Query

  1. Cinta de Opciones de Power Query: Con acceso a numerosos conectores de datos, permite cargar datos desde bases de datos, archivos planos, SharePoint y almacenes de lago.
  2. Panel de Consultas: Muestra todas las fuentes de datos y permite gestionar cada consulta, facilitando el cambio de nombre, duplicación y almacenamiento provisional.
  3. Vista de Diagrama: Proporciona una representación visual de los orígenes de datos y las transformaciones aplicadas.
  4. Panel de Vista Previa de Datos: Muestra un subconjunto de datos para visualizar el efecto de las transformaciones, permitiendo aplicar filtros y ordenar columnas.
  5. Panel de Configuración de la Consulta: Permite gestionar los pasos de transformación aplicados, revisar y configurar el destino de datos, y, si es necesario, ver y editar el código M en el Editor Avanzado.

Integración de Flujos de Datos Gen2 y Canalizaciones en Microsoft Fabric

Los Flujos de Datos Gen2 y las Canalizaciones de Datos en Microsoft Fabric funcionan de manera complementaria. Las canalizaciones permiten organizar tareas de procesamiento adicionales sobre los datos ya transformados.

Canalizaciones de Datos: Son secuencias de actividades que permiten orquestar el flujo de datos, incluyendo actividades comunes como la copia de datos, la incorporación de flujos de datos y la ejecución de scripts.

  1. Uso de Canalizaciones para Orquestar el Flujo de Datos: Las canalizaciones organizan actividades en un orden específico, permitiendo ejecutar scripts y procedimientos almacenados tras completar un flujo de datos.
  2. Combinación con Flujos de Datos Gen2: Una canalización puede incluir un flujo de datos Gen2 para cargar y transformar datos, tras lo cual se pueden realizar tareas adicionales en los datos procesados.