Contesto

Per un cliente del settore logistica, ho fatto parte di un team di data engineer impegnato nello sviluppo di una data platform aziendale completa, dall’estrazione dei dati fino al layer di reportistica per il business.

ETL e orchestrazione

La parte di ETL è stata costruita con Azure Data Factory e Databricks, con disposizione finale dei dati su SQL Server. Le logiche di trasformazione erano articolate e complesse, implementate tramite job Databricks con una schedulazione solida e affidabile.

Architettura Databricks: bronze, silver, gold

La data platform su Databricks è stata progettata per essere solida e scalabile:

  • fortemente parametrizzata, per gestire in modo uniforme fonti e trasformazioni diverse;
  • con partizionamento dei dati per garantire performance nel tempo;
  • organizzata nei tre livelli bronze / silver / gold, con il layer gold strutturato attorno alle esigenze del business.

Il layer gold esponeva viste e tabelle pensate esplicitamente come serving layer per la reportistica, con i dati resi disponibili su SQL Server.

Monitoraggio e data quality

Per garantire affidabilità nel tempo sono stati implementati:

  • alert rules di Azure per l’alerting sulle pipeline e sui job;
  • Log Analytics Workspace per il controllo e l’analisi dei log;
  • monitoraggio e reportistica dedicata alla data quality.

Disegno architetturale (enterprise)

  1. Sorgenti

    • ERP / GestionaliSorgenti dati aziendali
    • File esterniCSV / Excel

  2. Ingestion

    • Azure Data FactoryOrchestrazione ETL

  3. Lakehouse

    • Azure Databricks
      • BronzeDati grezzi, as-is
      • SilverPulizia, logiche di business
      • GoldViste & tabelle per il business
      Job parametrizzati · Partizionamento · Schedulazione

  4. Serving

    • SQL ServerViste & tabelle Gold

  5. Consumo

    • Power BIReportistica

Azure Monitor · Log Analytics Workspace · Alert Rules

Monitoraggio delle pipeline ADF e dei job Databricks, reportistica sulla data quality.

Sorgenti ERP e file esterni orchestrati da Azure Data Factory verso Azure Databricks con livelli bronze, silver e gold; il layer gold è esposto su SQL Server come serving layer per Power BI. Azure Monitor, Log Analytics e alert rules monitorano pipeline, job e data quality.Apri lo schema come immagine ↗

Il mio ruolo

Ho fatto parte del team di data engineer che ha sviluppato la piattaforma, contribuendo alle logiche di trasformazione, ai job Databricks, alla parametrizzazione e partizionamento del layer, e all’implementazione di monitoraggio e alerting.