Contesto

Per un cliente del settore pharma, ho seguito l’Application Maintenance e il Continuous Improvement di una data platform già avviata su Databricks, con orchestrazione tramite Azure Data Factory. L’obiettivo era duplice: mantenere la piattaforma affidabile nel tempo e, allo stesso tempo, abilitare un accesso più autonomo ai dati per gli utenti di business.

Il ciclo di Application Maintenance & Continuous Improvement

Il lavoro non si è limitato alla correzione di problemi puntuali, ma ha seguito un ciclo continuo applicato a tutta la data platform:

  • Assessment periodico dello stato della piattaforma e delle logiche esistenti;
  • applicazione di regole e controlli di data quality;
  • documentazione delle logiche e delle trasformazioni, per tracciabilità nel tempo;
  • monitoraggio e correzione/ottimizzazione dei problemi individuati.

Questo ciclo alimentava continuamente sia le correzioni sia le ottimizzazioni sulla piattaforma, in un’ottica di miglioramento costante.

Architettura Databricks e orchestrazione

La data platform manteneva l’architettura bronze / silver / gold su Databricks, con Azure Data Factory a orchestrare i flussi secondo diverse schedulazioni. Il layer gold fungeva da serving layer verso la reportistica su Power BI.

Governance e self-service BI su Databricks

Una parte importante del lavoro ha riguardato la governance dei dati e l’abilitazione del self-service BI, tramite:

  • entitlements di Unity Catalog, per gestire in modo granulare permessi e accesso ai dati;
  • funzionalità di data discovery, per permettere agli utenti di trovare autonomamente i dataset disponibili;
  • Databricks Genie, per interrogare i dati in linguaggio naturale e abilitare analisi self-service anche a utenti non tecnici.

Disegno architetturale

Ciclo di Application Maintenance & Continuous Improvement

  1. 01AssessmentValutazione periodica
  2. 02Regole & Data Quality
  3. 03DocumentazioneTracciabilità delle logiche
  4. 04MonitoraggioCorrezione problemi

Ciclo continuo, applicato su tutta la data platform

Data platform

  1. Orchestrazione

    • Azure Data FactoryPiù schedulazioni

  2. Lakehouse

    • Databricks
      • Bronze
      • Silver
      • Gold

  3. Serving

    • Serving layerViste & tabelle Gold

  4. Consumo

    • Power BIReportistica

Governance & self-service

  1. Governance

    • Unity Catalog — EntitlementsGovernance e permessi sui dati

  2. Self-service

    • Data DiscoveryRicerca dataset
    • Databricks GenieSelf-service BI in linguaggio naturale
Ciclo continuo di assessment, regole e data quality, documentazione e monitoraggio applicato alla data platform: Azure Data Factory con più schedulazioni, Databricks con livelli bronze, silver e gold, serving layer verso Power BI; governance tramite Unity Catalog con entitlements e data discovery, e self-service BI con Databricks Genie.Apri lo schema come immagine ↗

Il mio ruolo

Ho seguito l’Application Maintenance della data platform: correzione dei problemi, ottimizzazioni, applicazione delle regole di data quality, oltre all’implementazione della governance e del self-service BI su Databricks.