Contesto

In un contesto enterprise, con molte fonti dati e team diversi, l’informazione rischia facilmente di perdersi o di essere confusa: dataset duplicati, tabelle poco documentate, difficoltà nel capire quali dati esistono già e chi può accedervi. Per un cliente del settore Utilities ho sviluppato e coordinato un progetto per risolvere proprio questo problema: un Data Marketplace.

L’idea: un “marketplace” dei dati

I dati risiedevano in una data platform su Azure Synapse Analytics, mentre tutta la parte di data governance — catalogazione, classificazione, lineage — era gestita su Azure Purview. Il Data Marketplace è il livello che unisce questi due mondi: un portale self-service, concettualmente simile a un e-commerce, dove gli utenti possono:

  • cercare dataset e tabelle già pronti, catalogati con Purview;
  • richiedere l’accesso o le autorizzazioni necessarie, in autonomia;
  • importare rapidamente il dataset selezionato in Power BI, per costruire report in self-service BI, senza dover ogni volta coinvolgere il team dati.

Perché funziona in ambito enterprise

Il valore principale è stato unificare data governance e mondo dati in un unico punto di accesso: gli utenti business non devono più chiedere al team dati “esiste già questo dataset?” o “posso usarlo?” — lo trovano, verificano cosa contiene e richiedono l’accesso direttamente dal portale, con le regole di governance di Purview applicate in modo trasparente.

Disegno architetturale

  1. Data platform

    • Azure SynapseDataset & tabelle

  2. Governance

    ← dataset scansionati

    • Azure PurviewCatalogo, classificazione, lineage

  3. Self-service

    ← catalogazione

    • Data MarketplacePortale self-service
      • Ricerca dataset & tabelle
      • Richiesta accesso / autorizzazioni
      • Import rapido verso Power BI

  4. Utenti

    ← ricerca & richiesta

    • Utenti businessCercano e richiedono dataset in autonomia

  5. Consumo

    ← import rapido

    • Power BISelf-service BI

Workflow di approvazione

Autorizzazioni self-service governate secondo le regole di Purview.

Azure Synapse come data platform, scansionata e catalogata da Azure Purview. Il portale self-service Data Marketplace permette agli utenti business di cercare dataset, richiedere l’accesso tramite un workflow di approvazione governato dalle regole di Purview e importarli rapidamente in Power BI.Apri lo schema come immagine ↗

Il mio ruolo

Ho sviluppato e coordinato il progetto Data Marketplace, dalla definizione dell’architettura all’integrazione tra data platform, catalogo Purview e portale self-service verso Power BI.