Sempre più aziende stanno puntando verso un approccio data-driven della loro gestione. Questo significa che le decisioni vengono prese basandosi su dati, tradotti in informazioni e fatti oggettivi, e non sensazioni; più corrette e precise saranno queste informazioni migliori saranno di conseguenza le decisioni.  

Ed è proprio da questo attuale contesto, caratterizzato da un’inarrestabile crescita dei volumi dei dati, dalla loro varietà sempre meno omogenea e dai data needs sempre più rapidi, che emerge l’esigenza delle aziende di avere un dato certificato realmente: qui nasce la Data Quality.  

Nonostante l’implementazione di processi di Data Integration, Data Warehouse, Data Lake ecc. che riconducano i dati a un tracciato definito, non c’è la sicurezza che i dati siano corretti e di qualità. E come è ben risaputo, dati di qualità portano alle aziende una serie di benefici: 

• decisioni migliori, 
• maggiori introiti,
• risparmio di tempo, 
• maggior confidenza nei sistemi analitici, 
• minori costi,  
• maggior customer satisfaction. 

Le misure della qualità dei dati 

Ma in base a che cosa viene valutata la qualità dei dati? Al fine di elaborare degli standard per la Data Quality è stato introdotto in Horsa un framework che consente di misurare la qualità dei dati attraverso 6 dimensioni: 

• Completezza: la percentuale di dati di qualità rispetto al totale
• Tempestività: quanto i dati rappresentano la realtà nel momento richiesto
• Validità: i dati sono conformi alla sintassi (formato, tipo, intervallo) della loro definizione? 
• Unicità: nessuna entità unica verrà salvata più di una volta nei sistemi
• Accuratezza: i dati descrivono correttamente il “mondo reale”? 
• Consistenza: c’è differenza, quando si confrontano due o più rappresentazioni di un’entità con la loro definizione? 

Se prendiamo ad esempio il campo “indirizzo” nella base dati di un’azienda che fa consegne e questo campo manca di alcune delle informazioni fondamentali (completezza), o non è aggiornato (tempestività) o contiene il civico al posto del CAP (validità), ne conseguiranno delle consegne sbagliate e tutti i relativi problemi collegati. 

La Data Quality come processo 

Il tema della Data Quality è una questione di processo iterativo e continuo, che fa da cappello a tutto quello che è la Data Governance, intesa come governo del dato comprensivo di obblighi normativi e individuazione di una platform che consenta di gestire ruoli, metadati, regole di business, regole di quality e infine la tecnologia. Dunque, non è un processo strettamente tecnologico, ma iterativo e fatto soprattutto di persone e di coinvolgimento continuo, dove alla base ci sono la definizione di ruoli e processi aziendali.  

Conclusioni 

La Data Quality rappresenta quindi un ambito di fondamentale importanza all’interno di un’azienda. Necessita di attenzione e investimenti in quanto primo step verso la garanzia della bontà delle informazioni aziendali, base per fare decision making in modo più efficiente. 

L'articolo Data Governance e… Data Quality proviene da Horsa Blog.

Il problema è diventato particolarmente attuale negli ultimi anni, e non solo per gli obblighi normativi a partire dal GDPR. La trasformazione digitale ha infatti moltiplicato nel giro di poco tempo utenti, dispositivi utilizzati e modalità di accesso. Una situazione impossibile da ignorare o gestire manualmente, se trascurata fonte di problemi, anche seri, nell’efficienza dei processi.

Il Data Catalog, primo passo verso l’ordine digitale

Il Data Catalog è una premessa fondamentale per ricavare informazioni strategiche dal proprio patrimonio acquisito nel tempo. Pensare di mettere in piedi progetti di Data Analytics senza basi solide rischia infatti di rivelarsi prima di tutto una perdita di tempo e denaro. In casi limite, anche una semplice operazione di ricerca può rivelarsi una vera e propria impresa. Una perdita di tempo in grado di mettere a rischio il rispetto di una scadenza o il semplice assolvimento di un compito.

Viceversa, applicare una soluzione di Data Catalog non tarderà nel dimostrarsi valida nel raggiungere diversi obiettivi. A partire da un riferimento unico e certo per tutti i dati. Di conseguenza, maggiore facilità nell’organizzarli e soprattutto relazionarli in funzione degli obiettivi di business. Infine, poter fornire un input di qualità a un sistema di Business Intelligence e sfruttare il potenziale dell’intelligenza artificiale in sede di analisi.

Dal punto di vista più semplice, quella sorta di censimento aziendale rappresentato dal Data Catalog può essere visto come un inventario delle risorse riconducili alla produzione, archiviazione e trattamento dei dati. Deve essere organizzato in modo da permettere agli utenti di recuperare le informazioni desiderate e interpretarle secondo gli obiettivi.

L’anticamera della Data Governance

Una soluzione di Data Catalog al servizio della Data Governance deve garantire due funzioni principali: riuscire a raccogliere e collegare tutte le fonti informative sparse nei vari sistemi per organizzarle in un modello strutturato con i metadati e la relativa disponibilità delle informazioni in modo guidato, controllato ed esaustivo.

Fondamentale è l’attenzione dedicata ai metadati. Le chiavi di ricerca devono essere compilate secondo criteri rigidi e noti a tutti. Voci duplicate, mancanti o imprecise, contribuiscono ad aumentare la confusione e diminuire la produttività. Basti pensare per esempio ai diversi modi di definire una località, a partire dalla lingua originale o quella locale. Affrontare il problema sin dai primi passi del Data Catalog significa ridurre gli errori nei database e fornire a tutti i reparti aziendali un insieme di informazioni condivise e affidabile.

Sono infatti diverse le figure in gioco da tenere in considerazione, dai classici utenti IT e di business, ai più specializzati data analyst, data engineer e data scientist, per arrivare agli sviluppatori. Ricordando anche come ciascuno di questi abbia la necessità di gestire linguaggi e seguire procedure diverse, le stesse in grado di tradursi in benefici per l’azienda.

Da materia prima di qualità, in questo caso il Data Catalog, è di conseguenza più facile costruire applicazioni valide a supporto delle strategie aziendali, nello specifico attraverso la Data Governance. Affiancando inoltre una gestione in ottica di sicurezza, con raggio d’azione in termini di accesso, modifica o semplice lettura correlato ai rispettivi ruoli, alla fine i benefici si riveleranno ad ampio raggio.

A partire da quelli interni, sul monitoraggio dei processi, per assicurare il pieno sfruttamento del patrimonio informativo aziendale, fino a una gestione ottimale delle procedure amministrative. Inoltre, una valutazione più accurata dei servizi in cloud, una maggiore capacità di rilevare segnali di potenziali inefficienze e in generale il supporto ai processi decisionali.

L'articolo Obiettivo Data Governance, perché il primo passo è il Data Catalog proviene da Horsa Blog.

Ogni organizzazione ha infatti bisogno di un insieme di regole e processi interni su come debbano essere utilizzati i dati, con rispettivi ruoli e mansioni. Capire dove si trovino questi dati, come organizzarli e come metterli al servizio dell’analisi, è il primo passo per individuare i KPI e tradurli in strumenti di supporto alle diverse mansioni e relativi obiettivi.

Si parla di un’applicazione legata a processi, ruoli e regole. Di conseguenza, con un elevato fattore di personalizzazione. Si possono però individuare cinque caratteristiche importanti per definire un Data Catalog, utili in qualsiasi circostanza. Anche solo per evitare il proliferare di strategie indipendenti all’interno di una stessa azienda, con relative difficoltà nel comunicare e condividere e nel mettere a punto le relative strategie.

Data Catalog: dalla parte dell’utente

Prima di tutto, occorre curare l’interfaccia utente. In generale, è difficile prevedere chi e come utilizzerà il Data Catalog. Serve quindi costruire un’interfaccia semplice, con procedure guidate e a prova di errore nell’inserimento o nella gestione dei dati e soprattutto nei metadati. Anche per gli utenti esperti, semplicità significa ridurre la possibilità di errori. È importante quindi superare ogni eventuale remora sulla professionalità di un’interfaccia, con il relativo timore di uno strumento eccessivamente semplice, al limite del banale, senza il timore di affidarsi a colori e a grafiche per guidare le operazioni.

Un altro problema da evitare, potenzialmente in grado di minare sin dalle origini la qualità dei dati aziendali, è la gestione dei duplicati o dei sinonimi. Se esistono più modi per riferirsi a uno stesso oggetto, una procedura o un prodotto, è fondamentale riuscire a prevederli tutti e fare in modo all’occorrenza di ricondurli alla stessa voce. Per quanto possibile, con il supporto di strumenti automatici. In alternativa, limitare i potenziali input definendo un insieme di voci ammissibili, facendo però attenzione anche a non circoscrivere eccessivamente il raggio d’azione degli utenti, potenzialmente in difficoltà nel trovare il termine corretto accettato dal Data Catalog.

Per esempio, il riferimento a una località. Dal punto di vista più generico, può essere inserito usando il nome originale, oppure quello nella propria lingua. Oppure ancora, in un terzo idioma internazionale. Senza dimenticare i potenziali nomignoli o contrazioni.

Fondamentale è di conseguenza la fase di definizione dei metadati, in pratica il vero nucleo del Data Catalog. In estrema sintesi, i metadati sono le chiavi di ricerca attraverso i quali gli utenti risaliranno all’informazione desiderata. Per esempio, tutti i parametri con i quali rintracciare un libro nel database di una biblioteca. A seconda del ruolo aziendale e dell’obiettivo, possono essere  estremamente variabili per numero e tipo ed è importante soddisfare ogni possibile esigenza. D’altra parte, è altrettanto importante essere molto rigorosi nella scelta e nella gestione. È necessario esaminare come inserire i metadati, i relativi formati e quando siano indispensabili o quando invece opzionali.

I vantaggi dell’automazione grazie a un Data Catalog

A questo punto appare quasi scontato capire quanto sia difficile, se non impossibile, fare a meno di una gestione automatizzata. Tra le conseguenze più evidenti della digitalizzazione, c’è infatti un’esplosione incontrollata di dati da gestire e, prima di tutto, da raccogliere e catalogare.

Non solo è impensabile farlo manualmente. Per elaborarli e classificarli è praticamente indispensabile affidarsi a un software con strumenti di Learning Machine e relativa Intelligenza Artificiale. Si rivelerà particolarmente utile anche nella fase di analytics, per le funzioni previsionali.

Infine, un buon risultato dipende anche dal livello di confidenza dell’utente. Quindi, nel limite del possibile meglio puntare su dashboard non rigide, con elementi di personalizzazione in grado di mettere a proprio agio in ogni circostanza. Un discorso collegato anche alle fasi successive di estrazione dei dati, dove ognuno possa essere in condizione di ricavare il report desiderato. Sempre però mantenendo un’uniformità di fondo, utile anche a favorire la condivisione  e relativa collaborazione.

Partendo da questi principi è possibile costruire fondamenta solide per il proprio Data Catalog e quindi per una Data Governance alleata delle strategie aziendali. Aspetto non trascurabile, preziosa anche in sede di conformità.

Devono restare tuttavia elevati gli spazi di personalizzazione. Se sul fronte della raccolta e validazione le esigenze possono essere meglio codificate, accesso e analisi sono strettamente legati a processi e a strategie interne. Per quanto sia difficile indicare una soluzione precisa di Data Catalog sul mercato, certamente un buon punto di partenza nella valutazione delle possibili soluzioni può essere guardare proprio a proposte attente alla personalizzazione, a partire da prodotti come Talend, Qlik o Irion.

L'articolo Data Catalog, 5 caratteristiche del software ideale proviene da Horsa Blog.

Le aziende e la difficoltà nella ricerca ed accesso ai dati

Negli ultimi anni la Digital Transformation, e l’inarrestabile ascesa di tutti gli scenari ad essa correlati, hanno fatto crescere in maniera esponenziale il volume dei dati trattati dalle aziende ed anche l’eterogeneità dei sistemi informatici che li producono e li consumano. Molto spesso, a questa crescita impetuosa, non corrisponde un percorso evolutivo organico e sostenibile (sia dal punto di vista architetturale che di processo) che la vada ad affiancare. Ci si può quindi ritrovare, ad un certo punto, di fronte ad una matassa di fili difficile da districare. Si pensi a:

• Conoscenza non completa e capillare di:
  • Patrimonio informativo
  • Architettura dei sistemi
• Decentralizzazione dei dati (assenza di Master Data)
• Conseguente difficoltà nel comprendere chi sono i Data Owner.
• Incapacità di recuperare il Lineage tecnico (dei dati) e di Business (dei flussi tra i processi).
• Assenza di un’orchestrazione di tali flussi
• Difficoltà nel segregare i dati per profilo di visibilità
• Incapacità di comprendere in quale punto della supply chain del dato si siano generati degli errori

In scenari di questo tipo, e senza un’azione mirata e tarata sulla singola situazione aziendale, anche la semplice operazione di ricerca ed accesso ai propri dati può diventare molto difficoltosa. Si pensi per estremizzare a quanto diventi complesso, sotto queste condizioni, raggiungere l’obiettivo data driven che ogni azienda moderna deve porsi.

Data Catalog: perché aiuta ad orientarsi tra i dati aziendali

Un Data Catalog è sostanzialmente l’inventario aziendale dei dati, dei metadati e delle entità ad essi correlate. È la bussola che permette ad un’azienda di navigare tra i suoi dati e soprattutto di iniziare ad andare della direzione data driven.

Una soluzione Data Catalog infatti permette di raggiungere i seguenti obiettivi:

• Accentrare i dati: l’esistenza del catalogo dei dati, di per sé, rappresenta un traguardo perché si ha la mappa del patrimonio informativo aziendale.
• Definizione di Business Glossary aziendale e dell’interpretazione personale sul significato di dati, logiche di Business ecc.
• Documentazione architetturale e delle relazioni tra le componenti.
• Implementazione delle tecniche di Lineage su dati, flussi di processo ecc. e conseguente documentazione (anche dei metadati).
• Supporto (via AI e ML) alla Data Quality, così da intercettare per tempo problematiche sulla qualità del dato, e più in generale su tutti gli automatismi che possano portare valore alla catena del dato.
• Segregazione logica dei dati: il Data Catalog permette l’automazione delle politiche di masking dei dati abbinate ad una gestione della profilazione degli stessi che vada di pari passo con la Data Governance aziendale.
• Supporto alla Data Governance anche attraverso la definizione dei profili che vanno in relazione diretta coi ruoli previsti (appunto) da una politica di Data Governance.

Data Catalog: possibili pattern implementativi

L’adozione di un Data Catalog, che va di pari passo con quella di una Data Governance aziendale, può spesso spaventare perché sembra essere un processo lungo, complesso e che coinvolge persone, processi e tecnologie differenti. Come in ogni data journey efficace, l’adozione di un Data Catalog dev’essere vista come un insieme di step propedeutici al raggiungimento del traguardo finale. Quest’iniziativa, inoltre, rientra all’interno dell’adozione del più ampio processo di Data Governance che ogni azienda data driven deve intraprendere. Diventa essenziale dunque, per capire quali sono gli step che la tua azienda deve fare, comprendere essenzialmente a che punto l’azienda è oggi.

Si rimanda a tal proposito al webinar sotto riportato in cui abbiamo raccontato come adottare un percorso di Data Governance in una realtà aziendale italiana e, per estensione, come approcciare questo percorso alla parte di Data Catalog.

L'articolo Data Catalog: perché ti serve, e come implementarlo proviene da Horsa Blog.

Perché è necessario un Data Catalog per la maturità aziendale

Non è semplice definire il concetto di “maturità aziendale”: ad essa, infatti, concorrono parametri diversi, e può essere misurata secondo numerose modalità. In linea generale, potremmo dire che più un’azienda è “matura”, più è in grado di far lavorare in maniera efficace i fattori della produzione. In questo senso, la maturità di un’azienda si misura secondo la sua capacità di essere efficiente, veloce, ma anche consapevole. La maturità aziendale si può raggiungere in diversi ambiti (alcuni prima di altri); in questo articolo prendiamo in considerazione la maturità che esprimono le aziende nell’uso dei dati.

Per ottenere un buon grado di maturità aziendale nell’utilizzo dei dati, bisogna innanzitutto prestare attenzione a queste due tensioni:

• la capacità di farsi le domande giuste;
• la capacità di selezionare il minimo set di informazioni con le quali le persone debbano relazionarsi

Il numero giusto deve essere comunicato quando serve, a chi ne ha bisogno e per soddisfare una precisa necessità informativa.

La qualità è sempre più importante della quantità: è preferibile infatti avere dati distillati, piuttosto che una mole di informazioni poco sfruttate, non categorizzate e di bassa o (peggio) sconosciuta qualità. Per ridurre la quantità e organizzare correttamente la supply-chain del dato, è sempre più necessario procedere all’adozione di un Data Catalog.

Esso rappresenta infatti uno strumento imprescindibile per raggiungere lo stato di “azienda matura”. Un Data Catalog è uno strumento di Governance che organizza le informazioni sotto il punto di vista logico per profilare e sintetizzare, comprendere e distribuire. Un’azienda matura è, infatti, quella che riesce ad affrontare la complessità e usa i dati come elemento per comprenderla e anticiparla.

Data Catalog: cos’è e perché migliora i tuoi dati

La quantità di dati necessari ad un’azienda deve essere gestita ed ordinata in modo da ricavare informazioni sintetiche e strategicamente utili. Il compito principale di un Data Catalog è questo: facilitare la lettura dei dati, ordinarli, osservarli, capirne il ciclo di vita.

Un Data Catalog, quindi, non è che un moderno e potente inventario per censire tutti i data asset di un’impresa e le entità ad essa connesse. Uno strumento indispensabile per ottenere informazioni chiare, ordinate e utili sotto il punto di vista strategico ed operativo, che deve necessariamente avere queste caratteristiche:

• capacità di mettere a disposizione i dati aziendali in modo assistito e controllato;
• possibilità di digerire, determinare le specifiche caratteristiche e organizzare in un modello strutturato di metadati le fonti informative più disparate
• supportare le tecniche di Data Lineage e Impact Analysis, come gestione del lineage di business (flussi di informazioni tra processi), lineage tecnico (flussi di dati fisici tra sistemi IT) e lineage verticale (identificazione dei data asset IT che rappresentano fisicamente le informazioni del business);
• supportare lo sviluppo, la gestione e la manutenzione dei workflow a supporto dei processi data intensive;
• farsi carico e facilitare i processi di Data Governance e compliance normativa;
• abilitare automatismi, anche basati su logiche di AI e Machine Learning

I metadati che compongono un Data Catalog sono così organizzati in modo che si possa facilmente sapere dove risiedono i dati, capirne la semantica, valutarne la qualità e consentirne l’accesso in modo agevole e controllato agli attori interessati. Ogni persona autorizzata può, attraverso il Data Catalog, individuare un set di informazioni rilevanti, comprenderne il significato, determinarne le relazioni con altre informazioni per sostenere il valore d’impresa.

Tutti i vantaggi del Data Catalog

La mancanza di uno strumento di catalogazione, governance e controllo come il Data Catalog spinge, ancora oggi, le aziende ad effettuare una segregazione fisica dei dati per proteggerli e garantirne la sicurezza. Si ricorre generalmente ad una scelta hard, secondo cui soltanto alcuni reparti possono accedere a determinate informazioni.

Il Data Catalog, in questo senso, permette di segregare logicamente i dati: in questo modo si può decidere chi può vedere quali informazioni, limitando l’accesso, abilitando il masking dei dati o l’anonimizzazione (pseudonimizzazione) e garantendo la sicurezza.

Altra caratteristica del Data Catalog è quella di gestire la condivisione della conoscenza: una volta che le informazioni sono state aggregate ed ordinate, al punto di poter esprimere valore dalla loro analisi, si può condividere l’exploit con tutta l’organizzazione in modo che il dato diventi patrimonio diffuso.

Il Data Catalog è dunque un luogo per gestire e favorire l’uso dei dati, ma non solo. Esso parte dall’organizzazione di quest’ultimi, per arrivare all’isolamento di eventuali problemi e bug, identificandoli e risolvendoli rapidamente. In questo modo, anche la Data Quality viene nettamente migliorata.

L'articolo Data Catalog: come ottenere il controllo dei dati proviene da Horsa Blog.