Data Stewardship consente di validare, correggere e migliorare i dati estratti, garantendo coerenza e accuratezza prima della loro integrazione nei processi aziendali. Con Talend, è possibile impostare regole personalizzate per il controllo dei dati, gestire anomalie e ambiguità, applicare correzioni automatiche e monitorare costantemente la qualità delle informazioni. Inoltre, la possibilità di coinvolgere un supervisore umano nei casi più complessi assicura che i dati utilizzati siano sempre affidabili e aderenti agli standard aziendali. 

Talend in azione: dalla verifica ordini alla gestione documentale 

Per comprendere il valore di Talend Data Stewardship, consideriamo il caso di un’azienda manifatturiera che riceve centinaia di ordini cliente ogni giorno, spesso in formati PDF diversi. Grazie all’estrazione automatizzata (tramite il supporto di OCR e LLM), è possibile identificare i codici prodotto e le quantità ordinate; senza un controllo di qualità potrebbero tuttavia verificarsi errori come codici obsoleti o duplicati, quantità non conformi agli accordi contrattuali e così via. Talend permette di intercettare questi problemi prima che i dati vengano inseriti nei sistemi ERP, applicando regole predefinite e notificando un operatore in caso di discrepanze. 

Un altro esempio riguarda la gestione documentale nel settore assicurativo. Contratti, polizze e premi devono essere estratti e classificati correttamente per garantire la conformità normativa e la protezione dei dati sensibili. Talend Data Stewardship consente di verificare che ogni documento contenga i dati essenziali e segnala eventuali mancanze, evitando errori che potrebbero rallentare le attività aziendali quotidiane. 

La sinergia con l’AI: il futuro della gestione dati 

Parallelamente, l’utilizzo di modelli avanzati di intelligenza artificiale, tra cui i Large Language Model (LLM), sta rivoluzionando l’estrazione e l’interpretazione dei dati. Talend può interagire con questi modelli inserendosi nella pipeline della Document extraction e creando così un processo semi-automatizzato sempre più intelligente. Ad esempio, un LLM può riconoscere clausole contrattuali specifiche in documenti legali, mentre Talend garantisce che i dati estratti siano coerenti e strutturati in modo corretto prima dell’inserimento nei database aziendali. 

L’integrazione tra AI e strumenti di Data Stewardship come Talend rappresenta già una svolta decisiva per migliorare la gestione dei dati aziendali e potenziare l’efficienza operativa.

Grazie a questa combinazione, le aziende possono ridurre gli errori manuali, migliorare la qualità dei dati e accelerare i processi decisionali, trasformando il flusso documentale in una risorsa strategica per la crescita del business. 

L'articolo Document Extraction e Data Quality proviene da Horsa Blog.

Sempre più aziende stanno puntando verso un approccio data-driven della loro gestione. Questo significa che le decisioni vengono prese basandosi su dati, tradotti in informazioni e fatti oggettivi, e non sensazioni; più corrette e precise saranno queste informazioni migliori saranno di conseguenza le decisioni.  

Ed è proprio da questo attuale contesto, caratterizzato da un’inarrestabile crescita dei volumi dei dati, dalla loro varietà sempre meno omogenea e dai data needs sempre più rapidi, che emerge l’esigenza delle aziende di avere un dato certificato realmente: qui nasce la Data Quality.  

Nonostante l’implementazione di processi di Data Integration, Data Warehouse, Data Lake ecc. che riconducano i dati a un tracciato definito, non c’è la sicurezza che i dati siano corretti e di qualità. E come è ben risaputo, dati di qualità portano alle aziende una serie di benefici: 

• decisioni migliori, 
• maggiori introiti,
• risparmio di tempo, 
• maggior confidenza nei sistemi analitici, 
• minori costi,  
• maggior customer satisfaction. 

Le misure della qualità dei dati 

Ma in base a che cosa viene valutata la qualità dei dati? Al fine di elaborare degli standard per la Data Quality è stato introdotto in Horsa un framework che consente di misurare la qualità dei dati attraverso 6 dimensioni: 

• Completezza: la percentuale di dati di qualità rispetto al totale
• Tempestività: quanto i dati rappresentano la realtà nel momento richiesto
• Validità: i dati sono conformi alla sintassi (formato, tipo, intervallo) della loro definizione? 
• Unicità: nessuna entità unica verrà salvata più di una volta nei sistemi
• Accuratezza: i dati descrivono correttamente il “mondo reale”? 
• Consistenza: c’è differenza, quando si confrontano due o più rappresentazioni di un’entità con la loro definizione? 

Se prendiamo ad esempio il campo “indirizzo” nella base dati di un’azienda che fa consegne e questo campo manca di alcune delle informazioni fondamentali (completezza), o non è aggiornato (tempestività) o contiene il civico al posto del CAP (validità), ne conseguiranno delle consegne sbagliate e tutti i relativi problemi collegati. 

La Data Quality come processo 

Il tema della Data Quality è una questione di processo iterativo e continuo, che fa da cappello a tutto quello che è la Data Governance, intesa come governo del dato comprensivo di obblighi normativi e individuazione di una platform che consenta di gestire ruoli, metadati, regole di business, regole di quality e infine la tecnologia. Dunque, non è un processo strettamente tecnologico, ma iterativo e fatto soprattutto di persone e di coinvolgimento continuo, dove alla base ci sono la definizione di ruoli e processi aziendali.  

Conclusioni 

La Data Quality rappresenta quindi un ambito di fondamentale importanza all’interno di un’azienda. Necessita di attenzione e investimenti in quanto primo step verso la garanzia della bontà delle informazioni aziendali, base per fare decision making in modo più efficiente. 

L'articolo Data Governance e… Data Quality proviene da Horsa Blog.

Cos’è la data quality e perché bisogna prevederla nelle aziende

Ma cosa vuol dire data quality? È un concetto che va oltre la qualità dei dati in sé e riguarda tutto l’insieme di processi atti a monitorare e incrementare, attraverso l’analisi e il miglioramento di tutti i dati aziendali, le caratteristiche che incidono sulla capacità dei dati stessi di soddisfare bisogni dichiarati o impliciti per l’azienda. Come sostiene ancora Gartner, “i leader di D&A (Data & Analytics) devono intraprendere azioni pragmatiche e mirate per migliorare la qualità dei dati aziendali se vogliono accelerare la trasformazione digitale delle loro organizzazioni”. Dati sparsi, ridondanti o non corretti creano disordine e inefficienze all’interno delle aziende, perché non permettono di prendere decisioni corrette e nemmeno di agire nei tempi giusti. E questo riduce le opportunità di possibili introiti.

La data quality in due esempi

Vediamo nel concreto cosa significa avere dei dati di qualità. Prendiamo per esempio l’anagrafica cliente, un tipo di dato presente pressoché in tutte le aziende e che ingloba diverse informazioni relative a email, partita Iva, indirizzo e simili. Immaginiamo di essere un’azienda e-commerce che ha la necessità di inviare via e-mail informazioni promozionali o di spedire prodotti all’indirizzo di un cliente. Se i dati nell’anagrafica non sono stati compilati correttamente o se, per qualche motivo, all’interno dei processi c’è qualcosa che li “sporca”, li elimina o li modifica, si avranno una perdita di efficacia sulle campagne marketing o lamentele da parte del cliente perché non riceve i prodotti.

Immaginate ora di avere un sistema su cui sono attivi vari processi, tramite cui vengono contabilizzati tutti gli ordini, le spedizioni, i resi, i costi e i ricavi dei prodotti. Immaginate di dover prendere delle decisioni in base all’andamento di tali processi e che a un certo punto notate un comportamento anomalo. Vi accorgete che c’è una diminuzione di uno o più dei predetti fattori e non riuscite a spiegarvi il motivo. Nel frattempo, vi viene chiesto di stimare la pianificazione della produzione da raggiungere nei prossimi mesi. Per soddisfare la richiesta, dovrete capire cosa è successo, se la variazione dipende da un problema sui dati oppure da un calo di mercato. Ma se è un problema sui dati, quanto tempo impiegherete a trovare la causa e a risolvere tutto?

La data quality serve a prevenire tali problematiche, e nel caso in cui esse si presentino, a rendere più semplice l’individuazione e la risoluzione, grazie a una migliore percezione e conoscenza dei processi. Non è dunque uno strumento utile solo a monitorare i dati, ma anche i processi che li producono.

Un processo strutturato non delle “toppe”

Da quanto visto, appare chiaro come la data quality sia un tassello fondamentale per le aziende che operano in ottica di un decision making data-driven ed è destinata a diventare uno strumento indispensabile per tutte le aziende che hanno intenzione di crescere e migliorarsi in tale prospettiva.

Gartner prevede che entro il 2022, il 70% delle organizzazioni monitorerà rigorosamente i livelli di qualità dei dati, migliorandoli del 60% in modo da ridurre significativamente i rischi operativi e i costi.

Spesso, però, alcune aziende cercano di risolvere il problema della data quality tramite attività di manutenzione estemporanee, eseguite in fase di sintesi del dato e supportate da mappature in Excel o altri strumenti di revisione manuali.

Tali attività comportano un impegno costante e non indifferente da parte del personale nel tenerle sempre aggiornate, con tutti i rischi di errori “umani” che possono verificarsi. Ma soprattutto non sono altro che toppe sui processi che vanno a risolvere momentaneamente un problema, per poi spesso andare a finire nel “dimenticatoio aziendale”, provocando ulteriori problemi ai processi e dunque compromettendo nuovamente la data quality. Inoltre, tanto più sono presenti questi tipi di “toppe” tanto più costoso e difficile sarà manutenerle nel tempo: tutto ciò senza ottenere minimamente i benefici e la longevità di un processo strutturato.

Come monitorare il processo di data quality

Il processo di data quality viene monitorato attraverso la pianificazione e messa a punto di indicatori sintetici, che permettono di ottenere una valutazione oggettiva dello stato qualitativo delle basi dati e dei relativi ambiti informativi. Tali risultati vengono solitamente rappresentati con strumenti analitici come dashboard, permettendo dunque il controllo continuo del grado di affidabilità delle risorse dati in azienda.

Affinché la data quality porti risultati tangibili è quindi importante considerare due aspetti fondamentali: il monitoraggio della qualità dei dati e l’identificazione delle azioni correttive da intraprendere per la qualità stessa, che devono essere inserite in una scala di priorità di risoluzione.

Non uno standard, ma adattato all’azienda

Il processo di data quality è costruito sulla base di regole standard di monitoraggio (che valutano i dati attraverso criteri di Consistenza, Completezza, Coerenza, Accuratezza, Copertura, Stabilità). Tuttavia, è necessario creare altre regole e metriche sulla base delle caratteristiche di business del dato che si analizza e sulle necessità dell’azienda. Per questo è bene affrontare tali tematiche supportati da specialisti D&A che sappiano guidarci nel percorso, per permettere all’azienda di investire in un processo che darà benefici tangibili, oltre a spingerla verso un più consapevole uso e interpretazione del dato.

Uno studio approfondito sulle dinamiche funzionali e di gestione del dato da parte di esperti D&A, supportati dalle varie funzioni aziendali, permette di creare algoritmi di controllo ad hoc. Questo si traduce in una maggiore tranquillità per l’azienda nelle scelte fatte sulla base dei dati che consulta tutti i giorni.

Infine, l’attività D&A in ambito data quality non si limita soltanto al monitoraggio, ma alla creazione di dashboard data quality che riflettono anche l’impatto delle attività di miglioramento effettuate sui KPI aziendali. È dunque parte essenziale del processo dare un riscontro in termini di benefici sul business e sui ricavi ottenuti a seguito di tali miglioramenti, che giustificheranno le spese inizialmente sostenute.

Uno degli strumenti che risponde ad una parte di tali esigenze è il Data Catalog, spesso utilizzato a supporto del processo di Data Quality, che aiuta ad avere una visione d’insieme dei dati e delle loro relazioni, oltre ad essere uno strumento di studio del dato i cui i risultati e le analisi sono condivisibili con tutti coloro che ne hanno accesso, permettendo di individuare possibili problematiche da risolvere e monitorare.

[hubspot type=cta portal=8916761 id=2d60a8bf-3532-4dd2-ab01-937ce61c0f7e]

L'articolo Data quality: perché avere i dati non basta. Come renderli utili e disponibili proviene da Horsa Blog.

Perché è necessario un Data Catalog per la maturità aziendale

Non è semplice definire il concetto di “maturità aziendale”: ad essa, infatti, concorrono parametri diversi, e può essere misurata secondo numerose modalità. In linea generale, potremmo dire che più un’azienda è “matura”, più è in grado di far lavorare in maniera efficace i fattori della produzione. In questo senso, la maturità di un’azienda si misura secondo la sua capacità di essere efficiente, veloce, ma anche consapevole. La maturità aziendale si può raggiungere in diversi ambiti (alcuni prima di altri); in questo articolo prendiamo in considerazione la maturità che esprimono le aziende nell’uso dei dati.

Per ottenere un buon grado di maturità aziendale nell’utilizzo dei dati, bisogna innanzitutto prestare attenzione a queste due tensioni:

• la capacità di farsi le domande giuste;
• la capacità di selezionare il minimo set di informazioni con le quali le persone debbano relazionarsi

Il numero giusto deve essere comunicato quando serve, a chi ne ha bisogno e per soddisfare una precisa necessità informativa.

La qualità è sempre più importante della quantità: è preferibile infatti avere dati distillati, piuttosto che una mole di informazioni poco sfruttate, non categorizzate e di bassa o (peggio) sconosciuta qualità. Per ridurre la quantità e organizzare correttamente la supply-chain del dato, è sempre più necessario procedere all’adozione di un Data Catalog.

Esso rappresenta infatti uno strumento imprescindibile per raggiungere lo stato di “azienda matura”. Un Data Catalog è uno strumento di Governance che organizza le informazioni sotto il punto di vista logico per profilare e sintetizzare, comprendere e distribuire. Un’azienda matura è, infatti, quella che riesce ad affrontare la complessità e usa i dati come elemento per comprenderla e anticiparla.

Data Catalog: cos’è e perché migliora i tuoi dati

La quantità di dati necessari ad un’azienda deve essere gestita ed ordinata in modo da ricavare informazioni sintetiche e strategicamente utili. Il compito principale di un Data Catalog è questo: facilitare la lettura dei dati, ordinarli, osservarli, capirne il ciclo di vita.

Un Data Catalog, quindi, non è che un moderno e potente inventario per censire tutti i data asset di un’impresa e le entità ad essa connesse. Uno strumento indispensabile per ottenere informazioni chiare, ordinate e utili sotto il punto di vista strategico ed operativo, che deve necessariamente avere queste caratteristiche:

• capacità di mettere a disposizione i dati aziendali in modo assistito e controllato;
• possibilità di digerire, determinare le specifiche caratteristiche e organizzare in un modello strutturato di metadati le fonti informative più disparate
• supportare le tecniche di Data Lineage e Impact Analysis, come gestione del lineage di business (flussi di informazioni tra processi), lineage tecnico (flussi di dati fisici tra sistemi IT) e lineage verticale (identificazione dei data asset IT che rappresentano fisicamente le informazioni del business);
• supportare lo sviluppo, la gestione e la manutenzione dei workflow a supporto dei processi data intensive;
• farsi carico e facilitare i processi di Data Governance e compliance normativa;
• abilitare automatismi, anche basati su logiche di AI e Machine Learning

I metadati che compongono un Data Catalog sono così organizzati in modo che si possa facilmente sapere dove risiedono i dati, capirne la semantica, valutarne la qualità e consentirne l’accesso in modo agevole e controllato agli attori interessati. Ogni persona autorizzata può, attraverso il Data Catalog, individuare un set di informazioni rilevanti, comprenderne il significato, determinarne le relazioni con altre informazioni per sostenere il valore d’impresa.

Tutti i vantaggi del Data Catalog

La mancanza di uno strumento di catalogazione, governance e controllo come il Data Catalog spinge, ancora oggi, le aziende ad effettuare una segregazione fisica dei dati per proteggerli e garantirne la sicurezza. Si ricorre generalmente ad una scelta hard, secondo cui soltanto alcuni reparti possono accedere a determinate informazioni.

Il Data Catalog, in questo senso, permette di segregare logicamente i dati: in questo modo si può decidere chi può vedere quali informazioni, limitando l’accesso, abilitando il masking dei dati o l’anonimizzazione (pseudonimizzazione) e garantendo la sicurezza.

Altra caratteristica del Data Catalog è quella di gestire la condivisione della conoscenza: una volta che le informazioni sono state aggregate ed ordinate, al punto di poter esprimere valore dalla loro analisi, si può condividere l’exploit con tutta l’organizzazione in modo che il dato diventi patrimonio diffuso.

Il Data Catalog è dunque un luogo per gestire e favorire l’uso dei dati, ma non solo. Esso parte dall’organizzazione di quest’ultimi, per arrivare all’isolamento di eventuali problemi e bug, identificandoli e risolvendoli rapidamente. In questo modo, anche la Data Quality viene nettamente migliorata.

L'articolo Data Catalog: come ottenere il controllo dei dati proviene da Horsa Blog.