Ogni organizzazione ha infatti bisogno di un insieme di regole e processi interni su come debbano essere utilizzati i dati, con rispettivi ruoli e mansioni. Capire dove si trovino questi dati, come organizzarli e come metterli al servizio dell’analisi, è il primo passo per individuare i KPI e tradurli in strumenti di supporto alle diverse mansioni e relativi obiettivi.

Si parla di un’applicazione legata a processi, ruoli e regole. Di conseguenza, con un elevato fattore di personalizzazione. Si possono però individuare cinque caratteristiche importanti per definire un Data Catalog, utili in qualsiasi circostanza. Anche solo per evitare il proliferare di strategie indipendenti all’interno di una stessa azienda, con relative difficoltà nel comunicare e condividere e nel mettere a punto le relative strategie.

Data Catalog: dalla parte dell’utente

Prima di tutto, occorre curare l’interfaccia utente. In generale, è difficile prevedere chi e come utilizzerà il Data Catalog. Serve quindi costruire un’interfaccia semplice, con procedure guidate e a prova di errore nell’inserimento o nella gestione dei dati e soprattutto nei metadati. Anche per gli utenti esperti, semplicità significa ridurre la possibilità di errori. È importante quindi superare ogni eventuale remora sulla professionalità di un’interfaccia, con il relativo timore di uno strumento eccessivamente semplice, al limite del banale, senza il timore di affidarsi a colori e a grafiche per guidare le operazioni.

Un altro problema da evitare, potenzialmente in grado di minare sin dalle origini la qualità dei dati aziendali, è la gestione dei duplicati o dei sinonimi. Se esistono più modi per riferirsi a uno stesso oggetto, una procedura o un prodotto, è fondamentale riuscire a prevederli tutti e fare in modo all’occorrenza di ricondurli alla stessa voce. Per quanto possibile, con il supporto di strumenti automatici. In alternativa, limitare i potenziali input definendo un insieme di voci ammissibili, facendo però attenzione anche a non circoscrivere eccessivamente il raggio d’azione degli utenti, potenzialmente in difficoltà nel trovare il termine corretto accettato dal Data Catalog.

Per esempio, il riferimento a una località. Dal punto di vista più generico, può essere inserito usando il nome originale, oppure quello nella propria lingua. Oppure ancora, in un terzo idioma internazionale. Senza dimenticare i potenziali nomignoli o contrazioni.

Fondamentale è di conseguenza la fase di definizione dei metadati, in pratica il vero nucleo del Data Catalog. In estrema sintesi, i metadati sono le chiavi di ricerca attraverso i quali gli utenti risaliranno all’informazione desiderata. Per esempio, tutti i parametri con i quali rintracciare un libro nel database di una biblioteca. A seconda del ruolo aziendale e dell’obiettivo, possono essere  estremamente variabili per numero e tipo ed è importante soddisfare ogni possibile esigenza. D’altra parte, è altrettanto importante essere molto rigorosi nella scelta e nella gestione. È necessario esaminare come inserire i metadati, i relativi formati e quando siano indispensabili o quando invece opzionali.

I vantaggi dell’automazione grazie a un Data Catalog

A questo punto appare quasi scontato capire quanto sia difficile, se non impossibile, fare a meno di una gestione automatizzata. Tra le conseguenze più evidenti della digitalizzazione, c’è infatti un’esplosione incontrollata di dati da gestire e, prima di tutto, da raccogliere e catalogare.

Non solo è impensabile farlo manualmente. Per elaborarli e classificarli è praticamente indispensabile affidarsi a un software con strumenti di Learning Machine e relativa Intelligenza Artificiale. Si rivelerà particolarmente utile anche nella fase di analytics, per le funzioni previsionali.

Infine, un buon risultato dipende anche dal livello di confidenza dell’utente. Quindi, nel limite del possibile meglio puntare su dashboard non rigide, con elementi di personalizzazione in grado di mettere a proprio agio in ogni circostanza. Un discorso collegato anche alle fasi successive di estrazione dei dati, dove ognuno possa essere in condizione di ricavare il report desiderato. Sempre però mantenendo un’uniformità di fondo, utile anche a favorire la condivisione  e relativa collaborazione.

Partendo da questi principi è possibile costruire fondamenta solide per il proprio Data Catalog e quindi per una Data Governance alleata delle strategie aziendali. Aspetto non trascurabile, preziosa anche in sede di conformità.

Devono restare tuttavia elevati gli spazi di personalizzazione. Se sul fronte della raccolta e validazione le esigenze possono essere meglio codificate, accesso e analisi sono strettamente legati a processi e a strategie interne. Per quanto sia difficile indicare una soluzione precisa di Data Catalog sul mercato, certamente un buon punto di partenza nella valutazione delle possibili soluzioni può essere guardare proprio a proposte attente alla personalizzazione, a partire da prodotti come Talend, Qlik o Irion.

L'articolo Data Catalog, 5 caratteristiche del software ideale proviene da Horsa Blog.

La velocità nella scoperta di nuove informazioni è importante. Senza uno stack di dati moderno non si può agire velocemente, non avendo dati disponibili dove e quando se ne ha bisogno. Uno degli elementi chiave, quindi, è una piattaforma che sfrutta il “potere dei dati” per rivelare schemi, fare previsioni e fornire insight. Essere in grado di comprendere ed utilizzare queste informazioni aiuta a prendere la decisione giusta e ad agire di conseguenza.

Ne consegue pertanto che è necessario inserire nelle organizzazioni una modern data platform: Microsoft Azure è una piattaforma che abilita un’analisi evoluta dei dati; utilizza strumenti e servizi Microsoft avanzati per garantire produttività, agilità e sicurezza. Il cloud di Azure mette a disposizione diversi servizi. Sebbene ciascuno di essi abbia uno scopo diverso, sono da considerare come un’unica piattaforma coerente e centralizzata per gli analytics.

La modern data platform nel cloud Microsoft Azure: tutti i servizi

Questa piattaforma offre servizi completi e centralizzati per distribuire il data warehousing e i big data direttamente nel cloud con la scalabilità di Microsoft Azure. I principali servizi gestiti sono:

• Data warehouse cloud: Azure Synapse Analytics è il DW cloud di Microsoft, flessibile e affidabile, che permette di ridimensionare, calcolare e archiviare in modo elastico e indipendente i dati. L’architettura di elaborazione in parallelo delle query ottimizza le performance di aggiornamento ed interrogazione.
• Integrazione dati: con Azure Data Factory è possibile integrare dati in maniera ibrida (on-premise/cloud) e creare, pianificare e orchestrare i flussi di lavoro sia ETL che ELT.
• Archivi di oggetti: Azure Blob Storage e Azure Data Lake sono archivi altamente scalabili per qualsiasi tipo di dati anche non strutturati, come immagini, video, audio, documenti.
• Piattaforma di analisi: Azure Databricks è veloce, semplice e collaborativa; basata su Apache Spark, è utile per le diverse figure che devono realizzare analisi, come data science e data engineer.
• Servizio di analisi: Azure Analysis Services permette di gestire in modo centralizzato e distribuire il modello analitico (BISM – BI Semantic Model) in tutta sicurezza su larga scala.
• Power BI: un gruppo di strumenti di analisi che consente di distribuire informazioni dettagliate in tutta l’organizzazione. Permette di collegarsi a centinaia di origini dati, semplificare la preparazione dei dati ed eseguire analisi ad hoc. È possibile produrre report, quindi pubblicarli in modo che l’organizzazione li utilizzi sul Web e nei diversi dispositivi mobili.

Dalla nostra esperienza in contesti di data warehousing e data management, riteniamo che i servizi Microsoft Azure di data platform, oltre a garantire i classici benefici del cloud come la flessibilità e la scalabilità, vadano incontro alle esigenze delle aziende che cercano soluzioni di dati centralizzate. Con queste soluzioni si ha la possibilità di implementare in modo agile ambienti di analisi su dati relazionali e di big data, senza dover rivedere l’architettura al nascere di nuove esigenze in ambito analytics, ma semplicemente attivando i servizi che si ritengono più opportuni per rispondere ai fabbisogni di informazioni del business. Tutto questo potendo sfruttare competenze già presenti in azienda e quindi con una curva di apprendimento molto bassa.

Per concludere, il giusto approccio all’introduzione di questo tipo di piattaforme deve partire dall’individuazione di un nuovo progetto di una Business Unit o di un’area specifica dell’azienda. Infatti, senza particolari investimenti in infrastruttura e risorse si riescono ad ottenere risultati in tempi rapidi, in una piattaforma che permette di sperimentare e fare test. Di seguito la piattaforma può evolversi rapidamente non appena entrano nuove idee e progetti, ed affrontare quindi in modo più efficace e consapevole una migrazione dal traditional data warehouse verso una modern data platform.

Tutti i dati in un unico punto: la rivoluzione di Microsoft Azure Synapse Analytics

Azure Synapse Analytics riunisce in un’unica piattaforma il data warehousing aziendale e l’analisi dei big data con un’esperienza unificata per importare, preparare, gestire e servire i dati per la BI anche in real-time ed esigenze di machine learning.

Il cuore di Azure Synapse Analytics è Azure Synapse Studio, un’area di lavoro sicura e collaborativa per l’implementazione e la gestione di analisi basate su cloud in Azure, distribuita in una specifica region ed in un gruppo di risorse cloud. All’interno è associato un Azure Data Lake storage, file system per la memorizzazione di dati temporanei. È possibile inoltre configurare le pipeline di Azure Data Factory all’interno della stessa area di lavoro in modo da gestire sia l’ingestion che le trasformazioni sui dati.

Dal punto di vista analitico, Azure Synapse Analytics è una piattaforma di esplorazione e analisi dei dati veloce ed intuitiva. L’endpoint SQL in Synapse (linguaggio T-SQL) rende semplice e veloce l’esplorazione e l’analisi dei dati, senza infrastruttura da configurare o gestire. Questo approccio tecnologico permette di unire e gestire in modo flessibile dati relazionali e non relazionali ed interroga facilmente i file nel data lake con lo stesso servizio utilizzato per creare soluzioni di data warehousing.

Da considerare poi che il motore Apache Spark semplifica l’uso dei big data rimuovendo la complessità dell’installazione e messa a punto di un cluster dedicato. Questo motore grazie la potenza di Spark con supporto integrato di Azure Machine Learning – una ulteriore integrazione con altri servizi di Azure – copre l’intera gamma di esigenze di analisi, dalla data engeneering alla data science, utilizzando diversi linguaggi.

In conclusione, tutti i servizi così integrati consentono una migliore collaborazione tra i diversi team di analisti, ed è possibile utilizzare T-SQL sia sul datawarehouse che sul motore Spark incorporato, accelerando quindi la curva di apprendimento ed utilizzo della piattaforma.

Conclusioni

L’analisi dei dati aiuta le aziende a scoprire insight, migliorare l’efficienza, effettuare strategie aziendali più precise e ridurre i costi operativi. Infatti, le organizzazioni stanno costruendo la loro strada verso il cloud e l’intelligence basata sui dati.

Per rispondere meglio a queste esigenze la Modern Data Platform di Microsoft Azure offre funzionalità e vantaggi che consentono all’azienda moderna di gestire facilmente i dati relazionali e non relazionali su tutti i volumi e ad alte prestazioni. Passando da un’esperienza coerente nel cloud, si ottengono insight e analisi avanzate su tutti i dati dell’organizzazione, ovunque risiedano.

Se vuoi saperne di più sulla Modern Data Platform di Microsoft Azure, scarica il webcast!

L'articolo Microsoft Azure per la Modern Data Platform proviene da Horsa Blog.