Power B: Cleaning data
0 likes103 views
Il documento discute le attività di Marco Pozzan nel campo della business intelligence e data modeling, evidenziando l'importanza della pulizia e integrazione dei dati. Viene descritta l'utilità di strumenti come Power BI e le sue componenti, inclusi Power Query e Power Pivot, per la trasformazione e visualizzazione dei dati. Si sottolinea la necessità di tradurre i dati in informazioni significative per supportare le decisioni aziendali.
![Recap DAX prima della demo
• La colonna calcolata usa Nometabella[campo]
• La misura usa [nomemisura]
• Colonna calcolata occupa spazio in memoria
• Operazioni su riga IF( Sales[Discount] > 0 ; «si», «no»)
• Misura non occupa spazio ma CPU
• SUM(Sales[Discount])
• FILTER/ALL simili alla where di SQL filtra una tabella
• FILTER(sales; sales[discount] >0 ) o ALL(Sales)](https://image.slidesharecdn.com/powerbicleanmodelling-180324090547/85/Power-B-Cleaning-data-14-320.jpg)
![Recap nozioni DAX prima della demo
• Funzioni di aggregazione SUM,AVERAGE,Ecc...
• SUM(Sales[Qtà])
• Non posso aggregare su due colonne
• SUMX(Sales,Sales[Qta] * Sales[Unit Price])
• CALCULATE Rimpiazza il filtro di valutazione di una
formula
• CALCULATE(SUM(Sales[Discount]);Product[color] =«red»)
• ALLSELECTED permette il visual total](https://image.slidesharecdn.com/powerbicleanmodelling-180324090547/85/Power-B-Cleaning-data-15-320.jpg)
Power B: Cleaning data
- 1. www.xedotnet.org Power BI: Cleaning and Modelling Data Marco Pozzan
- 2. Speaker • Consulente e formatore in ambito business intelligence, business analytics e data mining per (www.methode.it) • Dal 2002 le attività principali sono legate alla progettazione di data warehouse relazionale e alla progettazione multidimensionale con strumenti Microsoft. • Docente all'Università di Pordenone nel corso di analisi dei dati e Big Data • Community Lead di 1nn0va (www.innovazionefvg.net) • MCP,MCSA,MCSE,MCT e dal 2014 MVP per SQL Server e relatore in diverse conferenze sul tema. • Marco.Pozzan@methode.it • @marcopozzan.it • www.marcopozzan.it • http://www.scoop.it/u/marco-pozzan • http://paper.li/marcopozzan/1422524394
- 3. • Building blocks soluzione di BI • Data Analysis e Power BI • Demo Agenda
- 4. Dati Informazioni Conoscenza Visualizzazione - Azione Collezionare: I dati necessari devono essere raccolti dalle applicazioni o dalle sorgenti dati esterne nei diversi modi che conosciamo. Dove si trovano i dati? Gap Informativo? Integrare: I dati grezzi devono essere convertiti in informazioni chiare e precise. Verifica delle regole di business. I dati devono essere integrati in una struttura coerente usata per comprendere informazioni aziendali (verificare il dato). Dati vengono normalizzati e puliti. Analisi: generare informazione che sia accurata, disponibile sempre e tempestiva ha poco valore se non ci sediamo con il business ad analizzare che cosa significa realmente l’informazione estratta e la comprendiamo. «L'informazione non è conoscenza Albert Einstein» Presentare i dati e AGIRE!!!: Il motivo principale per cui le soluzioni di business intelligence sono deludenti e che mettiamo a disposizione la conoscenza attraverso dashboard, KPI ma le persone che possono decidere per qualsiasi motivo non fanno nulla. Building blocks business intelligence
- 5. Dati: Data Sources • La posizione (location) o il repository dei dati per la nostra soluzione di BI • Sono usate tradizionalmente nei processi di ETL, al momento abbiamo: • On-premises • In the cloud • In files Dati Informazioni Conoscenza Visualizzazione - Azione
- 6. Dati: Queries Comandi che girano sui data source per estrarre un dato specifico: • Ritorna un intera tabella oppure viene eseguita una query sulla sorgente • Può essere una stored procedure su SQL Server • Ritorna solo I dati di cui necessitiamo • Eseguire trasformazioni dei dati Dati Informazioni Conoscenza Visualizzazione - Azione
- 7. Informazioni: Data Transformations I dati devono essere trasformati dalla loro forma originale (source system) in un formato compatibile per la vostra destinazione: • Cleaning • Formatting • Key Lookups • Aggregations Dati Informazioni Conoscenza Visualizzazione - Azione
- 8. • Trovare, combinare e rimodellare Big Data, small data, e qualsiasi Dato! • Identificare e importare dati esterni • Trovare dati rilevanti usando strumenti di ricerca • Combinare e trasformare più sorgenti dati • Power Query formula language: “M” • Lo stesso linguaggio per la stessa query su sorgenti di dati diverse • Possibilità di condividere query e funzioni • (free) add-in per Excel 2010 e Excel 2013, 2016 (integrated) Power BI: Power Query? Dati Informazioni Conoscenza Visualizzazione - Azione
- 9. Conoscenza: Data Models • Creare una vista consistente degli elementi dei dati e le loro relazioni in una organizzazione • Insieme di standard e naming conventions • Contiene il modello semantico dei dati • L'idea di base è sempre la stessa: abilitare l'utente a navigare i dati senza riscrivere una nuova query ogni volta Dati Informazioni Conoscenza Visualizzazione - Azione
- 10. Power BI: Power Pivot • Soluzione In-memory per le necessita di data modelling della Self-Service BI.(free)add-in Excel 2010,Excel 2013 e 2016(i) • Data Model (BISM) è • E’ una lista di tabelle con delle frecce che le collegano • Tabella = indica un insieme di colonne che contengono dati • Relazione = si leggono come si «riferisce a» • Data model fisico: è il modo di pensare del tecnico • Data model logico: è il modo di pensare dell’utente (mondo reale) • Dove si creano le logiche di business o calcoli • Dove si utilizza DAX (Data Analysis Expression) Dati Informazioni Conoscenza Visualizzazione - Azione
- 11. Visualization • L’occhio umano riconosce i patterns • Facile da individuare le anomalie in un charts o in una maps, rispetto alle tabelle • Le visualizzazioni trovano patterns, clusters, e outliers • Aiutano a prendere facili decisioni sui nostri dati • Eliminare lo sforzo mentale nell’analizzare i numeri sulle righe Dati Informazioni Conoscenza Visualizzazione - Azione
- 12. Power BI: Power View? • Tool con visual interattivi • Ricerca dati: cross-filtering, Bing- integration, play axis • Già pronti per una eventuale presentazione (es: PPT) • Basato su Silverlight / Html 5 • Pensato per gli utenti di business • Obbietivo: dare potenza alla visualizzazione dei dati • Minima curva di apprendimento Dati Informazioni Conoscenza Visualizzazione - Azione
- 14. Recap DAX prima della demo • La colonna calcolata usa Nometabella[campo] • La misura usa [nomemisura] • Colonna calcolata occupa spazio in memoria • Operazioni su riga IF( Sales[Discount] > 0 ; «si», «no») • Misura non occupa spazio ma CPU • SUM(Sales[Discount]) • FILTER/ALL simili alla where di SQL filtra una tabella • FILTER(sales; sales[discount] >0 ) o ALL(Sales)
- 15. Recap nozioni DAX prima della demo • Funzioni di aggregazione SUM,AVERAGE,Ecc... • SUM(Sales[Qtà]) • Non posso aggregare su due colonne • SUMX(Sales,Sales[Qta] * Sales[Unit Price]) • CALCULATE Rimpiazza il filtro di valutazione di una formula • CALCULATE(SUM(Sales[Discount]);Product[color] =«red») • ALLSELECTED permette il visual total
- 17. Grazie!