際際滷

際際滷Share a Scribd company logo

Banalytics

P
Peter Laurinec

Presentation about my PhD. thesis in Slovak. Prediction of electricity load in smart grids.

Convert to study materialsBETA

Transform any presentation into ready-made study materialselect from outputs like summaries, definitions, and practice questions.

1 of 50
Downloaded 12 times
Predikcia spotreby elektrickej energie v inteligentn箪ch sie泥ach Mgr. Peter Laurinec 27.9.2016 FIIT STU
FUN fact By泥 single Singles dom叩cnosti s炭 pod直a 邸t炭die University College London environment叩lnou asovou bombou. Ich spotreba elektrickej energie na hlavu je o 55% vy邸邸ia ako v pr鱈pade 邸tvorlennej rodiny1. 1 https://www.ucl.ac.uk/news/news-articles/ news-releases-archive/sololiving 1
Preo budem hovori泥 o energetike a predikci叩ch? Lebo: Som bol pridelen箪 na projekt o Big Data, ktor箪 sa rie邸il na fakulte. Presnej邸ia predikcia spotreby elektrickej energie je d担le転it叩 z viacer箪ch d担vodov. Bav鱈 ma Data Mining. Romanovi ma bonzli moji kolegovia. 2
Model siete Star箪 model siete: Zdroj energie - elektr叩re. Pas鱈vni koncov鱈 u転鱈vatelia. 3
Model siete Nov箪 model siete: Zdroj energie - vetern辿 a sol叩rne elektr叩rne. S炭 泥a転邸ie predv鱈date直n辿. Akt鱈vni koncov鱈 u転鱈vatelia. producer + consumer prosumer. Regulan辿 zariadenia. Preerp叩vacie vodn辿 elektr叩rne. 4
Presnej邸ia predikcia V箪roba elektrickej energie. Prep辰tie v sieti. Producenti. Distribun辿 spolonosti. Deregul叩cia trhu. N叩kup a predaj elektriny. 5
o sa preto rob鱈? Vytv叩ranie inteligentn箪ch siet鱈 (smart grids). Zmena legislat鱈vy. Finann叩 podpora od E. Zni転ovanie spotreby el. energie. K直炭ov辿 slov叩: smart meter, demand response, empowering, smart cities. 6
V箪skumn箪 projekt na fakulte Info: Financovanie - Agent炭ra Ministerstva 邸kolstva, vedy, v箪skumu a 邸portu SR pre 邸truktur叩lne fondy. Doba rie邸enia - febru叩r 2014 november 2015. Partneri - ATOS, STU, Sf辿ra s.r.o. FEI STU - Smart Grid a Kryptogra鍖a. FIIT STU - Big Data. Big Data: Regul叩cia Eur坦pskej 炭nie - vyhl叩邸ka MH SR .358/2013 炭innej od 15. novembra 2013. v SR m叩 by泥 inteligentn箪mi merami vybaven箪ch 80% zo v邸etk箪ch odbern箪ch miest. 2 mili坦ny. 15-min炭tov辿 intervaly 炭dajov o odbere elektrickej energie. 96 meran鱈 denne, pre 2 mili坦ny odberate直ov je to asi 70, 08 mili叩rd z叩znamov rone. 7
Inteligentn辿 siete a merae Inteligentn叩 sie泥 je syst辿m, ktor箪 dok叩転e ovl叩da泥 dopyt po elektrine v udr転ate直nej, spo直ahlivej a ekonomickej forme t箪m, 転e vyu転鱈va pokroil辿 digit叩lne inform叩cie a komunikan辿 technol坦gie. T叩to platforma m叩 za cie直 dosiahnu泥 st叩lu dostupnos泥 energi鱈, udr転ate直nos泥 energie, ochranu 転ivotn辿ho prostredia, prevenciu pred ve直k箪mi zlyhaniami (v箪padkami), ako aj optimalizova泥 prev叩dzkov辿 n叩klady spojen辿 s produkciou a distrib炭ciou energie. V箪hody inteligentn箪ch meraov: 1. Automatick辿 zbieranie d叩t. U転 nie je potrebn辿 manu叩lne zapisovanie hodn担t z meraov. 2. Povo直uje vytv叩ranie dynamick箪ch tar鱈f (fakt炭r), ktor辿 sa menia poas da. Tento pr鱈stup m担転e zn鱈転i泥 v箪razne spotrebu elektrickej energie poas 邸piiek. 8
Slovensk辿 d叩ta Poet OOM je 21502. Z toho 11281 s炭 fajn. Podniky. asov箪 interval meran鱈: 01.07.2011 14.05.2015. No nie ka転d辿 OOM m叩 d叩ta z cel辿ho intervalu. Preva転ne a転 od 01.07.2013. rske d叩ta: Poet OOM je 6435. Z toho 3639 s炭 rezidencie. Dotazn鱈ky. asov箪 interval: 14.7.2009 31.12.2010. 30-min. merania (48 denne). 9
Smart meter d叩ta OOM_ID DIAGRAM_ID CAS MNOZSTVO DRUH_MERANIA DATUM PSC 1: 11 202004 45 4.598 O 01/01/2014 4013 2: 11 202004 195 4.087 O 01/01/2014 4013 3: 11 202004 30 5.108 O 01/01/2014 4013 4: 11 202004 345 4.598 O 01/01/2014 4013 5: 11 202004 825 2.554 O 01/01/2014 4013 6: 11 202004 870 2.554 O 01/01/2014 4013 41312836: 20970 14922842 90 18.783 O 14/02/2015 4011 41312837: 20970 14922842 75 20.581 O 14/02/2015 4011 41312838: 20970 14922842 60 18.583 O 14/02/2015 4011 41312839: 20970 14922842 45 18.983 O 14/02/2015 4011 41312840: 20970 14922842 30 17.384 O 14/02/2015 4011 41312841: 20970 14922842 15 18.583 O 14/02/2015 4011 10
Slovensk辿 OOM 1 11
Slovensk辿 OOM 2 12
Suma rok Bratislava 13
rske OOM 14
Suma rok rsko 15
Kr叩tkodob叩 predikcia Predikcia asov辿ho radu (predpove - forecast) na 1 de dopredu (96 resp. 48 meran鱈). Siln叩 asov叩 z叩vislos泥. Sez坦nnosti (denn辿, t箪転denn辿, ron辿). Sviatky. Poasie. Presnos泥 predikcie (v %) - MAPE (Mean Absolute Percentage Error). MAPE = 100 1 n n t=1 |xt xt| xt 16
Met坦dy predikcie asov箪ch radov Anal箪za asov箪ch radov ARIMA, Holt-Winters exponenci叩lne vyhladzovanie, dekompoz鱈cie .r. Line叩rna regresia Viacn叩sobn叩 line叩rna regresia, robustn叩 LR, GAM (Generalized Additive Model). Umelo inteligentn辿 (machine learning) Neur坦nov辿 siete. Support Vector Regression (podporn辿 vektory, oporn辿 body). Regresn辿 stromy a lesy. Ensemble learning Line叩rna kombin叩cia predikci鱈. 17
Anal箪za asov箪ch radov Nie s炭 ve直mi vhodn辿 pri viacn叩sobn箪ch sez坦nnostiach. Rie邸enie: Vytv叩ranie separ叩tnych modelov pre r担zne dni v t箪転dni. Rie邸enie: Double-seasonal Holt-Winters (DSHW). 18
Anal箪za asov箪ch radov Rie邸enie: Dekompoz鱈cia asov辿ho radu na tri zlo転ky - sez坦nna, trend, zostatok (邸um). R担zne met坦dy. STL dekompoz鱈cia (seasonal decomposition of time series by loess). 19
Regresn辿 met坦dy MLR (OLS), RLM (M-estimate), SVR. Dummy (bin叩rne) premenn辿. Tabu直ka 1: Matica pl叩nu Load V1 V2 V3 V4 V5 V6 V7 V8 V9 W1 W2 1: 0.402 1 0 0 0 0 0 0 0 0 1 0 2: 0.503 0 1 0 0 0 0 0 0 0 1 0 3: 0.338 0 0 1 0 0 0 0 0 0 1 0 4: 0.337 0 0 0 1 0 0 0 0 0 1 0 5: 0.340 0 0 0 0 1 0 0 0 0 1 0 6: 0.340 0 0 0 0 0 1 0 0 0 1 0 7: 0.340 0 0 0 0 0 0 1 0 0 1 0 8: 0.338 0 0 0 0 0 0 0 1 0 1 0 9: 0.339 0 0 0 0 0 0 0 0 1 1 0 ... ... ... ... 20
Regresn辿 stromy a lesy Dummy premenn辿 nie s炭 vhodn辿. RPART, Extremely Randomized Trees, Bagging. Denn箪 a t箪転denn箪 sez坦nny vektor: Day = (1, 2, . . . , seas, 1, 2, . . . , seas, . . . ) Week = (1, 1, . . . , 1, 2, 2, . . . , 2, . . . , 7, 1, 1, . . . ), kde seas je peri坦da (48 resp. 96). 21
Regresn辿 lesy Extreme Gradient Boosting (xgboost), Random Forest. Denn箪 a t箪転denn箪 sez坦nny vektor vo forme s鱈nusu a kos鱈nusu: Day = (1, 2, . . . , seas, 1, 2, . . . , seas, . . . ) Week = (1, 1, . . . , 1, 2, 2, . . . , 2, . . . , 7, 1, 1, . . . ) sin(2 Day seas ) + 1 2 resp. cos(2 Day seas ) + 1 2 sin(2Week 7 ) + 1 2 resp. cos(2Week 7 ) + 1 2 , kde seas je peri坦da (48 resp. 96). Od邸umen叩 spotreba oneskoren叩 (lag) o jeden de. 22
Neur坦nov辿 siete Dopredn辿, rekurentn辿, viacvrstvov箪 perceptr坦n (MLP), hlbok辿. Spotreba oneskoren叩 o jeden t箪転de. Od邸umen叩 spotreba. Model pre r担zne dni. S鱈nus a kos鱈nus. 23
Ensemble learning Nevieme uri泥, ktor箪 model je najlep邸鱈. Pretr辿novanie (over鍖tting). Uenie s炭boru met坦d. V叩hovanie modelov line叩rna kombin叩cia. Adapt叩cia v叩h predikn箪ch met坦d na z叩klade chyby predikcie - medi叩nov辿 v叩hovanie. et j = median(| xt x t j |) wt+1 j = wt j median(et ) et j Tr辿novacia mno転ina prid叩vanie a zab炭danie d叩t. Posuvn辿 okno. 24
Ensemble learning Inkrement叩lno-heterog辿nny ensemble model. Zlep邸enie o 8 12%. V叩hovanie met坦d optimalizan叩 炭loha. Genetick箪 algoritmus, PSO a in辿. Zlep邸enie o 5, 5%. 25
Vytv叩ranie predikovate直nej邸鱈ch skup鱈n odberate直ov Anal箪za zhlukov! Cluster Analysis! Bez uite直a. Unsupervised learning. lohou anal箪zy zhlukov je zoskupi泥 sadu objektov v takom zmysle, 転e objekty v rovnakej skupine (zhluk) s炭 si viac podobn辿 ako tie, ktor辿 s炭 v in箪ch skupin叩ch (zhlukoch). 26
Anal箪za zhlukov v inteligentn箪ch sie泥ach Pohotovostn叩 anal箪za. Tak叩to anal箪za sa sna転鱈 produkova泥 detekcie a reakcie k neoak叩van箪m probl辿mom. Monitorovanie v箪voja zhluku uzlov (inteligentn箪ch meraov) m担転e pom担c泥 odha直ova泥 n叩hle zmeny v dopyte a ponuke. Vytvorenie nevych箪len箪ch vzoriek (pro鍖lov) z popul叩cie. Typov辿 diagramy. Identi鍖k叩cia charakterist鱈k, ktor辿 najviac koreluj炭 so spr叩van鱈m sa pou転鱈vania elektrickej energie. V neposlednom rade vylep邸enie predikn箪ch met坦d a t箪m p叩dom zn鱈転enie chybovosti predikcie spotreby elektrickej energie. 27
1 PS
Anal箪za zhlukov Ve直a r担znych met坦d: 鼎a転iskov辿 K-means, K-medoids, CLARA. Pravdepodobnostn辿 EM. Zalo転en辿 na hustote DBSCAN, OPTICS. Hierarchick辿 Single-linkage, CURE. Vysok叩 dimenzionalita d叩t - .r. 29
Zhlukovanie OOM Rie邸enia: 1. Prisp担sobi泥 d叩ta na niektor箪 zn叩my algoritmus. 2. Vytvori泥 nov箪 algoritmus. 3. Nerobi泥 ni a d炭fa泥, 転e to aj tak pom担転e. M担j v箪ber: K-means + n叩vrh vhodn箪ch reprezent叩ci鱈 asov箪ch radov. 30
K-means Euklidova vzdialenos泥. Centroidy (鼎a転isk叩). K-means++ - careful seeding of centroids. 31
N叩jdenie optim叩lneho K Manu叩lne nastavenie potu zhlukov. Pomocou internej valid叩cie. Davies-Bouldin index. 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 123 90 139 477 11 468 263 184 94 136 765 224 195 55 81 82 160 90 2 32
Banalytics
Reprezent叩cie asov箪ch radov 34
Reprezent叩cie asov箪ch radov Preo reprezent叩cie? 1. Zni転uj炭 pam辰泥ov辿 za泥a転enie. 2. Zr箪ch直uj炭 n叩sledn辿 algoritmy strojov辿ho uenia. 3. Implicitne odstrauj炭 邸um z d叩t. 4. Zv箪razuj炭 z叩kladn辿 charakteristiky d叩t. 35
Predspracovanie Normaliz叩cia asov箪ch radov - odberate直ov. Najlep邸ia mo転nos泥 je pou転i泥 z-sk坦re: x 袖 Alternat鱈va: x max(x) Normalizovanie spotreby zhlukovanie podobn箪ch priebehov (kriviek) presnej邸ia predikcia. 36
Met坦dy reprezent叩cie asov箪ch radov PAA - Piecewise Aggregate Approximation. Non data adaptive. n -> d. X = (x1, . . . ,xd). xi = d n (n/d)i j=(n/d)(i1)+1 xj. Nie len priemer. Medi叩n, smerodajn叩 odch箪lka, maximum. 37
Met坦dy reprezent叩cie asov箪ch radov PLA - Piecewise Linear Approximation. D叩tovo adapt鱈vna (data adaptive) met坦da. 38
Sp辰泥 k modelom a hlavne k regresi叩m Reprezent叩cie zalo転en辿 na 邸tatistickom modeli (model based). Extrakcia regresn箪ch koe鍖cientov vytv叩ranie denn箪ch pro鍖lov. Vytvorenie reprezent叩cie dlhej, ako je peri坦da sez坦nneho .r. xi = 硫1ui1 + 硫2ui2 + 揃 揃 揃 + 硫seasuiseas + 竜i Nov叩 reprezent叩cia: 硫 = (硫1, . . . , 硫seas). 39
o sa d叩 v邸etko pou転i泥 Met坦dy: Viacn叩sobn叩 line叩rna regresia. Robustn叩 regresia, L1-regresia. Odhad reg. koe鍖cientov pomocou stochastic gradient descent (SGD). Generalized additive model (GAM). Nem箪li泥 s GLM. Splajny - vyhladzovacie funkcie. Cyclic cubic regression spline. Trojit辿 Holt-Winters exponenci叩lne vyhladzovanie. Priemern辿 alebo medi叩nov辿 denn辿 pro鍖ly. 40
Porovnanie 41
Porovnanie 42
Clipping - bit level reprezent叩cia Data dictated. xt = { 1 if xt > 袖 0 otherwise 43
Clipping - RLE RLE - Run Length Encoding. Sliding window - jeden de. 0 1 0 1 0 1 0 1 0 1 0 1 0 1 0 1 0 1 0 1 0 0 1 0 1 0 1 0 1 0 1 0 1 0 0 1 0 1 0 1 0 1 0 1 0 1 0 1 0 1 0 6 1 12 7 2 1 1 10 2 6 20 7 2 2 1 1 5 1 7 1 1 4 1 15 3 13 1 2 1 3 1 2 1 1 3 1 5 1 6 1 6 4 5 1 3 3 3 1 2 1 2 1 7 1 10 6 7 2 1 1 1 1 3 1 1 1 1 1 1 1 4 1 3 1 1 44
Clipping - fin叩lna reprezent叩cia 1 7 1 10 6 7 2 1 1 1 1 3 1 1 1 1 1 1 1 4 1 3 1 1 Extrahovanie vlastnost鱈 - priemer, maximum 45
Postup 1. asov辿 rady 2. Normaliz叩cia (z-sk坦re) 3. V箪poet reprezent叩ci鱈 .r. (PLA, RLM, ) 4. N叩jdenie optim叩lneho potu zhlukov K (DB-index) 5. Zhlukovanie reprezent叩ci鱈 6. Sum叩cia K asov箪ch radov pod直a n叩jden箪ch zhlukov 7. Natr辿novanie K predikn箪ch modelov a n叩sledn叩 predikcia 8. Sum叩cia predikci鱈 46
V箪sledky Statick叩 d叩tov叩 mno転ina Jedno zhlukovanie predikcia s posuvn箪m oknom. rske. PLA, RLM, HW - 4.55% okolo 3.917% MAPE. Slovensk辿. Median, HW, HW-auto - 2.87% okolo 2.716% MAPE. STL + EXP, STL + ARIMA, SVR. Porovnanie 13 reprezent叩ci鱈. Po d叩vkach D叩vkov辿 zhlukovanie predikcia s posuvn箪m oknom (14 dn鱈). rske. RLM, Median, GAM. Porovnanie 10 predikn箪ch met坦d. Signi鍖kantn辿 zlep邸enie u DSHW, STL + ARIMA, STL + ETS, SVR, RandomForest, Bagging a MLP. Najlep邸鱈 v箪sledok: Bagging s GAM 3.68% oproti 3.82% MAPE. 47
Inteligentn辿 siete Pr炭dy 炭dajov Dolovanie 炭dajov Anal箪za zhlukov pr炭dov 炭dajov 47 0 100 200 300 400 0 200 400 600 800 1000 Cas Spotreba(kW)
Zhrnutie Presnej邸ia predikcia spotreby elektrickej energie je d担le転it叩. Rie邸enie: Vytv叩ranie inteligentn箪ch siet鱈, in邸tal叩cia inteligentn箪ch meraov. Predikn辿 met坦dy - r担zne met坦dy chc炭 r担zny pr鱈stup. Zhlukovanie OOM spresovanie predikcie. Bud炭ce smerovanie pr叩ce: zhlukovanie pr炭dov 炭dajov (clustering data stream). 48

More Related Content

Banalytics

  • 1. Predikcia spotreby elektrickej energie v inteligentn箪ch sie泥ach Mgr. Peter Laurinec 27.9.2016 FIIT STU
  • 2. FUN fact By泥 single Singles dom叩cnosti s炭 pod直a 邸t炭die University College London environment叩lnou asovou bombou. Ich spotreba elektrickej energie na hlavu je o 55% vy邸邸ia ako v pr鱈pade 邸tvorlennej rodiny1. 1 https://www.ucl.ac.uk/news/news-articles/ news-releases-archive/sololiving 1
  • 3. Preo budem hovori泥 o energetike a predikci叩ch? Lebo: Som bol pridelen箪 na projekt o Big Data, ktor箪 sa rie邸il na fakulte. Presnej邸ia predikcia spotreby elektrickej energie je d担le転it叩 z viacer箪ch d担vodov. Bav鱈 ma Data Mining. Romanovi ma bonzli moji kolegovia. 2
  • 4. Model siete Star箪 model siete: Zdroj energie - elektr叩re. Pas鱈vni koncov鱈 u転鱈vatelia. 3
  • 5. Model siete Nov箪 model siete: Zdroj energie - vetern辿 a sol叩rne elektr叩rne. S炭 泥a転邸ie predv鱈date直n辿. Akt鱈vni koncov鱈 u転鱈vatelia. producer + consumer prosumer. Regulan辿 zariadenia. Preerp叩vacie vodn辿 elektr叩rne. 4
  • 6. Presnej邸ia predikcia V箪roba elektrickej energie. Prep辰tie v sieti. Producenti. Distribun辿 spolonosti. Deregul叩cia trhu. N叩kup a predaj elektriny. 5
  • 7. o sa preto rob鱈? Vytv叩ranie inteligentn箪ch siet鱈 (smart grids). Zmena legislat鱈vy. Finann叩 podpora od E. Zni転ovanie spotreby el. energie. K直炭ov辿 slov叩: smart meter, demand response, empowering, smart cities. 6
  • 8. V箪skumn箪 projekt na fakulte Info: Financovanie - Agent炭ra Ministerstva 邸kolstva, vedy, v箪skumu a 邸portu SR pre 邸truktur叩lne fondy. Doba rie邸enia - febru叩r 2014 november 2015. Partneri - ATOS, STU, Sf辿ra s.r.o. FEI STU - Smart Grid a Kryptogra鍖a. FIIT STU - Big Data. Big Data: Regul叩cia Eur坦pskej 炭nie - vyhl叩邸ka MH SR .358/2013 炭innej od 15. novembra 2013. v SR m叩 by泥 inteligentn箪mi merami vybaven箪ch 80% zo v邸etk箪ch odbern箪ch miest. 2 mili坦ny. 15-min炭tov辿 intervaly 炭dajov o odbere elektrickej energie. 96 meran鱈 denne, pre 2 mili坦ny odberate直ov je to asi 70, 08 mili叩rd z叩znamov rone. 7
  • 9. Inteligentn辿 siete a merae Inteligentn叩 sie泥 je syst辿m, ktor箪 dok叩転e ovl叩da泥 dopyt po elektrine v udr転ate直nej, spo直ahlivej a ekonomickej forme t箪m, 転e vyu転鱈va pokroil辿 digit叩lne inform叩cie a komunikan辿 technol坦gie. T叩to platforma m叩 za cie直 dosiahnu泥 st叩lu dostupnos泥 energi鱈, udr転ate直nos泥 energie, ochranu 転ivotn辿ho prostredia, prevenciu pred ve直k箪mi zlyhaniami (v箪padkami), ako aj optimalizova泥 prev叩dzkov辿 n叩klady spojen辿 s produkciou a distrib炭ciou energie. V箪hody inteligentn箪ch meraov: 1. Automatick辿 zbieranie d叩t. U転 nie je potrebn辿 manu叩lne zapisovanie hodn担t z meraov. 2. Povo直uje vytv叩ranie dynamick箪ch tar鱈f (fakt炭r), ktor辿 sa menia poas da. Tento pr鱈stup m担転e zn鱈転i泥 v箪razne spotrebu elektrickej energie poas 邸piiek. 8
  • 10. Slovensk辿 d叩ta Poet OOM je 21502. Z toho 11281 s炭 fajn. Podniky. asov箪 interval meran鱈: 01.07.2011 14.05.2015. No nie ka転d辿 OOM m叩 d叩ta z cel辿ho intervalu. Preva転ne a転 od 01.07.2013. rske d叩ta: Poet OOM je 6435. Z toho 3639 s炭 rezidencie. Dotazn鱈ky. asov箪 interval: 14.7.2009 31.12.2010. 30-min. merania (48 denne). 9
  • 11. Smart meter d叩ta OOM_ID DIAGRAM_ID CAS MNOZSTVO DRUH_MERANIA DATUM PSC 1: 11 202004 45 4.598 O 01/01/2014 4013 2: 11 202004 195 4.087 O 01/01/2014 4013 3: 11 202004 30 5.108 O 01/01/2014 4013 4: 11 202004 345 4.598 O 01/01/2014 4013 5: 11 202004 825 2.554 O 01/01/2014 4013 6: 11 202004 870 2.554 O 01/01/2014 4013 41312836: 20970 14922842 90 18.783 O 14/02/2015 4011 41312837: 20970 14922842 75 20.581 O 14/02/2015 4011 41312838: 20970 14922842 60 18.583 O 14/02/2015 4011 41312839: 20970 14922842 45 18.983 O 14/02/2015 4011 41312840: 20970 14922842 30 17.384 O 14/02/2015 4011 41312841: 20970 14922842 15 18.583 O 14/02/2015 4011 10
  • 17. Kr叩tkodob叩 predikcia Predikcia asov辿ho radu (predpove - forecast) na 1 de dopredu (96 resp. 48 meran鱈). Siln叩 asov叩 z叩vislos泥. Sez坦nnosti (denn辿, t箪転denn辿, ron辿). Sviatky. Poasie. Presnos泥 predikcie (v %) - MAPE (Mean Absolute Percentage Error). MAPE = 100 1 n n t=1 |xt xt| xt 16
  • 18. Met坦dy predikcie asov箪ch radov Anal箪za asov箪ch radov ARIMA, Holt-Winters exponenci叩lne vyhladzovanie, dekompoz鱈cie .r. Line叩rna regresia Viacn叩sobn叩 line叩rna regresia, robustn叩 LR, GAM (Generalized Additive Model). Umelo inteligentn辿 (machine learning) Neur坦nov辿 siete. Support Vector Regression (podporn辿 vektory, oporn辿 body). Regresn辿 stromy a lesy. Ensemble learning Line叩rna kombin叩cia predikci鱈. 17
  • 19. Anal箪za asov箪ch radov Nie s炭 ve直mi vhodn辿 pri viacn叩sobn箪ch sez坦nnostiach. Rie邸enie: Vytv叩ranie separ叩tnych modelov pre r担zne dni v t箪転dni. Rie邸enie: Double-seasonal Holt-Winters (DSHW). 18
  • 20. Anal箪za asov箪ch radov Rie邸enie: Dekompoz鱈cia asov辿ho radu na tri zlo転ky - sez坦nna, trend, zostatok (邸um). R担zne met坦dy. STL dekompoz鱈cia (seasonal decomposition of time series by loess). 19
  • 21. Regresn辿 met坦dy MLR (OLS), RLM (M-estimate), SVR. Dummy (bin叩rne) premenn辿. Tabu直ka 1: Matica pl叩nu Load V1 V2 V3 V4 V5 V6 V7 V8 V9 W1 W2 1: 0.402 1 0 0 0 0 0 0 0 0 1 0 2: 0.503 0 1 0 0 0 0 0 0 0 1 0 3: 0.338 0 0 1 0 0 0 0 0 0 1 0 4: 0.337 0 0 0 1 0 0 0 0 0 1 0 5: 0.340 0 0 0 0 1 0 0 0 0 1 0 6: 0.340 0 0 0 0 0 1 0 0 0 1 0 7: 0.340 0 0 0 0 0 0 1 0 0 1 0 8: 0.338 0 0 0 0 0 0 0 1 0 1 0 9: 0.339 0 0 0 0 0 0 0 0 1 1 0 ... ... ... ... 20
  • 22. Regresn辿 stromy a lesy Dummy premenn辿 nie s炭 vhodn辿. RPART, Extremely Randomized Trees, Bagging. Denn箪 a t箪転denn箪 sez坦nny vektor: Day = (1, 2, . . . , seas, 1, 2, . . . , seas, . . . ) Week = (1, 1, . . . , 1, 2, 2, . . . , 2, . . . , 7, 1, 1, . . . ), kde seas je peri坦da (48 resp. 96). 21
  • 23. Regresn辿 lesy Extreme Gradient Boosting (xgboost), Random Forest. Denn箪 a t箪転denn箪 sez坦nny vektor vo forme s鱈nusu a kos鱈nusu: Day = (1, 2, . . . , seas, 1, 2, . . . , seas, . . . ) Week = (1, 1, . . . , 1, 2, 2, . . . , 2, . . . , 7, 1, 1, . . . ) sin(2 Day seas ) + 1 2 resp. cos(2 Day seas ) + 1 2 sin(2Week 7 ) + 1 2 resp. cos(2Week 7 ) + 1 2 , kde seas je peri坦da (48 resp. 96). Od邸umen叩 spotreba oneskoren叩 (lag) o jeden de. 22
  • 24. Neur坦nov辿 siete Dopredn辿, rekurentn辿, viacvrstvov箪 perceptr坦n (MLP), hlbok辿. Spotreba oneskoren叩 o jeden t箪転de. Od邸umen叩 spotreba. Model pre r担zne dni. S鱈nus a kos鱈nus. 23
  • 25. Ensemble learning Nevieme uri泥, ktor箪 model je najlep邸鱈. Pretr辿novanie (over鍖tting). Uenie s炭boru met坦d. V叩hovanie modelov line叩rna kombin叩cia. Adapt叩cia v叩h predikn箪ch met坦d na z叩klade chyby predikcie - medi叩nov辿 v叩hovanie. et j = median(| xt x t j |) wt+1 j = wt j median(et ) et j Tr辿novacia mno転ina prid叩vanie a zab炭danie d叩t. Posuvn辿 okno. 24
  • 26. Ensemble learning Inkrement叩lno-heterog辿nny ensemble model. Zlep邸enie o 8 12%. V叩hovanie met坦d optimalizan叩 炭loha. Genetick箪 algoritmus, PSO a in辿. Zlep邸enie o 5, 5%. 25
  • 27. Vytv叩ranie predikovate直nej邸鱈ch skup鱈n odberate直ov Anal箪za zhlukov! Cluster Analysis! Bez uite直a. Unsupervised learning. lohou anal箪zy zhlukov je zoskupi泥 sadu objektov v takom zmysle, 転e objekty v rovnakej skupine (zhluk) s炭 si viac podobn辿 ako tie, ktor辿 s炭 v in箪ch skupin叩ch (zhlukoch). 26
  • 28. Anal箪za zhlukov v inteligentn箪ch sie泥ach Pohotovostn叩 anal箪za. Tak叩to anal箪za sa sna転鱈 produkova泥 detekcie a reakcie k neoak叩van箪m probl辿mom. Monitorovanie v箪voja zhluku uzlov (inteligentn箪ch meraov) m担転e pom担c泥 odha直ova泥 n叩hle zmeny v dopyte a ponuke. Vytvorenie nevych箪len箪ch vzoriek (pro鍖lov) z popul叩cie. Typov辿 diagramy. Identi鍖k叩cia charakterist鱈k, ktor辿 najviac koreluj炭 so spr叩van鱈m sa pou転鱈vania elektrickej energie. V neposlednom rade vylep邸enie predikn箪ch met坦d a t箪m p叩dom zn鱈転enie chybovosti predikcie spotreby elektrickej energie. 27
  • 29. 1 PS
  • 30. Anal箪za zhlukov Ve直a r担znych met坦d: 鼎a転iskov辿 K-means, K-medoids, CLARA. Pravdepodobnostn辿 EM. Zalo転en辿 na hustote DBSCAN, OPTICS. Hierarchick辿 Single-linkage, CURE. Vysok叩 dimenzionalita d叩t - .r. 29
  • 31. Zhlukovanie OOM Rie邸enia: 1. Prisp担sobi泥 d叩ta na niektor箪 zn叩my algoritmus. 2. Vytvori泥 nov箪 algoritmus. 3. Nerobi泥 ni a d炭fa泥, 転e to aj tak pom担転e. M担j v箪ber: K-means + n叩vrh vhodn箪ch reprezent叩ci鱈 asov箪ch radov. 30
  • 32. K-means Euklidova vzdialenos泥. Centroidy (鼎a転isk叩). K-means++ - careful seeding of centroids. 31
  • 33. N叩jdenie optim叩lneho K Manu叩lne nastavenie potu zhlukov. Pomocou internej valid叩cie. Davies-Bouldin index. 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 123 90 139 477 11 468 263 184 94 136 765 224 195 55 81 82 160 90 2 32
  • 36. Reprezent叩cie asov箪ch radov Preo reprezent叩cie? 1. Zni転uj炭 pam辰泥ov辿 za泥a転enie. 2. Zr箪ch直uj炭 n叩sledn辿 algoritmy strojov辿ho uenia. 3. Implicitne odstrauj炭 邸um z d叩t. 4. Zv箪razuj炭 z叩kladn辿 charakteristiky d叩t. 35
  • 37. Predspracovanie Normaliz叩cia asov箪ch radov - odberate直ov. Najlep邸ia mo転nos泥 je pou転i泥 z-sk坦re: x 袖 Alternat鱈va: x max(x) Normalizovanie spotreby zhlukovanie podobn箪ch priebehov (kriviek) presnej邸ia predikcia. 36
  • 38. Met坦dy reprezent叩cie asov箪ch radov PAA - Piecewise Aggregate Approximation. Non data adaptive. n -> d. X = (x1, . . . ,xd). xi = d n (n/d)i j=(n/d)(i1)+1 xj. Nie len priemer. Medi叩n, smerodajn叩 odch箪lka, maximum. 37
  • 39. Met坦dy reprezent叩cie asov箪ch radov PLA - Piecewise Linear Approximation. D叩tovo adapt鱈vna (data adaptive) met坦da. 38
  • 40. Sp辰泥 k modelom a hlavne k regresi叩m Reprezent叩cie zalo転en辿 na 邸tatistickom modeli (model based). Extrakcia regresn箪ch koe鍖cientov vytv叩ranie denn箪ch pro鍖lov. Vytvorenie reprezent叩cie dlhej, ako je peri坦da sez坦nneho .r. xi = 硫1ui1 + 硫2ui2 + 揃 揃 揃 + 硫seasuiseas + 竜i Nov叩 reprezent叩cia: 硫 = (硫1, . . . , 硫seas). 39
  • 41. o sa d叩 v邸etko pou転i泥 Met坦dy: Viacn叩sobn叩 line叩rna regresia. Robustn叩 regresia, L1-regresia. Odhad reg. koe鍖cientov pomocou stochastic gradient descent (SGD). Generalized additive model (GAM). Nem箪li泥 s GLM. Splajny - vyhladzovacie funkcie. Cyclic cubic regression spline. Trojit辿 Holt-Winters exponenci叩lne vyhladzovanie. Priemern辿 alebo medi叩nov辿 denn辿 pro鍖ly. 40
  • 44. Clipping - bit level reprezent叩cia Data dictated. xt = { 1 if xt > 袖 0 otherwise 43
  • 45. Clipping - RLE RLE - Run Length Encoding. Sliding window - jeden de. 0 1 0 1 0 1 0 1 0 1 0 1 0 1 0 1 0 1 0 1 0 0 1 0 1 0 1 0 1 0 1 0 1 0 0 1 0 1 0 1 0 1 0 1 0 1 0 1 0 1 0 6 1 12 7 2 1 1 10 2 6 20 7 2 2 1 1 5 1 7 1 1 4 1 15 3 13 1 2 1 3 1 2 1 1 3 1 5 1 6 1 6 4 5 1 3 3 3 1 2 1 2 1 7 1 10 6 7 2 1 1 1 1 3 1 1 1 1 1 1 1 4 1 3 1 1 44
  • 46. Clipping - fin叩lna reprezent叩cia 1 7 1 10 6 7 2 1 1 1 1 3 1 1 1 1 1 1 1 4 1 3 1 1 Extrahovanie vlastnost鱈 - priemer, maximum 45
  • 47. Postup 1. asov辿 rady 2. Normaliz叩cia (z-sk坦re) 3. V箪poet reprezent叩ci鱈 .r. (PLA, RLM, ) 4. N叩jdenie optim叩lneho potu zhlukov K (DB-index) 5. Zhlukovanie reprezent叩ci鱈 6. Sum叩cia K asov箪ch radov pod直a n叩jden箪ch zhlukov 7. Natr辿novanie K predikn箪ch modelov a n叩sledn叩 predikcia 8. Sum叩cia predikci鱈 46
  • 48. V箪sledky Statick叩 d叩tov叩 mno転ina Jedno zhlukovanie predikcia s posuvn箪m oknom. rske. PLA, RLM, HW - 4.55% okolo 3.917% MAPE. Slovensk辿. Median, HW, HW-auto - 2.87% okolo 2.716% MAPE. STL + EXP, STL + ARIMA, SVR. Porovnanie 13 reprezent叩ci鱈. Po d叩vkach D叩vkov辿 zhlukovanie predikcia s posuvn箪m oknom (14 dn鱈). rske. RLM, Median, GAM. Porovnanie 10 predikn箪ch met坦d. Signi鍖kantn辿 zlep邸enie u DSHW, STL + ARIMA, STL + ETS, SVR, RandomForest, Bagging a MLP. Najlep邸鱈 v箪sledok: Bagging s GAM 3.68% oproti 3.82% MAPE. 47
  • 49. Inteligentn辿 siete Pr炭dy 炭dajov Dolovanie 炭dajov Anal箪za zhlukov pr炭dov 炭dajov 47 0 100 200 300 400 0 200 400 600 800 1000 Cas Spotreba(kW)
  • 50. Zhrnutie Presnej邸ia predikcia spotreby elektrickej energie je d担le転it叩. Rie邸enie: Vytv叩ranie inteligentn箪ch siet鱈, in邸tal叩cia inteligentn箪ch meraov. Predikn辿 met坦dy - r担zne met坦dy chc炭 r担zny pr鱈stup. Zhlukovanie OOM spresovanie predikcie. Bud炭ce smerovanie pr叩ce: zhlukovanie pr炭dov 炭dajov (clustering data stream). 48