[#2] architektura - IBM Integrated Analytics System
0 likes171 views
Presentation #2 from IBM conference "Analityka Nowej Generacji", 8th of March 2018, Warsaw Title: IBM Integrated Analytics System architecture Presenter: Marcin Marczewski [language: polish]
[#2] architektura - IBM Integrated Analytics System
- 1. IBM Integrated Analytics System IIAS - Architektura rozwizania Marcin Marczewski IBM Analytics Analityka Nowej Generacji
- 2. IBM Integrated Analytics Appliace Najnowsza generacja rozwizania PureData for Analytics (Netezza) oferowanego jako masywnie r坦wnolega (MPP) baza danych do hurtowni danych. Znacznie szerszy zakres zastosowania, nie tylko jako baza danych dla hurtowni danych, ale tak甜e do wydajnego przetwarzania operacyjnego (HTAP Hybrid Transactional Analytical Processing). Rozwizanie jest tak甜e gotowym do u甜ycia rodowiskiem dla data science dziki unikatowej integracji z silnikiem Apache Spark oraz IBM Data Science Experience. Przypieszenie 2-5x w stosunku do poprzedniego modelu, dziki cakowicie nowemu oprogramowaniu bazujcemu na przetwarzaniu in-memory silnika Db2. Wbudowany szeroki dostp do algorytm坦w maszynowego uczenia (Spark R, Spark ML, Jupiter Notebooks) wykonywanych bezporednio na danych. Rozwizanie oparte o procesory IBM Power 8 oraz macierze IBM Flash, z mo甜liwoci elastycznej rozbudowy (aktualnie rozbudowa do 672 rdzeni, 15 TB RAM oraz 768 TB danych) . ! Tzw. hardware appliance, zaprojektowany w laboratoriom IBM w Krakowie. Silnikiem bazy danych jest Db2 Warehouse (wersja kontenerowa).
- 3. IBM Integrated Analytics Appliace ekstremalnie niskie op坦添nienia 99.999% niezawodno i wydajno operacyjna szybsze analizy i wnioskowanie Macierze typu Flash akceleracja CPU poprzez wykorzystanie zr坦wnoleglania Single Instruction Multiple Data (SIMD) niezawodno i wydajno Architektura Power 8
- 4. Specyfikacja IIAS full rack 2x przeczniki Mellanox 10G Ethernet: Porty 48x10G Porty 2x40/50G Podw坦jne przeczniki IBM SAN64B 32G Fibre Channel SAN Przecznik 16Gb FC Porty 48x 32Gb/s SFP+ Do 3 macierzy Flash w jednej szafie: IBM FlashSystem 900 Kontrolery Dual Flash Moduy Micro Latency Flash 7 wz坦w, ka甜dy zawiera: IBM Power 8 S822L 24 rdzenie 3.02GHz 512 GB RAM (ka甜dy wze) 2x 600GB SAS HDD Red Hat速 Linux OS Db2 Warehouse (kontener Docker) Pojemno: 192 TB* (* przy kompresji 4x) Maksymalny pob坦r mocy: 9.4 kW Chodzenie: 32,000 BTU/godz. Skalowanie: od 1/3 szafy do 8 szaf (GA od 1/3 do 1 szafy) IIAS jest najwydajniejsz opcj wdro甜enia bazy Db2 Warehouse. Systemy deweloperskie uruchamia si zwykle na sprzcie klienta (doker na Linuksie) lub w chmurze.
- 5. Modele IBM Integrated Analytics System M4001-003 1/3 szafy M4001-006 2/3 szafy M4001-010 Pena szafa M4001-020 2 szafy M4001-040 4 szafy Serwery 3 5 7 14 28 Rdzenie 72 120 168 336 672 Pami operacyjna 1.5 TB 2.5 TB 3.5 TB 7 TB 14 TB Macierze Flash 1 2 3 6 12 Przestrze Flash dla bazy danych (dla kompresji 4x) 64 TB 128 TB 192 TB 384 768 Warstwowa pami masowa (opcja) TBDGA 1H 2018 2 szafy + warstwowa pami masowa - 1H 2018; Rozbudowa - 2H 2018 Serwery IBM Power 8 S822L (24 rdzenie 3.02GHz) TMS 900 Pami flash Rozbudowalny warstwowa pami masowa Przeczniki Mellanox 10G Ethernet Przeczniki Brocade SAN IIAS jest tak zaprojektowany by mo甜na byo atwo rozbudowywa konfiguracj. Przejcie na wy甜szy model to tylko umieszczenie moduu skalowania (2 serwery Power + Flash). W tabeli ujto przestrze Flash na dane w bazie danych. Dodatkowa przestrze o tym samym rozmiarze udostpniona jest na system plik坦w do og坦lnego wykorzystania (np. na potrzeby adowania danych).
- 6. Modele IBM Integrated Analytics System 1/3 Rack Front Rear 2/3 Rack Front Rear Full Rack Front Rear
- 7. IIAS platforma i zarzdzanie appliancem Administrator bazyDb2 Warehouse (ze Spark) Call Home Konsola webowa (DSM) Usugi (Platform Services) Zarzdzanie (Platform Management) RAS / Diagnostyka RHEL GPFS Docker Narzdzia (Platform tools) Administrator applianceu U甜ytkownik bazy DSXDSXDSX (node0101)
- 8. IIAS - platforma Docker Platforma do zarzdzania kontenerami, ogranicza potencjalne problemy zwizane z wdro甜eniem oprogramowania oraz utrzymaniem (atwe aktualizacje i utrzymanie) Db2 Warehouse Baza danych z uwsp坦lnionym silnikiem SQL i technologi przetwania in-memory (BLU) DSM Data Server Manager Platforma (web) do zarzdzania applianceem i baz danych Call Home Mechanizm umo甜liwiajcy automatyczne przesanie danych diagnostycznych do IBM Red Hat Enterprise Linux LE for Power Wysokowydajna platforma Linux klasy enterprise IBM Spectrum Scale (GPFS) Bardzo wydajny klastrowy system plik坦w, r坦wnolega praca ze wsp坦dzielonymi zasobami dyskowymi Data Science Experience (DSX) Local Integrated Analytics System dostacza jednowzow, wbudowan instalacj DSX Local. Rozwizanie klasy enterprise dla data scientist坦w i in甜ynier坦w danych Prosta integracja z RStudio, Spark, oraz notebookami Jupyter RAS / Diagnostyka Logowanie i diagnostyka rodowiska Platform Services (Wolverine) Konfiguracja sprztu Zarzdzanie zasobami sprztowymi, monitorowanie element坦w sprztowych, raportowanie do Magneto Platform Management (Magneto) Zarzdzanie appliancem Monitorowanie systemu System zdarze i alert坦w
- 9. IIAS Docker i kontenery Docker - czym jest? docker separuje aplikacje od infrastruktury przy pomocy tzw. kontener坦w zapewnia izolacj proces坦w w ramach tego samego systemu operacyjnego kontener zawiera aplikacj oraz system plik坦w (w tym biblioteki systemowe) potrzebne do uruchomienia aplikacji du甜o l甜ejszy ni甜 wirtualizacja systemu operacyjnego bardzo wygodna metoda dystrybucji aplikacji instalacja Db2 Warehouse to tylko wydanie jednego polecenia: pobierz z repozytorium obraz i uruchom kontener DOCKER WIRTUALIZACJA VS.
- 10. Wzy w IIAS Jeden kontener na wze 1 wze g坦wny (head node) 1/3 Rack - 3 wzy 2/3 Rack - 5 wz坦w Full Rack - 7 wz坦w Serwer LDAP server oraz konsola web aktywna tylko na jednym w添le node0101 (head node) node0102 node0103
- 11. IIAS baza danych Db2 Warehouse z architektur MPP 村 danych 村 danych 村 danych 村 danych Db2 Warehouse architektura MPP shared nothing przetwarzania in-memory kolumnowe skadowanie danych zoptymalizowane pod ktem zapyta analitycznych kompresja danych natywne szyfrowanie danych mechanizm zarzdzania obci甜eniem (WLM) wbudowane funkcje kompatybilnoci z Netezza/PDA oraz Oracle wbudowany silnik federacyjny atwa admnistracja
- 12. IIAS baza danych Db2 Warehouse z architektur MPP Architektura MPP na ka甜dym w添le fizycznym (serwerze) tworzonych jest kilka wz坦w logicznych wz坦w (partycji) danych (MLN) dane s r坦wnomiernie rozkadane na poszczeg坦lne wzy przy wykorzystaniu funkcji mieszajcej (hashing) dedyktowane zasoby CPU, pamici oraz przestrze dyskowa dla partycji zapytania s automatycznie rozkadane na dostpne wzy przez wze przyjmujcy zapytanie mo甜liwo skalowania zasob坦w Db2 Warehouse dostarcza wbudowan wysok dostpno w przypadku problemu z wybranym wzem
- 13. Silnik federacyjny Db2 Warehouse Tabela 1 Tabela link do zewntrznej bazy. SELECT, INSERT, UPDATE Db2 Db2 Db2 Warehouse Oracle DB Big SQL Cloudera Impala Apache Spark SQL Apache Hive Informix Netezza Db2 for z/OS速 Db2 for IBM i速 MySQL Microsoft SQL Server PostgreSQL Sybase Teradata IIAS MQ Szybkie zapytania do obiekt坦w w zdalnych 添r坦dach danych SELECT birthdate FROM sudb.rschema.employee WHERE firstname=SAM sudb remote database rschema remote schema name employee remote table name
- 14. IIAS wysoka dostpno Wysoka dostpno jest zapewniona na poziomie sprztu jak i oprogramowania niezawodno Power 8 oraz FlashStorage redundante elementy sieciowe wbudowane mechanizmy wykrywania awarii i reagowania wzy obliczeniowe zorganizowane sa w klastry w celu dostarczania operacji w przypadku awarii wybranego wza wze, kt坦ry uleg awarii jest dystrybuowany do innych dziaajcych w ramach tego samego racka zasoby systemowe zaprojektowane z odpowiednim narzutem, aby awaria wza nie rzutowaa na wydajno kr坦tki outage w celu realizacji procedury przeczenia minimalna, wymagana liczba wez坦w dziaajcych: 1/3: 2 (na 3), 2/3: 3 (na 5), full- rack: 4 (na 7) Wbudowana wysoka dostpno w Db2 Warehouse
- 15. IIAS wbudowana wysoka dostpno w Db2 Warehouse Kontener A Partition 1 Partition 2 Partition 3 Partition 4 Partition 5 Partition 6 Kontener B Kontener C HA Group #1 Partition 7 Partition 8 Partition 6 Partition 7 Partition 8 Partition 9 Partition 10 Partition 11 Partition 12 Partition 13 Partition 17 Partition 18 Partition 19 Partition 20 Partition 21 Partition 11 Partition 9 Partition 10 Partition 0 Partition 13 Partition 14 Partition 15 Partition 16 Klastrowy system plik坦w Partition 12
- 16. IIAS - bezpieczestwo IIAS to prywatny, zamknity system fizyczne poczenia s kontrolowane poprzez patch panel applianceu poczenia logiczne zarzdzane s poprzez wewntrzny lub zewntrzny katalog LDAP odseparowany dostp do bazy i do administracji rodowiskiem (U甜ytkownicy bazy vs. administracja appliancem (apuser)) operacje administracyjne dla dostpu non-root: podpinanie SAN lub NAS, zarzdzanie Db2 Warehous za porednictwem ssh, diagnozowanie i analiza bd坦w dostp root na potrzeby utrzymania i wsparcia technicznego Szyfrowanie sprztowe dane s szyfrowane na dysku (Flash) Szyfrowanie natywne w Db2 Warehouse funkcja Db2 Native encryption jest wczona (z u甜yciem klucza AES 256)
- 17. Kompatybilno IIAS z PDA/Netezza Kod i dane z Netezza oraz Pure Data for Analytics s atwo przenoszalne do Integrated Analytics System Wsparcie na poziomie SQL Funkcje kompatybilnoci z Oracle - m.in. wsparcie dla PL/SQL Narzdzia do automatyzacji migracji do IIAS Database Conversion Workbench (DCW), Harmony Profiler, db2_migrate
- 18. Zarzdzanie rodowiskiem linia polece Proste zarzdzanie rodowiskiem z poziomu linii polece Komendy monitorujce: ap pokazuje status applianceu ap issues wywietla liste aktualnych problem坦w ap issues e wywietla fragmenty loga zdarze ap hw pokazuje zasoby sprztowe ap sw pokazuje zasoby softwarowe ap fs pokazuje status przestrzeni dyskowej ap node wywietla informacje o wzach ap info og坦lne informacje o appliance ap ds displays MLNs distribution between nodes Komendy do zarzdzania: apstart startuje komponenty softwareowe apstop zatrzymuje komponenty softwareowe ap node enable wcza/aktywuje wze ap node disable wycza/deaktywuje wze ap node rebalance rebalance MLNs between nodes ap config konfiguracja SMTP i alert坦w apcertmgmt wgranie certyfikatu X.509 dla REST API bash-4.2$ ap System state is 'Ready' bash-4.2$ ap hw +-------------------------+--------------+-----------+--------------+----------------+------------+ | Name | Location | Status | SN | Model | FW | +-------------------------+--------------+-----------+--------------+----------------+------------+ | Fabric Switch | rack1.fabswa | OK | MT1532X10497 | MSX1710-BS2F2O | SWv3.4.3002| | Fabric Switch | rack1.fabswb | OK | MT1533X01143 | MSX1710-BS2F2O | SWv3.4.3002| | Fiber Channel Switch | rack1.fcswa | OK | | | | | Fiber Channel Switch | rack1.fcswb | OK | | | | | Flash Storage Node | rack1.fsn1 | OK | | | | | Management Switch | rack1.mgtswa | OK | | | | | Management Switch | rack1.mgtswb | OK | | | | | Server | rack1.node1 | OK | 212598A | 8247-22L | FW860.20 | | Server | rack1.node2 | OK | 21259BA | 8247-22L | FW860.20 | | Server | rack1.node3 | ATTENTION | 212599A | 8247-22L | FW860.20 | | Remote Power Controller | rack1.rpc1 | OK | | | | | Remote Power Controller | rack1.rpc2 | OK | | | | | Remote Power Controller | rack1.rpc3 | OK | | | | | Remote Power Controller | rack1.rpc4 | OK | | | | | Terminal Server | rack1.ts1 | OK | | | | +-------------------------+--------------+-----------+--------------+----------------+------------+ bash-4.2$ ap sw +-----------------------+--------------------+--------+----------+ | Name | Location | Status | Version | +-----------------------+--------------------+--------+----------+ | Appliance Application | dashdb | OK | 11.1.9.0 | | Appliance Application | dsserver | OK | 3.1.1 | | Appliance Application | ha-management | OK | v1.1.7 | | Appliance Application | ldap | OK | 2.4.40 | | Appliance Application | spark | OK | 327 | | dashDB Node | dashdb/rack1.node1 | OK | | | dashDB Node | dashdb/rack1.node2 | OK | | | dashDB Node | dashdb/rack1.node3 | OK | | +-----------------------+--------------------+--------+----------+
- 19. Zarzdzanie rodowiskiem konsola webowa Uwsp坦lnione rodowisko graficzne do zarzdzania na bazie IBM Data Server Managera og坦lny i szczeg坦owy pogld na status zasob坦w analiza zdarze i alert坦w Key Performance Indicators (KPI) monitorowanie sprztu, przestrzeni dyskowej oraz oprogramowania Call home monitorowanie i wykrywanie problem坦w Hhstoria zapyta oraz analiza zapyta w locie monitorowanie obci甜e zarzdzanie danymi adowanie danych administracja baz danych (i bezpieczestwem danych) uruchamianie zapyta SQL z opcj podgldu planu wykonania pobieranie wynik坦w wykonanych zapyta do CSV lub XLSX LDAP wirtualizacja zapyta
- 20. Zarzdzanie rodowiskiem konsola webowa
- 21. Zarzdzanie rodowiskiem konsola webowa
- 22. Zarzdzanie rodowiskiem konsola webowa
- 23. Zarzdzanie rodowiskiem przenoszenie danych Pena gama mo甜liwoci i narzdzi do przenoszenia danych do IIAS dbload / db2_migrate oraz narzdzia Db2 Warehous: load / import / ingest External Tables Create Table create table foo (c1 int, c2 int) Create a Named External Table create external table external_foo (c1 int, c2 int) using (dataobject (/tmp/foo.txt)); Load insert into foo (select * from external_foo); Unload insert into external_foo (select * from foo); Transient Load insert into foo select * from external /tmp/foo.txt using (delimiter ,); Transient Unload create external table /tmp/foo.txt using (delim ,) as select * from foo;
- 24. IBM Integrated Analytics System Analityka Nowej Generacji Dzikuj za uwag Marcin Marczewski IBM Analytics