�ݺ�ߣ

Budowa wirtualnego Data Center
w oparciu o technologie Open Source i komercyjne
Marcin Motylski
MITVision

Budowa VDC – historia DC w Polsce
1995 – Novell Netware, SGI/Irix, 10Mbps
2000 – boom Data Center, pierwsze ASP (Application Service Providers)
2004 – zarządzany hosting, duże instalacje HW
2009 – wirtualizacja, VMWare, LDOM, LPAR, KVM
2017 – Cloud, 10Gbps peering EU, EU Zones, Global Regions

Budowa VDC – wirtualne DC vs fizyczne DC
Fizyczne centrum danych
- Strzeżony budynek
- Zasilanie redundantne, UPSy
- Łącza do sieci Internet
- Serwery fizyczne
- Przełączniki fizyczne
- Przestrzeń dyskowa, macierze
- Tier III, - Tier IV
Wirtualne Data Center
- Bazuje na zasobach fizycznego data
center jednego lub wielu
- W lokalnym centrum danych na
serwerach, sieci, przestrzeni
dyskowej
- Jest instancją hypervisior np. ESX,
OpenStack, KVM
- może zawierać elementy fizyczne
lokalnego centrum danych

Budowa VDC – czym jest wirtualne Data Center
Wirtualne Centrum Danych
- instancja hypervisior w jednym lub wielu centrach danych,
- może zawierać fizyczne elementy sieciowe, przestrzeń dyskową,
- lokalne centrum danych może rozszerzać funkcjonalność
wirtualnego centrum danych,
- zawiera w sobie komponenty, funkcjonalność centrum danych z
~2000 roku tj. wirtualnych firewall, switch, router, serwer,

Budowa VDC – czym jest wirtualne Data Center
Wirtualne Centrum Danych
- … wirtualny dysk, wirtualna macierz dyskowa, wirtualna karta
sieciowa, wirtualny TAP, wirtualny IPS, IDS, wirtualne serwery
Windows, Linux, AIX, Solaris, BSD, serwery aplikacji, serwery baz
danych, instancje kopii zapasowych, systemy monitoringu, DNS,
firewall bazy danych, firewall aplikacji.
- ograniczenia ? warunki licencyjne, wsparcie produktów.

Budowa VDC – Open Source
- Czy da się zbudować wirtualne Centrum Danych w oparciu o Open
Source ?
- Czy będzie stabilnie, wydajnie, niezawodnie ?
- Czego nie da się zbudować w oparciu o Open Source ?
- Ile to będzie kosztować ?
- Ograniczenia ?

- Czy da się zbudować wirtualne Centrum Danych w oparciu o Open
Source ? - tak
- Czy będzie stabilnie, wydajnie, niezawodnie ? - tak
- Czego nie da się zbudować w oparciu o Open Source ? - czas jest
ograniczeniem.
- Ile to będzie kosztować ? – wdrożenie, rozwój oprogramowania
- Ograniczenia ? – wymagania wsparcia - komercyjne produkty

- Hypervisior – KVM, Open Stack, PowerKVM, bhyve/FreeBSD
- Kontenery – LXC (Docker), Chroot, Jail/BSD
- Systemy – Linux Debian, Gentoo, CentOS
- Bazy danych – MariaDB, PostgreSQL, MySQL,
- Serwery aplikacji, kontenery serwletów – Tomat, WildFly,
- Firewall – OpenBSD/PF, NetBSD/PF, FreeBSD/PF/IPF, Linux/IPTables,
- Router – Quagga, OpenBGPD, Zebra

- WWW – Apache, Ngnix,
- Firewall Aplikacyjny – mod_security,
- IPS/IDS – Suricatta, Snort,
- Webmail – Roundcube, SOGo, Zimbra/Zarafa [Community],
- Serwery poczty – Postfix, Exim,
- Antyspam/AV – SpamAssasin, QPSMTPD, ClamAV
- Loadbalancer - HAProxy

- Kopie zapasowe - Bacula
- Monitoring – Icinga, Nagios Core, Shinken,
- Statystyki – Ganglia, Cacti, MRTG
- APT – Cuckoo Sandbox
- iSCSI - FreeNAS
- Storage – CEPH, DRBD
- Switch - OpenVSwtich

Budowa VDC – Komercyjne
- Hypervisior – RHEV, Open Stack, VMWare, LDOM, LPAR/PowerVM
- Kontenery – Docker, Virtuozzo, Solaris/Zones, AIX/WPAR
- Systemy – RedHat, SuSE, IBM AIX, Oracle Solaris, MS Windows
- Bazy danych – Oracle, IBM DB2, PostgreSQL Enterprise
- Serwery aplikacji, kontenery serwletów – JBoss, IBM WLS
- Firewall – A10 Networks, Check Point, Palo Alto, Fortinet
- Router – Vyatta, Juniper, Cisco

- WWW – Apache, Ngnix,
- Firewall Aplikacyjny – A10 Networks, Radware, Imperva, F5,
- IPS/IDS – Intel/McAfee, Juniper
- Webmail – Zimbra, Zarafa
- Serwery poczty – Exchange, Zimbra, Zarafa
- Antyspam/AV – Symantec
- Loadbalancery – A10 Networks, Radware, F5, KEMP (NLB)

- Kopie zapasowe – Veritas, IBM Tivoli
- Monitoring – Nagios, FlowMon
- Statystyki – FlowMon
- APT – Blue Coat, Check Point
- iSCSI – EMC, IBM, Hitachi, Tintri
- Storage –IBM, Hitachi, Tintri
- Switch – VMWare NSX, Juniper, Cisco

- Cyberbezpieczeństwo – Fidelis, FireEye, DarkTrace
- MDM – AirWatch
- DLP – Symantec DLP
- Klastry – PowerHA, Veritas VCS
- TAPy – Gigamon
- Nagrywanie sesji administracyjnych – Balabit, CyberArk, Wheel
- Firewall DB / anonimizacja danych w DB – Imperva,

Budowa VDC – Open Source vs Komercyjne
Komercyjne
+ wsparcie producentów
- wykluczenia platform
- licencje / core factor
+ wyższe prawdopodobieństwo
dotrzymania SLA – banki, telco
Open Source
- własny rozwój
+ nowe środowiska bez licencji
- brak wsparcia
+ często szybkie poprawki
- interfejsy graficzne

Najciekawsze Open Source i technologie
- KVM i PowerKVM na IBM/Power
- Ganglia
- VPN – Racoon
- OpenvSwitch
- OpenStack
- Nasted Virtualization
- SR-IOV

- KVM, SR-IOV, Linux Kernel, NUMA
numastat –c qemu / sprawdzamy procesy które korzystają z NUMA, NODE1 (CPU1) / NODE2 (CPU2)
Włączamy w Kernelu dla dwóch, dwuportowych kart sieciowych funkcję SR-IOV

- KVM, SR-IOV, Linux Kernel, NUMA
fragment polecenia : dmesg
„Remove the specified CPUs, as defined by the cpu_number values, from the general
kernel SMP balancing and scheduler algroithms.”
Źródło : http://www.linuxtopia.org/online_books/linux_kernel/kernel_configuration/re46.html
Więcej informacji : https://codywu2010.wordpress.com/2015/09/27/isolcpus-numactl-and-taskset/
Izolowanie vCPU / Core w Linux np. na potrzeby KVM i pinowania vCPU do VM w KVM

ifconfig –a | grep –i enp | grep –i enp2s
portu SR-IOV do KVM

virsh start vsys19
numastat – c qemu
numastat – c qemu
…

fragment konfiguracji xml wirtualnej maszyny KVM

wirtualna maszyna KVM, wynik poleceń free i cat /proc/cpuinfo

numastat –c qemu / po uruchomieniu kilku maszyn wirtualnych KVM

Budowa VDC – historia Internetu w Polsce
~1995 – pobieranie 1Mb (goblins.zip) Kraków <-> Lublin 8-12 godzin (DOS)
~1997 – zarządzanie serwerami z Polski w USA z opóźnieniem ~200ms
(prędkości po USA ~35Mbps) (ascii / konsola)
~1999 – łącza do prywatnych Data Center – 20-40 Mbps – dzierżawy łącza
dla klientów na poziomie 1-2Mbps CIR/EIR
2000 – pierwsze internetowe serwisy muzyczne, boom portali internetowych
2004 – do obsługi 3-4 banków ING, WBK, Inteligo, BGŻ – wystarcza ~20Mbps

Budowa VDC – UseCase
Migracja obecnych
usług do nowej
architektury

Szybka budowa
nowego styku
z siecią Internet

Szybka budowa środowiska developerskiego

Budowa VDC – Migracja
Migracje – do chmury, z chmury, kolokacji, hostingu
- Klasyfikacja usług
- Czas życia projektu
- Lokalizacja i bezpieczeństwo DC,
- Dostępność łączy do sieci Internet.
- Procesory, pamięć RAM, przestrzeń dyskowa, sieć – szybkie łącza do
sieci Internet

Budowa VDC – Migracja
- Power8 24C, 512GB RAM, 750Mbps 1 500 USD/m (online.net)
- Xeon 24C (E5-2690v3), 256GB RAM, 500Mbps ~860 USD/m
- ARM 12C, 24GB RAM, 100Mbps 20 USD/m (beta projekt)
- Oracle T5 (?)
- Obecnie Oracle Cloud M7, IBM Cloud (Power8), Azure/AWS – x86
- Tanie alternatywy do nauki – SoYouStart, Kimsufi.
klasyczne bezpieczeństwo wymaga przeniesienia części funkcjonalności do chmury
świadome przeniesienie odpowiedzialności za część usług na dostawcę chmury
obliczeniowej, monitorowanie, zarządzanie, backup

Budowa VDC – Projekt Techniczny
Główne strefy bezpieczeństwa :
• siec INET.
• sieci DMZ.
• sieci PZ.
• siec CORE.
• siec BACKUP.
• siec MGMT.
• siec WAN.
Elementy infrastruktury konieczne
do budowy bezpiecznego
ośrodka obliczeniowego :
• Połączenia głownie 10Gbps
(PROD, BACKUP).
• Połączenia management
1Gbps.
• Separacja sieciowa stref
funkcjonalnych tj. PROD,
MGMT, BACKUP.

• Zapasowy ośrodek obliczeniowy
• Połączenie ośrodków dwoma niezależnymi łączami (szyfrowanie L2).
• Architektura sieciowa – bezpieczeństwa – zdefiniowanie i nazwanie
najważniejszych stref
• Architektura sieciowa – schemat główny – wysoki poziom
• Architektura sieciowa.
• Główne założenia polityki bezpieczeństwa
• Główne założenia dot. bezpieczeństwa – standardy.
• Główne założenia dot. bezpieczeństwa – rekomendacje.
• Warstwa sieciowa – szkielet rozwiązania.
• Routery brzegowe – styk z siecią Internet.
• Routery brzegowe – styk z siecią WAN.
• Switche brzegowe.

• Firewalle brzegowe styk z siecią Internet.
• Firewalle brzegowe styk z siecią WAN.
• Firewalle wewnętrzne – ochrona sieci PZ, MGMT.
• Systemy czasu.
• Systemy autoryzacji.
• Systemy Firewall Zewnętrzne DMZ.
• Systemy Firewall Wewnętrzne DMZ.
• Systemy Firewall Zewnętrzne PZ.
• Systemy Firewall Wewnętrzne PZ.
• Systemy Firewall WAN.
• Systemy Firewall INET.

• Systemy wirtualizacji DMZ.
• Systemy wirtualizacji PZ.
• Systemy monitoringu.
• Systemy logowania zdarzeń (osobne dla stref DMZ i PZ).
• Systemy proxy.
• Systemy WAF.
• Systemy IDS/IPS.
• Systemy TAP.
• Systemy SIEM.
• Systemy terminacji tuneli VPN – użytkownicy.
• Systemy terminacji tuneli VPN – inne firmy (ew. dedykowane łącza).

• Systemy terminacji tuneli VPN – połączenia WAN (inne lokalizacje).
• Systemy Firewall DB.
• Systemy backupu konfiguracji.
• Systemy DNS.
• Switche storage SAN DMZ.
• Switche storage SAN PZ.
• Switche storage SAN Interconnect DR (DWDM).
• Switche LAN Interconnect DR (DWDM).
• Switche LAN – szkielet CORE.
• Switche LAN – szkielet DMZ.
• Switche LAN – szkielet PZ.

• Switche LAN – szkielet WAN.
• Switche LAN – szkielet INET.
• Switche LAN – szkielet MGMT (każda sieć funkcjonalna musi posiadać
osobną strefę MGMT realizowana na osobnych fizycznych
przełącznikach).
• Switche LAN – szkielet BACKUP.
• Switche LAN – akceleracja i wsparcie wirtualizacji DMZ
• Switche LAN – akceleracja i wsparcie wirtualizacji PZ
• Macierze dyskowe DMZ (układ HA).
• Macierze dyskowe PZ (układ HA).
• Systemy równoważenia obciążenia (load balancers).
• Systemy optymalizacji ruchu TCP.

• Systemy akceleracji ruchu.
• Systemy anty DDOS (Internet).
• Centralny system DLP.
• Centralny system AV.
• Systemy APT.
• Systemy automatycznych audytów bezpieczeństwa.
• Systemy analizy sum kontrolnych.
• Systemy analizy NetFlow.
• Systemy akceleracji SSL.
• Systemy ReverseProxy.

• Systemy deszyfracji SSL.
• Akceleratory aplikacyjne.
• Systemy QoS.
• Systemy kompresji i cache HTTP.
• Systemy nagrywania ruchu IP.
• Dedykowana infrastruktura do obsługi VoIP.
• Centralny system utrzymania i kontroli nad kontami użytkowników w
systemach.

•
Dwie architektury wirtualnego data center – połączone w jedno środowisko.

Budowa VDC – Open Source DC
- zapraszam do współpracy przy budowie projektu wirtualnego
centrum danych w oparciu o technologie Open Source,
- darmowa alternatywa dla startup, organizacji non-profit,
- rozwój, testy do dużych projektów, stosujących technologie Open
Source

Budowa VDC – Podsumowanie
- jakie usługi chcemy uruchomić w chmurze – czym będą za 2-4 lata
- koszt pobrania/migracji danych
- klasyfikacja danych / planowanie / rozwój
- wirtualne data center / prywatna chmura

Budowa VDC – historia Internetu w Polsce
2016 – UPC ofertuje łącza 300/30 Mbps ~150PLN modem kablowy,
Orange ofertuje łącza 600/60 Mbps światłowód ~110PLN (duże miasta
– łącze domowe)
2016 – OVH daje możliwość podłączenia serwerów Francja <->
Warszawa/LIM/Mariott łączem 10Gbps.

Marcin Motylski
Firma: MITVision
Q&A
email: marcin.motylski@mitvision.com
www.mitvision.com

�ݺ�ߣ

PLNOG 18 - Marcin Motylski - Budowa wirtualnego Data Center

Recommended

More Related Content

What's hot (14)

Viewers also liked (20)

Similar to PLNOG 18 - Marcin Motylski - Budowa wirtualnego Data Center (20)

PLNOG 18 - Marcin Motylski - Budowa wirtualnego Data Center