20200611 NCKU CCNS SA/NA VS Enterprise
?
0 likes?196 views
從企業角度看 SA/NA 需要什麼技能, 如何安排自己的技能樹, 亦分享多年來的經驗談及一些案例
20200611 NCKU CCNS SA/NA VS Enterprise
- 1. The material contained in this documentation is proprietary and confidential to PIXNET. Copies are made available on the basis that use is limited to the sole purpose of evaluating PIXNET’s capabilities. It is not permissible to use, modify, copy or disclose any information contained in this presentation document for any other purpose without the express written permission of PIXNET. If you are not the intended recipient of this material you are requested to take immediate steps to destroy it. Copyright ? 2018 PIXNET. All rights reserved. 2020.06.11 小明(曾祺元) SA/NA 與企業關聯
- 2. 簡介 姓名：曾祺元 綽號：小明 現任：PIXNET SRE 組組長 經歷： ● 璞園建築團隊 IT 主管 ● 遊戲基地(gamebase)資深系統工程師 ● 資策會創研所資深工程師 ● 台大生機所 90 級 ● 交大機械系 89 級 ○ 曾擔任 CCCA 及交大機械系網管
- 3. 台灣最大社群網站 PIXNET 創立於2003年，2006年成立「優像數位媒體科技股份有限公司」，並於2007年加入城邦媒體控股集團。我們是一間以社群 為核心的科技公司，旗下主要服務包含：痞客邦、PIXgoods、PIXmarketing、PIXinsight，透過創新的數據應用、多樣化社群服務， 實現「Guide to SMART Life」企業核心價值。2018年，PIXNET 推出「全新痞客邦」加速興趣同好彼此凝聚及交流，並持續與產業各 界結盟，踏實建構「社群共榮圈」願景。
- 4. 啟蒙 五月,1992 年中,20091996 CCCA 成立 加入 CCCA 熄燈 FreeBSD 教Unix歷史 BBS、NEWS (Innd) FTP、HTTP、MAIL、DB 586 4G RAM (1Gx4) ??MB HDD Windows 95 + FreeBSD 雙系統
- 5. 系統管理能幹嘛？ 打地基 蓋高樓 房屋買賣 網路架構 系統架構 軟體開發 營運、維運 地端機房 雲端服務
- 11. 技能樹 ● OS、網路 (二擇一) ● 自動化概念 (懶) ● 指令、環境 (方便自己作業) ● 監控工具 (總不能瞎子摸象) ● WWW、DNS、Firewall ● ……. ● Cloud (當紅) ● Container、K8S ● CI/CD (快速佈署) ● CDN ● VPN https://pbs.twimg.com/media/C7N9i6AWwAE7AQ7?format=jpg&name=large
- 13. 舉例 MySQL Master Taipei MySQL Slace Hsinchu MySQL Slace H.K. 某個線上遊戲非官方資料庫 replication NTU Inn Server NCTU ME Inn Server NCTU Inn Server NCTU ME BBS RAM: less than 4G customize Kernel
- 14. 我認為的 SA / NA SA / NA 基礎建設的根本
- 15. 来谈谈一些维运的应用
- 16. PIXNET SRE 的工作 值班 支援 開發 ● 維運 ● 穩定 ● 救火 ● 協助 RD ● 建置環境 ● 自動化 ● 新技術
- 17. 机房维护
- 18. 機房、機櫃 1U、2U、3U、4U……. switch 放那? 設備如何放? 有洞就插? 輕設備 vs 重設備 會不會過載? 很熱?很冷? 如何走線?
- 19. 管理一堆機櫃要考慮的條件 ● 依機櫃各 U放置機器 ○ 空間好控制 ● 盡量不留空 U或放盲板 ○ 冷熱通道、不混風 ● 詳細紀錄機櫃圖 ○ 規劃空間 ○ 放置新機器 ● 網路線或電源線走線 ○ 避免查線困難 ○ 避免誤拔 ● 220 vs 110 ● 獨立空調
- 20. Router L2 SW LB Router 一堆 Server L2 SW 前後各放一台 機櫃名稱 機櫃名稱
- 21. SA, System Administration NA, Network Administration SRE 管機器、管系統、管網路 重點：管 工人智慧
- 22. 工人智慧 自動化懶
- 23. 几个案例分享
- 24. ZFS + Percona (MySQL)
- 25. 說說一些 ZFS 的補充
- 26. What is ZFS? http://wiki.lustre.org/ZFS_OSD_Hardware_Considerations https://docs.oracle.com/cd/E26505_01/html/E37384/zfsover-2.html#scrolltoc ● ZFS is a combined file system and logical volume manager designed by Sun Microsystems. ● The ZFS file system is a file system that fundamentally changes the way file systems are administered, with features and benefits not found in other file systems available today. ZFS is robust, scalable, and easy to administer. Platform ● Solaris / OpenSolaris ● macOS / FreeBSD ● FreeNAS / NAS4free / pfsense ● Software Raid - recommand HBA card ● 128 bit filesystem ● no fsck - scrub / resilvering ● RAID-Z / mirror ● Snapshots https://en.wikipedia.org/wiki/ZFS https://zfsonlinux.org/
- 27. 課堂外的補充 FreeBSD: ZFS + GEOM Debian: ZFS + disk path / label 忽略硬碟排列順序
- 28. 課堂外的補充 提升 IOPS 移用 SSD 當 ZIL & Cache 降低機器負擔 (Percona 為例) 讀寫分離、讀寫比例分配 Root on ZFS 很好用 但需要和儲存資料分離 故事 ● 曾在過年時發生 Storage (ZFS) 因故 無法登入使用 ● 年初三回公司處理，重開機再也找不到 root partition ● 各種方法都救不回來 root partition ● 最後用額外的硬碟當 OS 後 import ZFS 救回
- 29. Elasticsearch 系統規劃 ZFS Storage Pool SSD ZIL：30G cache：90G ZIL L2ARC - Cache ARC Raid 0 zfs zfs_arc_max 3221225472 (3G)Elasticsearch service 記憶體規劃 系統預留：500M ~ 1000M Elasticsearch JVM：總記憶體 35% ~ 50% ZFS ARC：總記體 35% ~ 50% 15G 記憶體分配方式 /etc/elasticsearch/jvm.options -Xms5632m -Xmx5632m /etc/modprobe.d/zfs.conf options zfs zfs_arc_max=3221225472 # 3G L2ARC ● 若有獨立 (SSD) Cache 則稱為 SLOG (Separate ZFS Intent Log, SLOG) ● 若沒有獨立 Cache 則由所有 (virtual devices, vdevs) 分擔 ZIL 功能
- 30. http://wiki.lustre.org/ZFS_OSD_Hardware_Considerations Compare L2ARC on and L2ARC off
- 31. 課堂外的補充 FreeBSD + HAST + CARP + ZFS = 超好用 ● VMWare GuestOS 在 ZFS Failover 時可不中斷服務 ● ZFS Failover 時間約 78s Storage 規格 SATA or SAS x24 HBA Card
- 33. https://www.percona.com/doc/percona-xtradb-cluster/LATEST/intro.html About Percona XtraDB Cluster, PXC
- 34. PIXC on PIXNET Garbd writes, raidz1 reads, raidz1 reads, raid10 reads, raid10
- 38. PXC 系統規劃 環境 CPU: 8 Cores 以上 RAM: 64G 以上 HDD: SAS 300G x8 (600G) 以上 SSD: 120G x 2 Percona 參數 innodb_buffer_pool_size = 20G innodb_thread_concurrency = 32: 以 CPU 數量而定, cat /proc/cpuinfo | grep proc | wc -l innodb_read_io_threads = 28 innodb_write_io_threads = 4 : io theads 則依讀與寫的量比例分配 ZFS 參數 atime=off checksum=fletcher4 setuid=off exec=off devices=off sync=disabled for mysql datadir and binglog dir ZIL: 30G (mirror) cache: 90G stripe ARC: 20G
- 40. 谈谈自动重灌
- 43. Cobbler + kickstart Ansible 觸發 PXE Client reboot Cobbler 透 過 API 取得 各 Server 之 參數
- 44. Ansible 觸發工作 ● Hostname ● IP, Gateway ● HDD 分割 ● 設定 switch vlan 準備 Server 參數 ● reboot ● 修改 vlan ● cobbler 取得 server 參數 前一頁 PXE 流程 ● 硬碟分割 ● 安裝套件 (一般安裝 Debian 會做的事) Ansible 安裝後工 作 ● 自定套件 ● 權限設定 ● NIS ● NFS ● 設定環境
- 46. Q&A
- 47. THANK YOU
- 48. 台灣最大社群網站 PIXNET 創立於2003年，2006年成立「優像數位媒體科技股份有限公司」，並於2007年加入城邦媒體控股集團。我們是一間以社群 為核心的科技公司，旗下主要服務包含：痞客邦、PIXgoods、PIXmarketing、PIXinsight，透過創新的數據應用、多樣化社群服務， 實現「Guide to SMART Life」企業核心價值。2018年，PIXNET 推出「全新痞客邦」加速興趣同好彼此凝聚及交流，並持續與產業各 界結盟，踏實建構「社群共榮圈」願景。