How to plan a hadoop cluster for testing and production environment
?
3 likes?593 views
Athemaster wants to share our experience to plan Hardware Spec, server initial and role deployment with new Hadoop Users. There are 2 testing environments and 3 production environments for case study.
How to plan a hadoop cluster for testing and production environment
- 1. 炬識科技股份有限公司 HOW TO PLAN A HADOOP CLUSTER FOR TESTING AND PRODUCTION ? Present by Resource Planning2016/9/10 2016 Taiwan HadoopCon Sep. 9~10th
- 3. Hard Drive Architecture 此測試案例下，JBOD比RAID約快1倍 RAID 0 與 JBOD查詢效能比較3 www.athemaster.com
- 4. 測試環境 www.athemaster.com 4 ¨? 實體主機*5 ¨? 硬體規格 ¤? AVAGO MegaRAID Controller *1 ¤? Disk: 500GB *6 ¤? CPU: 6Code *2 ¤? RAM: 16G*8 ¨? 系統版本 ¤? CentOS 6.6 ¤? CDH 5.4.5
- 5. Test Plan www.athemaster.com 5 ¨? 寫一個自動產生資料的程式 ¨? 使用名為“ADP”的 ETL工具進入HDFS中 ¨? 這裡的ADP為自行開發 ¨? 再用一支程式定時對Impala做scan ¨? 也就是select count(*)，來測試當資料量與查詢 時間的關係
- 6. Data Size www.athemaster.com 6 ¨? 此次測試中每5分鐘生成一個table ¨? 每一个迟补产濒别的资料数约介於630词670万笔之间
- 9. - 檔案讀取的效能 - 硬碟空間的使用效率 - 記憶體的使用需求 (每個namespace object on NN約150 bytes) HDFS Block Size and count9 www.athemaster.com
- 10. Factors (簡化版) www.athemaster.com 10 ¨? Input ¤? 平均檔案大小 ¤? 檔案數量 ¨? Output ¤? Block size (64MB/128MB/256MB) ¤? Master Node (NameNode service)記憶體需求 (128GB/256GB/516GB) 更多資訊 https://www.cloudera.com/documentation/enterprise/latest/topics/ admin_nn_memory_config.html https://martin.atlassian.net/wiki/pages/viewpage.action?pageId=26148906 內文提到一篇” HDFS Scalability whitepaper”，有非常詳細計算方式。
- 13. 測試環境特性 www.athemaster.com 13 ¨? 快速部署 ¨? 通常要在硬體規格與數量不足的狀況下進行 ¨? 通常不要求高可用(有HA測試項目者例外) ¨? 通常不要求效能 ¨? 注重與其他系統間的整合測試
- 14. 正式環境特性 www.athemaster.com 14 ¨? 重視系統耐久度（短時間內不再投資） ¨? 重視高可用性 ¨? 雖然Hadoop不會用在交易系統，但是通常仍 有一定的效能要求 ¨? 可能有備援要求
- 16. 測試重點 www.athemaster.com 16 ¨? 結構化資料ETL進入HDFS的可用性 ¨? 不同種類的資料相容性 ¨? 與SQL Server的效能比較
- 17. 硬體規格 www.athemaster.com 17 ¨? 節點角色數量 ¤? Master Node*2 ¤? Worker Node*3 ¨? 伺服器硬體規格 ¤? Dell R430 1U Rack Server*5 n? Intel Xeon E5-2620 v3 2.4GHz,15M Cache,8.00GT/s n? QPI,Turbo,HT,6C/12T *2 n? 128GB(16 *8 GB) RDIMM,2133 MT/s,Dual Rank, n? 4TB SAS HDD 35 7200 rpm *4 n? PERC H730 Integrated RAID Controller Size:1024 MB n? Hard Drive Architecture: 除了保留部分空間給 /boot和 swap外，其餘空間全部給 /，不使用LVM
- 18. 來源資料 www.athemaster.com 18 資料格式 單一檔案大小 最大檔案數 總檔案大小 DB dump file 7.5GB 6 45GB DB dump file 12.5GB 6 75GB evtx 30~50MB 4 1GB Txt 1.5KB 2 3KB
- 19. Hadoop vs. SQL Server查詢效能 www.athemaster.com 19 System 1 5 10 20 Cloudera 19(m)19(s) 21(m) 24(m) 43(m) MS-SQL 3(m)42(s) 4(m) 6(m) N/A (Loading )
- 21. 測試重點 www.athemaster.com 21 ¨? 資料輸入 – SQL Server, Oracle, Teradata, AWS (Sqoop) ¨? 資料輸出 – SQL Server, Oracle, Teradata, AWS (Impala, Hive) ¨? 資高可用性 – NameNode HA, Cluster HA ¨? 安全性 – 授權、加密、資料遮罩 ¨? 容量與性能 – Data compression, performance monitoring ¨? 硬體數量不足，BI工具需要專屬主機 ¨? 如何用兩台主機架設Hadoop, 且可驗證HA？
- 22. 硬體規格(細節) www.athemaster.com 22 內????容 數量 System x3650 M5 ODD Cable Kit 3 Ultraslim 9.5mm SATA DVD-ROM 3 POWER CODE 6 Intel Xeon Processor E5-2630 v3 8C 2.4GHz 20MB Cache 1866MHz 85W 3 System x3650 M5 Plus 8x 2.5 HS HDD Assembly Kit with Expander 3 System x 550W High Efficiency Platinum AC Power Supply for x3650 M5 3 System x3650 M5 PCIe Riser 1 (2 x8 FH/FL + 1 x8 ML2 Slots) 3 600GB 10K 12Gbps SAS 2.5in G3HS 512e HDD 36 32GB TruDDR4 Memory (4Rx4, 1.2V) PC417000 CL15 2133MHz LP LRDIMM 48 X3650M5 1*E5-2630 v3 8C (85W) 2.4GHZ 20MB CACHE 1866 Mhz, 1 X 16GB ECC RDIMM (1.2V), 8*2.5 HS SAS/SATA/Max 18, M5210 1Gb Flash,4*1GB ETHERNET, 1*550W RPS,3Y 3
- 23. 節點角色配置 www.athemaster.com 23 主機編號 硬體規格 節點角色 PM-01 (VM01~06) CPU: 8 Core*2 MEM: 512GB HDD: SAS 600GB*12 Master Node 01 Master Node 02 Master Node 03 Worker Node 01 Worker Node 02 Worker Node 03 PM-02 (VM07~08) CPU: 8 Core*2 MEM: 512GB HDD: SAS 600GB*12 Utility Node 01 (CM Server, CM) Edge Node 01 (Oracle) PM-03 CPU: 8 Core*2 MEM: 512GB HDD: SAS 600GB*12 Edge Node 02 (BI Tool)
- 25. 完成以下高可用性測試 www.athemaster.com 25 ¨? 運算過程中Shutdown一台DataNode ¨? 運算過程中Shutdown Primary NameNode ¨? 運算過程中增加一個Node ¨? 運算過程中Shutdown Primary CM DB
- 31. 需求重點 www.athemaster.com 31 ¨? 高可用性 ¨? 查詢效能 ¨? 系统管理员与开发人员权限管理
- 32. 硬體規格 www.athemaster.com 32 Role Master Node(01~03) Worker Node(01~10) Server Qty 3 10 Model HP DL360 Gen9 HP DL360 Gen9 CPU E5-2600v3 E5-2600v3 16 core 2.6GHz 12 core 2.4GHz (Dual 8 core) (Dual 6 core) RAM 256 GB (32GB*8) 256 GB (32GB*8) DISK 6 * 600 GB 12 * 4TB (3.5 SAS 7.2K rpm) 2.5 SAS 15K rpm 2 * 600GB (3.5 SAS 15K rpm) (Support 12 Gbps RAID) RAID RAID-1 (OS) RAID-1 (OS) RAID-10 (DATA) JBOD (DATA) NIC 10GbE * 2(LACP) 10GbE * 2(LACP) 另外還有兩 台Edge Node, 程 式人員只能 從該節點連 線叢集。
- 33. 叢集服務配置 www.athemaster.com 33 Others and Edge Node 01 Master Node 01 Master Node 02 Master Node 03 Edge Node 02 Worker Node 02 13? 22? 為什麼會看到這麼多節點？ 因為這些節點上安裝 cloudera-scm-agent,並且向CM 註冊過。 *Edge Node與軟體授權*
- 34. YARN Pending Containers www.athemaster.com 34
- 35. 進階 CM DB HA www.athemaster.com 35 ¨? Postgresql server HA ¤? Failover - 當active的pgsql故障後， pgpool會自動把standby的pgsql轉換成 active以繼續運作。 ¤? Recovery - 把active的pgsql資料複製到 standby的pgsql，使資料一致。 ¤? Failback - 故障排除的pgsql(原active)重 新連結pgpool並回到active角色。 ¨? Pgpool HA ¤? Failover : 當active的pgpool故障後， watchdog會提醒並自動把standby的 pgpool轉換成active以繼續運作。 ¤? Failback : 故障排除後的pgpool(原active) 會自動重新與active pgpool建立連結。
- 37. 需求重點 www.athemaster.com 37 ¨? 瞬間資料量大 (8000EPS) ¨? 每日累積資料量大 (超過1TB) ¨? 希望盡可能拉長資料儲存區間 ¨? 新舊設備混用
- 38. 硬體規格與節點角色配置 www.athemaster.com 38 Role 資料擷取分流 硬體規格 Master Node 01 N/A CPU: 12 Core MEM: 16GB*14 HDD: 2.5” 300GB*2(RAID 1) 3.5” 4TB*12 (JBOD) Master Node 02 N/A (舊)Worker Node 01 Adaptor 01 CPU: 12 Core MEM: 16GB*12 HDD: 2.5” 300GB*2(RAID 1) 3.5” 4TB*12 (JBOD) (舊)Worker Node 02 Adaptor 02 (舊)Worker Node 03 Adaptor 03 Worker Node 04 Adaptor 04 CPU: 12 Core MEM: 16GB*12 HDD: 2.5” 300GB*2(RAID 1) 3.5” 4TB*12 (JBOD) Worker Node 05 Adaptor 05 Worker Node 06 Adaptor 06 Worker Node 07 N/A Worker Node 08 N/A CPU: 12 Core MEM: 16GB*12 HDD: 3.5” 4TB*12 (JBOD)
- 43. CDH Next Focus www.athemaster.com 43 ¨? improving Impala ¨? SQL Knowledge worker Experience (Hue) ¨? Data Science Knowledge worker Experience (kudu) ¨? Cloud - integration with major public/ private Cloud service provider through API