More Related Content
What's hot (9)
Similar to Spark tutorial (20)
Spark tutorial
- 10. 在英雄聯聯盟（LoL）中，? 使?用兩兩隊賺錢的差異異預測勝率 歷史資料 ? Features ? ?二?十分鐘賺錢的差異異 ? Label ? 輸或贏 10 gold_diff(1000) win 2 1 -2 0 3 1 -0.5 1 … … 歷史（訓練）資料 gold_diff：A隊錢總數 - B隊錢總數（20 min） win：最後A隊贏為 1，反之則為 0 邏輯回歸? 使?用情境
- 12. 功能特性 ?支持多語?言與進階分析?工具 source: Apache Spark: 3 Promising Use-Cases 12
- 13. 功能特性 DataFrame ? 資料表 ? 類 SQL 語法 ? 效能優化 13 測試：客?戶資料中， 計算各國家與各職稱的?人數
- 16. 基本架構 分散式計算簡介 RDD：Resilient Distributed Dataset DAG：Direct Acyclic Graph 執?行行模式 16
- 17. Cluster 基本架構 分散式計算簡介 Client Worker Node Worker Node Worker Node Worker Node Cluster Manager Logistic? Regressioon Data Data Data 1. 計算邏輯回歸 2. 資料分散於叢集中 17
- 18. Cluster 基本架構 分散式計算簡介 Worker Node Worker Node Worker Node Worker Node Job Submit Client Cluster Manager Data Data Data 1. 向叢集管理理節點? 提交?工作 Logistic? Regressioon 18
- 19. Cluster 基本架構 分散式計算簡介 Worker Node Worker Node Worker Node Worker Node Data Data Data Executor Executor Executor Client Cluster Manager 1. 叢集管理理節點安排? ?工作節點 2. 暫存資料於記憶體 Scheduling Logistic? Regressioon 19 Cache Data Cache Data Cache Data
- 20. Cluster 基本架構 分散式計算簡介 Worker Node Worker Node Worker Node Worker Node Data Data Data ExecutorTaskTask ExecutorTaskTask ExecutorTaskTask Client Cluster Manager 1. ?工作節點執?行行指定? 任務 2. 此階段可能發?生節? 點間的資料交換 Scheduling Logistic? Regressioon 20 Cache Data Cache Data Cache Data
- 21. Cluster 基本架構 分散式計算簡介 Worker Node Worker Node Worker Node Worker Node ExecutorTaskTask ExecutorTaskTask ExecutorTaskTask Client Cluster Manager Data Data Data ExecutorTask Reduce 1. 結合各?工作節點的? 計算結果 Logistic? Regressioon 21 Cache Data Cache Data Cache Data
- 22. Cluster 基本架構 分散式計算簡介 Worker Node Worker Node Worker Node Worker Node ExecutorTaskTask ExecutorTaskTask ExecutorTaskTask Client Cluster Manager Data Data Data ExecutorTask 1. 將最終計算結果回? 傳給使?用者 2. 根據需求，判斷是? 否進?行行下次迭代 Logistic? Regressioon 22 Cache Data Cache Data Cache Data
- 23. 基本架構 RDD 物件：Resilient Distributed Dataset 23 ?用?戶端 RDD 物件 1. Create 2. Tranformation 3. Action 4. Cache Work Node Cache Data Work Node Cache Data Work Node Cache Data Data Data Data
- 24. 基本架構 RDD 物件：Resilient Distributed Dataset 操作?方法： 1. 初始化（Create）：可由外部資料（HDFS）或?用?戶端載入? 24
- 25. 基本架構 RDD 物件：Resilient Distributed Dataset 操作?方法： 1. 初始化（Create）：可由外部資料（HDFS）或?用?戶端載入 2. 轉換（Transformation）: 計算後產?生新的 RDD? 25
- 26. 基本架構 RDD 物件：Resilient Distributed Dataset 操作?方法： 1. 初始化（Create）：可由外部資料（HDFS）或?用?戶端載入 2. 轉換（Transformation）: 計算後產?生新的 RDD 3. 任務執?行行（Action）：執?行行所有計算並回傳結果 26
- 27. 基本架構 RDD 物件：Resilient Distributed Dataset 操作?方法： 1. 初始化（Create）：可由外部資料（HDFS）或?用?戶端載入 2. 轉換（Transformation）: 計算後產?生新的 RDD 3. 任務執?行行（Action）：執?行行所有計算並回傳結果 4. 暫存（Cache）：暫存 RDD 對應的資料，可設定暫存層級 27 必須使?用 Action ?方法才會真正執?行行 Cache
- 28. 基本架構 RDD 物件：Resilient Distributed Dataset 特性： 延遲執?行行? 優化執?行行路路徑 Immutable? 只能查詢或修改 28 Lazy Evaluation
- 29. 基本架構 DAG：Direct Acyclic Graph 29 Input RDD RDD 1 RDD 2 Combined RDD Filter Filter Union
- 30. 基本架構 DAG：Direct Acyclic Graph 30 Input RDD RDD 1 RDD 2 Combined RDD Filter Filter Union Count 延遲執?行行（Lazy Evaluation）
- 35. SQL 與 DataFrames 查詢?方法 ? select、orderBy、join、groupBy 聚合?方法 ? count、max、min、mean … 35
- 37. 資料讀取 使?用 Dataframe ? 指定資料位置（CSV 檔案） ? “spark.read.csv(path, *options)” API ? 參參考程式 註冊為 SQL 資料表 ? 參參考程式 使?用 Zeppelin 資料視覺化 ? 參參考程式 37
- 38. 資料讀取 客?戶資料（customers.csv -> customers_df） 訂單資料（orders.csv -> orders_df） 訂單詳細資料（order_details.csv -> order_details_df） 產品資料（products.csv -> products_df） 員?工資料（employees.csv -> employees_df） 參參考程式 38
- 39. 查詢特定欄欄位 顯?示客?戶公司名稱及國家 ? 指定欄欄位名稱（使?用字串串陣列列） ? dataframe.select(list) ? 參參考程式 查詢欄欄位名稱及定義 ? dataframe.printSchema() ? 參參考程式 39
- 40. 查詢特定欄欄位 函數 dataframe.select(…) ? 輸入：指定欄欄位 ? 輸出：DataFrame 物件 ? 可連續使?用 ? dataframe.select(*cols1).select(*cols2) 40
- 41. 條件式查詢 查詢來來?自於美國的客?戶 ? 欄欄位名稱：country ? 欄欄位值：USA ? 程式語法：? dataframe.?lter(col(‘country’) == ‘USA’) ? 參參考程式 41
- 42. 條件式查詢 邏輯控制 ? and：& ? or：| ? 等於：== ? 不等於：!= 例例?子： 1. (條件1 | 條件2)：參參考程式 2. (條件1 | 條件2) & 條件3? ((col1 == value1) | (col2 == value2)) & (col3 == value3) 42
- 43. 條件式查詢 練習 ? 查詢來來?自於美國或加拿?大客?戶的傳真號碼 ? 提?示： ? 請勿回傳無意義的號碼 ? 只需知道傳真號碼 ? 參參考程式 43
- 44. 排序 查詢結果按照指定欄欄位排序 44 ? ASC：升冪 ? DESC：降冪 ? Country 欄欄位使?用 ASC排序
- 45. 排序 查詢結果按照指定欄欄位排序 45 ? ASC：升冪 ? DESC：降冪 ? Country 欄欄位使?用 ASC排序 ? City 欄欄位使?用 DESC 排序
- 46. 排序 指令 ? dataframe.orderBy(*col) 練習 ? 顯?示客?戶名單中的 companyName 與 contactName? 並?用 companyName 升冪排序、contactName 降冪排序 ? 參參考程式 46
- 49. Join查詢 根據共同資訊，合併資料表 例例如：顯?示訂單的公司名稱 使?用 df1.join(df2, on, how) ? df1 與 df2 皆為資料表（DataFrame） ? on：例例如利利?用 customerID 做連結 ? how：例例如使?用 Inner Join ?方法 ? 回傳合併後資料表（DataFrame） 49
- 50. Join查詢 例例如：顯?示訂單的公司名稱 使?用?方法 Inner Join ? 只顯?示兩兩張資料表交集部分 ? 在這個例例?子中，不包含沒有公司資訊的訂單 ? 參參考程式 50
- 51. Join查詢 Inner Join Left Join Right Join 51
- 52. Join查詢 Left Join 顯?示客?戶的訂單（有可能沒有訂單） ? employees_df.join(orders_df, on, ‘left’) ? 參參考程式 52
- 53. Join查詢 Right Join 顯?示銷售員業績（有可能無業績） ? orders_df.join(customers_df, on, ‘right’) ? 參參考程式 53
- 54. Group By 查詢 將資料表依照指定欄欄位進?行行分組 例例如：顯?示各國的客?戶數量量 ? dataframe.groupBy(*cols) ? customers_df.groupBy(‘country’).count() ? 參參考程式 練習：? 顯?示各國(country)? 不同客?戶職稱(contectTitle)數量量 54
- 56. 各種統計值 顯?示前 20 的訂單總額度 1. Join 資料表 order_details_df 與 products_df 取得：訂購數量量(quantity)、折扣 (discount)、產品原價(unitPrice) 2. 實際價格：unitPrice * (1-discount) = realPrice? ? 3. 訂單中單?一產品總價：實際價格(realPrice) * 訂購數量量(quantity) 4. 使?用 groupBy(‘orderID’) 與 dataframe.agg(*expr) 與 orderBy 5. 參參考程式? 56
- 57. Summary 功能特性 ? 記憶體加速 ? DataFrame 基本架構 ? 分散式運算 ? RDD ? DAG SQL and DataFrame ? Select, orderBy, Join, groupBy, aggregation. 57