大数据的基本概念(上)
?Download as PPTX, PDF?
12 likes?6,946 views
以"大數據(麥爾荀伯格、庫基耶著、林俊宏譯、天下文化出版)"一書內容為主軸，所彙整之簡報，用於分享與交流。 有任何問題與意見，請email至：chris.liao0516@gmail.com
大数据的基本概念(上)
- 3. 內容來源 中文書名：大數據 英文書名：Big Data – A Revolution That Will Transform How We Live, Work, and Think 作者：麥爾荀伯格(Viktor Mayer-Sch?nberger) 庫基耶(Kenneth Cukier) 出版商：天下文化；譯者：林俊宏
- 4. 大綱 ? 什麼是大數據(Big Data)？ ? 大數據跟一般數據有何不同？ ? 大數據的第一項特性：樣本 = 母體 ? 大數據的第二項特性：雜亂不精確 ? 大數據的第三項特性：相關性為王
- 6. 什麼是大數據？ ? 原文是Big Data，直翻為大數據，又翻為巨量資料 或海量資料 ? 大數據該有多大？事實上，沒有絕對的標準，只 要分析的樣本數趨近母體數(相對的概念)，都可叫 大數據；總之，不會太小 圖片來源： http://www.forbes.com/sites/gartnergroup/2013/03/27/gart ners-big-data-definition-consists-of-three-parts-not-to-be- confused-with-three-vs/
- 10. 大數據有何不同？ 1. 資料可以重複利用，產生新的經濟價值 2. 資料規模的改變引發狀態的改變 (量變?質變) 3. 必須使用新的工具來分析資料 4. 創新之處不在於處理資料的機器，而是資料本身 和使用的方式
- 11. 大數據有何不同？ ? 巨量資料的使用包含三種思維的改變： 1. 要具備針對主題分析龐大資料整體的能力 2. 願意接受真實資料會雜亂不清的事實 3. 要看重相關性，而非因果關係 圖片來源：http://www.taopic.com/search.php?keyword=%D0%A1%C5%AE%BA%A2%CB%BC%BF%BC 分析 資料整體 不精確 是必然 重視 相關性
- 13. 案例一 ? Google拿美國最常見的5000萬個搜尋關鍵字與疾 病管制局的歷史流感傳播資料比對 ? 建立4萬5千種數學模型，找出45個搜尋關鍵字， 與流感最有關連 ? 這些關鍵字能夠提供即時的疫情爆發預測，而非 疾管局遲至一、兩個禮拜後的通報速度 Google利用搜尋關鍵字預測H1N1流感傳播情形
- 15. 案例二 ? Farecast從航空業航班預定資料庫中取得2000億 筆飛機票價紀錄，與出發前天數做比較 ? 如果系統預測機票價格平均將下跌，就會建議消 費者再等等；如果預測機票價格將上漲，則會建 議以目前票價購買 ? 2008年被微軟併購，結合進Bing搜尋引擎中(儼然 是扼殺了這套系統…) Farecast利用大數據分析預測飛機票價資訊
- 17. 大數據特性一：樣本=母體 ? 母體：針對一主題研究調查的全體對象 ? 樣本：母體中抽樣取出的子集合 ? 大部分研究基於成本與時間考量，無法針對所有 對象(母體)做研究，於是便採用隨機抽樣的方式挑 選出足以代表母體特徵的樣本作為研究對象 母體：例如所有65歲以上的人口 樣本：例如65歲以上的人口中，依據縣市人口比例抽樣共1萬人
- 18. 抽樣的問題 ? 很多時候，刻意打造能代表母體的樣本，反而導 致巨大的誤差，最好的方法便是進行隨機抽樣 ? 但真正的隨機抽樣其實難上加難，易受系統性偏 差影響 ? 抽樣的另外一個問題是：抽樣後的尺度無法調整， 若想將結果分成子群，結果的錯誤率會大增
- 19. 抽樣的問題 ? 抽樣後調整尺度的問題舉例： 全校2000位小學生中，抽樣100位學生，依據年齡與身高做比對，結果如下： 再從9~10歲的子群中，進一步分析男女的身高影響，結果如下： 除了樣本數少造成誤差提高之外，子群能否代表原先 抽樣的群體也是問題 年齡區間 學生數 平均身高 7~8歲 35 124 cm 9~10歲 40 133 cm 11~12歲 25 140 cm 性別 學生數 平均身高 男 22 130 女 18 136.7
- 21. 大數據特性一：樣本=母體 ? 由於技術與資料化已有長足進步，蒐集全部對象 的資料不再是不可能的任務 ? 大數據分析要能創造新的價值，勢必要在一開始 便盡量蒐集全部的資料，也就是「樣本 = 母體」 ? 所以大數據指的不是絕對的資料量，而是相對的 概念，指的是要有完整的資料集
- 27. 大數據特性二：雜亂不精確 ? 雜亂的來源： 1. 資料量越多，資料錯誤不精確的可能性越高 2. 結合不同源頭、不同類型的資料 3. 資料格式不一致 巨量資料的概念，就是讓數據的重點從「精確」走 向「可能性」
- 28. 大數據特性二：雜亂不精確 ? 過去的類比時代缺乏資訊，每個資料點都至關重 要，因此資料的精確是最重要的 ? 但現在，透過科技技術的發展，我們可以輕易蒐 集到大量的數位資料，資料的精確性已不再重要 ? 事實上，造成雜亂的不是大數據本身，是測量、 記錄與分析的工具尚不完善
- 31. 案例六 ? 早在1997年，超級電腦「深藍」就曾擊 敗世界西洋棋王卡斯巴羅夫 ? 現在，電腦的棋力更大為進步，因為系 統裡有了更多的殘局應對資料，電腦的 殘局處理能力有顯著進步 ? 針對六顆棋子以下的殘局，所有的棋步 都有完整分析，人類絕對無法勝出 對弈數越多，電腦下西洋棋越強 圖片來源： https://zh.wikipedia.org/wik i/%E6%B7%B1%E8%97% 8D_(%E9%9B%BB%E8% 85%A6)
- 33. 案例七 ? 2000年微軟研究員實驗證實，與其開發演算法， 擴大語料庫的成效更好 ? 1990年代，IBM開發Candide系統，輸入英法語國 會文件，將語言翻譯問題轉換為數學運算問題 ? 2006年Google利用全球網路多達數十億的翻譯網 頁開發語言翻譯功能，雖然資料雜亂，翻譯的成 效卻比其他系統好得多 電腦自然語言處理(語言翻譯)能力
- 38. 案例十一 ? Google前資訊長梅瑞爾成立的ZestFinance透過分 析大量重要與「不重要」因素，判斷申請人的信 用評比，藉此決定是否該提供小額短期貸款 ? 許多借款客戶的資料欄位都是空的，或甚至被誤 登記為「已死亡」(高達10%的客戶！) ? 2012年，該公司的貸款違約率比起行業平均低上 三分之一 ZestFinance利用大數據判斷是否提供小額短期貸款
- 40. 大數據特性三：相關性為王 ? 很多時候，我們只需要知道「正是如此」，不需 要知道「為何如此」 ? 也就是注重「相關性」，而非「因果關係」 圖片來源：http://www.garmaonhealth.com/the-hormone -chronic-health-problem-connection/ ? 相關性 (Correlation) A增加，則B有很高機率增加 ? 因果關係 (Causation) 若有P，則有Q；若非Q，則非P
- 41. 因果研究的缺點 ? 小量資料的時代，往往是先提出假說，再調查因 果關係或相關性分析，易受先入為主的偏見或錯 覺影響 ? 人類直覺式尋找因果關係的「快思系統」，讓我 們能很快下結論，但容易產生偏見與誤解 ? 因果關係的研究與實驗，往往非常昂貴又費時， 而相關性的研究，相較之下相當快速又便宜，相 關性分析甚至能協助找出因果關係
- 44. 案例十二 ? 亞馬遜起初聘請十多 位書評和編輯提出建 議閱讀書目 ? 隨後開發「品項對品 項」協同篩選技術， 由系統自動推薦書目 ? 測試結果竟比書評的建議更具成效，即使電腦壓 根不知道為什麼買A產品的人還會買B產品 亞馬遜網路商店的大數據推薦系統 圖片來源：http://www.jayteo.me/2014/05/25/the-future-of-brick-mortar- business-will-be-an-integrated-offline-online-experience/
- 47. 案例十五 ? IBM與醫院合作，偵測與紀錄早產兒的16種資料 流，每秒有1260個資料點 ? 透過即時的數據分析，便能在感染症狀出現前24 小時預先偵測到，讓醫師能對症下藥 ? 獨特的發現包括：以往認為感 染爆發前會有身體不適的症狀 ，但數據結果顯示在爆發前， 有一段時間生命徵象非常穩定 在早產兒出現明顯症狀前就預先偵測感染情況 圖片來源：https://www.yumpu.com/en/document/view/18888177/neonatal-rashes
- 48. 案例十六 ? 愛迪生聯合電力公司求助哥倫比亞大學的統計學 者，希望透過巨量資料分析，找出高風險的人孔 蓋，讓他們可以提早維修 ? 透過分析2008年以前的所有資料，結果顯示「電 纜年份」與「過去是否發生事故」是最重要的指 標 ? 用於預測2009年的危險人孔蓋，其中列出的前 10%危險清單中，有44%之後確實發生嚴重事故 紐約市如何找出高氣爆風險人孔蓋？ 圖片來源：http://web.mit.edu/rudin/www/RudinEtAl2011ComputerMagazine.pdf