What is data engineer?資料工程師是什麼？
?Download as PPTX, PDF?
12 likes?9,057 views
資料科學領域的工作實際上有多種不同類型，有分成四種類型的，也有分為五種類型的。本文特別針對資料工程師Data Engineer作說明，希望能對有志於大數據、資料科學相關工作者有所幫助。
What is data engineer?資料工程師是什麼？
- 7. 資料工程師應具備的知識領域 7 資料來源：Data Scientist vs Data Engineer / Data Science 101
- 8. 新手資料工程師應具備的技能 ? Hadoop-based technologies (e.g. MapReduce, Hive and Pig) ? SQL-based technologies (e.g. PostgreSQL and MySQL) ? NoSQL technologies (e.g. Cassandra and MongoDB) ? Python, Java ? Data warehousing solutions ? Linux 8 http://www.mastersindatascience.org/careers/data-engineer/
- 9. 資深資料工程師應具備的技能 ? Statistical analysis and modeling ? Database architectures ? Hadoop-based technologies (e.g. MapReduce, Hive and Pig) ? SQL-based technologies (e.g. PostgreSQL and MySQL) ? NoSQL technologies (e.g. Cassandra and MongoDB) ? Data modeling tools (e.g. ERWin, Enterprise Architect and Visio) ? Python, C/C++ Java, Perl ? MatLab, SAS, R ? Data warehousing solutions ? Predictive modeling, NLP and text analysis ? Machine learning ? Data mining ? UNIX, Linux, Solaris and MS Windows 9 http://www.mastersindatascience.org/careers/data-engineer/
Editor's Notes
- #2: 個人簡介 IT領域15年經歷，不算長 經歷 2家新創產品公司 2家新創服務公司 其中兩家我是Co-funder, 其中一家新創產品公司在A round拿到美國VC 700萬美金的資金
- #5: 老牌人力網站104資訊科技（簡稱104）於12月中旬揭露臺灣資料經濟人才需求最新統計結果，截至今年11月底，臺灣從事資料工作者達到40,977人，幾乎是2年前的兩倍，明年資料人才職缺則有17,166個，兩者合計後的資料經濟人才需求規模，明年將達到58 ,143人。104更預測，3年後，全臺資料經濟人才需求規模更會上看10萬人。 104依據2013至2015年旗下人力資料庫的資料經濟求職人數及資料經濟新增工作數為基準，來估算臺灣從事資料經濟人才規模。104公共事務部經理張雅惠說明，104先定義了一組資料工作相關關鍵字，包括如機器學習、資料科學、資料倉儲、資料庫等，凡是個人履歷或職缺說明的職務名稱或工作內容中者，即屬於資料經濟的需求人才。 為了進一步預測未來需求規模，104將自家「資料經濟工作者求職人數」除以104於臺灣人力銀行中的市占來加權，搭配求職率，來推算臺灣2016年的預估資料工作從業人數，再加上明年的資料工作職缺數，作為2016年臺灣全體資料經濟人才需求規模後，再利用趨勢統計模型進一步得出，2018年資料經濟人才需求規模預估達到100,522人。
- #6: 软体工程师和资料工程师是处理海量资料的第一线，因此，需求量最大，而领域专家和资料科学家儘管需求较少，但却是公司内的关键决策者。