ݺߣ

ݺߣShare a Scribd company logo
???? ??
???? ??
2018. 9
??????? ???
couplewith@gmail.com
???? ??? ?? ? ??
Landscape of Bigdata Platform
Hadoop Echo System
???
??
???
??
???
??
???
??
?????
????
??? ??
???
???
???
???
? ???? Echo ???? ??
Hadoop Echo System
? ??? ?? ???? ???? ???? ????? ??
?? ??? ?? ???? ??
Hadoop Trends C Data Pipeline
? ??? ?? ??? ?? : ??? ??? ?? ?? ?? Streaming ?? ??
Trend
??? ??? ?? (Data Pipeline)
Hadoop Trends C Data Lake
? ??? ??? ??? ?? ???? ??
??? ??? ??? ?? (Data Lake)
BigData LandScape
? Hadoop Echo System? ??
2017 Bigdata Landscape
????/
??
????
??
???
????/
?????
?????/????
??.?? ???/
API ??
BigData ? A.I ? ??
???? ?? ??? ??
1. ??? ???? ????
2. ??? ???? ????
3. ??? ???? ????
????? ?? : ??? ? ????
? ????? ????? ?? ???? ???? ?? ???? ???? ?
? ??? ??? ???? ????? ?? (RTE : Real Time Enterprise)
??? ? ????
???? ???? ????
?? ?? ??? ??? ??
??? ???? ???? ?? > Wallmart
? Walmart Labs? ?? ?? Project (2012)
? ??? ?? ??? ???? ?? ??? ?? ??? ??
? ?? ??? ??, ??, ??, ?? ? ???? ?? ? ?? ?? ??? ??? ??
?? ???? ??
40PB? ????? ???? ????
??? ?? ????,
??? ??? ?? ????.
?? ?? ???
??? ???? ???? ?? 2) A.I Service (amadeus)
? (??) BigData? ??? ??? ???
- ??? ??, ??, ??? ?? ???? ??? ??? ???? ????
Customer Oriented Data Artificial Intelligence Process Service Offering
?? ??
??? ???? ???? ?? 2) A.I Service (amadeus)
? ?? ????? ???? ??? ??? ??? ?? ? ??? ?? ?? ??
- ???? ??? ?? ???? ??. ??? ??
??? ???
BigData ?
? ?? ???? ??
????? ?? > ? ?? ? ????
? 2000? ? ????? ???? ???? ?? ???? ???
? ?? ??: ????, ??? ???, ??? ??(???), ???, ?? ??
????? ?? > ?? ??
? ??? ?? ???
- ?? ??? 2003? ? ?? ?? ?? ??? ??? ???? ??? ???
? ???? ????? ?? ??? ???? ??? ?? ??? ?? ?? ????
?? ?? ?? ??
?????
?? ??
??(???)
?????
??
??/????
???
(???)
TEXT ???
(?????)
?? ??
(???)
1 2 3
4
5
1 2 3
4
5
????
???
??
????
????
??
? Hadoop
? NoSQL
???
??
?
?
?
?
?
?
?
?
?
?
??/???
?????? ?? ?? ????
??? ??
??? ??
????? ?? > ????(1)
? RNN : Recurrent Neural Networks(RNN)
?? ??? ??? ?? ??? ??? ????
? ???(directed cycle) ?????? ? ??
? ?????? ? ??? ???
????? ?? > ????(2) > ????
?? ?? ?? ??? ??
????? ?? > ????(3) > ????
??/??? ?? ??
????? ?? C ??? ?? ??
? https://practicalanalytics.co/bianalytics-basics/
? ??? ?? ???? Data? ???? ???? ??? ???? ??? ??
? ????? ?? ???? ?? ???? ???? ??? ??? ???? ??? ??
IOT
Marketing
Social
Service
BigData ?
?? ??? ??
????? ?? > ??? ??? ??
? ?? : 2.4M / 3.5M / 3.7M ?? ??
? ???? : 701,389 / 900,000 / 973,000 ???
? ??? : 2.78M / 4.1M / 4.3M
https://jacobsmedia.com/wait-internet-minute/
? ???? : 69,444 / 70,017 / 266,000 hour ??
? ??? ?? : 751,522 / 862,823 ??
????? ?? > ????? ??? ?? (1)
? ?? ??? ??? ??? ???? ??? ??? ??? ??? ??? ??
? ?? ???? ?? ???, ??? ???, ??????(??,???) ?
??/?????
GooglePay/
?????
?????
?????
??? ??
???
?????
????
??? ??
????? ?? > ????? ??? ?? (2)
?? ???? ?? ???? ??? ?? ???
1G ????:1970 ???? 2kbps ????
2G
(CDMA/GSM19
96)
??????? 14.4Kbps ????+??
3G (WCDMA :2006)
????
??? ???
14.4Mbps
(?? 1Mbps)
250km/h
????
?? ???
4G (LTE : 2011) ?????
1Gbps
(??10Mbps)
350km/h
M??,???
HD???
5G (IMT:2020) ??? ??
20Gbps
(??
100Mbps)
500km/h
IOT,
4K ???,
????(????)
? ?? ??? ??
????? ??? ?? ???? ???
??? ? ????
???? ???? ??? ??
(??????)
???? ??? ??? ??
???? ?? > ?? ?? ??
?? ?? ???? ?? ?? ,???????? K-ICT ??????,2016.3
18
???? ?? : ?? ??
? ??? ?? ?? ??? ?? ???? ??
[??????? ? 1107?? ???? ??]
????? ?? ????(CB) ??? ???? ?
????? ?? ?? ?? ??? ?? ??? ?
? (2018.11.21 ????)
2011? 3? ???? ??? ????
??(Lenddo)? ?????? ???
? SNS ???? ?? ???? ??
??
??? ?????? ?????
(Kreditech)? ?? ??? ????
?? ?? ??? ????? ???,
??? ??? ??? ??? ?? ?
?? ??? ??? ?? 8000??
??? ??? ?????? ???
?? ??
?????, ???? IT?? ??
? ??? ???? ?? ????
????? ???? ????? ?
?? ??? ? ?? ??? ??
26
???? ?? : ????
? ????? ???? ?? ??
(??) ??? ???? ? ????? ?? ???? ??? ??? ?? ??? ??
(??) ????? ??? ?? ?? ??,? ?? ???? ?? ?? ??? ? ?? ??
(??) ?? ????, ????, ??? ? ??? ???? ??? ???? '??',
????,?? ??, ?????? ??? ?? '??? ???', ??? ?????,??? ?
26
???? ?? : ??????
??? ??? ????? ????? ?? ????? ??? ?? ??? ???
? ???? ?? ??? ????? ?????. ????? ??? ??? ??
???? ??? ?? ?? ???? ?? ??? ?? ? ??? ??
? ?? ??? ???? ??, ???? ???
[AI??? ??? ??  ?? ?
?, ??? ?? ? ?????? ?
? ???]
??? 200? ? ?? ??? ??
?? ?????? ? ???? ?
?? ?? ? ??? ???? ??
??. ???? ??? ?? ???
??? ??? ???? ? ???
??? ?? ??? ??? ???
???? ??? ???? ????
? ??. (2018.10.31 ????)
26
???? ?? : ??????
???? ?? ??? ??? ????
(Ԍ)? ????(ħ), ????
??(Ԍָ) ? ????? ????
???? ???? ?? ????? ?
? ??, ?? ??? ??? ??? ?
???. ?? ????? ?? ???
??????(Λρ)? ???? ?
? ?? ?? ? ?? ??? ?? ??
?? ?? ???? ???? ?? ??
???? ?? (2018.5.10 ???)
???? ???? ????, ???,
???? ?? ? BAT ???? ??
??? ???? ???? ???? ?
?. ?? ????? ??? OLAP ?
? PALO(ٶOLAPPALO), ???
Elasticsearch(ٶElasticsearch), ??
? ?? API(ٶݛAPI), ??? ??
??(ٶȿ), ??? ??(ٶ
ָ), ??? ???(оԺ) ?
???? ?? : ?????
[????? 4????????]??? ?? ??? ?? (2018.6.26)
 ??? ????? ??????? ?? ???? ?????? ??? ?? ? ?? ???
???? ???? ?????? ???? ??? ??? ?? ???? ??? ? ??? ?
? ?
??? (100???): ????, ???? ?? Open API ??? ??? ?? ?? ????
??? (5???) ?????? ???? ???? ? ??? ????
??? (20???) ????? ??? ???? ? ??? ??? ??
??? ???? ???? ??
???? ? ??
[?? ???? ???? ???? ???] ????? ?? 2200? ?? ???? ??
? ? ?? ???? ?? ??? ???? ??? ? ??? ?? ?? ?? ????.
? ? ?? 2?2000? ??? ??? ?? (2018.10.16 ????)
 ????? ??? ????? ?? ?? ?? ?? ? ??? ??? ?()?? ?? ??
 ?? ???????, ??????, ????? ? 3? ?? ???? ?? ??? ?? ??
??? ???? ???? ??
??? ?????? ???? ??
H?RUCI : ??? ??
Web/mWeb/App
Service
Log/DBMS
IOT ? ?? ??
?????
??? Data
??
??
??
???
?
???
??
??
???? ??
Elasticsearch
A.I / ????
????
??
??
???
System/Log File
??? ??
A
T
M
IOT??
ATM
???
?
???
???
???
?? ??
??????
?
??
???
Traffic
???
??
???
?
???
1
2
3
4
??? ??? ?? ??? ??? ????
???? ?? ??? ?? ?? ??
???? ???? ?? ???? ??? ????.
???? ??? ????? ???? ??? ??? ??
[??? ???? ?? ]
[??? ??? ??]
? Hana Realtime User event Collection
H?RUCI : ??? ?? ??? ?? ?????
? Hana Realtime User event Collection
??
??
Mail
Push
SMS???
??
???
DW
DWDW
BI
Action Info.
Moblie
Click
View
??
???
GeoIP
??
??
???
??
??
CSUI
Web
BigData
??
???? ??? CRM
Traffic UV/PV
?? ??
API
Real Time
RUCI Collector
File DB
Page
??
??
???
??
???
??
RUCI Agent
???
??
??
???
??
??
URL
Referer
Site?
????
????
UUID
????
App??
??
??
??
???ID
??
??
???
???ID
??ID
??
??
??
??
??
??
Elasticsearch
mWeb
??.??
A.I ???? ??
???? ?? ??
??2) ?? ??? ?? C ?? ?? ??
? ? ??? ???? ? ?? (View Together , Buy Together)
? ?? ?? ?? ???? ?? ???? ?? ??? ?? ?? ? ?? ?? ??
? ???? ??? ?? ??? ??? ??? ?? ??? ?? ??? ??
?? ??
?? 3) ????? ??? ?? ??
? ????? ?? : ???? ??? ???? ??? ??
????/???
??
?????
?? ??
???
???
?
?????
?? DB
?????
????
?? ??
?? 4) ???? ??
? IBM Watson? ??? ???? ? ??? ?? ?? ??
???? Q&A ????
????
????
????
Q&A
?? ??
?? ??
?????.
???????
???????
???
couplewith@gmail.com

More Related Content

1.??? ???? ???? (4?????: ???? ?? ???? ??)

  • 1. ???? ?? ???? ?? 2018. 9 ??????? ??? couplewith@gmail.com
  • 2. ???? ??? ?? ? ?? Landscape of Bigdata Platform
  • 3. Hadoop Echo System ??? ?? ??? ?? ??? ?? ??? ?? ????? ???? ??? ?? ??? ??? ??? ??? ? ???? Echo ???? ??
  • 4. Hadoop Echo System ? ??? ?? ???? ???? ???? ????? ?? ?? ??? ?? ???? ??
  • 5. Hadoop Trends C Data Pipeline ? ??? ?? ??? ?? : ??? ??? ?? ?? ?? Streaming ?? ?? Trend ??? ??? ?? (Data Pipeline)
  • 6. Hadoop Trends C Data Lake ? ??? ??? ??? ?? ???? ?? ??? ??? ??? ?? (Data Lake)
  • 7. BigData LandScape ? Hadoop Echo System? ??
  • 10. ???? ?? ??? ?? 1. ??? ???? ???? 2. ??? ???? ???? 3. ??? ???? ????
  • 11. ????? ?? : ??? ? ???? ? ????? ????? ?? ???? ???? ?? ???? ???? ? ? ??? ??? ???? ????? ?? (RTE : Real Time Enterprise) ??? ? ???? ???? ???? ???? ?? ?? ??? ??? ??
  • 12. ??? ???? ???? ?? > Wallmart ? Walmart Labs? ?? ?? Project (2012) ? ??? ?? ??? ???? ?? ??? ?? ??? ?? ? ?? ??? ??, ??, ??, ?? ? ???? ?? ? ?? ?? ??? ??? ?? ?? ???? ?? 40PB? ????? ???? ???? ??? ?? ????, ??? ??? ?? ????. ?? ?? ???
  • 13. ??? ???? ???? ?? 2) A.I Service (amadeus) ? (??) BigData? ??? ??? ??? - ??? ??, ??, ??? ?? ???? ??? ??? ???? ???? Customer Oriented Data Artificial Intelligence Process Service Offering ?? ??
  • 14. ??? ???? ???? ?? 2) A.I Service (amadeus) ? ?? ????? ???? ??? ??? ??? ?? ? ??? ?? ?? ?? - ???? ??? ?? ???? ??. ??? ?? ??? ???
  • 15. BigData ? ? ?? ???? ?? ????? ?? > ? ?? ? ???? ? 2000? ? ????? ???? ???? ?? ???? ??? ? ?? ??: ????, ??? ???, ??? ??(???), ???, ?? ??
  • 16. ????? ?? > ?? ?? ? ??? ?? ??? - ?? ??? 2003? ? ?? ?? ?? ??? ??? ???? ??? ??? ? ???? ????? ?? ??? ???? ??? ?? ??? ?? ?? ???? ?? ?? ?? ?? ????? ?? ?? ??(???) ????? ?? ??/???? ??? (???) TEXT ??? (?????) ?? ?? (???) 1 2 3 4 5 1 2 3 4 5 ???? ??? ?? ???? ???? ?? ? Hadoop ? NoSQL ??? ?? ? ? ? ? ? ? ? ? ? ? ??/??? ?????? ?? ?? ???? ??? ?? ??? ??
  • 17. ????? ?? > ????(1) ? RNN : Recurrent Neural Networks(RNN) ?? ??? ??? ?? ??? ??? ???? ? ???(directed cycle) ?????? ? ?? ? ?????? ? ??? ???
  • 18. ????? ?? > ????(2) > ???? ?? ?? ?? ??? ??
  • 19. ????? ?? > ????(3) > ???? ??/??? ?? ??
  • 20. ????? ?? C ??? ?? ?? ? https://practicalanalytics.co/bianalytics-basics/ ? ??? ?? ???? Data? ???? ???? ??? ???? ??? ?? ? ????? ?? ???? ?? ???? ???? ??? ??? ???? ??? ?? IOT Marketing Social Service
  • 21. BigData ? ?? ??? ?? ????? ?? > ??? ??? ?? ? ?? : 2.4M / 3.5M / 3.7M ?? ?? ? ???? : 701,389 / 900,000 / 973,000 ??? ? ??? : 2.78M / 4.1M / 4.3M https://jacobsmedia.com/wait-internet-minute/ ? ???? : 69,444 / 70,017 / 266,000 hour ?? ? ??? ?? : 751,522 / 862,823 ??
  • 22. ????? ?? > ????? ??? ?? (1) ? ?? ??? ??? ??? ???? ??? ??? ??? ??? ??? ?? ? ?? ???? ?? ???, ??? ???, ??????(??,???) ? ??/????? GooglePay/ ????? ????? ????? ??? ?? ??? ????? ???? ??? ??
  • 23. ????? ?? > ????? ??? ?? (2) ?? ???? ?? ???? ??? ?? ??? 1G ????:1970 ???? 2kbps ???? 2G (CDMA/GSM19 96) ??????? 14.4Kbps ????+?? 3G (WCDMA :2006) ???? ??? ??? 14.4Mbps (?? 1Mbps) 250km/h ???? ?? ??? 4G (LTE : 2011) ????? 1Gbps (??10Mbps) 350km/h M??,??? HD??? 5G (IMT:2020) ??? ?? 20Gbps (?? 100Mbps) 500km/h IOT, 4K ???, ????(????) ? ?? ??? ??
  • 24. ????? ??? ?? ???? ??? ??? ? ???? ???? ???? ??? ?? (??????) ???? ??? ??? ??
  • 25. ???? ?? > ?? ?? ?? ?? ?? ???? ?? ?? ,???????? K-ICT ??????,2016.3
  • 26. 18 ???? ?? : ?? ?? ? ??? ?? ?? ??? ?? ???? ?? [??????? ? 1107?? ???? ??] ????? ?? ????(CB) ??? ???? ? ????? ?? ?? ?? ??? ?? ??? ? ? (2018.11.21 ????) 2011? 3? ???? ??? ???? ??(Lenddo)? ?????? ??? ? SNS ???? ?? ???? ?? ?? ??? ?????? ????? (Kreditech)? ?? ??? ???? ?? ?? ??? ????? ???, ??? ??? ??? ??? ?? ? ?? ??? ??? ?? 8000?? ??? ??? ?????? ??? ?? ?? ?????, ???? IT?? ?? ? ??? ???? ?? ???? ????? ???? ????? ? ?? ??? ? ?? ??? ??
  • 27. 26 ???? ?? : ???? ? ????? ???? ?? ?? (??) ??? ???? ? ????? ?? ???? ??? ??? ?? ??? ?? (??) ????? ??? ?? ?? ??,? ?? ???? ?? ?? ??? ? ?? ?? (??) ?? ????, ????, ??? ? ??? ???? ??? ???? '??', ????,?? ??, ?????? ??? ?? '??? ???', ??? ?????,??? ?
  • 28. 26 ???? ?? : ?????? ??? ??? ????? ????? ?? ????? ??? ?? ??? ??? ? ???? ?? ??? ????? ?????. ????? ??? ??? ?? ???? ??? ?? ?? ???? ?? ??? ?? ? ??? ?? ? ?? ??? ???? ??, ???? ??? [AI??? ??? ?? ?? ? ?, ??? ?? ? ?????? ? ? ???] ??? 200? ? ?? ??? ?? ?? ?????? ? ???? ? ?? ?? ? ??? ???? ?? ??. ???? ??? ?? ??? ??? ??? ???? ? ??? ??? ?? ??? ??? ??? ???? ??? ???? ???? ? ??. (2018.10.31 ????)
  • 29. 26 ???? ?? : ?????? ???? ?? ??? ??? ???? (Ԍ)? ????(ħ), ???? ??(Ԍָ) ? ????? ???? ???? ???? ?? ????? ? ? ??, ?? ??? ??? ??? ? ???. ?? ????? ?? ??? ??????(Λρ)? ???? ? ? ?? ?? ? ?? ??? ?? ?? ?? ?? ???? ???? ?? ?? ???? ?? (2018.5.10 ???) ???? ???? ????, ???, ???? ?? ? BAT ???? ?? ??? ???? ???? ???? ? ?. ?? ????? ??? OLAP ? ? PALO(ٶOLAPPALO), ??? Elasticsearch(ٶElasticsearch), ?? ? ?? API(ٶݛAPI), ??? ?? ??(ٶȿ), ??? ??(ٶ ָ), ??? ???(оԺ) ?
  • 30. ???? ?? : ????? [????? 4????????]??? ?? ??? ?? (2018.6.26) ??? ????? ??????? ?? ???? ?????? ??? ?? ? ?? ??? ???? ???? ?????? ???? ??? ??? ?? ???? ??? ? ??? ? ? ? ??? (100???): ????, ???? ?? Open API ??? ??? ?? ?? ???? ??? (5???) ?????? ???? ???? ? ??? ???? ??? (20???) ????? ??? ???? ? ??? ??? ?? ??? ???? ???? ??
  • 31. ???? ? ?? [?? ???? ???? ???? ???] ????? ?? 2200? ?? ???? ?? ? ? ?? ???? ?? ??? ???? ??? ? ??? ?? ?? ?? ????. ? ? ?? 2?2000? ??? ??? ?? (2018.10.16 ????) ????? ??? ????? ?? ?? ?? ?? ? ??? ??? ?()?? ?? ?? ?? ???????, ??????, ????? ? 3? ?? ???? ?? ??? ?? ?? ??? ???? ???? ??
  • 33. H?RUCI : ??? ?? Web/mWeb/App Service Log/DBMS IOT ? ?? ?? ????? ??? Data ?? ?? ?? ??? ? ??? ?? ?? ???? ?? Elasticsearch A.I / ???? ???? ?? ?? ??? System/Log File ??? ?? A T M IOT?? ATM ??? ? ??? ??? ??? ?? ?? ?????? ? ?? ??? Traffic ??? ?? ??? ? ??? 1 2 3 4 ??? ??? ?? ??? ??? ???? ???? ?? ??? ?? ?? ?? ???? ???? ?? ???? ??? ????. ???? ??? ????? ???? ??? ??? ?? [??? ???? ?? ] [??? ??? ??] ? Hana Realtime User event Collection
  • 34. H?RUCI : ??? ?? ??? ?? ????? ? Hana Realtime User event Collection ?? ?? Mail Push SMS??? ?? ??? DW DWDW BI Action Info. Moblie Click View ?? ??? GeoIP ?? ?? ??? ?? ?? CSUI Web BigData ?? ???? ??? CRM Traffic UV/PV ?? ?? API Real Time RUCI Collector File DB Page ?? ?? ??? ?? ??? ?? RUCI Agent ??? ?? ?? ??? ?? ?? URL Referer Site? ???? ???? UUID ???? App?? ?? ?? ?? ???ID ?? ?? ??? ???ID ??ID ?? ?? ?? ?? ?? ?? Elasticsearch mWeb ??.?? A.I ???? ??
  • 36. ??2) ?? ??? ?? C ?? ?? ?? ? ? ??? ???? ? ?? (View Together , Buy Together) ? ?? ?? ?? ???? ?? ???? ?? ??? ?? ?? ? ?? ?? ?? ? ???? ??? ?? ??? ??? ??? ?? ??? ?? ??? ?? ?? ??
  • 37. ?? 3) ????? ??? ?? ?? ? ????? ?? : ???? ??? ???? ??? ?? ????/??? ?? ????? ?? ?? ??? ??? ? ????? ?? DB ????? ???? ?? ??
  • 38. ?? 4) ???? ?? ? IBM Watson? ??? ???? ? ??? ?? ?? ?? ???? Q&A ???? ???? ???? ???? Q&A ?? ?? ?? ??

Editor's Notes

  1. https://www.edupristine.com/blog/hadoop-ecosystem-and-components
  2. https://www.edupristine.com/blog/hadoop-ecosystem-and-components
  3. https://practicalanalytics.co/bianalytics-basics/
  4. http://www.hani.co.kr/arti/economy/it/678492.html#csidxd03445553edab9ab 2. 5?? ???? ???? 5G 4? ???? ???? ?? ?? : http://www.sedaily.com/NewsView/1RVMJ2WA58/GC13
  5. ?? ?? ???? ?? ?? ,???????? K-ICT ??????,2016.3
  6. http://biz.heraldcorp.com/common_prog/newsprint.php?ud=20141215001010
  7. http://news.donga.com/home/3/all/20181016/92411274/1