ºÝºÝߣ

ºÝºÝߣShare a Scribd company logo

[????? ????/???? ?? ????] ??? ????? ??? ?? ????? ?? ??

?
?
A
ABRC_DATA

[????? ????/???? ?? ????] ??: ??? ????? ??? ?? ????? ?? ?? ???: ?????? ??? ??

1 of 12
Download to read offline
????/???? ?? ???? ?? ?? ?? ??? ????? ??? ?? ????? ?? ?? ??? 2018. 08. 31
CONTENTS 2 ???? ¨C ???? ???? ?? ?????? ¨C ???? ???? ?? ?? 1 ?? ????? ??? 2 ???? ?????? ?? 3 ?? ???? ?? 4
SCP ?? 3 ??????? 2010?? (?)??????? ???? ?? ?? ? ???????? ??, ??? ???? ???? ??, ??? ?? ?? ??? ??? ??? ???? ?? ???? ?? ???? ? ??/???? ?? ?? ?? ? ???????? ????(?????) ????? ? ????????? ???????? ?????? ????????? ? ????, ??/???????? ??????? ???????? ? Do-See-Plan ??????? ?????? ?????? ????? ?? ???? SI ? ??? ???? ???? ???? ??? ??? ?? ? ??? ? ? ?? ?? ??
4 ?? ??? ??? / ?? ??? ?? ??? ???? ??? ?? ?? ??? ??? ?? ??? ?? ??? ?? ?? Objectives ? Cloud ??? ???? ?? ??? ?? ?? ?? ?? ?? ?? ???? - ???? ???? ?? ??
?? ??? 5 ?? ??? ??? ?? ?? ?? ???? (Big Data) q ??? ?? ?? q ??? ????? RDBMS ?? ?? ??: ?? ?? q RDBMS ???? ??: ???? ?? q TB? ??? EDA(??? ?? ??) / ML(?? ??) ???: ?? ?? ???? Scale-out ? ???????? (2018?9?3??? ???12?) ? ???????? ????????? ?? ? ????????? ???? ? ?????? ??????? ?? ?? ?? ???? ?? ????
?? ??? - Scale-up & Scale out 6 Scale-up : ?? ??? ???? ?? ?? ?? ???? ????? ?? ?? Scale-out: ??? ?? ???? ?? ?? ?? ? ????? ??? ???? ???? ?? ? ?? ?? Hadoop / Spark
?? ??? - Apache Hadoop, Redis 7 q Yarn q Resource Manager: ???? ??? ?? ?? q Node Manager: ?? ??? ?? ?? q hdfs q ??, ??, ??? ?? q Datanode: ??(????? 3?) ?? ?? q Namenode: ?? ?? ?? ?? q ???? ?? ??? ?? ?? ? ?? q Hadoop? HA(high availability) ?? q SPOF(Single point of failure) ?? q Redis q ?? ?? Read/Write ??
?? ??? - Spark 8 q Spark q ???? ??? ?? ???? ????? q ??? ??? ?? ??? ???? ?? ?? q ?? Benchmark ??: RDBMS 5?? ¨¤ Apache Spark 10? q 1/30? ?? q ?? ?? ?? q SQL, Python, Java, Scala, R q ????? ?? ???: Stack overflow q ??? ???? ??? ?? q ????, ????, SKT ? ?? Facebook Latency Test [Spark ?? ?? ?? ?? ??]
???? ?? 9 ???? ?? ??? ?? Hadoop ?? ???? ???? ?? ?? ?? / ?? ?? ?? Objectives Nagios Netdata ? ? ???? ??? ???? ?? / ?? ? ??? / ???(??)? ?? ?? ?? ? ??? ?? ??? ???? ? ??? ?? ???? ????? ??? ? ??? ? ? ??? health (?? ?? ??) ??? ?? ? ??? ??? ?? ??
?? ?? - Spark, Zeppelin 10 SQL? ??? ??? 300? ??? ??(??? ??)
?? ?? - Redis 11 Spark JSON ?? ?? ¨¤ Redis ?? ???? ????? RDBMS ??? ?? Medis? ???? Redis ??? ??
???? - ???? ???? ?? ?? 12 ?? ?? ?? ?? ???? ?? ¡ú ? ???? ?? ?? ?? ?? ?? ?? ¡ú ?? - ??? ?? ?? ?? ?????????????????? 21 ???? ¨C ???? ???? ?? ?? ??? Q

More Related Content

[????? ????/???? ?? ????] ??? ????? ??? ?? ????? ?? ??

  • 1. ????/???? ?? ???? ?? ?? ?? ??? ????? ??? ?? ????? ?? ?? ??? 2018. 08. 31
  • 2. CONTENTS 2 ???? ¨C ???? ???? ?? ?????? ¨C ???? ???? ?? ?? 1 ?? ????? ??? 2 ???? ?????? ?? 3 ?? ???? ?? 4
  • 3. SCP ?? 3 ??????? 2010?? (?)??????? ???? ?? ?? ? ???????? ??, ??? ???? ???? ??, ??? ?? ?? ??? ??? ??? ???? ?? ???? ?? ???? ? ??/???? ?? ?? ?? ? ???????? ????(?????) ????? ? ????????? ???????? ?????? ????????? ? ????, ??/???????? ??????? ???????? ? Do-See-Plan ??????? ?????? ?????? ????? ?? ???? SI ? ??? ???? ???? ???? ??? ??? ?? ? ??? ? ? ?? ?? ??
  • 4. 4 ?? ??? ??? / ?? ??? ?? ??? ???? ??? ?? ?? ??? ??? ?? ??? ?? ??? ?? ?? Objectives ? Cloud ??? ???? ?? ??? ?? ?? ?? ?? ?? ?? ???? - ???? ???? ?? ??
  • 5. ?? ??? 5 ?? ??? ??? ?? ?? ?? ???? (Big Data) q ??? ?? ?? q ??? ????? RDBMS ?? ?? ??: ?? ?? q RDBMS ???? ??: ???? ?? q TB? ??? EDA(??? ?? ??) / ML(?? ??) ???: ?? ?? ???? Scale-out ? ???????? (2018?9?3??? ???12?) ? ???????? ????????? ?? ? ????????? ???? ? ?????? ??????? ?? ?? ?? ???? ?? ????
  • 6. ?? ??? - Scale-up & Scale out 6 Scale-up : ?? ??? ???? ?? ?? ?? ???? ????? ?? ?? Scale-out: ??? ?? ???? ?? ?? ?? ? ????? ??? ???? ???? ?? ? ?? ?? Hadoop / Spark
  • 7. ?? ??? - Apache Hadoop, Redis 7 q Yarn q Resource Manager: ???? ??? ?? ?? q Node Manager: ?? ??? ?? ?? q hdfs q ??, ??, ??? ?? q Datanode: ??(????? 3?) ?? ?? q Namenode: ?? ?? ?? ?? q ???? ?? ??? ?? ?? ? ?? q Hadoop? HA(high availability) ?? q SPOF(Single point of failure) ?? q Redis q ?? ?? Read/Write ??
  • 8. ?? ??? - Spark 8 q Spark q ???? ??? ?? ???? ????? q ??? ??? ?? ??? ???? ?? ?? q ?? Benchmark ??: RDBMS 5?? ¨¤ Apache Spark 10? q 1/30? ?? q ?? ?? ?? q SQL, Python, Java, Scala, R q ????? ?? ???: Stack overflow q ??? ???? ??? ?? q ????, ????, SKT ? ?? Facebook Latency Test [Spark ?? ?? ?? ?? ??]
  • 9. ???? ?? 9 ???? ?? ??? ?? Hadoop ?? ???? ???? ?? ?? ?? / ?? ?? ?? Objectives Nagios Netdata ? ? ???? ??? ???? ?? / ?? ? ??? / ???(??)? ?? ?? ?? ? ??? ?? ??? ???? ? ??? ?? ???? ????? ??? ? ??? ? ? ??? health (?? ?? ??) ??? ?? ? ??? ??? ?? ??
  • 10. ?? ?? - Spark, Zeppelin 10 SQL? ??? ??? 300? ??? ??(??? ??)
  • 11. ?? ?? - Redis 11 Spark JSON ?? ?? ¨¤ Redis ?? ???? ????? RDBMS ??? ?? Medis? ???? Redis ??? ??
  • 12. ???? - ???? ???? ?? ?? 12 ?? ?? ?? ?? ???? ?? ¡ú ? ???? ?? ?? ?? ?? ?? ?? ¡ú ?? - ??? ?? ?? ?? ?????????????????? 21 ???? ¨C ???? ???? ?? ?? ??? Q