Big query at GDG Korea Cloud meetupJude Kim2015-01-27 GDG Korea meetup 에서 발표한 자료입니다.
빅쿼리에 대한 가벼운 소개 및
AppEngine 로그를 BigQuery에 저장하여 질의하는 과정에 대해서 설명하였습니다.
AWS 환경에서 MySQL Infra 설계하기-2부.본론I Goo LeeMySQL PowerGroup Tech Seminar (2016.1)
- 5.AWS 환경에서 MySQL Infra 설계하기-2부.본론 (by 김상필)
- URL : cafe.naver.com/mysqlpg
Amazon Aurora Deep Dive (김기완) - AWS DB DayAmazon Web Services Korea2016년 4월 27일 DB Day 에서 김기완 솔루션즈 아키텍트 께서 발표하신 “Amazon Aurora Technical Deep Dive “ 발표자료입니다.
게임업계 IT 관리자를 위한 7가지 유용한 팁 - 박선용 솔루션즈 아키텍트:: AWS Cloud Track 3 GamingAmazon Web Services Korea2016년 1월 7일 AWS Cloud행사에서 박선용 솔루션즈 아키텍트 께서 발표하신 “게임업계 IT 관리자를 위한 7가지 유용한 팁 “ 발표자료입니다.
Apache kafka performance(throughput) - without data loss and guaranteeing dat...SANG WON PARKApache Kafak의 성능이 특정환경(데이터 유실일 발생하지 않고, 데이터 전송순서를 반드시 보장)에서 어느정도 제공하는지 확인하기 위한 테스트 결과 공유
데이터 전송순서를 보장하기 위해서는 Apache Kafka cluster로 partition을 분산할 수 없게되므로, 성능향상을 위한 장점을 사용하지 못하게 된다.
이번 테스트에서는 Apache Kafka의 단위 성능, 즉 partition 1개에 대한 성능만을 측정하게 된다.
향후, partition을 증가할 경우 본 테스트의 1개 partition 단위 성능을 기준으로 예측이 가능할 것 같다.
[OpenInfra Days Korea 2018] Day 2 - CEPH 운영자를 위한 Object Storage Performance T...OpenStack Korea Community- 발표자: netmarble 한승진
- 설명: https://event.openinfradays.kr/2018/session2/50_track1
Spark machine learning & deep learninghoondong kimSpark Machine Learning and Deep Learning Deep Dive.
Scenarios that use Spark hybrid with other data analytics tools (MS R on Spark, Tensorflow(keras) with Spark, Scikit-learn with Spark, etc)
Amazon Aurora Deep Dive (김기완) - AWS DB DayAmazon Web Services Korea2016년 4월 27일 DB Day 에서 김기완 솔루션즈 아키텍트 께서 발표하신 “Amazon Aurora Technical Deep Dive “ 발표자료입니다.
게임업계 IT 관리자를 위한 7가지 유용한 팁 - 박선용 솔루션즈 아키텍트:: AWS Cloud Track 3 GamingAmazon Web Services Korea2016년 1월 7일 AWS Cloud행사에서 박선용 솔루션즈 아키텍트 께서 발표하신 “게임업계 IT 관리자를 위한 7가지 유용한 팁 “ 발표자료입니다.
Apache kafka performance(throughput) - without data loss and guaranteeing dat...SANG WON PARKApache Kafak의 성능이 특정환경(데이터 유실일 발생하지 않고, 데이터 전송순서를 반드시 보장)에서 어느정도 제공하는지 확인하기 위한 테스트 결과 공유
데이터 전송순서를 보장하기 위해서는 Apache Kafka cluster로 partition을 분산할 수 없게되므로, 성능향상을 위한 장점을 사용하지 못하게 된다.
이번 테스트에서는 Apache Kafka의 단위 성능, 즉 partition 1개에 대한 성능만을 측정하게 된다.
향후, partition을 증가할 경우 본 테스트의 1개 partition 단위 성능을 기준으로 예측이 가능할 것 같다.
[OpenInfra Days Korea 2018] Day 2 - CEPH 운영자를 위한 Object Storage Performance T...OpenStack Korea Community- 발표자: netmarble 한승진
- 설명: https://event.openinfradays.kr/2018/session2/50_track1
Spark machine learning & deep learninghoondong kimSpark Machine Learning and Deep Learning Deep Dive.
Scenarios that use Spark hybrid with other data analytics tools (MS R on Spark, Tensorflow(keras) with Spark, Scikit-learn with Spark, etc)
2017 AWS DB Day | Amazon Aurora 자세히 살펴보기Amazon Web Services KoreaAmazon Aurora 는 엔터프라이즈급의 가용성과 성능을 제공합니다. 실제 적용에서 Aurora성능 개선을 위해 무엇을 해야하는지, 그에 따른 모범 사례는 무엇이 있는지 본 세션에서 살펴봅니다. 또한 AWS Lambda 및 Amazon S3 와 같은 AWS의 다양한 서비스와 통합하는 최근 기능들에 대하여 상세하게 살펴보고 한국 고객들이 Aurora를 도입 및 마이그레이션한 사례를 통해 어떻게 마이그레이션에 접근해야 하는지를 살펴봅니다.
연사: 구승모, 아마존 웹서비스 솔루션즈 아키텍트
나에게 맞는 AWS 데이터베이스 서비스 선택하기 :: 양승도 :: AWS Summit Seoul 2016Amazon Web Services Korea5월 17일 서울COEX에서 열린 AWS Summit Seoul 2016에서 양승도 솔루션즈 아키텍트님이 발표하신 "나에게 맞는 AWS 데이터베이스 서비스 선택하기" 발표자료입니다.
하둡 좋은약이지만 만병통치약은 아니다민철 정민철열린세미나 첫번째 발표자료
과거시스템에서의 문제점
그리고 하둡에서는 어떻게 그런문제를 해결했는설명하고
사실 몇가지 불편한점에 대한 이야기
https://www.facebook.com/groups/576473599127259
[야생의 땅: 듀랑고] 서버 아키텍처 - SPOF 없는 분산 MMORPG 서버Heungsub LeeNDC14에서 발표한 "[야생의 땅: 듀랑고] 서버 아키텍처" 세션의 슬라이드입니다.
슬라이드에 설명이 많지 않은데, 디스이즈게임에서 발표 내용을 잘 정리해주었습니다. 기사도 함께 보시면 좋을 것 같습니다.
http://www.thisisgame.com/webzine/news/nboard/4/?n=54955
Spark 의 핵심은 무엇인가? RDD! (RDD paper review)Yongho Ha요즘 Hadoop 보다 더 뜨고 있는 Spark.
그 Spark의 핵심을 이해하기 위해서는 핵심 자료구조인 Resilient Distributed Datasets (RDD)를 이해하는 것이 필요합니다.
RDD가 어떻게 동작하는지, 원 논문을 리뷰하며 살펴보도록 합시다.
http://www.cs.berkeley.edu/~matei/papers/2012/sigmod_shark_demo.pdf
Backup automation in KAKAO I Goo LeeThis document discusses strategies for automating remote database backups across multiple data centers. It recommends scheduling backups automatically after a queue time to use underutilized backup servers. The backup manager would select the target backup server based on its service zone, data center location, and available quota to balance load. It would also avoid using the same backup server consecutively and start backups at different times each day to improve reliability in case of failures.
MySQL 5.7 NF – JSON Datatype 활용I Goo LeeThis document discusses MySQL 5.7's JSON datatype. It introduces JSON and why it is useful for integrating relational and schemaless data. It covers creating JSON columns, inserting and selecting JSON data using functions like JSON_EXTRACT. It discusses indexing JSON columns using generated columns. Performance is addressed, showing JSON tables can be 40% larger with slower inserts and selects compared to equivalent relational tables without indexes. Options for stored vs virtual generated columns are presented.
Intro KaKao MRTE (MySQL Realtime Traffic Emulator)I Goo LeeThe document describes the process of opening a TCP connection between a client and MySQL database, including the initial handshake and response packets. It then explains how the MRTE-Collector works by using message queues to capture and parse MySQL packets from the source database, and replay them to the target database using multiple SQL player threads. The MRTE-Collector publishes messages to RabbitMQ queues which routes the messages to the proper queues subscribed by MRTE-Player.
MySQL Slow Query log Monitoring using Beats & ELKI Goo LeeThis document provides instructions for using Filebeat, Logstash, Elasticsearch, and Kibana to monitor MySQL slow query logs. It describes installing and configuring each component, with Filebeat installed on database servers to collect slow query logs, Logstash to parse and index the logs, Elasticsearch for storage, and Kibana for visualization and dashboards. Key steps include configuring Filebeat to ship logs to Logstash, using grok filters in Logstash to parse the log fields, outputting to Elasticsearch, and visualizing slow queries and creating sample dashboards in Kibana.
MySQL Audit using Percona audit plugin and ELKI Goo LeeThis document discusses setting up MySQL auditing using the Percona Audit Plugin and ELK (Elasticsearch, Logstash, Kibana). It describes installing and configuring the Percona Audit Plugin on MySQL servers to generate JSON audit logs. It then covers using Rsyslog or Filebeat to ship the logs to the Logstash server, and configuring Logstash to parse, enrich, and index the logs into Elasticsearch. Finally, it discusses visualizing the audit data with Kibana dashboards containing graphs and searching. The architecture involves MySQL servers generating logs, Logstash collecting and processing them, and Elasticsearch and Kibana providing search and analytics.
Intro ProxySQLI Goo LeeThis document provides an overview and instructions for installing and configuring ProxySQL. It discusses:
1. What ProxySQL is and its functions like load balancing and query caching
2. How to install ProxySQL on CentOS and configure the /etc/proxysql.cnf file
3. How to set up the ProxySQL schema to define servers, users, variables and other settings needed for operation
4. How to test ProxySQL functions like server status changes and benchmark performance
5. 20년 전통의 역사
PostgreSQL 이름이 등장한 지 20년
1986년 POSTGRES 프로젝트가 시작점
배포절차가 전형적인 BSD SW임 - 커미터, 컨
트리뷰터, 커밋페스트
9.0 스트리밍 리플리케이션의 구현 과정, 9.1
fdw 랩퍼 정착 과정, 9.3 백그라운드 워커
7. 오픈소스SW 도입, 비용절감
벤더 기반 상용 데이터베이스의 SW 구매비용
과 유지 비용 vs 커뮤니티 기반 공짜 데이터베
이스 도입 또는 전환과 유지 비용 문제
개발자, 운영자 수급 문제 (머니. 머니? 머니!)
하드웨어 스케일업 비용 - 백업 저장소, 메모
리, 트랜잭션 로그 보관을 위한 빠른 저장소
13. 오류문
postgres=# select '케잌';
ERROR: invalid byte sequence for encoding "EUC_KR":
0x9f 0xe5
postgres=# select cast('2016-06-31' as date);
ERROR: date/time field value out of range: "2016-06-31"
postgres=# select 1/0;
ERROR: division by zero
postgres=# select * from t limit 0,10;
ERROR: LIMIT #,# syntax is not supported
25. 헷갈리는 해석
"너무 크면 성능이 떨어지고, 너무 적어도 성능이
떨어진다" - redo log size
"너무 잦으면 낭비고, 너무 드물면 비용이 커진다" -
autovacuum 설정값들
"똑똑하다던 최적화기는 통계 정보가 없어 바보가
되고" - auto analyzer의 지능적인 수행
"공짠데 개발자는 낯선 DB니 돈 많이 달라 하고"
31. 우버는 왜 MySQL을
PostgreSQL의 다중키 인덱스 사용시 Heap
Only Tuple 업데이트 문제 제기
- key-value 모델링으로 갈거면, HOT 쓸 수
있는데다, value가 json이면, jsonb gist 인덱
스도 쓸 수 있었을 텐데
쿼리 기반 복제 - 논리 디코딩 기능
메이져 버전 업그레이드 문제 - 진보의 숙명