실시간 복제 데이터를 이관시키는 방법.pdf
- 1. 실시간 복제 데이터를 이관시키는 방법 (DynamoDB to AuroraDB) 발표자: 스테이지랩스 백엔드 개발자 강은호
- 2. AWS의 여러 가지 도구를 사용해서 DynamoDB 에서 Aurora PostgreSQL 로 데이터를 이관한 하나의 사례 한줄 요약
- 3. 발표 순서 ● 기존의 실시간 복제 아키택쳐 소개 ● Serverless v1의 한계와 필요 개선점 ● 마이그래이션전략 ● 작업 시 팁 ● Q & A
- 4. 기존 실시간 복제 아키텍쳐 소개
- 5. 간단한 회사소개 기존 실시간 복제 아키텍쳐 소개
- 6. Mnet Plus 기능 소개 MnetPlus 의 간단한 소개 기존 실시간 복제 아키텍쳐 소개 SNS Vote Chat
- 7. 팬덤 SNS의 급증 하는 트래픽 기존 실시간 복제 아키텍쳐 소개 x100
- 8. DynamoDB? 기존 실시간 복제 아키텍쳐 소개 완전관리 분산형 NoSQL DB 10ms 이하 응답 보장 유연한 확장 데이터 JOIN 불가 SUM, COUNT 등 집계 함수 X 데이터 집계 X, 분석 X 급증하는 트래픽에 일관된 성능 보장
- 9. DynamoDB Streams 기존 실시간 복제 아키텍쳐 소개 최대 24시간 로그 저장 시간 순서에 따라 데이터 캡쳐 실시간 데이터 싱크가 복제 RDB
- 10. Aurora Serverless v1 기존 실시간 복제 아키텍쳐 소개 쓰기 x2 O 쓰기 x4 O 쓰기 x2 ? 쓰기 x4 ?
- 11. Serverless v1의 한계와 필요 개선점
- 12. 데이터 쓰기 시 문제 Serverless v1의 한계와 필요 개선점 ● ACU 증가의 느린 속도 ● ACU 증가 및 감소 시 Connection 끊어짐 ● 쓰기 실패에 대한 재처리의 어려움
- 13. 데이터 읽기 시 문제 Serverless v1의 한계와 필요 개선점 ● 쓰기, 읽기 인스턴스가 분리되지 않음 ● 읽기 작업이 쓰기 작업에 영향을 줌
- 14. 추가적인 문제 Serverless v1의 한계와 필요 개선점
- 15. 마이그레이션 전략
- 16. 덤프 및 싱크 작업 마이그레이션 전략 ● 수십 GB & 수천개 데이터 복제 ● 변경 데이터 실시간으로 복제
- 17. 덤프 작업 마이그레이션 전략 ● Amazon DynamoDB 테이블 S3 내보내기 기능
- 18. 덤프 작업 마이그레이션 전략 ● RDS로 S3 데이터 가져오기
- 19. 덤프 작업 마이그레이션 전략 ● Athena Table 생성 ● SQL 로 질의 ● 질의 결과 CSV 형식으로 S3에 저장
- 20. 싱크 작업 마이그레이션 전략 DynamoDB Streams Lambda Event Insert Query CDC Event 인 JSON 데이터를 Insert, update, delete 쿼리로 변형
- 21. 데이터 이관 작업 순서 마이그레이션 전략 1. DynamoDB Streams를 사용해 복제 대상 DB인 Aurora PostgreSQL로 실시간 복제 하는 새로운 Lambda를 배포합니다. New Old
- 22. 데이터 이관 작업 순서 마이그레이션 전략 2. 새로 배포한 Lambda의 poling을 일시 중지하고, 복제 대상 테이블의 데이터를 Truncate 해서 비어 있는 테이블 상태로 만듭니다.
- 23. 데이터 이관 작업 순서 마이그레이션 전략 3. DynamoDB Table S3로 내보내기 기능을 사용해서 데이터를 S3로 추출 합니다.
- 24. 데이터 이관 작업 순서 마이그레이션 전략 4. DynamoDB JSON 형식으로 저장되어 있는 추출 데이터를 Athena SQL을 사용해 필터링 및 CSV로 변환 후 S3에 다시 저장합니다.
- 25. 데이터 이관 작업 순서 마이그레이션 전략 5. 필터링 및 변환되어 S3에 저장된 CSV 데이터를 “table_import_from_s3” 기능을 사용해 RDS로 덤프 작업을 합니다.
- 26. 데이터 이관 작업 순서 마이그레이션 전략 6. 일시 중지 했던, DynamoDB Streams의 복제 프로세스를 재 구동 합니다. 그러면, 데이터의 싱크가 맞게 되고 불필요한 리소스를 정리하면 데이터 이관 작업이 완료됩니다.
- 27. 작업 시 팁
- 28. Athena SQL을 사용해 CSV 파일로 변환할 때 작업시 팁 ● where : 데이터 필터링 ● as : 컬럼 명 변경 ● split_part : 구분자로 분리 ● regexp_replace : 문자 치환
- 29. 수천만 건의 CSV 파일을 Aurora에 import 시킬 때 작업시 팁 ● 2VCPU, 4Memory -> CPUUtilization 65% ● 4VCPU, 8Memory -> CPUUtilization 45% ● 2.2GB -> 323s ● 4.6GB -> 668s ● 8MB -> 1s
- 30. 마무리
- 31. 본문 링크
- 33. Q & A
- 34. 감사니다.