미디어 저장의 새로운 패러다임 - 김기완 :: 미디어 커스토머 데이
6 likes720 views
10월 28일 있었던 AWS Media Customer Day에서 김기완 솔루션즈 아키텍트가 발표한 '미디어 저장의 새로운 패러다임' 강연의 발표자료입니다.
![[AWSome Day온라인 컨퍼런스] 강의 2: 클라우드 시작하기 - 장기웅, AWS 테크니컬 트레이너](https://cdn.slidesharecdn.com/ss_thumbnails/awsomedayonlinekr-module2-191106012328-thumbnail.jpg?width=560&fit=bounds)
More Related Content
What's hot (20)
Similar to 미디어 저장의 새로운 패러다임 - 김기완 :: 미디어 커스토머 데이 (20)
![[AWS Builders] AWS 스토리지 서비스 소개 및 사용 방법](https://cdn.slidesharecdn.com/ss_thumbnails/awsbuilders200storageservice-190611112205-thumbnail.jpg?width=560&fit=bounds)
More from Amazon Web Services Korea (20)
![[D3T1S01] Gen AI를 위한 Amazon Aurora 활용 사례 방법](https://cdn.slidesharecdn.com/ss_thumbnails/d3t1s01genaiamazonaurora-240702042912-516e67f4-thumbnail.jpg?width=560&fit=bounds)
![[D3T1S06] Neptune Analytics with Vector Similarity Search](https://cdn.slidesharecdn.com/ss_thumbnails/d3t1s06neptuneanalyticsvectorsilimliaritysearch-240702042912-94c41309-thumbnail.jpg?width=560&fit=bounds)
![[D3T1S03] Amazon DynamoDB design puzzlers](https://cdn.slidesharecdn.com/ss_thumbnails/d3t1s03amazondynamodbdesignpuzzlers-240702042912-ad6df881-thumbnail.jpg?width=560&fit=bounds)
![[D3T1S04] Aurora PostgreSQL performance monitoring and troubleshooting by use...](https://cdn.slidesharecdn.com/ss_thumbnails/d3t1s04aurorapostgresqlperformancemonitoringandtroubleshooting-240702042912-5df626e3-thumbnail.jpg?width=560&fit=bounds)
![[D3T1S07] AWS S3 - 클라우드 환경에서 데이터베이스 보호하기](https://cdn.slidesharecdn.com/ss_thumbnails/d3t1s07-240702042911-cb134cd6-thumbnail.jpg?width=560&fit=bounds)
![[D3T1S05] Aurora 혼합 구성 아키텍처를 사용하여 예상치 못한 트래픽 급증 대응하기](https://cdn.slidesharecdn.com/ss_thumbnails/d3t1s05aurora-240702042911-c7f3f22d-thumbnail.jpg?width=560&fit=bounds)
![[D3T1S02] Aurora Limitless Database Introduction](https://cdn.slidesharecdn.com/ss_thumbnails/d3t1s02auroralimitlessdatabaseintroduction-240702042911-cb5552b7-thumbnail.jpg?width=560&fit=bounds)
![[D3T2S01] Amazon Aurora MySQL 메이저 버전 업그레이드 및 Amazon B/G Deployments 실습](https://cdn.slidesharecdn.com/ss_thumbnails/d3t2s01amazonaurorabluegreendeployment-240702042226-3ae36566-thumbnail.jpg?width=560&fit=bounds)
![[D3T2S03] Data&AI Roadshow 2024 - Amazon DocumentDB 실습](https://cdn.slidesharecdn.com/ss_thumbnails/d3t2s03documentdbhandson-240702042224-047bbc2c-thumbnail.jpg?width=560&fit=bounds)
![[Keynote] 슬기로운 AWS 데이터베이스 선택하기 - 발표자: 강민석, Korea Database SA Manager, WWSO, A...](https://cdn.slidesharecdn.com/ss_thumbnails/d3s01aws-230704014400-3eeae447-thumbnail.jpg?width=560&fit=bounds)
미디어 저장의 새로운 패러다임 - 김기완 :: 미디어 커스토머 데이
- 1. 미디어 저장의 새로운 패러다임 김기완 – Solutions
- 2. Architect
- 3. We are constantly producing more data
- 4. Cliché *
- 5. Japan
- 6. region
- 7. 기준. (환율 : 1,140 / 1$)
- 8. Migrating
- 9. existing
- 10. applications
- 11. as
- 12. quickly
- 13. as
- 15. new
- 16. applications
- 17. to
- 18. the
- 19. cloud
- 20. by
- 21. default Cloud
- 22. computing
- 23. has
- 24. become
- 25. the
- 26. new
- 27. normal From
- 28. 2014: In
- 29. 2015
- 30. re:Invent Day1
- 31. Keynote
- 32. by
- 33. Andy
- 34. Jassy
- 35. 데이터 폭발! • 넷플릭스는 분당 162,000시간 의 비디오 스트림 전송 • 유튜브 유저들은 분당 300시간 의 비디오 생산 • 트위터는 분당 347,222건 의 트윗 처리 • MLB는 게임당 7TB,
- 36. 시즌당 17PB의 데이터 생성 • 인터넷 유저는 2011년 2.1B에서 2015년 3.2B으로 50% 증가
- 37. • 무한히 늘어나는 데이터 • 빠르게 늘어나는 사용자 / 디바이스 • 수십억 개의 파일들 • 다양한 컨텐츠 (비디오, 사진, 문서, …⋯) • 다양한 형태의 메타데이터 • 컨텐츠의 빠른 검색 / 액세스 • 늘어나는 접속 로그 • …⋯…⋯ 새로운 도전!
- 38. File Block Object Hybrid integrated storage Amazon
- 39. EFS Amazon
- 40. EBS Amazon
- 41. EC2 Instance
- 43. Glacier AWS
- 45. 99.999999999% 안정성 사용한 만큼만 지불하는 저렴한 스토리지 무한 확장 모든 기능은 보안으로부터…⋯. Trillions of objects Millions of requests per second 인터넷 스케일 스토리지 – Amazon
- 46. S3
- 47. (Simple
- 48. Storage
- 49. Service)
- 50. AWS: 9 Years “Young” Amazon S3 launched: March 14th 2006
- 51. 1
- 52. PB
- 53. raw
- 54. storage 800
- 55. TB
- 56. usable
- 57. storage 600
- 58. TB
- 59. allocated
- 60. storage 400
- 61. TB
- 62. application
- 63. data Amazon
- 64. S3 아마존 S3
- 65. 용량 산정? 사용한 만큼 만 지불!
- 66. • Reduced
- 68. (RRS)
- 69. 옵션 사용 • 용도에 맞는 스토리지 유형 사용 • 사용량에 따른 가격 인하 • 지속적인 가격 인하 용도에 맞는 다양한 가격 옵션
- 71. A web store, not a file system Eventually consistent Write once, Read many
- 72. S3
- 73. 데이터 전송량 120% 증가 (아마존 사용량 제외, 2014년 2분기부터 2015년 2분기까지) Amazon
- 74. S3
- 75. 사용량
- 76. • 유연한 사용자 괶리 및 정책 • 다양한 키 괶리를 포함한 암호화 • 감사 로그 유지 (Audit
- 77. log) • 버저닝 (Versioning) • MFA
- 78. (Multi
- 79. Factor
- 80. Authentication,
- 81. OTP…⋯)
- 82. 를 사용한 데이터 삭제 Amazon S3 AWS KMS Request Policy 보안은 기본!
- 83. • 저장된 모든 객체에 대한 보존,
- 84. 검색 및 복구 기 능 제공 • S3는 업데이트 객체에 대해 자동으로 새로운 버전을 추가하며,
- 85. 삭제 객체에 대해서는 삭제 표시 후 보존 • 라이프사이클 정책을 통한 괶리 제공 • 웹 콘솔을 통한 간편한 설정 버저닝 (Versioning)
- 86. 37 per
- 90. Japan
- 91. region
- 92. 기준. (환율 : 1,140 / 1$)
- 93. 410,400 per
- 97. Japan
- 98. region
- 99. 기준. (환율 : 1,140 / 1$)
- 100. EBS Instance
- 102. Management
- 103. System On-Premises
- 105. S3 Amazon
- 106. EC2 Hadoop Amazon
- 107. Redshift (Data
- 110. CloudFront (CDN) 미디어 배포 클라우드에서의 미디어 로세싱
- 112. 99.99% S3-IA:
- 113. 99.9% 성능 빠른 응답속도 고속 전송 보안 권한 /정책, SSE,
- 114. client
- 116. SNS,
- 117. and
- 118. Lambda 버저닝 자동으로 여러 버 전의 복제본 저장 리전 간 복제동일한 네임스페이스 오브젝트별 스토리지 클래스 안정성 99.999999999% 확장성 탄력적인 용량 사용량 제한 없음 “Hot”
- 120. 데이터 백업 데이터 “Cold”
- 121. 데이터 아카이브 및 컴플라이언스 데이터 라이프사이클 괶리
- 122. S3 S3-IA Glacier 원본 데이터 데이터 라이브러리 원본 데이터 L i f e c y c l e 트랜스코딩된 데이터 미디어 데이터의 라이프사이클 괶리
- 123. • 미디어 데이터 업로드 / 파일 삭제 등 이벤트 발생시 알림 기능 • 이메일 전송 • SQS
- 124. (Simple
- 125. Queue
- 126. Service)에 메세지 전송 • Lambda
- 127. function을 기동하여 정해진 업무 수행 S3 Events SNS topic SQS queue Lambda function Notifications Foo() { … } S3
- 128. 이벤트를 사용한 업무 프로세스 자동화
- 129. 글로벌 인프라 세계 53개의 엣지 로케이션 Amazon
- 130. CloudFront Top
- 131. Tier
- 132. 성능 동적 컨텐츠 가속 자동 스케일 아웃 Amazon
- 133. Route53 응답 시간 기반 라우팅 Geo
- 135. Checks
- 138. (2) Singapore
- 139. (2 ) Hong
- 140. Kong
- 141. (2) Tokyo
- 142. (2) Sao
- 144. Route53 Amazon
- 146. Elastic Load Bala ncing Dynamic Content Amazon EC2 Static Content Amazon S3 Custom Origin OR OR Custom OriginAmazon CloudFront example.com Images/ Videos *.php 동적 / 정적 콘텐츠 전송 (CDN)
- 147. Live Amazon EC2 VOD Amazon S3 OR Custom Origin Amazon CloudFront Amazon EC2 OR Elastic Tran scoder 라이브 스트림 및 VOD
- 148. 전송
- 149. 실시간 로그 캡춰, 스트리밍, 실시간 분석 및 데이터 웨어하우징 스트리밍 데이터의 리얼 타임 로세싱 대쉬보드 생성 및 예외 이 벤트 감지 Amazon
- 150. Kinesis 방대한 양의 데이터를 비 용 효율적으로 빠르게 프 로세싱 마이크로 배치로 활용 및 DW용 데이터 생성 Amazon
- 151. EMR Elastic
- 152. Map
- 153. Reduce 완전 괶리형, 페타바이트 스케일의 데이터 웨어하 우스 서비스 Amazon
- 154. RedShift 사용자 요청 정보 엑세스 로그 CloudFront Access
- 155. Logs 서버 엑세스 로그 S3
- 156. 버킷 로그 사용자 트래킹 Amazon
- 157. S3 Logs 손쉬운 빅데이터 로세싱
- 158. Amazon CloudFront Access Logs Amazon S3 Logs EMR Amazon Reds hift Business Smarts/Dash boards Amazon Kinesi s Real-time notifications/ Alerts 대쉬보드 / 리얼타임 분석
- 159. Transcoders Store output pr ofile and file Asset Manage ment, Discovery, De livery Store output profile and file Media Files RTMP MPEG-‐TS HD-‐SDI Camera Physical Media Live Stream Integrated Workflow CMS DAM MAM 컨텐츠 괶리 - 아키텍쳐
- 160. • 효율적인 메타데이터 괶리 • 빠르고 다양한 검색 기능 • 스토리지 라이프사이클 괶리 • 빠르게 새로운 툴 / 어플리케이션 통합 컨텐츠 괶리 – 어려움? 과제? Amazon DynamoDB Amazon CloudSearch
- 161. AWS Import/ Export S3 multi-‐part API For Source, Renditions, Metadata Sidecar Files Ingest AWS Elastic Beanstalk DAM Web Service CloudFront Dist ribution Amazon DynamoDB Amazon CloudSearch DAM Catalog Rendition Workers EC2 ASG Amazon SNS Topic Amazon SQS Queue Rendition Jobs Amazon SQS Queue Metadata Processing Jobs S3 Notification Elastic Transcoder Proxy / Thumbnail Generation Processing Metadata Workers EC2 ASG 컨텐츠 괶리 – 샘플 아키텍쳐 (DAM)
- 162. V1
- 163. AWS Import/ Export S3 multi-‐part API For Source, Renditions, Metadata Sidecar Files Ingest AWS Elastic Beanstalk Web Service DAM CloudFront Dist ribution S3 Notification Elastic Transcoder Proxy / Thumbnail Generation Processing Lambda Metadata Extract Persist Amazon DynamoDB Amazon CloudSearch DAM Catalog 컨텐츠 괶리 – 샘플 아키텍쳐 (DAM)
- 164. V2 S3 Lifecycle
- 165. INGEST STORE MANAGE SECUREPROCESS CREATE MONETIZE INTEGRATEDELIVER Partner Solutions 미디어 파트너
- 166. Zadara Storage 이비즈테크
- 167. • Enterprise Storage-as-a-Service의 선두 업체 • 전 세계 50개 이상의 글로벌 서비스 로케이션 • 주요 파트너: – Amazon Web Services (AWS) – Toshiba • $20M in Funding – Genesis Capital Advisors, Platinum Management, Toshiba • 8 분기 연속 분기 대비 50 % 매출 성장 • 전 세계 15PB 를 초과하는 데이터 사용 • Over 13M Billable Terabyte-Hours in 2014 (1.2M in 2013) • Headquater in US • RD offices in Israel and India Zadara Storage 소개
- 168. Zadara Storage 글로벌 로케이션 Launched on July, 2015
- 169. Zadara Storage VPSA At Cloud / Service Providers • Pure OpEx • Scales smoothly 100PB • Six-‐Month Commit On-‐Premises (OPaaS) Replication
- 170. Enterprise Storage… as a Service § 요구사항: § Controller 성능 § Cache 수량 § Drive 타입 § RAID 타입 § I/Os for databases § OLTP apps에 대한 낮은 응답시간 § 지원: § 블록 + 파일 액세스 § HA, BC, DR § Clusters § 장점: § 100% 실 운영비용 지출 § Elastic in all directions § 손쉬운 변경 § 멀티 테넌트 환경에서 싱글 테넌트 구축 § 독립된 안정적 성능 § 선행투자비용 없음 § 단기 계약: § 1시간 Cloud/ Co-‐lo § 6개월 On-‐premise =+Enterprise Storage as a Service 실 운영비용 • 손쉬운괶리 • 100% 가동시간 품질보장(SLA)
- 171. Zadara Enterprise Storage 특징 Zadara Storage VPSA (Virtual Private Storage Array) ü NFS, CIFS (Active Directory), iSCSI and iSER cloud storage ü File and Block storage ü Large Volume Sizes (over 100TB) ü At-Rest and In-Flight Data 암호화 (user owns keys) ü Cluster Support ü Thin provisioned volumes ü SSD cache (모든 엔진에 포함) ü 무 중단 업그레이드 ü 100% RESTful API coverage
- 172. Zadara 스토리지 데이터 보호기능 Snapshots / Clones Mirroring Online Volume Migration 운영중에 무 중단으로 시점 단위 R/W 복제 볼륨 생성 자동화된 local (sync) or remot e (async) 복제/재해복구 온라인 중에 무 중단 볼륨 마이그레이션 제공 ü Zero-‐Capacity ü 즉시 사용 가능 ü 무제한 ü Snapshot 기반 ü 양 방향 복제/재해복구 ü Local/Remote 복제 ü RAID level 변경 ü Drive type 변경 ü Pool striping 변경 테스트/개발 빠른 복구 재해 복구 솔루션 필요에 따른 신속한 응답속도 Near-‐CDP (1 min interval) Read/write capability 1 minute interval 스토리지 특성을 변경하는 기능 제공 Microsoft VSS 지원 미러를 진행하는 동안 스냅샷 복제 생성 Source vs. Destination 서로 다른 스냅샷 수 유지 Adapt storage to match shifting requirements. You can’t make a mistake!
- 173. What Does my VPSA Look Like? VPSA 1 고객 / A부서 200 + 4 드라이브 VPSA 2 고객 / B부서 400 + 10 드라이브 = = A B ~~ ~~ ~~ ~~ ~~ 활성 코어 대기 코어 사용 가능한 코어
- 174. Creation: Public Cloud and Supported Colo Public Cloud 선택 / Col o 공급자 구성요소에 따라 시간 당 비용 계산 전용 드라이브 선택
- 175. Creation: OPaaS – Private Web Portal
- 176. Zadara Backup to S3 (B2S3) Automatic No need for VMs Can be restored anywhere Efficient block-‐level backups BEFORE AFTER VM Cost Proprietary Backup Software Cost Complexity Latency VPSA VM S3 VPSA S3 ? Glacier Backup data to cost-‐effective S3 (or compatible) storage
- 177. Zadara 고객 레퍼런스 ME 교육 기타서비스공급자 SaaS GiS
- 178. AWS marketplace