More Related Content
What's hot (19)
Viewers also liked (8)
Similar to 数据库厂丑补谤诲颈苍驳专题 (20)
![[Baidu web frontend_conference_2010]_[soso_frontend_architecture]](https://cdn.slidesharecdn.com/ss_thumbnails/baiduwebfrontendconference2010sosofrontendarchitecture-101108062207-phpapp01-thumbnail.jpg?width=560&fit=bounds)
数据库厂丑补谤诲颈苍驳专题
- 3. 1.背景 随着业务的增长带来的挑战： ● 表的容量，超过5000w条 ● 网络I/O成为瓶颈 ● 磁盘I/O成为瓶颈 ● 更多系统硬件成为瓶颈（cpu、memory、disk等） 解决方案： ● 分库分表 ● 读写分离 ● 数据分片(sharding)
- 4. 1.背景 1. 主键生成(唯一ID) 2. 数据的路由(分布、节点伸缩) 3. join 4. count、group by、order by等聚合 5. 分布式事务 分片带来的挑战： PS: 每个节点(shard)自身冗余备份
- 5. 2.主键生成
- 6. 2.主键生成 -- flickr 2006年上线,2010年发布文章，关键点： 1）auto-increment-offset和auto-increment-increment 2） 独立的database 3）利用SELECT LAST_INSERT_ID、REPLACE INTO 4）MyISAM引擎(实践证明性能高) 5）两台机部署DB, 做HA, 需要服务实现切换 flickr最简单的实现，采用DB自增（这里会存在什么问题？） 1）自增数据单表能存的下么？ 2）如何应对单点故障？
- 9. 2.主键生成--达达 某个时间点(2015-01-01)开始秒数(长度36位) shard_id(长度13位,最多8192个) 自增seq(长度15位,最大32768) int64的主键构成 (效仿instagram): 源 自 twitter 主键生成器，如果这个任务交给你，你会怎么做？
- 10. 2.主键生成--微信 微信用户主键： a）递增的64位整型变量 b）每个用户都有自己独立的64位sequence空间 c）由Alloc生成，Store存储(NRW: R+W > N) v1.1 v1.2 mysql自增，性能还不是很满意。为什么?
- 12. 3.数据路由
- 13. 3.数据路由 -- 模型 路由的两级映射抽象模型： 1）Key-Partition映射，数据记录到分片的映射（多对一） 2）Partition-Machine映射，分片到物理机器的映射（多对一）
- 14. 3.数据路由 -- 类型 目标： 1) 数据分布均匀 2) 大部分请求, 查询方便 3) 易于扩展
- 15. 3.数据路由 -- 实现 digg： 根据用户活跃度来进行分片,活跃用户 -》高配机 器; 潜水用户 -》低配机器 uber： 使用Google的S2 Geometry Library，S2能够将 球体分为小区cell，每个cell有一个id（类似 geohash） BigTable、 Mircsoft Azure： 范围分片 Redis-rb 、Predis： ruby和php的redis client，采用一致性hash的 方式对redis进行分片 twemproxy: redis proxy, 支持多种分片算法, ketama(一致性 hash)、modula、random.
- 17. 3.数据路由 -- 国际化(微信) 微信：master-master架构(异步同步带来的数据弱一致性问题) ● 用户访问自己的数据：用户严格明确归属地,发生漫游时,重新路由到归属地服务器 ● 用户访问其他用户的数据：允许延时,发生漫游时,直接就近访问 ● 帐号申请、设置由全局统一服务来处理
- 18. 4.平台化&补尘辫;中间件
- 19. 4.平台化 -- mongodb confige servers记录着配置信息： a）shard ip port b）shard key在那chunk上面 c）chunk在那个shard上面 d）其它 mongodb做的是一个通用的产物，所以shard key的 设计，交给用户；用户根据业务来保证数据的均匀分 布
- 20. 4.平台化 -- mongodb 扩展策略： 1) shard的增加和删除，都是通 过命令来执行的。 2) 删除shard，mogos会把该 shard上面的chunk分不到其它 shard上，并更新config server上 面的信息 3) 新增shard时候，chunk会逐步 迁移到新的shard上来, 并更新 config server上面的信息
- 21. 4.中间件 - 针对mysql的轮子 mysql：mysql-proxy, Qihoo 360: atlas (单纯读写分离, atlas在master挂的情况下，还能够支持slaver的读) 阿里巴巴： cobar（支持sharding, mysql，部分开源） 淘宝：tddl （支持sharding, mysql&oracle，部分开源） 国人：Mycat （基于cobar,潜力无限） MariaDB： MaxScale ; tumblr: jetpants(ruby); youtube:vitess how maxscale work
- 22. 4.中间件 - MaxScale
- 25. 云端之上
- 26. 5.总结&QA 1. 何时需要做数据分片 2. 数据分片两个关键点 a. 主键生成 i. flickr ii. 达达 iii. 微信 b. 数据路由 i. 各种路由方式(分布均匀、查询方便) 3. mongodb的数据分片介绍 4. 几种mysql的proxy介绍
- 27. 附录：单机调优 -- mysql MySQL存储引擎：MyISAM、InnoDB、BDB MyISAM -》表级锁(table-level locking) BDB -》页面锁(page-level locking)或表级锁，默认为页面锁 InnoDB -》行级锁(row-level locking)和表级锁, 默认为行级锁 TL PL RL 并 发 开销 1）max_connections （最大连接数） 2）interactive_timeout （一般用不上,APP断开时，连接等待time之后再关闭） 3）key_buffer_size （读取索引buffer） 4）query_cache_size （查询结果cache buffer） 5）thread_concurrency 6） etc...
- 28. 附录：58同城的数据库扩容
- 29. 附录：参考资料 http://weibo.com/ttarticle/p/show?id=2309403938388897082509 http://www.infoq.com/cn/articles/the-road-of-the-growth-weixin-background (微信） http://blog.csdn.net/bluishglc/article/details/6161475 （系列资料） https://www.brentozar.com/articles/sharding/ （sharding route） https://yq.aliyun.com/articles/32434 （mongodb） https://segmentfault.com/a/1190000004485355 （sharding） http://darktea.github.io/notes/2013/12/08/Unique-ID （唯一主键生成方法） http://code.flickr.net/2010/02/08/ticket-servers-distributed-unique-primary-keys-on-the-cheap/ （flickr） http://blog.csdn.net/gdhuyufei/article/details/42101231 http://www.jianshu.com/p/e3f5ff55f0fd （缓存过期问题） http://www.slideshare.net/ChengFeng5/58-48133658 （58同城） http://www.slideshare.net/MariaDB/mariadb-maxscale （maxscale） https://github.com/outbrain/orchestrator (mysql可视化)