基于惭测厂蚕尝的分布式数据库实践
27 likes2,627 views
本文讨论了基于惭测厂蚕尝的分布式实践，包括分区策略、缓存应用以及多滨顿颁部署等内容。强调了在业务增长中如何通过分片和缓存来提升数据库性能，并提出了相应的挑战与解决方案。总结指出数据库分片和硬件驱动解决方案的重要性，以及关系型与非关系型数据库的结合。
基于惭测厂蚕尝的分布式数据库实践
- 1. 基亍惭测厂蚕尝的分布式实践 杨海朝 Senior MySQL DBA@SINA jackbillow@gmail.com DTCC 2011 2011.4.15
- 2. 业务增长 usage
- 3. 议题 ? Sharding策略 ? Cache应用 ? NoSQL应用 ? 多IDC部署
- 4. Database Sharding what drives the need for database sharding? http://www.codefutures.com/database-sharding/
- 5. Database Sharding what is database sharding? http://www.codefutures.com/database-sharding/
- 6. 前期 ? 一开始就考虑CAP & BASE理论 ? 异步所有能异步的操作 ? 避免分布式事务
- 7. 前期 按功能分割： ? 不同的业务不同的DB ? Master/Slaves ? MPSM ? 多个DB一个port
- 8. 前期 水平切分： ? 索引和数据在不同的DB ? Table 辫补谤迟颈迟颈辞苍颈苍驳(256张迟补产濒别蝉)
- 11. Scaling实践#3 提高单机的性能： ? SSD ? IODrive ? Cachecade ? Flashcache
- 17. Sharding原则 ? 一开始就关注架构设计 ? Scale-up ? Scale-out ? Scale-up ? 成本可控下硬件是首选 ? 逐步解决拆分中成本问题
- 18. 挑战 ? 如何减少TCO？ ? 如何权衡业务后期的功能扩展? ? 故障率如何降低？ ? 大批量的快速部署？
- 19. Caching Everything runs from memory in Web 2.0 --Evan Weaver
- 20. Caching ? Delay is the fault --Me DB的延时越来越不可以接受，进行了并发 复制的开发，降低响应时间还是没有解决
- 21. Caching 第一阶段: MySQL + Memcached Memcache Server Client Database
- 22. Caching 第二阶段: MySQL + UDF
- 24. Caching原则 ? 采用一致性Hash部署 ? Cache按照冷热分层 ? 所有热数据都放入Cache ? 双写来避免雪崩问题 ? 队列方式持久化落入MySQL
- 25. 挑战 ? 双写导致应用复杂？ ? 实现locality RAM? ? 多IDC部署Cache的复杂度问题？
- 26. NoSQL ? No use only MySQL ? 高性能 ? 丰富的数据类型
- 27. NoSQL 独立redis： ? 关系 ? 计数 ? 通知 ……
- 28. NoSQL MySQL ? Redis复制 ? 通过RBR解析BINLOG同步到redis ? Redis提供特定数据结构的读访问 ? 实现关系型数据转变成队列数据
- 29. NoSQL Redis ? MySQL复制 ? Redis提供特定数据结构的读写 ? 通过replication接口同时写入到MySQL
- 31. 挑战 ? 如何批量管理？ ? 后期容量扩展？ ? 复杂数据的濒辞补诲速度问题？
- 34. 多IDC部署 开发多主复制
- 35. 多IDC部署 Pub/sub + MySQL replication http://www.codeproject.com/KB/WCF/ASENS.aspx?msg=2937455
- 37. 总结 ? 持续的database sharding ? 硬件解决是首选 ? 数据库简化为存储 ? 关系型和非关系结合 ? 谨慎考虑多机房部署
- 38. Thank you for coming! @jackbillow jackbillow@gmail.com Q&A 长期招聘，欢迎加入！