狠狠撸

狠狠撸Share a Scribd company logo
黑夜路人 2010.12.19 http://blog.csdn.net/heiyeshuwu
网站架构的迭代 开源软件选型 网站基础优化 Q&A
没有通用的架构,只有适合自己网站特点的架构 没有一成不变不用升级的架构,架构一定是迭代、迭代、再迭代 实践,实践,再实践
最简单的单台 Web+DB 架构
多 Web 服务器 缓存服务器 DB 服务器  ( 主从 )
?
CDN/ 代理服务器:缓存静态资源,比如 Squid 负载均衡服务器:解决服务器定位和服务器存活检查,比如 LVS 、 HAProxy Web 服务器:提供主要的 Web 业务服务器,比如 Apache 、 Nginx 资源服务器:持久存储静态资源的服务器,比如存储 JS 、 CSS 、图片等数据,一般构建也是 Web 系统 缓存服务器:减少数据库查询,缓存查多改少的数据,比如 Memcached
DB 连接池:解决数据库并发连接数 ( 长连接 ) 、数据库读写分离,比如  MySQL Proxy 数据库:采用双主,多从的架构模式,保证冗余和高可用性(标配 MySQL ) 内容检索服务器:为减轻数据库的压力,解决中型站点经常的排序和关键字检索需求 ,比如  Shpinx , Xapian 其他:按照网站需要的服务,比如 消息队列系统、可持久化缓存系统、分布式文件系统等
达到高可用性( High Availability )是架构的重点之一 资源定位、健康检查、负载均衡 关键服务的主备冗余: Web 、 DB 及时有效的监控和报警
达到高可扩展性 ( High Scalability )是架构的重点之二 数据库的切片( Sharding ):水平切分、垂直切分 减少模块耦合度,基础模块独立服务:比如用户系统( Passport )
达到高可维护性( High Maintainability )是架构的重点之三 架构模块和服务可以容易替换 架构可升级
负载均衡 Web 服务 PHP 缓存服务 DB 连接池 数据库 其他
LVS 工作在四层,内核态,性能极高,有 VIP 功能,配合  keepalived  做有效的 心跳检查和负载均衡安装配置麻烦, HAProxy 工作在四层到七层,功能强大,有 VIP 功能,配置简单, CPU 占用高 Nginx 工作在七层,应用层功能多,配置简单,无法支持 VIP 功能
负载均衡器测试数据 机器足够并且应用重要建议独立使用 LVS 或 HAProxy ,机器不足使用  Nginx 软件 每秒并发量 CPU 占用 结论 LVS (DR 模式 ) 1.6W 25% 性能综合比最好,配置复杂 HAProxy 2.3W 95% 转发快, CPU 占用高,配置简单 Nginx 2W 80% 转发没有 haproxy 快, CPU 比 haproxy 占用低
Apache 2.2 版本非常稳定强大 Preworker 模式取消了进程创建开销,性能很高 Nginx 基于异步 IO 模型,性能强悍,能够支持数万并发 对小文件支持很好,性能很高 代码优美,扩展库必须编译进主程序 Lighttpd 基于异步 IO 模型,性能 Nginx 没有差别 扩展库是 SO 模式,比 Nginx 要灵活 全球使用率比以前低,安全性没有上面两个好
Web 服务器静态内容测试数据 处理静态文件 Apache  性能比  nginx 和 lighttpd 要差 Nginx 在处理小文件优势明显
Web 服务器动态内容测试数据 处理动态内容三者相差不大 ( 测试环境差异 ) ,主要是取决于 PHP 和数据库的处理性能
版本选择 PHP 4 :马上抛弃它吧,低下的性能,不完整的面向对象支持 PHP 5.2.x :成熟稳定,各种扩展都支持,性能卓越,建议使用 PHP 5.3.x :有一些包括 Unicode 、命名空间之类的新功能,看个人喜好 工作模式选择 Mod_php5.so :如果使用 Apache 的话,简单配置,可以使用本模式,挺稳定,性能不错 FastCGI 模式:推荐结合  php-fpm  的  fastcgi 模式,性能很高,工作稳定,而且可以跟  Apache 、 Nginx 、 Lighttpd  完美结合 其他 注意安全配置,注意  safe_mode 、 open_base_dir  等选项 停掉不需要使用的 PHP 扩展
毋庸置疑,选择  Memcached  吧 Memcached 注意点 32 位机上开辟内存不要超过 2G ,建议可以多开几个进程 如果没有富余的机器可以跟 Web 一起部署 它单个数据值长度不能超过 1M 数据存储最长有效期是 30 天
MySQL Proxy 性能不是太好,目前功能不完善 无法进行读写分离,需要自己写 Lua 脚本实现 SQL Relay 业内普遍反映不好用 您有推荐的吗?
毋庸置疑,选择 MySQL MySQL 特点 开放式存储引擎,可以编制自己的引擎 安装部署简单,运维对比其他数据库简洁 标配 MyISAM  和  InnoDB 引擎,各有所长 MySQL 缺点 没有好的热备工具(收费) 目前 Cluster 支持不太完善 Orache 收购后,前途未卜 替代品 MariaDB :创始人 Monty 构建, Maria 引擎、 XtraDB 引擎 Drizzle :精简版 MySQL ,云计算目标
反向代理服务器 Squid Varnish 数据检索服务 Sphinx Xapian 消息队列 MemcacheQ
MySQL 优化 前端优化
服务优化 选择合适的版本: MySQL 5.x 选择合适的存储引擎: MyISAM 、 InnoDB MyISAM :表级锁、查询快 (500W) ,可以 count Innodb :行级锁、事务支持(隔离级别),不要 count ,要设置主键 重要的配置: Max_connections 、 Query_cache 、 key_buffer 、 sort_buffer Innodb_buffer_pool_size 、  innodb_flush_log_at_trx_commit 硬件 SSD > SAS > SCSI ,随机存取 内存,多核 CPU
应用优化 对数据进行 Sharding :分表,分库 垂直切分:按照业务或产物切分 水平切分:按照数据拆分,比如 mod 或 div 尽量减少查询 可以缓存的就不要查数据库 部分数据可以借助比如  Shpinx 解决 要注意的查询 给需要的字段加上索引,比如需要  WHERE  或者  ORDER BY  的字段 不要 LIKE  ‘%key%’ ,不使用索引,可以  LIKE ‘key%’ 如果可以,少使用  SELECT * FROM XX ,尽量查询自己需要的字段 避免使用  JOIN/GROUP BY/DISTINCK INNODB 表不要 count
雅虎十四条前端优化规则 减少 HTTP 请求 把 JS 文件 和 CSS 文件合并压缩 把页面图标类大图做成一个,使用 CSS 进行调用雅虎十四条前端优化规则 对静态资源进行处理 静态资源修改过期时间为未来 给静态资源独立的域名,比如  img.abc.com 其他
http://www.keephelp.com/qianduan/yahoo-14/ http://zh.linuxvirtualserver.org/node/1394 谷歌搜索
?
?

More Related Content

What's hot (18)

Truck js 高性能移动web开发解决方案
Truck js 高性能移动web开发解决方案Truck js 高性能移动web开发解决方案
Truck js 高性能移动web开发解决方案
美团技术团队
?
1号店数据库架构
1号店数据库架构1号店数据库架构
1号店数据库架构
Louis liu
?
存储过程入门与提高
存储过程入门与提高存储过程入门与提高
存储过程入门与提高
wensheng wei
?
一个 Mongodb command 的前世今生
一个 Mongodb command 的前世今生一个 Mongodb command 的前世今生
一个 Mongodb command 的前世今生
dennis zhuang
?
Make your web faster
Make your web fasterMake your web faster
Make your web faster
德生 谭
?
高性能队列贵辩耻别耻别的设计和使用实践
高性能队列贵辩耻别耻别的设计和使用实践高性能队列贵辩耻别耻别的设计和使用实践
高性能队列贵辩耻别耻别的设计和使用实践
孙立
?
尝颈苍耻虫内存管理
尝颈苍耻虫内存管理尝颈苍耻虫内存管理
尝颈苍耻虫内存管理
zijia
?
Traffic server overview
Traffic server overviewTraffic server overview
Traffic server overview
qianshi
?
淘宝商品库惭测厂蚕尝优化实践
淘宝商品库惭测厂蚕尝优化实践淘宝商品库惭测厂蚕尝优化实践
淘宝商品库惭测厂蚕尝优化实践
Feng Yu
?
Hacking Nginx at Taobao
Hacking Nginx at TaobaoHacking Nginx at Taobao
Hacking Nginx at Taobao
Joshua Zhu
?
2011新版首页总结 技术篇
2011新版首页总结 技术篇2011新版首页总结 技术篇
2011新版首页总结 技术篇
传贵 谢
?
了解内存
了解内存了解内存
了解内存
Feng Yu
?
对惭测厂蚕尝应用的一些总结
对惭测厂蚕尝应用的一些总结对惭测厂蚕尝应用的一些总结
对惭测厂蚕尝应用的一些总结
Lixun Peng
?
五款常用mysql slow log分析工具的比较
五款常用mysql slow log分析工具的比较 五款常用mysql slow log分析工具的比较
五款常用mysql slow log分析工具的比较
colderboy17
?
新浪微博贵别别诲服务架构
新浪微博贵别别诲服务架构新浪微博贵别别诲服务架构
新浪微博贵别别诲服务架构
XiaoJun Hong
?
惭测厂蚕尝和滨翱(下)
惭测厂蚕尝和滨翱(下)惭测厂蚕尝和滨翱(下)
惭测厂蚕尝和滨翱(下)
Feng Yu
?
性能优化
性能优化性能优化
性能优化
Lu Wei
?
Truck js 高性能移动web开发解决方案
Truck js 高性能移动web开发解决方案Truck js 高性能移动web开发解决方案
Truck js 高性能移动web开发解决方案
美团技术团队
?
1号店数据库架构
1号店数据库架构1号店数据库架构
1号店数据库架构
Louis liu
?
存储过程入门与提高
存储过程入门与提高存储过程入门与提高
存储过程入门与提高
wensheng wei
?
一个 Mongodb command 的前世今生
一个 Mongodb command 的前世今生一个 Mongodb command 的前世今生
一个 Mongodb command 的前世今生
dennis zhuang
?
Make your web faster
Make your web fasterMake your web faster
Make your web faster
德生 谭
?
高性能队列贵辩耻别耻别的设计和使用实践
高性能队列贵辩耻别耻别的设计和使用实践高性能队列贵辩耻别耻别的设计和使用实践
高性能队列贵辩耻别耻别的设计和使用实践
孙立
?
尝颈苍耻虫内存管理
尝颈苍耻虫内存管理尝颈苍耻虫内存管理
尝颈苍耻虫内存管理
zijia
?
Traffic server overview
Traffic server overviewTraffic server overview
Traffic server overview
qianshi
?
淘宝商品库惭测厂蚕尝优化实践
淘宝商品库惭测厂蚕尝优化实践淘宝商品库惭测厂蚕尝优化实践
淘宝商品库惭测厂蚕尝优化实践
Feng Yu
?
Hacking Nginx at Taobao
Hacking Nginx at TaobaoHacking Nginx at Taobao
Hacking Nginx at Taobao
Joshua Zhu
?
2011新版首页总结 技术篇
2011新版首页总结 技术篇2011新版首页总结 技术篇
2011新版首页总结 技术篇
传贵 谢
?
了解内存
了解内存了解内存
了解内存
Feng Yu
?
对惭测厂蚕尝应用的一些总结
对惭测厂蚕尝应用的一些总结对惭测厂蚕尝应用的一些总结
对惭测厂蚕尝应用的一些总结
Lixun Peng
?
五款常用mysql slow log分析工具的比较
五款常用mysql slow log分析工具的比较 五款常用mysql slow log分析工具的比较
五款常用mysql slow log分析工具的比较
colderboy17
?
新浪微博贵别别诲服务架构
新浪微博贵别别诲服务架构新浪微博贵别别诲服务架构
新浪微博贵别别诲服务架构
XiaoJun Hong
?
惭测厂蚕尝和滨翱(下)
惭测厂蚕尝和滨翱(下)惭测厂蚕尝和滨翱(下)
惭测厂蚕尝和滨翱(下)
Feng Yu
?
性能优化
性能优化性能优化
性能优化
Lu Wei
?

Viewers also liked (7)

Roberts Major Workbook
Roberts Major WorkbookRoberts Major Workbook
Roberts Major Workbook
Massey University
?
??? ???? ?????
??? ???? ???????? ???? ?????
??? ???? ?????
jinei
?
[???]?? ?? ?????
[???]?? ?? ?????[???]?? ?? ?????
[???]?? ?? ?????
jinei
?
PHP WEB 应用组织与结构
PHP WEB 应用组织与结构PHP WEB 应用组织与结构
PHP WEB 应用组织与结构
HonestQiao
?
??? ???? ?????
??? ???? ???????? ???? ?????
??? ???? ?????
jinei
?
[???]?? ?? ?????
[???]?? ?? ?????[???]?? ?? ?????
[???]?? ?? ?????
jinei
?
PHP WEB 应用组织与结构
PHP WEB 应用组织与结构PHP WEB 应用组织与结构
PHP WEB 应用组织与结构
HonestQiao
?

Similar to 构建基于尝补尘辫的中型网站架构 (20)

如何使用 Xhprof 分析網站效能 (真實案例)
如何使用 Xhprof 分析網站效能 (真實案例)如何使用 Xhprof 分析網站效能 (真實案例)
如何使用 Xhprof 分析網站效能 (真實案例)
Cyril Wang
?
腾讯大讲堂08 可扩展web架构探讨
腾讯大讲堂08 可扩展web架构探讨腾讯大讲堂08 可扩展web架构探讨
腾讯大讲堂08 可扩展web架构探讨
topgeek
?
腾讯大讲堂08 可扩展web架构探讨
腾讯大讲堂08 可扩展web架构探讨腾讯大讲堂08 可扩展web架构探讨
腾讯大讲堂08 可扩展web架构探讨
George Ang
?
笔测迟丑辞苍小团队不妨知道的技术
笔测迟丑辞苍小团队不妨知道的技术笔测迟丑辞苍小团队不妨知道的技术
笔测迟丑辞苍小团队不妨知道的技术
jie.wang
?
RESTful
RESTfulRESTful
RESTful
PingLun Liao
?
如何架构和开发高性能,高伸缩性Web 应用系统
如何架构和开发高性能,高伸缩性Web 应用系统如何架构和开发高性能,高伸缩性Web 应用系统
如何架构和开发高性能,高伸缩性Web 应用系统
melity78
?
51 cto下载 51cto信息图:openshift vs cloudfoundry
51 cto下载 51cto信息图:openshift vs cloudfoundry51 cto下载 51cto信息图:openshift vs cloudfoundry
51 cto下载 51cto信息图:openshift vs cloudfoundry
Hong Cai
?
使用狈驳颈苍虫轻松实现开源负载均衡——对外版
使用狈驳颈苍虫轻松实现开源负载均衡——对外版使用狈驳颈苍虫轻松实现开源负载均衡——对外版
使用狈驳颈苍虫轻松实现开源负载均衡——对外版
pigso
?
Node.js中间件 connect模块深入浅出
Node.js中间件 connect模块深入浅出Node.js中间件 connect模块深入浅出
Node.js中间件 connect模块深入浅出
Eric Xiao
?
使用狈驳颈苍虫轻松实现开源负载均衡
使用狈驳颈苍虫轻松实现开源负载均衡使用狈驳颈苍虫轻松实现开源负载均衡
使用狈驳颈苍虫轻松实现开源负载均衡
Cary Yang
?
使用狈驳颈苍虫轻松实现开源负载均衡
使用狈驳颈苍虫轻松实现开源负载均衡使用狈驳颈苍虫轻松实现开源负载均衡
使用狈驳颈苍虫轻松实现开源负载均衡
guest2d0fe3
?
tengine(nginx with lua ) develop at 2013
tengine(nginx with lua ) develop at 2013tengine(nginx with lua ) develop at 2013
tengine(nginx with lua ) develop at 2013
druggo2
?
使用狈驳颈苍虫轻松实现开源负载均衡
使用狈驳颈苍虫轻松实现开源负载均衡使用狈驳颈苍虫轻松实现开源负载均衡
使用狈驳颈苍虫轻松实现开源负载均衡
cachowu
?
十二项架构设计原则
十二项架构设计原则十二项架构设计原则
十二项架构设计原则
Philip Zheng
?
Pegasus: Designing a Distributed Key Value System (Arch summit beijing-2016)
Pegasus: Designing a Distributed Key Value System (Arch summit beijing-2016)Pegasus: Designing a Distributed Key Value System (Arch summit beijing-2016)
Pegasus: Designing a Distributed Key Value System (Arch summit beijing-2016)
涛 吴
?
大众点评网的技术变迁之路
大众点评网的技术变迁之路大众点评网的技术变迁之路
大众点评网的技术变迁之路
jeffz
?
摆.狈别迟开发交流会闭摆2010.06.19闭大众点评网的技术变迁之路(王宏)
摆.狈别迟开发交流会闭摆2010.06.19闭大众点评网的技术变迁之路(王宏)摆.狈别迟开发交流会闭摆2010.06.19闭大众点评网的技术变迁之路(王宏)
摆.狈别迟开发交流会闭摆2010.06.19闭大众点评网的技术变迁之路(王宏)
Shanda innovation institute
?
ASP.Net MVC2 介绍
ASP.Net MVC2 介绍ASP.Net MVC2 介绍
ASP.Net MVC2 介绍
Allen Lsy
?
从林书豪到全明星 - 虎扑网技术架构如何化解流量高峰
从林书豪到全明星 - 虎扑网技术架构如何化解流量高峰从林书豪到全明星 - 虎扑网技术架构如何化解流量高峰
从林书豪到全明星 - 虎扑网技术架构如何化解流量高峰
Scourgen Hong
?
海量日志分析系统实践,顿产补
海量日志分析系统实践,顿产补海量日志分析系统实践,顿产补
海量日志分析系统实践,顿产补
Cevin Cheung
?
如何使用 Xhprof 分析網站效能 (真實案例)
如何使用 Xhprof 分析網站效能 (真實案例)如何使用 Xhprof 分析網站效能 (真實案例)
如何使用 Xhprof 分析網站效能 (真實案例)
Cyril Wang
?
腾讯大讲堂08 可扩展web架构探讨
腾讯大讲堂08 可扩展web架构探讨腾讯大讲堂08 可扩展web架构探讨
腾讯大讲堂08 可扩展web架构探讨
topgeek
?
腾讯大讲堂08 可扩展web架构探讨
腾讯大讲堂08 可扩展web架构探讨腾讯大讲堂08 可扩展web架构探讨
腾讯大讲堂08 可扩展web架构探讨
George Ang
?
笔测迟丑辞苍小团队不妨知道的技术
笔测迟丑辞苍小团队不妨知道的技术笔测迟丑辞苍小团队不妨知道的技术
笔测迟丑辞苍小团队不妨知道的技术
jie.wang
?
如何架构和开发高性能,高伸缩性Web 应用系统
如何架构和开发高性能,高伸缩性Web 应用系统如何架构和开发高性能,高伸缩性Web 应用系统
如何架构和开发高性能,高伸缩性Web 应用系统
melity78
?
51 cto下载 51cto信息图:openshift vs cloudfoundry
51 cto下载 51cto信息图:openshift vs cloudfoundry51 cto下载 51cto信息图:openshift vs cloudfoundry
51 cto下载 51cto信息图:openshift vs cloudfoundry
Hong Cai
?
使用狈驳颈苍虫轻松实现开源负载均衡——对外版
使用狈驳颈苍虫轻松实现开源负载均衡——对外版使用狈驳颈苍虫轻松实现开源负载均衡——对外版
使用狈驳颈苍虫轻松实现开源负载均衡——对外版
pigso
?
Node.js中间件 connect模块深入浅出
Node.js中间件 connect模块深入浅出Node.js中间件 connect模块深入浅出
Node.js中间件 connect模块深入浅出
Eric Xiao
?
使用狈驳颈苍虫轻松实现开源负载均衡
使用狈驳颈苍虫轻松实现开源负载均衡使用狈驳颈苍虫轻松实现开源负载均衡
使用狈驳颈苍虫轻松实现开源负载均衡
Cary Yang
?
使用狈驳颈苍虫轻松实现开源负载均衡
使用狈驳颈苍虫轻松实现开源负载均衡使用狈驳颈苍虫轻松实现开源负载均衡
使用狈驳颈苍虫轻松实现开源负载均衡
guest2d0fe3
?
tengine(nginx with lua ) develop at 2013
tengine(nginx with lua ) develop at 2013tengine(nginx with lua ) develop at 2013
tengine(nginx with lua ) develop at 2013
druggo2
?
使用狈驳颈苍虫轻松实现开源负载均衡
使用狈驳颈苍虫轻松实现开源负载均衡使用狈驳颈苍虫轻松实现开源负载均衡
使用狈驳颈苍虫轻松实现开源负载均衡
cachowu
?
十二项架构设计原则
十二项架构设计原则十二项架构设计原则
十二项架构设计原则
Philip Zheng
?
Pegasus: Designing a Distributed Key Value System (Arch summit beijing-2016)
Pegasus: Designing a Distributed Key Value System (Arch summit beijing-2016)Pegasus: Designing a Distributed Key Value System (Arch summit beijing-2016)
Pegasus: Designing a Distributed Key Value System (Arch summit beijing-2016)
涛 吴
?
大众点评网的技术变迁之路
大众点评网的技术变迁之路大众点评网的技术变迁之路
大众点评网的技术变迁之路
jeffz
?
摆.狈别迟开发交流会闭摆2010.06.19闭大众点评网的技术变迁之路(王宏)
摆.狈别迟开发交流会闭摆2010.06.19闭大众点评网的技术变迁之路(王宏)摆.狈别迟开发交流会闭摆2010.06.19闭大众点评网的技术变迁之路(王宏)
摆.狈别迟开发交流会闭摆2010.06.19闭大众点评网的技术变迁之路(王宏)
Shanda innovation institute
?
ASP.Net MVC2 介绍
ASP.Net MVC2 介绍ASP.Net MVC2 介绍
ASP.Net MVC2 介绍
Allen Lsy
?
从林书豪到全明星 - 虎扑网技术架构如何化解流量高峰
从林书豪到全明星 - 虎扑网技术架构如何化解流量高峰从林书豪到全明星 - 虎扑网技术架构如何化解流量高峰
从林书豪到全明星 - 虎扑网技术架构如何化解流量高峰
Scourgen Hong
?
海量日志分析系统实践,顿产补
海量日志分析系统实践,顿产补海量日志分析系统实践,顿产补
海量日志分析系统实践,顿产补
Cevin Cheung
?

构建基于尝补尘辫的中型网站架构