狠狠撸

狠狠撸Share a Scribd company logo

Linux运维趋势 第0期 运维自动化

?
?
51CTO
51CTO

《Linux运维趋势》是由 51CTO 系统频道策划、针对 Linux/Unix 系统运维人员的一份电子杂志，内容从基础的技巧心得、实际操作案例到中、高端的运维技术趋势与理念等均有覆盖。 本期内容关注运维自动化，内容索引如下： 【人物】运维专家李洋：漫谈基于开源服务的运维自动化实现........3 【八卦，趣闻&数字】.................5 【国际前沿】什么是DevOps？.....................6 【运维漫画阁】正则表达式有什么用？....................10 【命令行&工具】面向Linux系统管理员的开源工具链..........11 【命令行&工具】自动化开源工具一览.............14 【实战】Kickstart无人值守安装搭建RHCE实验室.......16 【实战】戏说Cobbler：Linux网络安装的革命...........20

1 of 21
Downloaded 39 times
2010 年 9 月 第零期（测试刊） 本期主题：运维自动化 关键字：DevOps，开源运维工具，Kickstart，Cobbler，敏捷运维
本期内容索引 Linux 运维趋势 第 0 期 运维自动化 杂志策划：51CTO 系统频道 【人物】运维专家李洋：漫谈基于开源服务的运维自动化实现.................3 本期主编：lazycai 【八卦，趣闻&数字】.......................................................................................5 本期专家：李洋 【国际前沿】什么是 DevOps？......................................................................6 技术顾问：抚琴煮酒、王文文 【运维漫画阁】正则表达式有什么用？.......................................................10 特别顾问：杨文飞 【命令行&工具】面向 Linux 系统管理员的开源工具链...........................11 Logo 制作：高鹏飞 【命令行&工具】自动化开源工具一览........................................................14 交流圈子：http://g.51cto.com/linuxops 邮件群组：groups.google.com/group/linuxops-cn 【实战】Kickstart 无人值守安装搭建 RHCE 实验室.................................16 （订阅方式：发送 Email 到 【实战】戏说 Cobbler：Linux 网络安装的革命........................................20 linuxops-cn+subscribe@googlegroups.com） 【下期预告】.....................................................................................................21 投稿信箱：yangsai@51cto.com （注：本杂志并不单独接受投稿，所有投稿的接受对象为 51CTO 系统频道） Linux 运维趋势 2010 年 9 月 第 0 期 第 2 页 交流圈：http://g.51cto.com/linuxops
【人物】运维专家李洋：漫谈基于开源服务的运维自动化实现 【人物】运维专家李洋：漫谈基于开源服务的运维自动化实现 李洋，博士毕业于中科院计 觉特别好用、眼睛一亮的？ 人物专访 | 李洋 算所。10 多年来一直从事计 李洋：其实 Linux 下的运维工具不算太多，我 采访&编辑：杨赛 算机网络信息安全研发工作 ， 觉得比较好用的包括 RedHat 提供的 Kickstart 随着各种业务对 IT 的依赖性渐重以及云计 曾主持和参与多项国家重点 Installations 自动安装解决方案，不过该方案 算技术的普及，公司平均的 IT 基础架构规模正 项目以及信息安全系统和企 相对比较繁琐；目前有的工程师认为 Cobbler 不断扩张。有些 Web 2.0 公司可能会需要在两 业信息安全系统的研发工作 。 是让人眼前一亮的好工具，个人感觉也挺不错。 个星期内增加上千台服务器，因此对运维而言， 具有 Linux 系统应用、管理 、 另外，其实 Linux 下能够方便地通过编写 shell 通过手动来一个一个搭建的方法不仅麻烦、效 安全及内核的研发经验，擅长网络安全技术、 脚本、使用 CronTab 等方法来进行运维，个人 率低下，而且非常不利于维护和扩展。即使是 协议分析、Linux 系统安全技术、Linux 系统及 认为这也是非常不错的选择。 在传统的公司当中，日常的备份、服务器状态 网络管理、Linux 内核开发等。 51CTO：有人理解自动化就是运维为了减少重 监控和日志，通过手动的方式来进行的效率也 51CTO：能否先大致谈谈您的运维经历？ 复枯燥的工作而建立的流程方法，而除此之外， 很低，是一种人力的浪费。因此，自动化早已 李洋：我的运维经历分 3 个阶段： 自动化还能够带来减少人为错误、及时报警与 是每个运维都必须掌握的看家本领。 （1）靠纯手工、重复地进行软件部署和运维； 故障恢复、提高业务可用性等好处。您对运维 在不同的公司中，自动化的规模、需求与 （2）通过编写脚本方便地进行软件部署和运维； 工作自动化是如何理解的？您认为自动化的技 实现方式都各不相同，因此在技术细节层面， （3）借助第三方工具高效、方便地进行软件部 能/意识对于运维的重要程度如何？ 运维之间很难将别的公司的方法整个套用过来。 署和运维。 李洋：运维工作自动化确实包含上述 2 个方面， 然而在很多情况下，自动化的思路是有共通之 这几个阶段是随着我知识、经验、教训不断积 归纳总结来其实就是：把零碎的工作集中化， 处的。因此，51CTO 系统频道最近邀请了中国 累而不断演进的。而且，第 2 个阶段和第 3 个 把复杂的工作简单有序化，把流程规范化，最 移动通信研究院的项目经理李洋先生，就运维 阶段也可以说是齐头并进的。Linux 下的第三 大化地解放生产力，也就是解放运维人员。 自动化实现，尤其是基于开源工具的运维自动 方工具虽说已经不少了，但是 Linux 下的脚本 自动化的技能/意识对于运维工作至关重要。运 化，谈了谈自己的经验和看法。 编写对运维工作的促进是绝对不可以忽视的。 维工作不是简单的使用工具，这里面还有很多 所以我在实践中一直是两种方式都采用。 技巧和意识。具体的技巧/意识包括： 51CTO：在 Linux 下有哪些运维工具是让您感 （1）如何驾驭这些琳琅满目的工具为己所用 Linux 运维趋势 2010 年 9 月 第 0 期 第 3 页 交流圈：http://g.51cto.com/linuxops
【人物】运维专家李洋：漫谈基于开源服务的运维自动化实现 （2）如何根据不同的应用环境来选用不同的工 李洋：我在选择上对于百万量级、千万量级的 渠道来学习有关自动化方面的经验知识？ 具 网站尤其会考虑选择成熟的工具、性能高的工 据我个人的经验，很多专业网站，比如 （3）如何根据应用来组合使用工具 具、熟悉的工具。而对于小规模的网站，则会 51CTO、网管员世界等都是很不错的媒体，我 等等等等。一定要记住一点：工具是来帮助人 考虑选择一些开源的、免费的工具。这个原则 看有这方面的很多文章，运维人员可以多多涉 进行运维的，这中间还需要人的干预和决策， 就是以应用为导向，百万量级、千万量级的网 猎和学习；另外，运维人员还可以根据选择的 工具不能代替完全的运维工作。 站牵涉的面广、要求高，不成熟的工具往往很 自动化工具，登陆该工具的网站进行学习，一 51CTO：自动化针对的范围可以大致分为安装 难说服我使用，所以主要是在成熟度方面。 般这样的网站都会有一些运维的基础知识来辅 自动化、部署自动化、监控自动化等方面。除 51CTO：很明显，自动化的实现不是单纯学习 助运维人员更快地熟悉工具使用。 此之外，还有哪些方面是您比较关注的？（比 几个工具就能够做好的，甚至于规划不好的情 原文链接： 如软件发布、更新、备份等）对于这几个方面 况，自动化不仅没有节省人力，反而带来了更 http://os.51cto.com/art/201009/224077.htm 的技术实现，您一般采用哪些工具？这些工具 多的问题。您建议运维人员在考虑自动化流程 相关阅读： 相比其他同类工具的优势在哪里？ 的过程中应该遵循怎样的原则或思路？ 网站运维之道 之自动化管理 via dbanotes.net 李洋：自动化其实还包括软件发布自动化、升 李洋：其实前面多多少少也谈到这个问题了。 怎样做一个优秀而懒惰的系统管理员 via ixpub 级自动化、安全管控自动化、优化自动化等等。 归纳一下，包括如下几点原则： 系统管理员与开发者界限日渐模糊 via 51CTO 我个人比较关注管理和安全方面的技术实现， （1）根据应用选择工具 比如说 HP 和 IBM 出品的一些 ITIL 和 ITSM 产 （2）对于关键应用，选择成熟度高的工具 品等我都在使用，比如 HP Openview，IBM （3）不能过分依赖一种工具，需要进行对比和 Tivoli 等等。这些工具都有 Linux 的版本，与 分析 其他同类工具相比的优势应该在于他们的商业 （4）对工具的特性做到精通 应用成熟度，都是老品牌了。 （5）是人驾驭工具，人要监督工具，而不是工 51CTO：针对一个小规模的网站，到百万量级、 具来驾驭人 千万量级的网站，您在考虑工具的选择上会有 （6）别忘了脚本。 怎样的不同？ 51CTO：您推荐运维人员可以通过哪些资源、 Linux 运维趋势 2010 年 9 月 第 0 期 第 4 页 交流圈：http://g.51cto.com/linuxops
【八卦，趣闻&数字】 【八卦，趣闻&数字】 【BTRFS】根据 Ubuntu 开发团队称，由于没 【Apache】到 2010 年 8 月为止，在互联网上 【Sikuli】Sikuli 是一种利用图片（快照）去搜 有充足的时间，无法完成余下的 BTRFS 开发工 的 213,458,815 个网站中，Apache 依然是全 索和自动化 GUI 的视觉技术，Sikuli 脚本可以 作，因此也就是说在 10.10 中将不会完全支持 球最受欢迎的 Web 服务器，数量高达 670 万 自动化你在屏幕上看到的一切，而这不需要内 BTRFS 。 - wowubuntu 台。 - NetCraft 部 API 的支持。有些人说 Sikuli 看起来只是另 一个按键向导或是 AutoHotkey，但其实 【ZFS】开发 Native ZFS for Linux 项目的 【Linux Web Server】根据 2010 年 7 月的数 Sikuli 还有许多在这个直观意义之上的潜力。 - KQ Infotech 公司将在 9 月 15 日左右正式发 据，全球每十个基于 Linux 的 Web 服务器当中， vgod(Sikuli 项目发起者) 布一个完全可用的 Linux Kernel ZFS 模块。- 就有三个 CentOS，两个半 Debian，一个半 Phoronix RHEL，以及一个 Ubuntu。 - W3techs 【桌面环境】从调查可以看出来，GNOME 和 KDE 是目前的主流环境，而 Xfce、LXDE、 【Ubuntu】据说 Ubuntu 11.04 将舍弃一直 【Servers】2007 年，Intel 约有 10 万台服务 Openbox 和 Fluxbox 等也已经得到了很高的 以来的新立德（Synaptic）软件安装程序，而 器，Facebook 约有 3 万台服务器，微软约有 应用。 - Distrowatch 完全采用 Ubuntu 软件中心的机制。现在应用 13 万台服务器，而 Google 则据说已经超过了 软件商店在各处大火特火，这也许是 Ubuntu 100 万台服务器。2010 年，Google 的服务器 【Cobbler】我一直怀疑 Cobbler 是中国人命 将来盈利模式的重点？ - Ubuntu 数量到达千万了么？-Datacenterknowledge 名的项目，因为 PXE 发音为"pixie"(皮鞋)，而 Cobbler 的中文意思是"补鞋匠"。 - Fenng 【Fedora】代号 Laughlin 的 Fedora 14 已经 【Varnish】Varnish 是一种状态艺术，高性能 发布了 Alpha 版本，此次版本中，systemd 取 的 web 加速器。简单直白的 VCL 配置文件， 【Linux 入门】硬体驱动程序是学习 Linux 者 代 upstart 成为进程管理，整合了 KDE 4.5 桌 和 nginx 的配置文件有几分相似，强大的监控 的恶梦。笔者认为 Ubuntu 在这方面比 SUSE 面，引入 D 语言支持，更新 Python, Perl 和 和分析工具，还有强大的 CLI 管理工具，这些 周全。在 Red Hat 或 SUSE 的环境中，对于太 Erlang，并为 Perl 6 增加了 Rakudo 支持。 - 工具都可以大大的增强 varnish 的可管理和可 新或比较冷门的硬件，大多没有预设驱动程序， Fedora 分析性。并且由于 varnish 先进的架构，发展 需要自己去找。但熟悉 Ubuntu 后，还是要去 的趋势就是替代 squid 服务器。 - Andy Feng 接触 SUSE 或 Red Hat，因为 SUSE 或 Red Hat 是公司级应用 Linux 的正统。 Linux 运维趋势 2010 年 9 月 第 0 期 第 5 页 交流圈：http://g.51cto.com/linuxops
【国际前沿】什么是 DevOps？ 【国际前沿】什么是 DevOps？ 的和竞争关系，而且通常工作在不同的地点。 国际前沿 | DevOps 原文：What is DevOps? 让混乱之墙更坚固的还包括开发和运维工 作者：Damon Edwards 具之间的错位。看一下开发者要求和日常使用 译者：吕欣 的常见工具，再看一下系统管理员，你会发现 两者存在很大不同，开发人员没有兴趣使用运 如果你对 IT 管理感兴趣，尤其是对 Web 运 维人员的工具，反之亦然；而且两部分工具之 维感兴趣，那么最近一定会注意到 DevOps 这 间也不存在重要的集成。即使在某些工具类型 一热词的出现（注：在英文中，Developer 指 上有一些重叠之处，使用方式也完全不同。 图 1 开发要变化，运维要稳定 开发者，Operations 指运维，而 DevOps 一 以开发为中心的人通常认为，变化会带来 当应用程序变动需要从开发团队推向运维 词也就是开发+运维的意思）。 回报。公司依靠他们来应对不断变化的需求。 团队时，混乱之墙的存在则将变得更加明显。 在许多方面，DevOps 是一个集合性概念， 因此他们被鼓励尽可能进行变革。 有人将其称为一个“版本发布(Release)”，有 指的是能够理顺开发和运维之间相互配合关系 人则称其为一次“部署(deployment)”，但有 而运维人员则往往视变化为敌人。公司依 的任何事物，但是 DevOps 背后的理念要比上 一件事情是公认的，问题可能会随之而来。下 靠他们维持正常业务运维和实施让公司赚钱的 述说法更深远。 图虽然是一个抽象化场景，但是如果你经历过 服务。由于变化会影响稳定性和可靠性，运维 什么是 DevOps？ 这一过程，一定会感觉到它的真实性。 业务有理由对它说不。我们已经多次听到过如 下统计数字：在所有宕机事件中有 80%情况是 开发人员把一个软件版本“扔”给墙对面 人们越来越意识到传统意义上的开发行为 源于自杀式的改变。 的运维人员。后者拿到该版本产物后开始准备 和运维行为存在脱节现象，从而导致冲突和低 将其部署。运维人员手动修改由开发者提供的 效。正如 Lee Thompson 和 Andrew Shafer 开发人员和运维人员认识世界的方法存在 部署脚本或创建自己的脚本。他们还需要修改 所言，在开发和运维之间存在一面“混乱之 根本性的差别。他们都认为自己的做法是正确 配置文件来适应与开发环境大不相同的真实生 墙”。相互冲突的动机、流程和工具导致了这 的。的确，孤立的来看他们都是正确的。 产环境。最完美的情况是，他们重复在此前环 面“墙”的存在。 更糟糕的是，开发和运维团队通常处于公 境中已完成的工作；而糟糕的情况是，他们将 司组织架构的不同部分，通常具有不同管理者 Linux 运维趋势 2010 年 9 月 第 0 期 第 6 页 交流圈：http://g.51cto.com/linuxops
【国际前沿】什么是 DevOps？ 引入或发现新的漏洞。 才让生产环境恢复到正常状态。 注意。 部署阶段已经非常明显的需要 DevOps 理 【名词定义】IT 融合：公司渴望达到的一个状 念来解决问题，但需要 DevOps 的绝不仅仅是 态，能够高效的使用信息技术来达到公司目标 这一阶段。正如 John Allspaw 所指出的那样， ——通常是提高公司业绩或市场竞争力。 开发和运维之间的协作需求在部署之前就已存 通过从共同公司目标角度出发来校准开发 在，同时也会在部署之后的长时间之内继续存 和运维的职责和流程，DevOps 有助于实现 IT 在。 融合。开发和运维人员需要明白，它们仅仅是 DevOps 所带来的好处 一个统一业务流程中的一部分。DevOps 思想 确保个体决策和行为应力求支持和改进这个统 图 2 从开发到运维 DevOps 是一个非常强大的概念，因为它 一的业务流程，无论你是来自哪一个组织架构。 运维人员然后开始进行他们自认为正确的 可以在众多不同层面上产生共鸣。 【名词定义】业务敏捷性：一个机构以高效、 部署过程。由于开发和运维之间的脚本、配置、 从开发或运维人员来看，DevOps 可以让 经济的方式迅速适应市场和环境变化的能力。 过程和环境存在差别，这一部署过程实际上也 他们从众多烦恼中解脱出来。它虽然不是具有 是首次被执行。当然，期间如果发生一个问题， 当然对于开发人员来说，“敏捷”有专门 魔力的万灵药，但是如果你能够让 DevOps 奏 开发人员会被要求来帮助进行排障。运维人员 的含义，但目标是非常类似的。敏捷开发方法 效，则会节省大量时间，而且不至于打击自己 会说开发团队给的产物存在问题。而开发人员 旨在保持软件开发工作与客户/公司的目标同步， 的士气。显而易见，投入精力将 DevOps 落到 则会回应称该产物在他们的环境下运行良好， 尽管需求不断变化，也可以产生高品质软件。 实处，我们应该会更加高效、更加敏捷和减少 因此一定是运维人员在部署的过程中做错了什 对于多数机构来说，迭代项目管理方法 Scrum 挫败感。 么。由于配置、文件存储位置和过程的不同， 是敏捷的代名词。 对于公司来说，DevOps 直接有助于实现 开发人员诊断问题也并非一件易事。 业务敏捷性承诺，在公司权益集团作出决 两个强大战略性公司品质，“业务敏捷性”和 没有一个可靠的方式来把环境回滚到此前 策和开发者进行响应之间能够紧密互动和快速 “IT 融合”。它们可能不是 IT 人士所担忧的事 已知的正常状态。本来应该一帆风顺的部署过 反馈。看一下一家运转良好的敏捷开发团体的 情，但是却应该获得掌握财政大权的管理者的 程最后变成一场救火行动，经过反复测试之后 产物，你会看到一个与业务需求保持一致的稳 Linux 运维趋势 2010 年 9 月 第 0 期 第 7 页 交流圈：http://g.51cto.com/linuxops
【国际前沿】什么是 DevOps？ 定持续改进。但是，当你从公司角度回顾一下 业务运维，使其能够与开发过程的创新保持同 运维生命周期必须被看作一个端对端的流程。 整个开发-运维周期，敏捷方法的相关优势通常 步，DevOps 可以做到这一点。 流程的不同阶段可以采取不同的方法，只要这 会变得非常模糊。混乱之墙导致了应用程序生 些流程可以被组合到一起创建一个统一的流程。 如何将 DevOps 落到实处？ 命周期的分裂，开发和运维分别按照不同的节 与评价和激励的问题相似的是，实现这个统一 奏进行。实际上，产物部署之间的长期间隔使 和多数新出现的话题一样，发现问题的共 的流程时每个组织可能会有略微不同的需求。 得一个团体的敏捷工作变成了它一直试图避免 性特点要比找到解决方案容易的多。 3、统一的工具 的瀑布生命周期。当存在混乱之墙时，无论开 要想实现 DevOps 相关解决方案，以下三 这是大多数 DevOps 讨论一直在关注的领 发团体有多么敏捷，改变公司缓慢和迟钝的特 方面需要关注： 域。这一点不令人吃惊，因为当技术专家在考 点是极其困难的。 1、评价和鼓励改变文化 虑解决一个问题时，第一反应往往就是直接跳 改变文化和激励系统从来不是一件易事。 转到工具讨论上。如果你关注 Puppet、Chef 但是，如果你不改变公司文化，兑现 DevOps 或 ControlTier 等工具社区，那么你可能已经 的承诺将非常困难。考察一个公司的主导文化 意识到人们对在开发和运维工具之间建立桥梁 时，你需要紧密关注如何评价和判断公司业绩。 的重大关注。“基础设施即代码”、“模型驱 评价的内容将影响和刺激行为的发生。开发-运 动自动化”和“持续性部署”都是可以划归 维生命周期中的所有当事方需要明白，在更大 DevOps 旗下的概念。 的公司流程中自己只是其中一部分。个体和团 对于把 DevOps 变为现实需要哪些类型的 队的成功都要放在整个开发-运维生命周期内来 工具，Jake Sorofman 提出如下建议： 进行评价。对于许多机构来说，这是一个转变， 一个版本控制软件库 不再是孤立的来进行业绩评价，每一个团队不 它可以确保所有系统产物在整个版本发布 图 3 敏捷的开发，瀑布的组织 再是基于自己的团队来评价和判断业绩好坏。 生命周期中被很好的定义，且能够实现一致性 DevOps 能将敏捷开发的优势体现在机构 2、统一标准化的流程 共享，同时保持最新信息。开发和 QA 机构能 层面上。通过考虑到快速、反应灵敏但稳定的 这是 DevOps 的一个重要主题，整个开发- 够从中取得相同平台版本，生产机构部署已经 Linux 运维趋势 2010 年 9 月 第 0 期 第 8 页 交流圈：http://g.51cto.com/linuxops
【国际前沿】什么是 DevOps？ 被 QA 机构验证过的相同版本。 DevOps，因为那是 DevOps 团队的问题。 深层模型系统 设想一下，你不会说“我需要招聘一个 它的版本系统清晰的描述了软件系统相关 Agile”或“我需要招聘一个 Scrum”或“我 的所有组件、策略和依赖性，从而可以简单的 需要招聘一个 ITIL”，而只是会说需要招聘了 根据需要复制一个系统或在无冲突的情况下引 解这些概念或方法的开发人员、项目经理、测 入变化。 试人员或系统管理员。DevOps 也是同样道理。 人工任务的自动化 与 DevOps 具有相同理念的术语很多，例 如敏捷运维（Agile Operations）、敏捷基础 在依赖关系发现、系统构造、配置、更新 设施（Agile Infrastructure）和 Dev2Ops。 和回滚等过程中，减少人工干涉。自动操作变 还有很多人虽然没有提及“DevOps”，但却 为高速、无冲突和大规模系统管理的命令和控 在遵循着类似的理念。 制基础。 原文地址： 在从开发到运维的生命周期中存在许多不 http://os.51cto.com/art/201009/223199.htm 同的工具。工具选择和执行决策需要根据它们 对端到端生命周期的影响来决定。 相关阅读： 开发者与系统管理员的争执:不要碰我的生产环境! 对于 DevOps 的澄清 via 外刊 IT 评论 敏捷运维概述 via InfoQ 中文站 现在某些系统管理员正在试图把自己的岗 初探敏捷开发 via 51CTO 开发频道 位名称改为“DevOps”。但是，DevOps 不 应该是一个单一的位置或职称。把 DevOps 变 成一个新职位名称或特定角色是一件非常危险 的事情。例如这会导致以下错误端点：你是一 个 DBA？或者是一个安全专家？那么不用担心 Linux 运维趋势 2010 年 9 月 第 0 期 第 9 页 交流圈：http://g.51cto.com/linuxops
【运维漫画阁】正则表达式有什么用？ 【运维漫画阁】正则表达式有什么用？ 漫画国际来源： http://imgs.xkcd.com/comics/regular_expressions.png 有关 Perl Perl（Practical Extraction and Report Language）是一 种脚本语言，最初由 Larry Wall 于 1987 年 12 月 18 日发表。 被称之为“一种拥有各种语言功能的梦幻脚本语言”、 “Unix 中的王牌工具”。 推荐阅读： 善用脚本 让你的 Nagios 记录系统监控日志 自动分析黑名单及白名单的 iptables 脚本 正则表达式完全学习手册：菜鸟入门指导 全面分析 Linux 正则表达式（一） 全面分析 Linux 正则表达式（二） 全面分析 Linux 正则表达式（三） 全面分析 Linux 正则表达式（四） 全面分析 Linux 正则表达式（五） 全面分析 Linux 正则表达式（六） Linux 运维趋势 2010 年 9 月 第 0 期 第 10 页 交流圈：http://g.51cto.com/linuxops
【命令行&工具】面向 Linux 系统管理员的开源工具链 【命令行&工具】面向 Linux 系统管理员的开源工具链 公司。 架构进行改变（无论是次数还是规模）来降低 命令行&工具 | 开源工具链 风险。而敏捷的运维思路是，通过频繁的微小 原文：Open Source Toolchains for Linux DevOps 和 Agile 并不被定义为是一次技术 变化来改善服务器的性能，而由于每次的变化 Systems Administrators 性改变，而是专业和文化上的改变。它们重新 都很小，当出现问题的时候，他们可以轻易地 作者：Mark Hinkle 定义了 IT 管理员的职能：从系统和 IT 架构维护 跟踪那些影响架构的不利变化。 译者：哲婷 向管理和定义可复制的、有弹性的和高度可用 的 IT 系统转变。 为了实现这些目标，系统工程师需要一个 今天的系统管理有两大明显趋势，它们是 更强大的工具包。幸运的是，开源界为了这一 这一变化势必会带来一些战术上的改善， DevOps 和进展稍微迟缓的敏捷运维运动。这 目标已经研发了大量的工具。 用以达成更高的可用性和工作效率。以下做法 些措施流行于许多 Web 2.0 和云计算公司，比 是敏捷系统工程师们最常使用的办法： 开源工具链 如 Twitter、谷歌还有雅虎，当然也不乏像 Facebook 这样其产物高度依赖 IT 技术的公司。 1、基础架构自动化 软件开发者们对于工具链相当熟悉：一个 但是，实际上这种做法也同样非常适合传统企 相比起执行重复任务而言，管理员们需要 程序的输出构成了另一个程序的录入，从而组 业中的 IT 管理员们，这些公司往往都有大规模 创建机械化进程，让它们有效的使用工具。这 成了一系列程序。比如说，使用 GNU Emacs 的基础架构和不切实际的工作负荷，需要提高 些工具可以用来生成一致的结果并被团队中的 编辑器，GNU bin-utils 和 GNU 编译器集 工作效率来达成其业务目标。 其他成员所分享。 （GCC）的组合。软件开发者们编写很多在其 DevOps 鼓励与开发者们共同进行产物研 2、服务器版本控制 它程序中调用的程序与流程，而不是将同一段 发。系统管理员的角色经历了不断的变化，已 任何变化并不直接应用到服务器上，而是 代码在所有的地方都重复一遍。 经从被动执行重复系统建设任务的基础架构维 应用到一个中央软件库内。所有改变从中央软 有了新生的 DevOps 和敏捷运维运动，运 护者演变成现在的系统设计和建设工程师。在 件库推送到服务器上，从而建立一个在出现错 维人员们组成了社区，帮助人们用自己所喜爱 过去，系统管理员可能在一批随机的脚本中搜 误的时候的回滚机制。 的工具来定义属于自己的工具链。DevOps 的 集他们的专业领域知识；但是现在，精明的系 工具链项目就是这些社区当中的一员。 3、频繁的改进和发布/更新 统工程师们已经开始编写基础架构，并可以确 旧的思维方式是，尽可能减少对服务器和 正如软件开发商有不同的专用工具来串联 保对于这些编码的理解和制度化能够遍及整个 Linux 运维趋势 2010 年 9 月 第 0 期 第 11 页 交流圈：http://g.51cto.com/linuxops
【命令行&工具】面向 Linux 系统管理员的开源工具链 成一条软件工具链（比如编辑、编译、构建脚 整合系统管理工具 可以在系统安装完毕后进行服务的自动更新。 本等），系统管理员也可以运用由这些能够实 开源工具链十分善于维护高服务水平，因 开源工具链的另外一个例子是将预备、配 现自动管理功能和维护 Linux 服务器的工具组 为自动化和准确无误的运作比手动解决问题更 置和自动化集成到一起的工具，比如由红帽资 成的工具链。它们可以分为三大类：预备、配 快、更有效率。如果你想保持五个九的可用服 助的 Genome 项目。 置管理和监控。 务水平（99.999%的正常运行时间），那么你 在每一年中只允许有 5 分 15 秒的停机时间。对 于一个管理员而言，这样的时间甚至来不及接 收错误报告页，更不用说登陆到服务器进行问 题诊断了。 图 1 Genome 项目组成 构建工具链可以从使用服务器自动构建工 Genome 是一系列用于维持云架构的工具， 具开始。服务器自动构建工具可以加速部署速 1、预备类工具可以使 Linux 服务器上的软件安 可以部署多层次的网络应用，包括 Apache 反 度，并可以在短时间内大规模部署服务器，同 装包自动化。它们借助服务器上的软件包系统 向代理层，JBoss 应用服务器层，以及 时也可以让构建过程更容易复制。在发生严重 比如 rpm 或者 apt 来安装软件包，有些甚至会 PostgresSQL 数据库层。 故障时，还可以重建架构。 做一些粗略的配置工作。 上述大部分工具都是主动类的工具，可以 在早期，Linux 用户可能会整理出一个软件 2、配置管理和自动化是用来设置参数或者开启 用来进行变动并执行任务。然而，它们却缺乏 包列表，发至 rpm 进行批量软件安装。后来， 一个新服务器上的服务。它们也可以用来把系 对于当前系统状况的信息，于是监控工具就有 我们用 Kickstart 来执行无人值守的 Linux 安装。 统还原到遇到错误之前的状态。 了用武之地。对于传统系统管理员而言，监控 现在，Cobbler 把这个功能提升到了一个新的 3、监控工具用来收集服务器数据，从而生成可 无非是在发生错误的时候通过一个页面或者一 高度：它实现了物理机与虚拟机的并行系统构 用性、性能和其它系统状态的报告。 封邮件提醒他们。但是，监控工具（如 Nagios 建，并且可以进行 DHCP 和 DNS 的配置。 / OpenNMS / Zenoss Core）能够提供更为 Cobbler 还集成了其它的工具，比如用于 完善的服务器性能检测，可以告诉管理员们所 配置管理自动化的 Puppet 等软件。这个工具 Linux 运维趋势 2010 年 9 月 第 0 期 第 12 页 交流圈：http://g.51cto.com/linuxops
【命令行&工具】面向 Linux 系统管理员的开源工具链 有运行中的服务的状态。它们中的一些甚至可 输。每次在新的服务器上线时，Chef 都能够将 氛围利于开放标准、互操作性和开放 API，这 以提供在其它工具中开启程序的界面，比如 新情况推送至 Zenoss，并开始进行监测。 使得集成变得更为简单。 Zenoss Core 可以在一个检测状态台上通过 这次演示让大家认识到架构自动化改进系 无论你的基础架构如何，都可以试试看使 Cfengine、Chef 或者 Puppet 来重新配置服务。 统恢复的能力。在这种情况下，系统能够保持 用开源工具创建属于你自己的工具链，也许会 在一次 O'Reilly Velocity 的会议上，我们 内置冗余和多个网路服务器以及 DNS 之间的平 有想象不到的收获。 曾经进行过一次叫做 DevOps GameDay 的演 衡。当系统发现了故障时，架构可以在 90 秒内 原文地址： 示。一个网络应用程序被部署在东海岸和西海 进行自动恢复。虽然这只是一个简单的演示， http://os.51cto.com/art/201008/215653.htm 岸的亚马逊 EC2 数据中心。 但是同样的设计可以运用到其它的工具和情景 相关阅读： 中去。 "全世界系统管理员日"的由来 via Microsoft 总结 Linux 批量安装 五大开源软件挨个看 via 51CTO 系 统频道 多年以来，专有软件管理厂商一直在尝试 系统管理员应该定期完成的九件事 via 51CTO 系统 通过广泛的管理套件来提供完整的服务周期管 频道 理。这些产物通常在一个秘密环境下进行研发， 然后通过收购规模较小的公司的技术来进行不 断地补充。这种东拼西凑的方式往往让他们出 售给大多数用户的产物有着一长串的功能，但 图 2 DevOps GameDay 事实上总是效果少于承诺。 在西海岸的管理员制造了一些服务器故障。 Zenoss Core 对架构进行了监测，发现了故障 开源工具对于管理架构的好处不言而喻。 并且通知 OpsCode 的 Chef 采取行动。Chef 首先，它们为用户提供了选择余地。其次，技 随后通过 Dynect API 更新了 Dynect 平台上的 术得到了开放的发展，而终端用户能够更好的 服务，从而恢复了向东海岸设备的正常数据传 诠释功能集成软件的发展。第三，开源工具促 进创新，并且极具包容性。最后，开源软件的 Linux 运维趋势 2010 年 9 月 第 0 期 第 13 页 交流圈：http://g.51cto.com/linuxops
【命令行&工具】自动化开源工具一览 【命令行&工具】自动化开源工具一览 预备类 配置管理类 监控类 Kickstart Chef Nagios 【描述】针对红帽 Linux/Fedora 等发行版的自动 【描述】一个系统集成框架，可以用 Ruby 等代码完 【描述】一个强大的监控预警系统，可以监控系统、 化安装方式，简单的讲就是让系统在安装过程中从一 成服务器的管理配置并编写自己的库。 应用、服务以及各种进程的运行状况，并提供了多种 个 ks.cfg 配置文件中自动获取所有需要配置的参数。 警报机制。 【技术支持】OpsCode 源于 Anaconda 项目。 【技术支持】Nagios Enterprises 【起始于】2009 年 1 月 【技术支持】红帽/Fedora 社区 【发起人】Ethen Galstad 【官方网站】 【起始于】2004 年之前 http://www.opscode.com/chef/ 【起始于】1999 年 【维基】 ControlTier 【官方网站】 http://fedoraproject.org/wiki/Anaco http://www.nagios.org/ 【描述】一个开源、跨平台的构建/部署服务器的自 nda/Kickstart 动化框架，可以在多个节点、多个应用层上进行服务 OpenNMS Cobbler 扩展及管理等工作。 【描述】一个网络管理应用平台，可以自动识别网络 【描述】为了实现快速网络安装环境的 Linux 安装服 【技术支持】ControlTier 社区（Google 服务，事件管理与警报，性能测量等任务。 务器，可以为数量众多的 Linux 服务自动化执行任务。 Group） 【技术支持】openNMS group 【发起人】Michael DeHaan 【起始于】2007 年之前 【起始于】2005 年之前 【技术支持】红帽/Fedora 社区 【官方网站】 【官方网站】 【起始于】2007 年之前 http://controltier.org http://www.opennms.org/ 【官方网站】 https://fedorahosted.org/cobbler/ Linux 运维趋势 2010 年 9 月 第 0 期 第 14 页 交流圈：http://g.51cto.com/linuxops
【命令行&工具】自动化开源工具一览 预备类 配置管理类 监控类 OpenQRM Func Zabbix 【描述】针对数据中心管理的开源平台，针对设备的 【描述】全称为 Fedora Unified Network 【描述】用于监控网络上的服务器/服务以及其他网 部署、监控等多个方面通过可插拔式架构实现自动化 Controller，Fedora 统一网络控制器，用于自动 络设备状态的网络管理系统，后台基于 C，前台由 的目的，尤其面向云计算/基于虚拟化的业务。 化的远程服务器管理。 PHP 编写，可与多种数据库搭配使用。提供各种实时 报警机制。 【发起人】Matt Rechenburg 【发起人】Michael DeHaan 等 【技术支持】Zabbix 公司 【起始于】2005 年之前 【技术支持】红帽/Fedora 社区 【发起人】Alexei Vladishev 【官方网站】 【官方网站】 http://www.openqrm.com/ https://fedorahosted.org/func/ 【起始于】1998 年 Spacewalk Puppet 【官方网站】 【描述】针对红帽/Fedora 等发行版的软件更新管 http://www.zabbix.com/ 【描述】一个开源的数据中心自动化/配置管理框架， 理软件，同时也提供预备和监控的功能。这个项目衍 用于 Puppet 自己的声明语言自动化重现任意的系统 Zenoss Core 生了红帽 Network Satellite 产物。 配置。 【描述】一个基于 Zope 应用服务器的应用/服务器/ 【技术支持】红帽 【技术支持】Puppet Labs 网络管理平台，提供了 Web 管理界面，可监控可用性、 【起始于】2001（Red Hat Network）/2008 配置、性能和各种事件。 【官方网站】 http://www.puppetlabs.com/ 【技术支持】Zenoss Inc. 【官方网站】 http://spacewalk.redhat.com/ 【起始于】2002 年 【官方网站】 http://zenoss.com/ Linux 运维趋势 2010 年 9 月 第 0 期 第 15 页 交流圈：http://g.51cto.com/linuxops
【实战】Kickstart 无人值守安装搭建 RHCE 实验室 【实战】Kickstart 无人值守安装搭建 RHCE 实验室 服务器和 TFTP 服务器。DHCP 服务器用来给 PXE + KickStart 安装的条件 实战 | Kickstart PXE client（将要安装系统的主机）分配一个 作者：抚琴煮酒 执行 PXE + KickStart 安装需要的设备为： IP 地址，由于是给 PXE client 分配 IP 地址， 1. DHCP 服务器 本文记录了用 Kickstart 搭建 RHCE 实验室 所以在配置 DHCP 服务器时需要增加相应的 2. TFTP 服务器 环境的详细步骤。文中使用的环境为 RHEL 5， PXE 设置。此外，在 PXE client 的 ROM 中， 3. KickStart 所生成的 ks.cfg 配置文件 也同样适用于 CentOS。文章作者抚琴煮酒 已经存在了 TFTP Client。PXE Client 通过 4. 一台存放系统安装文件的服务器，如 （Andrew Yu）是经验丰富的 Linux/Unix 系 TFTP 协议到 TFTP Server 上下载所需的文件。 NFS、HTTP 或 FTP 服务器 统工程师，并曾经担任过一段时间的 RHCE 讲 什么是 KickStart 5. 带有一个 PXE 支持网卡的将安装的主机 师的工作。 KickStart 是一种无人职守安装方式，其工 下面介绍具体的安装步骤。 原理和概念 作原理是通过记录典型的安装过程中所需人工 干预填写的各种参数，并生成一个名为 ks.cfg 什么是 PXE 的文件；在其后的安装过程中（不局限于生成 严格来说，PXE 并不是一种安装方式，而 KickStart 安装文件的机器）当出现要求填写参 是一种引导的方式。进行 PXE 安装的必要条件 数的情况时，安装程序会首先去查找 KickStart 是要安装的计算机中包含一个 PXE 支持的网卡 生成的文件，当找到合适的参数时，就采用找 （NIC），即网卡中必须要有 PXE 客户端。 到的参数，当没有找到合适的参数时，才需要 PXE （Pre-boot Execution Environment， 安装者手工干预。这样，如果所有的 Kickstart 直译为预启动执行环境）协议使计算机可以通 参数都设置好，安装者完全可以只告诉安装程 过网络启动。协议分为 client 和 server 端， 序从何处取 ks.cfg 文件，然后去忙自己的事情。 PXE client 在网卡的 ROM 中，当计算机引导 等安装完毕，安装程序会根据 ks.cfg 中设置的 时，BIOS 把 PXE client 调入内存执行，由 重启选项来重启系统，并结束安装。 PXE client 将放置在远端的文件通过网络下载 到本地运行。运行 PXE 协议需要设置 DHCP Linux 运维趋势 2010 年 9 月 第 0 期 第 16 页 交流圈：http://g.51cto.com/linuxops
【实战】Kickstart 无人值守安装搭建 RHCE 实验室 一、安装 httpd 所以所需要的文件我只需要从/var/ftp 目录中复制就行了。 yum -y install httpd* 1、进入 tftpboot 文件夹，没有就建一个，有了就不用建了。 二、挂载 RHEL5 的 DVD 光盘，并复制第一张光盘下的所有内容（文件 cd /tftpboot/ 和文件夹）到/var/html/www 下 2、把 pxelinux.0 复制到/tftpboot/中 mount /dev/cdrom /mnt cp /usr/lib/syslinux/pxelinux.0 /tftpboot cp –rf /mnt/* /var/html/www 3、把 Linux 第一张安装光盘上/image/pxeboot/initrd.img 和 三、安装 tftp-server，并启用 tftp 服务，重启 xinetd 进程 vmlinux 复制到/tftpboot/中 rpm -ivh tftp-server-0.39-1.i386.rpm vi /etc/xinetd.d/tftp cp /var/ftp/image/pxeboot/initrd.img /tftpboot # default: off cp /var/ftp/image/pxeboot/vmlinux /tftpboot # description: ... 4、 复制第一张安装光盘上的 isolinux/*.msg 到/tftpboot/中 { socket_type = dgram cp /var/ftp/isolinux/*.msg /tftpboot protocol = udp 5、 在 tftpboot 中新建一个 pxelinux.cfg 目录 wait = yes user = root mkdir pxelinux.cfg server = /usr/sbin/in.tftpd server_args = -s /tftpboot 6、 把 Linux 第一张安装光盘上 isolinux 目录中的 isolinux.cfg 复制到 disable = no #disable 的值由 yes 变为 no pxelinux.cfg 目录中，并同时更改文件名称为 default per_source = 11 cd pxelinux.cfg cps = 100 2 cp /var/ftp/isolinux/isolinux.cfg flags = IPv4 /tftpboot/pxelinux.cfg/default } service xinetd restart 四、配置支持 PXE 启动 注意我已经把第一张光盘的内容复制到/var/www/html 目录中了， Linux 运维趋势 2010 年 9 月 第 0 期 第 17 页
【实战】Kickstart 无人值守安装搭建 RHCE 实验室 五、安装 dhcp 服务，同时修改配置 4、 启动 dhcp 服务 service dhcp start 1、 安装 rpm -ivh dhcp-3.0.1-12_EL.i386.rpm 六、 安装 kickstart 并进行配置 2、 复制配置模板文件到指定的目录中，并重命名 首先安装 Kickstart： cp /usr/share/doc/dhcp-3.0.1/dhcpd.conf.sample rpm -ivh system-config-kickstart-2.5.16-2.noarch.rpm /etc/dhcpd.conf 在 gnome 环境下配置 kickstart 的指令如下： 3、 修改配置文件，添加一行：filename "/pxelinux.0"，其他的修改 system-config-kickstart 自己完成就行了。这文件的位置一定要注意,不然会失败,切记 之后的配置步骤如下： [root@localhost isolinux]# vim /etc/dhcpd.conf 1. 基本配置，按自己需求来就好 ddns-update-style interim; 2. 安装方法，选择 httpd 安装，切记不要输入任何的帐号，我们采 ignore client-updates; 用的匿名安装 next-server 192.168.1.14;#PXE 服务器 IP 地址 3. 引导安装程序选项，不需要做更改 filename "/pxelinux.0";#注意此行的位置,写在 subnet 下面的话会失败 4. 分区信息，创建三个分区 subnet 192.168.1.0 netmask 255.255.255.0 { 5. 网络配置，我使用的静态分配地址(动态同样如此) # --- default gateway 6. 显示配置，按自己需求来就好 option routers 192.168.1.254; 7. 软件包的选择，我选择了 Kernel Developent 和 Development option subnet-mask 255.255.255.0; option nis-domain "example.com"; Tools 安装（但千万不要选择这两个软件包，不然的话在安装的时 option domain-name "example.com"; 候会报错的） option domain-name-servers 192.168.1.254; option time-offset -18000; 8. 其他的都是默认设置，没有做修改 # 其他配置参数 9. 生成文件 ks.cfg，保存到/var/www/html 下 # } Linux 运维趋势 2010 年 9 月 第 0 期 第 18 页
【实战】Kickstart 无人值守安装搭建 RHCE 实验室 七、修改/tftpboot/pxelinux.cfg/default 文件，指定读取 ks.cfg 的方法 最后，重新引导安装就可以了。 （ks=http://192.168.1.40/ks.cfg） 以上是我的配置步骤，如果没有出入的话，是一定可以成功的！ vi /tftpboot/pxelinux.cfg/default 原文地址： auth --useshadow --enablemd5 key --skip #这行一定要，跳过注册号输入，不然会失败 http://hi./yuhongchun027/blog/item/8ebd44b7102ee1f331add bootloader --location=mbr 1b1.html clearpart –all –initlabel text 推荐阅读： firewall --disabled RHEL5 无人值守安装图文攻略 via 51CTO 论坛 firstboot --disable keyboard us lang en_US logging --level=info url --url=http://192.168.1.14/ network --bootproto=dhcp --device=eth0 --onboot=on reboot rootpw --iscrypted $1$HEJKfwF9$r1l0JoPz74ToF9NbE3Qs1 selinux --disabled timezone --isUtc Asia/Shanghai intall xconfig --defaultdesktop=GNOME -depth=8 --resolution=640x480 part swap --bytes-per-inode=4096 --fstype="swap" --size=512 part /boot --bytes-per-inode=4096 --fstype-"ext3" --size=200 part / --bytes-per-inode=4096 --fstype="ext3" --grow --size=1 %packages #下面指定软件包列表即可 Linux 运维趋势 2010 年 9 月 第 0 期 第 19 页
【实战】戏说 Cobbler：Linux 网络安装的革命 【实战】戏说 Cobbler：Linux 网络安装的革命 的服务器上进行了测试，步骤如下： DHCP 配置模板，如果已经有一个 dhcpd.conf，可 实战 | Cobbler 参照修改此模板 作者：hutuworm 1. 安装相关软件： vi /etc/cobbler/sample.ks yum -y install cobbler tftp-server Kickstart 配置模板 从前，我们一直在做装机民工这份很有前 dhcp httpd xinetd 途的职业。自打若干年前 Red Hat 推出了 注意 /var/www/cobbler 目录必须具有足够容纳 5. 生成并同步所有配置： Linux 安装文件的空间（移动，建软链接） cobbler sync Kickstart，此后我们顿觉身价倍增。不再需要 刻了光盘一台一台地安装 Linux，只要搞定 2. 检查 cobbler 配置： 6. 启动相关服务： PXE、DHCP、TFTP，还有那满屏眼花缭乱不 cobbler check service xinetd start 按提示解决相关问题，把 /etc/cobbler/settings 中 /etc/xinetd.d/tftp 中 disable = no 知所云的 Kickstart 脚本，我们就可以像哈里 的 server 和 next_server 设为本服务器的 IP 地址， service dhcpd start 波特一样，轻点魔棒，瞬间安装上百台服务器。 manage_dhcp 设为 1，以便管理 DHCP service cobblerd start 这一堆花里胡哨的东西可不是一般人都能整明 3. 导入 Fedora 9 安装 DVD ISO 中的文件： 曹植七步成诗，而 Cobbler 居然只需要六 白的，没有大专以上学历，通不过英语四级， mount -o loop Fedora9/x86_64/Fedora- 步。启动另一台新服务器，通过 PXE 启动进入 根本别想玩转。总而言之，这是一份多么有前 9-x86_64-DVD.iso /mnt/dvd/ 蓝色的 Cobbler 安装界面，选择 Fedora 9 安 途，多么有技术含量的工作啊。 将 ISO 文件挂载到 /mnt/dvd 目录 装项，几分钟之内就能一气呵成，自动完成系 很不幸，Red Hat 发布了网络安装服务器 cobbler import --mirror=/mnt/dvd --name=FC9-x86-64 统安装。 套件 Cobbler（补鞋匠），它已将 Linux 网络 从 /mnt/dvd 目录导入所有安装文件，命名为 FC9- 原文地址： 安装的技术门槛，从大专以上文化水平，成功 x86-64 http://hutuworm.blogspot.com/2008/08/cobbl 降低到初中以下，连补鞋匠都能学会。对于我 cobbler distro list erlinux.html 们这些在装机领域浸淫多年，经验丰富，老骥 查看导入结果，应显示 FC9-64-i386 和 FC9-64- 相关阅读： 伏枥，志在千里的民工 兄弟们来说，不啻为一 xen-i386 个晴天霹雳（}雷{）。 漫谈运维：半神半仙亦民工 4. 修改 DHCP 和 Kickstart 配置模板： Cobbler 声称可以快速建立网络安装环境， vi /etc/cobbler/dhcp.template 那么到底有多快呢？我在一台装有 Fedora 9 Linux 运维趋势 2010 年 9 月 第 0 期 第 20 页 交流圈：http://g.51cto.com/linuxops
【下期预告】 【下期预告】 下期内容预告：监控与报警机制 时刻掌握服务器以及其上运行的应用服务的运行状态，是运维工程师们确保服务可用性的一大关键。下期内容将关 注 Linux/Unix 运维人员在监控方面需要注意的方面，届时我们将请一位资深运维来谈谈对于监控与报警方面的心得， 介绍一些国际上近期监控理念/技术方面的进展，并交流一些具体的操作心得，敬请关注！ 有关《Linux 运维趋势》 《Linux 运维趋势》是由 51CTO 系统频道策划、针对 Linux/Unix 系统运维人员的一份电子杂志，内容侧重中、高端 的运维技术趋势与理念，并以一些基础的技巧心得、实际操作案例作为辅助。 《Linux 运维趋势》是开放的非盈利性电子杂志，其中所有内容均收集整理自国内外互联网（包含 51CTO 系统频道 本身的内容）。对于来自国内的内容，编辑都会事先征求原作者的许可（八卦，趣闻&数字栏目例外）。如果您认为本 杂志的内容侵犯到了您的版权，请发信至 yangsai@51cto.com，或进入交流圈 http://g.51cto.com/linuxops 进行投 诉。 十分感谢您的阅读！ Linux 运维趋势 2010 年 9 月 第 0 期 第 21 页 交流圈：http://g.51cto.com/linuxops

More Related Content

Linux运维趋势 第0期 运维自动化

  • 1. 2010 年 9 月 第零期（测试刊） 本期主题：运维自动化 关键字：DevOps，开源运维工具，Kickstart，Cobbler，敏捷运维
  • 2. 本期内容索引 Linux 运维趋势 第 0 期 运维自动化 杂志策划：51CTO 系统频道 【人物】运维专家李洋：漫谈基于开源服务的运维自动化实现.................3 本期主编：lazycai 【八卦，趣闻&数字】.......................................................................................5 本期专家：李洋 【国际前沿】什么是 DevOps？......................................................................6 技术顾问：抚琴煮酒、王文文 【运维漫画阁】正则表达式有什么用？.......................................................10 特别顾问：杨文飞 【命令行&工具】面向 Linux 系统管理员的开源工具链...........................11 Logo 制作：高鹏飞 【命令行&工具】自动化开源工具一览........................................................14 交流圈子：http://g.51cto.com/linuxops 邮件群组：groups.google.com/group/linuxops-cn 【实战】Kickstart 无人值守安装搭建 RHCE 实验室.................................16 （订阅方式：发送 Email 到 【实战】戏说 Cobbler：Linux 网络安装的革命........................................20 linuxops-cn+subscribe@googlegroups.com） 【下期预告】.....................................................................................................21 投稿信箱：yangsai@51cto.com （注：本杂志并不单独接受投稿，所有投稿的接受对象为 51CTO 系统频道） Linux 运维趋势 2010 年 9 月 第 0 期 第 2 页 交流圈：http://g.51cto.com/linuxops
  • 3. 【人物】运维专家李洋：漫谈基于开源服务的运维自动化实现 【人物】运维专家李洋：漫谈基于开源服务的运维自动化实现 李洋，博士毕业于中科院计 觉特别好用、眼睛一亮的？ 人物专访 | 李洋 算所。10 多年来一直从事计 李洋：其实 Linux 下的运维工具不算太多，我 采访&编辑：杨赛 算机网络信息安全研发工作 ， 觉得比较好用的包括 RedHat 提供的 Kickstart 随着各种业务对 IT 的依赖性渐重以及云计 曾主持和参与多项国家重点 Installations 自动安装解决方案，不过该方案 算技术的普及，公司平均的 IT 基础架构规模正 项目以及信息安全系统和企 相对比较繁琐；目前有的工程师认为 Cobbler 不断扩张。有些 Web 2.0 公司可能会需要在两 业信息安全系统的研发工作 。 是让人眼前一亮的好工具，个人感觉也挺不错。 个星期内增加上千台服务器，因此对运维而言， 具有 Linux 系统应用、管理 、 另外，其实 Linux 下能够方便地通过编写 shell 通过手动来一个一个搭建的方法不仅麻烦、效 安全及内核的研发经验，擅长网络安全技术、 脚本、使用 CronTab 等方法来进行运维，个人 率低下，而且非常不利于维护和扩展。即使是 协议分析、Linux 系统安全技术、Linux 系统及 认为这也是非常不错的选择。 在传统的公司当中，日常的备份、服务器状态 网络管理、Linux 内核开发等。 51CTO：有人理解自动化就是运维为了减少重 监控和日志，通过手动的方式来进行的效率也 51CTO：能否先大致谈谈您的运维经历？ 复枯燥的工作而建立的流程方法，而除此之外， 很低，是一种人力的浪费。因此，自动化早已 李洋：我的运维经历分 3 个阶段： 自动化还能够带来减少人为错误、及时报警与 是每个运维都必须掌握的看家本领。 （1）靠纯手工、重复地进行软件部署和运维； 故障恢复、提高业务可用性等好处。您对运维 在不同的公司中，自动化的规模、需求与 （2）通过编写脚本方便地进行软件部署和运维； 工作自动化是如何理解的？您认为自动化的技 实现方式都各不相同，因此在技术细节层面， （3）借助第三方工具高效、方便地进行软件部 能/意识对于运维的重要程度如何？ 运维之间很难将别的公司的方法整个套用过来。 署和运维。 李洋：运维工作自动化确实包含上述 2 个方面， 然而在很多情况下，自动化的思路是有共通之 这几个阶段是随着我知识、经验、教训不断积 归纳总结来其实就是：把零碎的工作集中化， 处的。因此，51CTO 系统频道最近邀请了中国 累而不断演进的。而且，第 2 个阶段和第 3 个 把复杂的工作简单有序化，把流程规范化，最 移动通信研究院的项目经理李洋先生，就运维 阶段也可以说是齐头并进的。Linux 下的第三 大化地解放生产力，也就是解放运维人员。 自动化实现，尤其是基于开源工具的运维自动 方工具虽说已经不少了，但是 Linux 下的脚本 自动化的技能/意识对于运维工作至关重要。运 化，谈了谈自己的经验和看法。 编写对运维工作的促进是绝对不可以忽视的。 维工作不是简单的使用工具，这里面还有很多 所以我在实践中一直是两种方式都采用。 技巧和意识。具体的技巧/意识包括： 51CTO：在 Linux 下有哪些运维工具是让您感 （1）如何驾驭这些琳琅满目的工具为己所用 Linux 运维趋势 2010 年 9 月 第 0 期 第 3 页 交流圈：http://g.51cto.com/linuxops
  • 4. 【人物】运维专家李洋：漫谈基于开源服务的运维自动化实现 （2）如何根据不同的应用环境来选用不同的工 李洋：我在选择上对于百万量级、千万量级的 渠道来学习有关自动化方面的经验知识？ 具 网站尤其会考虑选择成熟的工具、性能高的工 据我个人的经验，很多专业网站，比如 （3）如何根据应用来组合使用工具 具、熟悉的工具。而对于小规模的网站，则会 51CTO、网管员世界等都是很不错的媒体，我 等等等等。一定要记住一点：工具是来帮助人 考虑选择一些开源的、免费的工具。这个原则 看有这方面的很多文章，运维人员可以多多涉 进行运维的，这中间还需要人的干预和决策， 就是以应用为导向，百万量级、千万量级的网 猎和学习；另外，运维人员还可以根据选择的 工具不能代替完全的运维工作。 站牵涉的面广、要求高，不成熟的工具往往很 自动化工具，登陆该工具的网站进行学习，一 51CTO：自动化针对的范围可以大致分为安装 难说服我使用，所以主要是在成熟度方面。 般这样的网站都会有一些运维的基础知识来辅 自动化、部署自动化、监控自动化等方面。除 51CTO：很明显，自动化的实现不是单纯学习 助运维人员更快地熟悉工具使用。 此之外，还有哪些方面是您比较关注的？（比 几个工具就能够做好的，甚至于规划不好的情 原文链接： 如软件发布、更新、备份等）对于这几个方面 况，自动化不仅没有节省人力，反而带来了更 http://os.51cto.com/art/201009/224077.htm 的技术实现，您一般采用哪些工具？这些工具 多的问题。您建议运维人员在考虑自动化流程 相关阅读： 相比其他同类工具的优势在哪里？ 的过程中应该遵循怎样的原则或思路？ 网站运维之道 之自动化管理 via dbanotes.net 李洋：自动化其实还包括软件发布自动化、升 李洋：其实前面多多少少也谈到这个问题了。 怎样做一个优秀而懒惰的系统管理员 via ixpub 级自动化、安全管控自动化、优化自动化等等。 归纳一下，包括如下几点原则： 系统管理员与开发者界限日渐模糊 via 51CTO 我个人比较关注管理和安全方面的技术实现， （1）根据应用选择工具 比如说 HP 和 IBM 出品的一些 ITIL 和 ITSM 产 （2）对于关键应用，选择成熟度高的工具 品等我都在使用，比如 HP Openview，IBM （3）不能过分依赖一种工具，需要进行对比和 Tivoli 等等。这些工具都有 Linux 的版本，与 分析 其他同类工具相比的优势应该在于他们的商业 （4）对工具的特性做到精通 应用成熟度，都是老品牌了。 （5）是人驾驭工具，人要监督工具，而不是工 51CTO：针对一个小规模的网站，到百万量级、 具来驾驭人 千万量级的网站，您在考虑工具的选择上会有 （6）别忘了脚本。 怎样的不同？ 51CTO：您推荐运维人员可以通过哪些资源、 Linux 运维趋势 2010 年 9 月 第 0 期 第 4 页 交流圈：http://g.51cto.com/linuxops
  • 5. 【八卦，趣闻&数字】 【八卦，趣闻&数字】 【BTRFS】根据 Ubuntu 开发团队称，由于没 【Apache】到 2010 年 8 月为止，在互联网上 【Sikuli】Sikuli 是一种利用图片（快照）去搜 有充足的时间，无法完成余下的 BTRFS 开发工 的 213,458,815 个网站中，Apache 依然是全 索和自动化 GUI 的视觉技术，Sikuli 脚本可以 作，因此也就是说在 10.10 中将不会完全支持 球最受欢迎的 Web 服务器，数量高达 670 万 自动化你在屏幕上看到的一切，而这不需要内 BTRFS 。 - wowubuntu 台。 - NetCraft 部 API 的支持。有些人说 Sikuli 看起来只是另 一个按键向导或是 AutoHotkey，但其实 【ZFS】开发 Native ZFS for Linux 项目的 【Linux Web Server】根据 2010 年 7 月的数 Sikuli 还有许多在这个直观意义之上的潜力。 - KQ Infotech 公司将在 9 月 15 日左右正式发 据，全球每十个基于 Linux 的 Web 服务器当中， vgod(Sikuli 项目发起者) 布一个完全可用的 Linux Kernel ZFS 模块。- 就有三个 CentOS，两个半 Debian，一个半 Phoronix RHEL，以及一个 Ubuntu。 - W3techs 【桌面环境】从调查可以看出来，GNOME 和 KDE 是目前的主流环境，而 Xfce、LXDE、 【Ubuntu】据说 Ubuntu 11.04 将舍弃一直 【Servers】2007 年，Intel 约有 10 万台服务 Openbox 和 Fluxbox 等也已经得到了很高的 以来的新立德（Synaptic）软件安装程序，而 器，Facebook 约有 3 万台服务器，微软约有 应用。 - Distrowatch 完全采用 Ubuntu 软件中心的机制。现在应用 13 万台服务器，而 Google 则据说已经超过了 软件商店在各处大火特火，这也许是 Ubuntu 100 万台服务器。2010 年，Google 的服务器 【Cobbler】我一直怀疑 Cobbler 是中国人命 将来盈利模式的重点？ - Ubuntu 数量到达千万了么？-Datacenterknowledge 名的项目，因为 PXE 发音为"pixie"(皮鞋)，而 Cobbler 的中文意思是"补鞋匠"。 - Fenng 【Fedora】代号 Laughlin 的 Fedora 14 已经 【Varnish】Varnish 是一种状态艺术，高性能 发布了 Alpha 版本，此次版本中，systemd 取 的 web 加速器。简单直白的 VCL 配置文件， 【Linux 入门】硬体驱动程序是学习 Linux 者 代 upstart 成为进程管理，整合了 KDE 4.5 桌 和 nginx 的配置文件有几分相似，强大的监控 的恶梦。笔者认为 Ubuntu 在这方面比 SUSE 面，引入 D 语言支持，更新 Python, Perl 和 和分析工具，还有强大的 CLI 管理工具，这些 周全。在 Red Hat 或 SUSE 的环境中，对于太 Erlang，并为 Perl 6 增加了 Rakudo 支持。 - 工具都可以大大的增强 varnish 的可管理和可 新或比较冷门的硬件，大多没有预设驱动程序， Fedora 分析性。并且由于 varnish 先进的架构，发展 需要自己去找。但熟悉 Ubuntu 后，还是要去 的趋势就是替代 squid 服务器。 - Andy Feng 接触 SUSE 或 Red Hat，因为 SUSE 或 Red Hat 是公司级应用 Linux 的正统。 Linux 运维趋势 2010 年 9 月 第 0 期 第 5 页 交流圈：http://g.51cto.com/linuxops
  • 6. 【国际前沿】什么是 DevOps？ 【国际前沿】什么是 DevOps？ 的和竞争关系，而且通常工作在不同的地点。 国际前沿 | DevOps 原文：What is DevOps? 让混乱之墙更坚固的还包括开发和运维工 作者：Damon Edwards 具之间的错位。看一下开发者要求和日常使用 译者：吕欣 的常见工具，再看一下系统管理员，你会发现 两者存在很大不同，开发人员没有兴趣使用运 如果你对 IT 管理感兴趣，尤其是对 Web 运 维人员的工具，反之亦然；而且两部分工具之 维感兴趣，那么最近一定会注意到 DevOps 这 间也不存在重要的集成。即使在某些工具类型 一热词的出现（注：在英文中，Developer 指 上有一些重叠之处，使用方式也完全不同。 图 1 开发要变化，运维要稳定 开发者，Operations 指运维，而 DevOps 一 以开发为中心的人通常认为，变化会带来 当应用程序变动需要从开发团队推向运维 词也就是开发+运维的意思）。 回报。公司依靠他们来应对不断变化的需求。 团队时，混乱之墙的存在则将变得更加明显。 在许多方面，DevOps 是一个集合性概念， 因此他们被鼓励尽可能进行变革。 有人将其称为一个“版本发布(Release)”，有 指的是能够理顺开发和运维之间相互配合关系 人则称其为一次“部署(deployment)”，但有 而运维人员则往往视变化为敌人。公司依 的任何事物，但是 DevOps 背后的理念要比上 一件事情是公认的，问题可能会随之而来。下 靠他们维持正常业务运维和实施让公司赚钱的 述说法更深远。 图虽然是一个抽象化场景，但是如果你经历过 服务。由于变化会影响稳定性和可靠性，运维 什么是 DevOps？ 这一过程，一定会感觉到它的真实性。 业务有理由对它说不。我们已经多次听到过如 下统计数字：在所有宕机事件中有 80%情况是 开发人员把一个软件版本“扔”给墙对面 人们越来越意识到传统意义上的开发行为 源于自杀式的改变。 的运维人员。后者拿到该版本产物后开始准备 和运维行为存在脱节现象，从而导致冲突和低 将其部署。运维人员手动修改由开发者提供的 效。正如 Lee Thompson 和 Andrew Shafer 开发人员和运维人员认识世界的方法存在 部署脚本或创建自己的脚本。他们还需要修改 所言，在开发和运维之间存在一面“混乱之 根本性的差别。他们都认为自己的做法是正确 配置文件来适应与开发环境大不相同的真实生 墙”。相互冲突的动机、流程和工具导致了这 的。的确，孤立的来看他们都是正确的。 产环境。最完美的情况是，他们重复在此前环 面“墙”的存在。 更糟糕的是，开发和运维团队通常处于公 境中已完成的工作；而糟糕的情况是，他们将 司组织架构的不同部分，通常具有不同管理者 Linux 运维趋势 2010 年 9 月 第 0 期 第 6 页 交流圈：http://g.51cto.com/linuxops
  • 7. 【国际前沿】什么是 DevOps？ 引入或发现新的漏洞。 才让生产环境恢复到正常状态。 注意。 部署阶段已经非常明显的需要 DevOps 理 【名词定义】IT 融合：公司渴望达到的一个状 念来解决问题，但需要 DevOps 的绝不仅仅是 态，能够高效的使用信息技术来达到公司目标 这一阶段。正如 John Allspaw 所指出的那样， ——通常是提高公司业绩或市场竞争力。 开发和运维之间的协作需求在部署之前就已存 通过从共同公司目标角度出发来校准开发 在，同时也会在部署之后的长时间之内继续存 和运维的职责和流程，DevOps 有助于实现 IT 在。 融合。开发和运维人员需要明白，它们仅仅是 DevOps 所带来的好处 一个统一业务流程中的一部分。DevOps 思想 确保个体决策和行为应力求支持和改进这个统 图 2 从开发到运维 DevOps 是一个非常强大的概念，因为它 一的业务流程，无论你是来自哪一个组织架构。 运维人员然后开始进行他们自认为正确的 可以在众多不同层面上产生共鸣。 【名词定义】业务敏捷性：一个机构以高效、 部署过程。由于开发和运维之间的脚本、配置、 从开发或运维人员来看，DevOps 可以让 经济的方式迅速适应市场和环境变化的能力。 过程和环境存在差别，这一部署过程实际上也 他们从众多烦恼中解脱出来。它虽然不是具有 是首次被执行。当然，期间如果发生一个问题， 当然对于开发人员来说，“敏捷”有专门 魔力的万灵药，但是如果你能够让 DevOps 奏 开发人员会被要求来帮助进行排障。运维人员 的含义，但目标是非常类似的。敏捷开发方法 效，则会节省大量时间，而且不至于打击自己 会说开发团队给的产物存在问题。而开发人员 旨在保持软件开发工作与客户/公司的目标同步， 的士气。显而易见，投入精力将 DevOps 落到 则会回应称该产物在他们的环境下运行良好， 尽管需求不断变化，也可以产生高品质软件。 实处，我们应该会更加高效、更加敏捷和减少 因此一定是运维人员在部署的过程中做错了什 对于多数机构来说，迭代项目管理方法 Scrum 挫败感。 么。由于配置、文件存储位置和过程的不同， 是敏捷的代名词。 对于公司来说，DevOps 直接有助于实现 开发人员诊断问题也并非一件易事。 业务敏捷性承诺，在公司权益集团作出决 两个强大战略性公司品质，“业务敏捷性”和 没有一个可靠的方式来把环境回滚到此前 策和开发者进行响应之间能够紧密互动和快速 “IT 融合”。它们可能不是 IT 人士所担忧的事 已知的正常状态。本来应该一帆风顺的部署过 反馈。看一下一家运转良好的敏捷开发团体的 情，但是却应该获得掌握财政大权的管理者的 程最后变成一场救火行动，经过反复测试之后 产物，你会看到一个与业务需求保持一致的稳 Linux 运维趋势 2010 年 9 月 第 0 期 第 7 页 交流圈：http://g.51cto.com/linuxops
  • 8. 【国际前沿】什么是 DevOps？ 定持续改进。但是，当你从公司角度回顾一下 业务运维，使其能够与开发过程的创新保持同 运维生命周期必须被看作一个端对端的流程。 整个开发-运维周期，敏捷方法的相关优势通常 步，DevOps 可以做到这一点。 流程的不同阶段可以采取不同的方法，只要这 会变得非常模糊。混乱之墙导致了应用程序生 些流程可以被组合到一起创建一个统一的流程。 如何将 DevOps 落到实处？ 命周期的分裂，开发和运维分别按照不同的节 与评价和激励的问题相似的是，实现这个统一 奏进行。实际上，产物部署之间的长期间隔使 和多数新出现的话题一样，发现问题的共 的流程时每个组织可能会有略微不同的需求。 得一个团体的敏捷工作变成了它一直试图避免 性特点要比找到解决方案容易的多。 3、统一的工具 的瀑布生命周期。当存在混乱之墙时，无论开 要想实现 DevOps 相关解决方案，以下三 这是大多数 DevOps 讨论一直在关注的领 发团体有多么敏捷，改变公司缓慢和迟钝的特 方面需要关注： 域。这一点不令人吃惊，因为当技术专家在考 点是极其困难的。 1、评价和鼓励改变文化 虑解决一个问题时，第一反应往往就是直接跳 改变文化和激励系统从来不是一件易事。 转到工具讨论上。如果你关注 Puppet、Chef 但是，如果你不改变公司文化，兑现 DevOps 或 ControlTier 等工具社区，那么你可能已经 的承诺将非常困难。考察一个公司的主导文化 意识到人们对在开发和运维工具之间建立桥梁 时，你需要紧密关注如何评价和判断公司业绩。 的重大关注。“基础设施即代码”、“模型驱 评价的内容将影响和刺激行为的发生。开发-运 动自动化”和“持续性部署”都是可以划归 维生命周期中的所有当事方需要明白，在更大 DevOps 旗下的概念。 的公司流程中自己只是其中一部分。个体和团 对于把 DevOps 变为现实需要哪些类型的 队的成功都要放在整个开发-运维生命周期内来 工具，Jake Sorofman 提出如下建议： 进行评价。对于许多机构来说，这是一个转变， 一个版本控制软件库 不再是孤立的来进行业绩评价，每一个团队不 它可以确保所有系统产物在整个版本发布 图 3 敏捷的开发，瀑布的组织 再是基于自己的团队来评价和判断业绩好坏。 生命周期中被很好的定义，且能够实现一致性 DevOps 能将敏捷开发的优势体现在机构 2、统一标准化的流程 共享，同时保持最新信息。开发和 QA 机构能 层面上。通过考虑到快速、反应灵敏但稳定的 这是 DevOps 的一个重要主题，整个开发- 够从中取得相同平台版本，生产机构部署已经 Linux 运维趋势 2010 年 9 月 第 0 期 第 8 页 交流圈：http://g.51cto.com/linuxops
  • 9. 【国际前沿】什么是 DevOps？ 被 QA 机构验证过的相同版本。 DevOps，因为那是 DevOps 团队的问题。 深层模型系统 设想一下，你不会说“我需要招聘一个 它的版本系统清晰的描述了软件系统相关 Agile”或“我需要招聘一个 Scrum”或“我 的所有组件、策略和依赖性，从而可以简单的 需要招聘一个 ITIL”，而只是会说需要招聘了 根据需要复制一个系统或在无冲突的情况下引 解这些概念或方法的开发人员、项目经理、测 入变化。 试人员或系统管理员。DevOps 也是同样道理。 人工任务的自动化 与 DevOps 具有相同理念的术语很多，例 如敏捷运维（Agile Operations）、敏捷基础 在依赖关系发现、系统构造、配置、更新 设施（Agile Infrastructure）和 Dev2Ops。 和回滚等过程中，减少人工干涉。自动操作变 还有很多人虽然没有提及“DevOps”，但却 为高速、无冲突和大规模系统管理的命令和控 在遵循着类似的理念。 制基础。 原文地址： 在从开发到运维的生命周期中存在许多不 http://os.51cto.com/art/201009/223199.htm 同的工具。工具选择和执行决策需要根据它们 对端到端生命周期的影响来决定。 相关阅读： 开发者与系统管理员的争执:不要碰我的生产环境! 对于 DevOps 的澄清 via 外刊 IT 评论 敏捷运维概述 via InfoQ 中文站 现在某些系统管理员正在试图把自己的岗 初探敏捷开发 via 51CTO 开发频道 位名称改为“DevOps”。但是，DevOps 不 应该是一个单一的位置或职称。把 DevOps 变 成一个新职位名称或特定角色是一件非常危险 的事情。例如这会导致以下错误端点：你是一 个 DBA？或者是一个安全专家？那么不用担心 Linux 运维趋势 2010 年 9 月 第 0 期 第 9 页 交流圈：http://g.51cto.com/linuxops
  • 10. 【运维漫画阁】正则表达式有什么用？ 【运维漫画阁】正则表达式有什么用？ 漫画国际来源： http://imgs.xkcd.com/comics/regular_expressions.png 有关 Perl Perl（Practical Extraction and Report Language）是一 种脚本语言，最初由 Larry Wall 于 1987 年 12 月 18 日发表。 被称之为“一种拥有各种语言功能的梦幻脚本语言”、 “Unix 中的王牌工具”。 推荐阅读： 善用脚本 让你的 Nagios 记录系统监控日志 自动分析黑名单及白名单的 iptables 脚本 正则表达式完全学习手册：菜鸟入门指导 全面分析 Linux 正则表达式（一） 全面分析 Linux 正则表达式（二） 全面分析 Linux 正则表达式（三） 全面分析 Linux 正则表达式（四） 全面分析 Linux 正则表达式（五） 全面分析 Linux 正则表达式（六） Linux 运维趋势 2010 年 9 月 第 0 期 第 10 页 交流圈：http://g.51cto.com/linuxops
  • 11. 【命令行&工具】面向 Linux 系统管理员的开源工具链 【命令行&工具】面向 Linux 系统管理员的开源工具链 公司。 架构进行改变（无论是次数还是规模）来降低 命令行&工具 | 开源工具链 风险。而敏捷的运维思路是，通过频繁的微小 原文：Open Source Toolchains for Linux DevOps 和 Agile 并不被定义为是一次技术 变化来改善服务器的性能，而由于每次的变化 Systems Administrators 性改变，而是专业和文化上的改变。它们重新 都很小，当出现问题的时候，他们可以轻易地 作者：Mark Hinkle 定义了 IT 管理员的职能：从系统和 IT 架构维护 跟踪那些影响架构的不利变化。 译者：哲婷 向管理和定义可复制的、有弹性的和高度可用 的 IT 系统转变。 为了实现这些目标，系统工程师需要一个 今天的系统管理有两大明显趋势，它们是 更强大的工具包。幸运的是，开源界为了这一 这一变化势必会带来一些战术上的改善， DevOps 和进展稍微迟缓的敏捷运维运动。这 目标已经研发了大量的工具。 用以达成更高的可用性和工作效率。以下做法 些措施流行于许多 Web 2.0 和云计算公司，比 是敏捷系统工程师们最常使用的办法： 开源工具链 如 Twitter、谷歌还有雅虎，当然也不乏像 Facebook 这样其产物高度依赖 IT 技术的公司。 1、基础架构自动化 软件开发者们对于工具链相当熟悉：一个 但是，实际上这种做法也同样非常适合传统企 相比起执行重复任务而言，管理员们需要 程序的输出构成了另一个程序的录入，从而组 业中的 IT 管理员们，这些公司往往都有大规模 创建机械化进程，让它们有效的使用工具。这 成了一系列程序。比如说，使用 GNU Emacs 的基础架构和不切实际的工作负荷，需要提高 些工具可以用来生成一致的结果并被团队中的 编辑器，GNU bin-utils 和 GNU 编译器集 工作效率来达成其业务目标。 其他成员所分享。 （GCC）的组合。软件开发者们编写很多在其 DevOps 鼓励与开发者们共同进行产物研 2、服务器版本控制 它程序中调用的程序与流程，而不是将同一段 发。系统管理员的角色经历了不断的变化，已 任何变化并不直接应用到服务器上，而是 代码在所有的地方都重复一遍。 经从被动执行重复系统建设任务的基础架构维 应用到一个中央软件库内。所有改变从中央软 有了新生的 DevOps 和敏捷运维运动，运 护者演变成现在的系统设计和建设工程师。在 件库推送到服务器上，从而建立一个在出现错 维人员们组成了社区，帮助人们用自己所喜爱 过去，系统管理员可能在一批随机的脚本中搜 误的时候的回滚机制。 的工具来定义属于自己的工具链。DevOps 的 集他们的专业领域知识；但是现在，精明的系 工具链项目就是这些社区当中的一员。 3、频繁的改进和发布/更新 统工程师们已经开始编写基础架构，并可以确 旧的思维方式是，尽可能减少对服务器和 正如软件开发商有不同的专用工具来串联 保对于这些编码的理解和制度化能够遍及整个 Linux 运维趋势 2010 年 9 月 第 0 期 第 11 页 交流圈：http://g.51cto.com/linuxops
  • 12. 【命令行&工具】面向 Linux 系统管理员的开源工具链 成一条软件工具链（比如编辑、编译、构建脚 整合系统管理工具 可以在系统安装完毕后进行服务的自动更新。 本等），系统管理员也可以运用由这些能够实 开源工具链十分善于维护高服务水平，因 开源工具链的另外一个例子是将预备、配 现自动管理功能和维护 Linux 服务器的工具组 为自动化和准确无误的运作比手动解决问题更 置和自动化集成到一起的工具，比如由红帽资 成的工具链。它们可以分为三大类：预备、配 快、更有效率。如果你想保持五个九的可用服 助的 Genome 项目。 置管理和监控。 务水平（99.999%的正常运行时间），那么你 在每一年中只允许有 5 分 15 秒的停机时间。对 于一个管理员而言，这样的时间甚至来不及接 收错误报告页，更不用说登陆到服务器进行问 题诊断了。 图 1 Genome 项目组成 构建工具链可以从使用服务器自动构建工 Genome 是一系列用于维持云架构的工具， 具开始。服务器自动构建工具可以加速部署速 1、预备类工具可以使 Linux 服务器上的软件安 可以部署多层次的网络应用，包括 Apache 反 度，并可以在短时间内大规模部署服务器，同 装包自动化。它们借助服务器上的软件包系统 向代理层，JBoss 应用服务器层，以及 时也可以让构建过程更容易复制。在发生严重 比如 rpm 或者 apt 来安装软件包，有些甚至会 PostgresSQL 数据库层。 故障时，还可以重建架构。 做一些粗略的配置工作。 上述大部分工具都是主动类的工具，可以 在早期，Linux 用户可能会整理出一个软件 2、配置管理和自动化是用来设置参数或者开启 用来进行变动并执行任务。然而，它们却缺乏 包列表，发至 rpm 进行批量软件安装。后来， 一个新服务器上的服务。它们也可以用来把系 对于当前系统状况的信息，于是监控工具就有 我们用 Kickstart 来执行无人值守的 Linux 安装。 统还原到遇到错误之前的状态。 了用武之地。对于传统系统管理员而言，监控 现在，Cobbler 把这个功能提升到了一个新的 3、监控工具用来收集服务器数据，从而生成可 无非是在发生错误的时候通过一个页面或者一 高度：它实现了物理机与虚拟机的并行系统构 用性、性能和其它系统状态的报告。 封邮件提醒他们。但是，监控工具（如 Nagios 建，并且可以进行 DHCP 和 DNS 的配置。 / OpenNMS / Zenoss Core）能够提供更为 Cobbler 还集成了其它的工具，比如用于 完善的服务器性能检测，可以告诉管理员们所 配置管理自动化的 Puppet 等软件。这个工具 Linux 运维趋势 2010 年 9 月 第 0 期 第 12 页 交流圈：http://g.51cto.com/linuxops
  • 13. 【命令行&工具】面向 Linux 系统管理员的开源工具链 有运行中的服务的状态。它们中的一些甚至可 输。每次在新的服务器上线时，Chef 都能够将 氛围利于开放标准、互操作性和开放 API，这 以提供在其它工具中开启程序的界面，比如 新情况推送至 Zenoss，并开始进行监测。 使得集成变得更为简单。 Zenoss Core 可以在一个检测状态台上通过 这次演示让大家认识到架构自动化改进系 无论你的基础架构如何，都可以试试看使 Cfengine、Chef 或者 Puppet 来重新配置服务。 统恢复的能力。在这种情况下，系统能够保持 用开源工具创建属于你自己的工具链，也许会 在一次 O'Reilly Velocity 的会议上，我们 内置冗余和多个网路服务器以及 DNS 之间的平 有想象不到的收获。 曾经进行过一次叫做 DevOps GameDay 的演 衡。当系统发现了故障时，架构可以在 90 秒内 原文地址： 示。一个网络应用程序被部署在东海岸和西海 进行自动恢复。虽然这只是一个简单的演示， http://os.51cto.com/art/201008/215653.htm 岸的亚马逊 EC2 数据中心。 但是同样的设计可以运用到其它的工具和情景 相关阅读： 中去。 "全世界系统管理员日"的由来 via Microsoft 总结 Linux 批量安装 五大开源软件挨个看 via 51CTO 系 统频道 多年以来，专有软件管理厂商一直在尝试 系统管理员应该定期完成的九件事 via 51CTO 系统 通过广泛的管理套件来提供完整的服务周期管 频道 理。这些产物通常在一个秘密环境下进行研发， 然后通过收购规模较小的公司的技术来进行不 断地补充。这种东拼西凑的方式往往让他们出 售给大多数用户的产物有着一长串的功能，但 图 2 DevOps GameDay 事实上总是效果少于承诺。 在西海岸的管理员制造了一些服务器故障。 Zenoss Core 对架构进行了监测，发现了故障 开源工具对于管理架构的好处不言而喻。 并且通知 OpsCode 的 Chef 采取行动。Chef 首先，它们为用户提供了选择余地。其次，技 随后通过 Dynect API 更新了 Dynect 平台上的 术得到了开放的发展，而终端用户能够更好的 服务，从而恢复了向东海岸设备的正常数据传 诠释功能集成软件的发展。第三，开源工具促 进创新，并且极具包容性。最后，开源软件的 Linux 运维趋势 2010 年 9 月 第 0 期 第 13 页 交流圈：http://g.51cto.com/linuxops
  • 14. 【命令行&工具】自动化开源工具一览 【命令行&工具】自动化开源工具一览 预备类 配置管理类 监控类 Kickstart Chef Nagios 【描述】针对红帽 Linux/Fedora 等发行版的自动 【描述】一个系统集成框架，可以用 Ruby 等代码完 【描述】一个强大的监控预警系统，可以监控系统、 化安装方式，简单的讲就是让系统在安装过程中从一 成服务器的管理配置并编写自己的库。 应用、服务以及各种进程的运行状况，并提供了多种 个 ks.cfg 配置文件中自动获取所有需要配置的参数。 警报机制。 【技术支持】OpsCode 源于 Anaconda 项目。 【技术支持】Nagios Enterprises 【起始于】2009 年 1 月 【技术支持】红帽/Fedora 社区 【发起人】Ethen Galstad 【官方网站】 【起始于】2004 年之前 http://www.opscode.com/chef/ 【起始于】1999 年 【维基】 ControlTier 【官方网站】 http://fedoraproject.org/wiki/Anaco http://www.nagios.org/ 【描述】一个开源、跨平台的构建/部署服务器的自 nda/Kickstart 动化框架，可以在多个节点、多个应用层上进行服务 OpenNMS Cobbler 扩展及管理等工作。 【描述】一个网络管理应用平台，可以自动识别网络 【描述】为了实现快速网络安装环境的 Linux 安装服 【技术支持】ControlTier 社区（Google 服务，事件管理与警报，性能测量等任务。 务器，可以为数量众多的 Linux 服务自动化执行任务。 Group） 【技术支持】openNMS group 【发起人】Michael DeHaan 【起始于】2007 年之前 【起始于】2005 年之前 【技术支持】红帽/Fedora 社区 【官方网站】 【官方网站】 【起始于】2007 年之前 http://controltier.org http://www.opennms.org/ 【官方网站】 https://fedorahosted.org/cobbler/ Linux 运维趋势 2010 年 9 月 第 0 期 第 14 页 交流圈：http://g.51cto.com/linuxops
  • 15. 【命令行&工具】自动化开源工具一览 预备类 配置管理类 监控类 OpenQRM Func Zabbix 【描述】针对数据中心管理的开源平台，针对设备的 【描述】全称为 Fedora Unified Network 【描述】用于监控网络上的服务器/服务以及其他网 部署、监控等多个方面通过可插拔式架构实现自动化 Controller，Fedora 统一网络控制器，用于自动 络设备状态的网络管理系统，后台基于 C，前台由 的目的，尤其面向云计算/基于虚拟化的业务。 化的远程服务器管理。 PHP 编写，可与多种数据库搭配使用。提供各种实时 报警机制。 【发起人】Matt Rechenburg 【发起人】Michael DeHaan 等 【技术支持】Zabbix 公司 【起始于】2005 年之前 【技术支持】红帽/Fedora 社区 【发起人】Alexei Vladishev 【官方网站】 【官方网站】 http://www.openqrm.com/ https://fedorahosted.org/func/ 【起始于】1998 年 Spacewalk Puppet 【官方网站】 【描述】针对红帽/Fedora 等发行版的软件更新管 http://www.zabbix.com/ 【描述】一个开源的数据中心自动化/配置管理框架， 理软件，同时也提供预备和监控的功能。这个项目衍 用于 Puppet 自己的声明语言自动化重现任意的系统 Zenoss Core 生了红帽 Network Satellite 产物。 配置。 【描述】一个基于 Zope 应用服务器的应用/服务器/ 【技术支持】红帽 【技术支持】Puppet Labs 网络管理平台，提供了 Web 管理界面，可监控可用性、 【起始于】2001（Red Hat Network）/2008 配置、性能和各种事件。 【官方网站】 http://www.puppetlabs.com/ 【技术支持】Zenoss Inc. 【官方网站】 http://spacewalk.redhat.com/ 【起始于】2002 年 【官方网站】 http://zenoss.com/ Linux 运维趋势 2010 年 9 月 第 0 期 第 15 页 交流圈：http://g.51cto.com/linuxops
  • 16. 【实战】Kickstart 无人值守安装搭建 RHCE 实验室 【实战】Kickstart 无人值守安装搭建 RHCE 实验室 服务器和 TFTP 服务器。DHCP 服务器用来给 PXE + KickStart 安装的条件 实战 | Kickstart PXE client（将要安装系统的主机）分配一个 作者：抚琴煮酒 执行 PXE + KickStart 安装需要的设备为： IP 地址，由于是给 PXE client 分配 IP 地址， 1. DHCP 服务器 本文记录了用 Kickstart 搭建 RHCE 实验室 所以在配置 DHCP 服务器时需要增加相应的 2. TFTP 服务器 环境的详细步骤。文中使用的环境为 RHEL 5， PXE 设置。此外，在 PXE client 的 ROM 中， 3. KickStart 所生成的 ks.cfg 配置文件 也同样适用于 CentOS。文章作者抚琴煮酒 已经存在了 TFTP Client。PXE Client 通过 4. 一台存放系统安装文件的服务器，如 （Andrew Yu）是经验丰富的 Linux/Unix 系 TFTP 协议到 TFTP Server 上下载所需的文件。 NFS、HTTP 或 FTP 服务器 统工程师，并曾经担任过一段时间的 RHCE 讲 什么是 KickStart 5. 带有一个 PXE 支持网卡的将安装的主机 师的工作。 KickStart 是一种无人职守安装方式，其工 下面介绍具体的安装步骤。 原理和概念 作原理是通过记录典型的安装过程中所需人工 干预填写的各种参数，并生成一个名为 ks.cfg 什么是 PXE 的文件；在其后的安装过程中（不局限于生成 严格来说，PXE 并不是一种安装方式，而 KickStart 安装文件的机器）当出现要求填写参 是一种引导的方式。进行 PXE 安装的必要条件 数的情况时，安装程序会首先去查找 KickStart 是要安装的计算机中包含一个 PXE 支持的网卡 生成的文件，当找到合适的参数时，就采用找 （NIC），即网卡中必须要有 PXE 客户端。 到的参数，当没有找到合适的参数时，才需要 PXE （Pre-boot Execution Environment， 安装者手工干预。这样，如果所有的 Kickstart 直译为预启动执行环境）协议使计算机可以通 参数都设置好，安装者完全可以只告诉安装程 过网络启动。协议分为 client 和 server 端， 序从何处取 ks.cfg 文件，然后去忙自己的事情。 PXE client 在网卡的 ROM 中，当计算机引导 等安装完毕，安装程序会根据 ks.cfg 中设置的 时，BIOS 把 PXE client 调入内存执行，由 重启选项来重启系统，并结束安装。 PXE client 将放置在远端的文件通过网络下载 到本地运行。运行 PXE 协议需要设置 DHCP Linux 运维趋势 2010 年 9 月 第 0 期 第 16 页 交流圈：http://g.51cto.com/linuxops
  • 17. 【实战】Kickstart 无人值守安装搭建 RHCE 实验室 一、安装 httpd 所以所需要的文件我只需要从/var/ftp 目录中复制就行了。 yum -y install httpd* 1、进入 tftpboot 文件夹，没有就建一个，有了就不用建了。 二、挂载 RHEL5 的 DVD 光盘，并复制第一张光盘下的所有内容（文件 cd /tftpboot/ 和文件夹）到/var/html/www 下 2、把 pxelinux.0 复制到/tftpboot/中 mount /dev/cdrom /mnt cp /usr/lib/syslinux/pxelinux.0 /tftpboot cp –rf /mnt/* /var/html/www 3、把 Linux 第一张安装光盘上/image/pxeboot/initrd.img 和 三、安装 tftp-server，并启用 tftp 服务，重启 xinetd 进程 vmlinux 复制到/tftpboot/中 rpm -ivh tftp-server-0.39-1.i386.rpm vi /etc/xinetd.d/tftp cp /var/ftp/image/pxeboot/initrd.img /tftpboot # default: off cp /var/ftp/image/pxeboot/vmlinux /tftpboot # description: ... 4、 复制第一张安装光盘上的 isolinux/*.msg 到/tftpboot/中 { socket_type = dgram cp /var/ftp/isolinux/*.msg /tftpboot protocol = udp 5、 在 tftpboot 中新建一个 pxelinux.cfg 目录 wait = yes user = root mkdir pxelinux.cfg server = /usr/sbin/in.tftpd server_args = -s /tftpboot 6、 把 Linux 第一张安装光盘上 isolinux 目录中的 isolinux.cfg 复制到 disable = no #disable 的值由 yes 变为 no pxelinux.cfg 目录中，并同时更改文件名称为 default per_source = 11 cd pxelinux.cfg cps = 100 2 cp /var/ftp/isolinux/isolinux.cfg flags = IPv4 /tftpboot/pxelinux.cfg/default } service xinetd restart 四、配置支持 PXE 启动 注意我已经把第一张光盘的内容复制到/var/www/html 目录中了， Linux 运维趋势 2010 年 9 月 第 0 期 第 17 页
  • 18. 【实战】Kickstart 无人值守安装搭建 RHCE 实验室 五、安装 dhcp 服务，同时修改配置 4、 启动 dhcp 服务 service dhcp start 1、 安装 rpm -ivh dhcp-3.0.1-12_EL.i386.rpm 六、 安装 kickstart 并进行配置 2、 复制配置模板文件到指定的目录中，并重命名 首先安装 Kickstart： cp /usr/share/doc/dhcp-3.0.1/dhcpd.conf.sample rpm -ivh system-config-kickstart-2.5.16-2.noarch.rpm /etc/dhcpd.conf 在 gnome 环境下配置 kickstart 的指令如下： 3、 修改配置文件，添加一行：filename "/pxelinux.0"，其他的修改 system-config-kickstart 自己完成就行了。这文件的位置一定要注意,不然会失败,切记 之后的配置步骤如下： [root@localhost isolinux]# vim /etc/dhcpd.conf 1. 基本配置，按自己需求来就好 ddns-update-style interim; 2. 安装方法，选择 httpd 安装，切记不要输入任何的帐号，我们采 ignore client-updates; 用的匿名安装 next-server 192.168.1.14;#PXE 服务器 IP 地址 3. 引导安装程序选项，不需要做更改 filename "/pxelinux.0";#注意此行的位置,写在 subnet 下面的话会失败 4. 分区信息，创建三个分区 subnet 192.168.1.0 netmask 255.255.255.0 { 5. 网络配置，我使用的静态分配地址(动态同样如此) # --- default gateway 6. 显示配置，按自己需求来就好 option routers 192.168.1.254; 7. 软件包的选择，我选择了 Kernel Developent 和 Development option subnet-mask 255.255.255.0; option nis-domain "example.com"; Tools 安装（但千万不要选择这两个软件包，不然的话在安装的时 option domain-name "example.com"; 候会报错的） option domain-name-servers 192.168.1.254; option time-offset -18000; 8. 其他的都是默认设置，没有做修改 # 其他配置参数 9. 生成文件 ks.cfg，保存到/var/www/html 下 # } Linux 运维趋势 2010 年 9 月 第 0 期 第 18 页
  • 19. 【实战】Kickstart 无人值守安装搭建 RHCE 实验室 七、修改/tftpboot/pxelinux.cfg/default 文件，指定读取 ks.cfg 的方法 最后，重新引导安装就可以了。 （ks=http://192.168.1.40/ks.cfg） 以上是我的配置步骤，如果没有出入的话，是一定可以成功的！ vi /tftpboot/pxelinux.cfg/default 原文地址： auth --useshadow --enablemd5 key --skip #这行一定要，跳过注册号输入，不然会失败 http://hi./yuhongchun027/blog/item/8ebd44b7102ee1f331add bootloader --location=mbr 1b1.html clearpart –all –initlabel text 推荐阅读： firewall --disabled RHEL5 无人值守安装图文攻略 via 51CTO 论坛 firstboot --disable keyboard us lang en_US logging --level=info url --url=http://192.168.1.14/ network --bootproto=dhcp --device=eth0 --onboot=on reboot rootpw --iscrypted $1$HEJKfwF9$r1l0JoPz74ToF9NbE3Qs1 selinux --disabled timezone --isUtc Asia/Shanghai intall xconfig --defaultdesktop=GNOME -depth=8 --resolution=640x480 part swap --bytes-per-inode=4096 --fstype="swap" --size=512 part /boot --bytes-per-inode=4096 --fstype-"ext3" --size=200 part / --bytes-per-inode=4096 --fstype="ext3" --grow --size=1 %packages #下面指定软件包列表即可 Linux 运维趋势 2010 年 9 月 第 0 期 第 19 页
  • 20. 【实战】戏说 Cobbler：Linux 网络安装的革命 【实战】戏说 Cobbler：Linux 网络安装的革命 的服务器上进行了测试，步骤如下： DHCP 配置模板，如果已经有一个 dhcpd.conf，可 实战 | Cobbler 参照修改此模板 作者：hutuworm 1. 安装相关软件： vi /etc/cobbler/sample.ks yum -y install cobbler tftp-server Kickstart 配置模板 从前，我们一直在做装机民工这份很有前 dhcp httpd xinetd 途的职业。自打若干年前 Red Hat 推出了 注意 /var/www/cobbler 目录必须具有足够容纳 5. 生成并同步所有配置： Linux 安装文件的空间（移动，建软链接） cobbler sync Kickstart，此后我们顿觉身价倍增。不再需要 刻了光盘一台一台地安装 Linux，只要搞定 2. 检查 cobbler 配置： 6. 启动相关服务： PXE、DHCP、TFTP，还有那满屏眼花缭乱不 cobbler check service xinetd start 按提示解决相关问题，把 /etc/cobbler/settings 中 /etc/xinetd.d/tftp 中 disable = no 知所云的 Kickstart 脚本，我们就可以像哈里 的 server 和 next_server 设为本服务器的 IP 地址， service dhcpd start 波特一样，轻点魔棒，瞬间安装上百台服务器。 manage_dhcp 设为 1，以便管理 DHCP service cobblerd start 这一堆花里胡哨的东西可不是一般人都能整明 3. 导入 Fedora 9 安装 DVD ISO 中的文件： 曹植七步成诗，而 Cobbler 居然只需要六 白的，没有大专以上学历，通不过英语四级， mount -o loop Fedora9/x86_64/Fedora- 步。启动另一台新服务器，通过 PXE 启动进入 根本别想玩转。总而言之，这是一份多么有前 9-x86_64-DVD.iso /mnt/dvd/ 蓝色的 Cobbler 安装界面，选择 Fedora 9 安 途，多么有技术含量的工作啊。 将 ISO 文件挂载到 /mnt/dvd 目录 装项，几分钟之内就能一气呵成，自动完成系 很不幸，Red Hat 发布了网络安装服务器 cobbler import --mirror=/mnt/dvd --name=FC9-x86-64 统安装。 套件 Cobbler（补鞋匠），它已将 Linux 网络 从 /mnt/dvd 目录导入所有安装文件，命名为 FC9- 原文地址： 安装的技术门槛，从大专以上文化水平，成功 x86-64 http://hutuworm.blogspot.com/2008/08/cobbl 降低到初中以下，连补鞋匠都能学会。对于我 cobbler distro list erlinux.html 们这些在装机领域浸淫多年，经验丰富，老骥 查看导入结果，应显示 FC9-64-i386 和 FC9-64- 相关阅读： 伏枥，志在千里的民工 兄弟们来说，不啻为一 xen-i386 个晴天霹雳（}雷{）。 漫谈运维：半神半仙亦民工 4. 修改 DHCP 和 Kickstart 配置模板： Cobbler 声称可以快速建立网络安装环境， vi /etc/cobbler/dhcp.template 那么到底有多快呢？我在一台装有 Fedora 9 Linux 运维趋势 2010 年 9 月 第 0 期 第 20 页 交流圈：http://g.51cto.com/linuxops
  • 21. 【下期预告】 【下期预告】 下期内容预告：监控与报警机制 时刻掌握服务器以及其上运行的应用服务的运行状态，是运维工程师们确保服务可用性的一大关键。下期内容将关 注 Linux/Unix 运维人员在监控方面需要注意的方面，届时我们将请一位资深运维来谈谈对于监控与报警方面的心得， 介绍一些国际上近期监控理念/技术方面的进展，并交流一些具体的操作心得，敬请关注！ 有关《Linux 运维趋势》 《Linux 运维趋势》是由 51CTO 系统频道策划、针对 Linux/Unix 系统运维人员的一份电子杂志，内容侧重中、高端 的运维技术趋势与理念，并以一些基础的技巧心得、实际操作案例作为辅助。 《Linux 运维趋势》是开放的非盈利性电子杂志，其中所有内容均收集整理自国内外互联网（包含 51CTO 系统频道 本身的内容）。对于来自国内的内容，编辑都会事先征求原作者的许可（八卦，趣闻&数字栏目例外）。如果您认为本 杂志的内容侵犯到了您的版权，请发信至 yangsai@51cto.com，或进入交流圈 http://g.51cto.com/linuxops 进行投 诉。 十分感谢您的阅读！ Linux 运维趋势 2010 年 9 月 第 0 期 第 21 页 交流圈：http://g.51cto.com/linuxops