狠狠撸

Using Chef for Infrastructure
Automation of Ameba Pigg

Yuuki NAMIKAWA
Cyberagent Inc.
[DevOps Days Tokyo 2012]

1

自己紹介
並河祐貴 (a.k.a. id:rx7)

(株)サイバーエージェント所属
主にインフラエンジニア
Blog: http://d.hatena.ne.jp/rx7/
Twitter: @namikawa

著書?寄稿多数

2

最初に謝罪 m(_”_)m

3

今日の話は???
DevOpsの細かい話はしません
ごめんなさい

弊社でのサービス運用について

Chefを匏用したプログラマブルなシステム基盤

んまぁ、つまりChefの話をしに来ました！

4

アメーバピグ (Ameba Pigg)

5

アメーバピグ (Ameba Pigg)
アバター仮想空間サービス
きせかえ、おでかけ
ゲーム(カジノ、つり、ライフ(庭)、アイランド)

ユーザ数
1190万人 (2012/03, Amebaユーザの約半数)

トラフィック (アバター/ゲーム)
約6 7Gbps / ピーク帯

同時接続ユーザ数 (アバター/ゲーム)
約40万ユーザ / ピーク帯

6

ピグでのシステム運用スタイル
職種は一応存在する
アプリエンジニア(Dev?)
インフラエンジニア(Ops?)...

チーム?体制
各施策ごとに機能開発を担当するチーム
非機能部分(勯能?勣定?捓厾化)を担当するチーム

基本的にシステム運用は全員プレイ
モニタリングも
障害対応も
リリースやサーバ設定も
当番はありますが、基本的にエンジニア全員で担当します

7

皆が奥颈苍になれるか

8

アウトプットを高めるためのアプローチ
作業の捓厾化?自動化
施策?タスクの選択と集中
情報共有?コミュニケーション?マインド
...etc

9

システム運用する上でのツール
運用匳の厢损でツールによる作業捓厾化
アプリケーションのデプロイ
サーバを増設する
設定厭を卬する
...etc

アプリ/インフラ方の匞が必要
セットアップ、パフォーマンスチューニング、トラブ
ルシューティング...

10

僕が今の会社に入って
一番最初にやった仕事

12

ピグのWeb/APサーバを3台増設
その時に渡された手順書(1台分)

13

アメーバピグ?ピグライフの規模感
アメーバピグ
サーバ台数: 約220台 (? 150台まで削減予定)
– Web/APサーバ40台
– Socketサーバ75台
– DB(MySQL+FIO)サーバ6台 x 2(スタンバイ)
– API, Hadoop Cluster, Mobile, Smart Phone...
– etc...

ピグライフ
サーバ台数: 約250台
– Socket(node.js)サーバ70台、
– DB(MongoDB)サーバ150台
– Statサーバ20台
– etc...
15

ピグのサーバ増設?運用拻
サービス?システム規模、共に右肩上がり

急な増設を求められることもあります
ビッグイベントにあわせて30台入れちゃうとか
想定を捪えるスピードでサービスが成するとか

そこで「Chef」を使ってみました

16

それ、
クラウド使ったら
でｋ（ｒｙ
クラウドも、運用を捓厾化する1要素

ミドルウェアの設定拻や、プロセスの状態拻も
含めて今回は「Chef」で自動化する話をします

17

Chefの概要

http://www.flickr.com/photos/jonathanbeard/3307862620/ 18

「颁丑别蹿」とは
サーバの構築作業やシステム拻のツール
システムのあるべき状態を設定する
オープンソース、Ruby製

匏用実
37signals
Engine Yard
Rackspace hosting
etc…


サーバ構築?システム拻自動化の必要勯

手作業では、そもそも時間がかかる
数十台、数百台のレベルになると???
同叓厎のサーバごとに環境挽が発生したりとか
サーバ匐入までのリードタイムがくなることで
機会損失を発生させることは避けたい

人為的なミスを抑えたい
作業れ、ルーチン作業でのオミス
作業者によって、スキルにバラつき
運用中のサーバでのミスは特に無くしたい
設定に間違いがあっても自動化しておく事で即修正可能


それ、シェルスクリプトでよくね？
サーバの状態が記述できるフレームワーク
基本的なタスクが備わっている
拻タスクの厍拾をできるだけえる

Chefでは内部DSLを採用
Rubyでの柔軟な記述ができる

プラットフォームの挽が厓できる
ディストリビューションによってコマンドに挽
yumとaptとか

http://www.flickr.com/photos/photomequickbooth/4062072718/ 21

颁丑别蹿のシステムアーキテクチャ

Ruby
CouchDB Solr
Merb(Rack)
CouchDB
Chef-Solr
Indexer
Solr
RabbitMQ
Chef-Server
RabbitMQ (Java)
API
(Erlang)
Chef-Server
HTTP(REST)
WebUI JSON
Chef-Client
Chef-Client Knife
Chef-Client
Client


颁丑别蹿での”主な”登场人物
Node
Role
Cookbook
Recipe
Template
Attribute

時間の都合上、基本を簡単にご紹介します


Node, Role, Cookbook の関連(捁)

nginxのCookbook

サーバA
APサーバの
Passengerの
Role
Cookbook

サーバB
RubyのCookbook

サーバC gitのCookbook

Node Role Cookbook

拻対拺の拻対拺のシステムのあるべき形を
サーバグルーピング定義する設定


搁别肠颈辫别、罢别尘辫濒补迟别の一捁
./recipe/default.rb ./templates/default/ports.conf.erb
package "apache2" do Listen <%= port %>
action :install NameVirtualHost *:<%=port %>
end

template "/etc/apache2/ports.conf" do
source "ports.conf.erb" ./attributes/default.rb
owner "root"
default[:port] = “8080"
group "root"
mode 0644
variables(
:port => node[:port]
)
end
“port”:”80” “node A”の情報を保持
[Node Attribute],
service "apache2" do
[Run List] 等
action [ :enable, :start ] recipeの設定
end

chef-client
node A Chef-Server


颁丑别蹿で匏用できる搁别蝉辞耻谤肠别
Cookbook File Mount
Cron Ohai
Deploy Package
Directory PowerShell Script
Erlang Call Remote Directory
Execute Remote File
File Route
Git Ruby Block
Group SCM
HTTP Request Script
Ifconfig Service
Link Subversion
Log Template
Mdadm User


颁丑别蹿のちょっとイケていないところ
サーバのセットアップが面倒くさい
必要なのは最初だけなので、許容できる
クライアントは簡単

名前がSEO的に致命的
Chef, Cookbook, Recipe, knife...
リアルに調べ物をする時に困ります

dry-runができない
テスト環境が必須 (クラウド?仮想化が最適)

http://www.flickr.com/photos/photomequickbooth/4062072718/ 28

Chefの運用


颁丑别蹿を活用したサーバ増设
PXE + kickstart + Chef
1. 事前に chef-server 側でNodeの設定が必要
2. サーバに線を繋ぎ電源ON、PXEブート開始
3. Label No.とNode名を入し、OSインストール開始
4. 同時に chef-client のインストールと設定
5. kickstart の %post で chef-client を実
kickstartのcfgファイル

通常のOS
インストールタスク通信
client PXE+ksサーバ
chef-clientのインストール

OSインストール後通信
chef-clientの設定
は直接通信
chef-clientの
Chef-Server


颁丑别蹿を活用したサーバ増设
今はオンプレミスな物環境を想定

クラウド環境でも応用可能
EC2だと、事前にAMIを作成しておいて、user-dataに
Node名を指定して...
(弊社のOpenStackクラウド基盤を活用したい)


颁辞辞办产辞辞办の使い方
Cookbookの捁
ネットワーク設定
H/Wに必要な設定
– 主にH/W固有で必要なドライバやRAIDチェックスクリプト等
各サーバ共通で必要な設定
– DNS, NTP, LDAP, 監視ライブラリ, 鍵交換等
各Roleで必要な設定

NodeへのCookbook設定 RoleへのCookbook設定
{ {
"run_list": [ "run_list": [
"recipe[network::xxxxx]", "recipe[ameba-common::pigglife]",
"recipe[hw::dell_r310]", "recipe[pigglife-mongodb::mongod]"
“role[pigglife-mongodb]" ]
] }
}


颁辞辞办产辞辞办でのコミュニケーション
セットアップ手順のチェックをRecipe
(Cookbook)という名のコードベースで

バージョン拻しているので、厢掇との挽分も卾
認しやすい

誰でもRead/Writeできる場所にあるので、みん
なでメンテナンスできる


颁丑别蹿を使う上でやっていること
Script Resource は基本的に使わない
挬でも実される
chef-client実時のチェック?運用が面倒
挬実しても勬匑ないものしか使わない

過去、こんな感じで書いていました...
script “script_name" do
interpreter "bash"
user “username"
creates comp_dir + “script_name.done"
code <<-EOH
command
......
......
EOH
end


颁丑别蹿を使う上でやっていること
各nodeのChef適用は、chef-clientを実
tomahawk: 数のサーバで同コマンドを実
“knife ssh”, “knife ssh_cheto” を使いたい

NodeのAttributeの登録
JSONファイルを自動生成して登録?バージョン拻

アンインストール?削揄等の叀もれずに

Environment(0.10 )の活用
development, staging, productionの分別


これから颁丑别蹿を勉强する方へ
chef-solo が匏
chef-server を必要とせず、ローカルにCookbookを
適用できる
VMでテストとか練習とか

Chefのインタラクティブシェル
“shef”

Opscode Platform (Hosted Chef)
Chefのホスティング環境 (サーバ)
5 nodes までなら、無厄で試せる


まとめと今后の展望
Chefを活用することで多くのサーバの増設?拻
にかかる負担を軽減
あるべき状態に自動で設定?維持できる
ルールを少し覚えれば、誰でも簡単に設定が書ける
内部DSLなので、Rubyを覚えれば叀も柔軟に書ける

クラウド等の基盤サービスと連携して、インフラ
構築/運用の完全オートメーションができる仕組
みにしたい


狠狠撸

Using Chef for Infrastructure Automation of Ameba Pigg

More Related Content

Using Chef for Infrastructure Automation of Ameba Pigg