![本来のホストサーバ構築
30
? KickstartとAnsibleで全自動化されている
─ラッキングした後、電源を入れるだけ
ADMIN-SW
[1] [2] [3] [4]
HOST-1
HOST-2
HOST-3
HOST-4
1. 電源ケーブルを入れるとSWにMACが聞こえてくる
2. show mac tableでポート／MAC対応表を取得
3. 割当ラックとポート番号からサーバ名とIPアドレス
を決定
4. DHCPでIPアドレスを配給
5. ホストをブートしKickstartでOSをセットアップ
6. Ansibleでサーバ個別の設定を実行
クラウドシステムに組み込み
DHCP Server
TFTP server
PXEBOOT](https://image.slidesharecdn.com/networkengineer20181112-181112084006/85/Network-Engineer-in-the-Datacenter-30-320.jpg)
More Related Content
What's hot (20)
Similar to Network Engineer in the Datacenter (20)
Network Engineer in the Datacenter
- 1. ネットワークエンジニアの 仕事とスキル さくらインターネットの場合 2018/11/12 (C) Copyright 1996-2018 SAKURA Internet Inc さくらインターネット研究所 鷲北 賢さくらインターネット株式会社
- 2. 自己紹介 ? 鷲北 賢（わしきた けん） ? 1998年4月入社 ? バックボーンのお守りからサービス開発まで ─ 初期の専用サーバ、データセンター構築 ─ オンラインゲームプロジェクト ─ さくらのクラウド開発マネージャー、などなど ? 2009年より、さくらインターネット研究所 所長 ─ 仮想化技術の研究（Linux KVM） ─ 高性能リソースを分割するより小型計算機を集めて高性能化する ほうに興味あり ? @ken_washikita、https://facebook.com/ken_washikita 2
- 3. さくらインターネット会社概要 インターネットインフラの提供を事業ドメインとして 大阪、東京、北海道（石狩）の3都市に5つのデータセンターを展開 3 商 号 さくらインターネット株式会社 所 在 地 本社：大阪市北区大深町4-20 支社：東京都新宿区西新宿7-20-1 創 業 年 月 日 1996年12月23日 （会社設立は1999年8月17日） 上 場 年 月 日 2005年10月12日（マザーズ） 2015年11月27日（東証一部へ市場変更） 資 本 金 22億5692万円 従 業 員 数 618名（連結）（2018年9月末現在） さくらインターネット創業 株式会社を設立 最初のデータセンター開設 東証マザーズ 上場 石狩データセンター開設 東証一部に市場変更 1996年12月に現社長の田中邦裕が 舞鶴高専在学中に学内ベンチャーとして創業 1999年8月に株式会社を設立、10月には 第1号となるデータセンターを本町に開設 2005年10月に東京証券取引所 マザーズ市場に上場 2011年11月、北海道石狩市に国内最大級の 郊外型大規模データセンターを開設 2015年11月、東京証券取引市場第一部に 市場変更 ? ? 1996 1999 2005 2011 2015
- 8. サービスラインアップ 8
- 9. 最近よく聞かれます… ? インフラエンジニアってどんな仕事？ ? 聞かれるたびに「ムカデの話」を思い出す ─ 「どの足から動かすの？」と質問されたムカデが 歩けなくなってしまうという話 ? エンジニアリについて考えるほど エンジニアのことが分からなくなる 9
- 10. ネットワークエンジニアをメインテーマに 1. サービス開発事例 ─さくらのクラウド 2. ネットワークエンジニアの職場 ─バックボーンとデータセンター ─サービスとの境界 ─その他のトピック 3. 質疑応答 10
- 12. ここでお話しすること ? インターネット?サービスにおいてネットワークが果たす役割 について説明します ? ネットワークが果たす役割は、サービスによって様々です ? しかし「課題」に対してソリューションを与えるという、エン ジニアの任務はいつも変わりません ? 最後に他のプロジェクト、たとえば「ゲーム」や「情報システ ム」に置き換えるコツをお話しします 12
- 13. さくらのクラウド（初回MTGのアジェンダより） ? しっかりとしたサーバ基盤を作る ─ PaaS、SaaSをホストできるIaaSとする ─ さくらのレンタルサーバをホストする ? サーバ／ネットワーク／ストレージを仮想化する ? 時間課金を実現する ? ミーティングは短く 13
- 14. VMをホストするサーバ ? ハイパーバイザを準備（KVMを採用） ? オーダーが来たらポンと作成する ? サーバはCPUとメモリを提供 ? ネットとディスクは 別に作成する ホストサーバ 14 VM
- 15. ディスク領域を保持するストレージ ? ストレージ上に領域を切り出しVMに ディスクとして接続 ? サーバとストレージを分離することで 柔軟性を確保 15 ホストサーバ VM disk ストレージ
- 16. 仮想ネットワークのエッジ ? VMホストの仮想ポートをホスト内の OVSに接続 ? OVSを、物理ポートを 介してクラウドL2網へ ? 問題はプロトコル 16 ホストサーバ OVS VM 物理回線の内に 仮想ポート?仮想 SW?仮想回線リンク を通す VM
- 17. テナント分離のための仮想ネットワーク（１） 17 このような仮想システムをIaaS上に展開する場合 ルータ FW LB Webサーバ Webサーバ DBサーバ DBサーバ VPN インターネット VPN
- 18. テナント分離のための仮想ネットワーク（２） 18 網内でユニークなVLANを各回線に割り当てる VLAN101 VLAN102 VLAN103 VLAN104 VLAN105 VLAN106ルータ FW LB Webサーバ Webサーバ DBサーバ DBサーバ VPN インターネット VPN
- 19. テナント分離のための仮想ネットワーク（３） 19 VLAN101 VLAN102 VLAN103 VLAN104 VLAN105 VLAN106 ルータ FW LB WEB WEB DB DB VPN ホストサーバA ホストサーバB ホストサーバC L2網(コアスイッチ、エッジスイッチ、仮想スイッチ) 仮想スイッチ 仮想スイッチ 仮想スイッチ インターネット VPN VMをホストサーバに配置し、割り当てたVLANに接続
- 20. 物理構成はこんな感じ 20 エッジスイッチ エッジスイッチ エッジスイッチ エッジスイッチ ホストサーバ ホストサーバ ホストサーバ ホストサーバ ルータ ルータ ルータ ルータ インターネット VPN 仮想スイッチ 仮想スイッチ 仮想スイッチ仮想スイッチ VM VM VM VM VM VM VM VM コアスイッチ コアスイッチ たくさんのVLANを 通しておく LAG bonding タグVLAN タグVLAN タグVLAN
- 22. ネットワークに関するトピック ? インターコネクトにInfiniBandを採用 ─ 2011年当時は10GbEより単価が安かった ─ 現在は退役（入替中） ? 利用機材は様々 ─ ルータはCISCO ─ コア／エッジスイッチはBrocade（Extreme） ─ 管理スイッチはApresia ? サービスエッジとの間はiBGP ─ データセンター?コア?ネットワークとの境界を 設定し、サービスと分離して設計、運用 ─ 境界については後半で紹介します 22
- 23. なんで×××を使わなかったの？ ? OpenStack/CloudStack ─ 2011年当時は、必要とするサイズまでスケールし なかった ─ 現在もどうか分からない ? VMware ─ 高くて買えません ? OpenFlow ─ Niciraとサインする直前まで行った ─ けれどもVMwareに買収されてしまい頓挫 23
- 24. 2011年のスケジュール 24 3 4 5 6 7 8 9 10 11 12 3/2 社長に呼び出される 3/10 キックオフミーティング 担当ごとに調査?検討 仕様摺り合わせ／UIデザイン合宿 機材選定?テスト 発注?構築準備 API/UI開発 βサイト構築 オープンβ＠大阪 発注?構築準備 石狩サイト構築 API/UIデプロイ API/UIデプロイ 11/15 サービス開始 デバッグ?テスト
- 25. 11月のスケジュール 25 10/31 1 2 3 4 7-14 11/15 機材納品?開梱 ホストサーバOSイメージ作成 機材設置?電源投入 config/接続 ネットワーク単体試験 バックボーン接続試験 テスト?イメージコピー ホストサーバ単体試験 結合試験 後片付け システム起動 最終試験 石 狩 IDC 開 所 と 同 時 に リ リ ー ス デプロイ開始
- 26. サーバの開梱と設置 26 ? 本来ならDCOPが納品受 付してくれる ? しかしOPチームが存在 しないので通路で開梱 ? キッティングルームが 整備されていないので 通路で組立 ? 負荷がゼロなので空調 ファンが回っていない ※ 第3号棟は超すばらし い設備が整っています
- 27. ラッキング後のサーバ 27 ? 本来ならDCOPチーム のすばらしいラッキン グ作業で組み上がる ? しかし（以下同文） ? 研究所のヘルプ要員と 新規事業室の開発要員 が組み上げた ※ 後で「配線ルール違 反」と怒られました
- 28. ルータとスイッチのセットアップ 28 ? 一応キッティング ルームで作業中 ? ところが机がないの で台車で作業してい るありさま ? 車で20分のところに PCショップがあって ケーブルやキーボー ドは充実している ? ホームセンターで安 全靴も買える
- 30. 本来のホストサーバ構築 30 ? KickstartとAnsibleで全自動化されている ─ラッキングした後、電源を入れるだけ ADMIN-SW [1] [2] [3] [4] HOST-1 HOST-2 HOST-3 HOST-4 1. 電源ケーブルを入れるとSWにMACが聞こえてくる 2. show mac tableでポート／MAC対応表を取得 3. 割当ラックとポート番号からサーバ名とIPアドレス を決定 4. DHCPでIPアドレスを配給 5. ホストをブートしKickstartでOSをセットアップ 6. Ansibleでサーバ個別の設定を実行 クラウドシステムに組み込み DHCP Server TFTP server PXEBOOT
- 36. ほかの「サービス」との共通点／相違点 ? ゲームプロジェクトとの比較 ─ 不特定多数のお客様にサービスを使っていただく事は同じ ─ サーバ?ネットワーク?ストレージのインフラの安定が必要 ─ 特に通信品質（ロスレス、低レイテンシ）は最重要 ─ MMORPGでは独特のテクニックが使われるため専門知識も問われる ─ プログラマと連携ができないと仕事が貰えなくなる ? 相違点 ─ ゲームではアプリケーションやコンテンツがより重要 ─ それを支える多数のサーバやデータベースが必要 ─ Windowsやスマホやコンソールゲームマシンの知識も必要になることも ─ エンドユーザの家庭LAN環境にも配慮したり ─ それらの要件に応えられるよう詳細な設計が求められる 36
- 38. ネットワークエンジニアの役割 ? さくらでは分業が進んでいる 1. バックボーン（ボーダー／データセンター） 2. サービス ? サービスは前述の通り ─ サービス仕様に応じて設計し、接続し、運用する ? バックボーンはより大きなスケールを見る ─ ボーダー：対外接続、IXやトランジット ─ データセンター：DC間やDC内 38
- 39. バックボーン 39 東京 大阪 石狩歴史的な事情で3つのASを 持つ特殊なネットワークを 形成している ? 東京?大阪でネットワークを 構成していたSRSがAS9370、 AS9371を取得 ? AS7684を持っていたInforestと 合併した結果3つのASを持つに 至った ? AS7684はしばらく使っていな かったが石狩開設時に復活、 現行のネットワークになった
- 40. ボーダー 40
- 41. ボーダーの運用 ? 基本はBGP ? トランジット（有償の回線購入） ─ フルルートは72万ルート（整形されて57万ルート） ─ 現在も増える一方 ─ IPv4はいつなくなるんでしょう？ ? IX（基本無償の相互接続） ─ AS同士の経路交換 ─ 大手町に集中（ゴジラが来たら大変なことに） ? プライベートピア ─ AS同士の直接接続?経路交換 41
- 42. データセンター ? 基本はOSPF ? 経路情報をCOREがまとめ てデータセンター?バック ボーンへ伝達 ? トラフィックもCOREがま とめて上位へ伝送 ? 右は模式図で、実際は多数 のEDGEがあり、多数の サービスが収容されている 42 CORE1 CORE2 AGGRE1 AGGRE2 EDGE1 EDGE2
- 43. サービスとの境界 43 バックボーン／サービスの 責任分界点 ? データセンターのエッジとク ラウドの上位ルータ間で iBGP接続を行い、クラウド サービス収容の全経路を交換 ? テナントが増えるに従い、IP アドレスの割当も増やす （広報経路を増やす） ? VMへの割当や細かな制御は サービスの責任であり、バッ クボーン側は関知しない ? 責任分界点の上下で、運用 ルールも障害対応手順もまっ たく異なる
- 44. エンジニアの役割の違い ? サービスは「先端的、柔軟」 ─ 仕様や顧客要望に対して変化が求められる ─ ネットワーク以外の機材も絡むため障害対応体制も 異なる ? バックボーンは「保守的、堅実」 ─ 安定運用が絶対条件 ─ そのために厳格な運用ルールを自らに課し実行して いる ─ 一方でDDOS検知システムを自作する「さくら らしさ」も持っている 44
- 46. 参考：その仕組み 46 1. 攻撃ターゲット宛のトラ フィックを一旦OpenFlow スイッチへ転送 2. DDoSパケットをドロップ しつつ正常なトラフィック を宛先IPアドレスに付け替 えてiBGP網に戻し、デー タセンターへ転送 3. データセンターに到達した パケットをOpenFlowス イッチで元の宛先IPアドレ スに付け戻し、通常のルー ティングでお客様機器に届 ける
- 47. （２）MPLSによる回線冗長 47 MPLSによる仮想経路 ? 長距離専用線は瞬断や長期断線のリスクが高く、L3冗長では安定運用できない ? そこでMPLSにより仮想経路を形成し、経路切替を低レイヤで実施する ? L3には影響を及ぼさず極短時間で切り替え、サービスへの影響を最小限に抑える ? 東京－石狩間で実施中、大阪も追加予定 長距離専用線Ａ 長距離専用線Ｂ
- 48. 48 3. 質疑応答
- 49. さいごに ? 技術本部ネットワークグループ部長のコメント 「授業で習う基礎知識だけで現場業務をこなすのは大変 だけれど、がんばって先端についてきて欲しい」 ? どのような業種?業界に進もうとも ネットワークエンジニアは基礎が大事 ─ TCP/IP誕生から30年以上、BGP-4提案から23年経過 ─ しかし現在でもIPは利用され続けている ─ 10年後に大改革が起ころうとも、現在の基礎の上に築 かれることは間違いない 49
- 50. 50 おしまい