狠狠撸

1? Internet Initiative Japan Inc.
ＩＩＪのサーバインフラはここまでやっています
株式会社インターネットイニシアティブ
?畑雅弘
基盤エンジニアリング本部システム技術部基盤運営１課?
講演２
ＩＩＪＴｅｃｈｎｉｃａｌＤＡＹ 2019 | 2019.11.21 Ｔｈｕ
14：30～15：10
IIJ Technical DAY 2019

2
スピーカー紹介
基盤エンジニアリング本部
システム技術部基盤運営１課?
?畑雅弘
守備範囲：
Linux / Windows
ハードウエア / ファシリティ
業務内容：
サーバインフラの構築
サービス基盤インフラ（NHN）の運?
趣味：
??機に乗ること
基盤エンジニアリング本部
システム技術部
基盤運営１課長
東京都千代田区富士見2-10-2
飯田橋グラン?ブルーム〒102-0071
Tel: 03-5205-6477 Fax: 03-5205-6537
E-mail: takahata@iij.ad.jp
http://www.iij.ad.jp/
高畑雅弘

3
本?お話しすること
1. IIJってインフラ屋なんです
2. 既存データセンターが抱える課題
3. ?地?電気の問題を解決したデータセンターを作ろう
4. 事業者向けに最適化されたデータセンターを作ろう
5. 新しいサーバインフラを作ろう
6. 本?のまとめ

4
１．IIJってインフラ屋なんです
ＩＩＪＴｅｃｈｎｉｃａｌＤＡＹ 2019 | ＩＩＪのサーバインフラはここまでやっています

5
IIJに対するイメージとは？
サービスを提供するにはなんらかのインフラが不可?
2000年頃
2010年頃
2019年
? 商?インターネットの?舗
? IIJ4U（ダイヤルアップ接続）
? クラウドをやっている会社
? 格安SIMをやっている会社

6
IIJってインフラ屋なんです
ひとことでインフラと?っても
? データセンター
? ネットワーク
? サーバインフラ
? オーケストレーター
などありますが、
AWS/GCP/Azureでも構わないのですが
IIJはこれらを全部やっています
本?はサービス基盤インフラであるNHNにフォーカスしてお話しし
ます。

7
IIJの提供するサービス全体像
ネットワーク事業
インテグ
レーション事業
様々な事業
クラウド事業
セキュリティ事業
モバイル事業
Google
IIJモバイル
仮想デスクトップ
拠点本社テレワーク
Service Adaptor
無線LAN
Docomo
by KDDI
ID
PW
IIJ ID
SmartKey
ファイルサーバ
ネットワーククラウド
WAN最適化 ADクラウド化
クラウド
振り分け
?速&快適
VPN
エンドポイント
セキュリティ
CSOC
メール
セキュリティ
IoT/監視カメラ
WANユニット
Web分離
Office 365
パブリックプライベート
マルチ
クラウドSI
マルチ
クラウド管理
SSO&
認証強化
クラウド移?
オンプレ

8
IIJの提供するサービス全体像
ネットワーク事業
インテグ
レーション事業
様々な事業
クラウド事業
セキュリティ事業
モバイル事業
Google
IIJモバイル
仮想デスクトップ
拠点本社テレワーク
Service Adaptor
無線LAN
Docomo
by KDDI
ID
PW
IIJ ID
SmartKey
ファイルサーバ
ネットワーククラウド
WAN最適化 ADクラウド化
クラウド
振り分け
?速&快適
VPN
エンドポイント
セキュリティ
CSOC
メール
セキュリティ
IoT/監視カメラ
WANユニット
Web分離
Office 365
パブリックプライベート
マルチ
クラウドSI
マルチ
クラウド管理
SSO&
認証強化
クラウド移?
オンプレ
本?お話し
する領域
本?お話し
する領域

9
IIJサービス向けHaaS/IaaS基盤（NHN）とは
各種IIJサービス（SecureMX や SecureWebGateway 等）を稼働させ
るためのサービス基盤インフラ
? 2009年1?に200台から提供開始、今では6,000台※を超える
? 2019年10?に 6世代?（Type-N4）をリリース
0台
2,000台
4,000台
6,000台
2009年 2011年 2013年 2015年 2017年 2019年
NHN物理サーバ台数
Type-N4
Type-N3
Type-N2
Type-N1
Gen2
Gen1
※2019年11?現在

10
２．既存データセンターが抱える課題

11
既存データセンターが抱える課題（１）
「都市型データセンターはコストが?い」
? そもそも?地が?いうえに場所が狭い
「ラックあたりの電?許容量が少ない」
? 15年以上前の設計のため、ラックあたりの電?許容量が3kVA前提で
供給電?に限界
? 配電設計／空調能?も限界
? 他のテナントと電気の取り合い
?電?供給量を増やすには、多?な改修費?と?事期間（電?会社含む）が必要
?すでに??い状にラックを利?しているため、抜本的な対策は困難

12
既存データセンターが抱える課題（２）
「ラックの収容台数を最?化できない」
? IIJが?般的に採?するネットワークスイッチは48ポート＝48台
? 1Uサーバ：48U + スイッチ：3U + パッチパネル：1U ? 52U以上必要
??般的なラックは47Uが最?（IIJで使?しているものは最?49Uまで）
「供給電?と空調能?のバランスが難しい」
? 供給電?に合わせてラックにサーバを詰め過ぎると、空調能?が追い付か
ず冷やせないため、搭載台数を増やせない
?熱溜まりを起こしてしまうとサーバファンの回転数が上がる（＝消費電?増）
? 空調能?に合わせてラックにサーバを詰めると、供給電?を使いきれない
状態となり、搭載台数を増やせない

13
サーバインフラとして?指す?向とは？
コストが最?になり、結果が最?になるものを考える
? データセンターにかかるコストを下げたい
? ハイスペックなサーバをたくさん設置したい
? 障害を起こしにくいインフラを作りたい
全てを満たすものはない
うまくバランスを取る必要がある

14
サーバインフラのコスト低減?針と改善策
? コスト内訳毎に低減?針を定め、抜本的な改善策を実?
ラック費?
データセンター
利?料
? ラック収容効率向上
コスト内訳コスト低減?針
設備
投資
CAPEX
運?
コスト
OPEX
IIJが採?した改善策
通信機器費?
サーバ?ストレージ費?
初期構築費?
? ?性能かつ安価な
機種を選定?導?
? ?度に?量導?
機器保守費?
運?体制費?
場所代
電気代
? 安価な?地を選ぶ
? 安価な供給先を選ぶ
? 保守レベルの最適化
? メンテナンス性の
?いシステムの導?
土地?電気の問題を解決した
データセンターを作ろう
事業者向けに最適化された
新しいサーバインフラを
作ろう
1
2
3
詳細はP.15
詳細はP.17
詳細はP.26

15
３． ?地?電気の問題を解決した
新データセンター
事業者最適
新サーバインフラ
1
2
3
1

16
?地?電気の問題を解決したデータセンターを作ろう
ファシリティーコストで?きな割合を占めるのは
事業者最適
1
2
3
?地／建物
電気
空調
? 郊外の安い?地を探す
? 建物を安く作る
? 特別?圧受電設備
? 蓄電池を設置してピークカット
? 間接外気空調の採?
? IT機器と協調した空調制御
これらを解決するために新たにデータセンターを建築することになりました。
詳細は狠狠撸 Shareで公開
中。「?井データセンター
キャンパスの挑戦」で検索

17
４．事業者向けに最適化された
2
事業者最適
1
2
3

18
事業者向けに最適化されたデータセンターを作ろう
? データセンター開発部?とサーバインフラ開発部?が
共同で設計?開発
?サービス事業者の利?に適した、60項?以上の改善点を提?
今回のDC開発
台
数
12ヵ?
短期に
千台規模の導?
台
数
12ヵ?
不定期に
数?台規模の導?
???
新DC
設計?開発
両開発部?で
新DC設計?開発に合意
DC
開発部?
? データセンター開発部?
が中?となって仕様策定
新DC
設計?開発
? ?般的な利?者を
想定して建築
? データセンター開発部?と
サーバインフラ開発部?が
共同で設計?開発
? サービス事業者を
想定して建築
DC
開発部?
サーバ
開発部?
60項?
以上の
改善点
新しいデータセンターを作るときに「何を気にして、どういう点が
改善に繋がったのか」その?部をご紹介していきます
これまでのDC開発
事業者最適
1
2
3

19
サーバインフラ開発部?からの要望（１）
ラックの?さを増やせないか？
? 国内メーカーが製造しているラックで最?47U（2,200㎜）
? 海外メーカー製ラックで60U製品は存在している
? データセンター内のあらゆる?さが搬?の妨げになる
? 天井まで2,400㎜
? エレベーター、サーバルームの扉、?常?の看板、防犯カメラの設置位置
【要求仕様】
? ラックの最?サイズは56Uラックを搬?できるようにする
事業者最適
1
2
3

20
サーバインフラ開発部?からの要望（２）
ラックにサーバをより多く搭載できないか？
? 1台約25kgのサーバを48台搭載して約1,200kg
? スイッチとLANケーブルを配線していくと約100kg
? ラック?体の重量が約200kg
【要求仕様】
? 耐荷重はラックあたり1.5tを超えること
? より搭載したい場合は隣接ラックで間引くことにする
? コンクリートスラブなら数tはいける
事業者最適
1
2
3

21
サーバインフラ開発部?からの要望（３）
?度にたくさんのサーバを納品できないか？
? そもそも搬??が?さい
? ?分な広さの開梱場所がない
? もしくは外部でサーバ搭載済みラックを構築して輸送
? かつてはサーバを搭載したコンテナも輸送した(松江）
? データセンターに開梱場所をあらかじめ作ってしまう
【要求仕様】
? 搬??は10トントラックを2台同時に搬?できるようにする
? 搬??の横に?分に広い開梱スペースを確保
事業者最適
1
2
3

22
サーバインフラ開発部?からの要望（４）
奥?の?いサーバを搭載できないか？
? 最近のサーバでは800㎜を越えるものがある
? ?密度化が進んで以前より奥?が?くなっている
? 配線やPDUのサイズを含めると1,000㎜では?りない
? 光ケーブルの曲げ径限界やラック扉の内側の構造でさらに必要
【要求仕様】
? 標準で1,200㎜のラックを採?
事業者最適
1
2
3

23
サーバインフラ開発部?からの要望（５）
ラック前のスペースが狭い
? 構築時にラックが設置されていない所は?較的スペースに余裕があるが、
ラックを建ててしまうとその余裕がなくなる
? 列間1,200㎜（ホットアイル/コールドアイル共に）
【要求仕様】
? 列間1,800㎜（コールドアイルのみ）
? ルームあたり2列削る / 1列あたり2ラック削る
? 仮に使えるラックが減っても使える電?総量はかわらない
? 1ラックあたりに使える電?量が増える
元仕様：1800kVA ÷ 300ラック＝ 6kVA
新仕様：1800kVA ÷ 234ラック ≒ 7.7kVA
事業者最適
1
2
3

24
サーバインフラ開発部?からの要望（６）
フリーアクセスフロア
? 海外のデータセンターではフリーアクセスフロアでなくコンクリートスラ
ブも多い
? 耐震/制震のことを全く考えていないわけではない
? 2F以上だとわりと揺れるが1Fでは耐震でもいける
? ?井DCCの?地は、?規模地震での被害想定は?くない
? フリーアクセスフロアの場合、10年程経過してリプレースが何回か進む
と、ケーブルによる地層が?まれる
【要求仕様】
? １期棟はコンクリートスラブで
事業者最適
1
2
3

25
新しいデータセンターができた
? 2019年5? ?井DCC（千葉県?井市）サービス開始
?井DCC
事業者最適
1
2
3

26
５．新しいサーバインフラを作ろう
ＩＩＪＴｅｃｈｎｉｃａｌＤＡＹ 2019 | IIJのサーバインフラはここまでやっています
事業者最適
1
2
3
3

27
新しいサーバインフラを作ろう
さかのぼること、1年前の2018年春頃
OCP準拠サーバを導?すると
? 集中電源により電?効率20%程度改善
? ?般的な1Uサーバよりも価格が安い
という話をご紹介を頂いた
はっきり?って信じてなかったんですけどね???
? 2017年までは調達価格が?すぎて割にあわなかった（2割ぐらい?い）
? 今でも相当安く調達できているのに難しいのでは
? でも、折からの円?や半導体業界のだぶつきを受けてDIMMやSSDの価格が下落傾
向、机上計算してみるとOCPサーバの?が若?安い試算が出た
試す価値ありかも
事業者最適
1
2
3

28
Open Compute Project（OCP）とは
ハードウエアのオープンソース化を推進している団体
OCP：https://opencompute.org/
OCPJ：http://opencomputejapan.org/
?ハードウエアベンダー：
IBM / Intel / MiTAC / Wiwynn / Quanta
?ソフトウエアベンダー：
Microsoft / VMware
?利?者：
Facebook / Rackspace / Microsoft
国内でも Yahoo! JAPAN / NTTコミュニケーションズが採?
事業者最適
1
2
3

29
OCP準拠サーバとは
利点
? 本当に必要なパーツのみで構成することができる
? 調達コストが下がる
? 電?コストが下がる
? 中間マージンが抑えられ、調達コストが下がる
? ?規模調達顧客向けパーツ価格の適?
? 利?者環境向けに特別に機能を実装してもらえる可能性がある
? 交換可能なパーツの交換に?具が不要
事業者最適
1
2
3

30
OCP準拠サーバとは
?点
? 為替の影響をもろに受ける
? OCP専?のラックや集中電源が必要となる
? BIOS/BMCのテストは利?者側が実施する必要がある
? 枯れたバージョンのBIOS/BMCを探す旅???
? 保守はパーツ交換(?営保守)のみ
? メーカーと英語でやり取りが必要
事業者最適
1
2
3

31
OCPサーバを導?するまでの課題 -調達-
課題対応策懸念事項
調達台数規模既にまとまった台数で調達している
ので問題なし
調達単価 ?量に調達する前提で複数社に対し
て相?積もりを取得
?般的なサーバより価格が?くな
るようであれば撤退
納期が?い計画的に設備展開を実施
輸送?通関?続 Solution Providerに依頼
納期遅延スケジュールを密に確認しながら進
める
特に東アジアの政治動向は常に注
視しておく必要あり
OCP専?ラック ?本製（?東?業製）のラック（耐
震基準適合済み）を導?
OCP集中電源 ?本製（村?製作所製）の集中電源
を導?
事業者最適
1
2
3

32
OCPサーバを導?するまでの課題 -仕様-
BIOS/BMCテスト
機能検証
ターゲットの設備と同じ環境（boot環
境など）を準備してテストを実施
導?検証通常のサーバよりも体制を厚めに、期
間を?めにして検証作業を実施
OCPサーバ仕様購?可能なものからIIJのインフラの仕
様に合ったものを選択
世代が変わるとIIJが求める仕様
が無くなる可能性があるので、
動向を注視しておく
事業者最適
1
2
3

33
OCPサーバを導?するまでの課題 -技術サポート-
メーカーとのやり取りに
時間がかかる可能性があ
る
メーカーとSolution ProviderとIIJが
参加するチャットを準備して直接や
りとりを実施
メーカーと英語（中国
語）でやりとりする必要
がある
英語ができるメンバーを参加させる
事業者最適
1
2
3

34
OCPサーバを導?するまでの課題 -保守-
オンサイトサポートがな
い
故障個所の切り分けおよびパーツ交
換については既に他のサーバで?営
保守を実施済
ハードウエアに強いエンジニ
アがいる体制を維持する必要
がある
故障パーツの返送 Solution Providerがメーカー（台
湾）へパーツ返送を代?
事業者最適
1
2
3

35
OCPサーバ導?決定
課題や懸念事項はあるものの、
導?メリットが?きい
と判断し、IIJも
「OCPサーバを導?」
することにしました。
事業者最適
1
2
3

36
（参考）OCPサーバの調達例
? 利?者は?由にパーツ(メーカー/仕様)を組
み合わせて使うことができる
? 利?者がODMメーカーに直接やりとりを
?ってもよいが、Solution Providerをメー
カーと利?者の間に?ってもらい、?りな
い輸送?通関業務?サポート代?などを補
う
利?者
キッティングシステム組込
Solution Provider
輸送?通関業務
ODMメーカー
仕様に基づいて部品調達?製造
事業者最適
1
2
3

37
OCPサーバを海外?場から?井DCCへ搬?する様?を
ショートムービーにまとめましたのでご覧ください
2min
https://www.youtube.com/watch?v=-Wl2GSYioUE
事業者最適
1
2
3

38
OCPサーバの導?成果
実際にOCPサーバを導?した結果、調達費?は最??35％、
電?消費量は最??30％の削減効果※全て当社?
?特に調達費?は当初?込みの10％減を?幅に下回る結果に
事業者最適
1
2
3
?般サーバ OCPサーバ
調達費??較
約35%減
Idle時 ?般的なWorkload 最?負荷時
消費電??較
?般サーバ OCPサーバ
約30%減
約20%減
約17%減

39
（参考）運?Tipsのご紹介
事業者最適
1
2
3

40
（参考）運?Tipsのご紹介
OPEX低減の観点から、現地オペレーションミスを
なくすための?夫の?部をご紹介
? 特に過去の苦い経験から、ケーブリングにこだわりを持っています
? ケーブリングのやり?によっては、メンテナンス性とサービス品質に影響
ケーブリング作業：
部材：eco-patch6 ケーブル
住友電?製 Direct Attach Cable
ZERO unitケーブルマネジメントトレイ
視認性のよいケーブルの?分け
事業者最適
1
2
3

41
現地オペレーションミスをなくすための?夫（1）
ケーブリング作業：
? IIJグループ会社（ネットチャート株式会社）へ?事を依頼
? ノウハウが蓄積されている
? 芸術的なケーブリング
? かつては社員が直接実施
? 時間がかかるし、出来上がりも悪い
? 意外と?仕事
事業者最適
1
2
3
※写真は7本のメタルケーブルを配線したもの

42
部材：eco-patch6 ケーブル（10GBASE-T）
? ?般的なケーブルと?較して断?積は6割減、重量は6割減
? ラック内エアフローを確保
?エアフロー改善することで電?消費量を削減
? Cat.6 対応
? 計測の結果ラック内配線であれば
エイリアンクロストークの影響はほとんどない
事業者最適
1
2
3
本日、ネットチャート株式会社からサンプルとしてご提供いただきましたので、
是非とも展示コーナーにお立ち寄りください。
eco-patch6
ケーブル
Cat.6
ケーブル
お知らせ

43
部材：ケーブル?を使い分けることでミスを防ぐ
? 主系：群?
? 副系：ピンク
? マネージメント系：若草
事業者最適
1
2
3

44
部材：住友電?製 Direct Attach Cable（Twinax）
? 極細同軸電線を使?
? ?般的な Twinax ケーブルよりも柔らかく扱い易い
? 最?曲げ半径はケーブル外径とほぼ同じ
? SFP+ と QSFP の2タイプがある
? 細径のケーブルでラック内エアフローを確保
?エアフロー改善することで電?消費量を削減
事業者最適
1
2
3
住友電?製
DAC
C社製
DAC

45
部材：ZERO-unitケーブルマネジメントトレイ
? ケーブルマネジメントのために1Uを消費しなくてよい
? より多くのサーバ/スイッチを搭載可能
事業者最適
1
2
3

46
６．本?のまとめ

47
本?のまとめ
? 我々にとって既存のデータセンターには課題があったため、
設計段階からデータセンター開発部?と協?し、新しいデータ
センター（?井DCC）を作った
?松江DCPに次ぐ、2つ?の?社データセンター
? 設備投資コストと運?コストにこだわった、新しいデータセン
ターを活?する新しいサーバインフラを作った
?OCPサーバを採?することで、サーバインフラコストを30％減
? 運?し易さやメンテナンス性を追求することで、サービス品質を
?める?夫をしている
?運?ミスを低減するためのケーブリングや部材の選定を実施

48
最後に
?品質なインフラをつくるために
様々な?夫をおこなっています
IIJのサービスはこのようなインフラに
?えられています

狠狠撸

IIJ Technical DAY 2019 ～ IIJのサーバインフラはここまでやっています

More Related Content

IIJ Technical DAY 2019 ～ IIJのサーバインフラはここまでやっています