狠狠撸

? J-Stream Inc. All Rights Reserved.
2017年11月9日
鍋島公章
株式会社Jストリーム
CDNのトラフィック
エンジニアリング
～CDNの現状とSDNの可能性～
第 42 回インターネット技術第 163 委員会研究会

2? J-Stream Inc. All Rights Reserved.
自己紹介
? 鍋島公章（なべしままさあき）
? 株式会社Jストリーム＋個人コンサルティング
? 略歴
? 1992年：NTT入社、Internet関連の研究開発を開始
? 1995年：NTT研究所＠シリコンバレーでCDN関連研究を開始
? Internet 2、APAN
? 2000年：NTT退社、さまざまな配信関連サービスに関わる
? ビデオチャット～映画本編、固定網～モバイル網
? 2015年：(株)Jストリームで国産CDN(CDNext)を開始
? サービス企画

はじめに：CDNの現在
? Internetトラフィックの8割程度はCDN技術により配信
? 一般CDN(Akamai、Cloudfront、Cloudflare…):2割程度
? 自社CDN(巨大OTT：Netflix、Youtube):6割
? 自社CDNによる配信(北米2016下期)
? 固定網： 56.94%
(マルチCDN利用も含むと61.74%）
? モバイル網： 24.59%
(マルチCDN利用も含むと41.58%）
固定:56.94% モバイル:24.59%
Netflix 35.15 % Youtube 20.87 %
Youtube 17.53 % Facebook 13.97 %
Amazon Video 4.26 % HTTP - Other 9.36 %
HTTP - Other 4.19 % SSL - Other 6.85 %
iTunes 2.91 % Instagram 6.66 %
Hulu 2.68 % Snapchat 5.17 %
SSL - Other 2.53 % Netflix 3.72 %
Xbox One 2.18 % iTunes 3.02 %
Facebook 1.89 % Google Cloud 2.87 %
BitTorrent 1.73 % MPEG - Other 2.37 %
北米サービス別トラフィック出典：Sandvine Global Internet Phenomena
https://www.sandvine.com/trends/global-internet-phenomena/

はじめに：InternetとCDN
? 2016現在のInternetは、CDNとその接続(Feeder)ネットワー
クであり、偏在的なEnd to Endネットワークではない
? Geoff Huston @ APNIC チーフサイエンティスト
? Desperately Seeking Default
? End to End通信は「ほころび」つつある？
? ISPの対応
? 対CDN通信は厳重管理
? マイナーなEnd to End通信障害は放置
? 理由
? 経路増加
? メディアおよびSNSの重要性が拡大

はじめに：CDNによるInternetの単純化
? CDN配信サーバのスペック
? 配信キャパシティ：1台で数十～100Gbps
? SSDとメモリの塊←高価
? 配信サーバの配置
? 一定規模以上のISPのみ
? 中小ISPは切り捨て

はじめに：Internetの今後
? CDNを中心としたシンプルなネットワーク構造に
? CDNサーバを置いてもらえないISPは大手に吸収される
? BGPでコントロールされるトラフィックはさらに減少、
AS内CDNサーバからユーザへの直接配信率がより高まる

はじめに：CDNビジネス
? セグメント別状況
セグメント市場状況ビジネス状況
大規模
配信
強烈な価格
競争
原価割れ（総合的サー
ビス提供で収支合わせ)
中小規模
配信
裾野の拡大
適切な利益(新規ユーザ
開拓は大変)
セキュリティ
(WAF、DDoS)
売り手市場ドル箱
206 197 188 196 187 179 183
316 327 345
367 369 376 381
81 87 95 102 110 115 121
0
50
100
150
200
250
300
350
400
450
Media Delivery Performance and Security
Cloud Security
Akamai社ソリューション別売上げ

配信者視点の経路制御
? 好ましい場所から、好ましい回線でコンテンツを配信したい
? 安い、早い、空いている、安定している
? AS間の経路制御/レイヤー3：ダメ、使えない！
? BGP（基本：受信ポリシーの伝播）
? 配信ポリシーの実現：BGPでは考慮されない
? ソースルーティング(配信側が経由するポイントを任意に指定）
? セキュリティ上危険ということで無効化

背景：BGPの基本
? 経路テーブル(受信ポリシーの集大成)
１、それぞれのネットワークが経路情報（＋ポリシー）を外部に広報
? 受け取りたい：経路広報
? 受け取りたくない：PATHプリペンド（ダミーパス追加）
２、それぞれは（1が正しいと信じて）経路テーブルを作成
経路情報
経路情報
経路情報
経路情報
経路情報
経路情報
経路情報
経路情報
経路
テーブル
経路
テーブル
経路
テーブル
経路
テーブル

背景：BGPの特徴
? 受信トラフィック
? Internet全体に対するある程度のコントロールが可能
? ポリシーは伝播される
? 受信ポリシーの広報
? 分散協調システムにおける「ある1つのネットワークの希望する経路」
? 送信側がそのポリシーを遵守しない場合もある
? 送信トラフィック
? Internet全体に対するコントロールはできない
? ポリシーの伝播なし
? 送信ポリシーは自ネットワークの出口制御まで、その先の制御は、そ
の先のネットワークにお願い(契約、人間関係)

背景：グローバルDC(ハイパージャイアントAS）
? ハイパージャイアントとコードネーム
? Google: Espresso
? Facebook: Edge Fabric
? 特徴
? 自社だけで全世界をカバー
? だれとでも無料ピアリング（トランジット販売無し）
? 歴史
? 1990年代後半：AboveNetが開始
? 世界中で接続性のよいASを持つデータセンター
? AboveNet自体は、ドットコムバブル崩壊とともに一度破綻(2002)

? 技術
? エニキャスト：網内に同一IPサーバを複数配置
? 障害対応：難しい
? コールドポテト：できるだけユーザに近い所からトラフィックを出す
? 最適処理：難しい
? 網内の高度な制御：SDN、NFV
ISP ISP
8.8.8.8 8.8.8.8
ISP
コールドポテト
ホットポテト

? 技術
? エニキャスト：網内に同一IPサーバを複数配置
? コールドポテト：できるだけユーザに近い所からトラフィックを出す
? 網内の高度な制御：SDN、NFV
ISP ISP
8.8.8.8 8.8.8.8
ISP
コールドポテト
ホットポテト
エニキャストの
サーバ障害例
(Cedexis Availability)

背景：BGPトラブル例
? トラブル例巨大ISPの系列国際ISP
日本国内
巨大ISP
(回線高い)
ISP
J-Stream
国内経路のみ購入
(安いアジア系)国際ISP
フル経路
下り：不安定！上り：OK
①返りはなぜか国際へ
②国内経路なしのため
このパスからは返らず
③最終的に国際ISP
経由で返る

背景：ソースルーティング概要
? 中継ポイント(ルータIP)の指定
? 指定
? IPヘッダ
? 種類
? LSRR (Loose Source and Recorded Route)：中継ポイントのみ指定
? SSRR (Strict Source and Recorded Route)：完全な経路を指定
中継ポイント
中継ポイント

背景：ソースルーティング課題
? 実際には使えない：
? セキュリティ問題
? ファイアウォール回避
? IPスプーフィング
? Internetの課題
? 受信ポリシーの集大成で手一杯
? 自由な送信ポリシーの実現→Internet破綻
? 一方、CDN事業者(自社CDN含む)は送信ポリシーを実現
? CDNは、Internetの支配者と言われる（もう一つの）ゆえん

CDN:配信ポリシーの実現技術
? CDN：配信サーバ群の最適地理分散
? 多数の配信サーバ
? リクエストナビゲーション（GSLB、GTM)
? 「ユーザからのリクエストを最適なサーバに届ける」＝
「任意のポイントから任意のユーザにトラフィックを流し込む」

配信者視点のパワーゲーム
? 配信費用パワーゲームにおける強力なツール
? 配信コストの95%以上を占める回線費用をISPに押し付ける
? テクニック
? CDNの運用テクニック
? Tire1 ISPからの配信
? ISP無償コロケーション
? 配信拠点のオークション調達
? 海外からの配信
? 巨大キャリアのCDN活用
? CDNから3回の売上げ
Internet
回線費用ネット利用料

CDN運用：運用テクニック
? Tire1 ISPに配信サーバを(格安で）置く
? Tire 1 ISPは、そのトラフィックを国際トランジットとして販売
Tire 1 （国際）ISP
日本国内
ローカルISP
海外

? ISP無償コロケーション
? ローカルISPに無償でサーバを置いてもらう
? ローカルISPにとっては上位ISPへの回線負担が減る
? 無償で置かせたサーバから近傍のISPに配信する
日本国内
ローカルISP

? 配信拠点のオークション調達
? CDNでは配信拠点の移設が容易
? CDN＝安価で使える網構成を追い続けるための技術
100円/Mbps 200円/Mbps 300円/Mbps
(オープン)
入札

海外
? 海外から配信する
? 配信費用：1/10程度
? 動画：数Mbps程度なら問題なし（バッファリング）
? マルチCDN：パフォーマンスが落ちたら国内から配信
? バッチ系ダウンロード：非インタラクティブ
日本国内

CDN運用：巨大キャリアのCDNコントロール
? 国内ISP
? CDNサーバは、国内ISPではなく、国際ISPに置かせる
? 国際ISP
? ①CDNサーバから配信料を徴収
? ②CDNが配信したトラフィックを他のISPにトランジットとして販売
? 巨大キャリア
? ③そのCDNの有力代理店
国際ISP日本国内
国内ISP
ISPs
ISPs
巨大キャリア
?国内ISP(AS)と国際ISP(AS)を持つ通信キャリア
CDNで3度売上げる

CDN利用：マルチCDN
? OTT事業者のCDN利用形態
? 単独CDNから、マルチCDN、自社CDNへの移行が進む
出典：OTT Video Services (2017)
http://www.streamingmedia.com/Research/7064-OTT-VIDEO-SERVICES-INNOVATION-
OPPORTUNITY-MATURATION--TECHNOLOGY-TRENDS-IN-OTT-DELIVERY.htm
利用形態 OTT事業者数
単独(汎用)CDN 30%
マルチ(汎用)CDN 48%
自社CDN 22%

CDN利用：マルチCDN
? 複数のCDNを使ったトラフィックエンジニアリング
ユースケース概要
ラウンドロビン一定比率で複数のCDNを利用
国別切替国別に使用するCDNを選択
ベストパフォーマンス地域別、時間別で最速のCDNを利用
バックアッププライマリCDNがダウンした時にバックアップCDNを利用
オーバーフロー
プライマリCDNの利用量が一定以上になった時、セカンダ
リCDNのみを利用
バースト対応
(ハイブリッドCDN)
オンプレミス設備or自社CDNの帯域を使い切った時、汎
用CDNを追加利用
最小コスト一定条件(最低速度)の元で最小コストのCDNを利用

CDNにおけるSDNの可能性
? Internet用のクラッシックなCDN
? SDNは使えない
? もともとInternetの経路制御は送信ポリシーを実現できない
? NFVも避けたい
? CDNサーバはパフォーマンスが命、仮想化は避けたい
? GSLBのNFVはあり
? CDN新領域
? いくつかのシーンでSDNとNFVが有望
? 自社網

CDN新領域
新領域マーケット技術
自社CDN
ハイパージャイアント
(超大規模配信)
ビックデータ解析
(ユーザ行動解析
コンテンツ解析)
クライアント制御CDN ビデオ
マルチCDN
P2P CDN
リアルタイム通信CDN
セキュリティ
インタラクティブ
特殊プロトコル
専用バックボーン
SDN
NFV
閉域網CDN
エンタープライズ
Wifiホットスポット
モバイル網
SDN
NFV

リアルタイム通信CDN
? 特徴
? キャッシュ不可能なコンテンツもCDN経由で配信
? 背景
? 全トラフィックをCDNが防御(セキュリティCDN)
? WAF、DDoS対策
? 配信サーバ間専用プロトコル、専用バックボーンによる高速化
? 素のInternet経由で流すよりも、CDN経由のほうがジッタ少なく、レイテンシ低い
? 専用バックボーン
? 内部の経路制御：SDNによる細かな制御
? 付加機能：NFVによる運用

閉域網CDN
? 特徴
? CDNによる自社網内の最適配信
? マーケット
? エンタープライズ：社長スピーチ
? ホットスポット：オリンピック、IPサイマル、スマートスタジアム?シティ、インバウンド
マーケティング
? モバイル網：基地局(モバイルエッジ)コンピューティング
? 背景
? 自社網内のトラフィック増加
? ビデオ、IoT
? 網管理の高度化
? SDN、NFV、SD-WAN

Enterprise-CDN
? 基本機能
? 配信、ユーザ管理、コンテンツ管理、視聴管理、セキュリティ管理
出典：Kollective SD ECDN

Smart Stadium
? 基本機能
? 高密度Wifi、IPマルチキャスト放送、マルチアングル、センサー群、
CCTV、映像認識、リアルタイム?ビッグデータ解析

Mobile Edge Computing
? 基本機能
? 低レイテンシ通信、高帯域、場所依存、リアルタイム?コンピューティン
グ、網状況の即時判断

まとめ
? CDNの位置づけ
? 配信ポリシーの実現技術
? 新時代(集中管理)Internetの中心技術
? CDNのトレンド
? 閉域網CDNへのニーズ拡大
? エンタープライズ、Wifiホットスポット、Mobile網
? SDN、NFV、SD-WANの活用
? 土管制御から高度(コンテンツ?ユーザAware)制御
? クライアント(プレイヤー)側の高度制御
? 動画向けマルチCDN

参考文献および連絡先
? 講演サポートページ
? https://tech.jstream.jp/blog/meeting/itrc42/

狠狠撸

颁顿狈のトラフィックエンジニアリング:颁顿狈の现状と厂顿狈の可能性

Recommended

More Related Content

What's hot (20)

Viewers also liked (20)

Similar to 颁顿狈のトラフィックエンジニアリング:颁顿狈の现状と厂顿狈の可能性 (20)

More from J-Stream Inc. (7)

颁顿狈のトラフィックエンジニアリング:颁顿狈の现状と厂顿狈の可能性