狠狠撸

狠狠撸Share a Scribd company logo

バックボーン运用から见るインターネットの実情

?
?
IIJ
IIJ

［2020/12/14～17開催「IIJ Technical WEEK 2020」の講演資料です］ バックボーンを運用していると日々さまざまなインシデントが発生します。そこから垣間見えるインターネットの実情と、それに対してIIJがどう取り組んでいるかを説明します。 講演者：IIJ 基盤エンジニアリング本部 ネットワーク技術部 ネットワーク運用課長 堀 高房

1 of 14
Downloaded 24 times
IIJ Technical WEEK 2020 バックボーン運?から?るインターネットの実情 IIJ/AS2497 hori
IIJのバックボーンネットワーク ? MPLS基盤上に様々なIPネットワークを構築 ? ?本を中?に北?、アジア、ヨーロッパへ展開 ? 40+ POP、15 IX、3,500+ノード https://www.iij.ad.jp/company/backbone/ MPLS(L2VPN) IPBackbone (AS2497) L3VPN EPC WDM 専?線(外部調達) … … … サービス Broadband
設計?運?ポリシー ? Keep it simple. ? セオリー、運?者の直感、開発者の意図に反しないシンプルな設計 ? 複雑で汚いネットワークはミスを誘発し、バグを踏み抜く ? 良いネットワークは美しい ? SPOF ダメ。ゼッタイ。 ? メーカ、アーキテクチャ、OS ? キャリア、ファイバルート、ケーブルシステム、監視システム、NOC ? それでも様々な要因によるインシデントは絶えない? ? 監視で検知するインシデントは?間およそ700件 ? 多くは単純な機器や回線故障だが、中には厄介なものも…
DDoS - インシデントの代表格 ? 最近の傾向 ? (バックボーンレベルで対処するのは) 今も昔も単純なUDP Flood ? 短時間 & 数10Gbpsが?半、?時間 & 100Gbps超がときどき ? (推測) 政治的思想から?銭?的に、脆弱なPCからIoTデバイスに、 アジアからヨーロッパに変化 https://www.iij.ad.jp/dev/report/iir/046.html 2019年 DDoS観測情報サマリ
DDoS - IIJとDDoSの歴史 ? 最初期 (200x年) ? 政治的軋轢をきっかけとした官公庁宛攻撃への対処がその起源 ? ルータやFirewallで挑み、当然の如く惨敗 ? 専?装置を取り寄せ急遽導?、そのノウハウを活かしサービス化 ? 初期 (2005年頃) ? インライン(平常時から装置を経由)/集約型。数Gbps ? 中期 (2012年頃) ? オフライン(xFlowで検知、BGPで装置に誘導)/集約型。数10Gbps ? 現在 (2017年頃) ? オフライン/分散型(世界各地にScrubbing Centerを展開)。数Tbps
DDoS - 攻撃対象に応じた戦略 ? DDoS対策サービスを契約している顧客 ? 直接的にお?が得られる? ? 顧客に応じたオーダーメイドの?度な防御 ? ?社インフラ ? ネットワーク、サーバへの直接攻撃。顧客宛の流れ弾も ? 事前の策は講じやすい ? DDoS対策サービスを契約していない顧客 ? 実はここが?番厄介 ? 他の顧客への波及を防ぐのが第?優先、防御ではなく遮断
DDoS - はじめの?歩から将来へ ? 何はともあれモニタリング ? xFlowは必須 ? 輻輳の迅速な検知にはTelemetryも ? DDoS対策専?装置の導? ? コストに?合うメリットを?出せるか? ? オフライン型装置に誘導/防御した後の考慮 (ルーティング、帯域) ? 単純な物量攻撃に専?装置はコスパ悪し ? 多層化でキャパシティを?幅UP ← IIJはイマココ ? ”防御”ではなく”遮断”なら?価な専?装置は不要 (RTBHやFlowspec)
イベントトラフィック - トラフィックは突然に ? とある穏やかな午後、突如として??間のトラフィックが倍増 ? 障害やメンテナンスで数本の回線が使えない最悪のタイミング? ? 送信元は??CDN ? 北?のみならず世界各地から流? とある?の??間トラフィック
イベントトラフィック - トラフィックは突然に ? SNSで調べてみると… ? (偶然?)?気ゲームの?型アップデートが複数同時リリースされていた ? 社内のゲーマーに確認 ? ネットワーク屋泣かせのトラフィック ? 昔はP2PやOSアップデート、今はゲームのアップデート ? 数10GB/? x 数千? 数万?ユーザが??ダウンロード ? ある意味DDoSだが全て正規の通信、運ぶしかない ? 本当のDDoSのほうが対処しやすい? アップデート
イベントトラフィック - CDNのご利?は計画的に ? CDNのトラフィックは神出?没 ? CDNとの接続帯域、CDN?体の設備帯域次第 ? ?りないと海を越えてあらゆるところから流? ? ライブ等、動画配信も要注意 ? 東京オリンピック、テレビ放送と連動した配信 ? IIJもグループに が… (ご迷惑をおかけしていたらすみません) ? 事業者間情報共有の枠組みが必要 ? 実はCDN事業者も把握しきれていない? ? CDNを使うサービス提供者にも?夫を促したい
経路障害 - 安?してください、漏らしてませんから ? つい先?、海外のとあるASからこんな問い合わせが… ? ピアの経路をピアに漏らすのはご法度 ? 調べるも漏らした形跡はない。そもそもそんな経路はあり得ない ? 何者かが経路を詐称し広告した可能性 ? その後AS xとの連絡は途絶え真相究明には?らず、実害も不明 AS a AS2497 AS b AS c AS x “AS a, AS2497, AS c, AS x”というAS-PATHの経路がある 君たちがAS aに経路リークしているから停めてくれ
経路障害 - 知らぬが仏と?うけれど ? 経路障害は今この瞬間も起きている…かも ? 故意か過失かを問わず ? 世間を騒がし明るみに出るのは氷?の?? ? そもそも何が正しいかを誰も知らない ? インターネットの経路交換は??申告の世界 ? インターネットは奇跡的になんとか成り?っている ? ?類が依存するにはあまりに脆弱 ? (??で、依存してもいいかと思う程度には安定してるのがおもしろい)
経路障害 - 信頼性向上の取り組み https://storage.googleapis.com/site-media-prod/meetings/NANOG79/2198/20200530_Snijders_Lessons_Learned_Ntt_S_v1.pdf IIJ(予定) ? RPKIによる送信元ASの検証 (ROV: Route Origin Validation) ? Draft 2008年、RFC6811 2013年を経て、ここ数年各ASで導?が盛ん ? IIJ/AS2497もデプロイ中完了? 保有IPのROAも順次作成中 ? ROVが防ぐ経路障害はごく?部 ? 今後も信頼性向上の取り組みは続く
まとめに代えて (個?の感想です) ? インターネットの重要性とそれに関わる楽しさを再認識した1年 ? インターネット、さらにはバックボーン復権の時代 ? 今をときめく最先端領域にも引けを取らない陽の当たるべき仕事 ? 社内でプレゼンス向上活動を実施中。社外の?もぜひ ? IIJ/AS2497は今後もコミュニティと共にインターネットの発展に 寄与します ? Come join us!

More Related Content

バックボーン运用から见るインターネットの実情

  • 1. IIJ Technical WEEK 2020 バックボーン運?から?るインターネットの実情 IIJ/AS2497 hori
  • 2. IIJのバックボーンネットワーク ? MPLS基盤上に様々なIPネットワークを構築 ? ?本を中?に北?、アジア、ヨーロッパへ展開 ? 40+ POP、15 IX、3,500+ノード https://www.iij.ad.jp/company/backbone/ MPLS(L2VPN) IPBackbone (AS2497) L3VPN EPC WDM 専?線(外部調達) … … … サービス Broadband
  • 3. 設計?運?ポリシー ? Keep it simple. ? セオリー、運?者の直感、開発者の意図に反しないシンプルな設計 ? 複雑で汚いネットワークはミスを誘発し、バグを踏み抜く ? 良いネットワークは美しい ? SPOF ダメ。ゼッタイ。 ? メーカ、アーキテクチャ、OS ? キャリア、ファイバルート、ケーブルシステム、監視システム、NOC ? それでも様々な要因によるインシデントは絶えない? ? 監視で検知するインシデントは?間およそ700件 ? 多くは単純な機器や回線故障だが、中には厄介なものも…
  • 4. DDoS - インシデントの代表格 ? 最近の傾向 ? (バックボーンレベルで対処するのは) 今も昔も単純なUDP Flood ? 短時間 & 数10Gbpsが?半、?時間 & 100Gbps超がときどき ? (推測) 政治的思想から?銭?的に、脆弱なPCからIoTデバイスに、 アジアからヨーロッパに変化 https://www.iij.ad.jp/dev/report/iir/046.html 2019年 DDoS観測情報サマリ
  • 5. DDoS - IIJとDDoSの歴史 ? 最初期 (200x年) ? 政治的軋轢をきっかけとした官公庁宛攻撃への対処がその起源 ? ルータやFirewallで挑み、当然の如く惨敗 ? 専?装置を取り寄せ急遽導?、そのノウハウを活かしサービス化 ? 初期 (2005年頃) ? インライン(平常時から装置を経由)/集約型。数Gbps ? 中期 (2012年頃) ? オフライン(xFlowで検知、BGPで装置に誘導)/集約型。数10Gbps ? 現在 (2017年頃) ? オフライン/分散型(世界各地にScrubbing Centerを展開)。数Tbps
  • 6. DDoS - 攻撃対象に応じた戦略 ? DDoS対策サービスを契約している顧客 ? 直接的にお?が得られる? ? 顧客に応じたオーダーメイドの?度な防御 ? ?社インフラ ? ネットワーク、サーバへの直接攻撃。顧客宛の流れ弾も ? 事前の策は講じやすい ? DDoS対策サービスを契約していない顧客 ? 実はここが?番厄介 ? 他の顧客への波及を防ぐのが第?優先、防御ではなく遮断
  • 7. DDoS - はじめの?歩から将来へ ? 何はともあれモニタリング ? xFlowは必須 ? 輻輳の迅速な検知にはTelemetryも ? DDoS対策専?装置の導? ? コストに?合うメリットを?出せるか? ? オフライン型装置に誘導/防御した後の考慮 (ルーティング、帯域) ? 単純な物量攻撃に専?装置はコスパ悪し ? 多層化でキャパシティを?幅UP ← IIJはイマココ ? ”防御”ではなく”遮断”なら?価な専?装置は不要 (RTBHやFlowspec)
  • 8. イベントトラフィック - トラフィックは突然に ? とある穏やかな午後、突如として??間のトラフィックが倍増 ? 障害やメンテナンスで数本の回線が使えない最悪のタイミング? ? 送信元は??CDN ? 北?のみならず世界各地から流? とある?の??間トラフィック
  • 9. イベントトラフィック - トラフィックは突然に ? SNSで調べてみると… ? (偶然?)?気ゲームの?型アップデートが複数同時リリースされていた ? 社内のゲーマーに確認 ? ネットワーク屋泣かせのトラフィック ? 昔はP2PやOSアップデート、今はゲームのアップデート ? 数10GB/? x 数千? 数万?ユーザが??ダウンロード ? ある意味DDoSだが全て正規の通信、運ぶしかない ? 本当のDDoSのほうが対処しやすい? アップデート
  • 10. イベントトラフィック - CDNのご利?は計画的に ? CDNのトラフィックは神出?没 ? CDNとの接続帯域、CDN?体の設備帯域次第 ? ?りないと海を越えてあらゆるところから流? ? ライブ等、動画配信も要注意 ? 東京オリンピック、テレビ放送と連動した配信 ? IIJもグループに が… (ご迷惑をおかけしていたらすみません) ? 事業者間情報共有の枠組みが必要 ? 実はCDN事業者も把握しきれていない? ? CDNを使うサービス提供者にも?夫を促したい
  • 11. 経路障害 - 安?してください、漏らしてませんから ? つい先?、海外のとあるASからこんな問い合わせが… ? ピアの経路をピアに漏らすのはご法度 ? 調べるも漏らした形跡はない。そもそもそんな経路はあり得ない ? 何者かが経路を詐称し広告した可能性 ? その後AS xとの連絡は途絶え真相究明には?らず、実害も不明 AS a AS2497 AS b AS c AS x “AS a, AS2497, AS c, AS x”というAS-PATHの経路がある 君たちがAS aに経路リークしているから停めてくれ
  • 12. 経路障害 - 知らぬが仏と?うけれど ? 経路障害は今この瞬間も起きている…かも ? 故意か過失かを問わず ? 世間を騒がし明るみに出るのは氷?の?? ? そもそも何が正しいかを誰も知らない ? インターネットの経路交換は??申告の世界 ? インターネットは奇跡的になんとか成り?っている ? ?類が依存するにはあまりに脆弱 ? (??で、依存してもいいかと思う程度には安定してるのがおもしろい)
  • 13. 経路障害 - 信頼性向上の取り組み https://storage.googleapis.com/site-media-prod/meetings/NANOG79/2198/20200530_Snijders_Lessons_Learned_Ntt_S_v1.pdf IIJ(予定) ? RPKIによる送信元ASの検証 (ROV: Route Origin Validation) ? Draft 2008年、RFC6811 2013年を経て、ここ数年各ASで導?が盛ん ? IIJ/AS2497もデプロイ中完了? 保有IPのROAも順次作成中 ? ROVが防ぐ経路障害はごく?部 ? 今後も信頼性向上の取り組みは続く
  • 14. まとめに代えて (個?の感想です) ? インターネットの重要性とそれに関わる楽しさを再認識した1年 ? インターネット、さらにはバックボーン復権の時代 ? 今をときめく最先端領域にも引けを取らない陽の当たるべき仕事 ? 社内でプレゼンス向上活動を実施中。社外の?もぜひ ? IIJ/AS2497は今後もコミュニティと共にインターネットの発展に 寄与します ? Come join us!