お手軽！BGP RIBのリアルタイム解析+可視化
- 1. ? BIGLOBE Inc. 2017 お?軽！ BGP RIBのリアルタイム解析+可視化 BIGLOBE Inc. Toshiya Mabuchi 1 ? BIGLOBE Inc. 2017
- 2. ? BIGLOBE Inc. 20172 ??紹介 ● 名前 : ?淵 俊弥 (Mabuchi Toshiya) ● 所属 : ビッグローブ株式会社 ● お仕事 : ● ISPバックボーンネットワークの全般 ● 設計/開発/検証/運?/顧客サポート ● 最近は?動化/可視化回りに注?中!
- 3. ? BIGLOBE Inc. 20173 ASの経路監視ってどうしてます？
- 4. ? BIGLOBE Inc. 20174 監視したい理由 ● 運?? ● 障害時の原因究明 ● 顧客の経路変動/正常性 ● 主要なPeerの経路変動 ● Peerしてるのに上流から? 流れてないか ● 遅延の?きいPeerを? 選択してないか？ ● マネジメント? ● 上流トランジットへの? 経路依存率の把握 ● ?軽に?れるようにして? Peering交渉に役?てる ● すぐに出せるグラフがあると? KPIにも役?つ ● 上流トランジットの選定/? 更改時に使う為のデータ
- 5. ? BIGLOBE Inc. 20175 経路情報を?るのは運?の時だけじゃない トランジット依存率の指標など? コストマネジメントの?的でも使いたい
- 6. ? BIGLOBE Inc. 20176 いままで経路記録としてやっていたこと ● Quagga + MRT Dump + libBGPdump ● データとしては記録できている ● 時間毎にファイル分割して保存している ● ?字でしか読めないので、? 時系列で何が起きているか?るのがつらい ● いつも?るのにはちょっと厳しい ● かなりの障害が発?した時くらいしか?ない
- 7. ? BIGLOBE Inc. 20177 こういう感じ経路情報のログを?てた > bgpdump dump2015.11.27.1000 TIME: 11/27/15 01:00:00 TYPE: TABLE_DUMP_V2/IPV4_UNICAST PREFIX: 1.0.0.0/24 SEQUENCE: 0 FROM: 133.205.1.155 AS2518 ORIGINATED: 07/13/70 11:03:57 ORIGIN: IGP ASPATH: 2518 15169 NEXT_HOP: 133.205.1.155 MULTI_EXIT_DISC: 100 TIME: 11/27/15 01:00:00 TYPE: TABLE_DUMP_V2/IPV4_UNICAST PREFIX: 1.0.0.0/24 SEQUENCE: 0 FROM: 133.205.1.142 AS2518 ORIGINATED: 07/13/70 11:03:37
- 8. ? BIGLOBE Inc. 20178 新しい経路をモニタリングするものがほしい ● 要件！ ● グラフとして表?できる ● リアルタイム性がある ● 他の情報(トラフィック等)と?元的に? ?る?法がある ● そんなに難しいことしたくない
- 9. ? BIGLOBE Inc. 20179 BMP ● BGP Monitoring Protocol ● BGPのUPDATE情報等をモニタリングできるプロトコル ● これを使わない?は無い！? ● ???しかし！！！ ● 商?ルーターのバージョンで?部?対応? → すぐには使えない
- 10. ? BIGLOBE Inc. 201710 回避策 ● iBGPで経路を収集する ● 経路収集?にGoBGPを?てる ● GoBGPとルータをiBGPで繋ぐ ● GoBGPからBMP Serverに送信 ルータ単位で発?する経路変動は収集できる！
- 11. ? BIGLOBE Inc. 201711 iBGPで経路を収集 Core Core gateway gateway gateway gateway GoBGP BMP Server iBGP iBGP iBGP iBGP BMP pre-policy
- 12. ? BIGLOBE Inc. 201712 BMP Server ● SNAS ? http://www.snas.io/ ● 経路情報モニタリングのフレームワーク ● OpenBMP + Kafka + MySQL + WebUI で構成 ● 経路?モニタリングのWebUIが付いている ● APIも豊富でデータを加?して使いやすい ● Docker containerで構築が簡単 Streaming Network Analytics System
- 13. ? BIGLOBE Inc. 201713 SNAS UI
- 14. ? BIGLOBE Inc. 201714 SNAS UI
- 15. ? BIGLOBE Inc. 201715 SNAS UI
- 16. ? BIGLOBE Inc. 201716 SNAS UI
- 17. ? BIGLOBE Inc. 201717 SNAS 今までに?べたらかなり分かりやすい！
- 18. ? BIGLOBE Inc. 201718 (再掲)監視したい理由 ● 運?? ● 障害時の原因究明 ● 顧客の経路変動/正常性 ● 主要なPeerの経路変動 ● Peerしてるのに上流から? 流れてないか ● 遅延の?きいPeerを? 選択してないか？ ● トラフィック + 経路変動? ?緒に?たい ● ?緒に?れば分かる原因もある ●マネジメント? ● 上流トランジットへの? 経路依存率の把握 ● ?軽に?れるようにして? Peering交渉に役?てる ● すぐに出せるグラフがあると? KPI?てるのとかにも役?つ ● 上流トランジットの選定/? 更改時に使う為のデータ ● いつでも出せるようにしたい
- 19. ? BIGLOBE Inc. 201718 (再掲)監視したい理由 ● 運?? ● 障害時の原因究明 ● 顧客の経路変動/正常性 ● 主要なPeerの経路変動 ● Peerしてるのに上流から? 流れてないか ● 遅延の?きいPeerを? 選択してないか？ ● トラフィック + 経路変動? ?緒に?たい ● ?緒に?れば分かる原因もある ●マネジメント? ● 上流トランジットへの? 経路依存率の把握 ● ?軽に?れるようにして? Peering交渉に役?てる ● すぐに出せるグラフがあると? KPI?てるのとかにも役?つ ● 上流トランジットの選定/? 更改時に使う為のデータ ● いつでも出せるようにしたい ?社特有の観点が?ると、? 標準のWebUIでは?にくい場合もある 定常的に?るデータだけをAPIで取得? Influxdb + Grafanaで可視化
- 20. ? BIGLOBE Inc. 201719 最終的な構成 Core Core gateway gateway gateway gateway GoBGP Open BMP iBGP iBGP iBGP iBGP データ整形 Influxdb Grafana
- 21. ? BIGLOBE Inc. 201720 作った経路監視?のDashboard
- 22. ? BIGLOBE Inc. 201721 作った経路監視?のDashboard 上流トランジット依存率 特定ピアの状態監視 Update/Withdrawn発?数 上流トランジット経路監視 顧客経路の状態監視 Update/Withdrawn詳細
- 23. ? BIGLOBE Inc. 201722 複数ピアをしているAS**の合計トラフィック 経路の選択割合の遷移監視 作った経路監視?のDashboard
- 24. ? BIGLOBE Inc. 201723 良かった点と改善点 ● 良かった点 ● 注視すべき経路情報に絞って監視できた ● Traffic/Error等,他情報と合わせて確認できるようになった ● 実装したのはDB間のデータ送受信部だけ ● ?常に少ない?間で実装可能 ● 改善点 ● 各ルータ毎のBestPathしか?れない ● BGP ADD-PATHを使ってGoBGPと各ルータを繋ぐ ● (GoBGP中の?)「 BGP ADD-PATH実装したよ！」 ● BMPを直接使う
- 25. ? BIGLOBE Inc. 201724 まとめ ● 経路状態は運?以外にも使える ● Peering/KPI ● 経路監視をGoBGP+openBMP+Influxdbへ ● 経路収集はiBGP ● SNAS (OpenBMP) ● ?分でUI作らなくても、?分なWebUIがある ● 注視すべき情報のみREST APIでInfluxdbに投? ● Grafanaで他のデータと?元的に可視化ができた