JANOG36 - 異速度リンクアグリゲーションテストしてみた！

Aug 18, 20152 likes1,678 views

Chika Yoshimura

若かりし私＠壇上：
?
「なんか100GEほしいんで
すけど、異速度リンクアグ
リゲーションって実装され
ないんすかね」
?
4
?

じっ、実装されてるぅぅ！
?
?? JUNOS13.2?
?
hNp://www.juniper.net/techpubs/en_US/junos13.2/topics/
task/con?guraUon/link-?‐aggregaUon-?‐mixed.html
?

?
?? IOS-?‐XR5.1.2?
?
hNp://www.cisco.com/c/en/us/td/docs/routers/asr9000/so[ware/
asr9k_r5-?‐1/general/release/notes/
reln_512a9k.html#concept_AB99FCA2805F4CB5A9047886753960EA
?

?
7
?

9
?
…で、それって何？
?
Minions!
?-?‐
?Santa
?Clara,
?CA
?

Mixed
?speed
?bundle
?
?? 従来のイーサネット?リンクアグリゲーション（バンドルイン
タフェース機能）は、基本的に同じ速度のインタフェースの
み
?
–? 10GE+10GEとか。1GE+1GEとか。
?
–? SDHインタフェースでは異速度の実装あり（使ってました）
?
?? 今回の実装で…
?

?
100GEを突然たくさん買えない事業者や、
?
既存10GEをまだまだ使いたい事業者にとって
?
設備を効率的に使える！超朗報
?
10
?

テスト環境
?
Juniper
?MX2020
?
?
(JUNOS14.2B1-?‐PS)
?
Cisco
?ASR9912
?
?
(IOS-?‐XR5.1.3.19I)
?
MPC4E
?
MPC4E
?
MPC4E
?
MPC6E
?
A9K–2x100GE-?‐TR
?
A9K–2x100GE-?‐TR
?
A9K–36x10GE-?‐TR
?
A9K–36x10GE-?‐TR
?
12
?

2.
?Interoperability
?
(Cisco
?&
?Juniper)
?
15
?

4.
?Minimumなんとか
?
?? いわゆる「故障想定試験」
?
?? メンバーリンクを落とす
?
ü?? Minimum-?‐linkは動くか？
?
ü?? Minimum-?‐bandwidthは動くか？
?
ü?? Minimum-?‐linkやminimum-?‐bandwidth無しの時は？
?

?
17
?

5. トラフィックバランス
?
?? バンドル内の4インタフェースに流れるトラフィック
比率をチェック
?

?（100GE:100GE:10GE:10GE=10:10:1:1となるか）
?
?? 以下のパラメータをいろいろ変えてみる
?
ü?? フロー数
?
ü?? L3
?src/dst
?IP
?address
?
?
ü?? L4
?src/dst
?port
?
?
18
?

テスト結果
?
?? Yay!
?動いた！
?
?? インターオペラビリティ
?
–? とくに問題なし
?
?? LACP
?
–? ふつうに動く
?
?? Minimum-?‐X
?
–? 想定通りの動き
?
–? バンドル内のリンクを1本落とす
?
Minimum-?‐link: 正しく動作する
?
Minimum-?‐bandwidth:
?正しく動作する
?
Minimum-?‐link/minimum-?‐bandwidth無しの時も想定通り
?
21
?

テスト結果 (cont.)
?
?? トラフィックバランス
?
テストトラフィック：IPv4
?トラフィック（10000フロー、IP
?addressとportのsrc/
dstはランダム
?)
?

?
MX2020
?-?‐>
?ASR9912
?

?
?100GE:100GE:10GE:10GE
?=
?10:10:1:1
?
?

?
?(tra?c
?incoming
?IF:
?MPC6E/MPC4E)
?

?
ASR9912
?-?‐>
?MX2020
?

?
?100GE:100GE:10GE:10GE
?=
?[9.7-?‐10.x]:[9.7-?‐10.x]:1:1
?

?
?(tra?c
?incoming
?IF:
?A9K–36x10GE-?‐TR)
?

?
?※最新のOSでさらに改善されてるかも
?

?
?
?
?
?? IPv6トラフィックでも結果はほぼ同じ
?
?? これらのテスト結果は、もう少し詳しいデータとともに、Juniperおよ
びCiscoの開発チーム＠アメリカにフィードバックしました
?
22
?

まとめ
?
?? 異速度リンクアグリゲーション(mixed
?speed
?
bundle)が一部ルータで実装されはじめました
?
?? テスト環境で動きました
?
?? まだ商用網に導入してませんが、実運用でも
使えるレベルだと（テストした範囲では）思い
ました
?

?
23
?

第25回オープンラボ岡山（http://local.aguuu.com/events/17225）でのセッションの資料です。なんだかamplifizr（http://amplifizr.jp/）の報告会みたいなセッションになってしまいました。まあ、Web屋さん視点でamplifizrの参加レポートを #olojp で行ったという感じで捉えて頂ければ。 Thanks（参考になった方々）大月茂樹氏（https://twitter.com/ohtsuki2843）こもりまさあき氏（https://twitter.com/cipher）長谷川恭久氏（https://twitter.com/yhassy）その他あらゆる場面で情報をシェアしていただいているみなさん。

狈辞诲别にしましょうYuzo Hebishima

iOS 5.1 への更新を通して思ったこと(オープンシースカンファレンス2012 Ehime LT資料)洋史東平

滨颁厂をビルドしてみたkinneko

(紧急触作业)时にパッと确认できる顿础厂贬叠翱础搁顿作ってみたToshiya Mabuchi

APRICOT2016 JANOG Update 2016Chika Yoshimura

JANOG is a Japanese networking forum that has been running since 1997. It holds biannual meetings over three days that feature technical presentations and discussions mostly in Japanese. Meetings attract 800+ attendees in Tokyo and 500+ in other cities. Topics recently discussed include software vs hardware forwarding, net neutrality, MVNOs, Internet infrastructure in Asia, and BGP hijacking. JANOG also organizes interim meetings, lightning talks, and a fellowship program to engage younger members. It is run entirely by volunteers through a steering committee and relies on member participation.

APRICOT2016 BGP Hijack Issue on Nov 6 2015Chika Yoshimura

The document discusses a large-scale BGP hijack incident that occurred on November 6, 2015 where AS9498 (Bharati Airtel) advertised over 16,000 prefixes, including some belonging to AS2914 (NTT Communications). The author analyzes the incident and discusses typical root causes of BGP hijacks as well as measures that can be taken to prevent them, such as applying strict BGP prefix filters and implementing BGP origin validation.

JANOG37 2015年に起きたBGPハイジャックChika Yoshimura

JANOG36 - BoF - ガールズトーク in JANOG36Chika Yoshimura

JANOG28 - インターネットの経路あれこれChika Yoshimura

JANOG32 - 運用チームの作り方Chika Yoshimura

NANOG52 - OCN Experience to Handle the Internet Growth and the FutureChika Yoshimura

This document discusses issues related to Internet traffic growth and network design at OCN, a major ISP in Japan. It summarizes that Internet traffic and routing tables are growing significantly each year, posing challenges for backbone networks. Specifically, OCN is facing issues with large forwarding information bases slowing route convergence, and uneven traffic load balancing across link aggregation groups due to limited hash elements. The document outlines OCN's network architecture and plans to address these problems through techniques like hierarchical forwarding to improve convergence times and more hash parameters to balance traffic flow.

NANOG32 - DNS Anomalies and Their Impacts on DNS Cache ServersChika Yoshimura

1. Virus and worm activity, such as the Antinny worm, can overload DNS cache servers by repeatedly querying for domain names. When the authoritative server removed the A record in response, cache servers were flooded with over 700 queries per second. 2. Large RRSets that exceeded 512 bytes in size caused cache servers to switch to TCP queries when authoritative servers returned a truncated response. However, if the authoritative servers did not support TCP or EDNS0, the cache servers would time out while waiting for a response. 3. Lessons learned include recommending that authoritative server administrators check settings to support TCP queries, limit RRSet sizes, and consider generic blackhole addresses for DDoS mitigation rather than removing

JANOG24 - DNS prefetchの影響（ライトニングトーク）Chika Yoshimura

JANOG29 - ISP Hot Topics 2011Chika Yoshimura

Internet Week 2006 - DNS Day - AS112 ReportChika Yoshimura

This document provides a summary of AS112 activities and reports. It discusses the AS112 project, which provides DNS services for private address spaces. It notes that AS112 sees around 30% dynamic DNS updates, 48% SOA queries, and 21% PTR queries. It also discusses OCN's involvement as a participant in AS112 and operator of DNS servers for the project. The document provides statistics on query types and links to relevant Internet-Drafts and information sources.

Internet Week 2005 - DNS DAY - OCN Lameクエリの現状などChika Yoshimura

dnsops.jp BoF 2009 - DNS Prefetch の影響Chika Yoshimura

JANOG 15 - DNS 512bytesの壁 OCN DNSトラヒック分析よりChika Yoshimura

APRICOT 2012 - ?Living with the ever-growing BGP table: an OCN storyChika Yoshimura

This document contains diagrams and descriptions of NTT Communications' global IP network and backbone infrastructure. The following key points are discussed: - NTT has POPs and peering points across Asia, Europe, and North America that are connected by its global and regional backbones. - The Japanese backbone connects 13 POPs across the country with capacities ranging from 1Gbps to 480Gbps. - NTT's core routers in Tokyo and Osaka exchange traffic between Japan, Asia, Europe, and North America with capacities up to 560Gbps and 480Gbps respectively. - Details are provided on NTT's transition to new backbone and peering technologies over time, including the initial backbone in 1996 and upgrades

APRICOT 2011 - OCN Experience to Handle the Traffic Growth and the FutureChika Yoshimura

Internet traffic in Japan has been growing consistently, increasing 17.8% in 2010 compared to the previous year. As an internet service provider, OCN faces challenges in scaling its backbone network to handle rising traffic volumes. Specifically, OCN struggles with the scalability of router forwarding tables as routing tables expand dramatically. When link failures occur, full table updates take significant time, disrupting services. OCN also experiences traffic imbalance issues across its numerous link aggregation interfaces as flows are distributed non-uniformly. To address these problems, OCN is implementing hierarchical forwarding tables and improving hash algorithms for link aggregation.

APRICOT 2014 NOG Reports (JANOG)Chika Yoshimura

JANOG is a community of over 6,700 network engineers in Japan founded in 1997 that discusses technical and operational issues across organizations. It holds semiannual two-day meetings with presentations and discussions primarily in Japanese. Meetings typically attract 800 attendees in Tokyo and 400 elsewhere. Topics have included traffic engineering, data center routing, and best operational practices. It is run by volunteers and supported by hosts, sponsors, and donations.

JANOG36 - 異速度リンクアグリゲーションテストしてみた！

1. 11r1g ? ggg ? 1 ?Sedona, ?AZ ?

2. 2011年、冬… ? 2 ?Chicago ?skyline, ?IL ?

3. 3 ?May ?the ?force ?be ?with ?you! ?

4. 若かりし私＠壇上： ? 「なんか100GEほしいんですけど、異速度リンクアグリゲーションって実装されないんすかね」 ? 4 ?

5. メーカーの皆様方： ? 「えっ」 ? ※後から大人に怒られました ? 5 ?

6. そして数年後… ? 6 ?somewhere ?in ?the ?US ?

7. じっ、実装されてるぅぅ！ ? ?? JUNOS13.2? ? hNp://www.juniper.net/techpubs/en_US/junos13.2/topics/ task/con?guraUon/link-?‐aggregaUon-?‐mixed.html ? ? ?? IOS-?‐XR5.1.2? ? hNp://www.cisco.com/c/en/us/td/docs/routers/asr9000/so[ware/ asr9k_r5-?‐1/general/release/notes/ reln_512a9k.html#concept_AB99FCA2805F4CB5A9047886753960EA ? ? 7 ?

8. ありがとうございます！ ? 8 ?

9. 9 ? …で、それって何？ ? Minions! ?-?‐ ?Santa ?Clara, ?CA ?

10. Mixed ?speed ?bundle ? ?? 従来のイーサネット?リンクアグリゲーション（バンドルインタフェース機能）は、基本的に同じ速度のインタフェースのみ ? –? 10GE+10GEとか。1GE+1GEとか。 ? –? SDHインタフェースでは異速度の実装あり（使ってました） ? ?? 今回の実装で… ? ? 100GEを突然たくさん買えない事業者や、 ? 既存10GEをまだまだ使いたい事業者にとって ? 設備を効率的に使える！超朗報 ? 10 ?

11. 11 ?Sedona, ?AZ ?

12. テスト環境 ? Juniper ?MX2020 ? ? (JUNOS14.2B1-?‐PS) ? Cisco ?ASR9912 ? ? (IOS-?‐XR5.1.3.19I) ? MPC4E ? MPC4E ? MPC4E ? MPC6E ? A9K–2x100GE-?‐TR ? A9K–2x100GE-?‐TR ? A9K–36x10GE-?‐TR ? A9K–36x10GE-?‐TR ? 12 ?

13. テスト ? ポイント ? 13 ?Cancun, ?Mexico ?

14. 1.（そもそも）動くか？ ? 14 ?

15. 2. ?Interoperability ? (Cisco ?& ?Juniper) ? 15 ?

16. 3. ?LACP ? 16 ?

17. 4. ?Minimumなんとか ? ?? いわゆる「故障想定試験」 ? ?? メンバーリンクを落とす ? ü?? Minimum-?‐linkは動くか？ ? ü?? Minimum-?‐bandwidthは動くか？ ? ü?? Minimum-?‐linkやminimum-?‐bandwidth無しの時は？ ? ? 17 ?

18. 5. トラフィックバランス ? ?? バンドル内の4インタフェースに流れるトラフィック比率をチェック ? ?（100GE:100GE:10GE:10GE=10:10:1:1となるか） ? ?? 以下のパラメータをいろいろ変えてみる ? ü?? フロー数 ? ü?? L3 ?src/dst ?IP ?address ? ? ü?? L4 ?src/dst ?port ? ? 18 ?

19. 結果 ? 19 ?Cancun, ?Mexico ?

20. こいつ…動くぞ！ ? 20 ?

21. テスト結果 ? ?? Yay! ?動いた！ ? ?? インターオペラビリティ ? –? とくに問題なし ? ?? LACP ? –? ふつうに動く ? ?? Minimum-?‐X ? –? 想定通りの動き ? –? バンドル内のリンクを1本落とす ? Minimum-?‐link: 正しく動作する ? Minimum-?‐bandwidth: ?正しく動作する ? Minimum-?‐link/minimum-?‐bandwidth無しの時も想定通り ? 21 ?

22. テスト結果 (cont.) ? ?? トラフィックバランス ? テストトラフィック：IPv4 ?トラフィック（10000フロー、IP ?addressとportのsrc/ dstはランダム ?) ? ? MX2020 ?-?‐> ?ASR9912 ? ? ?100GE:100GE:10GE:10GE ?= ?10:10:1:1 ? ? ? ?(tra?c ?incoming ?IF: ?MPC6E/MPC4E) ? ? ASR9912 ?-?‐> ?MX2020 ? ? ?100GE:100GE:10GE:10GE ?= ?[9.7-?‐10.x]:[9.7-?‐10.x]:1:1 ? ? ?(tra?c ?incoming ?IF: ?A9K–36x10GE-?‐TR) ? ? ?※最新のOSでさらに改善されてるかも ? ? ? ? ? ?? IPv6トラフィックでも結果はほぼ同じ ? ?? これらのテスト結果は、もう少し詳しいデータとともに、JuniperおよびCiscoの開発チーム＠アメリカにフィードバックしました ? 22 ?

23. まとめ ? ?? 異速度リンクアグリゲーション(mixed ?speed ? bundle)が一部ルータで実装されはじめました ? ?? テスト環境で動きました ? ?? まだ商用網に導入してませんが、実運用でも使えるレベルだと（テストした範囲では）思いました ? ? 23 ?

24. 実装していただいて ? ありがとうございました！ ? 24 ?

狠狠撸

JANOG36 - 異速度リンクアグリゲーションテストしてみた！

Recommended

More Related Content

More from Chika Yoshimura (15)

JANOG36 - 異速度リンクアグリゲーションテストしてみた！

狠狠撸

JANOG36 - 異速度リンクアグリゲーション テストしてみた！

Recommended

More Related Content

More from Chika Yoshimura (15)

JANOG36 - 異速度リンクアグリゲーション テストしてみた！

JANOG36 - 異速度リンクアグリゲーションテストしてみた！

JANOG36 - 異速度リンクアグリゲーションテストしてみた！