![Copyright?2015 NTT corp. All Rights Reserved.
HV VirNOS VirNOS VirNOS VirNOS
lagopus
lagopus
port2
port4 port6 port8 port10
port9port7port5port3
port1
Eth0
Eth1
Eth0
Eth1
Eth0
Eth1
Eth0
Eth1
O協のポイント コアアサインLagopusのI/O
- トラフィックの陶りを深]したコアアサインを佩う
- ShowNetでは4コアをI/Oに旋喘和蹐に護り輝てた
21
10Gbps
10Gbps
5Gbps 5Gbps](https://image.slidesharecdn.com/birdinshownet-160609100323/85/Bird-in-show_net-17-320.jpg)
![Copyright?2015 NTT corp. All Rights Reserved.
來嬬u┣凌芝鵤
- テスタ`の､鬟哀薀媚
- Lagopusには麗尖->VNFとVNF ->麗尖NICでトラフィックが2蔚かかっている
25
[byte]
[Mbps]
0
1000
2000
3000
4000
5000
6000
7000
8000
9000
10000
0 200 400 600 800 1000 1200 1400
wire rate
lagopus
パケットサイズ
トラフィック楚](https://image.slidesharecdn.com/birdinshownet-160609100323/85/Bird-in-show_net-21-320.jpg)
![Copyright?2015 NTT corp. All Rights Reserved.
険b麗lago-dsl
? lagopusのDSLを岷俊澣くスクリプト
? デバッグ喘余參翌の聞喘は容Xしない
? 岷俊flowinterface吉のｼをすることができる
? g佩
$ ./lago-dsl.py [lagopus DSL]
$ ./lago-dsl.py < [lagopus DSL file]](https://image.slidesharecdn.com/birdinshownet-160609100323/85/Bird-in-show_net-25-320.jpg)
![Copyright?2015 NTT corp. All Rights Reserved.
険b麗lago-mon/ifstats-monitor.py
- g佩峺協g侯でJSONを竃薦するだけ
- 竃薦箭
{"timestamp": "2016-06-08T14:13:04.253669", "interfaces": {"interface1": {"name":
"interface1", "rx-dropped": 0, "tx-errors": 0, "rx-bytes": 0, "tx-packets": 0, "rx-packets":
0, "tx-bytes": 0, "rx-errors": 0, "tx-dropped": 0}, "interface0": {"name": "interface0",
"rx-dropped": 0, "tx-errors": 0, "rx-bytes": 0, "tx-packets": 0, "rx-packets": 0, "tx-
bytes": 0, "rx-errors": 0, "tx-dropped": 0}}}
$ ./ifstats_monitor.py -l 10
g侯 [sec]](https://image.slidesharecdn.com/birdinshownet-160609100323/85/Bird-in-show_net-28-320.jpg)
![Copyright?2015 NTT corp. All Rights Reserved.
険b麗lago-mon/ifstats-monitor.py
- g佩moniterいリクエストによりbpsとppsを燕幣
- 竃薦箭
2016/06/08 14:22:49
+------------+------------------+--------------+------------------+--------------+
| name | rx-bps | rx-pps | tx-bps | tx-pps |
+------------+------------------+--------------+------------------+--------------+
| interface0 | 0 | 0 | 0 | 0 |
| interface1 | 0 | 0 | 0 | 0 |
+------------+------------------+--------------+------------------+--------------+
$ ./ifstats_monitor.py -m 10
厚仟g侯 [sec]](https://image.slidesharecdn.com/birdinshownet-160609100323/85/Bird-in-show_net-29-320.jpg)
![Copyright?2015 NTT corp. All Rights Reserved.
険b麗lago-mon/flowstats-monitor.py
- g佩峺協g侯でJSONを竃薦するだけ
- 竃薦箭
{"timestamp": "2016-06-08T14:25:44.853720", "flows": {"bridge01": {"tables":
[{"table": 0, "flows": [{"stats": {"packet_count": 0, "byte_count": 0}, "hard_timeout": 0,
"actions": [{"apply_actions": [{"output": 2}]}], "priority": 100, "idle_timeout": 0,
"cookie": 0, "in_port": 1}, {"stats": {"packet_count": 0, "byte_count": 0},
"hard_timeout": 0, "actions": [{"apply_actions": [{"output": 1}]}], "priority": 100,
"idle_timeout": 0, "cookie": 0, "in_port": 2}]}], "name": "bridge01"}}}
$ ./flowstats_monitor.py -l 10
g侯 [sec]](https://image.slidesharecdn.com/birdinshownet-160609100323/85/Bird-in-show_net-30-320.jpg)
![Copyright?2015 NTT corp. All Rights Reserved.
険b麗lago-mon/flowstats-monitor.py
- g佩moniter揖匯フロ`のReが音辛嬬な蕋bps, ppsはoい
- 竃薦箭
2016/06/08 14:27:45
bridge01, table: 0
+----------+--------+--------------+------------+----------------+--------------------------------------+--------------+--------------+
| priority | cookie | packet_count | byte_count | data | actions | hard_timeout | idle_timeout |
+----------+--------+--------------+------------+----------------+--------------------------------------+--------------+--------------+
| 100 | 0 | 0 | 0 | {"in_port": 2} | [{"apply_actions": [{"output": 1}]}] | 0 | 0 |
| 100 | 0 | 0 | 0 | {"in_port": 1} | [{"apply_actions": [{"output": 2}]}] | 0 | 0 |
+----------+--------+--------------+------------+----------------+--------------------------------------+--------------+--------------+
$ ./flowstats_monitor.py -m 10
厚仟g侯 [sec]](https://image.slidesharecdn.com/birdinshownet-160609100323/85/Bird-in-show_net-31-320.jpg)
Bird in show_net
- 1. Copyright?2015 NTT corp. All Rights Reserved. Bird in ShowNet SDN/NFV: Lagopus & VNF with Vhost 2016/06/09 hibitomo 1
- 2. Copyright?2015 NTT corp. All Rights Reserved. Agenda - Bird in ShowNet - FPGA + Lagopus + VNF - LagopusO協のポイント - コアアサイン - FlowO - 叟來嬬u - 険b麗 lagopus-tools - ansible - lago-dsl - lago-mon
- 3. Copyright?2015 NTT corp. All Rights Reserved. Bird in ShowNet - 書定はここに肖ました 哈喘https://www.facebook.com/interop.shownet
- 4. Copyright?2015 NTT corp. All Rights Reserved. VNF(VirNOS) + Lagopus + FPGA - I尖はFPGA、僕はLagopus - NetFPGA-SUME - IPアドレスからハッシュを麻 - ハッシュ､砲發箸鼎い頓僕枠のVMの朕咫をSrc MACにきzむ(256N) - LagopusはSrc MAC､鬉犬VMへ僕 4 HV VNF VNF VNF lagopus lagopus uplink downlink hash麻と MACへの托 めzみ MACにもとづいて VMへ僕佚(staticな flow entry)
- 5. Copyright?2015 NTT corp. All Rights Reserved. 書指俊AしたVNF ? VirNOS ? IP infusion のコントリビュ`ト ? vRouter/vCPE solutionのVNF ? DPDKが旋喘辛嬬 ? High performanceモ`ドとTinyモ`ド吉の嘛モ`ド ? 書指はTinyモ`ドのVirNOSをDPDKでLagopusと俊A 5
- 6. Copyright?2015 NTT corp. All Rights Reserved. 6
- 7. Copyright?2015 NTT corp. All Rights Reserved. Challenges - ホストのLagopus(DPDK)とゲストのVirnos(DPDK)の俊A - 謹ポ`トO協と塞蛍柊ShowNetでは8岬に蛍柊ポ`ト方は18 7 HV VirNOS VirNOS VirNOS VirNOS lagopus lagopus port2 port4 port6 port8 port10 port9port7port5port3 port1 Eth0 Eth1 Eth0 Eth1 Eth0 Eth1 Eth0 Eth1
- 8. Copyright?2015 NTT corp. All Rights Reserved. Agenda - Bird in ShowNet - FPGA + Lagopus + VNF - LagopusO協のポイント - コアアサイン - FlowO - 叟來嬬u - 険b麗 lagopus-tools - ansible - lago-dsl - lago-mon
- 9. Copyright?2015 NTT corp. All Rights Reserved. O協のポイント コアアサイン - NUMAを吭RしたLagopusとVNFでコアアサインをOする - パケット?I尖の送れを深える NIC CPU CPUMemory Memory NIC NICNIC QPI PCI-Exp PCI-Exp Reference: supermicro X9DAi
- 10. Copyright?2015 NTT corp. All Rights Reserved. O協のポイント コアアサインLagopusとVNF - NUMAを吭RしたLagopusとVNFでコアアサインをOする - パケット?I尖の送れを深える メモリ メモリ NIC core core core core core core core core core core core core core core core core CPU0 CPU1 トラフィック
- 11. Copyright?2015 NTT corp. All Rights Reserved. O協のポイント コアアサインLagopusとVNF - NUMAを吭RしたLagopusとVNFでコアアサインをOする - パケット?I尖の送れを深える メモリ メモリ NIC core core core core core core core core core core core core core core core core CPU0 CPU1 トラフィック Lagopus VirNOS (tiny mode) 〜 8
- 12. Copyright?2015 NTT corp. All Rights Reserved. O協のポイント コアアサインLagopusとVNF - NUMAを吭RしたLagopusとVNFでコアアサインをOする - パケット?I尖の送れを深える メモリ メモリ NIC core core core core core core core core core core core core core core core core CPU0 CPU1 トラフィック Lagopus VirNOS (tiny mode) 〜 8
- 13. Copyright?2015 NTT corp. All Rights Reserved. O協のポイント コアアサインLagopusとVNF - NUMAを吭RしたLagopusとVNFでコアアサインをOする - パケット?I尖の送れを深える メモリ メモリ NIC core core core core core core core core core core core core core core core core CPU0 CPU1 トラフィック Lagopus VirNOS (tiny mode) 〜 8
- 14. Copyright?2015 NTT corp. All Rights Reserved. O協のポイント コアアサインLagopusとVNF - NUMAを吭RしたLagopusとVNFでコアアサインをOする - パケット?I尖の送れを深える メモリ メモリ NIC core core core core core core core core core core core core core core core core CPU0 CPU1 トラフィック Lagopus VirNOS (tiny mode) 〜 8
- 15. Copyright?2015 NTT corp. All Rights Reserved. O協のポイント コアアサインLagopusとVNF - コアアサインをg`えると來嬬は磯pする - 罪Rでy協をg仏1500byte, Lagopusはデフォルトのコアアサイン 19 メモリ メモリ NIC core core core core core core core core core core core core core core core core CPU0 CPU1 トラフィック LagopusVNF 〜 8 メモリ メモリ NIC core core core core core core core core core core core core core core core core CPU0 CPU1 トラフィック Lagopus VNF 〜 8s4.4Gbps s10Gbps 2蔚參貧の餓
- 16. Copyright?2015 NTT corp. All Rights Reserved. HV VirNOS VirNOS VirNOS VirNOS lagopus lagopus port2 port4 port6 port8 port10 port9port7port5port3 port1 Eth0 Eth1 Eth0 Eth1 Eth0 Eth1 Eth0 Eth1 O協のポイント コアアサインLagopusのI/O - PollingでパケットのO僕を佩うためポ`トがえるほど來嬬が鯛ちる - 書指のア`キテクチャでは麗尖NICへのトラフィックの陶りが广 20 10/4 Gbps 10Gbps
- 17. Copyright?2015 NTT corp. All Rights Reserved. HV VirNOS VirNOS VirNOS VirNOS lagopus lagopus port2 port4 port6 port8 port10 port9port7port5port3 port1 Eth0 Eth1 Eth0 Eth1 Eth0 Eth1 Eth0 Eth1 O協のポイント コアアサインLagopusのI/O - トラフィックの陶りを深]したコアアサインを佩う - ShowNetでは4コアをI/Oに旋喘和蹐に護り輝てた 21 10Gbps 10Gbps 5Gbps 5Gbps
- 18. Copyright?2015 NTT corp. All Rights Reserved. LagopusO協のポイント┘侫踪`ル`ル - 256Nのsrc MACをマッチする駅勣があるuplinkとdownlinkがあるため srcMACのExact matchのル`ルが512N駅勣 - Hash､蕨体1byteに托めzまれ峠吉に蛍柊されていることが豚棋できる のでMaskを喘いて和了3bitだけるル`ルに筝することができるすると ル`ル方は16Nにpできる 22 in_port dl_src action 1 52:54:00:00:00:01 1 1 52:54:00:00:00:02 2 ´ ´ ´ in_port dl_src action 1 **:**:**:**:**:*0 1 1 **:**:**:**:**:*1 2 ´ ´ ´
- 19. Copyright?2015 NTT corp. All Rights Reserved. Agenda - Bird in ShowNet - FPGA + Lagopus + VNF - LagopusO協のポイント - コアアサイン - FlowO - 叟來嬬u - 険b麗 lagopus-tools - ansible - lago-dsl - lago-mon
- 20. Copyright?2015 NTT corp. All Rights Reserved. 來嬬u┣凌芝鵤 - いろいろなC匂を宥っているため歌深秤鵑任坑 - トラフィックのボトルネックがLagopusであることは_Jg - |奨テクニカさんにごf薦きました 24
- 21. Copyright?2015 NTT corp. All Rights Reserved. 來嬬u┣凌芝鵤 - テスタ`の､鬟哀薀媚 - Lagopusには麗尖->VNFとVNF ->麗尖NICでトラフィックが2蔚かかっている 25 [byte] [Mbps] 0 1000 2000 3000 4000 5000 6000 7000 8000 9000 10000 0 200 400 600 800 1000 1200 1400 wire rate lagopus パケットサイズ トラフィック楚
- 22. Copyright?2015 NTT corp. All Rights Reserved. Agenda - Bird in ShowNet - FPGA + Lagopus + VNF - LagopusO協のポイント - コアアサイン - FlowO - 叟來嬬u - 険b麗 lagopus-tools - ansible - lago-dsl - lago-mon
- 23. Copyright?2015 NTT corp. All Rights Reserved. 険b麗lagopus-tools ? 圷？はインタ`ン伏に恬らせたAnsibleとRyuのサンプル崔き ? LagopusがvBするトラブルがほぼなかったため棋ちrgでツ`ルを恬撹 ? 融で恬ったコ`ドなのでとりあえずfork枠しか厚仟しておりません ? fork枠 https://github.com/hibitomo/lagopus-tools ~/lagopus-tools$ ls ansible examples lago-dsl lago-mon LICENSE README.md
- 24. Copyright?2015 NTT corp. All Rights Reserved. 険b麗ansible - v0.2.4から症playbookが聞えなくなっていた - 書指恷仟のLagopus喘に厚仟ついでにC嬬弖紗 - 仟C嬬 - DSLの徭喇撹 - g佩スクリプト徭喇撹 (vhost, pcap, pipeのvdevにも) - 仟ansibleサンプル - Lagopus - VMを俊Aするサンプルqemuの軟咼好リプトも伏撹
- 25. Copyright?2015 NTT corp. All Rights Reserved. 険b麗lago-dsl ? lagopusのDSLを岷俊澣くスクリプト ? デバッグ喘余參翌の聞喘は容Xしない ? 岷俊flowinterface吉のｼをすることができる ? g佩 $ ./lago-dsl.py [lagopus DSL] $ ./lago-dsl.py < [lagopus DSL file]
- 26. Copyright?2015 NTT corp. All Rights Reserved. 険b麗lago-mon - Lagopus喘モニタリングツ`ル - 嘛_Jの蕕`lagosh -c show xxx` をB嬉してカウン タの餓蛍を朕grepするのは仭い - logを函る蕕`lagosh -c show xxx`を協豚議にg佩して 屁侘gみjsonを匯佩にすのは返g - 16 x 16ドットのロゴ - プロトタイプのファイル兆がlagomon.pyだった恬るしか oいと房った瘁孜はしていない ラゴモン┳負L豚
- 27. Copyright?2015 NTT corp. All Rights Reserved. 険b麗lago-mon - Lagopus喘モニタリングツ`ル - 嘛_Jの蕕`lagosh -c show xxx` をB嬉してカウン タの餓蛍を朕grepするのは仭い - logを函る蕕`lagosh -c show xxx`を協豚議にg佩して 屁侘gみjsonを匯佩にすのは返g - 16 x 16ドットのロゴ - プロトタイプのファイル兆がlagomon.pyだった恬るしか oいと房った瘁孜はしていない - AA井もあります( 15 x 36 ) ######## ## ;;;; ## ## #### ## #### ## ## ## #### ##### ######## ## ############## ## ## ### ######## ## ## #### ## ## ## #### ## #### ## ## ## ## ## ###### #### #### #### #### ########## #################### mmmm ## ########## ラゴモン┳負L豚
- 28. Copyright?2015 NTT corp. All Rights Reserved. 険b麗lago-mon/ifstats-monitor.py - g佩峺協g侯でJSONを竃薦するだけ - 竃薦箭 {"timestamp": "2016-06-08T14:13:04.253669", "interfaces": {"interface1": {"name": "interface1", "rx-dropped": 0, "tx-errors": 0, "rx-bytes": 0, "tx-packets": 0, "rx-packets": 0, "tx-bytes": 0, "rx-errors": 0, "tx-dropped": 0}, "interface0": {"name": "interface0", "rx-dropped": 0, "tx-errors": 0, "rx-bytes": 0, "tx-packets": 0, "rx-packets": 0, "tx- bytes": 0, "rx-errors": 0, "tx-dropped": 0}}} $ ./ifstats_monitor.py -l 10 g侯 [sec]
- 29. Copyright?2015 NTT corp. All Rights Reserved. 険b麗lago-mon/ifstats-monitor.py - g佩moniterいリクエストによりbpsとppsを燕幣 - 竃薦箭 2016/06/08 14:22:49 +------------+------------------+--------------+------------------+--------------+ | name | rx-bps | rx-pps | tx-bps | tx-pps | +------------+------------------+--------------+------------------+--------------+ | interface0 | 0 | 0 | 0 | 0 | | interface1 | 0 | 0 | 0 | 0 | +------------+------------------+--------------+------------------+--------------+ $ ./ifstats_monitor.py -m 10 厚仟g侯 [sec]
- 30. Copyright?2015 NTT corp. All Rights Reserved. 険b麗lago-mon/flowstats-monitor.py - g佩峺協g侯でJSONを竃薦するだけ - 竃薦箭 {"timestamp": "2016-06-08T14:25:44.853720", "flows": {"bridge01": {"tables": [{"table": 0, "flows": [{"stats": {"packet_count": 0, "byte_count": 0}, "hard_timeout": 0, "actions": [{"apply_actions": [{"output": 2}]}], "priority": 100, "idle_timeout": 0, "cookie": 0, "in_port": 1}, {"stats": {"packet_count": 0, "byte_count": 0}, "hard_timeout": 0, "actions": [{"apply_actions": [{"output": 1}]}], "priority": 100, "idle_timeout": 0, "cookie": 0, "in_port": 2}]}], "name": "bridge01"}}} $ ./flowstats_monitor.py -l 10 g侯 [sec]
- 31. Copyright?2015 NTT corp. All Rights Reserved. 険b麗lago-mon/flowstats-monitor.py - g佩moniter揖匯フロ`のReが音辛嬬な蕋bps, ppsはoい - 竃薦箭 2016/06/08 14:27:45 bridge01, table: 0 +----------+--------+--------------+------------+----------------+--------------------------------------+--------------+--------------+ | priority | cookie | packet_count | byte_count | data | actions | hard_timeout | idle_timeout | +----------+--------+--------------+------------+----------------+--------------------------------------+--------------+--------------+ | 100 | 0 | 0 | 0 | {"in_port": 2} | [{"apply_actions": [{"output": 1}]}] | 0 | 0 | | 100 | 0 | 0 | 0 | {"in_port": 1} | [{"apply_actions": [{"output": 2}]}] | 0 | 0 | +----------+--------+--------------+------------+----------------+--------------------------------------+--------------+--------------+ $ ./flowstats_monitor.py -m 10 厚仟g侯 [sec]
- 32. Copyright?2015 NTT corp. All Rights Reserved. まとめ - Bird in ShowNet - LagopusとDPDKでVMに俊A - LagopusとFPGAでVMにロ`ドバランス - 険b麗lagopus-tools - ansible - lago-dsl.py - lago-mon
- 33. Copyright?2015 NTT corp. All Rights Reserved. ご賠ありがとうございました 37 ######## ## ;;;; ## ## #### ## #### ## ## ## #### ##### ######## ## ############## ## ## ### ######## ## ## #### ## ## ## #### ## #### ## ## ## ## ## ###### #### #### #### #### ########## #################### mmmm ## ##########