際際滷

Copyright ? DeNA Co.,Ltd. All Rights Reserved.
H2O x mrubyで
?はどれだけ
侑せになれるのか
March 4, 2017
@i110
Technology Development,
System Management Unit
DeNA Co., Ltd.
YAPC::Kansai 囮嶄

??�B初
!? @i110
!? 幄塀氏芙ディ�`?エヌ?エ�`
!? システム云何室�g�_�k片侭奉
?? ?んな?が?んなことをやってる何俸
?? 峠譲定�h?め
!? 恍定歪くらいにあれやこれやあってH2Oの�_�kにjoin
!? �F壓、�I��r�gの畠てをH2Oの�_�kに廣いでいる彜�B
?? 恷除はmrubyまわりの�C嬬弖紗�個鋲が謹め
2

H2Oについてさらっと
3

H2Oとは
!? https://h2o.examp1e.net/
!? Google鍬�Uいわく
!? おおむねこの宥りです�?忖何蛍を茅いて�
!? みんな?挫き蝶kazuho sanが�_�k
!? �F壓の恷仟verはv2.2.0-beta1
4
H2Oは、硬い弊旗のWebサ�`バ�`と?�^して、
CPU聞?楕が詰いユ�`ザ�`に儻堀な鬴陲鯡畊�垢襦�
仟しい弊旗のHTTPサ�`バ�`です。
児�Pから�O�されたサ�`バ�`は、��枠コンテンツ塘佚と
サ�`バ�`プッシュを根むHTTP / 2�C嬬をフルに試?し、
Webサイトの�L��宀に嗤李な�U�Yを戻工します。

H2Oはなぜ?堀なのか
!? 麼に3つの尖喇による
1.? ��枠業崙囮が��倔
2.? 枠�M碧��への��鬉遼戮毅�Cache-digests、TLS1.3、etc..�
3.? neatかつ�o�jのない�g廾
!? �しくはWebで�
5

しかし´
!? Apacheとnginxつよい
!? 尖喇�暴?�
1.? �N源なモジュ�`ル蛤
2.? 秤�鵑龍爐�
3.? 酢れてる業
!? 暴は輝隼H2Oが恷?のWebサ�`バ�`だと佚じているので
弊順の?？をより侑せにするためにH2Oが噸式してほしい
!? 堀いことはわかった。それ參翌に採が駅勣か
6
hGps://w3techs.com/technologies/overview/
web_server/all

宴旋で酔�mなWebサ�`バ�`へ
!? Apacheやnginxに竃栖て、H2Oに竃栖ないことを�oくしたい
!? ��モジュ�`ルの屁��
!? ユ�`ザ�`??による��モジュ�`ルの��④笋垢�
!? Apacheやnginxよりも、揖じことが��gにできるようにしたい
!? �O協ファイルの悲�さ�テスタビリティ
!? あとドキュメントももっと�g?��④泙垢垢い泙擦�
7

�Mみ�zみ?�Zとしてのmrubyの��?
!? 2015定7?にリリ�`スしたv1.4で、
Ryosuke Matsumoto�@matsumotory) さんが兜豚�g廾
!? リクエストハンドラとしてmrubyのコ�`ドを�g?できる
8

�Mみ�zみ?�Zとしてのmrubyの��?
!? ApacheやNginxよりも�いサポ�`ト
!? コアに原奉、デフォルトでON
!? ?揖豚I/Oを辛嬬にする光�Nライブラリの戻工
!? Rack Specに��した?隼なインタ�`フェ�`ス
!? 書瘁さらに?搾くしていく嚠協
!? �協?余
!? アクセス崙囮、URIリライト、レスポンスの��Qえ、etc..
!? プログラマブルで悲�な�O協が辛嬬に
!? サ�`バ�`�C嬬の?�Xな��も辛嬬に
9

mrubyの採がどう耙しいのか
1.? サ�`バ�C嬬の��來
2.? �O協の悲�來�テスタビリティ
10

1. サ�`バ�C嬬の��來
!? ユ�`ザ??が、圀しい�C嬬をさくっと��い惇啓咾任④誚�Bが尖�
!? しかしcでモジュ�`ル恬るのは?��
!? Cloudbleed (2017)
!? https://blog.cloud?are.com/incident-report-on-memory-leak-caused-by-cloud?are-
parser-bug/
!? Cloud?are (CDN)で�k?したユ�`ザ蜘停秤�鵑梁�┐��}
!? 圻咀は、坪�uのnginxモジュ�`ル�HTMLパ�`サ�のバグ
!? ポインタ砿尖のミスによるバッファオ�`バ�`ラン
!? mrubyで��韻來㍉躓弔飽k?しえない��}
!? コ�`ドにバグがあっても、バッファオ�`バ�`ランが�k?することはない
11

2. �O協の悲�來�テスタビリティ
!? ��?議な�にはなりますが、Apacheやnginxのディレクティブを
?俳�えられない��えるつもりもない�ので
�飴悒稀`バ�`?てるたびに2�r�gくらいぐぐっている
!? 俔��なmod_rewrite、
ミスりやすいアクセス崙囮、
採絞か�燭�覆�section´
!? 尖�
!? シンプルなことはディレクティブで��gに
!? �}�jなことはプログラマブルにがっつり
12

なんとなく咫�と?崑する歌深��
!? ?�^
!? Excel not working: 1,170嵐周
!? PowerPoint not working: 1,040嵐周
!? nginx con?g not working: 73嵐周
!? nginxはユ�`ザ�`の??盾�Q嬬?が?いというのもありそう
13

2. �O協の悲�來�テスタビリティ
!? ディレクティブによる�O協だと、�O協がちゃんと�燭い討い襪�
�g�Hにリクエストを僕って�してみるしかない
!? �O協弖紗したらCon?ictして�eの�w侭が�咾�覆�覆辰殖，箸��
!? �}�jであるからこそテストを��④燭い里法�
!? mrubyならテストを��韻�
!? 腺業の�かい�g悶テスト
!? スタブを聞ったテスト
!? etc..
!? 除?嶄に採かしらのHowToを巷�_します�たぶん�
14

というわけで、云?は
!? H2O x mruby の碧�Mみの��gな盾�h
!? 岑られざる�C嬬の�B初
!? ステルスで弖紗した�C嬬
!? 除？マ�`ジ嚠協の�C嬬
15

H2O x mruby 古�h
16

H2Oのア�`キテクチャ
!? マルチスレッド x イベントル�`プ
!? デフォルトでコア方と揖じ方のスレッドが軟��
!? 光スレッドがイベント�l�咾妊螢�┘好箸魄討�
!? 翌何I/Oによるブロックはスル�`プットに岷�Yするので、
畠てのI/O�jみの�I尖をノンブロッキングで?うことが故勣
17

mruby嶄の�I尖もノンブロッキングでやりたい
!? 採も深えずに屡贋のmrbgemsを聞うと��gにブロックする
!? イベントル�`プ��鬉気譴深抜�mrbgemsはほとんど�oい
!? 蒙にh2oでは鏡?の�?堀な��イベントル�`プを聞っており、
箭えばlibuv��鬉�mrbgemsがあっても噸宥には聞えない
!? CにもAnyEventみたいなレイヤがあればいいんですけどね
!? H2O x mruby ではイベント�l�咾龍�{を鞭けられないのか�
18

それFiberでできるよ
!? Fiber: Rubyにおけるコル�`チン��@�A��f�{議マルチタスク
!? Perlでいうと´なんでしょうね�Coro��聞ったことない�
19

FiberによるノンブロッキングI/O
20

FiberによるノンブロッキングI/O
!? �g�HのH2Oのコ�`ド
!? https://github.com/h2o/h2o/blob/master/lib/
handler/mruby/embedded/core.rb#L51
!? �O協ファイルから誼たmrubyハンドラの
コ�`ドを、Fiber Runnerに��Q
!? 恷�m晒のため、?た?がそこそこ伽い
!? 恬撹したFiberの壅旋?
!? begin-rescueのオ�`バ�`ヘッド指閲
!? ちなみにv2.3からはもっと伽い湖じにな
ります
21

Rack ApplicaIon としての mrubyハンドラ
!? Rack碧��に�tったRackアプリケ�`ションとして�ほぼ��峰辛嬬
!? v2.2參念はレスポンスの��Qえが音辛だが、v2.3參週で竃栖るように
なる嚠協
22

Rack ApplicaIon としての mrubyハンドラ
!? mrubyコ�`ドを翌何ファイルに崔くことも齢�辛嬬
!? Rack Middleware議なことも齢�辛嬬
!? そのうちRack::Builder札�QのDSLも恬りたい
23

H2O x mruby で
あれやこれやできるよという�
24

Access Control
25

Access Control
!? v2.1から、aclという�Mみ�zみメソッドを?吭
!? アクセス崙囮が��gに��韻襪茲Δ�
!? サンプルケ�`ス
!? 127.0.0.1からのアクセスは械に�S辛
!? 192.168.*參翌からのcurlは403
!? 蒙協のipからのリクエストには503
!? ＾moved￣が根まれるパスへのリクエストは蒙協URLにリダイレクト
!? /admin/ 參和へのリクエストにはBasic�J�^を勣箔
26

Access Control - nginxの��
!? 謹蛍こんな湖じ
!? つれぇ´
!? Ifの訳周嶄で、andやorが聞
えないしネストもできない
!? �篳�垢辰討Δ泙い海�
やりくり´
!? そもそも巷塀がif is evilと?
っている庁��´採だと´
!? https://www.nginx.com/
resources/wiki/start/topics/
depth/i?sevil/
27
少御: そんなにちゃんと�嘛�_�Jしてないので歌深にしないで和さい

Access Control - Apacheの��
!? �Wの詰いApache?では音辛嬬でした
!? 屎岷にいうと�{べる�櫃眛陲④泙擦鵑任靴�
28

Access Control - H2O 2.0參念の��
!? うっこわい
!? まぁやりたいことが殆岷にできはするし、�iめもする
!? しかしもうちょっとなんとかならないものか
29

Access Control - H2O 2.1參週
!? なんとなくエレガントに��韻襪茲Δ砲覆辰殖�
!? aclブロックの嶄では光�NDSLメソッドが聞える
!? allow: 軸恙に瘁�Aのハンドラにpass through
!? deny: 軸恙に403
!? etc..
!? 光メソッドのブロック坪では、�m?訳周を挫きに��韻�
!? ここでもaddrやpathなど、envにアクセスするための
DSLメソッドが聞える
30

DoS DetecIon
31

DoS DetecIon
!? ��覆�DoSDetectorというライブラリを戻工
!? IPアドレスベ�`スで�g了�r�g坪のリクエスト方をカウントし、
階えたら?協豚�gBANする (403 Forbidden)
!? Apacheのmod_dosdetectorに�輝
!? https://github.com/stanaka/mod_dosdetector
!? ロジックも歌深にさせて�きました
32

DoS DetecIon - Advanced
!? DoS登協�rの�I尖はcallbackでカスタマイズ辛嬬
!? ログ預いたりアラ�`トメ�`ル?ばしたり
!? strategyを?恬すれば、DoS登協ロジックもカスタマイズ辛嬬
33

DoS DetecIon �C もろもろ
!? 廣吭泣
!? �F壓の�g廾は、スレッド�g了のロ�`カル�篳�妊�Ε鵐箸靴討い襪�
で、��､鬟曠好畔�船好譽奪品�埜遒衙磴垢覬慴��△�
!? v2.3あたりから、mrubyからRedisが聞えるようになる嚠協�瘁
峰�なので、そういったstrategyを?吭する嚠協がなくはない
!? Pure mrubyで��譴討い襪燭瓠▲皀献紿`ル?恬したいユ�`ザ�`さんの
サンプルとして措いのでは
!? なおPure mrubyコ�`ドなら�gにrequireするだけでよく、
H2Oの壅ビルドは音勣
!? c吉を聞ってmrbgemsを��④燭��呂蓮�mrubyとh2oをビルドし
なおす駅勣あり
!? ��?議にはjoin兜?に��い燭笋弔覆里破爾�?れがある
�?蛍で聞ってないけど�
34

HTTP Request
35

HTTP Request
!? mrubyハンドラからノンブロッキングなHTTP Requestが?ばせる
!? proxy議なことが否叟にできる
!? 2粁�Aの揖豚ポイント
!? req.joinしてステ�`タスとヘッダのみを函誼
!? resp[2].joinしてボディを函誼
36

HTTP Request - 箭1
!? 軟��rにetcdから�O協�､鯣ゝ辰垢襯汽鵐廛襭�v2.3?�
!? �Y創からは��福いたけど、このハンドラの翌�箸�?揖豚�I尖させるや
つ?�笋世辰燭鵑任垢茵㎏�しくはWebで´
!? 剃にいうと書はハンドラの翌ではhttp_requestとか聞えないので
お�櫃鬚弔穎造気�
37

HTTP Request - 箭2
!? �}方リクエストを揖�rに誘げて、�Y栽して卦すサンプル
38

HTTP Request - 箭2 - もっと�紳覆茲�
!? こんな?にすると、より壼くレスポンスのパイプラインに�dせられる
!? メモリフットプリントも?さくなる�謹蛍�
39

HTTP Request - 箭3
!? ESI (Edge Side Includes) のサンプル
!? ちなみにESIとは
!? エッジサ�`バ�e.g. CDN��箸如�
�啜弔縫灰鵐謄鵐弔鮟Mみ?てるためのマ�`クアップ碧��階硬い�
!? ペ�`ジを��撹する何瞳ごとにキャッシュできる
40

HTTP Request - 箭3
!? �m輝にこんなの恬って´
41
<esi:include>タグの
src奉來を�iき竃して
HTTPリクエストを僕佚
bodyを鞭佚�というか揖豚�

HTTP Request - 箭3
!? こう
!? シンプルに?えるが、この�C嬬をcで�g廾することをご��和さい´
42

Redis
43

Redis
!? v2.2から、TLS Session Resumptionのバックエンドとして聞うため、
ネイティブでredisサポ�`トしてます
!? ID basedの��錬坤⑤礇奪轡紊留９��銈箸靴�
!? ticket basedの��錬坤船吋奪箸留９��銈箸靴�
!? ちなみにauto rotate�C嬬原き
!? 2.1參念はmemcachedだけだった
!? HiRedisをラップしてh2oコアに隔ってる
!? v2.3參週
!? そのredisライブラリをmrubyからも�Qえるようにした
H2O::Redisがリリ�`ス嚠協
!? キャッシュをredisから函ってきて卦抜する、みたいな�I尖を
mrubyで?うことが辛嬬に
44

Redis: 箭
!? 床議なペ�`ジのHTTPレスポンスをまるっとredisにキャッシュする箭
45

Other TCP Bindings
46

Other TCP Bindings
!? HTTPやRedisやコア�箸�g廾がすでにあったからそれを聞えばよかった
!? でも書瘁、麿のプロトコルを聞いたい��狼箸呂匹Δ垢襭�
!? MySQL, memcached, etc..
!? ��eにcでプロトコルバインディングを�g廾してくのはしんどい
47

Other TCP Bindings
!? ノンブロッキングなH2O::TCPSocketを恬った
!? ��eのバインディングは、mrubyでこれを聞いつつ��韻个茲�
!? ので、?械に��④笋垢�覆辰燭呂�
!? mrubyのパフォ�`マンスが��}になることは
ほとんど�oいだろう�協
!? とりあえずMySQLでも��い討澆誡莇┌�莇┐藁感┌�
48

Image Filter
49

Image Filter
!? �k燕�l�嚔_�kで、書?までになんとかそれっぽいもの恬ろうと房ってた
んですけど、�gに栽いませんでした´
!? いちおう書瘁こんなことも深えてますよ、議なノリで�B初させて和さい
!? 麼崋�
!? mod_small_light議な、鮫�をオンザフライで�s?やクリップして
くれるやつが圀しい
!? 送?にmrubyで鮫��I尖をするのは�Wいだろう
!? 翌何コマンド�g?できたらよいのでは
!? それ參翌にも竃栖ることの嫌がﾚがるし
50

ベンチマ�`ク
51

ベンチマ�`ク
!? ?したいこと
!? mrubyであれこれやっても、システムのボトルネックはどうせ
I/Oもしくはアプリケ�`ションなので、��}にならないはず
!? 揖じ�I尖をするnginxと?�^して�`餓レベルの喪晒しかないはず
!? サンプルアプリ�
!? �g�なTODOリストみたいなやつのJSON API
!? https://github.com/i110/tinytodo
!? �O協ファイルやwrk scriptも?ってます
52

ベンチマ�`ク��撹
53
!? �編^�h廠
!? EC2�|奨リ�`ジョン c4-8xlarge 3岬 (�尖コア方36�
!? リバ�`スプロキシ�H2O or nginx�
!? アプリケ�`ションサ�`バ (Plack app�
!? �塞かけサ�`バ�wrk with lua scripting�
!? 揖?プレイスメントグル�`プ、��ネットワ�`キング嗤��
�塞かけ
サ�`バ
revproxy
(H2O or nginx)
クソアプリ
�塞 proxy
sqlite

並念ベンチマ�`ク
54
!? ベンチ函る念にまず、H2O x mrubyとnginxの��な來嬬餓を�{べよう
!? アプリ�iきで、それぞれが岷俊200卦してみる
!? mrubyぶんのoverheadのせいでnginxのほうが堀い�協
�塞かけ
サ�`バ
revproxy
(H2O or nginx)
クソアプリ
�塞
sqlite ��基�o?で
200

並念ベンチマ�`ク �C �Y惚
55
!? この�r泣でH2Oのほうが堀いんですけど´まじで´
!? クソアプリいらなかったわ´
Requests per second

ベンチマ�`ク: 深賀
!? よくわからない
!? まぁnginxもごにょごにょ��④垢�襪庇Wくなるということですかね
!? とにかく?�拈獷任茲�辰�
!? 富なくともほとんどのユ�`スケ�`スでは、mrubyであれこれやっても
��}ないと?えるのではないか
56

�Y�
57

�Y�
!? H2O x mrubyでみんなで侑せになろう
!? つらみのある�O協ファイルとはさよならしよう
!? ?喇にサ�`バを��していこう
!? ��gに��C嬬を��韻襪里琶�?��い討澆討�世気�
!? ブログに��い燭�githubで巷�_してくれる吉すると?�粭劼靴い任�
!? Feature requestしてくれるだけでも?�粭劼靴い任�
!? ?？な�C嬬�個鋲が?る嚠協のv2.3にご豚棋和さい
!? むしろコアまわりのPRもお棋ちしております
58

際際滷

H2O x mrubyで繁はどれだけ侑せになれるのか

More Related Content

H2O x mrubyで繁はどれだけ侑せになれるのか