際際滷

PHP と MySQL で
カジュアルに
MapReduce する

@yuya_takeyama

アジェンダ

?MapReduce とは

? 徭恬フレ�`ムワ�`ク
MyMR の府初

お僅り (1)

ビッグデ�`タの�は
ありません

お僅り (2)

�I�佞任�
まだやってません

お僅り (3)

Hadoop
隆�U�Yです
☆MongoDB での
MapReduce ならやりました

耕嗤兆�~として

?
Google の寄�庁デ�`タ�I尖フ
レ�`ムワ�`ク

?
�碧�ぅ鵐妊奪�垢臨�匹箸��
聞われている

噸宥兆�~として
?Map/Reduce �v方でデ�`タを
�I尖するプログラミングモデル

? マシンを��やしただけスケ�`ル

?Hadoop, MongoDB,
CouchDB などが麼な�g廾

秘薦
�I尖の送れ ◎
Map
◎
Reduce
◎
竃薦

やや��畜な秘薦
�I尖の送れ ◎
Map
◎
Shuf?e
◎
Reduce
より��畜には ◎
もっと�}�jらしいです
竃薦

Map

?秘薦デ�`タを鞭け函り
? �}方の Key/Value ペアを竃薦

Shuf?e

?Map による Key/Value を
? Key ごとにまとめて竃薦

Reduce

?Shuf?e による嶄�gデ�`タを
? 鹿�sして基えを竃薦

�}方の�v方の
秘竃薦を�Uて
恷�K議な基えを竃薦

猟嫗嶄の
�g�Zの方を方える箭
(word count)

Map ?<"to", 1>
?<"be", 1>
?<"or", 1>
?<"not", 1>
?<"to", 1>
?<"be", 1>

Shuf?e
?<"be", [1, 1]>
?<"not", [1]>
?<"or", [1]>
?<"to", [1, 1]>

Reduce
? <"be", 2>
? <"not", 1>
? <"or", 1>
? <"to", 2>

MapReduce の旋泣
?Map も Reduce も�K双晒
すればスケ�`ルする

?�v方侏っぽい深え圭が試きる
☆ただし, Hadoop や MongoDB の MapReduce の Map と Reduce は
?�v方侏冱�Zのそれとはやや�なる (歌孚邑�^でなかったり)

? パタ�`ンとして慌嗤しやすい
☆返�Aき侏のバッチ�I尖と曳�^して

MongoDB について

?
宥械は MapReduce を
�K双に�g佩することができない

? それでも MapReduce は宴旋

?採絞か?

スケ�`ラビリティだけじゃない

?プログラミングモデルとしての
MapReduce にも��､�△�

? MongoDB で�I尖が頼�Y

?JS で�v方ふたつ��世�

MySQL でも
MapReduce
したい!!!

というわけで恬りました

MyMR
https://github.com/yuya-takeyama/mymr

?MySQL を秘竃薦とする

? PHP で Map/Reduce を��

? コマンドラインで�g佩

MyMR による�I尖の送れ
?テ�`ブルからレコ�`ドを�iむ
?1 佩 1 佩に Map (PHP) を�m喘して
嶄�gテ�`ブルへ

?MySQL による Shuf?e
?その�Y惚に Reduce (PHP) を�m喘して
竃薦テ�`ブルへ

による
yM R
M
猟嫗嶄の
�g�Zの方を方える箭
(word count)

use MyMRBuilder;
Map/Reduce の協�x
$builder = new Builder;

$builder->setInputTable('root@localhost/db/texts');
$builder->setOutputTable('root@localhost/db/word_counts');

$builder->setMapper(function ($record, $emitter) {
????$words = preg_split('/s+/u', $record['text']);
????foreach ($words as $word) {
????????$emitter->emit($word, 1);
????}
});

$builder->setReducer(function ($key, $values) {
????$sum = 0;
????foreach ($values as $count) {
????????$sum += $count;
????}
????return array('count' => $sum);
});

return $builder;

use MyMRBuilder;


????foreach ($words as $word) { 秘竃薦テ�`ブルの峺協
????}
});

????$sum = 0;
????????$sum += $count;
????}
});

return $builder;

use MyMRBuilder;


????} この�xが Map
});

????$sum = 0;
????????$sum += $count;
????}
});

return $builder;

use MyMRBuilder;


????}
});

????$sum = 0;
????????$sum += $count;
????}
????return array('count' => $sum); この�xが Reduce
});

return $builder;

Map

function ($record, $emitter) {
????$words = preg_split('/s+/u',
$record['text']);
????}
}

Map レコ�`ドを
�B�塘双として鞭け函る

$record['text']);
????}
}

Map

$record['text']);
????}
} text カラム坪の
猟忖双をスペ�`スで蛍護

Map

$record['text']);
????}
}
Key/Value のペアとして
嶄�gテ�`ブルに INSERT

Reduce
function ($key, $values) {
????$sum = 0;
????????$sum += $count;
????}
}

Reduce
Key Value の塘双

????$sum = 0;
????????$sum += $count;
????}
}

Reduce
Value を畠て怎す
????$sum = 0;
????????$sum += $count;
????}
}

Reduce
????$sum = 0;
????????$sum += $count;
????}
}
卦り�､累B�塘双を
レコ�`ドとして INSERT

+----+--------------------+

Map | id | text |
+----+--------------------+
| 1 | to be or not to be |
+----+--------------------+
◎ レコ�`ドを�B�塘双として Map へ ◎
+----+---------+-------+
| id | key | value |
+----+---------+-------+
| 1 | to | 1 |
| 2 | be | 1 |
| 3 | or | 1 |
| 4 | not | 1 |
| 5 | to | 1 |
| 6 | be | 1 |
+----+---------+-------+

+----+--------------------+

Map | id | text |
+----+--------------------+
| 1 | to be or not to be |
+----+--------------------+
◎ レコ�`ドを�B�塘双として Map へ ◎
+----+---------+-------+
+----+---------+-------+
| 1 | to | 1 |
| 2 | be | 1 |
| 3 | or | 1 |
| 4 | not
value には JSON で秘れるので | 1 |
| 5 | to
��夛晒デ�`タも聞喘辛嬬 | 1 |
| 6 | be | 1 |
+----+---------+-------+

+----+---------+-------+

Shuf?e +----+---------+-------+
| 1 | to
| 2 | be
| 1
| 1
|
|
| 3 | or | 1 |
| 4 | not | 1 |
| 5 | to | 1 |
| 6 | be | 1 |
+----+---------+-------+

◎ キ�`で GROUP BY して ◎
SELECT ◎ �､� GROUP_CONCAT ◎
`key`, +---------+--------+
GROUP_CONCAT(`value`) | key | values |
FROM +---------+--------+
`嶄�gテ�`ブル` | be | 1,1 |
| not | 1 |
GROUP BY | or | 1 |
`key` | to | 1,1 |
+---------+--------+

+---------+--------+
| key | values |
Reduce +---------+--------+
| be | 1,1 |
| not | 1 |
| or | 1 |
| to | 1,1 |
+---------+--------+
◎ キ�`と�､療篩个� Reduce へ ◎
+----+---------+-------+
| id | key | count |
+----+---------+-------+
| 1 | be | 2 |
| 2 | not | 1 |
| 3 | or | 1 |
| 4 | to | 2 |
+----+---------+-------+

+---------+--------+
| key | values |
Reduce +---------+--------+
| be | 1,1 |
| not | 1 |
| or | 1 |
�g�Hにはデリミタとして個佩を聞喘| to | 1,1 |
+---------+--------+
個佩曝俳りの JSON になる

◎ キ�`と�､療篩个� Reduce へ ◎
+----+---------+-------+
| id | key | count |
+----+---------+-------+
| 1 | be | 2 |
| 2 | not | 1 |
| 3 | or | 1 |
| 4 | to | 2 |
+----+---------+-------+

モチベ�`ション

?
プログラミングモデルとしての
MapReduce を聞いたい

? MySQL を秘竃薦にしたい

?LL でサクッとやりたい

モチベ�`ション

?
プログラミングモデルとしての
MapReduce を聞いたい

? MySQL を秘竃薦にしたい

?LL でサクッとやりたい
PHP である駅勣はあまり�oい

書瘁の朕��

?掲揖豚 INSERT による�K双晒
? Hadoop へのシ�`ムレスな
卞佩圭隈の戻工

まとめ

?
ビッグデ�`タは�oくとも
MapReduce は嗤��

? MySQL でできたら宴旋なはず

?PHP で��韻燭�Sしいはず

リンク

? MyMR on GitHub
https://github.com/yuya-takeyama/mymr

? PHP と MySQL でカジュアルに MapReduce する
http://blog.yuyat.jp/archives/1706

? もっとカジュアルに PHP と MySQL で MapReduce する
http://blog.yuyat.jp/archives/1853

ご賠�
ありがとう
ございました

際際滷

PHP と MySQL でカジュアルに MapReduce する

More Related Content

PHP と MySQL でカジュアルに MapReduce する