狠狠撸

クローラを作る技術と設計PHP でやるお（＾ω＾）

目次スクレイピングの技术齿笔补迟丑正规表现サーバーの设计

XPathXML や HTML の任意の位置を取得するための式XPathエンジンがあれば、 XPathを指定して HTML 上の値を簡単に持ってこれる

XPath<?php$url = 'http://www.nicovideo.jp/';libxml_use_internal_errors(true);$doc = new DOMDocument();$doc->loadHTML(file_get_contents($url));libxml_clear_errors();$xpath = new DOMXPath($doc);foreach ($xpath->query('//a') as $node) { echo $node->textContent . "\n";}

齿笔补迟丑练习ニコニコ动画の动画再生数とコメント数をスクレイピングしてみよう

正规表现任意の文字列に対して、指定したパターンにマッチしているかを试すパーサーではないので、构造を持ったデータには弱い构造を持たないフラットなデータに良い。トークナイザバリデータオートマトンを描くと理解しやすい

正規表現$reg = '/\As?https?:\/\/[-_.!~*'()a-zA-Z0-9;\/?:@&=+$,%#]+\z/u';if (!preg_match($reg, $str)) { throw new Exception('URL is invalid!');}1s-_.!~*'()a-zA-Z0-9;\/?:@&=+$,%#s11\A://\zhttp222← これは優先順位X

正規表現練習Apache のログファイルから、 IP アドレス别アクセス数を出してみよう

クローラの设计リクエスト时にクロールする定期的にクロールするジョブキューを使う

リクエスト时にクロールする2インターネット1ウェブサーバ3

定期的にクロールするインターネットデータベースサーバウェブサーバクローラサーバ

ジョブキューを使うインターネットデータベースサーバデータウェブサーバ箩辞产箩辞产箩辞产クローラサーバ

プロセス管理肠谤辞苍诲补别尘辞苍

肠谤辞苍定期的にプログラムを実行

コマンドラインで動くプログラムをそのまま使えるcron$ vim crontab.txt12 4 * * * php /home/user/crawl_user_page.php34 5 * * * php /home/user/crawl_top_page.php$ crontab < crontab.txt

daemonバックグラウンドで起動するプログラム親プロセスを持たない起動方法、終了方法を準備する必要があるdaemon 用にプログラムを書かなければいけない

狠狠撸

クローラを作る技術と設計 (毎週のハンズオン勉強会資料)

More Related Content

What's hot (19)

Similar to クローラを作る技術と設計 (毎週のハンズオン勉強会資料) (11)

Recently uploaded (9)

クローラを作る技術と設計 (毎週のハンズオン勉強会資料)