![robots.txtをパース
● 準備
byte[] content = ... robots.txtを読み込む ...
SimpleRobotRulesParser parser =
new SimpleRobotRulesParser();](https://image.slidesharecdn.com/crawler-commons-171002105108/85/Crawler-Commons-8-320.jpg)
Crawler Commons
- 2. Me 島本 多可子（@chibochibo03） 株式会社ビズリーチ CTO室 普段はScalaを書いてます Apache 笔谤别诲颈肠迟颈辞苍滨翱のコミッタになりました
- 3. クローラーって？ ● インターネットに蓄積されている様々な情報を収集し ● データとして活用できるようにするためのもの ● 情報提供してくださるWebサイトがあってこそ成り立つ ● 迷惑をかけてしまうようなことは避けなくてはならない
- 4. ルールを守る ● クロールしてもよいページ、ダメなページ ○ robots.txt など ● 負荷をかけるアクセスをしない ○ 必要なページのみクロールする ○ サイトマップ など ● Webクローラーに共通する処理がある
- 5. Crawler-Commons https://github.com/crawler-commons/crawler-commons ● Webクローラに共通する機能を実装したJavaライブラリ ○ robots.txtのパース ○ サイトマップやAtomのパース ○ トップレベルドメインを返すURLアナライザ
- 6. 関連ライブラリ ● crawler4j Java用Webクローラー ○ robots.txtのパース、キャッシュ ■ 禁止されているページはクロールしない ● jsoup Java用HTMLパーサ ○ ページをクロールして解析する ■ 該当ページが許可されているかどうかは自分で判定する
- 8. robots.txtをパース ● 準備 byte[] content = ... robots.txtを読み込む ... SimpleRobotRulesParser parser = new SimpleRobotRulesParser();
- 9. robots.txtをパース ● パース BaseRobotRules rules = parser.parseContent( "http://www.example.com", content, "text/plain", "Sample Crawler");
- 10. robots.txtをパース ● パース BaseRobotRules rules = parser.parseContent( "http://www.example.com", content, "text/plain", "Sample Crawler"); URL(ログの出力に使われる ) robots.txtの内容 robots.txtのContent-Type クローラーの名前
- 11. robots.txtをパース ● 結果を取得 boolean isAllowed = rules.isAllowed("http://example.com/help/faq.html"); List<String> sitemaps = rules.getSitemaps(); 許可されている場合は true サイトマップ
- 12. サイトマップをパース ● 準備 URL sitemapUrl = new URL( "http://www.example.com/sitemap.xml"); SiteMapParser parser = new SiteMapParserSAX();
- 13. サイトマップをパース ● パース AbstractSiteMap sitemap = parser .parseSiteMap(sitemapUrl); if (sitemap.isIndex()) { } else { ... } サイトマップインデックスの場合
- 14. サイトマップをパース ● サイトマップインデックス SiteMapIndex smIndex = (SiteMapIndex) sitemap; for (AbstractSiteMap sm : smIndex.getSitemaps()) { URL url = sm.getUrl(); ... } (例) http://www.example.com/sitemap1.xml.gz
- 15. サイトマップをパース ● それ以外 SiteMap sm = (SiteMap) sitemap; for (SiteMapURL u : sm.getSiteMapUrls()) { URL url = u.getUrl(); ... } (例) http://www.example.com/catalog?item=1
- 16. Atomをパース ● パース URL atomUrl = new URL( "http://www.example.com/atom.xml"); SiteMapParser parser = new SiteMapParserSAX(); SiteMap atom = (SiteMap) parser .parseSiteMap(atomUrl);
- 18. TLDを取得 ● 取得 EffectiveTLD etld = EffectiveTldFinder .getEffectiveTLD("blogs.yahoo.co.jp"); String tld = etld.getDomain(); co.jp
- 19. まとめ ● Webクローラーにありがちな共通機能を提供 ● robots.txt、サイトマップの解析 ● こういったライブラリを活用するのも1つの手