![クローリング
? 英語の意味は、[ はう、ゆっくり進む]
? Webページのリンクの内容をたどる
? Webページの内容をダウンロードして収集
? クローラー、スパイダーと呼ばれる](https://image.slidesharecdn.com/pythonweb-140823055727-phpapp01/85/Python-Web-7-320.jpg)
![スクレイピング
? 英語の意味は、[ 削ること ]
? ページの内容から、必要な情報を抽出すること](https://image.slidesharecdn.com/pythonweb-140823055727-phpapp01/85/Python-Web-8-320.jpg)
![Spider作成
class MininovaSpider(CrawlSpider):
name = 'mininova'
allowed_domains = ['mininova.org']
start_urls = ['http://www.mininova.org/yesterday/']
rules = [Rule(LinkExtractor(allow=['/tor/d+']), parse_torrent')]
!
def parse_torrent(self, response):
torrent = TorrentItem()
torrent['url'] = response.url
torrent['name'] = response.xpath("//h1/text()").extract()
return torrent](https://image.slidesharecdn.com/pythonweb-140823055727-phpapp01/85/Python-Web-37-320.jpg)
![実行
$ scrapy crawl mininova -o scraped_data.json
$ cat scraped_data.json
{
"url": "http://www.mininova.org/tor/13277197",
"name": ["lady anna voice free plugin VSTI free download new by Softrave ]
},
{
"url": "http://www.mininova.org/tor/13277195",
"name": ["mandala VSTI free download new by Softrave ]
},](https://image.slidesharecdn.com/pythonweb-140823055727-phpapp01/85/Python-Web-38-320.jpg)
![[DL輪読会]近年のオフライン強化学習のまとめ —Offline Reinforcement Learning: Tutorial, Review, an...](https://cdn.slidesharecdn.com/ss_thumbnails/20200626journalclubpub-200630064755-thumbnail.jpg?width=560&fit=bounds)
![[DL輪読会]Reward Augmented Maximum Likelihood for Neural Structured Prediction](https://cdn.slidesharecdn.com/ss_thumbnails/dlhacks0804-170803075139-thumbnail.jpg?width=560&fit=bounds)
![[DL輪読会]Control as Inferenceと発展](https://cdn.slidesharecdn.com/ss_thumbnails/20191004-191204055019-thumbnail.jpg?width=560&fit=bounds)
![[DL輪読会]Learning Transferable Visual Models From Natural Language Supervision](https://cdn.slidesharecdn.com/ss_thumbnails/dlkobayashi0115-210115012308-thumbnail.jpg?width=560&fit=bounds)
![[DL輪読会]Estimating Predictive Uncertainty via Prior Networks](https://cdn.slidesharecdn.com/ss_thumbnails/estimatingpredictiveuncertaintyviapriornetworks-190628002736-thumbnail.jpg?width=560&fit=bounds)
More Related Content
What's hot (20)
Viewers also liked (20)
Similar to 笔测迟丑辞苍による奥别产スクレイピング入门 (20)
笔测迟丑辞苍による奥别产スクレイピング入门
- 2. 自己紹介 ? 関根裕紀（せきね ひろのり） ? アライドアーキテクツ株式会社 ? ソフトウェア?エンジニア ? PyCon JP 2014 スタッフ ? Twitter（@checkpoint )
- 3. ? 前職まで ? RSSリーダー、SNS ? WebMail ? 写真共有サービス ? 現在（アライドアーキテクツ） ? モニプラFacebook、Social-IN ? Webアプリケーション開発全般を担当 経歴
- 4. アジェンダ ? Webスクレイピングとは ? PythonでのWebスクレイピング ? ライブラリの绍介、サンプル（入门编）
- 6. Webスクレイピング ? WebサイトからHTMLのデータを収集 ? 特定のデータを抽出、加工 ? 抽出したデータを再利用 ? クローリング + スクレイピング
- 7. クローリング ? 英語の意味は、[ はう、ゆっくり進む] ? Webページのリンクの内容をたどる ? Webページの内容をダウンロードして収集 ? クローラー、スパイダーと呼ばれる
- 8. スクレイピング ? 英語の意味は、[ 削ること ] ? ページの内容から、必要な情報を抽出すること
- 9. 用途 ? 検索エンジン ? 価格比較 ? 気象データの監視 ? サイトの変更検出 ? Webサイトの情報解析、研究（比較、分類、統計など） ? マッシュアップ
- 10. 方法（１） ? Webサービス、アプリケーション ? Yahoo! Pipes（ https://pipes.yahoo.com/ ) ? kimono ( https://www.kimonolabs.com/ ) ? import.io ( https://import.io/ )
- 11. 方法（２） ? Ruby ? Nokogiri ? Mechanize ? Perl ? Web::Scraper ? JavaScript ? CasperJS
- 12. Pythonでのスクレイピング ? 標準ライブラリ ? BeautifulSoup ? pyquery ? Scrapy（スクレピー、スクラパイ、スクレパイ）
- 14. 標準ライブラリ ? Pythonの標準ライブラリはとても充実している ? ネットワーク、正規表現ライブラリ ? Pythonの処理系だけあれば良い ? 簡単なスクレイピングであれば十分実用的
- 15. サンプル import re, urllib2 res = urllib2.urlopen( http://ll.jus.or.jp/2014/program") pattern_title = re.compile( <title>(.*?)</title>') m = pattern_title.search(res.read()) title = m.group(1) print title >>> プログラム ? LL Diver
- 16. Beautiful Soup ? 2004年からあるライブラリ ? HTMLやXMLからデータを抽出して取得できる ? 複数のパーサーに対応、パーサーを指定できる ? 最新バーションはBeautiful Soup 4系 ? Python 2.7、Python 3.2に対応 ? スクレイピング
- 17. サンプル import urllib2 from bs4 import BeautifulSoup res = urllib2.urlopen( http://ll.jus.or.jp/2014/program ) soup = BeautifulSoup(res.read()) soup.title >>> <title>プログラム ? LL Diver</title> for link in soup.?nd_all( a'): print(link.get( href')) >>> http://ll.jus.or.jp/2014/ >>> http://ll.jus.or.jp/2014/
- 18. pyquery ? jQuery風にHTML/XML操作が可能 ? パーサーにはlxmlを使用（高速） ? JQuery風のセレクタを利用できる ? スクレイピング
- 19. サンプル from pyquery import PyQuery as pq d = pq("http://ll.jus.or.jp/2014/program") print d( title").text() >>> プログラム ? LL Diver print d( .entry-title").text() >>> プログラム print d( #day ).text() >>> 昼の部
- 21. Scrapyの特徴 ? クローリング、スクレイピングフレームワーク ? シンプル、拡張性がある ? バッテリー付属 ? ドキュメント、テストが充実 ? コミュニティが活発 ? Python2.7のみ対応
- 22. Scrapyの主な機能 ? Webページからの情報抽出 ? Robots.txtのパース ? ドメイン、IPアドレス単位のクロール間隔調整 ? 並行処理 ? エラー時のリトライ（回数を設定） ? http://orangain.hatenablog.com/entry/scrapy
- 25. Scrapy Engine ? 全てのコンポーネントを制御するシステム ? 特定のアクションが発生したら、イベントを起 こす責任を持つ。
- 27. Spider ? ユーザーが作成するカスタムクラス ? 取得したいURL、抽出する項目などを記述する ? 取得した内容をスクレイピングして、Itemとし てItem Pipelineに送る
- 31. Downloader ? 実際にWebページを取得する ? Downloader middlewaresで処理を差し込む事 ができる。（キャッシュなど）
- 33. Item Pipeline ? スパイダーによって抽出されたアイテムを出力 ? データのクレンジング、検証 ? 永続化（JSON、File、DB、Mail）など
- 34. 手順 ? Scrapy プロジェクトの作成 ? 抽出するアイテムの定義 ? アイテムの抽出とクローリングのためのSpider を作成 ? 抽出したアイテムのパイプライン部分作成 ? 基本はSpiderとItem部分を書いていけばOK
- 35. プロジェクト作成 $ scrapy startproject scrapy_sample $ tree scrapy_sample scrapy_sample/ ├── scrapy.cfg └── scrapy_sample ├── __init__.py ├── items.py ├── pipelines.py ├── settings.py └── spiders └── __init__.py
- 36. 抽出するItem定義 class TorrentItem(scrapy.Item): url = scrapy.Field() name = scrapy.Field()
- 37. Spider作成 class MininovaSpider(CrawlSpider): name = 'mininova' allowed_domains = ['mininova.org'] start_urls = ['http://www.mininova.org/yesterday/'] rules = [Rule(LinkExtractor(allow=['/tor/d+']), parse_torrent')] ! def parse_torrent(self, response): torrent = TorrentItem() torrent['url'] = response.url torrent['name'] = response.xpath("//h1/text()").extract() return torrent
- 38. 実行 $ scrapy crawl mininova -o scraped_data.json $ cat scraped_data.json { "url": "http://www.mininova.org/tor/13277197", "name": ["lady anna voice free plugin VSTI free download new by Softrave ] }, { "url": "http://www.mininova.org/tor/13277195", "name": ["mandala VSTI free download new by Softrave ] },
- 39. まとめ ? Pythonでスクレイピングを行う場合、色々なア プローチがある。 ? 標準のライブラリから、フレームワークまで選 択肢は沢山あるので、要件に合わせて使用すれ ば良い ? Pythonに限らず、LL言語はスクレイピング用の ライブラリがたくさん。
- 40. 参考URL ? http://scrapy.org ( Scrapy ) ? http://www.slideshare.net/MasayukiIsobe/web-scraping-20140622isobe ? https://github.com/gawel/pyquery/ ( pyquery ) ? http://www.crummy.com/software/BeautifulSoup/ ( BeautfulSoup ) ? http://orangain.hatenablog.com/entry/scrapy ? http://akiniwa.hatenablog.jp/entry/2013/04/15/001411 ? http://tokyoscrapper.connpass.com/ ( Webスクレイピング勉強会 ) ? http://www.slideshare.net/nezuQ/web-36143026?ref=http://www.slideshare.net/slideshow/ embed_code/36143026 ? http://qiita.com/nezuq/items/c5e827e1827e7cb29011（ 注意事項 ）
- 41. 宣伝 ? PyCon JP 2014は来月开催です。
- 42. 宣伝 ? https://pycon.jp/2014/ ? 9/12 （金）～ 9/15（月）の4日間 ? チュートリアル（9/12） ? カンファレンス（9/13、14） ? スプリント（9/15) ? 絶賛準備中。お待ちしております！
- 43. ご静聴ありがとうございました。