骋辞て?シュッと奥别产スクレイヒ?ンク?する
- 3. 3 もくじ ? モチベーション ? Webスクレイピングとは？ ? 使ったパッケージ ? 静的サイトのスクレイピング ? 動的サイトのスクレイピング ? まとめ
- 5. 5 モチベーション
- 6. 6 モチベーション ? 何か思いついた時にシュッとWebスクレイピングしたい ? 自分の中にシュッとやる方法が確立してなかった ? PHP？Python？Node.js？Go？ ? Goでやってみよう
- 8. 8 Webスクレイピングとは？ ? ウェブサイトから情報を抽出するコンピュータソフト ウェア技術のこと（Wikipedia調べ） ? HTML取得→DOM解析→保存→加工→何かしらで利用 ? 用法?容量を守って正しくスクレイピングする必要あり ? Twitterはスクレイピングを利用規約で明示的に禁止している ? 岡崎市中央図書館事件 ? Webスクレイピングの注意事項一覧 https://qiita.com/nezuq/items/c5e827e1827e7cb29011
- 10. 10 使ったパッケージ
- 12. 12 使ったパッケージ 例）タイトルタグの中身を取得 doc, _ := goquery.NewDocument(url) doc.Find("title").Text() 例）クラス名を指定して取得 doc, _ := goquery.NewDocument(url) doc.Find(".hoge-list > li")
- 13. 13 使ったパッケージ doc.Find(".hoge-list > li ").Each(func(i int, s *goquery.Selection) { s.Find(“a > span”).Text() }) 例）取得した複数のliをループする jQueryでDOM操作をゴリゴリしたことがある 人にはきっと使いやすい ※goqueryの詳しい使い方はググる
- 14. 14 静的サイトのスクレイピング
- 16. 16 簡単！
- 17. 17 静的サイトのスクレイピング 簡単！ ? ChromeのDeveloper Toolsで確認したままのDOM ? 素直に指定すれば要素が取得できる ? qoqueryだけでシュッとスクレイピングできる
- 18. 18 動的サイトのスクレイピング
- 20. 20 むずかしぃ???
- 21. 21 動的サイトのスクレイピング むずかしぃ??? ? ChromeのDeveloper Toolsで確認したままのDOM ではない??? ? レンダリングが終わる前のHTMLが返ってくる ? ググるとSeleniumと組み合わせてってのが多い ? 面倒なことはしたくない???（したほうがいい
- 22. 22 そこで
- 23. 23 動的サイトのスクレイピング Scrapy + Splash ? Scrapy ? Python製のクローリング?スクレイピングフレーム ワーク ? robots.txtを考慮してくれる（らしい） ? Splash ? Python製のJavascriptレンダリングサービス
- 25. 25 動的サイトのスクレイピング Scrapy + SplashのDockerのコンテナがある ? scrapinghub/splash ? 静的サイトをスクレイピングするのと同じ感じで できる ? 便利な世の中ですね
- 27. 27 動的サイトのスクレイピング Scrapy + Splashのコンテナを起動 $ docker pull scrapinghub/splash $ docker run -d -p 5023:5023 -p 8050:8050 -p 8051:8051 scrapinghub/splash Scrapyを経由してアクセスするURL http://localhost:8050/render.html?url=https://hogeho ge.com&timeout=10&wait=3 ※5023: telnet 8050: http 8051: https ※ Scrapy,Splashの詳しい内容?使い方はググる
- 28. 28 まとめ
- 29. 29 まとめ GoでシュッとWebスクレイピングするなら??? ? goqueryを使う ? Scrapy + Splashのコンテナを使う ? ルールを守ってスクレイピングする
- 30. 30 おわり