![期待：/tmp/WgetScraper/gis.e-
map.ne.jp/standard/13125010/ssactl.htm?GO.x=13&GO.y=2&X shopp jp/ / / y _ p
_id=40000&X_cancel_url=http%3A%2F%2Fwww.sej.co.jp%2F
結果：/tmp/WgetScraper/gis.e-/ p/ g p /g
map.ne.jp/standard/13125010/ssactl.htm?GO.x=13&GO.y=2&X_shop
_id=40000&X_cancel_url=http:%2F%2Fwww.sej.co.jp%2F
↓
filename = filename+"?"+ URI.encode(filename filename ? URI.encode(
URI.decode(uri_obj.query),
/[^-_.!~*'()a-zA-Z?d;?:@&=+$,?[?]]/n)
微妙な違い](https://image.slidesharecdn.com/20101106-101106074428-phpapp02/85/LibraHack-17-320.jpg)
LibraHack後の スクレイピングを 考える
- 4. スクレイピングしまくり
- 12. 万 サ バを落として逮捕された時に万一サーバを落として逮捕された時に 「あの岡崎図書館でも落ちないように作って あ た と えば 当性を主張 き んじ なあった」といえば正当性を主張できるんじゃな いか？ 保守的な教訓
- 13. ? 1アクセス / 10分? 1アクセス / 10分 ? クッキー対応 取得したデ タをキ シ する? 取得したデータをキャッシュする ? userAgentで連絡先を明示するg ? robot.txtに従う ? if-modified-sinceif modified since 望ましい機能
- 14. つくってみた
- 15. #{WGET} N P "#{CACHE DIR}"#{WGET} -x -N -P "#{CACHE_DIR}" --user- agent="#{userAgent}" "#{uri}" ? -x ディレクトリを作る ? -N タイムスタンプ(If-Modified-Since) デ? -P キャッシュのディレクトリを指定 ? --load-cookies "#{COOKIE_FILE}" ? save cookies "#{COOKIE FILE}? --save-cookies #{COOKIE_FILE} ? --keep-session-cookies wgetにおまかせ
- 16. ? キャッシュファイルの場所キャッシュファイルの場所 /tmp/WgetScraper/oasis.mogya.com/test.txt?a=b&c=d ↓↓ filename = "#{uri_obj.host}#{uri_obj.path}“ filename = filename+"?"+ uri obj queryfilename = filename+ ? + uri_obj.query なにげに苦労したところ
- 17. 期待：/tmp/WgetScraper/gis.e- map.ne.jp/standard/13125010/ssactl.htm?GO.x=13&GO.y=2&X shopp jp/ / / y _ p _id=40000&X_cancel_url=http%3A%2F%2Fwww.sej.co.jp%2F 結果：/tmp/WgetScraper/gis.e-/ p/ g p /g map.ne.jp/standard/13125010/ssactl.htm?GO.x=13&GO.y=2&X_shop _id=40000&X_cancel_url=http:%2F%2Fwww.sej.co.jp%2F ↓ filename = filename+"?"+ URI.encode(filename filename ? URI.encode( URI.decode(uri_obj.query), /[^-_.!~*'()a-zA-Z?d;?:@&=+$,?[?]]/n) 微妙な違い