饮食店サイトのスクレイピング
- 6. 目次 ? どんなことをしているか ? 情報のパース ? サイトの巡回 ? キャッシュについて ? 困ったサイトへの対応 ? スケジューラについて ? 法的な側面について
- 7. あさーく行きます ? どんなことをしているか ? 情報のパース ? サイトの巡回 ? キャッシュについて ? 困ったサイトへの対応 ? スケジューラについて ? 法的な側面について
- 8. 目次 ? どんなことをしているか ? 情報のパース ? サイトの巡回 ? キャッシュについて ? 困ったサイトへの対応 ? スケジューラについて ? 法的な側面について
- 10. 情报提供フォーム
- 12. このくらいが限界
- 13. このために必要なもの
- 14. スクレイピング
- 15. デモ
- 16. デモ
- 17. 目的はたくさん ? 店舗登録のためのスクレイピング ? 新店舗を見つけるためのスクレイピング ? 情報を更新するため ? etc
- 18. 目次 ? どんなことをしているか ? 情報のパース ? サイトの巡回 ? キャッシュについて ? 困ったサイトへの対応 ? スケジューラについて ? 法的な側面について
- 20. 店名を取ってみる require 'hpricot' require 'open-uri' url = 'http://www.mcdonalds…map.php?strcode=01570' page = Hpricot( open(url).read );nil page.search(".Shopname h3").inner_text
- 23. 目次 ? どんなことをしているか ? 情報のパース ? サイトの巡回 ? キャッシュについて ? 困ったサイトへの対応 ? スケジューラについて ? 法的な側面について
- 27. ほとんどのサイトで使える
- 28. 目次 ? どんなことをしているか ? サイトの巡回 ? 情報のパース ? キャッシュについて ? 困ったサイトへの対応 ? スケジューラについて ? 法的な側面について
- 29. よくあるスクレイピング
- 32. キャッシュが必要！
- 33. こういうものがほしい
- 35. 目次 ? どんなことをしているか ? 情報のパース ? サイトの巡回 ? キャッシュについて ? 困ったサイトへの対応 ? スケジューラについて ? 法的な側面について
- 36. 昔あった事例
- 37. 昔あった事例
- 39. 目次 ? どんなことをしているか ? 情報のパース ? サイトの巡回 ? キャッシュについて ? 困ったサイトへの対応 ? スケジューラについて ? 法的な側面について
- 41. jenkins
- 42. 今後の課題 ? 重い ? スクレイピングよりスケジューラのほうが重い ? 低価格サーバには厳しい>< ? もっとクレバーにやってほしい ? 何時にやるかは重要でない ? １つタスクが終わったら次を実行 ? 優先度別にタスクを実施 ? 月に一回してほしいタスク ? ヒマな時でよいタスク
- 43. 目次 ? どんなことをしているか ? サイトの巡回 ? 情報のパース ? キャッシュについて ? 困ったサイトへの対応 ? スケジューラについて ? 法的な側面について
- 44. よくある话题
- 45. モバイラーズオアシスの対策 ? 昼間：5秒に1ページ ? 夜間：1秒に1ページ ? 同じページは一ヶ月に一回しかア クセスしない
- 49. モバイラーズオアシスの解釈 ? 「事実」は著作物じゃない ? 「文章」は著作物かもしれない ? 例）スターバックス茅場町の電話番号が03-xxxx-xxxx ? →単なる事実 ? 例）スターバックス茅場町にはお客様用コンセントあり ? →単なる事実 ? 例）「茅場町のスタバのカウンタには8個のコンセントが 用意されていました。コーヒー美味しかったです」 ? →著作物...？
- 51. モバイラーズオアシスの方針 ?店名とか営業時間を公式サイトから持ってくることは問題ない (サイトを落としたりしちゃ駄目) ?ブログとかで「 ? ? で電源使えました」て書いてあった →電源が使えたという事実に著作権はないので、 ありがたく引用させていただく ?競合の電源情報サイト →まるごと引っこ抜くと、「データベースは著作物」理論に引っ かかるかもしれない。 →個別のお店の情報ソースとして見るぶんには問題ない(だろう)
- 52. モバイラーズオアシスの方針 ? ぼくは法律の専門家じゃないし、しょぼい会社なので顧問弁護 士とか付けてません。 ? 法的内容についてはぼくが勉強した解釈にすぎないので、 ご 自身の問題については法律関連の専門家にご相談ください。 ? 交通ルールを守っても車はつっこんでくるのと同様、法律がい いと言っても訴えられる可能性は常にありえます
- 53. ありがとうございました おわり
- 54. ありがとうございました ? どんなことをしているか ? サイトの巡回 ? 情報のパース ? キャッシュについて ? 困ったサイトへの対応 ? スケジューラについて ? 法的な側面について