搁耻产测によるクローラー开発
- 2. contents 1. クローラーの概要 2. webwebでの活用例 3. 実装で困ったこと 4. ブラウザタイプのクローラー
- 3. 1. クローラーの概要 クローラーとは？ - システムがwebページを自動巡回して情報を収集す るプログラム ex. googleの検索エンジン、マーケティング分析 関連ライブラリ - anemone, nokogiri, kconv, capybara, poltergeist, selenium-webdriver, etc...
- 5. example 今回は取得したいURLが http://media- radar.jp/detail****.html の形をしているので、該当部分 を正規表現で抜粋できる。 (ただし巡回の深さは depth_limit=>1としている) xpathやCSSセレクタで構文解 析しても良い。 ??? 取得したいURL => ④にあたる ??? skipしたいURL
- 6. 2. webwebでの活用例 webページのmetaタグ解析 - description, commentの取得 - 巡回しなくても取得できる場合はnokogiriが基本 コードリーディング！
- 7. example 1. scrapeメソッド - 指定したURLのHTMLをパース - xpathでmetaタグの構文解析 2. get_descriptionメソッド - meta name = “description”のcontent部分をゲッ ト！
- 8. 3. 実装で困ったこと - 文字化け(kconvでほぼ解決！) - xpath指定 - リダイレクト(open_uri_redirectionsで解決！) - proxy設定(大学でできないorz)
- 9. 4. ブラウザタイプのクローラー - anemoneはフォーム入力による画面遷移?対話処理 やJavaScriptの実行はサポートされていない！ - テスト自動化の分野でのブラウザを操作するライブ ラリを活用 => Capybara, Selenium