スクレイヒ?ンク?その朔
?
2 likes?4,553 views
スクレイピングにvするk燕 http://www.slideshare.net/hasegawatomoki/ss-37424274 のA､任后
![phpQuery こう聞う
? composer.jsonを匯伏卉けばComposerでインスト`ル辛嬬。
? jQueryぽく勣殆をxk。かなりのjQueryぽさ。倉。
? 仝<meta charset="utf-8">傚冱だけどgHはSJIS々仝]じタグoしやタ
グ秘れ徨は輝たり念々仝IDが嶷}してる々というエグいHTMLにして
畠悶をUTF-8にQしてあげればパ`スできた。
? SJISはNGぽい。
? クセのいき圭にTれれば聞い拱崛爾気修Α
!!](https://image.slidesharecdn.com/random-140728094334-phpapp02/85/-17-320.jpg)
スクレイヒ?ンク?その朔
- 2. 徭失B初 ? L紅寒崘錬 ? デジタルサ`カス幄 険砠LCTO ? 箸龍: Web_k, iOSアプリ_k ? その麿箸龍: レンタルカ`ト, 徨垢恬(mbed) ´ @tomzoh TOMZOH
- 3. デジタルサ`カス幄 ? Webサイト_kPHP, CakePHP, Drupal ? スマホアプリ_kiOS, Android) ? 徭芙サ`ビス http://appbuilder.jp
- 6. スクレイピングとは これを´ こうする array( (int) 0 => array( 'is-fba' => false, 'shipping' => (int) 257, 'price' => (int) 2001, 'condition' => '嶄', 'subcondition' => '辛', 'seller' => array( 'name' => 'lambdas', 'merchant-id' => 'A3VELMD24S0ERO' ), ),
- 8. 返B初 1. HTMLを函誼する ´ ?le_get_contents(), curl 2. HTMLを屁侘する ´ Tidy or not 3. HTMLをパ`スする ´ HTMLScraping 4. 秤鵑鯣，螻す ´ SimpleXMLオブジェクト
- 13. スクレイピングその朔
- 14. スクレイピングその朔 ? LT瘁のディスカッションや巷_したスライド への郡鬉箸靴討いつかライブラリ縮えて いた。 ? phpQuery ? Guzzle (Goutte) ? QueryPath ? WebDriver
- 15. phpQuery
- 16. phpQuery ? 仝phpQuery is a server-side, chainable, CSS3 selector driven Document Object Model (DOM) API based on jQuery JavaScript Library.々 ? DOM勣殆をjQueryLにxkするPHP喘ライブ ラリ。 https://code.google.com/p/phpquery/
- 17. phpQuery こう聞う ? composer.jsonを匯伏卉けばComposerでインスト`ル辛嬬。 ? jQueryぽく勣殆をxk。かなりのjQueryぽさ。倉。 ? 仝<meta charset="utf-8">傚冱だけどgHはSJIS々仝]じタグoしやタ グ秘れ徨は輝たり念々仝IDが嶷}してる々というエグいHTMLにして 畠悶をUTF-8にQしてあげればパ`スできた。 ? SJISはNGぽい。 ? クセのいき圭にTれれば聞い拱崛爾気修Α !!
- 18. QueryPath
- 19. QueryPath ? 仝QueryPath is a PHP library for manipulating HTML and XML. Think of it as jQuery for the server.々 ? HTMLやXMLをjQueryのにQうPHP喘ライブ ラリ。 http://querypath.org/
- 20. QueryPath こう聞うらしい ? インスト`ルはComposerでらくちん。 ? jQueryぽく勣殆をxk。 ? 念竃のエグいHTMLはライブラリ坪何でエラ`が竃てパ`スできなかった。 ? マンチェスタ`ユナイテッド晩云の栽晩殻ペ`ジ(*1)もパ`ス竃栖ず´。 ? <html><head><title>foo</title></head><body></body></html>みたいな のはパ`スできる。foo ★ タイトル でもパ`スできるけど晒ける ? 書指はあきらめた。 http://www.manutd.jp/FixturesAndResults/UnitedFixturesandResults.aspx*1
- 21. Guzzle (Goutte)
- 22. Guzzle (Goutte) ? 仝Guzzle is a PHP HTTP client that makes it easy to work with HTTP/1.1 and takes the pain out of consuming web services.々 ? あれHTTPクライアントライブラリ ? vBしてGoutteというのがつかった。 ? Symfony, Zend Framework のコンポネントを聞った ラッパライブラリ。Guzzleも聞ってる庁。 グ ` ト https://github.com/fabpot/goutte
- 23. Goutte こう聞う ? インスト`ルはComposerでらくちん。 ? XPathまたはCSSセレクタでノ`ドをxk辛嬬。どちらも聞えるの がポイント互。 ? eachにo兆v方を局すナウい湖じ。 ? 念竃のエグいHTMLでも念I尖oしにそのままパ`スできた。 ? 聞い拱崛爾気修Αこれを聞いzんでみようと房った。
- 24. WebDriver
- 25. WebDriver ? 仝PHP bindings for Selenium WebDriver 々 ? 鮫中燕幣のoいブラウザでWebペ`ジを燕幣 し、勣殆をxkしようというアプロ`チ。 ? ちゃちゃっと秘れてちゃっと咾すつもりでい たらY寄並だったので書指はあきらめた。 https://code.google.com/p/php-webdriver-bindings/ (php-webdriver-bindings)
- 26. まとめ ? スクレイピングライブラリ、いろいろある。 ? 鵑砲茲辰栃垢し屬韻襪帆爾い繁爾Α ? 繁議にはGoutteイチオシ。 ? Composerでかんたんインスト`ル ? HTMLへの業の互さ ? CSSセレクタ & XPathセレクタのI圭が聞える。 ? 秤鵑ださった峻ありがとうございます