スクレイヒ?ンク?のススメ
?
4 likes?5,088 views
スクレイピングの児云議な深え圭、PHPでg廾する栽のg廾箭、廣吭泣など。 瘁晩は參和。 http://www.slideshare.net/hasegawatomoki/ss-37424274
![2. HTMLを屁侘する
? 弊の嶄のHTMLは吭翌と屎しくない。
? ]じタグがoい、タグが秘れ徨になっている、XML蒙
歩猟忖のエスケ`プがされていない´
? そのままXMLとしてパ`スすることができない
? Tidy┘織ぅ妊で屁侘する。
? PHPでは淵汽櫞`ト。](https://image.slidesharecdn.com/random-140623214623-phpapp01/85/-15-320.jpg)
![4.秤鵑鯣，螻す
// Xpathを聞って塘双を函誼
$items = $xml->xpath('//div[@class="a-row a-spacing-mini olpO?er"]');
// 塘双をル`プしてI尖する
$items = array();
foreach ($items as $item){
$price_xml = $item->xpath('//span[contains(@class, olpO?erPrice")]');
$price = intval(str_replace(',', '', $price_xml[0]));
$condition_xml = $item->xpath('//h3[contains(@class, "olpCondition")]');
$condition = trim((string)$condition_xml[0]);
:
$items[] = array( price => $price, condition => $condition, ´);
}](https://image.slidesharecdn.com/random-140623214623-phpapp01/85/-20-320.jpg)
スクレイヒ?ンク?のススメ
- 2. 徭失B初 ? L紅寒崘錬 ? デジタルサ`カス幄塀氏芙 険砠LCTO ? iOSアプリ/Web_k ? その麿箸龍: カ`ト, 徨垢恬´ @tomzoh facebook.com/ hasegawa.tomoki
- 3. デジタルサ`カス幄 ? Webサイト_kPHP, CakePHP, Drupal ? スマホアプリ_kiOS / Android) T勅鹿嶄 ? WE WANT YOU
- 4. 書晩のテ`マ ? スクレイピング (scraping) ? HTMLからデ`タをiき竃す ? 碧エンジン、OGP (Open Graph Protocol)、 Twitter Cards、まとめサイト ´
- 5. scrape ‐徭咫 1. ＿耕い麗にヽこする、すれる 2. ＿こすってヽキ`キ`と咄を羨てる 3. ＿繁がヽsして頂らす 4. 仭うじてやり宥す朿匹桂譴欧襭 ‐麿咫 1. ＿゛の燕中をヽゴシゴシこする＃゛をきれいにするために佩うもの。 2. ＿燕中のヽ゛をこすり鯛とす枷，襭檗耕い麗をゴシゴシとこすり 原けて。 3. ＿耕い麗にこすってヽ゛を価りむくつける 4. ＿耕い麗にヽ゛をこすり原ける曚海垢辰謄`キ`と咄を羨てる 5. ＿逗困靴董魁をかき鹿める曚き篠せる 6. ゞコ〃＿デ`タなどをヽ函誼Ъ櫃垢襦蒙にeのプログラムの 竃薦から、云栖とはなる喘余?侘塀などでデ`タを渇竃すること。 竃婢: SPACE ALC http://www.alc.co.jp
- 6. 旋喘箭 これを´ こうする array( (int) 0 => array( 'is-fba' => false, 'shipping' => (int) 257, 'price' => (int) 2001, 'condition' => '嶄', 'subcondition' => '辛', 'seller' => array( 'name' => 'lambdas', 'merchant-id' => 'A3VELMD24S0ERO' ), ),
- 7. HTML
- 8. スクレイピングの児云圭 ? 猟忖双としてI尖する ? HTML猟忖双から屎ｱ蹶Fで猟忖双としてデ`タ を函り竃す 猟忖双I尖 XMLI尖 ? XMLとしてI尖する ? HTML猟忖双をXMLとしてパ`スしてDOMツ リ`としてデ`タを函り竃す
- 9. どちらの圭がベスト 猟忖双I尖 ? ちょっとした秤鵑鯣ゝ辰垢襪覆蕕返X。 ? 猟忖双I尖だけで頼阻。PHPの誼吭I囃。 ? }jな夛の秤鵑鯣ゝ辰垢襪覆XMLが宴旋。 ? 猟忖双I尖ではしんどいHTMLidやclassが原い ていないとか´。でも函誼辛嬬。 XMLI尖 どちらがベストかはケ`スバイケ`ス
- 10. 児云圭 ? 猟忖双としてI尖する ? HTML猟忖双から屎ｱ蹶Fで猟忖双としてデ`タ を函り竃す 猟忖双I尖 XMLI尖 ? XMLとしてI尖する ? HTML猟忖双をXMLとしてパ`スしてDOMツ リ`としてデ`タを函り竃す 書晩はこっちのお
- 11. g廾箭
- 12. 返 1. HTMLを函誼する 2. HTMLを屁侘する 3. HTMLをパ`スする 4. 秤鵑鯣，螻す
- 13. 1. HTMLを函誼する ? 猟忖双としてHTMLを函誼する。 ? ?le_get_contents(｀http://´'); で措い。 ? CookieやUserAgentO協をしたい栽は curl を聞おう。
- 14. 1. HTMLを函誼する // HTMLを函誼 $contents = ?le_get_contents('http://www.amazon.co.jp/gp/ o?er-listing/4873111870');
- 15. 2. HTMLを屁侘する ? 弊の嶄のHTMLは吭翌と屎しくない。 ? ]じタグがoい、タグが秘れ徨になっている、XML蒙 歩猟忖のエスケ`プがされていない´ ? そのままXMLとしてパ`スすることができない ? Tidy┘織ぅ妊で屁侘する。 ? PHPでは淵汽櫞`ト。
- 16. 2.HTMLを屁侘する // Tidy Option $con?g = array(); // Tidyオブジェクト恬撹 $tidy = tidy_parse_string($contents, $con?g, 'shiftjis'); // 屁侘g佩 $tidy->cleanRepair(); // 屁侘gHTMLを函誼 $contents = (string)$tidy;
- 17. 3. HTMLをパ`スする ? HTMLをXMLとしてパ`スする。 ? 圭隈はいろいろ。 ? PHP ´ simplexml_load_?le() ? HTMLScraping ´ 猟忖コ`ドの峺協が竃栖たりして宴旋。 ? Diggin_Scraper などなどその麿たくさんのxk岔 ? 噫: TidyオブジェクトのままでもNodeを恠砲垢譴丱禰`タの函 誼は辛嬬。 書晩はこれ。
- 18. 3.HTMLをパ`スする // スクレイピングオブジェクト兜豚晒 $s = new HTMLScraping('/tmp'); // XMLパ`スする $data = array( 'body' => $contents, 'headers' => array('content-type' => 'text/html; charset=Shift_JIS',), 'code' => 200, ); try { $xml = $s->getXmlObjectFromContents($data); } catch (Exception $e){ // エラ`I尖 }
- 19. 4. 秤鵑鯣，螻す ? simplexml_load_?le()やHTMLScrapingはPHP のSimpleXMLオブジェクトを卦す。 ? SimpleXMLのメソッドを聞って秤鵑鯣，螻 す。 ? xpathが宴旋。
- 20. 4.秤鵑鯣，螻す // Xpathを聞って塘双を函誼 $items = $xml->xpath('//div[@class="a-row a-spacing-mini olpO?er"]'); // 塘双をル`プしてI尖する $items = array(); foreach ($items as $item){ $price_xml = $item->xpath('//span[contains(@class, olpO?erPrice")]'); $price = intval(str_replace(',', '', $price_xml[0])); $condition_xml = $item->xpath('//h3[contains(@class, "olpCondition")]'); $condition = trim((string)$condition_xml[0]); : $items[] = array( price => $price, condition => $condition, ´); }
- 21. まとめ ? スクレイピング、yしくはない。 ? トライ & エラ`議なところはある。 ? Webシステムが竃栖ることがすごくﾚがる。 ? 室g議xk岔として隔っておいても措い。 ? ただしHTML筝に樋いのでxkは風嶷に。
- 22. 廣吭泣 ? 駅ずしもTidyをかけるのが措いとは泙蕕覆 ? HTMLにして念I尖するのも措い ? <head>゛</head>坪をあらかじめ茅してからTidy / パ`スするとか´ ? 鵑離汽ぅ箸寮喘ｼsに廣吭。 ? 鵑離汽ぅ箸殆塞をかけないに。歌深: 鍋^並周