狠狠撸

? Goalist Co.,Ltd. All rights reserved.
5億件以上の求人情報を蓄積する
汎用クローラエンジンのアーキテクチャと運用
株式会社ゴーリスト鈴木隆宏
2016/08/21 #crawler_ops

INDEX
1.自己紹介
2.会社紹介
3.クロール基盤概要
4.クロール基盤アーキテクチャ
5.クロール基盤運用
6.今後の課題
2

自己紹介
3

名前
- 鈴木隆宏（すーざん、すずたか、@_suzutt）
経歴
- 2016年6月にゴーリストに入社
- クローラ保守?運用
- Webサービス開発
- 以前はERPパッケージベンダーでパッケージ開発?保守
4

会社紹介
5

社名
株式会社ゴーリスト（Goalist Co.,Ltd）
住所東京都千代田区神田須田町1‐18 アーバンスクエア神田ビル2階
設立
2011年1月5日
資本金
1,000 万円
役員代表取締役 CEO 加藤龍
取締役 CTO 入倉康輔
取締役 COO 林慶宗
事業内容 Airbnb?民泊運用データ分析?提供サービス「BnBInsight」
求人マーケットの戦略立案に特化した3C分析サービス「3Chart」
アポイントの獲得支援に特化したテレアポ管理ツール「KeyTalk」
高精度営業リスト生成ツール「Listlus」
求人情報アラートサービス「Reagle」
HRに特化したデータベース&ニュースメディア「HRog」
6

クロールの目的は？
7

求人データ集計サービス
9

人材業界向けオウンドメディア
10

民泊データ分析
11

導入企業様(一部抜粋)
東京大学
100社を超える人材会社や、事業会社の採用担当者、研究機関にご利用いただいております。
12

取得サイト数
約150サイト
サービスを支える独自クロール基盤
取得総件数
5億件超
月間取得求人件数
2,000万件
稼働中サーバー台数
160台
マスタDB件数
900万件
最大取得項目数
50項目
13

サービスを支える独自クロール基盤

ここから本題
15

クロール基盤概要
16

クロール基盤開発の主要件
17

18

few people
19

クロール基盤開発の主要件
1. 最小限の開発?運用工数で多くの求人媒体に対応すること
2. エンジニア以外のメンバーでも運用可能であること
20

HOW?
21

サイトごとに異なるクロール?スクレイプ処理のルールを
設定により吸収する方式を採用
22

1つのエンジン（=ソースコード）
23

媒体ごとに設定ファイル
24

設定ファイルとEC2インスタンスの用意のみで
様々な求人サイトへ対応可能
EC2 instance
config files
25

プログラミング不要
エンジニアではないメンバーでも取得が可能
26

クロール基盤アーキテクチャ
27

EC2 instance contents
jar
scraped
files
Amazon S3
?
?
?
start
Amazon
RDS
job results
config files
28
scheduler

EC2 instance contents
jar
???
scraped
files
Amazon S3
?
?
?
scheduler
start
Amazon
RDS
job results
config files
29

Amazon S3
?
?
?
Amazon
Redshift
30
format & deliver

言語 Java(JSoup/WebDriver)
運用規模 150サイト/160EC2インスタンス
S3容量約8TB
AWS運用コスト約20万円/月
運用工数約20h/週
31

AWSを徹底利用
AWS
Lambda Amazon EC2
Amazon
S3
Amazon
CloudFront
Amazon
DynamoDB
Amazon
Redshift
Amazon API
Gateway
Amazon
RDS
32

クロール基盤運用
33

クロール設定ファイルについて
34

「検索結果ページ」と「詳細ページ」からなる
サイトのクロールに特化
35

検索結果ページ詳細ページ

設定する内容
1.ページングルール
2.詳細ページのURL取得ルール
37

ページングルール
38
https://www.google.co.jp/#q=goalist&page=1 https://www.google.co.jp/#q=goalist&page=2
1ページ目 2ページ目
※URLは架空です。

39
300 件（0.30 秒）
#resultStats
1ページあたり3件の
詳細ページURL

詳細ページのURL取得ルール
40
div.g > div:nth-child(1) > h3:nth-child(1)
> a:nth-child(1)

nextPagePreStr=&page=
nextPagePostStr=
searchResultCountSelector=#resultStats
searchResultCountPreStr=
searchResultCountPostStr=件
searchResultCountByPage=3
detailPageUrlSelector=div.g >div:nth-child(1) >
h3:nth-child(1) > a:nth-child(1)
41
詳細ページのURLルー
ル
設定ファイル例

サイト改変があった場合、設定ファイルのみ修正すればOK
42

非エンジニアでも運用可能
43

スクレイプについても同様 (`?ω?? )???
44

運用のポイント
45

運用コストの最小化
インスタンス起動と同時にクロール開始
取得が終わると自動で停止
46

サイト改変に素早く対応
ジョブ実行結果をChatWorkに随時通知
Amazon EC2
47

2ヶ月間、運用してみた感想
48

ノンプラグラミングでクロールできるため、
サイト改変対応が楽
49
◎

ある程度のWeb知識があれば、2,3週間くらいで、
ほぼ一人で運用できるようになる
50
◎

サイトによっては設定のみで
スクレイプするのは辛い
(繰り返し処理、条件分岐の設定も追加したい)
51
△

設定ファイル変更のたびに
インスタンスを起動するのが少し面倒
52
△

今後の課題
53

汎用化
データの高精度化
54

インフラ構成の汎用化
55

管理画面の追加
56

動的ページのクロール汎用化
57

より汎用的なサイト構造に対応するクローラエンジンへ
58

文字列処理（自然言語処理）の精度向上、機械学習の採用
59

次期バージョンのクローラ開発へ
より汎用的で、誰もが簡単に利用できる
クローラを作りたい...
60

新領域のビックデータサービスを
開発してくれるエンジニアを絶賛募集中です！
開発エンジニア絶賛募集中！
61

Thanks for your attention!
62

狠狠撸

5亿件以上の求人情报を蓄积する汎用クローラエンジンのアーキテクチャと运用

Recommended

More Related Content

What's hot (20)

Viewers also liked (20)

Similar to 5亿件以上の求人情报を蓄积する汎用クローラエンジンのアーキテクチャと运用 (20)

5亿件以上の求人情报を蓄积する汎用クローラエンジンのアーキテクチャと运用