狠狠撸

Copyright(C)2014 Recruit Technologies Co.,Ltd All rights reserved
検索索基盤Qass ?
?高林林 ?貴仁/@tatakaba
16/01/12
?～ ?情報検索索の品質と『?見見る』検索索品質のハイブリッドエンジンの追求 ??～
ビックデータオールスターズ ? ?

Copyright(C)2014 ?Recruit ?Technologies ?Co.,Ltd ?All ?rights ?reserved
2
?自?己紹介
?高林林 ?貴仁 ?/ ?@tatakaba
2011 ??～ ?リクルート?入社
アプリケーションソリューショングループ
???検索索基盤
???Hadoop基盤
???DWHとCEP
???R&D
2004 ??～ ?2011 ?ヤフージャパン株式会社
???主に検索索システム担当
???web,地図,local検索索等
???WPO(Web ?Performance ?
Optimization)
プレミアムモルツ
?大好きです！

What?’s ?Qass??

4
What?’s ?Qass??
l?? ?elasticsearchを軸とした検索索基盤
l?? ?検索索をサポートする機能の提供(FE&BE)
ü?? ?サジェスト
ü?? ?スペラー
ü?? ?関連検索索
ü?? ?リライター
検索索品質、UXを担保する事で、
事業に貢献！！

5
Architecture
ビックデータ
を活?用した
フィードバッ
クシステム

6
ビックデータとQass
ログデータを活?用したデータ集計基盤
メトリクス/データ集計
indexing/ランキング/辞書

7
今?日のお話
検索索品質とランキング

情報検索索でいう検索索品質とは？

9
検索索とは
ユーザー求めるドキュメントを抽出
ドキュ
メント
ドキュ
メント
ドキュ
メント
全体のドキュメントから

10
極論論をいうと

11
「ユーザーの求めていたドキュメント」
のみを抽出する事が可能なら

12
最強の検索索エンジン

13
それは、無理理?～

14
結果のズレがある
ドキュメント全体
ユーザーが求めていた
ドキュメント
システムの検索索結果
CB A
実際には???
要求に答えられた部分
適合率率率再現率率率

15
情報検索索的にいうと
??ユーザーの本来求めていた情報が、
検索索結果に含まれていた割合A:再現率率率
??検索索結果の内、ユーザーが本来求め
ていた結果が含まれる割合B:適合率率率
??適合率率率と再現率率率の重み付き調和平
均F値

16
式で表現すると
適合率率率＝
「検索索結果のドキュメント」数
「ユーザーの要求とシステムの結果が?一致した部分」のドキュメント数
F値 ?＝
適合率率率
1
1
α +
再現率率率
1
(1 ?ー ?α)
備考：α ?= ?割合
再現率率率＝
「ユーザーの本来求めていたドキュメント」数
「ユーザーの要求とシステムの結果が?一致した部分」のドキュメント数

17
適合率率率と再現率率率
l??適合率率率を上げれば、再現率率率は下がる
ü?? ?結果を厳選すれば、適合率率率は上がるが、取りこぼ
しが多くなる為、再現率率率は下がる
l??再現率率率を上げれば、適合率率率は下がる
ü?? ?結果を多くすれば、再現率率率は上がるが、ノイズが
多くなる為、適合率率率は下がる
再現率率率と適合率率率は、システムでは
相反しあう傾向

18
品質を上げる施策
l??形態素辞書の拡充(新語、略略語、通称地名等)
l??クエリ展開(spark ?or ?(spark ? ?and ?apache))
再現率率率の向上施策
l??正規化(髙 ?=> ??高)
l??表記ゆれ(引っ越し、引越、引越し)
l??同義語?略略語(?木村拓拓哉 ?== ?キムタク)
適合率率率の向上施策

19
再現率率率と適合率率率の
バランス良良い?高さが重要
検索索品質とは

20
検索索品質が ?よければいいと
思ってた???。

21
検索索品質だけじゃない
『領領域』もある???。

22
?非公開
とあるサイトの禁書?目録

23
とあるサイトのABテスト結果
ほぼ、有意差なし???＼(^o^)／

24
リクルートの事業領領域
旅?行行
IT/トレンド
?生活/地域情報
グルメ?美容
ライフスタイル領領域ライフイベント領領域
進学
就職
結婚
転職
住宅宅購?入
?車車購?入
出産/育児

25
ライフスタイルとライブイベント違い
ショッピング、飲?食など、決断が軽い。
ある程度度の?目安(キーワード)がある
ライフスタイル
ライフイベント
結婚、住宅宅購?入など、決断が慎重
?色々な結果を?見見?比べたい

26
?人?生の中で、重要なイベントは、
簡単には決められない事が多い。
悩む???
就活
結婚式場どこ
にしよう。
bB買おうかな。
転職したい??
どんな家がい
いかな。

考えたり、悩んだり、后悔したくない！

28
ライフイベントにおける
新しい検索索体験

『?見見る』検索索品質とは？

30
欲しい(?見見たい)情報が離離散してる
ドキュメント全体
『?見見る』検索索とは
最終的に
決定する情報

31
何かに似てませんか？

32
32
情報誌

33
情報誌と?言えば???

34
「まだ、ここにない、出会い」 ?by ?リクルート

35
そこで、こんなアプローチ

36
l?? ?編集者のKKDをモデル化
ü?? ?KKD
ü?? ?情報の整理理
ü???人間味あるいい意味での偶発性
ü?? ?確信を持ったノイズ
雑誌で表現した
ノウハウを検索索に
施策
(勘、経験、度度胸)

37
編集者のモデル化
編集者A
商材：A-‐??>D
商材：D-‐??>F
編集者B
商材：A-‐??>C
商材：C-‐??>F
編集者C
商材 ?: ?A-‐??>B
商材 ?: ?B-‐??>C
感性をモデル化して、ランキングに反映

38
検索索の品質領領域
旅?行行
IT/トレンド
?生活/地域情報
グルメ?美容
ライフスタイル領領域ライフイベント領領域
進学
就職
結婚
転職
住宅宅購?入
?車車購?入
出産/育児
情報検索索の検索索品質「?見見る」検索索品質

検索索ランキングの精度度

40
検索索結果(上位i件)のランキング順が、
「ユーザー求めたランキング」と、
どの程度度差があるか？
基本的な考え?方
NDCG

41
スコアリング
現実(DCG) 理理想(IDCG)
l?? ?CTR、CVRなどをベースに理理想のランキングを?生成
ü?? ?求めてるドキュメントを上位に
ü?? ?求めてないドキュメントを下位に

42
NDCGとは
l?? ?現実(DCG）と理理想(IDCG)の差
l?? ?複数のクエリの平均が検索索システムの精度度
検索索結果は、関連性の?高い順に

43
Qassでのランキング例例
ランキングの作成に活?用
ü??複数の予測モデルを結合したスコア
l?? ?wは各モデルの重要度度
ü?? ?ジャンルごとの分布
l?? ?xは各モデルの結果 ?(DBの値から)
ü?? ?キーワードマッチ度度
ü?? ?予測モデル
ü?? ?ctrなどのスコア
質より量量！！

44
まとめ
l??情報検索索の品質
l??情報誌ならではのだら?見見の品質
l??最適なランキング
l???色々な要素を利利?用したスコア付け
品質とズレを掛けあわせたハイブリッド検索索

45
品質とズレを掛けあわせたハイブリッド検索索基盤
は、?目指しています！

46
現在、＠IT様のサイトで、
Qass基盤について連載中！
@it ?qass

最後に

48
ちょっとだけ、Sparkのお話

49
エンジニアの欲求
Sparkを利利?用した
集計基盤にリプレ
イスしてます。

50
リプレイス内容
l?? ?MapR1.2 ?=> ?MapR4.1へ
l?? ?Sparkを利利?用した機械学習
l?? ?バッチからリアルタイムへ
l??Spark-‐??steaming
l??Kafka
l??elasticsearch-‐??hadoop(storm&spark)
l?? ?Drillを利利?用したアドホック集計？
リクルートテクノロジーズでも、Sparkを活?用した
事例例が増えてきてます。

ご清聴ありがとうございました！
リクルートテクノロジーズ

狠狠撸

検索基盘蚕补蝉蝉

Recommended

More Related Content

What's hot (20)

Similar to 検索基盘蚕补蝉蝉 (20)

Recently uploaded (13)

検索基盘蚕补蝉蝉