CROSS 2015 全文検索群雄割拠
?Download as PPTX, PDF?
16 likes?4,586 views
2015.1.29 CROSS 2015 @大さん橋ホール
CROSS 2015 全文検索群雄割拠
- 4. 本セッションの狙い
- 5. 例えば5, 6年前…
- 6. 「全文検索を使い队！」
- 8. 现在
- 10. （ ?ω?）???!?
- 12. はっきりさせようぜ！！
- 14. ? Elasticsearch ? Elasticsearch 大谷さん ? Apache Solr ? クックパッド 兼山さん ? Amazon CloudSearch ? ChatWork 藤原さん ? Groonga(Mroonga,Rroonga,Nroonga) ? クリアコード 須藤さん
- 16. これでスッキリ！ …するかも
- 21. Copyright Elasticsearch 2014.Copying,publishing and/or distributing without written permission is strictly prohibited Jun Ohtani ? Me, Jun Ohtani / Technical Adovocate lucene-gosenコ ミ ッ タ ー ElasticSearch Server日本語版の翻訳 elasticsearch-extended-analysisの開発 http://blog.johtani.info 好き な飲み物： プレ ミ アムモルツ ? Elasticsearch, founded in 2012 Products: Elasticsearch, Logstash, Kibana, Marvel, Shield Professional services: Support & development subscriptions
- 22. cookpad 兼山元太 日々の仕事： ? 検索の満足度を上げる ? 検索のバッ ク エンド の開発 ? 辞書の作成/管理 ? レシピのメ タ データ の作成/管理 ? 他チームの検索関連のお手伝い 夢は世界中で使われる道具を作るこ と
- 25. やまかつ (@yamakatu) ? 本名は秘密（うそ ? ヤフー株式会社 ヤフオクカンパニー ? 検索、統計、機械学習しつつ、メイン は育児 ? ぶっちゃけ、Groonga族とCloudSearch はまともに使ったことない（キリ
- 28. 全文検索エンジン is 何？
- 29. 1.全文検索機能 2.周辺機能
- 30. 1.全文検索機能← 2.周辺機能
- 31. 全文検索機能の おさらい
- 33. How?
- 35. Why 転置インデックス?
- 38. RDBでインデックスを 貼らずに Select (略) where id = 4 1 4 9 10 11 12 13 15 16 20 25 full scan(ex. 11 times) ぜんぶで11件
- 39. B+Tree (ex. 4 times) B+Treeでインデクシング Select (略) where id = 4
- 40. 4 times < 11 times データ量が増加すると、 差は指数的に増加
- 41. B+Tree? 速い? 最高?
- 43. Why?
- 44. 「くろす」で 全文検索したい場合 Select 略 where text like “%くろす%”
- 45. 「くろす」で 全文検索したい場合 Select 略 where text like “%くろす%” つまり部分一致
- 47. そこで 転置インデックス
- 48. 転置インデックス（簡略） 文書番号 文書 1 今年のCROSSは横浜 2 横浜行くの久しぶり 3 とりあえずモルツ もと文書
- 49. 転置インデックス（簡略） 文書番号 文書 1 今年のCROSSは横浜 2 横浜行くの久しぶり 3 とりあえずモルツ 単語 出現文書 横浜 1, 2 の 1, 2 CROSS 1 … … もと文書 転置 インデックス
- 50. 転置インデックス（簡略） 文書番号 文書 1 今年のCROSSは横浜 2 横浜行くの久しぶり 3 とりあえずモルツ 単語 出現文書 横浜 1, 2 の 1, 2 CROSS 1 … … もと文書 転置 インデックス 「CROSS」で検索
- 51. 転置インデックス（簡略） 文書番号 文書 1 今年のCROSSは横浜 2 横浜行くの久しぶり 3 とりあえずモルツ 単語 出現文書 横浜 1, 2 の 1, 2 CROSS 1 … … もと文書 転置 インデックス 「CROSS」で検索
- 52. 転置インデックス（簡略） 文書番号 文書 1 今年のCROSSは横浜 2 横浜行くの久しぶり 3 とりあえずモルツ 単語 出現文書 横浜 1, 2 の 1, 2 CROSS 1 … … もと文書 転置 インデックス 「CROSS」で検索 出現文書：１
- 54. 補足 1. 最近はRDBでも転置インデック スが実装されてます MySQL(innoDB, MyISAM)： FullTextSearch PostgreSQL： GIST Index, GIN Index Oracle：Oracle Text
- 55. 補足 2. B+treeでも 前方一致検であれば有効 select 略 where text like “くろす%”
- 56. 1.全文検索 2.周辺機能←
- 57. 周辺機能のおさらい ? ハイライト ? スニペット ? ソート ? ページング ? サジェスト ? もしかして ? 絞込（カテゴリ） ? シャーディング ? レプリケーション
- 58. 周辺機能のおさらい ? ハイライト ? スニペット ? ソート ? ページング ? サジェスト ? もしかして ? 絞込（カテゴリ） ? シャーディング ? レプリケーション
- 59. 周辺機能のおさらい ? ハイライト ? スニペット ? ソート ? ページング ? サジェスト ? もしかして ? 絞込（カテゴリ） ? シャーディング ? レプリケーション
- 60. 周辺機能のおさらい ? ハイライト ? スニペット ? ソート ? ページング ? サジェスト ? もしかして ? 絞込（カテゴリ） ? シャーディング ? レプリケーション
- 61. 周辺機能のおさらい ? ハイライト ? スニペット ? ソート ? ページング ? サジェスト ? もしかして ? 絞込（カテゴリ） ? シャーディング ? レプリケーション
- 62. 周辺機能のおさらい ? ハイライト ? スニペット ? ソート ? ページング ? サジェスト ? もしかして ? 絞込（カテゴリ） ? シャーディング ? レプリケーション
- 63. 周辺機能のおさらい ? ハイライト ? スニペット ? ソート ? ページング ? サジェスト ? もしかして ? 絞込（カテゴリ） ? シャーディング ? レプリケーション
- 64. 周辺機能のおさらい ? ハイライト ? スニペット ? ソート ? ページング ? サジェスト ? もしかして ? 絞込（カテゴリ） ? シャーディング ? レプリケーション
- 65. ? ハイライト ? スニペット ? ソート ? ページング ? サジェスト ? もしかして ? 絞込（カテゴリ） ? シャーディング ? レプリケーション 周辺機能のおさらい ノード1 シャード1台
- 66. ? ハイライト ? スニペット ? ソート ? ページング ? サジェスト ? もしかして ? 絞込（カテゴリ） ? シャーディング ? レプリケーション 周辺機能のおさらい ノード1 シャード1台 ノード2 シャード2 2台 ノード1 シャード1 検索クエリへの応答速度向上 インデクシングの高速化
- 67. 周辺機能のおさらい ? ハイライト ? スニペット ? ソート ? ページング ? サジェスト ? もしかして ? 絞込（カテゴリ） ? シャーディング ? レプリケーション ノード1 シャード1台
- 68. 周辺機能のおさらい ? ハイライト ? スニペット ? ソート ? ページング ? サジェスト ? もしかして ? 絞込（カテゴリ） ? シャーディング ? レプリケーション ノード1 シャード1台 ノード2 (slave) 2台 ノード1 (master) 検索負荷の分散 シャードシャード
- 69. 1.全文検索 2.周辺機能
- 71. ? Elasticsearch ? Elasticsearch 大谷さん ? Apache Solr ? クックパッド 兼山さん ? Amazon CloudSearch ? ChatWork 藤原さん ? Groonga(Mroonga,Rroonga,Nroonga) ? クリアコード 須藤さん
- 72. 大事なことなので 2回言います