狠狠撸

BTC主催技术勉强会（厂辞濒谤入门编）
技术勉强会（厂辞濒谤入门编）
株式会社ビッグツリーテクノロジー＆コンサルティング
SI事業部
高安厚思
1Copyright (C) 2015 Atsushi Takayasu All Rights Reserved.

1 2 3 4 5アジェンダ
▌自己紹介
▌1 全文検索とは
▌2 Apache Solrとは（30分クッキング）
▌3 Apache Solrの中身
▌4 Apache Solrを利用するためのプログラム（Java編）
▌5 Apache Solr利用時のポイント

1 2 3 4 5自己紹介
高安厚思
▌ 活動領域?キーワード
▌ ２０年にわたり、ソフトウエアエンジニアリングを適用した
システム開発やコンサルティングに携わる。
▌ 最新技術を適切に利用した、柔軟なシステム構成の構築、
品質管理を中心として技術マネージメントなどを主要テーマとして活動。
▌ 開発方法論、アーキテクチャ設計コンサルティング、システム全体設計を
得意分野とする。
▌ 東京電機大学非常勤講師、SQuBOK設計開発領域検討委員、
ITSS-DS検討委員
▌資格
▌ ネットワークスペシャリスト
▌ アプリケーションエンジニア（現システムアーキテクト）
▌ プロジェクトマネージャ
▌ ITストラテジスト
▌ 情報セキュリティスペシャリスト
▌ MCSE
▌ MCSD

1 2 3 4 5対外活動
?最近の著書、訳書
▌ 「システム設計の謎を解く（ソフトバンク）」
▌ 「StrutsによるWebアプリケーションスーパーサンプル（ソフトバンク）」
▌ 「Seasar入門[（ソフトバンク）」
▌ 「Javaルールブック（エクスメディア）
▌ 「ITアーキテクトのためのシステム設計実践ガイドアーキテクチャ編（日経
BP）」など。
?連載記事執筆
▌ 日経SYSTEMS誌「Webアーキテクチャ再入門」
?講演
▌ SODEC ミッションクリティカル開発
▌ 日本テクノセンターセミナー講師
▌ UML Forum講師
▌ 日経BP社 ITアーキテクトのためのシステム設計フォーラム特別講演講師
▌ Developers Summit 2013 Summer
▌ QCon 2014
▌ ITpro Active製品選択支援セミナー

1 2 3 4 5Solrに関する事例
▌Solrは2012年から案件で利用
5
マルチメディアコンテンツ販売会社向け
コンテンツの検索に利用
特徴として、複数単語による状況によるスコア操作
設定されているフィールドに対する順位付けの後、ページ内で並
べ替えをおこなう
公共図書館における書誌の検索
特徴として、複数単語による状況によるスコア操作
Hadoopによるインデックス作成
Copyright (C) 2015 Atsushi Takayasu All Rights Reserved.

1 全文検索とは

1 2 3 4 5全文検索とは
▌単語を検索キーとして、対象の文書を見つけ出す操作
▌DBでも単語をまとめたテーブルに対してLike検索をすることで
実現可能？
単語数が増えた場合の性能の問題
（前方一致ならインデックスが使われる場合あり）
DBMSに格納する処理、検索する処理を
アプリケーションで書く必要がある。
単語にはゆれがある
（スペースの有り無し、全角半角、変化など）
そのため、DBMSより専用の検索エンジンミドルウェアを利用すべき。
（OracleText、Groongaなどもその対象）

1 2 3 4 5転置インデックス
▌高速に検索するために、単語と文書IDを結びつけるインデックスを利
用する。このインデックスを「転置インデックス」と呼ぶ
単語文書ID
Solr 1,2,4
検索エンジン 2,6
Google 2,8
Yahoo 2,9
天気 12,13
転置インデックスによって高速な検索を実現している。
一方で、単語の切り出し方が重要となる。

1 2 3 4 5検索の精度
▌単語を入力して検索した場合に検索される文書に対して、適切かどう
かという意味で精度が重要となる
正解集合検索結果
重なりあったところが
正しい検索結果の一部
本来検索されないと
いけないが検索結果
に含まれない
検索されてはいけな
い内容が検索された
（＝ノイズ）
この2つの集合（円）が一致することが理想だが、難しい。
トレードオフになることが多いため、この2つのどちらを優先するかが重要

1 2 3 4 5再現率と適合率
▌前頁の内容は学問的に研究されており、検索の精度を表す指標として、
「再現率」と「適合率」がある
検索結果に含まれた正解集合（個数）
再現率＝
正解集合全体（個数）
検索結果に含まれた正解集合（個数）
適合率=
検索結果全体（個数）
前頁と同様に再現率と適合率はトレードオフになることが多いため、
この2つのどちらを優先するかが重要

1 2 3 4 5日本語の取り扱い
▌日本語の検索は単語の区切りが明確ではなく、転置インデックスを作
成しにくい
▌単語の区切りによって、適合率?再現率が変わるためどのようにする
かが検索精度を決定する
形態素解析
辞書をもとに単語を分類し、単語を分割する
（例東京都?東京、都）
Ngram
意味を意識せずに文字で分割する。
（Nの文字のパターンで作る）
（例東京都?東京、京都）

1 2 3 4 5言葉のゆれへの対応
▌自然言語を取り扱うため、表現の揺れを意識しないと
再現率が低くなる
▌標準的な表現を決めて、インデックスに格納する
▌インデックス作成、検索時に標準的な表現に変換して利用する
? 旧字対応
? 音便対応
? 半角?全角
? 大文字?小文字
? かな?カタカナ
? 漢字（読み仮名）?送り仮名
? 略語
? 動詞変化
? 単数?複数
? 検索対象外（助詞等）

2 Apache Solrとは（30分クッキング）

1 2 3 4 5
Apache Solrの特徴
Apache Solrとは
▌ApacheのLucenceのサブプロジェクト
▌現状のバージョンは5.2.1
▌Full Javaで実装されており、Webコンテナで動作する
▌HTTPによるリクエストを実現しており、各言語から利用可能
▌容易に導入できる割にスケールしやすい

1 2 3 4 5
ファセットによる絞り込み
▌検索対象の情報に対して、グループ化して検索条件を絞り込む方法を
「ファセット」と呼ぶ
▌Solrにおいて、ファセットを利用した絞り込みは重要な役割を持つ
Solrでは、
? フィールドの値
? 条件クエリー
? 範囲（数値、日付）
等を元に絞り込みの値及び対象件数を取得できる

1 2 3 4 5
スコアリング
▌検索結果はLuceneが持つスコアリングロジックによってスコア化され
た結果順に結果が戻される
（sortオプションを使うと別の結果となる）
▌スコアリングは、TF-IDFに基づいて計算される
▌このスコアリングロジックに一部カスタマイズをすることが可能
TF（Term Frequency）
出現頻度を表す指標。「多くでてくる単語がその文書の特性を表
している」という考え方に基づく。
= 対象となる単語の出現回数/文書におけるすべての単語数
IDF（Inverse Document Frequency）
単語が共通で利用されていないかを表す指標。「共通ででてくる
単語は文書の特性を表していない」という考え方に基づく。
= log（(全文書数/単語が含まれている文書数)) + 1

1 2 3 4 5
検索単位と分散検索
▌検索をおこなうスキーマは一つしかもてないが、一つのサーバに対し
て、複数の検索集合を作ることができる
▌この検索集合の単位をコアと呼ぶ
▌複数の検索集合を取り扱うサーバ構成をマルチコアと呼ぶ
▌同一のスキーマであれば複数コアに対して検索することが可能
（分散検索）
▌同時アクセス数に対応するために、同一のインデックスをリプリケー
ションできる

Apache Solr30分間クッキング
Copyright (C) 2015 Atsushi Takayasu All Rights Reserved. 18

1 2 3 4 5導入
▌ダウンロードして、起動するまで
1. http://ftp.riken.jp/net/apache/lucene/solr/4.10.3/から
solr-4.10.3.zip をダウンロードする
2. 何らかのツールで解凍する
3. 以下のコマンドを用いて、起動する
cd example
java -jar start.jar

1 2 3 4 5管理コンソールの利用方法
▌管理コンソールにアクセスする
http://localhost:8983/solr/ にブラウザでアクセスする。

1 2 3 4 5デフォルトの動作とデモ環境
▌先ほどのコマンド実行ではデフォルトの動作
SOLRHOMEはsolrディレクトリとなる。
cd example
java -Dsolr.solr.home=multicore -jar start.jar
デモでは、2つのコアを利用するため、マルチコアを
利用する。
SOLRHOMEはmulticoreディレクトリとなる。

1 2 3 4 5一つ目のデモ
▌Wikipediaからタイトルを取得（ MediaWiki API）
▌タイトルから記事本文とカテゴリを取得
▌Solrインデックスを作成
タイトル
クローラ
Wikipedia
記事
クローラ
タイトル
ファイル
index
この方法は時間がかかるので、あらかじめ作成してある
インデックスを利用します。

1 2 3 4 5管理コンソールのデモ
▌対象のフォルダをコピーする（conf/dataともに）
▌Solrを再起動する
▌管理コンソールを起動してwikiがあることを確認する
▌Queryの例
▌Schema Browser
▌Analysis (形態素とNgramの違い）

1 2 3 4 5二つ目のデモ
▌空間検索を利用するデモ
▌駅データ.jp(http://www.ekidata.jp/)のデータを加工して、
CSVを作成
▌実際にインデックシングもデモします。
※ 空間検索にはJTS Topology Suiteが必要となるためダウンロードし、
example/lib/extにjts-1.13.jar、jtsio-1.13.jar
をコピーする必要があります。

1 2 3 4 5インデックシング
▌station用の設定ファイルなどを配置し、Solrを再起動する
（この状態ではデータは空）
▌管理コンソールから、対象のコアであるstationを選択する
▌DocumentTypeをCSVとする
▌DocumentsにCopy&Pasteする
▌Submit Documentボタンを押す

3 Apache Solrの中身

1 2 3 4 5Apache Solr アーキテクチャ
▌Apache Solrのアーキテクチャは以下の通り
インタフェース層
SolrCore
searchHandler updateHandler
index
レスポンスライタ
solr-config.xml
schema.xml
リクエストレスポンス
Apache Solr入門 p017 より引用?加工
クエリーパーサ

1 2 3 4 5クエリーパーサ
▌検索式を解釈するパーサ
▌パーサは3種類ある
▌デフォルトはLuceneパーサ
▌ DisMaxパーサ
▌ EDisMaxパーサ
▌パラメータdefTypeで指定できる
▌検索式の指定の仕方を選択できる

1 2 3 4 5SearchHandler
▌デフォルトでも設定されており、検索(select)?更新(update)などが
ある。
▌カスタマイズすることができる（solr-config.xmlにて設定）
<requestHandler name="/query" class="solr.SearchHandler">
パラメータ指定
</requestHandler>
例
サーチコンポーネント
<searchComponent name="query" class="solr.QueryComponent" />
<searchComponent name="facet" class="solr.FacetComponent" />
<searchComponent name="mlt" class="solr.MoreLikeThisComponent" />
<searchComponent name="highlight" class="solr.HighlightComponent" />
<searchComponent name="stats" class="solr.StatsComponent" />
<searchComponent name="debug" class="solr.DebugComponent" />

1 2 3 4 5設定ファイル
▌Solrコアの設定ファイルは2つ
▌ solr-config.xml
▌ schema.xml
solr-config.xml
? Solrコアの設定ファイル
? サンプルからコピーすると動作する
? キャッシュの設定やリクエストハンドラの設定などを
変更したい場合に本ファイルを変更する
schema.xml
? 検索対象の情報をどのように格納するかを定義する設定ファイル
? Create table文のようなもの
? 型定義や変換処理を定義できる

1 2 3 4 5デモのスキーマファイル（wiki）
<field name="id" type="string" indexed="true" stored="true" required="true" multiValued="false" />
<field name="title" type="text_ja" indexed="true" stored="true"/>
<field name="description" type="text_ja_html" indexed="true" stored="true"/>
<field name="category" type="string" indexed="true" stored="true" multiValued="true"/>
<uniqueKey>id</uniqueKey>
～中略
<fieldType name="text_ja" class="solr.TextField" positionIncrementGap="100" autoGeneratePhraseQueries="false">
<analyzer>
<tokenizer class="solr.JapaneseTokenizerFactory" mode="search"/>
<filter class="solr.JapaneseBaseFormFilterFactory"/>
<filter class="solr.JapanesePartOfSpeechStopFilterFactory" tags="lang/stoptags_ja.txt" />
<filter class="solr.CJKWidthFilterFactory"/>
<filter class="solr.StopFilterFactory" ignoreCase="true" words="lang/stopwords_ja.txt" />
<filter class="solr.JapaneseKatakanaStemFilterFactory" minimumLength="4"/>
<filter class="solr.LowerCaseFilterFactory"/>
</analyzer>
</fieldType>
<fieldType name="text_ja_html" class="solr.TextField" positionIncrementGap="100" autoGeneratePhraseQueries="false">
<analyzer>
<charFilter class="solr.HTMLStripCharFilterFactory"/>
～以下略

1 2 3 4 5デモのスキーマファイル（station）
<field name="station_cd" type="string" indexed="true" stored="true" multiValued="false" required="true"/>
<field name="station_g_cd" type="string" indexed="true" stored="true" multiValued="false" />
<field name="station_name" type="text_ja" indexed="true" stored="true" multiValued="false" />
<field name="line_cd" type="string" indexed="true" stored="true" multiValued="false" />
<field name="pref_cd" type="string" indexed="true" stored="true" multiValued="false" />
<field name="post" type="string" indexed="true" stored="true" multiValued="false" />
<field name="add" type="text_ja" indexed="true" stored="true" multiValued="false" />
<field name="point" type="location_rpt" indexed="true" stored="true" multiValued="false" />
～中略
<fieldType name="location_rpt" class="solr.SpatialRecursivePrefixTreeFieldType"
spatialContextFactory="com.spatial4j.core.context.jts.JtsSpatialContextFactory"
distErrPct="0.025"
maxDistErr="0.000009"
units="degrees" />
～以下略

1 2 3 4 5変換処理
▌再現率を高めるために、インデックス作成時及び検索時に変換をおこ
なう。
検索文字列
複数単語
CharFilter Tokenizer TokenFilter
検索文字列
複数単語単語単位
文字単位で
変換する
単語に
区切る
単語単位で
変換する
? MappingCharFilter
? HTMLStripCharFitler
? JapaneseTokenizer
? WhitespaceTokenizer
? NGramTokenizer
? JapaneseBaseFormFilter
? CJKWidthFilter
? LowerCaseFilter

4 Apache Solrを利用するための
プログラム（Java編）

1 2 3 4 5インデックス作成
▌管理コンソールやCurlコマンドなどによってインデックスを作成する
ことは可能だが、プログラム言語を用いて作成することも可能
SolrServer server = new HttpSolrServer("http://localhost:8983/solr/wiki/");
private static List<SolrInputDocument> list = new ArrayList<>();
SolrInputDocument input = new SolrInputDocument();
input.setField("title", model.getTitle());
input.setField("description", model.getHtml());
for (String category : model.getCategories()) {
input.addField("category", category);
}
list.add(input);
if (list.size() > COMMIT_COUNT) {
server.add(list);
server.commit();
list.clear();
}
コミットには一定コストがかかるので、
まとめて実施するのがセオリー

1 2 3 4 5検索単純なパターン（全件）
HttpSolrServer server = new HttpSolrServer("http://localhost/solr/wiki/");
@Test
public void test() {
SolrQuery query = new SolrQuery();
query.setQuery("*:*");
try {
QueryResponse res = server.query(query);
SolrDocumentList list = res.getResults();
System.out.println("かかった時間(ms): "+res.getElapsedTime());
System.out.println("検索件数: "+list.getNumFound());
System.out.println("開始位置: "+list.getStart());
list.forEach(doc -> System.out.println("取得したタイトル:
"+doc.getFieldValue("title")));
} catch (SolrServerException e) {
e.printStackTrace();
}
}
かかった時間(ms): 131
検索件数: 94503
開始位置: 0
取得したタイトル: 反転幾何学
取得したタイトル: 地球の想い～ほし
の想い～
取得したタイトル: 富里スイカロード
レース大会
取得したタイトル: 南富山駅
取得したタイトル: 長尾忠綱
取得したタイトル: 大島建彦
取得したタイトル: 有本義明
取得したタイトル: 平城?相楽ニュー
タウン
取得したタイトル: 大路恵美
取得したタイトル: 相澤奈美
テストプログラム実行結果
SolrDocumentListは
ArrayList<SolrDocument>を継承している。
*:*は
検索対象フィールド:検索文字列
を表す。

1 2 3 4 5検索複雑な場合
▌検索で複雑なことを考える場合、検索式がどのようになるかを考える
必要がある
▌いきなりプログラムを書くのではなく、管理コンソールを利用して検
索式を検討してから、その検索式をAPI（SolrQuery）で
マッピングする
▌検索語の処理については、単純な場合と同様
? 開始位置
? 取得件数
? ソート順
? 取得フィールド
? フィルタクエリー
? ファセット
? クエリーパーサ
? ハイライト

5 Apache Solr利用時のポイント

1 2 3 4 5検索の精度を高める
▌検索の精度を高めるために、複数フィールドを組み合わせて
検索をおこなう
例）日本語の取り扱いとして、NGramと形態素の2つ
のフィールドを利用
例）タイトルと本文のフィールドを利用
例）漢字と読み仮名のフィールドを利用
これらのフィールドの組み合わせとブーストを組み合わせて
検索の精度を高める

1 2 3 4 5インデックス作成と検索
▌インデックス作成と検索のサーバは規模が大きくなる場合、分けた方
が良い。
▌データ件数が多い場合（1000万件が目安）、複数台数に分けて
分散検索を検討する
コア1
A
コア1
S
コア1
A
コア2
A
コア1
S
コア2
A
コア2
S
コア2
S
コア‐Z
A
分散検索
振り分け
振り分け
コアのswap
コア1
作成
コア2
作成
検索インデックス作成
上記構成をSolrの機能として拡張させたのが「Solr Cloud」（Solr4.0～)

1 2 3 4 5性能特性
▌転置インデックスがあるため、単語が含まれている文書を
見つける等に性能が良い
▌ツリーインデックスなどではないため、DBとは異なる性能特性を持つ
▌開始位置が深くなるにつれて、取得に時間がかかるようになる
（deep paging 問題）
▌分散検索をする場合は、分散検索を統合する検索サーバにメモリ上の
オーバヘッドかかり、deep paging問題は深刻。
（Googleにおいても深いページは表示できない）

狠狠撸

技术勉强会（厂辞濒谤入门编）

More Related Content

技术勉强会（厂辞濒谤入门编）

Editor's Notes