�ݺ�ߣ

‫معماری‬ ‫و‬ ‫ها‬ ‫ویژگی‬ ‫بر‬ ‫مبتنی‬Elastic search
‫نشاطی‬ ‫محمود‬
Mahmood.Neshati@gmail.com
https://github.com/NarimanN2/ParsiAnalyzer/

‫نگاه‬ ‫یک‬ ‫در‬ ‫سرچ‬ ‫االستیک‬ ‫کلی‬ ‫معماری‬
‫سرچ‬ ‫االستیک‬ ‫مهم‬ ‫های‬ ‫ویژگی‬ ‫بررسی‬
‫بهبود‬ ‫پیشنهاد‬ ‫و‬ ‫جستجو‬ ‫موتور‬ ‫خروجی‬ ‫موردی‬ ‫بررسی‬
‫روش‬ ‫سازی‬ ‫پیاده‬ ‫نحوه‬‫پیشنهادی‬ ‫های‬
‫سرچ‬ ‫االستیک‬ ‫در‬ ‫نویسی‬ ‫پالگین‬
‫روش‬ ‫کارایی‬‫پیشنهادی‬ ‫های‬

Char
Filter
Tokenizer Token Filter
Analyzer Pipeline
Analyzer Pipeline
Char
Filter
Document
User Query
Ranking Module
index
Results
‫سرچ‬‫االستیک‬‫معماری‬

‫بررسی‬Analyzer
‫زمان‬ ‫در‬ ‫سندها‬Index‫و‬‫کوئری‬‫از‬ ‫باید‬ ‫جستجو‬ ‫زمان‬ ‫در‬ ‫ها‬Pipeline‫به‬ ‫تا‬ ‫کنند‬ ‫عبور‬ ‫زیر‬
‫شوند‬ ‫تبدیل‬ ‫جستجو‬ ‫قابل‬ ‫واحدهای‬.
‫پیچیدگی‬‫شود‬ ‫مدیریت‬ ‫بخش‬ ‫این‬ ‫در‬ ‫باید‬ ‫فارسی‬ ‫زبان‬ ‫به‬ ‫مربوط‬ ‫های‬.
‫بیضی‬ ‫از‬ ‫کدام‬ ‫هر‬‫ز‬ ‫تحلیل‬ ‫مشکالت‬ ‫از‬ ‫بخشی‬ ‫کردن‬ ‫حل‬ ‫وظیفه‬ ‫شده‬ ‫داده‬ ‫نمایش‬ ‫های‬‫را‬ ‫بان‬
‫می‬ ‫داده‬ ‫شرح‬ ‫ادامه‬ ‫در‬ ‫که‬ ‫دارند‬ ‫عهده‬ ‫به‬‫شود‬.
Char
Filter
Analyzer Pipeline
Document
User Query

‫ش‬ ‫داده‬ ‫پوشش‬ ‫باید‬ ‫فارسی‬ ‫زبان‬ ‫به‬ ‫مربوط‬ ‫مسایل‬ ‫از‬ ‫برخی‬ ‫بخش‬ ‫این‬ ‫در‬‫ود‬:
‫نیم‬ ‫مشکل‬ ‫حل‬‫فارسی‬ ‫زبان‬ ‫در‬ ‫فاصله‬
‫اعشاری‬ ‫اعداد‬
‫مثال‬
‫می‬ ‫روم‬ ‫می‬‫روم‬
‫کننده‬ ‫نرم‬ ‫ی‬ ‫کننده‬ ‫نرم‬‫ی‬

‫به‬‫صورت‬‫پیش‬‫فرض‬‫در‬‫االستیک‬‫سرچ‬‫از‬white space‫برای‬‫قطعه‬‫کردن‬‫متن‬
‫استفاده‬‫می‬‫شود‬.
‫یک‬Tokenizer‫خاص‬‫منظوره‬‫برای‬‫زبان‬‫فارسی‬‫در‬‫تیم‬‫دانشگاه‬‫بهشتی‬‫توس‬‫عه‬
‫یافته‬‫است‬‫که‬‫برخی‬‫مشکالت‬Tokenizer‫پیش‬‫فرض‬‫را‬‫حل‬‫می‬‫کند‬‫مانند‬:
‫تشخیص‬‫اعداد‬‫فارسی‬‫با‬/‫به‬‫عنوان‬‫ممیز‬
‫تشخیص‬‫توکن‬‫های‬‫تاریخ‬/‫زمان‬
‫مثال‬3/14‫یک‬Token‫است‬.

‫بخش‬ ‫مهمترین‬Analyzer‫تنظیم‬ ‫به‬ ‫وابسته‬ ‫موتورجستجو‬ ‫مشکالت‬ ‫از‬ ‫بسیاری‬ ‫که‬‫این‬ ‫ات‬
‫است‬ ‫بخش‬.
Stemmer
Stop word
Normalizer
Word delimiter
Synonym
Stemmer Stop word Normalizer
Word
Delimiter
Synonym

Word
Delimiter
Synonym
Query 1 =
Query 2=
‫تایم‬ ‫مجله‬
‫تایم‬ ‫مجالت‬
‫مجله‬‫و‬‫مجالت‬‫هر‬‫دو‬‫به‬‫یک‬‫مفهوم‬
‫اشاره‬‫دارند‬‫و‬‫صرفا‬‫نحوه‬‫نوشتار‬‫آن‬‫ها‬
‫متفاوت‬‫است‬.
‫انتظار‬‫می‬‫رود‬‫نتایج‬‫موتور‬‫جست‬‫جو‬
‫برای‬‫هردو‬‫کوئری‬‫یکسان‬‫باشد‬.

‫در‬‫تیم‬‫دانشگاه‬‫بهشتی‬‫برای‬‫زبان‬‫فارسی‬‫یک‬Stemmer‫پیاده‬‫سازی‬‫شده‬‫است‬.
‫مهمترین‬‫کارکرد‬‫این‬،‫بخش‬‫حذف‬‫پسوندهای‬‫مرسوم‬‫در‬‫زبان‬‫فارسی‬‫است‬.
‫توضیح‬:‫عملیات‬Stemming‫باید‬‫کمینه‬(Minimal)‫باشد‬‫تا‬‫دقت‬‫جستجو‬‫کاهش‬
‫نیابد‬.
‫دانلود‬‫از‬‫آدرس‬‫زیر‬:
Word
Delimiter
Synonym

Word
Delimiter
Synonym
Query 1 =
Query 2=
‫آیفون‬
‫در‬ ‫آیفون‬
‫کلمات‬stop word،‫مانند‬،‫در‬،‫به‬‫از‬
‫و‬...‫معنی‬‫خاصی‬‫ندارند‬‫و‬‫بهتر‬‫است‬
‫در‬‫جستجو‬‫از‬‫کوئری‬‫حذف‬‫شوند‬.

‫کلمات‬ ‫از‬ ‫اولیه‬ ‫لیست‬ ‫یک‬ ‫فارسی‬ ‫زبان‬ ‫برای‬Stop word‫برای‬ ‫باید‬ ‫اما‬ ‫دارد‬ ‫وجود‬
‫شود‬ ‫سازی‬ ‫سفارشی‬ ‫لیست‬ ‫این‬ ‫دیجیکاال‬ ‫دامنه‬.
‫است‬ ‫آماری‬ ‫های‬ ‫تکنیک‬ ‫از‬ ‫استفاده‬ ‫با‬ ‫کلمات‬ ‫این‬ ‫استخراج‬ ‫روش‬.
‫دامنه‬ ‫در‬ ‫معنی‬ ‫فاقد‬ ‫و‬ ‫پررخداد‬ ‫کلمات‬e-commerce‫لیست‬ ‫به‬ ‫و‬ ‫استخراج‬Stop word‫ها‬
‫می‬ ‫اضافه‬‫شوند‬.
Word
Delimiter
Synonym

Word
Delimiter
Synonym
Query 1 =
Query 2=
‫هواوی‬
‫هوآوی‬
‫تفاوت‬‫کوئری‬‫ها‬‫باال‬‫در‬‫نحوه‬‫نوشت‬‫ن‬
‫حرف‬‫الف‬(‫ا‬‫و‬‫آ‬)‫است‬.

Word
Delimiter
Synonym
Query 1 =
Query 2=
‫آیفون‬
‫ایفون‬
‫حرف‬‫الف‬(‫ا‬‫و‬‫آ‬)‫است‬.

Word
Delimiter
Synonym
Query 1 =
Query 2=
‫کاؤر‬
‫کاور‬
‫حرف‬‫و‬‫است‬.

Word
Delimiter
Synonym
Query 1 =
Query 2=
‫اپل‬
‫ِل‬‫پ‬‫ا‬
‫تفاوت‬‫کوئری‬‫ها‬‫باال‬‫در‬‫یک‬‫کسره‬‫ا‬‫ست‬.

Word
Delimiter
Synonym
Query 1 =
Query 2=
‫اپل‬
‫اپــل‬
‫تفاوت‬‫کوئری‬‫ها‬‫باال‬‫در‬‫پ‬‫کشیده‬‫ا‬‫ست‬.

‫یک‬ ‫فارسی‬ ‫زبان‬ ‫برای‬Normalizer‫را‬ ‫زیر‬ ‫موارد‬ ‫که‬ ‫است‬ ‫شده‬ ‫سازی‬ ‫پیاده‬
‫دهد‬ ‫می‬ ‫پوشش‬:
.1‫چندشکلی‬ ‫حروف‬ ‫انواع‬(‫مانند‬‫و‬ ‫و‬ ،‫ی‬ ،‫ک‬‫همزه‬)‫می‬ ‫تبدیل‬ ‫فرمت‬ ‫یک‬ ‫به‬‫شود‬.
.2‫می‬ ‫تبدیل‬ ‫فرمت‬ ‫یک‬ ‫به‬ ‫انگلیسی‬ ‫و‬ ‫عربی‬ ‫و‬ ‫فارسی‬ ‫اعداد‬‫شود‬.
.3‫می‬ ‫حذف‬ ‫کلمات‬ ‫از‬ ‫را‬ ‫کـــــــــــــــــــــــمان‬ ‫مانند‬ ‫کشیده‬‫کند‬.
.4‫و‬ ‫فتحه‬ ،‫کسره‬ ‫مانند‬ ‫اعراب‬ ‫حذف‬...‫می‬ ‫انجام‬ ‫را‬‫دهد‬.
Word
Delimiter
Synonym

‫عالوه‬‫بر‬‫مشکالت‬‫ذکر‬،‫شده‬‫در‬‫زبان‬‫فارسی‬‫برخی‬‫از‬‫کلمات‬‫مرکب‬‫به‬‫چند‬‫شیوه‬(‫سرهم‬‫و‬‫جدا‬)‫نوش‬‫ته‬‫می‬
‫شوند‬.
‫این‬‫نکته‬‫باید‬‫در‬‫زمان‬index‫مد‬‫نظر‬‫قرار‬‫گیرد‬‫و‬‫کلمات‬‫مرکب‬‫به‬‫گونه‬‫ای‬‫در‬index‫وارد‬‫شوند‬‫که‬
‫مستقل‬‫از‬‫نوع‬‫کوئری‬‫کاربر‬‫بازیابی‬‫با‬‫موفقیت‬‫انجام‬‫شود‬.
‫در‬‫مثال‬‫های‬‫زیر‬‫کاربر‬‫مجاز‬‫است‬‫به‬‫هر‬‫دو‬‫صورت‬‫سرهم‬‫و‬‫جدا‬‫جستجو‬‫را‬‫انجام‬‫دهد‬‫و‬‫نتایج‬‫باید‬‫یکس‬‫ان‬
‫باشد‬.
‫جارو‬‫برقی‬‫جاروبرقی‬
‫سرخکن‬‫سرخ‬‫کن‬
‫ماشین‬‫لباسشویی‬‫ماشین‬‫لباس‬‫شویی‬
Word
Delimiter
Synonym

Word
Delimiter
Synonym
Query 1 =
Query 2=
‫جاروبرقی‬
‫برقی‬ ‫جارو‬
‫جدا‬‫یا‬‫سرهم‬‫کلمه‬‫است‬.

Word
Delimiter
Synonym
Query 1 =
Query 2=
‫شویی‬ ‫لباس‬ ‫ماشین‬
‫لباسشویی‬ ‫ماشین‬
‫جدا‬‫یا‬‫سرهم‬‫کلمه‬‫است‬.

‫برای‬‫حل‬‫مشکل‬‫ارائه‬‫شده‬‫در‬2‫اسالید‬‫قبل‬‫در‬‫زمان‬index‫باید‬‫کلمات‬‫چند‬‫شکلی‬‫با‬‫استفاده‬‫از‬
‫روشهای‬‫اماری‬‫شناسایی‬‫شوند‬.
‫گونه‬‫های‬‫مختلف‬‫کلمات‬‫چند‬‫شکلی‬‫در‬index‫وارد‬‫می‬‫شوند‬‫تا‬‫مستقل‬‫از‬‫نوع‬‫نوشتن‬‫کاربر‬‫امکان‬
‫بازیابی‬‫وجود‬‫داشته‬‫باشد‬.
‫نکته‬‫مهم‬:‫از‬‫انجایی‬‫که‬‫راهکار‬‫پیشنهادی‬‫در‬‫زمان‬index‫عملیاتی‬‫می‬،‫شود‬‫در‬‫زمان‬‫پاسخ‬‫کوئری‬‫و‬
‫بالطبع‬‫آن‬‫در‬‫تجربه‬‫کاربری‬‫تاثیر‬‫منفی‬‫ندارد‬.
Word
Delimiter
Synonym

Word
Delimiter
Synonym
Query 1 =
Query 2=
‫دوربین‬canon
‫دوربین‬canon
‫تفاوت‬‫کوئری‬‫ها‬‫باال‬‫در‬‫یک‬‫فاصله‬‫اس‬‫ت‬.
‫توجه‬:‫بسیار‬‫محتمل‬‫است‬‫که‬‫کارب‬‫ر‬
‫موبایل‬‫فاصله‬‫را‬‫بین‬‫کلمات‬‫فارس‬‫ی‬
‫وانگلیسی‬‫تایپ‬‫نکند‬.

Word
Delimiter
Synonym
Query 1 =
Query 2=
‫جاروبرقی‬samsung
‫جاروبرقی‬samsung
‫تفاوت‬‫کوئری‬‫ها‬‫باال‬‫در‬‫یک‬‫فاصله‬‫اس‬‫ت‬.
‫توجه‬:‫بسیار‬‫محتمل‬‫است‬‫که‬‫کارب‬‫ر‬
‫موبایل‬‫فاصله‬‫را‬‫بین‬‫کلمات‬‫فارس‬‫ی‬
‫وانگلیسی‬‫تایپ‬‫نکند‬.

‫در‬‫حال‬‫حاضر‬‫یک‬token Fiter‫برای‬‫جدا‬‫کردن‬‫کلمات‬‫در‬‫زبان‬‫انگلیسی‬
‫موجود‬‫است‬‫به‬‫طور‬‫مثال‬‫کلمه‬wi-fi‫را‬‫به‬wi fi‫تبدیل‬‫می‬‫کند‬.
‫می‬‫توان‬‫برای‬‫زبان‬‫فارسی‬‫یک‬token Filter‫توسعه‬‫داد‬‫که‬‫مشکالت‬‫ذکر‬‫شده‬‫در‬‫اسالید‬‫قبل‬‫را‬
‫حل‬‫کند‬‫برای‬‫مثال‬
‫دوربین‬Canon‫دوربین‬Canon
Word
Delimiter
Synonym

‫استفاده‬‫از‬Synonym‫برای‬‫جستجو‬‫های‬‫دو‬‫زبانه‬‫مناسب‬‫است‬‫برای‬‫نمونه‬‫در‬‫مورد‬‫زیر‬
‫سامسونگ‬Samsung
‫نکته‬‫مهم‬:‫استفاده‬‫از‬‫بیش‬‫از‬‫حد‬‫از‬‫ویژگی‬،‫مترادف‬‫مخصوصا‬‫در‬‫کلمات‬‫چند‬‫بخشی‬‫دقت‬
‫جستجو‬‫را‬‫به‬‫طور‬‫معنی‬‫داری‬‫کاهش‬‫می‬‫دهد‬.
Word
Delimiter
Synonym

‫بررسی‬Ranking Module
‫د‬ ‫با‬ ‫نتایج‬ ‫از‬ ‫مناسب‬ ‫بندی‬ ‫رتبه‬ ‫یک‬ ‫ارائه‬ ‫ماجول‬ ‫این‬ ‫وظیفه‬‫ریافت‬
‫ورودی‬‫است‬ ‫زیر‬ ‫های‬:
Index
Analyzed Query
‫توجه‬:‫برای‬‫انکه‬‫بتوانیم‬‫رتبه‬‫بندی‬‫مناسبی‬‫داشته‬‫باش‬‫یم‬‫الزاما‬
‫باید‬pipeline‫تحلیل‬‫متنی‬‫قوی‬‫داشته‬‫باشیم‬.
‫تحلیل‬‫لغوی‬‫قدرتمند‬‫پیشنیاز‬‫رتبه‬‫بندی‬‫قوی‬‫و‬‫الزمه‬‫آن‬‫است‬.
Ranking Module
Results
Index
Analyzed Query

‫کارکرد‬ ‫مهمترین‬‫است‬ ‫زیر‬ ‫شرح‬ ‫به‬ ‫ماجول‬ ‫این‬ ‫های‬:
‫امالیی‬ ‫های‬ ‫غلط‬ ‫رفع‬ ‫و‬ ‫بررسی‬
‫دقت‬ ‫کنترل‬(Precision)
Learning to Rank
Spell Correction Precision Control Learning to Rank

‫تشخیص‬‫خطای‬‫امالیی‬‫باید‬‫با‬‫استفاده‬‫از‬‫روش‬
‫های‬‫اماری‬‫و‬‫به‬‫صورت‬‫چند‬‫مرحله‬‫انجام‬‫شود‬
‫تا‬‫توازنی‬‫از‬‫کارایی‬‫و‬‫درستی‬‫خروجی‬‫به‬‫دس‬‫ت‬
‫اید‬.
Query 1 =
Query 2=
‫پاناسونیک‬ ‫تلفن‬
‫پاناسونیک‬ ‫تلقن‬

‫برخی‬‫از‬‫کوئری‬‫ها‬‫که‬‫جواب‬‫درست‬،‫ندارند‬‫نباید‬‫به‬‫ک‬‫اربر‬
‫نتیجه‬‫ای‬‫نمایش‬‫دهند‬.
‫پایین‬‫بودن‬‫دقت‬،‫جستجو‬‫کاهش‬‫اعتماد‬‫و‬‫کیفیت‬‫ت‬‫جربه‬
‫کاربری‬‫را‬‫به‬‫دنبال‬‫دارد‬.

‫ارائه‬‫رتبه‬‫بندی‬‫بهینه‬‫نیاز‬‫کاربر‬‫و‬Business
‫است‬.
‫مثال‬‫ها‬‫در‬‫اسالید‬‫بعد‬.
‫توجه‬:‫ویژگی‬‫های‬‫متنوعی‬‫برای‬‫رتبه‬‫بندی‬
‫بهینه‬‫وجود‬،‫دارد‬‫این‬‫ویژگی‬‫ها‬‫باید‬‫به‬‫صور‬‫ت‬
‫خودکار‬‫و‬‫نه‬‫به‬‫صورت‬‫دستی‬‫ترکیب‬‫شون‬‫د‬.

‫ویژگی‬1:‫رتبه‬ ‫در‬ ‫موجود‬ ‫نا‬ ‫محصوالت‬
‫باشد‬ ‫تر‬ ‫پایین‬ ‫بندی‬.

‫ویژگی‬2:‫رتب‬ ‫در‬ ‫باید‬ ‫تر‬ ‫مهم‬ ‫محصوالت‬‫ه‬
‫بگیرند‬ ‫قرار‬ ‫باالتر‬ ‫بندی‬.
‫توسط‬ ‫باید‬ ‫کاال‬ ‫اهمیت‬Business
‫شود‬ ‫مشخص‬:
‫بیشتر‬ ‫قیمت‬
‫بیشتر‬ ‫سود‬
...

‫ویژگی‬3:‫وقتی‬‫کاربر‬‫یک‬‫دسته‬‫از‬
‫محصوالت‬‫را‬‫جستجو‬‫می‬‫کند‬‫همه‬
‫محصوالت‬‫آن‬‫بخش‬‫باید‬‫بازیابی‬‫شون‬‫د‬‫نه‬
‫فقط‬‫یک‬‫محصول‬.

‫پالگین‬ ‫سازی‬ ‫پیاده‬
‫معماری‬،‫االستیک‬‫مبتنی‬‫بر‬‫پالگین‬‫است‬‫و‬‫توسعه‬‫دهندگان‬‫می‬‫توانند‬‫ب‬‫ا‬‫رعایت‬
‫قواعد‬‫مشخص‬‫شده‬‫توسط‬،‫االستیک‬‫ویژگی‬‫های‬‫جدید‬‫را‬‫به‬‫آن‬‫اضافه‬‫نماین‬‫د‬‫یا‬
‫ویژگی‬‫های‬‫موجود‬‫را‬‫سفارشی‬‫سازی‬‫کنند‬.
‫به‬‫عنوان‬‫مثال‬‫تا‬‫کنون‬‫توسط‬‫تیم‬‫دانشگاه‬‫بهشتی‬‫پالگین‬‫های‬‫زیر‬‫ته‬‫یه‬‫شده‬
‫است‬:
Parsi-Analyzer(‫فارسی‬ ‫زبان‬ ‫پایه‬ ‫مشکالت‬ ‫حل‬ ‫و‬ ‫تحلیل‬)
Learning to Rank(‫بندی‬ ‫رتبه‬ ‫برای‬ ‫یادگیری‬ ‫پالگین‬)

‫هس‬ ‫حل‬ ‫قابل‬ ‫راهکارهایی‬ ‫با‬ ‫اسالیدها‬ ‫این‬ ‫در‬ ‫شده‬ ‫اشاره‬ ‫مشکالت‬ ‫از‬ ‫بسیاری‬‫تند‬
‫زمان‬ ‫در‬ ‫آن‬ ‫محاسباتی‬ ‫بار‬ ‫عمده‬ ‫که‬Index‫شود‬ ‫می‬ ‫انجام‬.
‫پاسخ‬ ‫زمان‬ ‫در‬ ،‫رو‬ ‫این‬ ‫از‬query‫ندارد‬ ‫چندانی‬ ‫تاثیر‬.
‫حل‬ ‫راه‬ ‫سایر‬ ‫مورد‬ ‫در‬‫ابزارهای‬ ‫با‬ ‫باید‬ ،‫ها‬Stress Test‫در‬ ‫را‬ ‫حل‬ ‫راه‬ ‫کارایی‬
‫نمود‬ ‫اعمال‬ ‫و‬ ‫بررسی‬ ‫ترافیک‬ ‫پر‬ ‫شرایط‬.

‫پالگین‬ ‫نصب‬ ‫و‬ ‫مشاوره‬ ‫دریافت‬ ‫برای‬Parsi Analyzer‫زیر‬ ‫های‬ ‫آدرس‬ ‫به‬
‫بگیرید‬ ‫تماس‬:
Telegram Account: @mahmoodneshati
Email: Mahmood.Neshati@gmail.com
Github:

�ݺ�ߣ

موتورهای جستجوی تجارت الکترونیک و تنظیمات الاستیک سرچ برای زبان فارسی

More Related Content

موتورهای جستجوی تجارت الکترونیک و تنظیمات الاستیک سرچ برای زبان فارسی