�ݺ�ߣ

‫های‬‫روش‬Sharding‫ها‬ ‫داده‬ ‫کل ن‬ ‫روی‬‫بر‬

:‫کت‬‫شر‬ ‫ی‬ ‫درباره‬
●‫داده‬‫کز‬‫مر‬ ‫و‬ ‫سازی‬ ‫مجازی‬ ،‫ابری‬ ‫رایانش‬ ‫های‬‫حل‬ ‫راه‬ ‫ارائه‬
●‫ابری‬ ‫رایانش‬ ‫های‬ ‫محیط‬ ‫ای‬‫ر‬‫ب‬ ‫افزار‬ ‫نرم‬ ‫توسعه‬ ‫و‬ ‫تولید‬ ،‫احی‬‫ر‬‫ط‬
●‫بهداشت‬ ‫و‬ ‫آموزشی‬ ،‫ات‬‫ر‬‫مخاب‬ ‫های‬ ‫زمینه‬ ‫در‬ ‫خدمات‬ ‫ارائه‬
●‫بنیاد‬ ‫از‬ ‫حمایت‬OpenStack‫ا ن‬‫ر‬‫ای‬ ‫در‬ ‫کت‬‫شر‬ ‫اولین‬ ‫عنوا ن‬ ‫به‬
●‫انجمن‬ ‫حامی‬ ‫اولین‬OpenStack‫ا ن‬‫ر‬‫ای‬

innfinision.net‫ها‬ ‫داده‬ ‫کل ن‬ ‫روی‬‫بر‬ ‫شاردینگ‬ ‫های‬‫روش‬
‫فهرست‬:
●‫مشتریا ن‬ ‫داستا ن‬
●Sharding‫چیست؟‬
●‫به‬ ‫زمانی‬ ‫چه‬Sharding‫داریم؟‬ ‫نیاز‬
●‫چند‬ ‫چه‬Shard‫داریم؟‬ ‫نیاز‬
●‫انواع‬Sharding
●‫یک‬ ‫چگونه‬Shard Key‫کنیم؟‬ ‫انتخاب‬
●‫دلیل‬Sharding
●‫گیری‬ ‫نتیجه‬

‫مشتریا ن‬ ‫داستا ن‬
‫ها‬ ‫داده‬ ‫کل ن‬ ‫روی‬‫بر‬ ‫شاردینگ‬ ‫های‬‫روش‬ innfinision.net

Fouraquare:
●۵۰‫کاربر‬ ‫میلیو ن‬
●۶‫)روزی‬ ‫روز‬ ‫در‬ ‫حضور‬ ‫اعلم‬ ‫میلیارد‬۶(‫یابد‬‫می‬ ‫افزایش‬ ‫میلیو ن‬
●۵۵‫علهقه‬ ‫مورد‬ ‫های‬ ‫مکا ن‬ ‫و‬ ‫نقاط‬ ‫میلیو ن‬
●۱،۷‫کنند‬‫می‬ ‫استفاده‬ ‫بازاریابی‬ ‫ای‬‫ر‬‫ب‬ ‫نامه‬‫ر‬‫ب‬ ‫این‬ ‫از‬‫تاجر‬ ‫میلیو ن‬
●۳۰۰٫۰۰۰‫ثانیه‬ ‫در‬ ‫عملیات‬
●۵٬۵‫مدارک‬ ‫و‬ ‫اسناد‬ ‫میلیو ن‬

●۱۱) ‫خوشه‬cluster(mongoDB
۸) ‫خرد‬ ‫ها‬‫آ ن‬ ‫از‬ ‫تا‬shard‫اند‬‫شده‬ (
) ‫خوشه‬ ‫بزرگترین‬cluster(۱۵(‫ها‬ ‫حضور‬ ‫)اعلم‬ ‫دارد‬ ‫شارد‬ ‫تا‬
‫ا ن‬‫ر‬‫کارب‬ ‫ی‬ ‫شناسه‬ ‫روی‬‫بر‬ ‫شده‬ ‫خرد‬

CarFax:
●۱۳‫اسناد‬ ‫میلیارد‬
●۱٬۵‫است‬ ‫شده‬ ‫اضافه‬ ‫سال‬‫هر‬ ‫اسناد‬ ‫میلیارد‬
●‫شامل‬ ‫خودرو‬‫هر‬ ‫ارش‬‫ز‬‫گ‬۲۰۰‫است‬ ‫سند‬
●۱۲shard
●۹‫گره‬replica set
●Replica‫در‬ ‫ها‬۳‫اند‬ ‫شده‬ ‫توزیع‬‫سنتر‬ ‫دیتا‬

‫نتیجه‬‫نتیجه‬ MongoDBMongoDB ‫وضعیت‬‫وضعیت‬
•‫عملکرد‬۴‫سریعتر‬‫ابر‬‫ر‬‫ب‬
•Scale out‫از‬ ‫استفاده‬ ‫با‬
‫هقیمت‬ ‫ارزا ن‬ ‫سرورهای‬
•‫داخلی‬ ‫افزونگی‬ ‫دارای‬
•‫مدل‬‫پذیر‬ ‫انعطاف‬ ‫شمای‬
‫داده‬
•‫هقوی‬ ‫سازگاری‬
•‫تحلیل‬ ‫و‬ ‫تجزیه‬
‫اوا ن‬‫ر‬‫ف‬ ‫های‬ ‫بررسی‬ ‫از‬ ‫پس‬NoSQL،‫ها‬mongoDB.‫کردند‬ ‫انتخاب‬ ‫را‬
•MongoDB‫ذخیره‬ ‫محل‬
‫است‬ ‫ها‬‫داده‬ ‫اصلی‬ ‫سازی‬
•۵۰‫سرور‬
•۱۰‫شارد‬
•۵‫گره‬Replica Set‫هر‬ ‫در‬
‫شارد‬
•‫تاریخچه‬ ‫داده‬ ‫پایگاه‬
‫خودرویی‬
•۱۱‫ساله‬‫)هر‬ ‫رکورد‬ ‫میلیارد‬۱
(‫شود‬ ‫می‬ ‫اضافه‬ ‫میلیارد‬
•‫سنگین‬
•‫پرهزینه‬

Sharding‫چیست؟‬

PrimaryPrimary
SecondarySecondary
SecondarySecondary
Shard 1
PrimaryPrimary
SecondarySecondary
SecondarySecondary
Shard 2
PrimaryPrimary
SecondarySecondary
SecondarySecondary
Shard 3
PrimaryPrimary
SecondarySecondary
SecondarySecondary
Shard N
…
Query RouterQuery Router Query RouterQuery Router Query RouterQuery Router
……
DriverDriver
ApplicationApplication
‫ها‬ ‫داده‬ ‫کل ن‬ ‫روی‬‫بر‬ ‫شاردینگ‬ ‫های‬‫روش‬‫ها‬ ‫داده‬ ‫کل ن‬ ‫روی‬‫بر‬ ‫شاردینگ‬ ‫های‬‫روش‬ innfinision.net

●‫نوع‬ ‫سه‬sharding:‫دارد‬ ‫وجود‬
●Hash-based
●Range-based
●Tag-aware
●‫نیاز‬ ‫اساس‬‫بر‬ ‫سازی‬ ‫ذخیره‬ ‫فضای‬ ‫کرد ن‬ ‫زیاد‬ ‫و‬ ‫کم‬
●‫خودکار‬ ‫سازی‬ ‫تعادل‬

mongod
‫خواند ن/نوشتن‬ ‫پذیری‬ ‫مقیاس‬
Key Range
0..100

mongod mongod
Key Range
0..50
Key Range
51..100

mongod mongod mongod mongod
Key Range
0..25
Key Range
26..50
Key Range
51..75
Key Range
76.. 100

‫به‬ ‫زمانی‬ ‫چه‬Sharding‫داریم؟‬ ‫نیاز‬

‫یا‬ ‫سرور‬ ‫یک‬ ‫آیا‬Replica set:
●‫میباشد؟‬ ‫اطلعات‬ ‫تمام‬ ‫سازی‬ ‫ذخیره‬ ‫ای‬‫ر‬‫ب‬ ‫کافی‬ ‫فضای‬ ‫دارای‬
●‫عملیاتی‬ ‫توا ن‬ ‫به‬ ‫تواند‬‫می‬query‫کند؟‬ ‫رسیدگی‬ ‫ها‬
●‫تمام‬ ‫به‬ ‫تواند‬‫می‬query‫دهد؟‬ ‫پاسخ‬ ‫سریعا‬ ‫ها‬
‫سرور‬ ‫مشخصات‬
Disk Capacity
Disk IOPS
RAM
Network
Disk IOPS
RAM
Network

‫چند‬ ‫به‬Shard‫داریم؟‬ ‫نیاز‬

: ‫دیسک‬ ‫فضای‬
.‫باشد‬ ‫نیاز‬ ‫مورد‬ ‫سازی‬ ‫ذخیره‬ ‫اندازه‬ ‫از‬‫بیشتر‬ ‫باید‬ ‫شاردها‬ ‫تمام‬ ‫در‬ ‫دیسک‬ ‫فضای‬ ‫مجموع‬
:‫مثال‬
= ‫کل‬ ‫سازی‬ ‫ذخیره‬ ‫ی‬ ‫انداره‬3TB
= ‫سرور‬ ‫سازی‬ ‫ذخیره‬ ‫ی‬ ‫اندازه‬2TB
‫به‬۲‫داریم‬ ‫نیاز‬ ‫شارد‬
:‫مثال‬
= ‫کل‬ ‫سازی‬ ‫ذخیره‬ ‫ی‬ ‫انداره‬3TB
= ‫سرور‬ ‫سازی‬ ‫ذخیره‬ ‫ی‬ ‫اندازه‬2TB
‫به‬۲‫داریم‬ ‫نیاز‬ ‫شارد‬

Sharding‫در‬RAM:
●‫مجموع‬RAM< ‫ها‬ ‫شارد‬‫اسر‬‫ر‬‫س‬ ‫در‬Workset
Workset‫شوند‬‫می‬ ‫دیده‬‫بیشتر‬ ‫ا‬‫ا‬ ‫غالب‬ ‫که‬ ‫اسناد‬ ‫از‬ ‫ای‬‫مجموعه‬ =
●Workset‫در‬RAM:
‫کمتر‬‫تأخیر‬ ‫زما ن‬
‫بالتر‬ ‫عملیاتی‬ ‫توا ن‬
‫مثال‬
Working Set = 428 GB
Server RAM = 128 GB
۴۲۸ / ۱۲۸ = ۳،۳۴
‫به‬۴‫داریم‬ ‫نیاز‬ ‫شارد‬
‫مثال‬
Working Set = 428 GB
Server RAM = 128 GB
۴۲۸ / ۱۲۸ = ۳،۳۴

●) ‫کار‬ ‫مجموعه‬ ‫و‬ ‫شاخص‬ ‫حجم‬ ‫گیری‬‫اندازه‬Working Set & Index Size(
: ‫مجموعه‬‫هر‬ ‫شاخص‬ ‫اندازه‬
db.stats()
:‫کار‬ ‫مجموعه‬ ‫حجم‬ ‫حدود‬
db.serverStatus({ workingSet: 1})

: ‫دیسک‬ ‫عملیاتی‬ ‫توا ن‬
●‫مجموع‬IOPS‫از‬‫بیشتر‬ ‫باید‬ ‫ها‬ ‫شارد‬‫اسر‬‫ر‬‫س‬ ‫در‬IOPS‫باشد‬ ‫نیاز‬ ‫مورد‬
●‫آورد‬‫ر‬‫ب‬IOPS‫است‬ ‫دشوار‬ ‫بسیار‬
●‫توضیحات‬ ‫رسانی‬ ‫روز‬ ‫به‬
●‫ها‬ ‫شاخص‬ ‫رسانی‬ ‫روز‬ ‫به‬
●‫جورنال‬ ‫به‬ ‫کرد ن‬ ‫اضافه‬
●‫لگ‬ ‫به‬ ‫ورود‬
●‫گیری‬ ‫اندازه‬ ‫و‬ ‫اولیه‬ ‫نمونه‬ ‫یک‬ ‫ساخت‬ :‫روش‬ ‫بهترین‬

: ‫دیسک‬ ‫عملیاتی‬ ‫توا ن‬
●‫مجموع‬IOPS‫از‬‫بیشتر‬ ‫باید‬ ‫ها‬ ‫شارد‬‫اسر‬‫ر‬‫س‬ ‫در‬IOPS‫باشد‬ ‫نیاز‬ ‫مورد‬
●‫آورد‬‫ر‬‫ب‬IOPS‫است‬ ‫دشوار‬ ‫بسیار‬
●‫توضیحات‬ ‫رسانی‬ ‫روز‬ ‫به‬
●‫ها‬ ‫شاخص‬ ‫رسانی‬ ‫روز‬ ‫به‬
●‫جورنال‬ ‫به‬ ‫کرد ن‬ ‫اضافه‬
●‫لگ‬ ‫به‬ ‫ورود‬
●‫گیری‬ ‫اندازه‬ ‫و‬ ‫اولیه‬ ‫نمونه‬ ‫یک‬ ‫ساخت‬ :‫روش‬ ‫بهترین‬
‫مثال‬
IOPS= ‫نیاز‬ ‫مورد‬۱۱۰۰۰
IOPS= ‫سرور‬۵۰۰۰
‫به‬۳‫داریم‬ ‫نیاز‬ ‫شارد‬
‫مثال‬
IOPS= ‫نیاز‬ ‫مورد‬۱۱۰۰۰
IOPS= ‫سرور‬۵۰۰۰
‫به‬۳‫داریم‬ ‫نیاز‬ ‫شارد‬

) ‫ثانیه‬ ‫در‬ ‫عملیات‬OPS: (
●S‫سرور‬ ‫یک‬ ‫ثانیه‬ ‫در‬ ‫عملیات‬ =
●G‫نیاز‬ ‫مورد‬ ‫ثانیه‬ ‫در‬ ‫عملیات‬ =
●N‫ها‬ ‫شارد‬ ‫تعداد‬ =
●G = N * S * 0.7
N = (G / 0.7S)

●G = N * S * 0.7
N = (G / 0.7S)
Sharding‫فوهقانی‬Sharding‫فوهقانی‬

●G = N * S * 0.7
N = (G / 0.7S)
‫مثال‬
S = ۴۰۰۰
G = ۱۰۰۰۰
N = ۳،۵۷
‫مثال‬
S = ۴۰۰۰
G = ۱۰۰۰۰
N = ۳،۵۷

‫انواع‬Sharding

Range Sharding
Key Range
0..25
Key Range
26..50
Key Range
51..75
Key Range
76.. 100

Tag Aware Sharding
Shard Tags
Shard Tag ‫شروع‬ ‫پایا ن‬
‫زمستا ن‬ 23 Dec 21 Mar
‫بهار‬ 22 Mar 21 Jun
‫تابستا ن‬ 21 Jun 23 Sep
‫پاییز‬ 24 Sep 22 Dec
Tag Ranges
‫زمستا ن‬ ‫بهار‬ ‫تابستا ن‬ ‫پاییز‬

Hash Sharding
Hash Range
0000..4444
Hash Range
4445..8000
Hash Range
i8001..aaaa
Hash Range
aaab..ffff

Hash Sharding
●: ‫ایا‬‫ز‬‫م‬
.‫شوند‬‫می‬ ‫توزیع‬ ‫مساوی‬ ‫صورت‬ ‫به‬ ‫ها‬‫داده‬
●: ‫معایب‬
.‫آیند‬‫می‬ ‫در‬ ‫فشرده‬ ‫صورت‬ ‫به‬ ‫ها‬ ‫شاخص‬ ‫و‬ ‫تصادفی‬ ‫های‬‫داده‬ ‫بروزرسانی‬ ‫خروجی‬ ‫و‬ ‫ورودی‬
.‫آیند‬‫می‬ ‫در‬ ‫اکنده‬‫ر‬‫پ‬ ‫صورت‬ ‫به‬ ‫هستند‬ ‫محدوده‬ ‫اساس‬‫بر‬ ‫که‬ ‫هایی‬ ‫جو‬ ‫و‬ ‫پرس‬

Range Sharding Document Distribution

Hashed Sharding Document Distribution

‫یک‬ ‫چگونه‬Shard Key‫کنیم؟‬ ‫انتخاب‬

‫یک‬Shard Key: ‫خوب‬
●.‫دارد‬ ‫کافی‬ ‫کاردینالیتی‬
●.‫کند‬ ‫می‬ ‫توزیع‬ ‫مساوی‬ ‫صورت‬ ‫به‬ ‫را‬ ‫ها‬‫نوشته‬
●‫)انزوا‬ ‫خواند‬‫می‬ ‫دار‬ ‫هدف‬query.(‫ها‬
Shard Key‫ی‬ ‫همه‬ ‫در‬ ‫امکا ن‬ ‫صورت‬ ‫در‬query: ‫باشد‬ ‫ها‬
●.‫شوند‬‫می‬ ‫آوری‬ ‫جمع‬ ‫اکنده‬‫ر‬‫پ‬ ‫صورت‬ ‫این‬‫غیر‬ ‫در‬

‫یک‬ ‫انتخاب‬Shard Key: ‫است‬ ‫مهم‬ ‫خوب‬
●.‫دارد‬ ‫زیادی‬‫تأثیر‬ ‫پذیری‬ ‫مقیاس‬ ‫و‬ ‫عملکرد‬‫بر‬
●.‫بود‬ ‫خواهد‬ ‫هقیمت‬ ‫ا ن‬‫ر‬‫گ‬ ‫آ ن‬ ‫داد ن‬‫تغییر‬ ‫ا‬‫ا‬ ‫بعد‬

● Induces jumbo chunks
● Examples: boolean field
● Monotonically increasing shard key values cause hot
spots on inserts
● Examples: timestamps, _id

‫دلیل‬Sharding

●: ‫پذیری‬ ‫مقیاس‬
‫ها‬‫داده‬ ‫حجم‬
‫ها‬ ‫جو‬ ‫و‬ ‫پرس‬ ‫حجم‬
●: ‫محلی‬ ‫های‬‫نوشته‬ ‫با‬ ‫جهانی‬ ‫ار‬‫ر‬‫استق‬
‫افیا‬‫ر‬‫جغ‬ ‫از‬ ‫بود ن‬ ‫آگاه‬ ‫هقابلیت‬ ‫با‬ ‫شاردینگ‬
●‫شده‬ ‫بندی‬ ‫طبقه‬ ‫سازی‬ ‫ذخیره‬
●‫ها‬ ‫پشتیبانی‬ ‫سریع‬ ‫بازگرداند ن‬

‫محلی‬ ‫های‬‫نوشته‬ ‫با‬ ‫جهانی‬ ‫ار‬‫ر‬‫استق‬
Primary:NYC
Secondary:NYC
Primary:LON
Primary:SYD
Secondary:LON
Secondary:NYC
Secondary:SYD
Secondary:LON
Secondary:SYD

‫شده‬ ‫بندی‬ ‫لیه‬ ‫سازی‬ ‫ذخیره‬
●‫ها‬ ‫افزار‬‫سخت‬ ‫هزینه‬ ‫در‬ ‫جویی‬ ‫صرفه‬
●‫سریعتر‬ ‫های‬ ‫سرور‬ ‫روی‬ ‫اند‬‫داشته‬ ‫دسترسی‬‫بیشتر‬ ‫که‬ ‫اسنادی‬ ‫داد ن‬ ‫ار‬‫ر‬‫هق‬
‫کندتر‬ ‫های‬ ‫سرور‬ ‫روی‬ ‫اسناد‬ ‫و‬ ‫ها‬‫داده‬ ‫گرفتن‬ ‫ار‬‫ر‬‫هق‬
●‫از‬ ‫استفاده‬Tag Aware Sharding
‫فعلی‬ ‫فعلی‬ ‫آرشیو‬ ‫آرشیو‬
SSDSSD SSDSSD HDDHDD HDDHDD

‫سریع‬ ‫بازگرداند ن‬
●‫دیتابیس‬۴۰‫ابایت‬‫ر‬‫ت‬
●۲‫شارد‬۲۰‫ابایتی‬‫ر‬‫ت‬
●: ‫چالش‬

mongod mongod
20 TB 20 TB

‫سریع‬ ‫بازگرداند ن‬
●‫دیتابیس‬۴۰‫ابایت‬‫ر‬‫ت‬
●۴‫شارد‬۱۰‫ابایتی‬‫ر‬‫ت‬
●: ‫چالش‬
‫اطلعات‬ ‫بازگرداند ن‬۵۰.‫گیرد‬‫می‬ ‫انجام‬‫سریعتر‬ %
mongod mongod
10 TB 10 TB
mongod mongod
10 TB 10 TB

‫گیری‬‫نتیجه‬

●:‫کنید‬ ‫بررسی‬ ‫را‬‫زیر‬ ‫نکات‬ ‫نیاز‬ ‫مورد‬ ‫های‬ ‫شارد‬ ‫تعیین‬ ‫ای‬‫ر‬‫ب‬
‫نیاز‬ ‫مورد‬ ‫سازی‬ ‫ذخیره‬
‫تاخیر‬ ‫زما ن‬ ‫سرعت‬
‫نیاز‬ ‫مورد‬ ‫عملیاتی‬ ‫توا ن‬
●: ‫کل‬ ‫مشتق‬
‫دیسک‬ ‫ظرفیت‬
‫دیسک‬ ‫توا ن‬
‫رم‬
●.‫کنید‬ ‫تعیین‬ ‫ها‬ ‫سرور‬ ‫فردی‬ ‫مشخصات‬ ‫اساس‬‫بر‬ ‫را‬ ‫ها‬ ‫شارد‬ ‫تعداد‬

‫هقوت‬ ‫نقاط‬Sharding:
●‫پذیری‬ ‫مقیاس‬
●‫افیا‬‫ر‬‫جغ‬ ‫از‬ ‫بود ن‬ ‫آگاه‬ ‫هقابلیت‬ ‫با‬ ‫ها‬‫کلستر‬
●‫شده‬ ‫بندی‬ ‫طبقه‬ ‫سازی‬ ‫ذخیره‬
●‫ها‬ ‫پشتیبانی‬ ‫سریع‬ ‫بازگرداند ن‬

‫متشکریم‬
Ali Hallaji
Ali.Hallaji@innfinision.net
innfinision.net

�ݺ�ߣ

Sharding

More Related Content

Sharding