ݺߣ

ݺߣShare a Scribd company logo

اسلاید وبینار آشنایی با اسپارک - Introduction to Apache Spark in Persian

•
•
Farafekr Technology
Farafekr Technology

اسلاید وبینار آشنایی با اسپارک - Introduction to Apache Spark in Persian برای تهیه ویدیو این وبینار به لینک زیر مراجعه فرمایید: http://download.hadoop.ir مرجع هدوپ ایران www.hadoop.ir

1 of 16
Downloaded 49 times
‫با‬ ‫آشنایی‬ ‫ٍبینار‬ ‫ایران‬ ‫يدٍپ‬ ‫نرجع‬ (‫فرافکر‬ ‫پردازان‬ ‫ایدى‬ ‫افزار‬ ‫نرم‬ ‫نًندسی‬ ‫شرکت‬) www.hadoop.ir hello@hadoop.ir { } ‫يهکاری‬ ‫با‬: www.farafekr.co info@farafekr.co
‫سخنران‬ ‫نبین‬‫رنجبر‬ ‫رئیس‬‫يیئت‬‫ندیرى‬‫شرکت‬‫فرافکر‬ ‫ایران‬ ‫يدٍپ‬ ‫نرجع‬ www.hadoop.ir
‫چیست؟‬ ‫اسپارک‬ ‫آپاچی‬ ‫آپاچی‬‫اسپارک‬‫یک‬‫فریو‬‫ٍرک‬‫پردازش‬‫نقیو‬‫در‬‫رم‬‫نی‬‫باشد‬ ٌ‫ک‬‫نی‬‫تَان‬‫با‬‫استفادى‬‫از‬،‫آن‬‫دادى‬‫يا‬‫را‬‫در‬ٌ‫حافظ‬‫اصلی‬ ‫نَرد‬‫پردازش‬‫قرار‬‫داد‬ٍ‫با‬‫اینکار‬‫سرعت‬‫تحلیل‬‫دادى‬‫يا‬ٌ‫ب‬ ‫شکل‬‫قابل‬‫تَجًی‬‫افزایش‬‫نی‬‫یابد‬.ٌ‫خصیص‬‫اصلی‬‫این‬ ‫نَتَرپردازشی‬،‫سریع‬،‫بَدن‬‫راحتی‬‫استفادى‬ٍ‫ٍاسط‬‫يای‬ ‫نرم‬‫افزاری‬‫نی‬‫باشد‬ٌ‫ک‬‫این‬‫ابزار‬‫را‬‫از‬‫دیگر‬‫رقیبانش‬‫نتهایز‬ ٌ‫ساخت‬‫است‬. ‫این‬‫فریو‬‫ٍرک‬‫در‬‫سال‬2014‫تَسط‬‫آزنایشگاى‬AMPLab ‫در‬‫دانشگاى‬‫برکلی‬‫آنریکا‬ٌ‫تَسع‬ٍ‫نعرفی‬‫گردید‬. ‫ایران‬ ‫يدٍپ‬ ‫نرجع‬ www.hadoop.ir
‫اسپارک‬ ‫نعهاری‬ ‫ایران‬ ‫يدٍپ‬ ‫نرجع‬ www.hadoop.ir
‫اسپارک‬ ‫اصلی‬ ‫اجزای‬ •Spark SQL:‫با‬‫این‬ٌ‫کتابخان‬‫نی‬‫تَان‬‫با‬‫دادى‬‫يای‬ ٌ‫رابط‬‫ای‬ٍ‫باساختار‬‫نظیر‬‫فایل‬‫يای‬CSVٍ‫یا‬‫دیتابیس‬ ‫يای‬ٌ‫رابط‬‫ای‬‫کار‬‫کرد‬ٍ‫بررٍی‬‫این‬‫دادى‬‫يا‬‫پرس‬ٍ ‫جَيای‬SQL‫اجرا‬‫کرد‬. •Spark Streaming:‫با‬‫استفادى‬‫از‬‫این‬ٌ‫کتابخان‬‫نی‬ ‫تَان‬‫دادى‬‫يایی‬ٌ‫ک‬‫با‬‫نرخ‬‫تَلید‬‫باال‬ٌٍ‫ب‬‫صَرت‬‫جریانی‬ٍ ‫یا‬‫بالدرنگ‬‫تَلید‬‫نی‬‫شَد‬‫را‬‫نَرد‬‫پردازش‬‫قرار‬‫داد‬. ‫ایران‬ ‫يدٍپ‬ ‫نرجع‬ www.hadoop.ir
‫اسپارک‬ ‫اصلی‬ ‫اجزای‬ •Mllib:‫با‬‫استفادى‬‫از‬‫این‬ٌ‫کتابخان‬‫نی‬‫تَان‬‫الگَریتو‬ ‫يای‬‫دادى‬‫کاٍی‬ٍ‫یادگیری‬‫ناشین‬‫را‬‫در‬‫اسپارک‬‫پیادى‬ ‫سازی‬‫کرد‬ٍ‫آنًا‬‫را‬‫بررٍی‬‫دادى‬‫يا‬‫اجرا‬‫کرد‬. •GraphX:‫با‬‫استفادى‬‫از‬‫این‬ٌ‫کتابخان‬‫نی‬‫تَان‬‫بر‬‫طبق‬ ‫تئَری‬‫گراف‬(‫یال‬‫يا‬ٍ‫گرى‬‫يا‬)‫دادى‬‫يا‬‫را‬‫نَرد‬‫پردازش‬ ‫قرار‬‫داد‬. ‫ایران‬ ‫يدٍپ‬ ‫نرجع‬ www.hadoop.ir
‫اسپارک‬ ‫نزایای‬ •‫سرعت‬‫پردازش‬100‫برابری‬‫نسبت‬ٌ‫ب‬‫نَتَريای‬ ‫پردازشی‬‫نَجَد‬ •‫پشتیبانی‬‫درٍن‬‫ساختی‬‫از‬‫زبان‬‫يای‬ٌ‫برنان‬‫نَیسی‬ ،‫پایتَن‬‫جاٍا،اسکاال‬ٍR •‫پشتیبانی‬‫از‬‫زبان‬‫پرس‬ٍ‫جَی‬SQL •‫عدم‬‫ٍجَد‬‫عهلیات‬I/O‫در‬‫ينگام‬‫تحلیل‬ ‫ایران‬ ‫يدٍپ‬ ‫نرجع‬ www.hadoop.ir
‫اسپارک‬ ‫نعایب‬ •ٌ‫تشن‬‫رم‬‫است‬. •‫عدم‬‫ٍجَد‬ٌ‫الی‬‫ذخیرى‬‫سازی‬ٍ‫ناندگاری‬‫دادى‬ •‫عدم‬‫ٍجَد‬‫زنان‬‫بند‬‫تَزیع‬‫شدى‬ •‫عدم‬‫استفادى‬ٌ‫بًین‬‫از‬‫ننابع‬‫در‬‫حالت‬‫پیش‬‫فرض‬ ‫ایران‬ ‫يدٍپ‬ ‫نرجع‬ www.hadoop.ir
‫اسپارک‬ ‫در‬ ٌ‫برنان‬ ‫اجرای‬ ‫رٍند‬ ‫ایران‬ ‫يدٍپ‬ ‫نرجع‬ www.hadoop.ir
‫نفًَم‬RDD ‫یک‬RDDٌ‫نجهَع‬‫ای‬‫از‬‫اقالم‬‫دادى‬‫است‬ٌ‫ک‬‫بررٍی‬‫ناشین‬ ‫يای‬ٌ‫شبک‬ٌ‫ب‬‫صَرت‬‫تَزیع‬‫شدى‬‫قرار‬‫نی‬‫گیرد‬. lines = sc.textFile("README.md") lines.count() 127 lines.first() u'# Apache Spark' ‫ایران‬ ‫يدٍپ‬ ‫نرجع‬ www.hadoop.ir
‫نفًَم‬DataFrame ‫یک‬DataFrame‫یا‬ٌ‫ب‬‫اختصار‬DF،‫يهانند‬‫نفًَم‬‫جدٍل‬ ‫در‬‫دیتابیس‬‫يای‬ٌ‫غیررابط‬‫ای‬‫است‬‫با‬‫این‬‫تفاٍت‬ٌ‫ک‬‫این‬ ‫جدٍل‬‫نی‬‫تَاند‬‫در‬‫یک‬‫فریو‬‫ٍرک‬‫تَزیع‬‫شدى‬‫کالن‬‫دادى‬ ‫ایجاد‬‫نی‬‫شَد‬ٍ‫نی‬‫تَان‬‫این‬‫دادى‬‫يا‬‫را‬‫با‬‫دادى‬‫يای‬‫بی‬ ‫ساختار‬‫ترکیب‬‫کرد‬. myDF = spark.read.format(…) ‫ایران‬ ‫يدٍپ‬ ‫نرجع‬ www.hadoop.ir
‫چیست؟‬ ‫در‬ ‫يدٍپ‬ ‫با‬ ‫اسپارک‬ ‫ارتباط‬ ‫ایران‬ ‫يدٍپ‬ ‫نرجع‬ www.hadoop.ir
‫اسپارک؟‬ ‫یا‬ ‫است‬ ‫بًتر‬ ‫يدٍپ‬ Hadoop = ‫دادى‬ ‫کالن‬ ‫سازی‬ ‫ذخیرى‬ ٍ ‫پردازش‬ ‫ٍرک‬ ‫فریو‬ =/= Spark = ‫دادى‬ ‫کالن‬ ‫پردازش‬ ‫ٍرک‬ ‫فریو‬ ‫ایران‬ ‫يدٍپ‬ ‫نرجع‬ www.hadoop.ir
‫عهل‬ ‫در‬ ‫يدٍپ‬ ٍ ‫اسپارک‬ ‫از‬ ‫استفادى‬ ‫ایران‬ ‫يدٍپ‬ ‫نرجع‬ www.hadoop.ir
‫سَال؟‬ ‫ایران‬ ‫يدٍپ‬ ‫نرجع‬ www.hadoop.ir
‫شها‬ ٌ‫تَج‬ ‫از‬ ‫سپاس‬ ‫با‬ ‫ایران‬ ‫يدٍپ‬ ‫نرجع‬ www.hadoop.ir

More Related Content

اسلاید وبینار آشنایی با اسپارک - Introduction to Apache Spark in Persian