�ݺ�ߣ

‫دهنده‬ ‫ارائه‬:‫عسگریان‬ ‫احسان‬
9/16/2016
1

9/16/20163
From the dawn of civilization until
2003, humankind generated five
exabytes of data. Now we produce
five exabytes every two days…and
the pace is accelerating.
Eric Schmidt,
Executive Chairman, Google

9/16/20166
The ‘Datafication’
of our World;
• Activities
• Conversations
• Words
• Voice
• Social Media
• Browser logs
• Photos
• Videos
• Sensors
• Etc.
Volume
Variety
Velocity
Analysing
Big Data:
• Text analytics
• Sentiment analysis
• Face recognition
• Voice analytics
• Movement analytics
• Etc.
Value

9/16/201613
 Ambari™: A web-based tool for provisioning, managing, and monitoring Apache
Hadoop clusters which includes support for Hadoop HDFS, Hadoop MapReduce, Hive,
HCatalog, HBase, ZooKeeper, Oozie, Pig and Sqoop.
 Hue : a web interface for Hadoop projects, supports many of the more widely used
 components of the Hadoop ecosystem. It features file browsers for HDFS and HBase
and a job browser for MapReduce/YARN.
 ZooKeeper™: is a service for coordination and synchronization of distributed systems.
 Mahout™: A Scalable machine learning and data mining library.

9/16/201624
‫های‬‫داده‬ ‫پایگاه‬ ‫مزایای‬NoSql:
o‫اطالعات‬ ‫درج‬ ‫بیشتر‬ ‫سرعت‬
o‫گسترش‬ ‫امکان‬ ‫و‬ ‫پذیر‬ ‫مقیاس‬‫راحت‬‫تر‬
o‫برای‬ ‫شده‬ ‫بهینه‬ ‫و‬ ‫مناسب‬‫مشخص‬ ‫های‬‫قالب‬‫داده‬
(‫کلید‬ ،‫گراف‬-‫مقدار‬)‫غیرساختیافته‬ ‫های‬‫داده‬ ‫و‬
‫نقاط‬‫های‬‫داده‬ ‫پایگاه‬ ‫ضعف‬NoSql:
o‫از‬ ‫آنها‬ ‫پشتیبانی‬ ‫عدم‬‫تمام‬‫ویژگی‬‫های‬ACID
o‫نامناسب‬‫برای‬join‫داده‬
o‫بازیابی‬ ‫سرعت‬(select)‫نرمال‬ ‫های‬‫داده‬(‫ایندکس‬ ‫و‬
‫شده‬)‫قاب‬ ‫بطور‬ ‫ای‬‫رابطه‬ ‫های‬‫داده‬ ‫پایگاه‬ ‫به‬ ‫نسبت‬‫ل‬
‫هست‬ ‫تر‬‫پایین‬ ‫مالحظه‬.
o‫از‬ ‫پشتیبانی‬ ‫عدم‬trigger

9/16/201625
https://en.wikipedia.org/wiki/NoSQL
http://nosql-database.org/

9/16/201646
Tehran
MSTT Data
Warehouse
(18M data per
day)
AVL
6M locations a
day
BluetoothS
ensors
1.2M vehicles a
day
SCATS
log files
2M log a day of
1400 approaches
Speed
Cameras
5M vehicles a day
e-Ticket
4M transactions a
day
Traffic Zone
Cameras
300K vehicles a
day
‫الگ‬ ‫داده‬ ‫هزاران‬ ‫روزانه‬ ‫تولید‬
‫شهرسازی‬ ‫سیستم‬‫شهرداری‬
‫روزانه‬ ‫تولید‬‫داده‬ ‫میلیون‬ ‫چند‬
‫مختلف‬ ‫منابع‬ ‫از‬ ‫ترافیکی‬
‫تولید‬‫روزانه‬‫صدها‬‫داد‬ ‫میلیون‬‫ه‬
CDR‫و‬ADSL‫در‬‫مخابرات‬

‫مناسب‬ ‫داده‬ ‫کالن‬ ‫های‬‫تکنولوژی‬ ‫با‬ ‫ها‬‫داده‬ ‫سازی‬‫ذخیره‬:
‫داده‬ ‫کالن‬ ‫زمینه‬ ‫در‬ ‫متخصصین‬ ‫کمبود‬ ‫و‬ ‫داده‬ ‫کالن‬ ‫بستر‬ ‫نگهداری‬ ‫و‬ ‫ایجاد‬ ‫باالی‬ ‫هزینه‬
‫پتا‬ ‫های‬‫داده‬ ‫حجم‬ ‫روی‬ ‫گزارش‬ ‫به‬ ‫نیاز‬-‫بایت‬
‫قبیل‬ ‫از‬ ‫ای‬‫رابطه‬ ‫های‬‫داده‬ ‫پایگاه‬ ‫و‬ ‫داده‬ ‫انباره‬ ‫های‬‫تکنولوژی‬Oracle‫و‬SQL Server‫نیستند‬ ‫جوابگو‬
‫غیرساختیافته‬ ‫های‬‫داده‬ ‫یا‬ ‫ها‬‫داده‬ ‫انواع‬ ‫در‬ ‫تنوع‬(‫متن‬ ‫مانند‬)
‫باشد‬ ‫داشته‬ ‫کاربرد‬ ‫میتواند‬ ‫که‬ ‫موارد‬ ‫برخی‬:
‫های‬‫داده‬‫بانکی‬ ‫های‬‫تراکنش‬
‫مخابرات‬ ‫مشتریان‬ ‫کارکرد‬ ‫های‬‫داده‬(CDR‫و‬ADSL)
‫وب‬ ‫های‬‫داده‬(‫جو‬‫پارسی‬ ‫جستجوی‬ ‫موتور‬)
‫الگ‬ ‫های‬‫داده‬(‫و‬ ‫سرورها‬)...
‫برای‬ ‫مناسب‬ ‫داده‬ ‫کالن‬ ‫های‬‫تکنولوژی‬ ‫با‬ ‫ها‬‫داده‬ ‫پردازش‬:
‫ها‬‫داده‬ ‫ای‬‫دسته‬ ‫تحلیل‬(Batch Processing:)‫و‬ ‫ماشین‬ ‫یادگیری‬...‫زیاد‬ ‫حجم‬ ‫روی‬(‫گیگابایت‬)‫داده‬
‫ها‬‫داده‬ ‫جریان‬ ‫تحلیل‬(Stream Real-time Processing:)‫و‬ ‫رویداد‬ ‫تشخیص‬( ...‫تصمیم‬ ‫که‬ ‫مواردی‬
‫شوند‬‫می‬ ‫ایجاد‬ ‫زیاد‬ ‫سرعت‬ ‫با‬ ‫که‬ ‫های‬‫داده‬ ‫روی‬ ‫ای‬‫لحظه‬)
9/16/201647

�ݺ�ߣ

فناوری‌های حوزه‌ی کلان داده - Introduction to Big Data Technologies

Recommended

More Related Content

What's hot (6)

Viewers also liked (11)

Similar to فناوری‌های حوزه‌ی کلان داده - Introduction to Big Data Technologies (20)

فناوری‌های حوزه‌ی کلان داده - Introduction to Big Data Technologies