2. 10 трлн. гигабайт
ежегодный объем данных, обрабатываемый в 2012 году
Facebook
хранит и обрабатывает свыше
50 Тб
90% всей информации сгенерировано за последние 2 года
Рост объемов данных в мире
Twitter
генерирует в сутки
8 Тб
— SINTEF
— Калифорнийский университет
4. ТРИ V
1. Volume (Объем)
2. Velocity (Скорость)
3. Variety (Разнородность)
огромные массивы неструктурированной
информации из самых разных
источников
Что такое BIG DATA?
5. 2. Машинные данные
Источники Big Data
Можно разделить на текущие и исторические, получаемые из открытых и закрытых
источников, структурированные и неструктурированные.
1. Социальные сети
3. Данные о
транзакциях
6. Анализ и обработка Big Data
• Data Mining;
• краудсорсинг;
• смешение и интеграция;
• машинное обучение;
• искусственные нейронные
сети;
• распознавание образов;
Базовый принцип обработки SN-архитектура (Shared Nothing
Architecture), обеспечивающый массивно-параллельную обработку,
масштабируемую без деградации на сотни и тысячи узлов обработки.
Технологии: NoSQL, MapReduce, Hadoop, R
• прогнозная аналитика;
• имитационное
моделирование;
• пространственный анализ;
• статистический анализ;
• визуализация аналитических
данных.
7. Новое качество управления
бизнесом
Возможность узнать практически все о
своем клиенте и его поведении.
• увеличить дополнительные и перекрестные продажи в общем объеме
продаж на 2—3%,
• на 10—20% сократить отток клиентской базы,
• на 30—50% уменьшить затраты времени на подготовку финансовой
отчетности,
• на 70—90% — затраты времени на ее анализ.
9. Реальный пример
Пилотный проект IBM для крупного российского банка.
Система провела анализ сообщений в социальных сетях и сайтах. Отсеяла
неподходящих для данного маркетингового предложения пользователей и
определили потенциальную аудиторию маркетинговых рассылок.
Затем проанализировали посты этих пользователей, ориентируясь на ключевые
слова, например, «коплю на учебу», «хочу купить квартиру», «выбираю
новую машину».
На основании это информации у банк провел точечные маркетинговые кампании,
предлагая определенные банковские продукты.
12. Реальный пример Sports.ru и
Tribuna.com
по материалам статьи на habrahabr.ru
750 000 уникальных посетителей,
5 000 000 заходов в сутки.
700новостей
500текстов
30 000 комментариев
120 000 оценок
2 000 статусов
Каждый день →
через 100 000 тегов по 160 мобильным приложениям и 1200 группам в соц.сетях
