IV Форум «BIG DATA 2015» http://www.croc.ru/action/detail/44150/
Презентация Егора Осипова, эксперта направления «Хранилища данных, аналитика и BigData»
Простая и дешёвая бизнес-аналитика на базе Google BigQuery / Алексей Паршуков...OnticoРИТ++ 2017, Backend Conf
Зал Сан-Паулу, 6 июня, 14:00
Тезисы:
http://backendconf.ru/2017/abstracts/2778.html
Хотите научиться принимать решения на основе данных, но не знаете, с чего начать? Нужно записать миллионы событий, но не уверены, как делать это правильно? Вы не знаете, как быстро и дёшево строить аналитические отчеты или запутались в инструментах?
На примере DocDoc я расскажу о плюсах и минусах различных подходов: как выбрать систему хранения, почему мы остановились на Google BigQuery. Как правильно организовать данные, записать свой clickstream, отказаться от сэмплирования в GA, а также строить простые и понятные отчеты.
«Архитектура Справочного API 2ГИС» — Сергей Коржнев, 2ГИС2ГИС ТехнологииВ своем докладе мы рассмотрим архитектуру сервиса и основные инфраструктурные процессы.
Архитектура: Yii-фреймворк и компоненты, PgSQL, Sphinx, С++-демоны для многокритериального поиска.
Развертывание: серверы (Новосибирск, Москва, Амстердам), Phing, Chef.
Мониторинг: Zabbix API, Pinba + утилита профилирования методов API, Graylog.
Кеширование: Nginx + Lua, Redis, APC, шардинг кеша и инвалидация.
Также мы расскажем, как нам удаётся стабильно делать релизы каждый вторник и обновлять данные по всем городам каждый день. И многое другое…
Справочный API 2ГИС — крупнейший REST API в Рунете.
Более 300 партнёров, среди которых 2ГИС-Онлайн, Mail.ru, НГС, Е1.ru. Месячная аудитория — 14 млн.
Сервис предоставляет информацию об 1.3 млн. фирм и 1.8 млн. POI в 200 городах России, Падуе (Италия), нескольких городах в Украине и Казахстане.
Тестирование больших данныхVitebsk DSCРабота с данными выделилась в отдельную область разработки. Гига-, тера-, петабайты информации поражают воображение и озадачивают, когда дело доходит до тестирования. Hadoop, Spark, ETL - непонятные слова, к которым непонятно, как подступиться. На основе своего опыта разработки wordpress.com Игорь поделится опытом обеспечения качества в области больших данных. В рамках его доклада вы узнаете, как традиционные подходы к тестированию и автоматизации тестирования соотносятся с Big Data-решениями, а также, какие специфические проблемы требуется решать, когда дело доходит до QA.
Презентация подготовлена по материалам выступления Игоря Хрола на витебской конференции “Developer's Software Conference” (30.11.2019).
Геоинформатика как набор инструментов для развития мышления человека в цифров...Fedor SО роли геоинформатики в развитии пространственного мышления человека. Роль пространственного мышления и возможности, которые оно открывает для человека, государства, бизнеса.
Доклад на секции "Образование и планетарное мышление"
VII международной конференции "Земля из Космоса"
http://conference.scanex.ru/ru
Информационная 3D-4D модель строительства ГРЭСDamir KhayrutdinovОписание проекта верификации и визуализации строительства ГРЭС с внедрением системы управления несоответствиями (теплоэнергетика). В проекте применялись технологии наземного лазерного сканирования, информационного моделирования (BIM), имитационного моделирования проектов производства сложных и особо сложных работ (ППР).
тема 04 проектирование геоинформационных системAndrey LepikhovПоследняя и, по-моему, самая идиотская лекция. Всего должно было быть 6 лекций, но видимо две выпали на праздники.
Valerii Iakovenko Drones as the part of the presentАліна ШепшелейDrones, these are the tools that have densely entered to our life now. These are sources of geospatial information which form the basis and supplements many systems of monitoring and control. In detail, the speech will be about agribusiness.
Пилотный проект КРОК с использованием технологий BigData для ЦППКMaxim AndreyevПрезентация пилотного проекта КРОК по прогнозированию пассажиропотоков для компании "Центральная пригородная пассажирская компания" на технологиях EMC GreenPlum (Pivotal) и RapidMiner, которая была представлена на Четвертом Российском форуме Big Data 2015
Esri Geoportal Server – учет и поиск корпоративных пространственных данныхVitaly ZagorovskiyПрезентация на коференции 11-й научно-практический семинар «Использование ГИС-технологий Esri в нефтегазовой отрасли» 24 – 25 мая 2012 года в городе Тюмень
Unmanned Aerial Systems: Smart Inspectors EUKA This document discusses the role of unmanned aerial systems (UAS) in environmental monitoring applications. It describes the UAS research facility at Wageningen University and how UAS can be used at different scales of time and space for various environmental monitoring purposes. Case studies are presented on using UAS for precision agriculture applications such as soil mapping and crop monitoring. The document envisions future uses of UAS as "smart inspectors" that can perform automated environmental monitoring and tasks through onboard sensors and processing and communication with other platforms and sensors.
мониторинг чс на опасных объектах с использованием гисООО "ИНТРО-ГИС"В презентации описаны программные модули ArcGIS для моделирования техногенных, природных и экологических чрезвычайных ситуаций
ГИС с открытым исходным кодом: авантюра или бизнес? Взгляд со стороны разрабо...Maxim DubininД. Барышников. Москва, 19 апреля 2013, Атлас-отель, презентация на конференции Совзонда
Алгоритмы и структуры данных BigData для графов большой размерностиAlexey ZinovievArticle "Algorithms and Data Structures Big Data for large-scale graphs" presented on School-conference on Mathematical Problems of Informatics http://omskconf2013.oscsbras.ru/index.html by Alexey Zinoviev
SAP prezentacijaBaltic Data Center (BDC)Опыт решения миграционных задач для критических SAP бизнес систем.
Компания «BDC» обладает практическим опытом решения миграционных задач для критических бизнес систем. Миграция из Германии в Литву SAP системы, одной из крупнейших в Скандинавии и Прибалтике торговой сети, была выполнена качественно и в рекордные сроки. Более 3000 работников торговой сети, 240 торговых точек успешно продолжали свою работу, в то время как терабайты данных мигрировали между дата-центрами, а системы не только перемещались, но и обновлялись.
Оптимизация высоконагруженных ASP.NET приложений, работающих с MS SQL Server ...Stas VyschepanВы разрабатываете веб-приложения и используете хранимые процедуры? Вы пишите SELECT … WITH(NOLOCK)? Вы считаете, что ORMы снижают быстродействие приложений? Тогда этот доклад для вас!
В докладе будут развенчаны популярные мифы о применении библиотек Object-Relational Mapping (ORM) в ASP.NET при работе с Microsoft SQL Server. Также будут рассмотрены конкретные методики увеличения быстродействия работы с данными в веб-приложениях.
NET Webinar #1 "Is There a Life Outside the Entity Framework"GlobalLogic UkraineНещодавно відбувся вебінар “Is There a Life Outside the Entity Framework”!
Під час вебінару досвідчений Володимир Ковригін, Senior Consultant, Engineering, GlobalLogic, розповів, що знання баз даних потрібно частіше, ніж здається.
Відео та деталі заходу: https://bit.ly/3EmVnaK
Информационная 3D-4D модель строительства ГРЭСDamir KhayrutdinovОписание проекта верификации и визуализации строительства ГРЭС с внедрением системы управления несоответствиями (теплоэнергетика). В проекте применялись технологии наземного лазерного сканирования, информационного моделирования (BIM), имитационного моделирования проектов производства сложных и особо сложных работ (ППР).
тема 04 проектирование геоинформационных системAndrey LepikhovПоследняя и, по-моему, самая идиотская лекция. Всего должно было быть 6 лекций, но видимо две выпали на праздники.
Valerii Iakovenko Drones as the part of the presentАліна ШепшелейDrones, these are the tools that have densely entered to our life now. These are sources of geospatial information which form the basis and supplements many systems of monitoring and control. In detail, the speech will be about agribusiness.
Пилотный проект КРОК с использованием технологий BigData для ЦППКMaxim AndreyevПрезентация пилотного проекта КРОК по прогнозированию пассажиропотоков для компании "Центральная пригородная пассажирская компания" на технологиях EMC GreenPlum (Pivotal) и RapidMiner, которая была представлена на Четвертом Российском форуме Big Data 2015
Esri Geoportal Server – учет и поиск корпоративных пространственных данныхVitaly ZagorovskiyПрезентация на коференции 11-й научно-практический семинар «Использование ГИС-технологий Esri в нефтегазовой отрасли» 24 – 25 мая 2012 года в городе Тюмень
Unmanned Aerial Systems: Smart Inspectors EUKA This document discusses the role of unmanned aerial systems (UAS) in environmental monitoring applications. It describes the UAS research facility at Wageningen University and how UAS can be used at different scales of time and space for various environmental monitoring purposes. Case studies are presented on using UAS for precision agriculture applications such as soil mapping and crop monitoring. The document envisions future uses of UAS as "smart inspectors" that can perform automated environmental monitoring and tasks through onboard sensors and processing and communication with other platforms and sensors.
мониторинг чс на опасных объектах с использованием гисООО "ИНТРО-ГИС"В презентации описаны программные модули ArcGIS для моделирования техногенных, природных и экологических чрезвычайных ситуаций
ГИС с открытым исходным кодом: авантюра или бизнес? Взгляд со стороны разрабо...Maxim DubininД. Барышников. Москва, 19 апреля 2013, Атлас-отель, презентация на конференции Совзонда
Алгоритмы и структуры данных BigData для графов большой размерностиAlexey ZinovievArticle "Algorithms and Data Structures Big Data for large-scale graphs" presented on School-conference on Mathematical Problems of Informatics http://omskconf2013.oscsbras.ru/index.html by Alexey Zinoviev
SAP prezentacijaBaltic Data Center (BDC)Опыт решения миграционных задач для критических SAP бизнес систем.
Компания «BDC» обладает практическим опытом решения миграционных задач для критических бизнес систем. Миграция из Германии в Литву SAP системы, одной из крупнейших в Скандинавии и Прибалтике торговой сети, была выполнена качественно и в рекордные сроки. Более 3000 работников торговой сети, 240 торговых точек успешно продолжали свою работу, в то время как терабайты данных мигрировали между дата-центрами, а системы не только перемещались, но и обновлялись.
Оптимизация высоконагруженных ASP.NET приложений, работающих с MS SQL Server ...Stas VyschepanВы разрабатываете веб-приложения и используете хранимые процедуры? Вы пишите SELECT … WITH(NOLOCK)? Вы считаете, что ORMы снижают быстродействие приложений? Тогда этот доклад для вас!
В докладе будут развенчаны популярные мифы о применении библиотек Object-Relational Mapping (ORM) в ASP.NET при работе с Microsoft SQL Server. Также будут рассмотрены конкретные методики увеличения быстродействия работы с данными в веб-приложениях.
NET Webinar #1 "Is There a Life Outside the Entity Framework"GlobalLogic UkraineНещодавно відбувся вебінар “Is There a Life Outside the Entity Framework”!
Під час вебінару досвідчений Володимир Ковригін, Senior Consultant, Engineering, GlobalLogic, розповів, що знання баз даних потрібно частіше, ніж здається.
Відео та деталі заходу: https://bit.ly/3EmVnaK
Особенности ETL — инструмента pentaho data integrator. Опыт КРОККРОКСеминар Центра компетенции компании КРОК «Построение единой информационной среды как средство поддержания стабильности бизнеса в условиях кризиса».
Подробнее о мероприятии http://www.croc.ru/action/detail/1602/
Презентация Юрия Кудрявцева, эксперта направления BI департамента информационных систем компании КРОК
Построение системы аналитикиИлья Середа- Как начать развивать систему аналитики в компании, не имея армию data-инженеров.
- Как перейти из состояния «я не понимаю какие квадратики на этой схеме нужны для моих задач» и при этом не уйти в R&D на несколько месяцев.
- Как реализовать потоковую обработку данных на PHP (~40К записей в минуту).
- Какие технические решения применяли в нашем решении и какие факторы учитывали в принятии решений.
Презентация с мероприятия https://habr.com/ru/company/tuturu/blog/426059/
Решения крок для фармацевтики и медициныAlex ShanПрезентация о решениях компании КРОК для фармацевтических производителей и дистрибьюторов.
Москва 2017
Оптимизация базы данных с помощью технологии архивированияDocsvisionВебинар является частью серии мероприятий «Практические решения от RKIT Group».
На первом вебинаре серии речь идет о новой технологии архивирования, которая позволяет сократить время на создание резервных копий и восстановление системы, ускорить работу пользователя и облегчить управление базой данных.
Fors и big data applianceCleverDATAЦентр решений ФОРС. Презентации продуктов и технологий. Демонстрационный зал аппаратных средств. Проведение тренингов и тестирований. Проработка и оптимизация решений на стеке Oracle. Oracle Big Data Appliance
Решение КРОК для управления недвижимостьюКРОККомплекс инструментов для управления эксплуатацией позволит заказчику создать централизованную базу данных на основе информационной 3D-модели по всей инфраструктуре здания или сооружения. Инструменты позволят осуществлять комплексное управление активами организации, техническое, коммерческое и инфраструктурное обслуживание объектов недвижимости, а также оперативно разрабатывать необходимые процессы и управлять ресурсами. Единая информационная площадка объединяет в себе средства контроля и планирования работ по обслуживанию объектов недвижимости, взаимодействию с сервисными подрядчиками и отслеживанию зон ответственности.
Заоблачная репутация ИТ-департаментаКРОКМаксим Березин, директор по развитию продаж облачных услуг, КРОК;
Роман Либергер, руководитель направления SaaS-решений, КРОК
Что такое SDS?КРОКБизнес-ужин «Деловой подход к хранению данных: экономим и повышаем эффективность».
Презентация Сергея Скрыля, эксперта по технологиям виртуализации «КРОК».
Деловой подход к хранению данныхКРОКБизнес-ужин «Деловой подход к хранению данных: экономим и повышаем эффективность».
Презентация Ивана Шумовского, руководителя направления программной инфраструктуры «КРОК».
ЕЭК. Создание Программно-Аппаратного Комплекса Мультимедийных СистемКРОКСпециалисты КРОК внедрили в Евразийской Экономической Комиссии программно-аппаратный комплекс мультимедийных систем
(ПАКМС), Комплекс объединил 3 зала совещаний, пресс-центр, видеостудию, 39 перего-
ворных комнат, 18 кабинетов руководителей, расположенных в двух территориально-
распределенных офисах в Москве.
КРОК. Клиенты на всю жизнь! что об этом знает ваш контакт центрКРОК16 мая, 2017 г. Бизнес-практикум «Клиенты голосуют ногами или клиенты на всю жизнь? Что об этом знает Ваш контакт-центр?»
Программный сервер видеоконференций MindКРОК17 мая, 2017 г. «Тест-драйв новинок ВКС и UC. Ещё быстрее, надёжнее и эффективнее». Презентация Сергея Поздеева, эксперта КРОК.
Решения для видеосвязи в среде Skype for businessКРОК17 мая, 2017 г. «Тест-драйв новинок ВКС и UC. Ещё быстрее, надёжнее и эффективнее». Презентация Евгения Нищего, ведущего эксперта КРОК.
Новые возможности при создании систем вксКРОК17 мая, 2017 г. «Тест-драйв новинок ВКС и UC. Ещё быстрее, надёжнее и эффективнее». Презентация Михаила Никифорова, руководителя направления видеоконференцсвязи КРОК
Решения на основе сервера вкс VinteoКРОК17 мая, 2017 г. «Тест-драйв новинок ВКС и UC. Ещё быстрее, надёжнее и эффективнее». Презентация Вячеслава Петровского, ведущего инженера КРОК.
Решения на основе сервера вкс VinteoКРОК18 мая, 2017 г. Бизнес-практикум «Полезные ИТ-инструменты на пути к цифровой трансформации бизнеса». Презентация Вячеслава Петровского, ведущего инженера КРОК.
Решения для видеосвязи в среде Skype for businessКРОК18 мая, 2017 г. Бизнес-практикум «Полезные ИТ-инструменты на пути к цифровой трансформации бизнеса». Презентация Евгения Нищего, ведущего эксперта КРОК.
Программный сервер видеоконференций MindКРОК18 мая, 2017 г. Бизнес-практикум «Полезные ИТ-инструменты на пути к цифровой трансформации бизнеса». Презентация Сергея Поздеева, эксперта КРОК.
10. 11
• Нестабильная работа - падение запросов и сегментов
• Out of memory
• Unexpected Internal error
• Проблемы с обновлением прошивки
• Смерть серверов
КЛЮЧЕВЫЕ ТЕХНИЧЕСКИЕ ПРОБЛЕМЫ
11. 12
• Перенос данных из Oracle в Greenplum
• Работа с иерархиями
• Миграция циклов
• Совместимость с Oracle: функции, синтаксис
• Пакет совместимости
• Least, greatest
• Keep dense_rank
• Обращение к таблицам в функциях
• Коррелированные подзапросы
АРХИТЕКТУРНЫЕ ЗАДАЧИ